特許 7521775 情報処理装置、アノテーション評価プログラム、及びアノテーション評価方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-16

(45)【発行日】2024-07-24

(54)【発明の名称】情報処理装置、アノテーション評価プログラム、及びアノテーション評価方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240717BHJP

   G06F 18/214 20230101ALI20240717BHJP

【ＦＩ】

G06N20/00

G06F18/214

【請求項の数】 19

(21)【出願番号】P 2020071424

(22)【出願日】2020-04-13

(65)【公開番号】P2021168055

(43)【公開日】2021-10-21

【審査請求日】2023-01-13

(73)【特許権者】

【識別番号】518127510

【氏名又は名称】カラクリ株式会社

(74)【代理人】

【識別番号】110002815

【氏名又は名称】ＩＰＴｅｃｈ弁理士法人

(72)【発明者】

【氏名】中山 智文

(72)【発明者】

【氏名】吉田 雄紀

(72)【発明者】

【氏名】大日方 孝輝

(72)【発明者】

【氏名】武藤 健介

(72)【発明者】

【氏名】中嶋 恭久

【審査官】渡辺 一帆

(56)【参考文献】

【文献】国際公開第２０１９／００３４８５（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０３９８８２（ＷＯ，Ａ１）

【文献】特開２０１３－１６１２９５（ＪＰ，Ａ）

【文献】特開２０２０－０３５１１６（ＪＰ，Ａ）

【文献】特開２０１８－１０６６６２（ＪＰ，Ａ）

【文献】特開２０１８－０４９３４２（ＪＰ，Ａ）

【文献】特開２００２－３４５８６２（ＪＰ，Ａ）

【文献】国際公開第２０１９／１６７５５６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００－２０／２０

Ｇ０６Ｆ １８／２１４

(57)【特許請求の範囲】

【請求項1】

機械学習モデルの学習用データを作成するためのアノテーションを受け付ける手段と、
前記学習用データを用いた前記機械学習モデルの学習への前記学習用データの貢献に基づき、前記アノテーションを評価する評価手段と、
前記評価手段による評価結果を提示する提示手段とを具備し、
前記評価手段は、既存の学習用データの分布における、前記アノテーションにより作成された学習用データの値に基づき、前記アノテーションを評価する情報処理装置。

【請求項2】

前記評価手段は、既存の学習用データの分布と、実際にユーザから入力されたログデータの分布とにおける、前記アノテーションにより作成された学習用データの値に基づき、前記アノテーションを評価する請求項１記載の情報処理装置。

【請求項3】

機械学習モデルの学習用データを作成するためのアノテーションを受け付ける手段と、
前記学習用データを用いた前記機械学習モデルの学習への前記学習用データの貢献に基づき、前記アノテーションを評価する評価手段と、
前記評価手段による評価結果を提示する提示手段とを具備し、
前記評価手段は、前記機械学習モデルの学習前後の精度の変化に基づき、前記アノテーションを評価する情報処理装置。

【請求項4】

機械学習モデルの学習用データを作成するためのアノテーションを受け付ける手段と、
前記学習用データを用いた前記機械学習モデルの学習への前記学習用データの貢献に基づき、前記アノテーションを評価する評価手段と、
前記評価手段による評価結果を提示する提示手段とを具備し、
前記評価手段は、学習後の前記機械学習モデルに対して入力したテストデータの正解出力への貢献に基づき、前記アノテーションを評価する情報処理装置。

【請求項5】

機械学習モデルの学習用データを作成するためのアノテーションを受け付ける手段と、
前記学習用データを用いた前記機械学習モデルの学習への前記学習用データの貢献に基づき、前記アノテーションを評価する評価手段と、
前記評価手段による評価結果を提示する提示手段とを具備し、
前記評価手段は、学習済みモデルに入力された入力データの正解出力への貢献に基づき、前記アノテーションを評価する情報処理装置。

【請求項6】

機械学習モデルの学習用データを作成するためのアノテーションを受け付ける手段と、
前記学習用データを用いた前記機械学習モデルの学習への前記学習用データの貢献に基づき、前記アノテーションを評価する評価手段と、
前記評価手段による評価結果を提示する提示手段とを具備し、
前記評価手段は、学習済みモデルから出力される回答に対するユーザからの評価に基づき、前記アノテーションを評価する情報処理装置。

【請求項7】

前記提示手段は、前記アノテーション毎の評価結果を提示する請求項１乃至６のいずれかに記載の情報処理装置。

【請求項8】

前記提示手段は、前記アノテーションの評価結果をまとめて提示する請求項１乃至６のいずれかに記載の情報処理装置。

【請求項9】

前記提示手段は、前記アノテーションの評価結果をアノテーター毎にまとめて提示する請求項１乃至６のいずれかに記載の情報処理装置。

【請求項10】

機械学習モデルの学習用データを作成するためのアノテーションを受け付ける処理と、
前記学習用データを用いた前記機械学習モデルの学習への前記学習用データの貢献に基づき、前記アノテーションを評価する処理と、
前記評価する処理による評価結果を提示する処理とを情報処理装置のコンピュータに実行させ、
前記評価する処理は、既存の学習用データの分布における、前記アノテーションにより作成された学習用データの値に基づき、前記アノテーションを評価するアノテーション評価プログラム。

【請求項11】

機械学習モデルの学習用データを作成するためのアノテーションを受け付ける処理と、
前記学習用データを用いた前記機械学習モデルの学習への前記学習用データの貢献に基づき、前記アノテーションを評価する処理と、
前記評価する処理による評価結果を提示する処理とを情報処理装置のコンピュータに実行させ、
前記評価する処理は、前記機械学習モデルの学習前後の精度の変化に基づき、前記アノテーションを評価するアノテーション評価プログラム。

【請求項12】

機械学習モデルの学習用データを作成するためのアノテーションを受け付ける処理と、
前記学習用データを用いた前記機械学習モデルの学習への前記学習用データの貢献に基づき、前記アノテーションを評価する処理と、
前記評価する処理による評価結果を提示する処理とを情報処理装置のコンピュータに実行させ、
前記評価する処理は、学習後の前記機械学習モデルに対して入力したテストデータの正解出力への貢献に基づき、前記アノテーションを評価するアノテーション評価プログラム。

【請求項13】

機械学習モデルの学習用データを作成するためのアノテーションを受け付ける処理と、
前記学習用データを用いた前記機械学習モデルの学習への前記学習用データの貢献に基づき、前記アノテーションを評価する処理と、
前記評価する処理による評価結果を提示する処理とを情報処理装置のコンピュータに実行させ、
前記評価する処理は、学習済みモデルに入力された入力データの正解出力への貢献に基づき、前記アノテーションを評価するアノテーション評価プログラム。

【請求項14】

機械学習モデルの学習用データを作成するためのアノテーションを受け付ける処理と、
前記学習用データを用いた前記機械学習モデルの学習への前記学習用データの貢献に基づき、前記アノテーションを評価する処理と、
前記評価する処理による評価結果を提示する処理とを情報処理装置のコンピュータに実行させ、
前記評価する処理は、学習済みモデルから出力される回答に対するユーザからの評価に基づき、前記アノテーションを評価するアノテーション評価プログラム。

【請求項15】

コンピュータによって実行されるアノテーション評価方法であって、
機械学習モデルの学習用データを作成するためのアノテーションを受け付ける処理と、
前記学習用データを用いた前記機械学習モデルの学習への前記学習用データの貢献に基づき、前記アノテーションを評価する処理と、
前記評価する処理による評価結果を提示する処理とを実行し、
前記評価する処理は、既存の学習用データの分布における、前記アノテーションにより作成された学習用データの値に基づき、前記アノテーションを評価するアノテーション評価方法。

【請求項16】

コンピュータによって実行されるアノテーション評価方法であって、
機械学習モデルの学習用データを作成するためのアノテーションを受け付ける処理と、
前記学習用データを用いた前記機械学習モデルの学習への前記学習用データの貢献に基づき、前記アノテーションを評価する処理と、
前記評価する処理による評価結果を提示する処理とを実行し、
前記評価する処理は、前記機械学習モデルの学習前後の精度の変化に基づき、前記アノテーションを評価するアノテーション評価方法。

【請求項17】

コンピュータによって実行されるアノテーション評価方法であって、
機械学習モデルの学習用データを作成するためのアノテーションを受け付ける処理と、
前記学習用データを用いた前記機械学習モデルの学習への前記学習用データの貢献に基づき、前記アノテーションを評価する処理と、
前記評価する処理による評価結果を提示する処理とを実行し、
前記評価する処理は、学習後の前記機械学習モデルに対して入力したテストデータの正解出力への貢献に基づき、前記アノテーションを評価するアノテーション評価方法。

【請求項18】

コンピュータによって実行されるアノテーション評価方法であって、
機械学習モデルの学習用データを作成するためのアノテーションを受け付ける処理と、
前記学習用データを用いた前記機械学習モデルの学習への前記学習用データの貢献に基づき、前記アノテーションを評価する処理と、
前記評価する処理による評価結果を提示する処理とを実行し、
前記評価する処理は、学習済みモデルに入力された入力データの正解出力への貢献に基づき、前記アノテーションを評価するアノテーション評価方法。

【請求項19】

コンピュータによって実行されるアノテーション評価方法であって、
機械学習モデルの学習用データを作成するためのアノテーションを受け付ける処理と、
前記学習用データを用いた前記機械学習モデルの学習への前記学習用データの貢献に基づき、前記アノテーションを評価する処理と、
前記評価する処理による評価結果を提示する処理とを実行し、
前記評価する処理は、学習済みモデルから出力される回答に対するユーザからの評価に基づき、前記アノテーションを評価するアノテーション評価方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、アノテーション評価プログラム、及びアノテーション評価方法に関する。

【背景技術】

【0002】

機械学習モデルを学習させる前段において、学習のために収集したデータに意味付けを与えるアノテーションというプロセスがある。アノテーションは、機械学習モデルの学習、及び学習済みモデルの評価に大きな影響を与える重要なプロセスである。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－０２４６３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

アノテーションでは、精度の高い、大量のアノテーションデータを作成しなければならない。しかしながら、アノテーションは、単調である一方で、高い集中力を要するため、アノテーションを実施するアノテーターはモチベーションを維持させるのが困難である。引用文献１では、モデルを用いた推論の良し悪しに影響する訓練データがどれかを評価する発明が開示されているが、アノテーターについては言及されていない。

【0005】

本開示では、アノテーターのモチベーション低下を軽減することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本開示の情報処理装置は、アノテーションを受け付ける手段、評価手段、及び提示手段を有する。アノテーションを受け付ける手段は、機械学習モデルの学習用データを作成するためのアノテーションを受け付ける。評価手段は、学習用データを用いた機械学習モデルの学習への学習用データの貢献に基づき、アノテーションを評価する。提示手段は、評価結果をアノテーターへ提示する。

【発明の効果】

【0007】

本開示の情報処理装置、アノテーション評価プログラム、及びアノテーション評価方法によれば、アノテーターのモチベーション低下を軽減することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本実施形態に係る対話システムの構成例を表すブロック図である。

【図2】図２は、図１に示されるサーバ装置の機能構成の例を示すブロック図である。

【図3】図３は、図２で示される評価データのデータ構造の例を表す模式図である。

【図4】図４は、図１に示されるサーバ装置がアノテーションを評価する際の処理部の動作の例を表すフローチャートである。

【図5】図５は、図１の端末装置で実施されるアノテーションの例を表す模式図である。

【図6】図６は、図１の端末装置のディスプレイで表示されるアノテーションの評価結果の例を表す模式図である。

【図7】図７は、学習用データの分布の例を表す模式図である。

【図8】図８は、学習用データの分布と、質問文の分布との例を表す模式図である。

【図9】図９は、図１に示されるサーバ装置がアノテーションを評価する際の処理部の動作のその他の例を表すフローチャートである。

【図10】図１０は、図１に示される端末装置のディスプレイで表示されるアノテーションの評価画面の例を表す模式図である。

【図11】図１１は、図１に示される端末装置のディスプレイで表示されるアノテーションの評価画面のその他の例を表す模式図である。

【図12】図１２は、図１に示される端末装置のディスプレイで表示されるアノテーションの評価画面のその他の例を表す模式図である。

【図13】図１３は、図１に示されるサーバ装置がアノテーションを評価する際の処理部の動作のその他の例を表すフローチャートである。

【図14】図１４は、第２の実施形態に係る端末装置の機能構成の例を示すブロック図である。

【図15】図１５は、図１４に示される端末装置がアノテーションを評価する際の処理部の動作の例を表すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、実施の形態について説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。

【0010】

（第１の実施形態）
＜システム構成＞
図１を用いて本開示に係る対話システムの構成について説明する。図１は、本実施形態に係る対話システム１の構成例を表すブロック図である。図１に示される対話システム１は、サーバ装置１０、端末装置２０、及びユーザ端末３０を備える。サーバ装置１０、端末装置２０、及びユーザ端末３０は、例えば、インターネット、及び／又は通信事業者が提供する通信網等のネットワークを介して接続されている。

【0011】

サーバ装置１０は、ユーザ端末３０を介してユーザから問い合わせられる質問に対し、検索クエリを分類するチャットボットを用いて返答する装置である。サーバ装置１０は、コンピュータ、及びメインフレーム等により実現される。なお、サーバ装置１０は、１台のコンピュータにより実現されてもよいし、複数台のコンピュータが組み合わされて実現されてもよい。

【0012】

端末装置２０は、サーバ装置１０で運用されるチャットボットのための学習用データを作成する際のアノテーションを実行する端末である。アノテーションは、機械学習モデルを学習させる前段において、学習のために収集したデータに意味付けを与えるプロセスである。本実施形態において、アノテーションを実行するものをアノテーターと称する。端末装置２０のアノテーションにより作成されたアノテーションデータは、サーバ装置１０へ送信される。端末装置２０は、例えば、チャットボットの管理者、チャットボットの作成者、又はアノテーション担当者等が所有する、例えば、コンピュータにより実現される。チャットボットの管理者、チャットボットの作成者、又はアノテーション担当者等が、アノテーターになり得る。端末装置２０は、インターネット、ＬＡＮ（Local Area Network）等のネットワークを介してサーバ装置１０に接続可能である。端末装置２０とサーバ装置１０との間の接続は、有線でもよいし無線でもよい。

【0013】

ユーザ端末３０は、対話システム１を用いたサービスを利用するユーザが使用する端末である。ユーザは、ユーザ端末を介してサーバ装置１０に対する質問文を入力する。ユーザ端末３０は、入力された質問に対するサーバ装置１０からの返信をディスプレイに表示する。ユーザ端末３０は、例えば、スマートフォン、コンピュータ、又はヘッドマウントディスプレイ等の装置により実現される。なお、ユーザ端末３０から、サーバ装置１０で運用されるチャットボットのための学習用データを作成する際のアノテーションを実行してもよい。つまり、ユーザもアノテーターになり得る。

【0014】

ユーザ端末３０は、例えば、サーバ装置１０、又は別途サーバ(不図示)が提供する動作環境（ＡＰＩ（Application Programing Interface）、プラットフォーム等）を利用してサーバ装置１０にアクセスする。また、ユーザ端末３０は、インストールされた専用のアプリケーションソフトウェアによってサーバ装置１０にアクセスしてもよい。ユーザ端末３０とサーバ装置１０との間の接続は、有線でもよいし無線でもよい。

【0015】

＜サーバ装置の構成＞
次に、サーバ装置１０の構成について説明する。図２は、図１に示されるサーバ装置１０の機能構成の例を示すブロック図である。図２に示されるサーバ装置１０は、例えば、処理部１１、記憶部１２、及び通信インタフェース１３を備える。処理部１１、記憶部１２、及び通信インタフェース１３は、例えば、バスを介して互いに通信可能に接続されている。

【0016】

処理部１１は、例えば、プロセッサであり、ＣＰＵ（Central Processing Unit）、ＣＰＵが処理を実行する際に用いるメモリを備える。メモリは、いわゆる主記憶装置であり、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成される。ＣＰＵは、例えば、記憶部１２に記憶されているプログラムをメモリに読み込む。ＣＰＵは、メモリに読み込まれたプログラムを実行する。これにより、処理部１１は、プログラムに対応する種々の機能を実現する。なお、処理部１１は、ＧＰＵ（Graphics Processing Unit）を有していても構わない。

【0017】

記憶部１２は、種々の情報を記憶するＨＤＤ（hard disk drive）、又はＳＳＤ（solid state drive）等の不揮発性の記憶回路を備える、いわゆる補助記憶装置である。なお、記憶部１２は、ＣＤ－ＲＯＭ、ＤＶＤ、及びフラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であってもよい。また、記憶部１２は、必ずしも単独の回路により実現されなくてもよい。記憶部１２は、例えば、複数の記憶回路により実現されてもよい。

【0018】

記憶部１２は、種々の会話を想定した会話カード１２１を記憶している。各会話カード１２１には、会話の種類に応じた複数の質問パターン１２１１と、回答パターン１２１２とが記憶されている。質問パターン１２１１、及び回答パターン１２１２は、学習用データの一例であり、例えば、端末装置２０でのアノテーションにより作成される。

【0019】

記憶部１２は、端末装置２０で実施されたアノテーションを評価するためのアノテーション評価プログラム１２２を記憶している。アノテーション評価プログラム１２２は、例えば、記憶部１２に予め記憶されていてもよい。また、例えば、非一過性の記憶媒体に記憶されて配布され、非一過性の記憶媒体から読み出されて記憶部１２にインストールされてもよい。

【0020】

記憶部１２は、学習用データに基づいて機械学習モデルに機械学習を行わせるモデル学習プログラム１２３を記憶している。本実施形態において、機械学習のアルゴリズムとしては、例えば、判別分析、ロジスティック回帰、サポートベクターマシン、ニューラルネットワーク、Randomized Trees、又は部分空間法等が挙げられる。モデル学習プログラム１２３は、例えば、記憶部１２に予め記憶されていてもよい。また、モデル学習プログラム１２３は、例えば、非一過性の記憶媒体に記憶されて配布され、非一過性の記憶媒体から読み出されて記憶部１２にインストールされてもよい。

【0021】

記憶部１２は、機械学習により生成された学習済みモデル１２５を記憶している。学習済みモデル１２５は、検索クエリを分類するチャットボットを実現するためのモデルである。学習済みモデル１２５は、例えば、ユーザ端末３０のユーザからのアクセスに応答してサーバ装置１０がサービスを当該ユーザに提供するにあたり、予め記憶部１２に記憶されている。学習済みモデル１２５は、端末装置２０でのアノテーションにより作成される学習用データ、又は、ユーザ端末３０が入力する質問文に基づき、随時、生成（再学習）されることとしてもよい。

【0022】

学習済みモデル１２５は、学習用データに基づき、モデル学習プログラム１２３に従って機械学習モデルに機械学習を行わせることにより得られる。本実施形態において、学習済みモデル１２５は、例えば、入力される質問に対し、所定の回答を出力するように学習されている。このとき、学習用データは、例えば、質問パターン１２１１を入力データとし、この質問パターン１２１１に対する回答パターン１２１２を正解出力データとする。

【0023】

本実施形態に係る機械学習モデルは、例えば、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数、及びパラメータの組合せにより定義される。本実施形態に係る機械学習モデルは、上記の要請を満たす如何なるパラメータ付き合成関数であってもよいが、多層のネットワークモデル（以下、多層化ネットワークと呼ぶ）であるとする。多層化ネットワークを用いる学習済みモデル１２５は、質問を入力する入力層と、質問に対する回答を出力する出力層と、入力層と出力層との間に設けられる少なくとも１層の中間層あるいは隠れ層とを有する。学習済みモデル１２５は、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定される。

【0024】

本実施形態に係る多層化ネットワークとしては、例えば、深層学習（Deep Learning）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（Deep Neural Network：ＤＮＮ）が用いられ得る。ＤＮＮとしては、例えば、画像を対象とする畳み込みニューラルネットワーク（Convolution Neural Network：ＣＮＮ）を用いてもよい。また、自然言語を対象とする自己注意機構付きネットワークを用いてもよい。

【0025】

記憶部１２は、学習済みモデル１２５を用いてユーザと対話するための対話プログラム１２４を記憶している。対話プログラム１２４は、例えば、記憶部１２に予め記憶されていてもよい。また、例えば、非一過性の記憶媒体に記憶されて配布され、非一過性の記憶媒体から読み出されて記憶部１２にインストールされてもよい。

【0026】

記憶部１２は、生成された学習済みモデル１２５の精度を評価するためのテストデータ１２６を予め記憶している。テストデータ１２６は、例えば、テストとして設定された複数の質問パターンと、これらの質問パターンと対応付けられた回答パターンとを含む。

【0027】

記憶部１２は、対話システム１を用いたサービスを利用するユーザからユーザ端末３０を介して入力された質問文をログデータ１２７として記憶している。

【0028】

記憶部１２は、アノテーションが評価された評価結果を評価データ１２８として記憶している。図３は、図２で示される評価データ１２８のデータ構造の例を表す模式図である。図３に示される例では、評価データ１２８は、アノテーションが実施された日時、アノテーターを識別可能な識別子、及びアノテーションの評価により管理されている。評価データ１２８は、アノテーションの価値が評価される度にレコードが追加されていく。図３に示される例では、アノテーションの価値が、数値で表される場合を例に示しているが、アノテーションの価値は、数値で表されるものに限定されない。

【0029】

通信インタフェース１３は、例えば、ネットワークと接続する回路により実現される。通信インタフェース１３は、ネットワークを介し、端末装置２０のうち少なくともいずれかと通信する。

【0030】

図２に示される処理部１１は、例えば、アノテーション評価プログラム１２２、モデル学習プログラム１２３、又は対話プログラム１２４を実行することで、これらのプログラムに対応する機能を実現する。例えば、処理部２１は、アノテーション評価プログラム１２２を実行することで、評価部１１１、及び提示部１１２の機能を実現する。また、処理部２１は、モデル学習プログラム１２３を実行することで、学習部１１３の機能を実現する。また、処理部２１は、対話プログラム１２４を実行することで、対話処理部１１４の機能を実現する。また、処理部２１は、不図示の制御プログラムを実行することで、記憶制御部１１５の記憶を実現する。

【0031】

評価部１１１は、端末装置２０で実施されたアノテーションの価値を評価する。具体的には、評価部１１１は、例えば、端末装置２０でアノテーションが実施された際、機械学習モデルが学習された際、又はユーザ端末３０との対話が実施された際に、アノテーションを評価する。

【0032】

提示部１１２は、アノテーションの評価結果を端末装置２０に提示する。

【0033】

学習部１１３は、学習用データに基づき、機械学習モデルに機械学習を行わせることで学習済みモデル１２５を生成する。具体的には、例えば、学習部１１３は、質問パターン１２１１を入力データとし、この質問パターン１２１１に対する回答パターン１２１２を正解出力データとして機械学習モデルを学習させることで、学習済みモデル１２５を生成する。

【0034】

また、学習部１１３は、生成した学習済みモデル１２５の精度を評価する。具体的には、学習部１１３は、例えば、生成された学習済みモデル１２５に対してテストデータ１２６を適用し、学習済みモデル１２５がテストデータ１２６を正しく識別できるか等に基づいて精度を評価する。

【0035】

対話処理部１１４は、学習済みモデル１２５を用い、ユーザからの質問に対し対話形式で回答する。

【0036】

記憶制御部１１５は、アノテーションにより意味付けがなされた入力データと正解出力データとを、記憶部１２に記憶する。また、記憶制御部１１５は、評価部１１１により評価された結果を評価データ１２８に記憶する。

【0037】

なお、サーバ装置１０は、入力インタフェースを有していてもよい。入力インタフェースは、例えば、マウス、キーボード、及び、操作面へ触れることで指示が入力されるタッチパネル等により実現される。入力インタフェースは、操作者からの入力指示を電気信号へ変換し、電気信号を処理部１１へ出力する。なお、入力インタフェースは、マウス、及びキーボード等の物理的な操作デバイスに限定されない。入力インタフェースには、例えば、外部の入力機器から入力される電気信号を受け付ける受信ポートが含まれてもよい。

【0038】

また、サーバ装置１０は、出力インタフェースを有していてもよい。出力インタフェースは、例えば、表示機器、及び印刷機器等により実現される。表示機器としては、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイ、及びＣＲＴディスプレイ等、任意のディスプレイが利用可能である。表示機器は、画像データに基づく画像等を表示する。印刷機器は、例えば、プリンタである。印刷機器は、通信に関する所定の情報を所定用紙に印刷する。なお、出力インタフェースは、表示機器、及び印刷機器等の物理的な出力装置に限定されない。出力インタフェースには、例えば、外部の出力装置へ画像データを送信する送信ポートが含まれてもよい。

【0039】

＜アノテーション評価処理＞
サーバ装置１０が、端末装置２０で実施されたアノテーションを評価する処理を説明する。本実施形態において、アノテーションは、例えば、アノテーションが実施された際、機械学習モデルが学習された際、又は学習済みモデル１２５が使用された際に評価される。以下では、それぞれの場合におけるアノテーションの評価について説明する。

【0040】

（１）アノテーション評価の具体例１
具体例１では、アノテーションが実施された際に、アノテーションが評価される場合について説明する。図４は、図１に示されるサーバ装置１０がアノテーションを評価する際の処理部１１の動作の例を表すフローチャートである。

【0041】

処理部１１は、端末装置２０で実施されるアノテーションを、通信インタフェース１３を介して受け付ける（ステップＳ１０１）。本実施形態において、アノテーションデータには、例えば、互いに関連付けられた入力データとしての質問パターンと、正解出力データとしての回答パターンとが含まれる。また、アノテーションデータには、ユーザから入力された質問文への回答に対するポジティブ／ネガティブのラベル付けが含まれる。また、アノテーションデータには、互いに類似すると関連付けられた入力データとしての質問パターンが含まれる。

【0042】

図５は、図１の端末装置２０で実施されるアノテーションの例を表す模式図である。図５は、端末装置２０のディスプレイ表示の例を表しており、表示画面の例えば、中央部分には、アノテーションのテーマ２４１が表示されている。図５に示される例では、端末装置２０のディスプレイに「質問「○○サービスの支払いをキャンセルしたい」の回答を教えて下さい。」が、表示されている。つまり、図５では、質問パターンと関連付けられる回答パターンの入力が求められている。

【0043】

テーマ２４１の下段には、テーマ２４１に対する回答を入力するための回答領域２４２と、入力された情報をサーバ装置１０へ送信するための送信ボタン２４３とが表示されている。アノテーターは、回答領域２４２に、テーマ２４１に対する回答を入力し、入力が完了すると、送信ボタン２４３を押下する。図５に示される例では、アノテーターは、「○○サービスの支払いをキャンセルしたい」の質問パターンの回答として、「支払キャンセルはこちら（ＵＲＬ）からお願い致します。」を回答領域２４２に入力し、回答領域２４２を押下する。回答領域２４２の押下により端末装置２０からサーバ装置１０へ、質問パターン：「○○サービスの支払いをキャンセルしたい」と、この質問パターンの回答として関連付けられた回答パターン：「支払キャンセルはこちら（ＵＲＬ）からお願い致します。」とがアノテーションデータとして送信される。

【0044】

なお、端末装置２０で実施されるアノテーションは、図５で示されるものに限定されない。テーマ２４１には、テキストでなく、画像が表示されてもよい。また、テーマ２４１で依頼される関連付けは、質問と回答に限定されず、質問間の関連付けであってもよい。また、回答領域２４２への回答の入力は、フリーワードに限定されず、予め設けられた複数の選択肢に対する選択形式であっても構わない。

【0045】

端末装置２０においてアノテーションが実施されるタイミングは、例えば、機械学習モデルを学習させるための学習用データを蓄積する必要がある場合、又は、学習済みモデル１２５を再学習させるための学習用データを蓄積する必要がある場合等である。

【0046】

処理部１１の記憶制御部１１５は、受け付けたアノテーションデータを、例えば、質問パターン１２１１又は回答パターン１２１２として記憶部１２に記憶する（ステップＳ１０２）。

【0047】

処理部１１の評価部１１１は、記憶部１２にアノテーションデータが記憶されると、アノテーションデータを作成したアノテーションの価値を評価する（ステップＳ１０３）。評価部１１１は、例えば、既存の学習用データでカバーされていないデータが作成されたアノテーションほど価値が高いと評価する。既存の学習用データでカバーされていないデータは、例えば、既存の学習用データと類似度が低いデータと換言可能である。評価結果は、記憶制御部１１５により、評価データ１２８に記憶される。

【0048】

評価部１１１は、アノテーションの価値を、例えば、数値で評価する。例えば、評価部１１１は、既存の学習用データでカバーされていない度合いに応じ、そのデータのアノテーションに高い数値を付与する。

【0049】

処理部１１の提示部１１２は、評価された価値を端末装置２０でアノテーションを実施したアノテーターへ提示する（ステップＳ１０４）。具体的には、例えば、提示部１１２は、評価された価値に関する情報を端末装置２０へ送信する。価値に関する情報を受信した端末装置２０は、受信した情報を含む画面を端末装置２０のディスプレイに表示させる。

【0050】

図６は、図１の端末装置２０のディスプレイで表示されるアノテーションの評価結果の例を表す模式図である。図６に示される例では、１つのアノテーションに対する評価結果が表示されている。具体的には、回答領域２４２に入力されたテキスト情報に重畳されるように、このアノテーションについての評価結果２４４が表示されている。なお、アノテーションの評価結果の提示は、１つのアノテーションに対するものに限定されない。提示部１１２は、複数のアノテーションに対する評価結果をまとめて提示しても構わない。

【0051】

（１－１）具体例１における評価手法１
図４のステップＳ１０３で実施されるアノテーションの価値評価は、例えば、アノテーションデータと既存の学習用データとの比較に基づく手法１、又はアノテーションデータと、実際に入力された質問文及び既存の学習用データとの比較に基づく手法２を用いて行われる。ここでは、評価手法１について説明する。

【0052】

処理部１１の評価部１１１は、既存の学習用データの分布が低い空間のデータほど、そのデータを作成したアノテーションの貢献が高いと判断する。

【0053】

具体的には、評価部１１１は、既存の学習用データの特徴量をベクトル空間中の点群とみなし、これらの点群に基づき、学習用データの確率密度分布を取得する。確率密度分布は、例えば、ベクトル空間上の点群をフィッティングすることで取得される。なお、分布を取得する方法はこれに限定されず、いかなる既存の方法が使用されても構わない。例えば、データ数を表すヒストグラムに基づいて分布を取得してもよい。

【0054】

評価部１１１は、取得した分布をｐ（ｘ）とし、アノテーションにより作成されたデータの値がｐ（ｘ１）だった場合、例えば、－ｌｏｇｐ（ｘ１）を貢献度（評価値）として算出する。つまり、記憶部１２に記憶されている学習用データにおいて発生件数が低いデータが作成された場合、そのアノテーションの貢献度は高く評価される。より具体的には、今まで記憶されていない単語を含むアノテーションデータが記憶された場合、そのアノテーションの貢献度は高く評価される。また、意味空間に文章をマッピングしてその分布から外れているようなアノテーションデータについても、そのアノテーションの貢献度は高く評価される。

【0055】

図７は、学習用データの分布ｐ（ｘ）の例を表す模式図である。図７において、横軸がデータ空間を表し、縦軸が発生件数を表す。図７において、実線が学習用データの分布ｐ（ｘ）を表す。図７に示される例では、矢印で示される空間のデータを作成したアノテーションの貢献度が高く評価される。

【0056】

（１－２）具体例１における評価手法２
図４のステップＳ１０３におけるアノテーションの価値評価で用いられる評価手法２について説明する。処理部１１の評価部１１１は、ユーザから入力された質問文の分布と、既存の学習用データの分布との値の差が大きいデータほど、そのデータを作成したアノテーションの貢献が高いと判断する。

【0057】

具体的には、評価部１１１は、ユーザから実際に入力された質問文をログデータ１２７から読み出す。評価部１１１は、読み出した質問文の特徴量をベクトル空間中の点群とみなし、これらの点群に基づき、質問文の確率密度分布を取得する。

【0058】

評価部１１１は、学習用データの分布をｐ（ｘ）とし、質問文の分布をｑ（ｘ）とし、アノテーションにより作成されたデータの値がｐ（ｘ１）、及びｑ（ｘ１）だった場合、例えば、ｑ(ｘ１)／ｐ（ｘ１）を貢献度として算出する。つまり、質問文で多く発生し、学習用データで発生が少ないデータが作成された場合、そのアノテーションの貢献度は高く評価される。より具体的には、質問文に多く含まれる単語であって、学習用データにあまり含まれていない単語を含むアノテーションデータが記憶された場合、そのアノテーションの貢献度は高く評価される。

【0059】

図８は、学習用データの分布ｐ（ｘ）と、質問文の分布ｑ（ｘ）との例を表す模式図である。図８において、横軸がデータ空間を表し、縦軸が発生件数を表す。図８において、実線が学習用データの分布ｐ（ｘ）を表し、破線が質問文の分布ｑ（ｘ）を表す。図８に示される例では、矢印で示される空間のデータを作成したアノテーションの貢献度が高く評価される。

【0060】

このように、サーバ装置１０は、アノテーションが実施されたときに、アノテーションによって作成される学習用データが機械学習モデルの判断に与える影響を算出する。このため、サーバ装置１０は、学習済みモデル１２５の作成、又は学習済みモデル１２５の再学習のために、どのアノテーターがどれくらい貢献したのかを評価可能となる。この評価結果を人事評価又は報酬等と紐づけることで、アノテーターのモチベーションをコントロールできる。また、アノテーションを実施したときに機械学習モデルの改善に基づく評価が即座に可視化されることで、どのようなアノテーションを実施すればより多くの貢献になるのかをアノテーターが学ぶことが可能となる。これにより、より効率的に学習用データを収集することができる。

【0061】

（２）アノテーション評価の具体例２
具体例２では、機械学習モデルが学習された際に、アノテーションが評価される場合について説明する。図９は、図１に示されるサーバ装置１０がアノテーションを評価する際の処理部１１の動作のその他の例を表すフローチャートである。

【0062】

処理部１１は、端末装置２０で実施されるアノテーションにより作成されるアノテーションデータを受け付ける（ステップＳ１０１）。処理部１１の記憶制御部１１５は、受け付けたアノテーションデータを、例えば、質問パターン１２１１又は回答パターン１２１２として記憶部１２に記憶する（ステップＳ１０２）。

【0063】

処理部１１の学習部１１３は、記憶部１２に記憶されている学習用データに基づき、学習済みモデル１２５の再学習を実施する（ステップＳ２０１）。

【0064】

処理部１１の評価部１１１は、学習済みモデル１２５の再学習が終了すると、アノテーションデータを作成したアノテーションの価値を評価する（ステップＳ２０２）。評価部１１１は、例えば、再学習後の学習済みモデル１２５において、学習済みモデル１２５の精度向上に貢献したアノテーションほど価値が高いと評価する。評価結果は、記憶制御部１１５により、評価データ１２８に記憶される。

【0065】

評価部１１１は、アノテーションの価値を、例えば、数値で評価する。例えば、評価部１１１は、学習済みモデル１２５の精度向上の貢献度に応じ、そのデータのアノテーションに高い数値を付与する。

【0066】

処理部１１の提示部１１２は、評価データ１２８で記憶されている評価結果を、端末装置２０でアノテーションを実施したアノテーターへ提示する（ステップＳ２０３）。具体的には、例えば、提示部１１２は、ステップＳ２０１で実施される１回の再学習についてのアノテーションの評価結果に関する情報を端末装置２０へ送信する。価値に関する情報を受信した端末装置２０は、受信した情報を含む画面を端末装置２０のディスプレイに表示させる。なお、提示部１１２は、アノテーションの評価結果があることをアノテーターへ通知し、アノテーターからの表示指示に応じて評価画面を表示させるようにしてもよい。

【0067】

提示部１１２が端末装置２０に評価画面を表示させるタイミングは、学習済みモデル１２５の再学習が完了した直後であってもよいし、再学習が完了してから所定時間の経過後であってもよいし、予め設定された時間又は日付であってもよいし、アノテーターからの要求に応じてでもよいし、管理者からの指示に応じてでもよい。

【0068】

図１０～図１２は、図１に示される端末装置２０のディスプレイで表示されるアノテーションの評価画面の例を表す模式図である。図１０に示される例では、評価部１１１により評価された価値が表示されている。具体的には、図１０に示される例では、アノテーションの評価がアノテーター毎に累積した数値で表示されている。

【0069】

また、図１１及び図１２に示される例では、評価部１１１により評価された価値が相対的に表示されている。具体的には、図１１では、アノテーションの評価に基づいて算出された、学習済みモデル１２５の作成に対するアノテーター毎の貢献度が割合で表示されている。また、図１２では、アノテーションの評価に基づいて算出された、学習済みモデル１２５の作成に対するアノテーター毎の貢献度が脳内の文字の数で表示されている。

【0070】

なお、提示部１１２により提示されるアノテーションの評価画面は、１回の再学習についての評価結果に基づくものに限定されない。提示部１１２は、複数回の再学習についてのアノテーションの評価を累積し、累積した評価結果に基づく画面を端末装置２０に表示させてもよい。

【0071】

また、アノテーションの評価結果の提示は、アノテーションの評価をアノテーター毎にまとめたものに限定されない。提示部１１２は、各アノテーションに対する評価結果をそれぞれ提示しても構わない。

【0072】

図９の説明では、学習済みモデル１２５を再学習する場合を例に説明したが、図９に示される処理は、機械学習モデルに機械学習を行わせることで学習済みモデル１２５を生成する際に実施されても構わない。

【0073】

（２－１）具体例２における評価手法１
図９のステップＳ２０２で実施されるアノテーションの価値評価は、例えば、学習後に向上した精度に基づく手法１、又はテストデータに対する正解出力への貢献に基づく手法２を用いて行われる。ここでは、評価手法１について説明する。

【0074】

処理部１１の評価部１１１は、学習前後の学習済みモデル１２５の出力を比較し、学習により学習済みモデル１２５の精度がどれだけ向上したかに基づいてアノテーションを評価する。

【0075】

具体的には、例えば、評価部１１１は、学習前の学習済みモデル１２５にテストデータ１２６としての質問パターンを入力する。学習済みモデル１２５は、入力された質問パターンと対応する回答パターンを出力すると共に、この出力の確信度を出力する。

【0076】

評価部１１１は、ステップＳ２０１の学習が終了すると、学習後の学習済みモデル１２５にテストデータ１２６としての質問パターンを入力する。学習済みモデル１２５は、入力された質問パターンと対応する回答パターンを出力すると共に、この出力の確信度を出力する。

【0077】

評価部１１１は、学習の前後で出力された確信度を比較する。評価部１１１は、確信度が向上している場合、この学習で用いられた学習用データを作成したアノテーションに、向上した確信度に応じた価値を評価する。アノテーションが複数存在する場合には、例えば、評価部１１１は、確信度の向上に応じて評価された価値をアノテーションの数で割った値を各アノテーションの価値とする。

【0078】

なお、学習後の学習済みモデル１２５から出力される確信度が、学習前の学習済みモデル１２５から出力される確信度よりも低くなっていることもありうる。つまり、学習により学習済みモデル１２５の精度が低下してしまう場合である。このような場合、評価部１１１は、低下した確信度に応じた負の価値を算出してもよい。負の価値が算出されることで、アノテーションノイズの減少につながる。アノテーションが複数存在する場合には、例えば、評価部１１１は、確信度の低下に応じて算出された負の価値をアノテーションの数で割った値を各アノテーションの価値とする。

【0079】

また、学習済みモデル１２５の精度がどれだけ向上したかは、確信度に基づく判断に限定されず、様々な手法で判断されてもよい。例えば、評価部１１１は、学習済みモデル１２５に入力したテストデータ１２６に対する正解出力の割合の変化に基づき、学習済みモデル１２５の精度向上を判断しても構わない。また、評価部１１１は、学習済みモデル１２５の精度の向上を、学習済みモデル１２５に対するユーザからの評価に基づいて判断してもよい。

【0080】

（２－２）具体例２における評価手法２
図９のステップＳ２０２におけるアノテーションの価値評価で用いられる評価手法２について説明する。処理部１１の評価部１１１は、テストデータに対して正解を出力させるのに役に立った、根拠となった学習用データを作成したアノテーションの貢献が高いと判断する。

【0081】

具体的には、例えば、評価部１１１は、ステップＳ２０１の学習が終了すると、学習後の学習済みモデル１２５にテストデータ１２６としての質問パターンを入力する。学習済みモデル１２５は、入力された質問パターンに対して正解となる回答パターンを出力すると共に、この出力の根拠となった学習用データを識別する情報を出力する。評価部１１１は、根拠として示された学習用データを作成したアノテーションの貢献を高く評価する。記憶制御部１１５は、評価結果を評価データ１２８に記憶する。

【0082】

また、評価部１１１は、複数のテストデータ１２６を学習済みモデル１２５へ入力し、入力した質問パターンと対応する回答パターンを出力させると共に、これらの出力の根拠となった学習用データを把握するようにしてもよい。評価部１１１は、根拠として示された複数の学習用データをそれぞれ作成したアノテーションの貢献を高く評価する。記憶制御部１１５は、評価結果を評価データ１２８に記憶する。

【0083】

また、評価部１１１は、アノテーションを評価する際、例えば、上記(１－１)で説明した既存の学習用データの分布を利用してもよい。例えば、学習済みモデル１２５に入力されるテストデータ１２６が、分布において発生件数が少ない空間のデータである場合、評価部１１１は、このテストデータ１２６に対する正解出力の根拠となった学習用データを作成したアノテーションの貢献をより高く評価する。

【0084】

また、評価部１１１は、アノテーションを評価する際、例えば、上記(１－２)で説明した既存の学習用データの分布と、ユーザから入力された質問文の分布とを利用してもよい。例えば、学習済みモデル１２５に入力されるテストデータ１２６が、質問文で多く発生し、学習用データで発生が少ない空間のデータである場合、評価部１１１は、このテストデータ１２６に対する正解出力の根拠となった学習用データを作成したアノテーションの貢献をより高く評価する。

【0085】

なお、学習済みモデル１２５は、入力された質問パターンに対して不正解となる回答パターンを出力すると共に、この出力の根拠となった学習用データを示すこともあり得る。つまり、学習により学習済みモデル１２５の精度が低下してしまう場合である。このような場合、評価部１１１は、間違えの根拠となった学習用データを作成したアノテーションの負の価値を算出してもよい。

【0086】

このように、サーバ装置１０は、機械学習モデルの学習が終了したときに、アノテーションによって作成される学習用データが機械学習モデルの判断に与えた影響を算出する。このため、サーバ装置１０は、学習済みモデル１２５の作成、又は学習済みモデル１２５の再学習のために、どのアノテーターがどれくらい貢献したのかを評価可能となる。この評価結果を人事評価又は報酬等と紐づけることで、アノテーターのモチベーションをコントロールできる。また、機械学習モデルの学習が完了したときに機械学習モデルの改善に基づく評価が可視化されることで、どのようなアノテーションを実施すればより多くの貢献になるのかをアノテーターが学ぶことが可能となる。これにより、より効率的に学習用データを収集することができる。

【0087】

（３）アノテーション評価の具体例３
具体例３では、学習済みモデル１２５が使用された際に、アノテーションが評価される場合について説明する。図１３は、図１に示されるサーバ装置１０がアノテーションを評価する際の処理部１１の動作の例を表すフローチャートである。

【0088】

処理部１１は、ユーザ端末３０を操作するユーザから、質問文の入力を受け付ける（ステップＳ３０１）。質問文は、自然文の形式で取得することが可能である。自然文の形式で質問を可能とすることにより、ユーザは人に問合せているのと同じような感覚で簡単に問合せを行うことが可能となる。なお、キーワード等を示す単語を取得してもよい。

【0089】

処理部１１は、質問文を受け付けると、対話処理部１１４により、対話処理を実行する（ステップＳ３０２）。具体的には、対話処理部１１４は、取得した質問文を学習済みモデル１２５に入力する。学習済みモデル１２５では、入力された質問文と類似する１２１１の群が抽出される。類似する質問パターン１２１１の群は、例えば、類似度に基づいて抽出される。例えば、取得した質問文と記憶部１２に記憶されている質問パターン１２１１とが比較され、質問文と質問パターン１２１１との類似度が算出される。質問文と質問パターン１２１１との類似度には、質問文と、同じ回答パターン１２１２に対応する質問パターン１２１１の集合である質問パターン１２１１の群との類似度が含まれてもよい。また、質問文と質問パターン１２１１との類似度には、質問文と、質問パターン１２１１を元にした関数との類似度が含まれてもよい。また、質問文と質問パターン１２１１との類似度には、質問文と、質問パターン１２１１を元にしたカテゴリとの類似度が含まれてもよい。

【0090】

類似度は、例えば、自然言語処理を用いて算出される。具体的には、質問文と質問パターンとのキーワードをそれぞれ抽出しておき、キーワードの一致度をキーワード毎の重み等も用いて類似度としてもよい。他にも、質問文と質問パターンとをそれぞれベクトル化し、コサイン類似度を用いて類似度を算出してもよい。

【0091】

学習済みモデル１２５からは、抽出した質問パターン１２１１の群に基づき、回答パターン１２１２と紐づけられた会話カード１２１の識別番号と、この出力の確信度とが出力される。対話処理部１１４は、出力された回答をユーザ端末３０へ送信する。対話処理部１１４は、入力された質問文をログデータ１２７として記憶部１２に記憶する。

【0092】

質問文と質問パターン１２１１との類似度を算出するに際して、ユーザ及び／又は管理者が入力した質問パターンを学習用データの候補として機械学習をさせることにより、類似度算出のためのパラメータを更新してもよい。このような機械学習を行うことにより、ユーザの意図にあった回答パターンを提示する精度を向上させることが可能となる。

【0093】

処理部１１の評価部１１１は、回答パターン１２１２と紐づけられた会話カード１２１の識別番号と、この出力の確信度とが学習済みモデル１２５から出力されると、アノテーションの価値を評価する（ステップＳ３０３）。評価部１１１は、例えば、質問文に対して正解を出力させるのに役に立った、根拠となった学習用データを作成したアノテーションの貢献が高いと判断する。

【0094】

具体的には、例えば、学習済みモデル１２５は、会話カード１２１の識別番号と、この出力の確信度と共に、この出力の根拠となった学習用データを識別する情報を出力する。評価部１１１は、根拠として示された学習用データを作成したアノテーションの貢献を高く評価する。記憶制御部１１５は、評価結果を評価データ１２８に記憶する。

【0095】

また、評価部１１１は、アノテーションを評価する際、例えば、上記(１－１)で説明した既存の学習用データの分布を利用してもよい。例えば、学習済みモデル１２５に入力される質問文が、分布において発生件数が少ない空間でサンプリングされる場合、評価部１１１は、この質問文に対する正解出力の根拠となった学習用データを作成したアノテーションの貢献をより高く評価する。

【0096】

また、評価部１１１は、アノテーションを評価する際、例えば、上記(１－２)で説明した既存の学習用データの分布と、ユーザから入力された質問文の分布とを利用してもよい。例えば、学習済みモデル１２５に入力される質問文が、質問文で多く発生し、学習用データで発生が少ない空間からサンプリングされる場合、評価部１１１は、この質問文に対する正解出力の根拠となった学習用データを作成したアノテーションの貢献をより高く評価する。

【0097】

また、ユーザは、ユーザ端末３０のディスプレイに表示される操作コマンドから、サーバ装置１０からの応答を評価することが可能である。具体的には、例えば、ユーザが、何らかの問題に直面したが、適切な質問が思い浮かばず、発生している問題をそのまま質問文として入力したとする。この質問文に対し、ユーザが真に欲している回答がサーバ装置１０から得られた場合、ユーザは、サーバ装置１０からの回答を評価するため、ユーザ端末３０のディスプレイに表示されている「いいね」アイコンを押下する。サーバ装置１０の回答がユーザにより評価されることは頻繁に起きることではない。評価部１１１は、このようにユーザからの評価を得た正解出力の根拠となった学習用データを作成したアノテーションの貢献をさらに高く評価する。

【0098】

なお、ユーザ端末３０のディスプレイに表示される操作コマンドは、「いいね」アイコンに限定されない。出力された回答が役に立ったことを表す「役に立った」アイコンであっても構わない。また、ディスプレイには、「役に立たなかった」アイコンが操作コマンドとして表示されてもよい。「役に立たなかった」アイコンが押下された場合、評価部１１１は、例えば、この評価を受けた出力の根拠となった学習用データを作成したアノテーションの貢献をマイナスに評価する。

【0099】

処理部１１の提示部１１２は、評価データ１２８で記憶されている評価結果を、端末装置２０でアノテーションを実施したアノテーターへ提示する（ステップＳ３０４）。具体的には、例えば、提示部１１２は、ステップＳ３０２で実施される１回の対話についてのアノテーションの評価結果に基づき、アノテーターの評価画面を表示させるための情報を作成する。提示部１１２は、作成した情報を端末装置２０へ送信し、端末装置２０のディスプレイに、アノテーターを評価するための画面を表示させる。なお、提示部１１２は、アノテーションの評価結果があることをアノテーターへ通知し、アノテーターからの表示指示に応じて評価画面を表示させるようにしてもよい。

【0100】

提示部１１２が端末装置２０に評価画面を表示させるタイミングは、対話処理部１１４による対話処理が完了した直後であってもよいし、対話処理が完了してから所定時間の経過後であってもよいし、予め設定された時間又は日付であってもよいし、アノテーターからの要求に応じてでもよいし、管理者からの指示に応じてでもよい。

【0101】

提示部１１２が端末装置２０に表示させる表示画面では、例えば、図１０に示されるように、評価部１１１により評価された価値が表示される。または、図１１又は図１２に示されるように、評価部１１１により評価された価値が相対的に表示される。

【0102】

このように、サーバ装置１０は、学習済みモデル１２５が使用されたときに、アノテーションによって作成された学習用データの学習済みモデル１２５の判断に対する貢献を算出する。このため、サーバ装置１０は、学習済みモデル１２５が質問文に適した回答を出力するために、どのアノテーターがどれくらい貢献したのかを評価可能となる。この評価結果を人事評価又は報酬等と紐づけることで、アノテーターのモチベーションをコントロールできる。また、学習済みモデル１２５が使用されたときに学習済みモデル１２５の正解出力に基づく評価が可視化されることで、どのようなアノテーションを実施すればより多くの貢献になるのかをアノテーターが学ぶことが可能となる。これにより、より効率的に学習用データを収集することができる。

【0103】

以上のように、第１の実施形態では、サーバ装置１０は、通信インタフェース１３を介して、機械学習モデルの学習用データを作成するためのアノテーションを受け付ける。処理部１１は、評価部１１１により、学習用データを用いた機械学習モデルの学習への学習用データの貢献に基づき、アノテーションを評価する。そして、処理部１１は、提示部１１２により、評価結果をアノテーターへ提示するようにしている。これにより、アノテーションを実施したアノテーターに対し、そのアノテーションに対して評価された価値が提示されるようになる。

【0104】

したがって、第１の実施形態に開示の情報処理装置、アノテーション評価プログラム、及びアノテーション評価方法によれば、アノテーターのモチベーション低下を軽減することができる。

【0105】

また、学習用データを作成する側は効率的に機械学習モデルをトレーニングさせたいが、アノテーターの中にはＡＩ技術に精通していない者もいる。第１の実施形態に開示の情報処理装置、アノテーション評価プログラム、及びアノテーション評価方法によれば、機械学習モデルの判断に与える影響に基づいてアノテーションが評価される。そのため、どのようなアノテーションを実施すればより多くの貢献になるのかをアノテーターが学ぶことが可能となる。これにより、より効率的に学習用データを収集することができる。

【0106】

（第２の実施形態）
第１の実施形態では、サーバ装置１０でアノテーションが評価される場合を例に説明した。第２の実施形態では、端末装置２０でアノテーションを評価する場合を説明する。

【0107】

＜端末装置の構成＞
第２の実施形態に係る端末装置２０の構成について説明する。図１４は、第２の実施形態に係る端末装置２０の機能構成の例を示すブロック図である。図１４に示される端末装置２０は、例えば、処理部２１、記憶部２２、入力インタフェース２３、出力インタフェース２４、及び通信インタフェース２５を備える。

【0108】

処理部２１は、端末装置２０の中枢として機能するプロセッサである。処理部２１は、例えば、ＣＰＵ、ＣＰＵが処理を実行する際に用いるメモリを備える。ＣＰＵは、例えば、記憶部２２に記憶されているプログラムをメモリに読み込む。ＣＰＵは、メモリに読み込まれたプログラムを実行する。これにより、処理部２１は、プログラムに対応する種々の機能を実現する。

【0109】

記憶部２２は、種々の情報を記憶するＨＤＤ、又はＳＳＤ等の不揮発性の記憶回路を備える、いわゆる補助記憶装置である。なお、記憶部２２は、ＣＤ－ＲＯＭ、ＤＶＤ、及びフラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であってもよい。

【0110】

記憶部２２は、種々の会話を想定した会話カード２２１を記憶している。各会話カード２２１には、会話の種類に応じた複数の質問パターン２２１１と、回答パターン２２１２とが記憶されている。質問パターン２２１１、及び回答パターン２２１２は、学習用データの一例である。質問パターン２２１１、及び回答パターン２２１２は、例えば、サーバ装置１０で記憶されているデータと同じ内容である。 質問パターン２２１１、及び回答パターン２２１２の一部は、例えば、自装置でのアノテーションにより作成され、その他の部分は、例えば、他の端末装置２０でのアノテーションにより作成される。

【0111】

記憶部２２は、アノテーションを実施するためのアノテーションプログラム２２２を記憶している。また、記憶部２２は、アノテーションを評価するためのアノテーション評価プログラム２２３を記憶している。アノテーションプログラム２２２、アノテーション評価プログラム２２３は、例えば、記憶部２２に予め記憶されていてもよいし、例えば、非一過性の記憶媒体に記憶されて配布され、非一過性の記憶媒体から読み出されて記憶部２２にインストールされてもよい。

【0112】

記憶部２２は、アノテーションが評価された評価結果を評価データ２２４として記憶している。

【0113】

記憶部２２は、アノテーションの対象となる素材データ２２５を記憶している。素材データ２２５は、例えば、サーバ装置１０からダウンロードされてもよいし、例えば、非一過性の記憶媒体に記憶されて配布され、非一過性の記憶媒体から読み出されて記憶部２２に記憶されてもよい。

【0114】

入力インタフェース２３は、例えば、マウス、キーボード、操作面へ触れることで指示が入力されるタッチパネル、又は音声を入力するマイク等により実現される。入力インタフェース２３は、ユーザからの入力指示を電気信号へ変換し、電気信号を処理部２１へ出力する。

【0115】

出力インタフェース２４は、例えば、表示機器、印刷機器、又はスピーカにより実現される。表示機器としては、例えば、液晶ディスプレイ、及び有機ＥＬディスプレイ等である。

【0116】

通信インタフェース２５は、例えば、ネットワークと接続する回路により実現される。通信インタフェース２５は、ネットワークを介し、サーバ装置１０と通信する。

【0117】

図１４に示される処理部２１は、例えば、アノテーションプログラム２２２、アノテーション評価プログラム２２３を実行することで、これらのプログラムに対応する機能を実現する。例えば、処理部２１は、アノテーションプログラム２２２を実行することで、アノテーション処理部２１３の機能を実現する。また、処理部２１は、アノテーション評価プログラム２２３を実行することで、評価部２１１、及び提示部２１２の機能を実現する。また、処理部２１は、不図示の制御プログラムを実行することで、記憶制御部２１４の記憶を実現する。

【0118】

アノテーション処理部２１３は、素材データ２２５に対し、アノテーターからの入力に基づき、意味付けを与える。アノテーション処理部２１３は、アノテーションにより作成されたアノテーションデータをサーバ装置１０へ送信する。

【0119】

評価部２１１は、実施されたアノテーションの価値を評価する。具体的には、例えば、評価部２１１は、例えば、アノテーションが実施された際、アノテーションを評価する。

【0120】

提示部２１２は、アノテーションの評価結果を端末装置２０に提示する。

【0121】

記憶制御部２１４は、アノテーションにより意味付けがなされたアノテーションデータを会話カード２２１として記憶部２２に記憶する。また、提示部２１２は、評価部２１１により評価された結果を評価データ２２４に記憶する。

【0122】

＜アノテーション評価処理＞
端末装置２０が、アノテーションを評価する処理を説明する。第２の実施形態において、アノテーションは、例えば、アノテーションが実施された際に評価される。

【0123】

図１５は、図１４に示される端末装置２０がアノテーションを評価する際の処理部２１の動作の例を表すフローチャートである。

【0124】

処理部２１は、アノテーション処理部２１３により、アノテーターからの指示に基づき、アノテーションを実施する（ステップＳ４０１）。つまり、アノテーション処理部２１３は、素材データ２２５に意味付けを与える。

【0125】

端末装置２０においてアノテーションが実施されるタイミングは、例えば、機械学習モデルを学習させるための学習用データを蓄積する必要がある場合、又は、学習済みモデル１２５を再学習させるための学習用データを蓄積する必要がある場合等である。

【0126】

処理部２１の記憶制御部２１４は、アノテーションにより作成されたアノテーションデータを、例えば、質問パターン２２１１又は回答パターン２２１２として記憶部２２に記憶する（ステップＳ４０２）。

【0127】

処理部２１の評価部２１１は、記憶部２２にアノテーションデータが記憶されると、アノテーションデータを作成したアノテーションの価値を評価する（ステップＳ４０３）。評価部２１１は、例えば、既存の学習用データでカバーされていないデータが作成されたアノテーションほど価値が高いと評価する。既存の学習用データでカバーされていないデータは、例えば、既存の学習用データと類似度が低いデータと換言可能である。評価結果は、記憶制御部２１４により、評価データ２２４に記憶される。

【0128】

評価部２１１は、アノテーションの価値を、例えば、数値で評価する。例えば、評価部２１１は、既存の学習用データでカバーされていない度合いに応じ、そのデータのアノテーションに高い数値を付与する。

【0129】

具体的には、評価部２１１は、既存の学習用データの分布から外れたデータほど、そのデータを作成したアノテーションの貢献が高いと判断する。例えば、評価部２１１は、既存の学習用データの特徴量をベクトル空間中の点群とみなし、これらの点群に基づき、学習用データの確率密度分布を取得する。確率密度分布は、例えば、ベクトル空間上の点群をフィッティングすることで取得される。なお、分布を取得する方法はこれに限定されず、いかなる既存の方法が使用されても構わない。

【0130】

評価部２１１は、取得した分布をｐ（ｘ）とし、アノテーションにより作成されたデータの値がｐ（ｘ）だった場合、例えば、－ｌｏｇｐ（ｘ１）を貢献度（評価値）として算出する。つまり、記憶部２２に記憶されている学習用データにおいて発生件数が低いデータが作成された場合、そのアノテーションの貢献度は高く評価される。より具体的には、今まで記憶されていない単語を含むアノテーションデータが記憶された場合、そのアノテーションの貢献度は高く評価される。また、意味空間に文章をマッピングしてその分布から外れているようなアノテーションデータについても、そのアノテーションの貢献度は高く評価される。

【0131】

処理部２１の提示部２１２は、評価された価値をアノテーターへ提示する（ステップＳ４０４）。具体的には、例えば、提示部２１２は、評価された価値が含まれる画面を端末装置２０のディスプレイに表示させる。

【0132】

なお、評価部２１１によるアノテーション評価は、上記に限定されない。対話システム１を利用する際にユーザから入力される質問文のログデータが記憶部２２に記憶されている場合、評価部２１１は、アノテーションデータと、ログデータ及び既存の学習用データとの比較に基づいて行ってもよい。

【0133】

具体的には、評価部２１１は、ユーザから入力された質問文の分布と、既存の学習用データの分布との値の差が大きいデータほど、そのデータを作成したアノテーションの貢献が高いと判断する。例えば、評価部２１１は、ユーザから実際に入力された質問文を記憶部２２から読み出す。評価部２１１は、読み出した質問文の特徴量をベクトル空間中の点群とみなし、これらの点群に基づき、質問文の確率密度分布を取得する。

【0134】

評価部２１１は、学習用データの分布をｐ（ｘ）とし、質問文の分布をｑ（ｘ）とし、アノテーションにより作成されたデータの値がｐ（ｘ１）、及びｑ（ｘ１）だった場合、例えば、ｑ(ｘ１)／ｐ（ｘ１）を貢献度として算出する。つまり、質問文で多く発生し、学習用データで発生が少ないデータが作成された場合、そのアノテーションの貢献度は高く評価される。より具体的には、質問文に多く含まれる単語であって、学習用データにあまり含まれていない単語を含むアノテーションデータが記憶された場合、そのアノテーションの貢献度は高く評価される。

【0135】

以上のように、第２の実施形態では、端末装置２０の処理部２１は、アノテーション処理部２１３により、機械学習モデルの学習用データを作成するためのアノテーションを実施する。処理部２１は、評価部２１１により、学習用データを用いた機械学習モデルの学習への学習用データの貢献に基づき、アノテーションを評価する。そして、処理部２１は、提示部２１２により、評価結果をアノテーターへ提示するようにしている。これにより、アノテーションを実施したアノテーターに対し、そのアノテーションに対して評価された価値が提示されるようになる。

【0136】

したがって、第２の実施形態に開示の情報処理装置、アノテーション評価プログラム、及びアノテーション評価方法によれば、アノテーターのモチベーション低下を軽減することができる。

【0137】

また、第２の実施形態に開示の情報処理装置、アノテーション評価プログラム、及びアノテーション評価方法によれば、機械学習モデルの判断に与える影響に基づいてアノテーションが評価されるため、どのようなアノテーションを実施すればより多くの貢献になるのかをアノテーターが学ぶことが可能となり、より効率的に学習用データを収集することができる。

【0138】

なお、第２の実施形態では、端末装置２０が、アノテーションが実施された際に、アノテーションを評価する場合を例に説明した。しかしながら、端末装置２０がアノテーションを評価するタイミングは、アノテーションが実施された際に限定されない。評価部２１１は、機械学習モデルが学習された際、又は学習済みモデルが使用された際に評価されるようにしてもよい。

【0139】

ただし、機械学習モデルが学習された際にアノテーションを評価する場合、処理部２１は、学習用データに基づき、機械学習モデルに機械学習を行わせることで学習済みモデルを生成する、学習部の機能を有する。評価部２１１は、学習済みモデルの学習、又は再学習が終了すると、アノテーションの価値を評価する。評価部２１１は、例えば、学習後、又は再学習後の学習済みモデルにおいて、学習済みモデルの精度向上に貢献したアノテーションほど価値が高いと評価する。評価結果は、記憶制御部２１４により、評価データ２２４に記憶される。

【0140】

また、学習済みモデルが使用された際にアノテーションを評価する場合、処理部２１は、学習済みモデルを用い、ユーザからの質問に対し対話形式で回答する、対話処理部の機能を有する。つまり、このとき、端末装置２０は、ユーザ端末３０のようにユーザにより使用される端末となり、ユーザからの質問に答える学習済みモデルを有している。

【0141】

評価部２１１は、学習済みモデルに質問文が入力され、回答パターン２２１２と紐づけられた会話カード２２１の識別番号と、この出力の確信度とが学習済みモデルから出力されると、アノテーションの価値を評価する。評価部２１１は、例えば、質問文に対して正解を出力させるのに役に立った、根拠となった学習用データを作成したアノテーションの貢献が高いと判断する。

【0142】

＜その他の変形例＞
上記実施形態では、検索クエリを分類するタイプのチャットボットの機械学習モデルを学習させるためのデータについてのアノテーションを評価する例について説明したが、上記実施形態は、チャットボット以外の機械学習モデルを学習させるためのデータについてのアノテーションを評価する場合にも適用可能である。
例えば、学習済みモデルは、文字画像を入力データ、この文字画像に対するテキストデータを正解出力データとして学習されても構わない。この場合、文字画像とテキストデータとを関連付けるアノテーションが評価される。また、学習済みモデルは、物体の画像を入力データ、この物体画像に対するメタデータ（名称等）を正解出力データとして学習されても構わない。この場合、物体画像とメタデータとを関連付けるアノテーションが評価される。また、学習済みモデルは、時系列のデータを入力データ、この時系列データにおける異常ログを正解出力データとして学習されても構わない。この場合、時系列データと異常ログとを関連付けるアノテーションが評価される。

【0143】

以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。

【0144】

＜付記＞
実施形態で説明した事項を、以下に付記する。

【0145】

（付記１）
機械学習モデルの学習用データを作成するためのアノテーションを受け付ける手段（１３、２１３）と、
前記学習用データを用いた前記機械学習モデルの学習への前記学習用データの貢献に基づき、前記アノテーションを評価する評価手段（１１１、２１１）と、
前記評価結果を提示する提示手段（１１２、２１２）と
を具備する情報処理装置（１０、２０）。

【0146】

（付記１）によれば、アノテーターのモチベーション低下を軽減することができる。

【0147】

（付記２）
前記評価手段は、前記アノテーションの受付に応じ、前記アノテーションを評価する（付記１）に記載の情報処理装置。

【0148】

（付記２）によれば、アノテーションが実施されたときに機械学習モデルの改善に基づく評価を即座に可視化することが可能となる。

【0149】

（付記３）
前記評価手段は、既存の学習用データの分布における、前記アノテーションにより作成された学習用データの値に基づき、前記アノテーションを評価する（付記２）に記載の情報処理装置。

【0150】

（付記３）によれば、アノテーションが実施されたときに、アノテーションが即座に評価可能となる。

【0151】

（付記４）
前記評価手段は、既存の学習用データの分布と、実際にユーザから入力されたログデータの分布とにおける、前記アノテーションにより作成された学習用データの値に基づき、前記アノテーションを評価する（付記２）に記載の情報処理装置。

【0152】

（付記４）によれば、アノテーションが実施されたときに、アノテーションが即座により高精度に評価可能となる。

【0153】

（付記５）
前記評価手段は、前記機械学習モデルが学習されると、前記アノテーションを評価する（付記１）に記載の情報処理装置。

【0154】

（付記５）によれば、学習済みモデル１２５の作成、又は学習済みモデル１２５の再学習のために、どのアノテーターがどれくらい貢献したのかを評価することが可能となる。

【0155】

（付記６）
前記評価手段は、前記機械学習モデルの学習前後の精度の変化に基づき、前記アノテーションを評価する（付記５）に記載の情報処理装置。

【0156】

（付記６）によれば、機械学習モデルの学習の効果に基づき、アノテーションを正確に評価することが可能となる。

【0157】

（付記７）
前記評価手段は、学習後の前記機械学習モデルに対して入力したテストデータの正解出力への貢献に基づき、前記アノテーションを評価する（付記５）に記載の情報処理装置。

【0158】

（付記７）によれば、機械学習モデルの学習への貢献に基づき、アノテーションを正確に評価することが可能となる。

【0159】

（付記８）
前記評価手段は、学習済みモデルが使用されると、前記アノテーションを評価する（付記１）に記載の情報処理装置。

【0160】

（付記８）によれば、学習済みモデル１２５が実際に使用される際にアノテーションが評価されるため、実際に役に立ったアノテーションが評価されることになる。

【0161】

（付記９）
前記評価手段は、前記学習済みモデルに入力された入力データの正解出力への貢献に基づき、前記アノテーションを評価する（付記８）に記載の情報処理装置。

【0162】

（付記９）によれば、入力データに適した回答を出力するために、どのアノテーションがどれくらい貢献したのかを評価することが可能となる。

【0163】

（付記１０）
前記評価手段は、前記学習済みモデルから出力される回答に対するユーザからの評価に基づき、前記アノテーションを評価する（付記８）又は（付記９）に記載の情報処理装置。

【0164】

（付記１０）によれば、ユーザからの評価をアノテーションの評価に反映させることが可能となる。

【0165】

（付記１１）
前記提示手段は、前記アノテーション毎の評価結果を提示する（付記１）乃至（付記１０）のいずれかに記載の情報処理装置。

【0166】

（付記１１）によれば、アノテーション毎の評価が明確になる。

【0167】

（付記１２）
前記提示手段は、前記アノテーションの評価結果をまとめて提示する（付記１）乃至（付記１０）のいずれかに記載の情報処理装置。

【0168】

（付記１２）によれば、実施したアノテーションの数、及びそれらについての個々の評価が明確になる。

【0169】

（付記１３）
前記提示手段は、前記アノテーションの評価結果をアノテーター毎にまとめて提示する（付記１）乃至（付記１０）のいずれかに記載の情報処理装置。

【0170】

（付記１３）によれば、機械学習モデルの学習についての貢献をアノテーター単位で明確化することが可能となる。

【符号の説明】

【0171】

１…対話システム
１０…サーバ装置
１１…処理部
１１１…評価部
１１２…提示部
１１３…学習部
１１４…対話処理部
１１５…記憶制御部
１２…記憶部
１２１…会話カード
１２１１…質問パターン
１２１２…回答パターン
１２２…アノテーション評価プログラム
１２３…モデル学習プログラム
１２４…対話プログラム
１２５…学習済みモデル
１２６…テストデータ
１２７…ログデータ
１２８…評価データ
１３…通信インタフェース
２０…端末装置
２１…処理部
２１１…評価部
２１２…提示部
２１３…アノテーション処理部
２１４…記憶制御部
２２…記憶部
２２１…会話カード
２２１１…質問パターン
２２１２…回答パターン
２２２…アノテーションプログラム
２２３…アノテーション評価プログラム
２２４…評価データ
２２５…素材データ
２３…入力インタフェース
２４…出力インタフェース
２４１…テーマ
２４２…回答領域
２４３…送信ボタン
２４４…評価結果
２５…通信インタフェース
３０…ユーザ端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】