特許 7402277 情報処理システム、情報処理方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-12

(45)【発行日】2023-12-20

(54)【発明の名称】情報処理システム、情報処理方法および情報処理装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20231213BHJP

【ＦＩ】

G06N20/00 130

【請求項の数】 9

(21)【出願番号】P 2022108497

(22)【出願日】2022-07-05

(62)【分割の表示】P 2020213626の分割

【原出願日】2020-12-23

(65)【公開番号】P2022125222

(43)【公開日】2022-08-26

【審査請求日】2022-08-26

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天グループ株式会社

(74)【代理人】

【識別番号】110000154

【氏名又は名称】弁理士法人はるか国際特許事務所

(72)【発明者】

【氏名】グェン テイミン

(72)【発明者】

【氏名】阿部 憲幸

【審査官】円子 英紀

(56)【参考文献】

【文献】特開２０１５－００１８８８（ＪＰ，Ａ）

【文献】米国特許第１０６１４３７３（ＵＳ，Ｂ１）

【文献】特開２０１９－２１２０７３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ １８／００－１８／４０

(57)【特許請求の範囲】

【請求項1】

入力データと当該入力データに対する教師データであるラベルとを含む学習データのセットにより機械学習モデルを学習させる学習サーバと、前記学習された機械学習モデルにユーザから入力される入力データを入力し、当該機械学習モデルにより出力されるラベルに基づいて応答データを出力する応答サーバとを含む情報処理システムにおいて、
前記学習データのセットを取得する初期データ取得手段と、
前記学習データのセットにより前記機械学習モデルを学習させる学習手段と、
前記学習データのセットにより学習された前記機械学習モデルに対してテストデータを入力し、前記テストデータが入力された機械学習モデルの出力に基づいて前記機械学習モデルの性能が所定の条件を満たしているか評価する評価手段と、
前記機械学習モデルの性能が前記所定の条件を満たしていると評価された場合に、前記学習された機械学習モデルを前記応答サーバに展開する展開手段と、
前記機械学習モデルの性能が前記所定の条件を満たしていないと評価された場合に、前記学習データのセットが検出条件を満たしているか判定する検出手段と、
前記検出条件を満たしていると判定された場合に、前記学習データのセットを更新するデータ更新手段と、
前記更新された学習データのセットにより前記機械学習モデルを再学習させる再学習手段と、
を含み、
前記評価手段の評価に応じて前記データ更新手段、前記再学習手段、前記評価手段の処理を繰り返し、
前記検出手段は、正解率が閾値より低いラベルに属する入力データである対象入力データと当該ラベルに属する他の入力データとの類似性を示す第１指標と、当該ラベルと異なるラベルに属する入力データと前記対象入力データとの類似性を示す第２指標とを算出し、
前記データ更新手段は、前記第２指標が、前記対象入力データと前記対象入力データが属するラベルと異なるラベルに属する入力データのいずれかと類似することを示し、前記第１指標が前記対象入力データが属するラベルに属する他の入力データとの類似度が基準状態より低いことを示す場合に、前記対象入力データを前記学習データのセットから削除する、
情報処理システム。

【請求項2】

入力データと当該入力データに対する教師データであるラベルとを含む学習データのセットにより機械学習モデルを学習させる学習サーバと、前記学習された機械学習モデルにユーザから入力される入力データを入力し、当該機械学習モデルにより出力されるラベルに基づいて応答データを出力する応答サーバとを含む情報処理システムにおいて、
前記学習データのセットを取得する初期データ取得手段と、
前記学習データのセットにより前記機械学習モデルを学習させる学習手段と、
前記学習データのセットにより学習された前記機械学習モデルに対してテストデータを入力し、前記テストデータが入力された機械学習モデルの出力に基づいて前記機械学習モデルの性能が所定の条件を満たしているか評価する評価手段と、
前記機械学習モデルの性能が前記所定の条件を満たしていると評価された場合に、前記学習された機械学習モデルを前記応答サーバに展開する展開手段と、
前記機械学習モデルの性能が前記所定の条件を満たしていないと評価された場合に、前記学習データのセットが検出条件を満たしているか判定する検出手段と、
前記検出条件を満たしていると判定された場合に、前記学習データのセットを更新するデータ更新手段と、
前記更新された学習データのセットにより前記機械学習モデルを再学習させる再学習手段と、
を含み、
前記評価手段の評価に応じて前記データ更新手段、前記再学習手段、前記評価手段の処理を繰り返し、
前記検出手段は、前記ユーザから入力され前記機械学習モデルに入力される入力データのうち、前記機械学習モデルによりラベルが決定されなかった入力データの件数が閾値を超えるか否か判定し、
前記データ更新手段は、前記ラベルが決定されなかった入力データをクラスタに分類し、分類されたクラスタに基づいてラベル候補を管理者に提案し、
前記データ更新手段は、前記管理者が前記ラベル候補に基づいて入力するラベルおよび入力データのセットを前記学習データに追加する、
情報処理システム。

【請求項3】

入力データと当該入力データに対する教師データであるラベルとを含む学習データのセットにより機械学習モデルを学習させる学習サーバと、前記学習された機械学習モデルにユーザから入力される入力データを入力し、当該機械学習モデルにより出力されるラベルに基づいて応答データを出力する応答サーバとを含む情報処理システムにおいて、
前記学習データのセットを取得する初期データ取得手段と、
前記学習データのセットにより前記機械学習モデルを学習させる学習手段と、
前記学習データのセットにより学習された前記機械学習モデルに対してテストデータを入力し、前記テストデータが入力された機械学習モデルの出力に基づいて前記機械学習モデルの性能が所定の条件を満たしているか評価する評価手段と、
前記機械学習モデルの性能が前記所定の条件を満たしていると評価された場合に、前記学習された機械学習モデルを前記応答サーバに展開する展開手段と、
前記機械学習モデルの性能が前記所定の条件を満たしていないと評価された場合に、前記学習データのセットが検出条件を満たしているか判定する検出手段と、
前記検出条件を満たしていると判定された場合に、前記学習データのセットを更新するデータ更新手段と、
前記更新された学習データのセットにより前記機械学習モデルを再学習させる再学習手段と、
前記ユーザから入力データが入力された場合に、前記入力データをログストレージに記憶させるログ手段と、
を含み、
前記評価手段の評価に応じて前記データ更新手段、前記再学習手段、前記評価手段の処理を繰り返し、
前記検出手段は、前記ユーザから入力され前記機械学習モデルに入力される入力データのうち、前記機械学習モデルにより決定されたラベルに対して当該ユーザが適切でないと回答した入力データの件数に基づいて前記学習データに追加する対象となるラベルを決定し、
前記データ更新手段は、前記ログストレージに格納された入力データから、前記対象となるラベルに対応する入力データを抽出し、前記学習データのセットに前記抽出された入力データと当該ラベルとを含む学習データを追加する、
情報処理システム。

【請求項4】

初期データ取得手段が、入力データと当該入力データに対する教師データであり応答データの作成に用いられるラベルとを含む学習データのセットを取得するステップと、
学習手段が、前記学習データのセットにより機械学習モデルを学習させるステップと、
評価手段が、前記学習データのセットにより学習された前記機械学習モデルに対してテストデータを入力し、前記テストデータが入力された機械学習モデルの出力に基づいて前記機械学習モデルの性能が所定の条件を満たしているか評価するステップと、
展開手段が、前記機械学習モデルの性能が前記所定の条件を満たしていると評価された場合に、前記学習された機械学習モデルにユーザから入力される入力データを入力し、当該機械学習モデルにより出力されるラベルに基づいて応答データを出力する応答サーバに、前記性能が評価された機械学習モデルを展開するステップと、
検出手段が、前記機械学習モデルの性能が前記所定の条件を満たしていないと評価された場合に、前記学習データのセットが検出条件を満たしているか判定するステップと、
データ更新手段が、前記検出条件を満たしていると判定された場合に、前記学習データのセットを更新するステップと、
再学習手段が、前記更新された学習データのセットにより前記機械学習モデルを再学習させるステップと、
を含み、
前記評価に応じて前記学習データのセットを更新するステップと、前記機械学習モデルを再学習させるステップと、前記機械学習モデルの性能を評価するステップとを繰り返し、
前記判定するステップでは、正解率が閾値より低いラベルに属する入力データである対象入力データと当該ラベルに属する他の入力データとの類似性を示す第１指標と、当該ラベルと異なるラベルに属する入力データと前記対象入力データとの類似性を示す第２指標とを算出し、
前記更新するステップでは、前記第２指標が、前記対象入力データと前記対象入力データが属するラベルと異なるラベルに属する入力データのいずれかと類似することを示し、前記第１指標が前記対象入力データが属するラベルに属する他の入力データとの類似度が基準状態より低いことを示す場合に、前記対象入力データを前記学習データのセットから削除する、
情報処理方法。

【請求項5】

初期データ取得手段が、入力データと当該入力データに対する教師データであり応答データの作成に用いられるラベルとを含む学習データのセットを取得するステップと、
学習手段が、前記学習データのセットにより機械学習モデルを学習させるステップと、
評価手段が、前記学習データのセットにより学習された前記機械学習モデルに対してテストデータを入力し、前記テストデータが入力された機械学習モデルの出力に基づいて前記機械学習モデルの性能が所定の条件を満たしているか評価するステップと、
展開手段が、前記機械学習モデルの性能が前記所定の条件を満たしていると評価された場合に、前記学習された機械学習モデルにユーザから入力される入力データを入力し、当該機械学習モデルにより出力されるラベルに基づいて応答データを出力する応答サーバに、前記性能が評価された機械学習モデルを展開するステップと、
検出手段が、前記機械学習モデルの性能が前記所定の条件を満たしていないと評価された場合に、前記学習データのセットが検出条件を満たしているか判定するステップと、
データ更新手段が、前記検出条件を満たしていると判定された場合に、前記学習データのセットを更新するステップと、
再学習手段が、前記更新された学習データのセットにより前記機械学習モデルを再学習させるステップと、
を含み、
前記評価に応じて前記学習データのセットを更新するステップと、前記機械学習モデルを再学習させるステップと、前記機械学習モデルの性能を評価するステップとを繰り返し、
前記判定するステップでは、前記ユーザから入力され前記機械学習モデルに入力される入力データのうち、前記機械学習モデルによりラベルが決定されなかった入力データの件数が閾値を超えるか否か判定し、
前記更新するステップでは、前記ラベルが決定されなかった入力データをクラスタに分類し、分類されたクラスタに基づいてラベル候補を管理者に提案し、
前記更新するステップでは、前記管理者が前記ラベル候補に基づいて入力するラベルおよび入力データのセットを前記学習データに追加する、
情報処理方法。

【請求項6】

初期データ取得手段が、入力データと当該入力データに対する教師データであり応答データの作成に用いられるラベルとを含む学習データのセットを取得するステップと、
学習手段が、前記学習データのセットにより機械学習モデルを学習させるステップと、
評価手段が、前記学習データのセットにより学習された前記機械学習モデルに対してテストデータを入力し、前記テストデータが入力された機械学習モデルの出力に基づいて前記機械学習モデルの性能が所定の条件を満たしているか評価するステップと、
展開手段が、前記機械学習モデルの性能が前記所定の条件を満たしていると評価された場合に、前記学習された機械学習モデルにユーザから入力される入力データを入力し、当該機械学習モデルにより出力されるラベルに基づいて応答データを出力する応答サーバに、前記性能が評価された機械学習モデルを展開するステップと、
検出手段が、前記機械学習モデルの性能が前記所定の条件を満たしていないと評価された場合に、前記学習データのセットが検出条件を満たしているか判定するステップと、
データ更新手段が、前記検出条件を満たしていると判定された場合に、前記学習データのセットを更新するステップと、
再学習手段が、前記更新された学習データのセットにより前記機械学習モデルを再学習させるステップと、
ログ手段が、前記ユーザから入力データが入力された場合に、前記入力データをログストレージに記憶させるステップと、
を含み、
前記評価に応じて前記学習データのセットを更新するステップと、前記機械学習モデルを再学習させるステップと、前記機械学習モデルの性能を評価するステップとを繰り返し、
前記判定するステップでは、前記ユーザから入力され前記機械学習モデルに入力される入力データのうち、前記機械学習モデルにより決定されたラベルに対して当該ユーザが適切でないと回答した入力データの件数に基づいて前記学習データに追加する対象となるラベルを決定し、
前記更新するステップでは、前記ログストレージに格納された入力データから、前記対象となるラベルに対応する入力データを抽出し、前記学習データのセットに前記抽出された入力データと当該ラベルとを含む学習データを追加する、
情報処理方法。

【請求項7】

入力データと当該入力データに対する教師データであり応答データの作成に用いられるラベルとを含む学習データのセットを取得する初期データ取得手段、
前記学習データのセットにより機械学習モデルを学習させる学習手段、
前記学習データのセットにより学習された前記機械学習モデルに対してテストデータを入力し、前記テストデータが入力された機械学習モデルの出力に基づいて前記機械学習モデルの性能が所定の条件を満たしているか評価する評価手段、
前記機械学習モデルの性能が前記所定の条件を満たしていると評価された場合に、前記学習された機械学習モデルにユーザから入力される入力データを入力し、当該機械学習モデルにより出力されるラベルに基づいて応答データを出力する応答サーバに、前記性能が評価された機械学習モデルを展開する展開手段、
前記機械学習モデルの性能が前記所定の条件を満たしていないと評価された場合に、前記学習データのセットが検出条件を満たしているか判定する検出手段、
前記検出条件を満たしていると判定された場合に、前記学習データのセットを更新するデータ更新手段、および、
前記更新された学習データのセットにより前記機械学習モデルを再学習させる再学習手段、
としてコンピュータを機能させ、
前記評価手段の評価に応じて前記データ更新手段、前記再学習手段、前記評価手段の処理を繰り返し、
前記検出手段は、正解率が閾値より低いラベルに属する入力データである対象入力データと当該ラベルに属する他の入力データとの類似性を示す第１指標と、当該ラベルと異なるラベルに属する入力データと前記対象入力データとの類似性を示す第２指標とを算出し、
前記データ更新手段は、前記第２指標が、前記対象入力データと前記対象入力データが属するラベルと異なるラベルに属する入力データのいずれかと類似することを示し、前記第１指標が前記対象入力データが属するラベルに属する他の入力データとの類似度が基準状態より低いことを示す場合に、前記対象入力データを前記学習データのセットから削除する、
プログラム。

【請求項8】

入力データと当該入力データに対する教師データであり応答データの作成に用いられるラベルとを含む学習データのセットを取得する初期データ取得手段、
前記学習データのセットにより機械学習モデルを学習させる学習手段、
前記学習データのセットにより学習された前記機械学習モデルに対してテストデータを入力し、前記テストデータが入力された機械学習モデルの出力に基づいて前記機械学習モデルの性能が所定の条件を満たしているか評価する評価手段、
前記機械学習モデルの性能が前記所定の条件を満たしていると評価された場合に、前記学習された機械学習モデルにユーザから入力される入力データを入力し、当該機械学習モデルにより出力されるラベルに基づいて応答データを出力する応答サーバに、前記性能が評価された機械学習モデルを展開する展開手段、
前記機械学習モデルの性能が前記所定の条件を満たしていないと評価された場合に、前記学習データのセットが検出条件を満たしているか判定する検出手段、
前記検出条件を満たしていると判定された場合に、前記学習データのセットを更新するデータ更新手段、および、
前記更新された学習データのセットにより前記機械学習モデルを再学習させる再学習手段、
としてコンピュータを機能させ、
前記評価手段の評価に応じて前記データ更新手段、前記再学習手段、前記評価手段の処理を繰り返し、
前記検出手段は、前記ユーザから入力され前記機械学習モデルに入力される入力データのうち、前記機械学習モデルによりラベルが決定されなかった入力データの件数が閾値を超えるか否か判定し、
前記データ更新手段は、前記ラベルが決定されなかった入力データをクラスタに分類し、分類されたクラスタに基づいてラベル候補を管理者に提案し、
前記データ更新手段は、前記管理者が前記ラベル候補に基づいて入力するラベルおよび入力データのセットを前記学習データに追加する、
プログラム。

【請求項9】

入力データと当該入力データに対する教師データであり応答データの作成に用いられるラベルとを含む学習データのセットを取得する初期データ取得手段、
前記学習データのセットにより機械学習モデルを学習させる学習手段、
前記学習データのセットにより学習された前記機械学習モデルに対してテストデータを入力し、前記テストデータが入力された機械学習モデルの出力に基づいて前記機械学習モデルの性能が所定の条件を満たしているか評価する評価手段、
前記機械学習モデルの性能が前記所定の条件を満たしていると評価された場合に、前記学習された機械学習モデルにユーザから入力される入力データを入力し、当該機械学習モデルにより出力されるラベルに基づいて応答データを出力する応答サーバに、前記性能が評価された機械学習モデルを展開する展開手段、
前記機械学習モデルの性能が前記所定の条件を満たしていないと評価された場合に、前記学習データのセットが検出条件を満たしているか判定する検出手段、
前記検出条件を満たしていると判定された場合に、前記学習データのセットを更新するデータ更新手段、
前記更新された学習データのセットにより前記機械学習モデルを再学習させる再学習手段、および、
前記ユーザから入力データが入力された場合に、前記入力データをログストレージに記憶させるログ手段、
としてコンピュータを機能させ、
前記評価手段の評価に応じて前記データ更新手段、前記再学習手段、前記評価手段の処理を繰り返し、
前記検出手段は、前記ユーザから入力され前記機械学習モデルに入力される入力データのうち、前記機械学習モデルにより決定されたラベルに対して当該ユーザが適切でないと回答した入力データの件数に基づいて前記学習データに追加する対象となるラベルを決定し、
前記データ更新手段は、前記ログストレージに格納された入力データから、前記対象となるラベルに対応する入力データを抽出し、前記学習データのセットに前記抽出された入力データと当該ラベルとを含む学習データを追加する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は情報処理システム、情報処理方法および情報処理装置に関する。

【背景技術】

【0002】

近年、例えばチャットボットと呼ばれる、質問の応答を自動化するシステムが開発されている。このシステムでは質問が入力されると、その質問が予め定められた複数のラベルのいずれに対応するか判定し、判定されたラベルに対応する回答を出力する。近年では、この質問文から対応するラベルを判定するＮＬＵ(Natural Language Understanding)の処理において、機械学習モデルが多く用いられている。

【0003】

特許文献１には、自然言語理解システムをトレーニングさせるためのトレーニングデータに注釈を付けることを支援する手法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００４－５６４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

機械学習モデルの学習に用いる学習データのセットの構成によって、学習後の機械学習モデルの性能が変化することが知られている。そのため、学習データのセットを作成する際に、管理者がその学習データのセットに問題がないか調査し編集する必要がある。管理者にとって学習データのセットを解析することは大きな負担となっていた。

【0006】

本発明は上記課題を鑑みてなされたものであって、その目的は、機械学習モデルの性能を確保するための学習データのセットの準備を容易にするための技術を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明にかかる情報処理システムは、入力データと当該入力データに対する教師データであるラベルとを含む学習データのセットにより機械学習モデルを学習させる学習サーバと、前記学習された機械学習モデルにユーザから入力される入力データを入力し、当該機械学習モデルにより出力されるラベルに基づいて応答データを出力する応答サーバとを含む情報処理システムであって、前記学習データのセットを取得する初期データ取得手段と、前記学習データのセットにより前記機械学習モデルを学習させる学習手段と、前記学習データのセットにより学習された前記機械学習モデルに対してテストデータを入力し、前記テストデータが入力された機械学習モデルの出力に基づいて前記機械学習モデルの性能が所定の条件を満たしているか評価する評価手段と、前記機械学習モデルの性能が前記所定の条件を満たしていると評価された場合に、前記学習された機械学習モデルを前記応答サーバに展開する展開手段と、前記機械学習モデルの性能が前記所定の条件を満たしていないと評価された場合に、前記学習データのセットを更新するデータ更新手段と、前記更新された学習データのセットにより前記機械学習モデルを再学習させる再学習手段と、を含み、前記評価手段の評価に応じて前記データ更新手段、前記再学習手段、前記評価手段の処理を繰り返す。

【0008】

また、本発明にかかる情報処理方法は、入力データと当該入力データに対する教師データであり応答データの作成に用いられるラベルとを含む学習データのセットを取得するステップと、前記学習データのセットにより前記機械学習モデルを学習させるステップと、前記学習データのセットにより学習された前記機械学習モデルに対してテストデータを入力し、前記テストデータが入力された機械学習モデルの出力に基づいて前記機械学習モデルの性能が所定の条件を満たしているか評価するステップと、前記機械学習モデルの性能が前記所定の条件を満たしていると評価された場合に、前記学習された機械学習モデルにユーザから入力される入力データを入力し、当該機械学習モデルにより出力されるラベルに基づいて応答データを出力する応答サーバに、前記性能が評価された機械学習モデルを展開するステップと、前記機械学習モデルの性能が前記所定の条件を満たしていないと評価された場合に、前記学習データのセットを更新するステップと、前記更新された学習データのセットにより前記機械学習モデルを再学習させるステップと、を含み、前記評価に応じて前記学習データのセットを更新するステップと、前記機械学習モデルを再学習させるステップと、前記機械学習モデルの性能を評価するステップとを繰り返す。

【0009】

また、本発明にかかる情報処理装置は、入力データと当該入力データに対する教師データであり応答データの作成に用いられるラベルとを含む学習データのセットを取得する初期データ取得手段と、前記学習データのセットにより前記機械学習モデルを学習させる学習手段と、前記学習データのセットにより学習された前記機械学習モデルに対してテストデータを入力し、前記テストデータが入力された機械学習モデルの出力に基づいて前記機械学習モデルの性能が所定の条件を満たしているか評価する評価手段と、前記機械学習モデルの性能が前記所定の条件を満たしていると評価された場合に、前記学習された機械学習モデルにユーザから入力される入力データを入力し、当該機械学習モデルにより出力されるラベルに基づいて応答データを出力する前記応答サーバに、前記性能が評価された機械学習モデルを展開する展開手段と、前記機械学習モデルの性能が前記所定の条件を満たしていないと評価された場合に、前記学習データのセットを更新するデータ更新手段と、前記更新された学習データのセットにより前記機械学習モデルを再学習させる再学習手段と、を含み、前記評価手段の評価に応じて前記データ更新手段、前記再学習手段、前記評価手段の処理を繰り返す。

【0010】

本発明の一形態では、情報処理システムは、前記機械学習モデルの性能が前記所定の条件を満たしていないと評価された場合に、前記学習データのセットが検出条件を満たしているか判定する検出手段、をさらに含み、前記データ更新手段は、前記検出条件を満たしていると判定された場合に、前記学習データのセットを更新してもよい。

【0011】

本発明の一形態では、前記検出手段は、前記学習データのセットにおけるラベルごとの入力データの数が検出条件を満たしているか判定し、前記データ更新手段は、前記検出条件を満たしていると判定された場合に、前記学習データのセットを更新してもよい。

【0012】

本発明の一形態では、前記データ更新手段は、前記機械学習モデルの性能が前記所定の条件を満たしていないと評価された場合に、改善パラメータに基づいて前記学習データのセットを更新し、情報処理システムは、前記学習データのセットの更新に応じて前記改善パラメータを更新するパラメータ更新手段をさらに含んでよい。

【0013】

本発明の一形態では、情報処理システムは、前記ユーザから入力データが入力された場合に、前記入力データをログストレージに記憶させるログ手段をさらに含み、前記検出手段は、前記学習データのセットについて入力データの数が不足するラベルが存在するか判定し、前記データ更新手段は、前記入力データの数が不足するラベルが存在すると判定された場合に、前記ログストレージに格納された入力データから、当該ラベルに対応する入力データを抽出し、前記学習データのセットに前記抽出された入力データと当該ラベルとを含む学習データを追加してよい。

【0014】

本発明の一形態では、前記データ更新手段は、前記入力データの数が不足するラベルが存在すると判定された場合に、前記学習データのセットにおいて当該ラベルに対応する入力データと、前記ログストレージに格納された入力データとに基づいて、前記ログストレージに格納された入力データから、当該ラベルに対応する入力データを抽出してよい。

【0015】

本発明の一形態では、情報処理システムは、前記ユーザから入力データが入力された場合に、前記入力データをログストレージに記憶させるログ手段と、前記ログストレージに格納された入力データから、いずれかのラベルに対応する入力データを抽出し、前記学習データに前記抽出された入力データと当該ラベルとのセットを追加するテストデータ追加手段と、をさらに含んでよい。

【発明の効果】

【0016】

本発明により、機械学習モデルの性能を確保するための学習データのセットを準備することが容易になる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態にかかる情報処理システムの一例を示す図である。

【図2】情報処理システムが実現する機能を示すブロック図である。

【図3】学習データセットの一例を示す図である。

【図4】質問回答部の機能的な構成を示すブロック図である。

【図5】情報処理システムにおいて、機械学習モデルの学習に関する処理を概略的に示すフロー図である。

【図6】問題検出部の処理およびデータ変更部の処理を説明する図である。

【図7】データ解析に関する処理の一例を示すフロー図である。

【図8】学習データセットのサンプル数の調整を説明する図である。

【図9】質問回答部の処理の一例を示すフロー図である。

【図10】質問ログの一例を示す図である。

【図11】データ追加の処理の一例を示すフロー図である。

【図12】類似度とユーザ質問の抽出との関係を説明する図である。

【発明を実施するための形態】

【0018】

以下では、本発明の実施形態を図面に基づいて説明する。同じ符号を付された構成に対しては、重複する説明を省略する。本実施形態では、チャットボットのように利用者から質問を受け付け、その質問が予め定められた複数のラベルのいずれに対応するか判定し、判定されたラベルに対応する回答を出力する情報処理システムについて説明する。

【0019】

以下では質問がテキストとして入力される場合について説明するが、質問は音声で入力されてもよい。またこの情報処理システムは、自然言語理解（ＮＬＵ）を実現するための機械学習モデルを用いており、情報処理システムは学習データのセットで機械学習モデルを学習させ、学習済の機械学習モデルが利用者からの質問の分析に用いられる。

【0020】

図１は、本発明の実施形態にかかる情報処理システムの一例を示す図である。情報処理システムは、学習管理サーバ１と、問合せ対応サーバ２とを含む。学習管理サーバ１と問合せ対応サーバ２とはネットワークを介して接続され、問合せ対応サーバ２は複数の利用者端末３とネットワークを介して接続されている。利用者端末３は情報処理システムが提供するサービスの利用者であって、質問をする利用者により操作される。利用者端末３は、例えばスマートフォンやパーソナルコンピュータなどである。

【0021】

学習管理サーバ１はプロセッサ１１、記憶部１２、通信部１３、入出力部１４を含む。なお、学習管理サーバ１は、サーバコンピュータである。ここで、図示しないが、問合せ対応サーバ２は、サーバコンピュータであり、学習管理サーバ１と同様に、プロセッサ１１、記憶部１２、通信部１３、入出力部１４を含む。以下で説明される学習管理サーバ１および問合せ対応サーバ２のそれぞれの機能は、複数のサーバコンピュータにより実現されてもよい。

【0022】

プロセッサ１１は、記憶部１２に格納されているプログラムに従って動作する。またプロセッサ１１は通信部１３、入出力部１４を制御する。なお、上記プログラムは、インターネット等を介して提供されるものであってもよいし、フラッシュメモリやＤＶＤ－ＲＯＭ等のコンピュータで読み取り可能な記憶媒体に格納されて提供されるものであってもよい。

【0023】

記憶部１２は、ＲＡＭおよびフラッシュメモリ等のメモリ素子とハードディスクドライブのような外部記憶装置とによって構成されている。記憶部１２は、上記プログラムを格納する。また、記憶部１２は、プロセッサ１１、通信部１３、入出力部１４から入力される情報や演算結果を格納する。

【0024】

通信部１３は、他の装置と通信する機能を実現するものであり、例えば無線ＬＡＮ、有線ＬＡＮを実現する集積回路などにより構成されている。通信部１３は、プロセッサ１１の制御に基づいて、他の装置から受信した情報をプロセッサ１１や記憶部１２に入力し、他の装置に情報を送信する。

【0025】

入出力部１４は、表示出力デバイスをコントロールするビデオコントローラや、入力デバイスからのデータを取得するコントローラなどにより構成される。入力デバイスとしては、キーボード、マウス、タッチパネルなどがある。入出力部１４は、プロセッサ１１の制御に基づいて、表示出力デバイスに表示データを出力し、入力デバイスをユーザが操作することにより入力されるデータを取得する。表示出力デバイスは例えば外部に接続されるディスプレイ装置である。

【0026】

次に、情報処理システムが提供する機能について説明する。図２は、情報処理システムが実現する機能を示すブロック図である。情報処理システムは、機能的に、初期データ決定部５１と、学習部５２と、性能評価部５３と、問題検出部５４と、データ変更部５５と、モデル展開部５６と、学習制御部５７と、質問回答部５８と、を含む。初期データ決定部５１と、学習部５２と、性能評価部５３と、問題検出部５４と、データ変更部５５と、モデル展開部５６と、学習制御部５７との機能は、学習管理サーバ１に含まれるプロセッサ１１によって記憶部１２に格納されるプログラムが実行され、通信部１３などを制御することにより実現される。質問回答部５８は、問合せ対応サーバ２に含まれるプロセッサ１１によって記憶部１２に格納されるプログラムが実行され、通信部１３などを制御することにより実現される。

【0027】

また情報処理システムは、データとして、学習データセット６１、質問ログ６２をさらに含む。これらは主に記憶部１２に格納されてもよいし、別のサーバにより実現される実現されるデータベースやストレージに格納されてもよい。

【0028】

初期データ決定部５１は、初期の学習データセット６１を取得する。学習データセット６１は複数の学習データを含んでいる。学習データのそれぞれは、質問データとその質問データに対する教師データであるラベルとを含む。

【0029】

図３は、学習データセット６１の一例を示す図である。質問データは例えば図３に示されるような質問のテキストであり、自然言語として入力された質問を表すデータである。質問データは質問のテキストが形態素解析などにより解析されることによって生成される解析結果であってもよい。学習の際に、学習部５２が形態素解析を用いて、質問のテキストからなる質問データを単語群からなる質問データに変換し、変換された質問データが機械学習モデルに入力されてもよい。学習データに格納されるラベルは、予め定められた複数のラベルのうちいずれか１つである。ラベルは質問を入力したユーザの意図を示す情報であり、以下では「intent」と呼ぶこともある。あるラベルを含む学習データの数は複数であり、説明の容易のため、あるラベルを含む学習データの質問データ（質問テキスト）を、あるラベルに属する質問データ（質問テキスト）と記載する。

【0030】

学習部５２は、学習データセット６１により機械学習モデルを学習させる。また学習データが更新されると、学習部５２は更新された学習データセット６１により機械学習モデルを再学習させる。

【0031】

機械学習モデルは、質問データが入力されると、複数のラベルのうちいずれかを出力するよう構成されている。本実施形態では、機械学習モデル機械学習モデルとして、例えばＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）といったいわゆるDeep Learningを用い、形態素解析により分割された単語が入力される機械学習モデルが構築されてもよいし、形態素解析された単語から抽出された特徴的な単語により構成されるベクトルが入力されるランダムフォレスト、サポートベクタマシン（ＳＶＭ）などの機械学習が実装された機械学習モデルが構築されてもよい。また機械学習モデルは外部のシステムにより提供される、その処理の詳細が不明なものであってもよい。

【0032】

性能評価部５３は、学習データセット６１により学習された機械学習モデルに対してテストデータを入力し、そのテストデータが入力された機械学習モデルの出力に基づいて前記機械学習モデルの性能が所定の条件を満たしているか評価する。テストデータは、複数のレコードを含み、各レコードは、質問データとその質問データに対する回答であるラベルとを含む。例えば、性能評価部５３は、ラベルごとに、正解率を集計し、その正解率が所定の閾値より低いラベルが存在するか否かにより性能が所定の条件を満たしているか評価してよい。

【0033】

問題検出部５４は、性能が所定の条件を満たしていないと評価された場合に、学習データセット６１が予め定められた問題の検出条件を満たしているか判定する。

【0034】

データ変更部５５は、問題の検出条件を満たしていると判定された場合に、学習データセット６１を更新する。問題の検出および更新の具体的な手法については後述する。

【0035】

モデル展開部５６は、性能が所定の条件を満たすと判定された場合は、学習済の機械学習モデルを実際の利用者からの質問に対して回答する問合せ対応サーバ２に展開する。機械学習モデルの展開は、学習済み機械学習モデルのパラメータを問合せ対応サーバ２へコピーすることにより行われてもよいし、学習済み機械学習モデルを含む仮想環境を問合せ対応サーバ２へコピーすることにより行われてもよい。また、クラウド上に構築された学習済の機械学習モデルへ実際の利用者からの問い合わせの質問データを入力するように質問データの入力先を切り替えることにより展開されてもよい。

【0036】

学習制御部５７は、初期データ決定部５１、学習部５２、性能評価部５３、問題検出部５４、データ変更部５５を制御し、学習データセット６１の整備および機械学習モデルの学習を制御する。また性能評価部５３により性能が所定の条件を満たすと判定された場合は、モデル展開部５６に学習済の機械学習モデルを展開するよう指示する。

【0037】

質問回答部５８は、利用者端末３から利用者が入力した質問を取得し、その質問に対する回答を出力する。また入力された質問を示す情報を質問ログ６２に格納させる。

【0038】

図４は、質問回答部５８の機能的な構成を示すブロック図である。質問回答部５８は機能的に、自然言語処理部７１、対話管理部７２、回答生成部７３を含む。これらの機能は、問合せ対応サーバ２に含まれるプロセッサ１１によって記憶部１２に格納されるプログラムが実行され、通信部１３などを制御することにより実現される。

【0039】

自然言語処理部７１は、いわゆる自然言語理解（ＮＬＵ）を実現する機能である。自然言語処理部７１は形態素解析を行い、自然言語処理部７１は、形態素解析により質問のテキストから生成された質問データが入力され、ラベルを出力する機械学習モデルを含む。自然言語処理部７１は、他のサーバにより実現される自然言語理解機能に対して質問のテキストまたは質問データを送信し、その結果を取得してもよい。なお、質問回答部５８は利用者の音声により入力された質問音声を解析するＡＳＲ（Automatic Speech Recognition）／ＳＴＴ（Speech to Text）機能をさらに含み、その出力が自然言語処理部７１に入力されてもよい。

【0040】

対話管理部７２は、自然言語処理部７１から出力されるラベルに基づいて、回答生成部７３から質問に対する回答のテキストを取得し、回答テキストを利用者端末３へ送信する。なお、質問回答部５８は回答テキストを音声に変換するＴＴＳ（Text to Speech）機能をさらに含み、質問回答部５８は回答テキストの代わりに変換された音声を利用者端末３へ出力してもよい。

【0041】

ここで、利用者からの質問およびその質問に対する回答を１ターンとして、問合せ対応サーバ２は、一連の複数のターンにより利用者の最終的に望む回答を出力するように構成されてよい。より具体的には、対話管理部７２は、ある質問テキストまたは質問データに対して出力されるラベルに基づいて状態の遷移を管理し、回答生成部７３にその遷移された状態に応じた回答を生成させてよい。例えば、１つめのターンにおける利用者の質問テキスト「パスワードを忘れた」に対して「forget_password」というラベルが出力された場合に、対話管理部７２は回答生成部７３に回答として「メールアドレスはわかりますか？（はい/いいえ）」を生成させ、次の利用者の質問テキスト「はい、わかります。」に対して「yes」というラベルが出力された場合に、対話管理部７２は、対話管理部７３に、「forget_password」から「yes」へのラベルの状態遷移に応じた回答「次のリンクからパスワードの再設定を行ってください。」を生成させてよい。

【0042】

また、対話管理部７２は質問テキストまたは質問データと、ラベルを判定できたか否かを示す情報と、判定されたラベルと、回答に対する利用者のフィードバックと、を質問ログ６２に格納する。

【0043】

回答生成部７３は、対話管理部７２の制御により、判定されたラベルに応じた回答テキストを生成する。なお、自然言語処理部７１、対話管理部７２、回答生成部７３の処理の詳細は後述する。

【0044】

以下では、初期データ決定部５１、学習部５２、性能評価部５３、問題検出部５４、データ変更部５５、モデル展開部５６、および、学習制御部５７による機械学習モデルの学習および学習データセット６１の準備についてさらに説明する。図５は、情報処理システムにおいて、機械学習モデルの学習に関する処理を概略的に示すフロー図である。

【0045】

はじめに、初期データ決定部５１は、学習制御部５７による指示に基づいて、初期の学習データセット６１およびテストデータのセット（以下ではテストデータセットと記載する）を取得する（ステップＳ１０１）。テストデータセットは複数のテストデータを含み、テストデータは、質問データと、その質問データに対して出力されるべきラベルとを含む。

【0046】

次に、学習制御部５７は学習部５２の処理を開始させ、学習部５２は、学習データセット６１を用いて機械学習モデルを学習させる（ステップＳ１０２）。学習部５２は、初めてステップＳ１０２が実行される際には初期データ決定部５１により取得された学習データセット６１により機械学習モデルを学習させる。

【0047】

機械学習モデルが学習させると、学習制御部５７は性能評価部５３の処理を開始させ、性能評価部５３は、学習済の機械学習モデルが性能条件を満たすか判定する（ステップＳ１０４）。より具体的には、性能評価部５３は、複数のテストデータのそれぞれについて、学習済の機械学習モデルにテストデータに含まれる質問データを入力し、その出力がテストデータに含まれるラベルと同じであるか（正解であるか）判定する。そして、性能評価部５３は学習データのラベルごとに正解である割合を算出し、算出された割合が判定閾値より低いラベルが存在するか判定する。性能評価部５３は算出された割合が判定閾値より低いラベルが存在しない場合は性能条件を満たすと判定し、そうでない場合は性能条件を満たさないと判定する。なお、性能評価部５３は機械学習モデルにより出力されたラベルごとに正解である割合を求め、その割合にも基づいて性能条件を満たすか否かを判定してもよい。

【0048】

学習済の機械学習モデルが性能条件を満たさないと判定された場合には（ステップＳ１０４のＮ）、学習制御部５７は改善ポリシーを調整する（ステップＳ１０５）。そして、学習制御部５７は問題検出部５４の処理を開始させ、問題検出部５４は学習データセット６１の問題点を検出する（ステップＳ１０６）。学習制御部５７は、改善ポリシーに基づいて問題検出部５４へ改善パラメータを渡し、問題検出部５４はその改善パラメータに基づいて学習データセット６１の問題点を検出してよい。改善ポリシーおよび改善パラメータの詳細については後述する。

【0049】

問題検出部５４の処理が行われると、学習制御部５７はデータ変更部５５の処理を開始させ、データ変更部５５は、検出された問題点に応じて、学習データセット６１を更新する（ステップＳ１０７）。そして、ステップＳ１０２へ戻り、学習制御部５７は学習部５２の処理を開始させ、学習部５２は、更新された学習データセット６１を用いて機械学習モデルを再学習させる。２回目以降のステップＳ１０３以降の処理は１回目と同様であるため説明を省略する。

【0050】

一方、ステップＳ１０４において、学習済の機械学習モデルが性能条件を満たすと判定された場合には（ステップＳ１０４のＹ）、学習制御部５７はモデル展開部５６に処理を開始させ、モデル展開部５６は学習済の機械学習モデルを問合せ対応サーバ２に展開する（ステップＳ１０８）。

【0051】

問題検出部５４が問題点を検出する検出手法の数、およびデータ変更部５５がデータを更新する更新手法の数は、それぞれ複数である。図６は、問題検出部５４の処理およびデータ変更部５５の処理を説明する図である。検出処理の欄は、問題検出部５４が学習データセット６１の問題を検出する手法の種類を示し、問題の欄は、検出される問題の種類を示し、データ変更処理は検出された問題を改善するための学習データセット６１の更新手法の種類を示している。図６に示される手法およびその手法において行われる処理の詳細について以下に記載する。

【0052】

はじめに、「Data statistics」（データ解析）について記載する。図７は、データ解析に関する処理の一例を示すフロー図である。図７に示される処理は、ステップＳ１０５，Ｓ１０６，Ｓ１０７の処理の詳細のうち、データ解析に関わる処理を抜き出したものである。

【0053】

図７に示される処理においては、はじめに、学習制御部５７は、改善ポリシーに含まれる改善パラメータである、データ件数の上限値および下限値を決定する（ステップＳ２０１）。データ件数の上限値および下限値は、以前に用いられた上限値および下限値と異なる値となるように決定されてよい。また仮に他の問題検出手法についての改善パラメータが変更された場合には、前回の上限値および下限値を変更せず用いるようにしてもよい。上限値および下限値は、予め定められた候補値のうちいずれかが選択されることにより決定されてよい。

【0054】

学習制御部５７は、上限値および下限値を引数として問題検出部５４のうちデータ解析のＡＰＩを呼び出し、問題検出部５４は、学習データセット６１に含まれる学習データについて、ラベルごとに学習データの件数を集計する（ステップＳ２０２）。

【0055】

上限値および下限値は、データ解析のＡＰＩが呼び出される際のパラメータでなくてもよい。例えば、データ解析のＡＰＩがラベルごとに学習データの件数を集計し、学習制御部５７がそのラベルごとの学習データの件数に応じて上限値および下限値を決定してもよい。例えば、学習制御部５７は、ラベルごとの学習データの件数の最大値や最小値を取得し、その最大値より所定の値だけ小さい値を上限値とし、最小値より所定の値だけ大きい値を下限値としてもよい。

【0056】

データの件数が集計されると、学習制御部５７は、集計された件数が上限値を超えるラベルが存在するか判定する（ステップＳ２０３）。

【0057】

件数が上限値を超えるラベルが存在する場合には（ステップＳ２０３のＹ）、学習制御部５７は、「Too many samples」の問題が検出されたものとして、データ変更部５５のうち「Sample Reduction」（学習データ削減）の処理のＡＰＩを、件数が上限値を超えるラベルおよび上限値を引数として呼び出す。するとデータ変更部５５は、件数が上限値を超えるラベルについて、学習データの件数を削減する（ステップＳ２０４）。データ変更部５５は、上限値を超えるラベルを含む複数の学習データのそれぞれについて、同じラベルを含む質問データとの類似度の和を算出し、その和によりソートされた順位に基づいて削除する学習データを決定してもよい。例えば予め定められた順位の学習データが削除されてよい。また単に削除される学習データがランダムに決定されてもよい。件数が上限値を超えるラベルが存在しない場合はステップＳ２０４の処理はスキップされる。

【0058】

一方、件数が下限値より低いラベルが存在する場合には（ステップＳ２０５のＹ）、学習制御部５７は、「Lack of samples」の問題が検出されたものとして、データ変更部５５のうち「New sample collection」（学習データ取得）の処理のＡＰＩを、下限値より低いラベルおよび下限値を引数として呼び出す。学習データ取得の処理では、データ変更部５５は質問ログ６２から、そのラベルに対応する質問データを抽出し、学習データセット６１に抽出された質問データとそのラベルとを含む学習データを追加する。また追加の対象となる質問データは、学習データセット６１においてそのラベルに対応する質問データと、質問ログ６２に格納された質問データとに基づいて、質問ログ６２から抽出される。これらの処理の詳細については後述する。

【0059】

図８は、学習データセット６１の件数の調整を説明する図である。図８には３つのグラフが記載されており、各グラフの縦軸が学習データの件数であり、ラベルごとに学習データの件数が示されている。図８においてＮｍａｘは件数の上限値、Ｎｍｉｎは件数の下限値を示す。

【0060】

図８の上のグラフはデータ解析において求められたラベルごとの学習データ件数を示す。この例では２つのラベルについて学習データの件数が上限値を越えているので、その２つのラベルについて「Sample Reduction」（学習データ削減）の処理が実行され、学習データの数が上限値以下となるよう学習データセット６１が変更される（図８の真ん中のグラフの左側２つのラベル参照）。また、この例では４つのラベルについて学習データの件数が下限値より低いので、その４つのラベルについて「New sample collection」（データ追加）の処理が実行され、学習データの数が下限値以上となるよう学習データセット６１が変更される（図８の下のグラフの右側４つのラベル参照）。

【0061】

ラベルによる学習データの件数の違いが大きい場合に、機械学習モデルが、必要以上に件数の多いラベルを出力する傾向がある。このように学習データの件数を調整することにより、機械学習モデルの精度を確保することが可能になる。

【0062】

ここで、機械学習モデルが展開された後における、問合せ対応サーバ２の質問回答部５８の処理と、質問ログ６２について説明する。図９は、質問回答部５８の処理の一例を示すフロー図である。はじめに、質問回答部５８の自然言語処理部７１は、利用者からの入力に基づいて質問データを取得する（ステップＳ５０１）。自然言語処理部７１は、利用者からの入力される質問テキストをそのまま質問データとして取得してもよいし、質問テキストを形態素解析して質問データを取得してもよい。

【0063】

自然言語処理部７１は、取得された質問データを学習済の機械学習モデルに入力する（ステップＳ５０２）。そして、機械学習モデルがラベルを決定できない場合には（ステップＳ５０３のＮ）、対話管理部７２は、質問に回答できない旨のメッセージを利用者に向けて送信し、質問ログ６２に質問データを示す情報を対応ラベル未検出の旨とともに格納する（ステップＳ５０４）。

【0064】

機械学習モデルがラベルを決定できた場合には（ステップＳ５０３のＹ）、対話管理部７２は決定されたラベルを回答生成部７３に渡し、回答生成部７３は、決定されたラベルに対する回答を生成する（ステップＳ５０５）。回答生成部７３は単にラベルと関連付けて記憶された回答のテキストを取得することにより回答を生成してもよいし、回答生成部７３は利用者または質問対象となる組織と関連付けて記録された情報を用いて動的に回答を生成してもよい。

【0065】

対話管理部７２は、生成された回答を利用者端末３へ出力する（ステップＳ５０６）。ここで利用者端末３は、回答とともに、この回答が質問に対して適切であるか否かを入力させる画面などを出力し、利用者からの入力を問合せ対応サーバ２へ送信する。対話管理部７２は、利用者端末３から、回答が適切であるか否かを示すフィードバックの情報を取得する（ステップＳ５０７）。回答が適切でないことを示す情報を取得した場合には（ステップＳ５０７のＮ）、対話管理部７２は質問ログ６２に質問データを示す情報、決定されたラベル、回答が適切でない旨を格納する（ステップＳ５０９）。回答が適切であることを示す情報を取得した場合には（ステップＳ５０７のＹ）、対話管理部７２は質問ログ６２に質問データを示す情報、決定されたラベル、回答が適切である旨を格納する（ステップＳ５１０）。

【0066】

図１０は、質問ログ６２の一例を示す図である。「ユーザ質問」は、質問データを示す情報であり、利用者により入力された質問のテキストである。「対応ラベル検出」は、機械学習モデルがラベルを決定できたか否かを示す情報であり、その値については「Yes」がラベルを決定できた旨を、「No」がラベルを決定できなかった旨を示す。「推測されたラベル」は機械学習モデルにより決定されたラベルである。「回答適切性」は利用者からの回答が適切であるか否かを示すフィードバックであり、その値については「Yes」は回答が適切であり、「No」は回答が適切でないことを示す。

【0067】

質問ログ６２に格納されるこれらの情報は、以下に説明される問題検出部５４およびデータ変更部５５の処理の一部で用いられる。質問ログ６２は機械学習モデルの展開後に生成されるものであるが、例えば状況の変化などによりその機械学習モデルの学習をやり直す場合に質問ログ６２を用いた処理をすることは可能である。

【0068】

以下では、「New sample collection」（データ追加）の処理についてさらに詳細に説明する。図１１は、データ追加の処理の一例を示すフロー図である。図１１の処理は、学習データセット６１において件数が少ないとされたラベルごとに実行される。

【0069】

データ変更部５５は、学習データセット６１から、処理対象となるラベルを含む学習データを選択する（ステップＳ３０１）。そしてデータ変更部５５は、選択された学習データのそれぞれについて、質問ログ６２に含まれる複数のユーザ質問のそれぞれと、選択された学習データに含まれる質問データとの類似度を算出する（ステップＳ３０２）。なお、選択された学習データのうち１つと、複数のユーザ質問のうち１つとのすべての組み合わせについて類似度が算出されてよい。

【0070】

データ変更部５５は、ユーザ質問のテキストから形態素解析などにより抽出されるキーワード、または、質問データに含まれるキーワードにより文章ベクトルを生成し、生成される文章ベクトルの類似度を算出することにより、ユーザ質問と質問データとの類似度を算出してよい。また、いわゆるＤｅｅｐ Ｌｅａｒｎｉｎｇによりテキストを直接的に文章ベクトルに変換する機械学習モデルを予め構築し、データ変更部５５は、その機械学習モデルにユーザ質問のテキストと質問データのテキストとを入力し、出力される文章ベクトルの類似度を算出してもよい。

【0071】

類似度が算出されると、データ変更部５５は、複数のユーザ質問のうち、第１類似閾値
（例えば０．９）より大きい類似度が算出された学習データの数がＮ（例えば３）以上のものを抽出する（ステップＳ３０３：第１手法）。これは、多くの学習データに類似する質問を抽出する処理である。

【0072】

次に、データ変更部５５は、複数のユーザ質問のうち、第１類似閾値より大きい類似度が算出された学習データの数がＭ（例えば１）以下のものを抽出する（ステップＳ３０４：第２手法）。これは、少ない学習データに類似する質問を抽出する処理である。

【0073】

次に、データ変更部５５は、複数のユーザ質問のうち、第２類似閾値（例えば０．６）より大きく第１類似閾値未満の類似度が算出された学習データの数が１以上のものを抽出する（ステップＳ３０５：第３手法）。これは、学習データにおけるラベルに対応する質問の範囲を拡げるための質問を抽出する処理である。

【0074】

データ変更部５５は、ステップＳ３０３からＳ３０５の処理により抽出されたユーザ質問に基づく質問データと、処理対象となるラベルとを含む学習データを、学習データセット６１に追加する（ステップＳ３０６）。

【0075】

なお、ステップＳ３０６において抽出されたユーザ質問の数が、下限値から処理対象のラベルにおける学習データの件数を引いた値（追加予定数）より大きい場合には、データ変更部５５は抽出されたユーザ質問から追加予定数のユーザ質問を選択し、選択されたユーザ質問について学習データを追加してよい。データ変更部５５は、この処理において、ランダムにユーザ質問を選択してもよいし、第１から第３手法のそれぞれについて予め基準割合を設定しておき、第１から第３手法のそれぞれのうち、抽出されたユーザ質問の数を抽出された全体のユーザ質問の数で割って算出される割合が、基準割合を超えるもので抽出されたユーザ質問を削減することにより追加予定数のユーザ質問を選択してもよい。

【0076】

図１２は、類似度とユーザ質問の抽出との関係を説明する図である。図１２の例において、学習データのレコードと質問ログ６２のレコードとをつなぐ実線は、それらのレコードから算出される類似度が第１類似閾値以上であることを示し、破線は、それらのレコードから算出される類似度が第２類似閾値以上で第１類似閾値未満であることを示す。線がない場合は第２類似閾値以上の類似度が算出されなかったことを示す。

【0077】

Ｎが３でありＭが１であるとすると、図１２に示される質問ログ６２に含まれる４つのユーザ質問のうち、１番目のユーザ質問は３つ（Ｎ以上）の質問テキストとの類似度が第１類似閾値以上であるため第１手法により抽出される。２番目のユーザ質問は１つ（Ｍ以下）の質問テキストとの類似度が第１類似閾値以上であるため第２手法により抽出される。３番目のユーザ質問は、１つの質問テキストとの類似度が第２類似閾値以上であるため、第３手法により抽出される。単に多くの学習データの質問テキストと類似度の高いユーザ質問だけでなく、他のユーザ質問についても抽出することにより、ラベルに対応する質問が偏ることによる精度の低下を防ぐことができる。

【0078】

「New sample collection」の処理は、テストデータセットの整備に用いられてもよい。例えば、テストデータセットに含まれるテストデータについてデータ件数の少ないラベルが特定され、そのラベルについて「New sample collection」の処理が実行されてもよい。この場合はすべての処理において学習データセット６１の代わりにテストデータセットを用いてよい。

【0079】

ユーザ質問の抽出は、他の手法により行われてもよい。例えば、学習データセット６１を用いて、ユーザ質問が所定対象のラベルに対応するか否かを示すスコアを算出する評価用機械学習モデルを学習し、データ変更部５５がその評価用機械学習モデルに質問ログ６２のユーザ質問を入力した際に出力されるスコアが閾値を超えるか否かに基づいて、ユーザ質問を抽出してもよい。

【0080】

また、いわゆるディープラーニングにより、質問テキストが入力されると文章ベクトルを抽出する機械学習モデルを構築し、データ変更部５５は、その機械学習モデルに学習データセット６１に含まれ処理対象のラベルとともに学習データとして格納される質問テキストを入力し、出力された文章ベクトルの平均を取ってよい。さらに、データ変更部５５は質問ログ６２中のユーザ質問をその機械学習モデルに入力し、出力される文章ベクトルと、平均との類似度が閾値を超えるか否かに基づいて、ユーザ質問を抽出してもよい。

【0081】

次に、「Overlapped samples」の問題に対処するための「Overlap detection」および「Overlap resolution」の処理について説明する。問題検出部５４は、「Overlap detection」のＡＰＩが呼び出されると、互いに類似する質問データでありながら異なるラベルが設定された学習データを検出する。より具体的には、問題検出部５４は、性能評価部５３によって正解率が閾値より低いと判定されたラベル（対象ラベル）に属する質問文のそれぞれ（対象質問文と記載する）について、以下の２つの処理を実行する。１つ目の処理は、対象ラベルに属する他の質問文と対象質問文との類似性を示す第１指標を算出する処理である。２つめの処理は、他のラベルに属する質問文のそれぞれと対象質問文との類似性を示す第２指標を算出する処理である。

【0082】

そして、「Overlap resolution」のＡＰＩが呼び出されたデータ変更部５５は、対象質問文について第２指標が他のラベルに属する質問文のいずれかとの類似を示し、第１指標が対象ラベルに属する他の質問文との類似度が基準状態より低いことを示す場合に、その対象質問文を含む学習データを学習データセット６１から削除する。

【0083】

図３に示される学習データセット６１において、４番目の学習データと、６番目の学習データは、質問の意味が非常に近いが異なるラベルが付与されている。このような場合には機械学習モデルがうまく学習できず、出力されるラベルの正確性が低下する。このような場合に、学習データのうち不適切な学習データを削除することで、機械学習モデルの精度を向上させることができる。

【0084】

「Lack of intents」の問題に対処するための「Out-of-scope」および「Create intent」の処理について説明する。「Out-of-scope」のＡＰＩが呼び出された問題検出部５４は、質問ログ６２中に、ラベルが決定されなかったユーザ質問の数が閾値を超えるか判定する。閾値を超える場合には、質問に対応するラベルが不足している可能性がある。

【0085】

そして、「Create intent」のＡＰＩが呼び出されたデータ変更部５５は、ラベルが決定されなかった複数のユーザ質問のテキストをクラスタリングし、所属するユーザ質問の件数が所定の値を超えるクラスタがある場合に、そのクラスタに属するユーザ質問をラベル候補として学習管理サーバ１の管理者に出力する。管理者は、出力された候補に基づいて追加するラベルと、出力されたユーザ質問のうち追加されたラベルに対応するユーザ質問とを入力する。データ変更部５５は入力されたユーザ質問とラベルとを含む学習データを追加する。

【0086】

図１０に示される質問ログ６２のうち、４番目のデータは、機械学習モデルが対応するラベルを判定できていない。このようなケースが多数ある場合に、「Out-of-scope」および「Create intent」の処理によってより容易に学習データを追加することが可能になる。

【0087】

「Misunderstanding」の問題に対処するための「Prediction failure」の処理について説明する。「Prediction failure」のＡＰＩが呼び出された問題検出部５４は、質問ログ６２中の、回答が適切でなかったとされるユーザ質問の数と、ユーザ質問の総数とをラベルごとに集計する。そして、ラベルごとに、回答が適切でないユーザ質問の数を総数で割ることにより求められる指標値が所定の閾値を超えるか否か判定する。閾値を超える場合はそのラベルについて判定ミスが多いことを示す。

【0088】

閾値を超えるラベルが存在する場合には、「New sample collection」のＡＰＩが呼び出され、データ変更部４４は、そのラベルの学習データ件数が現在の件数より多くなるように、質問ログ６２からユーザ質問を抽出し、ユーザ質問を含む学習データを学習データセット６１に追加する。

【0089】

図１０に示される質問ログ６２のうち、５番目のデータは、機械学習モデルが出力するラベルが適切でない。このようなケースが多数ある場合に、「Prediction failure」および「New sample collection」の処理によって学習データセット６１を調整し、容易に機械学習モデルの精度を向上させることが可能になる。

【0090】

ここまで説明したように、機械学習モデルの評価と、その評価に応じた学習データセット６１の問題の検出と学習データセット６１の変更とを統制された環境で行うことにより、管理者がより容易に機械学習モデルの性能を確保するために学習データセット６１を準備することができる。また機械学習モデルの学習に必要な時間が短縮されるため、環境の変化に応じて機械学習モデルを用いた質問対応を改良することが容易になる。

【符号の説明】

【0091】

１ 学習管理サーバ、２ 問合せ対応サーバ、３ 利用者端末、１１ プロセッサ、１２ 記憶部、１３ 通信部、１４ 入出力部、５１ 初期データ決定部、５２ 学習部、５３ 性能評価部、５４ 問題検出部、５５ データ変更部、５６ モデル展開部、５７ 学習制御部、５８ 質問回答部、６１ 学習データセット、６２ 質問ログ、７１ 自然言語処理部、７２ 対話管理部、７３ 回答生成部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】