知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024159741
(43)【公開日】2024-11-08
(54)【発明の名称】情報処理システム、プログラム、及び方法
(51)【国際特許分類】
G06Q 50/10 20120101AFI20241031BHJP
【ＦＩ】
G06Q50/10
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2024083423
(22)【出願日】2024-05-22
(62)【分割の表示】P 2023221923の分割
【原出願日】2023-04-26
(71)【出願人】
【識別番号】523159030
【氏名又は名称】株式会社００ＡＩ
(74)【代理人】
【識別番号】110002790
【氏名又は名称】Ｏｎｅ ｉｐ弁理士法人
(72)【発明者】
【氏名】村田 光司
【テーマコード（参考）】
5L050
【Ｆターム（参考）】
5L050CC12
(57)【要約】
【課題】効率的に機械学習モデルを更新することができるようにする。
【解決手段】情報処理システムであって、機械学習による学習済みの学習モデルを記憶する学習モデル記憶部と、第１のユーザから入力データを受け付ける入力データ受付部と、入力データを学習モデルに与えて出力データを出力させる処理部と、前記第１のユーザ及び第１のユーザとは異なる第２のユーザに、又は前記第２のユーザのみに閲覧可能に出力データを出力する出力部と、第２のユーザから出力データを添削した添削結果を受け付ける添削結果受付部と、添削結果を用いて学習モデルを更新する更新部と、を備えることを特徴とする。
【選択図】図１
【解決手段】情報処理システムであって、機械学習による学習済みの学習モデルを記憶する学習モデル記憶部と、第１のユーザから入力データを受け付ける入力データ受付部と、入力データを学習モデルに与えて出力データを出力させる処理部と、前記第１のユーザ及び第１のユーザとは異なる第２のユーザに、又は前記第２のユーザのみに閲覧可能に出力データを出力する出力部と、第２のユーザから出力データを添削した添削結果を受け付ける添削結果受付部と、添削結果を用いて学習モデルを更新する更新部と、を備えることを特徴とする。
【選択図】図１
【特許請求の範囲】
【請求項1】
機械学習による学習済みの学習モデルを記憶する学習モデル記憶部と、
第１のユーザから入力データを受け付ける入力データ受付部と、
前記入力データを前記学習モデルに与えて出力データを出力させる処理部と、
前記第１のユーザ及び前記第１のユーザとは異なる第２のユーザに、又は前記第２のユーザのみに閲覧可能に前記出力データを出力する出力部と、
前記第２のユーザから前記出力データを添削した添削結果を受け付ける添削結果受付部と、
前記添削結果を用いて前記学習モデルを更新する更新部と、
を備えることを特徴とする情報処理システム。
第１のユーザから入力データを受け付ける入力データ受付部と、
前記入力データを前記学習モデルに与えて出力データを出力させる処理部と、
前記第１のユーザ及び前記第１のユーザとは異なる第２のユーザに、又は前記第２のユーザのみに閲覧可能に前記出力データを出力する出力部と、
前記第２のユーザから前記出力データを添削した添削結果を受け付ける添削結果受付部と、
前記添削結果を用いて前記学習モデルを更新する更新部と、
を備えることを特徴とする情報処理システム。
【請求項2】
請求項１に記載の情報処理システムであって、
ユーザが専門家であるか否かを記憶する専門家記憶部を備え、
前記出力部は、前記専門家記憶部を参照して、前記専門家を前記第２のユーザとして特定し、特定した前記第２のユーザにのみ前記出力データを出力し、
前記第２のユーザにより添削された前記添削結果を前記第１のユーザに閲覧可能に出力すること、
を特徴とする情報処理システム。
ユーザが専門家であるか否かを記憶する専門家記憶部を備え、
前記出力部は、前記専門家記憶部を参照して、前記専門家を前記第２のユーザとして特定し、特定した前記第２のユーザにのみ前記出力データを出力し、
前記第２のユーザにより添削された前記添削結果を前記第１のユーザに閲覧可能に出力すること、
を特徴とする情報処理システム。
【請求項3】
請求項１に記載の情報処理システムであって、
前記添削結果に対して第３のユーザからの評価値を受け付ける添削評価受付部をさらに備え、
前記出力部は、前記第３のユーザに対して閲覧可能に前記入力データ及び前記添削結果を出力し、
前記添削結果受付部は、複数の前記第２のユーザから前記添削結果を受け付け、
前記更新部は、前記評価値に応じて前記添削結果を選択し、選択した前記添削結果を用いて前記学習モデルを更新すること、
を特徴とする情報処理システム。
前記添削結果に対して第３のユーザからの評価値を受け付ける添削評価受付部をさらに備え、
前記出力部は、前記第３のユーザに対して閲覧可能に前記入力データ及び前記添削結果を出力し、
前記添削結果受付部は、複数の前記第２のユーザから前記添削結果を受け付け、
前記更新部は、前記評価値に応じて前記添削結果を選択し、選択した前記添削結果を用いて前記学習モデルを更新すること、
を特徴とする情報処理システム。
【請求項4】
請求項３に記載の情報処理システムであって、
少なくとも前記評価値を集計して前記添削結果の品質を決定する添削品質判定部をさらに備え、
前記更新部は、前記品質に応じて前記添削結果の少なくとも一部を選択すること、
を特徴とする情報処理システム。
少なくとも前記評価値を集計して前記添削結果の品質を決定する添削品質判定部をさらに備え、
前記更新部は、前記品質に応じて前記添削結果の少なくとも一部を選択すること、
を特徴とする情報処理システム。
【請求項5】
請求項４に記載の情報処理システムであって、
前記添削品質判定部は、少なくとも前記評価値の集計値と、前記添削結果を閲覧した前記第３のユーザの数とに応じて前記品質を決定すること、
を特徴とする情報処理システム。
前記添削品質判定部は、少なくとも前記評価値の集計値と、前記添削結果を閲覧した前記第３のユーザの数とに応じて前記品質を決定すること、
を特徴とする情報処理システム。
【請求項6】
請求項１に記載の情報処理システムであって、
前記入力データに対して第３のユーザから評価値を受け付ける入力評価受付部をさらに備え、
前記出力部は、前記第２のユーザと、前記第３のユーザとに閲覧可能に前記入力データを出力し、
前記更新部は、前記評価値が所定値以上の前記入力データと、前記入力データに対応する前記出力データの前記添削結果とを用いて前記学習モデルを更新すること、
を特徴とする情報処理システム。
前記入力データに対して第３のユーザから評価値を受け付ける入力評価受付部をさらに備え、
前記出力部は、前記第２のユーザと、前記第３のユーザとに閲覧可能に前記入力データを出力し、
前記更新部は、前記評価値が所定値以上の前記入力データと、前記入力データに対応する前記出力データの前記添削結果とを用いて前記学習モデルを更新すること、
を特徴とする情報処理システム。
【請求項7】
請求項６に記載の情報処理システムであって、
前記入力評価受付部は、複数の前記第３のユーザから前記評価値を受け付け、
少なくとも前記評価値を集計して前記入力データの品質を決定する入力品質判定部をさらに備え、
前記更新部は、前記品質が所定値以上の前記入力データと、前記添削結果とを用いて前記学習モデルを更新すること、
を特徴とする情報処理システム。
前記入力評価受付部は、複数の前記第３のユーザから前記評価値を受け付け、
少なくとも前記評価値を集計して前記入力データの品質を決定する入力品質判定部をさらに備え、
前記更新部は、前記品質が所定値以上の前記入力データと、前記添削結果とを用いて前記学習モデルを更新すること、
を特徴とする情報処理システム。
【請求項8】
請求項７に記載の情報処理システムであって、
前記入力品質判定部は、少なくとも前記評価値の集計値と、前記入力データを閲覧した前記第３のユーザの数とに応じて前記品質を決定すること、
を特徴とする情報処理システム。
前記入力品質判定部は、少なくとも前記評価値の集計値と、前記入力データを閲覧した前記第３のユーザの数とに応じて前記品質を決定すること、
を特徴とする情報処理システム。
【請求項9】
請求項１に記載の情報処理システムであって、
前記添削結果に対して第３のユーザからの評価値を受け付ける添削評価受付部と、
少なくとも前記評価値の集計値と、前記添削結果を閲覧した前記第３のユーザの数とに応じて前記添削結果の品質である添削品質を決定する添削品質判定部と、
前記入力データに対して第３のユーザから評価値を受け付ける入力評価受付部と、
少なくとも前記評価値の集計値と、前記入力データを閲覧した前記第３のユーザの数とに応じて前記入力データの品質である入力品質を決定する入力品質判定部と、
をさらに備え、
前記出力部は、前記第２のユーザと第３のユーザとに閲覧可能に前記入力データ及び前記添削結果を出力し、
前記更新部は、前記入力品質が第１の所定値以上の前記入力データと、前記添削品質が第２の所定値以上の前記添削結果とを用いて前記学習モデルを更新すること、
を特徴とする情報処理システム。
前記添削結果に対して第３のユーザからの評価値を受け付ける添削評価受付部と、
少なくとも前記評価値の集計値と、前記添削結果を閲覧した前記第３のユーザの数とに応じて前記添削結果の品質である添削品質を決定する添削品質判定部と、
前記入力データに対して第３のユーザから評価値を受け付ける入力評価受付部と、
少なくとも前記評価値の集計値と、前記入力データを閲覧した前記第３のユーザの数とに応じて前記入力データの品質である入力品質を決定する入力品質判定部と、
をさらに備え、
前記出力部は、前記第２のユーザと第３のユーザとに閲覧可能に前記入力データ及び前記添削結果を出力し、
前記更新部は、前記入力品質が第１の所定値以上の前記入力データと、前記添削品質が第２の所定値以上の前記添削結果とを用いて前記学習モデルを更新すること、
を特徴とする情報処理システム。
【請求項10】
請求項１に記載の情報処理システムであって、
前記添削結果を提供した前記第２のユーザに対してインセンティブを与えるインセンティブ付与部を備えること、
を特徴とする情報処理システム。
前記添削結果を提供した前記第２のユーザに対してインセンティブを与えるインセンティブ付与部を備えること、
を特徴とする情報処理システム。
【請求項11】
請求項１に記載の情報処理システムであって、
前記入力データを提供した前記第１のユーザに対してインセンティブを与えるインセンティブ付与部を備えること、
を特徴とする情報処理システム。
前記入力データを提供した前記第１のユーザに対してインセンティブを与えるインセンティブ付与部を備えること、
を特徴とする情報処理システム。
【請求項12】
請求項３に記載の情報処理システムであって、
前記第３のユーザに対してインセンティブを与えるインセンティブ付与部を備えること、
を特徴とする情報処理システム。
前記第３のユーザに対してインセンティブを与えるインセンティブ付与部を備えること、
を特徴とする情報処理システム。
【請求項13】
請求項１に記載の情報処理システムであって、
前記更新部は、前記添削結果が公開情報であるか否かを判定し、前記添削結果が公開情報でない場合に、前記添削結果を用いて前記学習モデルを更新すること、
を特徴とする情報処理システム。
前記更新部は、前記添削結果が公開情報であるか否かを判定し、前記添削結果が公開情報でない場合に、前記添削結果を用いて前記学習モデルを更新すること、
を特徴とする情報処理システム。
【請求項14】
機械学習による学習済みの学習モデルを記憶するステップと、
第１のユーザから入力データを受け付けるステップと、
前記入力データを前記学習モデルに与えて出力データを出力させるステップと、
前記第１のユーザ及び前記第１のユーザとは異なる第２のユーザに、又は前記第２のユーザのみに閲覧可能に前記出力データを出力するステップと、
前記第２のユーザから前記出力データを添削した添削結果を受け付けるステップと、
前記添削結果を用いて前記学習モデルを更新するステップと、
をコンピュータに実行させるためのプログラム。
第１のユーザから入力データを受け付けるステップと、
前記入力データを前記学習モデルに与えて出力データを出力させるステップと、
前記第１のユーザ及び前記第１のユーザとは異なる第２のユーザに、又は前記第２のユーザのみに閲覧可能に前記出力データを出力するステップと、
前記第２のユーザから前記出力データを添削した添削結果を受け付けるステップと、
前記添削結果を用いて前記学習モデルを更新するステップと、
をコンピュータに実行させるためのプログラム。
【請求項15】
機械学習による学習済みの学習モデルを記憶するステップと、
第１のユーザから入力データを受け付けるステップと、
前記入力データを前記学習モデルに与えて出力データを出力させるステップと、
前記第１のユーザ及び前記第１のユーザとは異なる第２のユーザに、又は前記第２のユーザのみに閲覧可能に前記出力データを出力するステップと、
前記第２のユーザから前記出力データを添削した添削結果を受け付けるステップと、
前記添削結果を用いて前記学習モデルを更新するステップと、
をコンピュータが実行する方法。
第１のユーザから入力データを受け付けるステップと、
前記入力データを前記学習モデルに与えて出力データを出力させるステップと、
前記第１のユーザ及び前記第１のユーザとは異なる第２のユーザに、又は前記第２のユーザのみに閲覧可能に前記出力データを出力するステップと、
前記第２のユーザから前記出力データを添削した添削結果を受け付けるステップと、
前記添削結果を用いて前記学習モデルを更新するステップと、
をコンピュータが実行する方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、プログラム、及び方法に関する。
【背景技術】
【0002】
ユーザからの質問やリクエストに対して、機械が自動で応答するための技術が発展し、ｂｏｔ等の自動応答サービスとして提供されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００９－３５３３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、機械が自動で応答する従来技術では、あらかじめ応答できるようにルールを設定したり、機械学習モデルを構築するために膨大な学習データを用意したりする必要があり、人的な工数、必要なコンピュータリソース、学習させるための時間など莫大なコストがかかる問題がある。
【0005】
本発明はこのような背景を鑑みてなされたものであり、効率的に機械学習モデルを更新することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するための本発明の主たる発明は、情報処理システムであって、機械学習による学習済みの学習モデルを記憶する学習モデル記憶部と、第１のユーザから入力データを受け付ける入力データ受付部と、前記入力データを前記学習モデルに与えて出力データを出力させる処理部と、前記第１のユーザ及び前記第１のユーザとは異なる第２のユーザに、又は前記第２のユーザのみに閲覧可能に前記出力データを出力する出力部と、前記第２のユーザから前記出力データを添削した添削結果を受け付ける添削結果受付部と、前記添削結果を用いて前記学習モデルを更新する更新部と、を備えることを特徴とする。
【発明の効果】
【0007】
本発明によれば、効率的に機械学習モデルを更新することができる。
【図面の簡単な説明】
【0008】
【図1】本発明の一実施形態に係る情報処理システムの概要を示す図である。
【図2】質問管理テーブル３１１の構成例を示す図である。
【図3】応答管理テーブル３１２の構成例を示す図である。
【図4】添削結果管理テーブル３１３の構成例を示す図である。
【図5】質問評価管理テーブル３１４の構成例を示す図である。
【図6】添削内容評価管理テーブル３１５の構成例を示す図である。
【図7】質問者管理テーブル３１６の構成例を示す図である。
【図8】添削者管理テーブル３１７の構成例を示す図である。
【図9】学習部２２４による処理の流れを示す図である。
【図10】質問品質判定部２２５による処理の流れ示す図である。
【図11】添削品質判定部２２６による処理の流れ示す図である。
【図12】質問したユーザに対するインセンティブの算出処理の流れを示す図である。
【図13】応答を添削したユーザに対するインセンティブの算出処理の流れを示す図である。
【図14】コンピュータのハードウェア構成例を示す図である。
【発明を実施するための形態】
【0009】
＜発明の概要＞
本発明の実施形態の内容を列記して説明する。本発明は、たとえば、以下のような構成を備える。
［項目１］
機械学習による学習済みの学習モデルを記憶する学習モデル記憶部と、
第１のユーザから入力データを受け付ける入力データ受付部と、
前記入力データを前記学習モデルに与えて出力データを出力させる処理部と、
前記第１のユーザ及び前記第１のユーザとは異なる第２のユーザに、又は前記第２のユーザのみに閲覧可能に前記出力データを出力する出力部と、
前記第２のユーザから前記出力データを添削した添削結果を受け付ける添削結果受付部と、
前記添削結果を用いて前記学習モデルを更新する更新部と、
を備えることを特徴とする情報処理システム。
［項目２］
項目１に記載の情報処理システムであって、
ユーザが専門家であるか否かを記憶する専門家記憶部を備え、
前記出力部は、前記専門家記憶部を参照して、前記専門家を前記第２のユーザとして特定し、特定した前記第２のユーザにのみ前記出力データを出力し、
前記第２のユーザにより添削された前記添削結果を前記第１のユーザに閲覧可能に出力すること、
を特徴とする情報処理システム。
［項目３］
項目１に記載の情報処理システムであって、
前記添削結果に対して第３のユーザからの評価値を受け付ける添削評価受付部をさらに備え、
前記出力部は、前記第３のユーザに対して閲覧可能に前記入力データ及び前記添削結果を出力し、
前記添削結果受付部は、複数の前記第２のユーザから前記添削結果を受け付け、
前記更新部は、前記評価値に応じて前記添削結果を選択し、選択した前記添削結果を用いて前記学習モデルを更新すること、
を特徴とする情報処理システム。
［項目４］
項目３に記載の情報処理システムであって、
少なくとも前記評価値を集計して前記添削結果の品質を決定する添削品質判定部をさらに備え、
前記更新部は、前記品質に応じて前記添削結果の少なくとも一部を選択すること、
を特徴とする情報処理システム。
［項目５］
項目４に記載の情報処理システムであって、
前記添削品質判定部は、少なくとも前記評価値の集計値と、前記添削結果を閲覧した前記第３のユーザの数とに応じて前記品質を決定すること、
を特徴とする情報処理システム。
［項目６］
項目１に記載の情報処理システムであって、
前記入力データに対して第３のユーザから評価値を受け付ける入力評価受付部をさらに備え、
前記出力部は、前記第２のユーザと、前記第３のユーザとに閲覧可能に前記入力データを出力し、
前記更新部は、前記評価値が所定値以上の前記入力データと、前記入力データに対応する前記出力データの前記添削結果とを用いて前記学習モデルを更新すること、
を特徴とする情報処理システム。
［項目７］
項目６に記載の情報処理システムであって、
前記入力評価受付部は、複数の前記第３のユーザから前記評価値を受け付け、
少なくとも前記評価値を集計して前記入力データの品質を決定する入力品質判定部をさらに備え、
前記更新部は、前記品質が所定値以上の前記入力データと、前記添削結果とを用いて前記学習モデルを更新すること、
を特徴とする情報処理システム。
［項目８］
項目７に記載の情報処理システムであって、
前記入力品質判定部は、少なくとも前記評価値の集計値と、前記入力データを閲覧した前記第３のユーザの数とに応じて前記品質を決定すること、
を特徴とする情報処理システム。
［項目９］
項目１に記載の情報処理システムであって、
前記添削結果に対して第３のユーザからの評価値を受け付ける添削評価受付部と、
少なくとも前記評価値の集計値と、前記添削結果を閲覧した前記第３のユーザの数とに応じて前記添削結果の品質である添削品質を決定する添削品質判定部と、
前記入力データに対して第３のユーザから評価値を受け付ける入力評価受付部と、
少なくとも前記評価値の集計値と、前記入力データを閲覧した前記第３のユーザの数とに応じて前記入力データの品質である入力品質を決定する入力品質判定部と、
をさらに備え、
前記出力部は、前記第２のユーザと第３のユーザとに閲覧可能に前記入力データ及び前記添削結果を出力し、
前記更新部は、前記入力品質が第１の所定値以上の前記入力データと、前記添削品質が第２の所定値以上の前記添削結果とを用いて前記学習モデルを更新すること、
を特徴とする情報処理システム。
［項目１０］
項目１に記載の情報処理システムであって、
前記添削結果を提供した前記第２のユーザに対してインセンティブを与えるインセンティブ付与部を備えること、
を特徴とする情報処理システム。
［項目１１］
項目１に記載の情報処理システムであって、
前記入力データを提供した前記第１のユーザに対してインセンティブを与えるインセンティブ付与部を備えること、
を特徴とする情報処理システム。
［項目１２］
項目３に記載の情報処理システムであって、
前記第３のユーザに対してインセンティブを与えるインセンティブ付与部を備えること、
を特徴とする情報処理システム。
［項目１３］
項目１に記載の情報処理システムであって、
前記更新部は、前記添削結果が公開情報であるか否かを判定し、前記添削結果が公開情報でない場合に、前記添削結果を用いて前記学習モデルを更新すること、
を特徴とする情報処理システム。
［項目１４］
機械学習による学習済みの学習モデルを記憶するステップと、
第１のユーザから入力データを受け付けるステップと、
前記入力データを前記学習モデルに与えて出力データを出力させるステップと、
前記第１のユーザ及び前記第１のユーザとは異なる第２のユーザに、又は前記第２のユーザのみに閲覧可能に前記出力データを出力するステップと、
前記第２のユーザから前記出力データを添削した添削結果を受け付けるステップと、
前記添削結果を用いて前記学習モデルを更新するステップと、
をコンピュータに実行させるためのプログラム。
［項目１５］
機械学習による学習済みの学習モデルを記憶するステップと、
第１のユーザから入力データを受け付けるステップと、
前記入力データを前記学習モデルに与えて出力データを出力させるステップと、
前記第１のユーザ及び前記第１のユーザとは異なる第２のユーザに、又は前記第２のユーザのみに閲覧可能に前記出力データを出力するステップと、
前記第２のユーザから前記出力データを添削した添削結果を受け付けるステップと、
前記添削結果を用いて前記学習モデルを更新するステップと、
をコンピュータが実行する方法。
本発明の実施形態の内容を列記して説明する。本発明は、たとえば、以下のような構成を備える。
［項目１］
機械学習による学習済みの学習モデルを記憶する学習モデル記憶部と、
第１のユーザから入力データを受け付ける入力データ受付部と、
前記入力データを前記学習モデルに与えて出力データを出力させる処理部と、
前記第１のユーザ及び前記第１のユーザとは異なる第２のユーザに、又は前記第２のユーザのみに閲覧可能に前記出力データを出力する出力部と、
前記第２のユーザから前記出力データを添削した添削結果を受け付ける添削結果受付部と、
前記添削結果を用いて前記学習モデルを更新する更新部と、
を備えることを特徴とする情報処理システム。
［項目２］
項目１に記載の情報処理システムであって、
ユーザが専門家であるか否かを記憶する専門家記憶部を備え、
前記出力部は、前記専門家記憶部を参照して、前記専門家を前記第２のユーザとして特定し、特定した前記第２のユーザにのみ前記出力データを出力し、
前記第２のユーザにより添削された前記添削結果を前記第１のユーザに閲覧可能に出力すること、
を特徴とする情報処理システム。
［項目３］
項目１に記載の情報処理システムであって、
前記添削結果に対して第３のユーザからの評価値を受け付ける添削評価受付部をさらに備え、
前記出力部は、前記第３のユーザに対して閲覧可能に前記入力データ及び前記添削結果を出力し、
前記添削結果受付部は、複数の前記第２のユーザから前記添削結果を受け付け、
前記更新部は、前記評価値に応じて前記添削結果を選択し、選択した前記添削結果を用いて前記学習モデルを更新すること、
を特徴とする情報処理システム。
［項目４］
項目３に記載の情報処理システムであって、
少なくとも前記評価値を集計して前記添削結果の品質を決定する添削品質判定部をさらに備え、
前記更新部は、前記品質に応じて前記添削結果の少なくとも一部を選択すること、
を特徴とする情報処理システム。
［項目５］
項目４に記載の情報処理システムであって、
前記添削品質判定部は、少なくとも前記評価値の集計値と、前記添削結果を閲覧した前記第３のユーザの数とに応じて前記品質を決定すること、
を特徴とする情報処理システム。
［項目６］
項目１に記載の情報処理システムであって、
前記入力データに対して第３のユーザから評価値を受け付ける入力評価受付部をさらに備え、
前記出力部は、前記第２のユーザと、前記第３のユーザとに閲覧可能に前記入力データを出力し、
前記更新部は、前記評価値が所定値以上の前記入力データと、前記入力データに対応する前記出力データの前記添削結果とを用いて前記学習モデルを更新すること、
を特徴とする情報処理システム。
［項目７］
項目６に記載の情報処理システムであって、
前記入力評価受付部は、複数の前記第３のユーザから前記評価値を受け付け、
少なくとも前記評価値を集計して前記入力データの品質を決定する入力品質判定部をさらに備え、
前記更新部は、前記品質が所定値以上の前記入力データと、前記添削結果とを用いて前記学習モデルを更新すること、
を特徴とする情報処理システム。
［項目８］
項目７に記載の情報処理システムであって、
前記入力品質判定部は、少なくとも前記評価値の集計値と、前記入力データを閲覧した前記第３のユーザの数とに応じて前記品質を決定すること、
を特徴とする情報処理システム。
［項目９］
項目１に記載の情報処理システムであって、
前記添削結果に対して第３のユーザからの評価値を受け付ける添削評価受付部と、
少なくとも前記評価値の集計値と、前記添削結果を閲覧した前記第３のユーザの数とに応じて前記添削結果の品質である添削品質を決定する添削品質判定部と、
前記入力データに対して第３のユーザから評価値を受け付ける入力評価受付部と、
少なくとも前記評価値の集計値と、前記入力データを閲覧した前記第３のユーザの数とに応じて前記入力データの品質である入力品質を決定する入力品質判定部と、
をさらに備え、
前記出力部は、前記第２のユーザと第３のユーザとに閲覧可能に前記入力データ及び前記添削結果を出力し、
前記更新部は、前記入力品質が第１の所定値以上の前記入力データと、前記添削品質が第２の所定値以上の前記添削結果とを用いて前記学習モデルを更新すること、
を特徴とする情報処理システム。
［項目１０］
項目１に記載の情報処理システムであって、
前記添削結果を提供した前記第２のユーザに対してインセンティブを与えるインセンティブ付与部を備えること、
を特徴とする情報処理システム。
［項目１１］
項目１に記載の情報処理システムであって、
前記入力データを提供した前記第１のユーザに対してインセンティブを与えるインセンティブ付与部を備えること、
を特徴とする情報処理システム。
［項目１２］
項目３に記載の情報処理システムであって、
前記第３のユーザに対してインセンティブを与えるインセンティブ付与部を備えること、
を特徴とする情報処理システム。
［項目１３］
項目１に記載の情報処理システムであって、
前記更新部は、前記添削結果が公開情報であるか否かを判定し、前記添削結果が公開情報でない場合に、前記添削結果を用いて前記学習モデルを更新すること、
を特徴とする情報処理システム。
［項目１４］
機械学習による学習済みの学習モデルを記憶するステップと、
第１のユーザから入力データを受け付けるステップと、
前記入力データを前記学習モデルに与えて出力データを出力させるステップと、
前記第１のユーザ及び前記第１のユーザとは異なる第２のユーザに、又は前記第２のユーザのみに閲覧可能に前記出力データを出力するステップと、
前記第２のユーザから前記出力データを添削した添削結果を受け付けるステップと、
前記添削結果を用いて前記学習モデルを更新するステップと、
をコンピュータに実行させるためのプログラム。
［項目１５］
機械学習による学習済みの学習モデルを記憶するステップと、
第１のユーザから入力データを受け付けるステップと、
前記入力データを前記学習モデルに与えて出力データを出力させるステップと、
前記第１のユーザ及び前記第１のユーザとは異なる第２のユーザに、又は前記第２のユーザのみに閲覧可能に前記出力データを出力するステップと、
前記第２のユーザから前記出力データを添削した添削結果を受け付けるステップと、
前記添削結果を用いて前記学習モデルを更新するステップと、
をコンピュータが実行する方法。
【0010】
＜システム構成＞
図１は、本発明の一実施形態に係る情報処理システムの概要を示す図である。本実施形態の情報処理システムは、応答装置２を含んで構成される。応答装置２は、ユーザ端末１と通信ネットワークを介して通信可能に接続される。通信ネットワークは、たとえばインターネットであり、公衆電話回線網や携帯電話回線網、無線通信路、イーサネット（登録商標）などにより構築される。
図１は、本発明の一実施形態に係る情報処理システムの概要を示す図である。本実施形態の情報処理システムは、応答装置２を含んで構成される。応答装置２は、ユーザ端末１と通信ネットワークを介して通信可能に接続される。通信ネットワークは、たとえばインターネットであり、公衆電話回線網や携帯電話回線網、無線通信路、イーサネット（登録商標）などにより構築される。
【0011】
ユーザ端末１は、ユーザが操作するコンピュータである。ユーザ端末１は、例えば、スマートフォン、タブレットコンピュータ、パーソナルコンピュータなどとすることができる。ユーザ端末１では、ＷＥＢブラウザやアプリが動作しており、ユーザはＷＥＢブラウザやアプリを介して応答装置２にアクセスすることができる。
【0012】
応答装置２は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、あるいはクラウド・コンピューティングによって論理的に実現されてもよい。
【0013】
本実施形態の情報処理システムでは、応答装置２が、質問に対する回答を生成するための、機械学習による学習済みの機械学習モデルを記憶しており、機械学習モデルを用いてあるユーザ（質問者）からの質問に対する回答を生成し、この回答に対して、質問をしたユーザ以外のユーザ（添削者）から添削を受け付け、添削結果を用いて機械学習モデルを更新するようにしている。これにより、分散されたユーザのリソースを用いて、より最新の情報を取得し、より精度が高くなるように、自律的に機械学習モデルを更新することができる。また、質問や添削結果を閲覧したユーザ（閲覧者、評価者）からは、質問や添削結果に対する評価を受けることができるようにする。評価の高い質問及び／又は添削結果を再学習することにより、評価の高い回答が生成されるように機械学習モデルを再学習させることができる。
【0014】
本実施形態において、添削者は、質問者とは異なるユーザであり、質問を評価する評価者は質問者とは異なるユーザであり、添削結果を評価する評価者は添削者とは異なるユーザであることを想定する。なお、添削者に質問者が含まれるようにしてもよい。評価者に質問者や添削者が含まれるようにしてもよい。質問者は１人であっても複数人であってもよい。添削者は１人であっても複数人であってもよい。評価者は１人であっても複数人であってもよい。
【0015】
＜ソフトウェア構成＞
図１に示すように、ユーザ端末１は、質問入力部１１１、応答内容表示部１１２、質問評価入力部１１３、応答添削入力部１１４、添削結果表示部１１５、添削評価入力部１１６、質問品質判定結果表示部１１７、添削品質判定結果表示部１１８、インセンティブ付与数表示部１１９を備える。
図１に示すように、ユーザ端末１は、質問入力部１１１、応答内容表示部１１２、質問評価入力部１１３、応答添削入力部１１４、添削結果表示部１１５、添削評価入力部１１６、質問品質判定結果表示部１１７、添削品質判定結果表示部１１８、インセンティブ付与数表示部１１９を備える。
【0016】
図１に示すように、応答装置２は、ユーザ端末１とのデータ送受信を行うＷＥＢサーバ２１、ミドルウェアとして機能するＡＰサーバ２２、データベースを管理するＤＢサーバ２３を備える。なお、この構成は一例に過ぎず、応答装置２は、１つ又は２つのコンピュータにより構成するようにしてもよい。また、応答装置２は、４つ以上のコンピュータにより構成するようにしてもよい。
【0017】
ＤＢサーバ２３は、データ記憶部２３１、学習済みモデル記憶部２３２、閲覧ログ記憶部２３３を備える。
【0018】
ＷＥＢサーバ２１は、質問受付部２１１、応答内容表示部２１２、質問評価受付部２１３、添削結果受付部２１４、添削結果表示部２１５、添削評価受付部２１６、質問品質判定結果表示部２１７、添削品質判定結果表示部２１８、インセンティブ付与数表示部２１９、閲覧ログ取得部２２０を備える。
【0019】
ＡＰサーバ２２は、応答部２２１、応答コンテンツ作成部２２２、添削結果コンテンツ作成部２２３、学習部２２４、質問品質判定部２２５、添削品質判定部２２６、インセンティブ付与数算出部２２７を備える。
【0020】
ＤＢサーバ２３が備えるデータ記憶部２３１は、質問管理テーブル３１１、応答管理テーブル３１２、添削結果管理テーブル３１３、質問評価管理テーブル３１４、添削内容評価管理テーブル３１５、質問者管理テーブル３１６、添削者管理テーブル３１７を備える。
【0021】
質問管理テーブル３１１は、質問をするユーザ（質問者）から受け付けた質問に関する情報（以下、質問情報という。）を管理するためのテーブルである。図２は、質問管理テーブル３１１の構成例を示す図である。質問管理テーブル３１１に管理されるレコード（質問情報）は、質問を特定するための情報（質問ＩＤ）、質問したユーザを特定する情報（質問者ＩＤ）、及び質問内容を含む。
【0022】
応答管理テーブル３１２は、ユーザ（質問者）からの質問に対して自動応答した内容に関する情報（以下、応答情報という。）を管理するためのテーブルである。図３は、応答管理テーブル３１２の構成例を示す図である。応答管理テーブル３１２に登録されるレコード（応答情報）は、質問を特定する質問ＩＤ、応答を特定するための情報（応答ＩＤ）、及び応答内容を含む。
【0023】
添削結果管理テーブル３１３は、自動応答した内容（応答内容）に対して、ユーザ（添削者）から受け付けた添削結果に関する情報（以下、添削結果情報という。）を管理するためのテーブルである。図４は、添削結果管理テーブル３１３の構成例を示す図である。添削結果管理テーブル３１３に管理されるレコード（添削結果情報）は、応答を特定する応答ＩＤ、添削を行ったユーザを特定する情報（添削者ＩＤ）、添削結果を特定するための情報（添削ＩＤ）、及び添削内容を含む。
【0024】
質問評価管理テーブル３１４は、質問の品質についてのユーザ（評価者）からの評価に関する情報（以下、質問評価情報という。）を管理するためのテーブルである。図５は、質問評価管理テーブル３１４の構成例を示す図である。質問評価管理テーブル３１４に管理されるレコード（質問評価情報）は、質問を特定する質問ＩＤ、質問に対して、少なくとも質問したユーザとは異なるユーザ（質問したユーザが含まれていたとしても許容することができる。）から受け付けた評価（本実施形態では、質問内容について「いいね」を付けたユーザの数を評価数とする。）、質問の閲覧数、及び評価数及び閲覧数を考慮して判定されるスコア（品質評価スコア）を含む。すなわち、本実施形態では、ユーザから受け付けた評価と、その評価に基づいて決定されたスコア（最終評価）との両方を質問評価情報で管理する。
【0025】
添削内容評価管理テーブル３１５は、添削内容の品質についての評価に関する情報（以下、添削内容評価情報という。）を管理するためのテーブルである。図６は、添削内容評価管理テーブル３１５の構成例を示す図である。添削内容評価管理テーブル３１５に管理されるレコード（添削内容評価情報）は、添削内容を特定するための情報（添削ＩＤ）、添削内容に対して、少なくとも添削したユーザ以外のユーザから受け付けた評価（本実施形態では、添削内容について「いいね」を付けたユーザの数を評価数とする。）、添削内容の閲覧数、評価数及び閲覧数を考慮して判定されるスコア（品質評価スコア）を含む。すなわち、本実施形態では、ユーザから受け付けた評価と、その評価に基づいて決定されたスコア（最終評価）との両方を添削内容評価情報で管理する。なお、評価は、「いいね」の数に限らず、「役にたった」ボタンが押下された回数などとしてもよいし、評価者が例えば星１～５などのスコアを設定したスコア値としてもよい。また、ユーザ（評価者）からの評価値ではなく、所与のルールや関数などに基づいて自動計算する値であってもよい。例えば、機械学習モデルが当該質問や当該添削結果を引用した回数を評価値とすることができる。
【0026】
質問者管理テーブル３１６は、質問したユーザに関する情報（以下、質問者情報という。）を管理するためのテーブルである。図７は、質問者管理テーブル３１６の構成例を示す図である。質問者管理テーブル３１６に管理されるレコード（質問者情報）は、質問したユーザを特定する情報（質問者ＩＤ）、質問を特定する質問ＩＤ、当該ユーザによる質問について獲得された品質評価スコア、当該ユーザが評価した他者の質問を特定する質問ＩＤを含む。
【0027】
添削者管理テーブル３１７は、添削したユーザに関する情報（以下、添削者情報という。）を管理するためのテーブルである。図８は、添削者管理テーブル３１７の構成例を示す図である。添削者管理テーブル３１７に管理されるレコード（添削者情報）は、添削したユーザを特定する情報（添削者ＩＤ）、添削結果を特定する添削ＩＤ、当該ユーザによる添削について獲得された品質評価スコア、当該ユーザが評価した他者の添削結果を特定する添削ＩＤを含む。
【0028】
ＤＢサーバ２３が備える学習済モデル記憶部２３２は、学習済の機械学習モデル（モデルを構成するパラメータ）を記憶する。機械学習モデルは、例えば、外部で学習された学習済モデルを利用することができる。なお、学習済の機械学習モデルをＤＢサーバ２３が備えず、他のサーバが提供するＡＰＩ等を利用してもよい。
【0029】
ＤＢサーバ２３が備える閲覧ログ記憶部２３３には、ユーザがユーザ端末１上で質問や添削内容を閲覧したログが記憶される。閲覧ログは、一般的なアクセスログとすることができる。閲覧ログは、質問ＩＤや添削ＩＤに対して何回閲覧がなされたかを集計できるのに必要十分な情報を有するものとする。
【0030】
＝＝質問に対する応答＝＝
ユーザ端末１の質問入力部１１１は、ユーザから質問の入力を受け付ける。本実施形態では、質問は、テキストデータであることを想定するが、質問を、画像データや音声データなどとすることも可能である。質問入力部１１１は、ユーザから受け付けた質問を応答装置２に送信する。質問入力部１１１は、例えば、ＨＴＴＰのリクエストに付帯させて質問を送信することができる。
ユーザ端末１の質問入力部１１１は、ユーザから質問の入力を受け付ける。本実施形態では、質問は、テキストデータであることを想定するが、質問を、画像データや音声データなどとすることも可能である。質問入力部１１１は、ユーザから受け付けた質問を応答装置２に送信する。質問入力部１１１は、例えば、ＨＴＴＰのリクエストに付帯させて質問を送信することができる。
【0031】
ＷＥＢサーバ２１の質問受付部２１１は、ユーザ端末１から送信される質問を受け付けることができる。質問受付部２１１は、例えば、ＨＴＴＰリクエストにエンコードされた質問をデコードし、デコードした質問をＡＰサーバ２２に送信することができる。
【0032】
ＡＰサーバ２２の応答部２２１は、ＷＥＢサーバ２１から質問を受信すると、ＤＢサーバ２３の学習済モデル記憶部２３２に記憶されている機械学習モデルに対して質問を与えて質問に対する応答を生成し、生成した応答を応答コンテンツ作成部２２２に送信する。応答部２２１はまた、デコードした質問を質問内容に設定し、質問をしたユーザ端末１のユーザを示す質問者ＩＤを設定し、新たな質問ＩＤを生成して質問情報を作成し、作成した質問情報を、ＤＢサーバ２３のデータ記憶部２３１が備える質問管理テーブル３１１に登録することができる。
【0033】
ＡＰサーバ２２の応答コンテンツ作成部２２２は、応答部２２１から受信した応答をユーザ端末１で表示するためのコンテンツ（以下、応答コンテンツという。例えば、ＨＴＭＬで記述された画面データとすることができる。）を作成する。応答コンテンツ作成部２２２は、作成した応答コンテンツをＷＥＢサーバ２１に送信する。なお、応答コンテンツには、応答のみでなく、質問を含めるようにしてもよい。また、応答コンテンツには、質問に対する評価数（質問に対する「いいね」の数）を含めるようにしてもよい。
【0034】
ＷＥＢサーバ２１の応答内容表示部２１２は、ＡＰサーバ２２から応答を表示するための応答コンテンツを受信し、受信した応答コンテンツをユーザ端末１に対して送信する。応答内容表示部２１２は、質問の送信元であるユーザ端末１に対してのみならず、他のユーザのユーザ端末１に対しても質問及び応答を表示するためのコンテンツを送信することができる。
【0035】
なお、ＷＥＢサーバ２１の応答内容表示部２１２は、ユーザ端末１からのリクエストに応じて、ＡＰサーバ２２の応答コンテンツ作成部２２２にメッセージを送信し、応答コンテンツ作成部２２２は、ＤＢサーバ２３のデータ記憶部２３１が備える質問管理テーブル３１１から質問情報を１つ以上読み出し、読み出した質問情報のそれぞれについて、質問ＩＤに対応する応答情報を応答管理テーブル３１２から読み出し、質問内容と応答内容とを表示するための応答コンテンツを作成してＷＥＢサーバ２１に送信し、応答内容表示部２１２がこの応答コンテンツを、リクエストの送信元に送信するようにすることができる。また、応答コンテンツ作成部２２２は、質問評価管理テーブル３１４から、質問ＩＤに対応する評価数を取得して、応答コンテンツに含めることもできる。
【0036】
ユーザ端末１の応答内容表示部１１２は、ＷＥＢサーバ２１から転送される応答を表示するための応答コンテンツを受信し、応答コンテンツに基づいて、応答内容をユーザに対して表示することができる。
【0037】
＝＝公開非公開の設定機能＝＝
質問及び／又は添削内容は、公開又は非公開を設定するようにしてもよい。この場合、質問管理テーブル３１１に記憶される質問情報及び／又は添削結果管理テーブル３１３に記憶される添削結果情報には、公開又は非公開を示す情報（公開設定情報）を設定するようにし、公開設定情報が「公開」を示す質問情報及び／又は添削結果情報についてのみ、一般ユーザに公開するようにすることができる。
質問及び／又は添削内容は、公開又は非公開を設定するようにしてもよい。この場合、質問管理テーブル３１１に記憶される質問情報及び／又は添削結果管理テーブル３１３に記憶される添削結果情報には、公開又は非公開を示す情報（公開設定情報）を設定するようにし、公開設定情報が「公開」を示す質問情報及び／又は添削結果情報についてのみ、一般ユーザに公開するようにすることができる。
【0038】
なお、添削内容が非公開の場合にも、添削者であるユーザ専用の学習モデルを準備するようにし、ユーザ専用の学習モデルの学習に非公開の添削内容を用いるようにしてもよい。この場合、例えば、自社のノウハウを防ぎつつ、自社専用の学習モデルを育成することができる。
【0039】
＝＝マスク設定機能＝＝
また、質問及び／又は添削内容の一部をマスクするようにしてもよい。この場合、例えば、質問及び／又は添削内容ごとに、質問情報及び／又は添削結果情報にマスクする文字あるいはマスクする条件を設定するようにし、設定された文字を置換文字に置換し、又は、質問及び／又は添削内容のうち設定された条件を満たす部分を置換文字に置換したうえで、公開し及び再学習に用いることができる。
また、質問及び／又は添削内容の一部をマスクするようにしてもよい。この場合、例えば、質問及び／又は添削内容ごとに、質問情報及び／又は添削結果情報にマスクする文字あるいはマスクする条件を設定するようにし、設定された文字を置換文字に置換し、又は、質問及び／又は添削内容のうち設定された条件を満たす部分を置換文字に置換したうえで、公開し及び再学習に用いることができる。
【0040】
＝＝質問の評価＝＝
ユーザ端末１の質問評価入力部１１３は、ユーザから質問についての評価の入力を受け付ける。質問評価入力部１１３は、当該ユーザ端末１を使用しているユーザとは異なるユーザが投稿した質問について、その質問がよい質問である場合に「いいね」を受け付けるものであってよい。質問評価入力部１１３は、受け付けた質問に対する評価（例えば、「いいね」）を、質問を特定する質問ＩＤとともに応答装置２に送信する。
ユーザ端末１の質問評価入力部１１３は、ユーザから質問についての評価の入力を受け付ける。質問評価入力部１１３は、当該ユーザ端末１を使用しているユーザとは異なるユーザが投稿した質問について、その質問がよい質問である場合に「いいね」を受け付けるものであってよい。質問評価入力部１１３は、受け付けた質問に対する評価（例えば、「いいね」）を、質問を特定する質問ＩＤとともに応答装置２に送信する。
【0041】
ＷＥＢサーバ２１の質問評価受付部２１３は、ユーザ端末１から質問についての評価（例えば「いいね」）を受け付ける。質問評価受付部２１３は、質問を特定する質問ＩＤに対応する質問評価管理テーブル３１４の質問情報の評価数をインクリメントすることができる。
【0042】
＝＝応答の添削＝＝
ユーザ端末１の応答添削入力部１１４は、ユーザが閲覧した応答について、ユーザから添削内容を受け付けることができる。応答添削入力部１１４は、受け付けた添削内容を、応答を特定する応答ＩＤ及びユーザを特定する添削者ＩＤとともにＷＥＢサーバ２１に送信する。
ユーザ端末１の応答添削入力部１１４は、ユーザが閲覧した応答について、ユーザから添削内容を受け付けることができる。応答添削入力部１１４は、受け付けた添削内容を、応答を特定する応答ＩＤ及びユーザを特定する添削者ＩＤとともにＷＥＢサーバ２１に送信する。
【0043】
ＷＥＢサーバ２１の添削結果受付部２１４は、応答に対するユーザからの添削内容を受信する。添削結果受付部２１４は、受け付けた添削内容を、応答ＩＤ及び添削ＩＤとともにＡＰサーバ２２に送信する。
【0044】
ＡＰサーバ２２の添削結果コンテンツ作成部２２３は、ＷＥＢサーバ２１から送信される添削内容を受信すると、データ記憶部２３１が備える添削結果管理テーブル３１３に、応答ＩＤ、添削者ＩＤ、新規に割り当てた添削ＩＤ（ＤＢサーバ２３が割り当ててもよい。）、添削内容を含む添削結果情報を添削結果管理テーブル３１３に登録することができる。添削結果コンテンツ作成部２２３は、添削結果を受け付けた旨を示すコンテンツ（以下、添削結果コンテンツという。）を作成することができる。添削結果コンテンツには、ＷＥＢサーバ２１から受信した添削結果を含めることができる。また、添削結果コンテンツには、例えば、添削結果管理テーブル３１３に登録されている過去の添削結果の一覧を含めることもできる。添削結果コンテンツ作成部２２３は、ＷＥＢサーバ２１に添削結果コンテンツを送信する。
【0045】
ＷＥＢサーバ２１の添削結果表示部２１５は、ＡＰサーバ２２から受信した添削結果コンテンツをユーザ端末１に送信する。
【0046】
ユーザ端末１の添削結果表示部１１５は、ＷＥＢサーバ２１から受信した添削結果コンテンツに基づいて添削内容をユーザに対して表示することができる。
【0047】
なお、ＷＥＢサーバ２１の添削結果表示部２１５は、ユーザ端末１からのリクエストに応じて、ＡＰサーバ２２の添削結果コンテンツ作成部２２３にメッセージを送信し、添削結果コンテンツ作成部２２３は、ＤＢサーバ２３のデータ記憶部２３１が備える応答管理テーブル３１２から応答情報を１つ以上読み出し、読み出した応答情報のそれぞれについて、質問ＩＤに対応する質問内容を質問管理テーブル３１１から読み出し、応答ＩＤに対応する添削結果情報を添削結果管理テーブル３１３から読み出し、質問内容と、応答内容と、添削内容（複数可）とを表示するための添削結果コンテンツを作成してＷＥＢサーバ２１に送信し、添削結果表示部２１５がこの添削結果コンテンツを、リクエストの送信元に送信するようにすることができる。また、添削結果コンテンツ作成部２２３は、添削内容評価管理テーブル３１５から、添削ＩＤに対応する評価数を取得して、添削結果コンテンツに含めることもできる。
【0048】
＝＝添削の評価＝＝
ユーザ端末１の添削評価入力部１１６は、ユーザから添削結果についての評価の入力を受け付ける。添削評価入力部１１６は、当該ユーザ端末１を使用しているユーザとは異なるユーザが添削した添削結果について、その添削結果がよい添削である場合に「いいね」を受け付けるものであってよい。添削評価入力部１１６は、受け付けた添削結果に対する評価（例えば、「いいね」）を、添削結果を特定する添削ＩＤとともに応答装置２に送信する。
ユーザ端末１の添削評価入力部１１６は、ユーザから添削結果についての評価の入力を受け付ける。添削評価入力部１１６は、当該ユーザ端末１を使用しているユーザとは異なるユーザが添削した添削結果について、その添削結果がよい添削である場合に「いいね」を受け付けるものであってよい。添削評価入力部１１６は、受け付けた添削結果に対する評価（例えば、「いいね」）を、添削結果を特定する添削ＩＤとともに応答装置２に送信する。
【0049】
ＷＥＢサーバ２１の添削評価受付部２１６は、ユーザ端末１から添削結果についての評価（例えば、「いいね」）を受け付ける。添削評価受付部２１６は、添削結果を特定する添削ＩＤに対応する添削内容評価管理テーブル３１５の添削内容評価情報の評価数をインクリメントすることができる。
【0050】
＝＝機械学習＝＝
ＡＰサーバ２２の学習部２２４（本願発明の更新部に該当する。）は、質問に対して機械学習モデルが生成した応答をユーザが添削した添削結果を用いて機械学習モデルを更新（再学習）する。
ＡＰサーバ２２の学習部２２４（本願発明の更新部に該当する。）は、質問に対して機械学習モデルが生成した応答をユーザが添削した添削結果を用いて機械学習モデルを更新（再学習）する。
【0051】
学習部２２４は、例えば、質問管理テーブル３１１に登録されている各質問情報について、質問ＩＤに対応する添削結果情報を添削結果管理テーブル３１３から読み出し、読み出した添削結果情報に含まれる添削内容を学習させて機械学習モデルを更新することができる。学習部２２４は、例えば、質問と添削内容との組み合わせを学習させるようにしてもよい。
【0052】
学習部２２４は、添削結果がクローズドの情報である（すなわち、公開情報でない）場合に再学習を行うようにしてもよい。学習部２２４は、公開情報については再学習を行わないようにしてもよい。
【0053】
公開情報であるか否かについて、学習部２２４は、例えば、質問又は質問に含まれるキーワードもしくはフレーズを一般公開されている検索エンジンに与え、その検索結果に、添削結果に類似した内容が含まれているか否かを判定し、添削結果に類似した内容が含まれていると判定した場合には、添削結果は公開情報であると判断することができる。学習部２２４は、例えば、添削結果又は添削結果に含まれているキーワードもしくはフレーズを一般公開されている検索エンジンに与え、その検索結果に、添削結果に類似した内容が含まれているか否かを判定し、添削結果に類似した内容が含まれていると判定した場合には、添削結果は公開情報であると判断することができる。
【0054】
また、公開情報であるか否かについて、管理サーバ２が、論文、Ｑ＆ＡサイトなどのＷＥＢサイトで開示されていた情報、過去の添削結果などの外部公開情報を記憶する外部公開情報記憶部を備えるようにし、学習部２２４は、外部公開情報記憶部に記憶されている情報と、添削結果との類似度を判定し、類似度が所定値以上である場合に、添削結果は公開情報であると判定するようにすることができる。また、学習部２２４は、学習済モデル記憶部２３２に記憶されている学習済モデルに質問を与えて出力された結果と、添削結果との類似度を判定し、類似度が所定値以上である場合に、添削結果は公開情報であると判定してもよい。
【0055】
学習部２２４は、例えば、評価数及び／又は品質評価スコアがそれぞれに所与の閾値以上である添削結果のみを用いて機械学習を行うようにしてもよい。例えば、学習部２２４は、質問管理テーブル３１１に登録されている各質問情報について、質問ＩＤに対応する添削結果情報のうち、評価数が所与の閾値以上であるもの、及び／又は品質評価スコアが所与の閾値（評価数についての閾値と同じであっても異なってもよい。）以上であるものを用いて機械学習を行うことができる。
【0056】
学習部２２４はまた、例えば、評価数及び／又は品質評価スコアがそれぞれに所与の閾値以上である質問のみを用いて機械学習を行うようにしてもよい。例えば、学習部２２４は、質問管理テーブル３１１に登録されている各質問情報のうち、評価数が所与の閾値以上であるもの、及び／又は品質評価スコアが所与の閾値（評価数についての閾値と同じであっても異なってもよい。）以上であるものを選択し、選択した質問情報の質問内容と、選択した質問情報の質問ＩＤに対応する添削結果情報の添削内容とを用いて、機械学習を行うことができる。また、この際に、質問ＩＤに対応する添削結果情報のうち、評価数が添削結果について所与の閾値以上であるもの、及び／又は品質評価スコアが添削結果について所与の閾値（評価数についての閾値と同じであっても異なってもよい。）以上であるもののみを用いて機械学習を行うようにしてもよい。
【0057】
＝＝学習データの対象＝＝
なお、学習部２２４は、再学習に利用するデータとして、添削結果だけでなく、論文やＷｅｂページの解説記事などを用いるようにしてもよい。この場合にも、後述するインセンティブ付与数算出部２２７により、論文の筆者やＷｅｂページの作者に対してインセンティブを付与することができる。
なお、学習部２２４は、再学習に利用するデータとして、添削結果だけでなく、論文やＷｅｂページの解説記事などを用いるようにしてもよい。この場合にも、後述するインセンティブ付与数算出部２２７により、論文の筆者やＷｅｂページの作者に対してインセンティブを付与することができる。
【0058】
＝＝質問の品質の判定＝＝
ＡＰサーバ２２の質問品質判定部２２５は、質問の品質を判定する。質問品質判定部２２５は、質問評価管理テーブル３１４に登録されている各質問評価情報について、例えば、評価数に応じて品質評価スコアを決定することができる。質問品質判定部２２５は、例えば、質問評価情報の評価数を閲覧数で割った値を品質評価スコアとして算出することができる。なお、閲覧数に代えて、当該質問を閲覧したユーザの頭数としてもよい。質問品質判定部２２５は、質問について品質評価スコアを表示するためのコンテンツ（以下、質問品質評価コンテンツという。）を作成する。質問品質評価コンテンツは、例えば、良質な質問をユーザに閲覧させるためのコンテンツとすることができる。質問品質判定部２２５は、１つまたは複数の質問評価情報についての品質評価スコアを表示するための画面データをＨＴＭＬにより記載したものを作成することができる。質問品質判定部２２５は、質問品質評価コンテンツをＷＥＢサーバ２１に送信する。
ＡＰサーバ２２の質問品質判定部２２５は、質問の品質を判定する。質問品質判定部２２５は、質問評価管理テーブル３１４に登録されている各質問評価情報について、例えば、評価数に応じて品質評価スコアを決定することができる。質問品質判定部２２５は、例えば、質問評価情報の評価数を閲覧数で割った値を品質評価スコアとして算出することができる。なお、閲覧数に代えて、当該質問を閲覧したユーザの頭数としてもよい。質問品質判定部２２５は、質問について品質評価スコアを表示するためのコンテンツ（以下、質問品質評価コンテンツという。）を作成する。質問品質評価コンテンツは、例えば、良質な質問をユーザに閲覧させるためのコンテンツとすることができる。質問品質判定部２２５は、１つまたは複数の質問評価情報についての品質評価スコアを表示するための画面データをＨＴＭＬにより記載したものを作成することができる。質問品質判定部２２５は、質問品質評価コンテンツをＷＥＢサーバ２１に送信する。
【0059】
ＷＥＢサーバ２１の質問品質判定結果表示部２１７は、ＡＰサーバ２２から受信した質問品質評価コンテンツを受信し、受信した質問品質評価コンテンツをユーザ端末１に提供することができる。質問品質判定結果表示部２１７は、ユーザ端末１からのリクエストに応じて、質問評価管理テーブル３１４から質問評価情報を読み出して、質問品質評価コンテンツを作成して応答するようにしてもよい。
【0060】
ユーザ端末１の質問品質判定結果表示部１１７は、ＷＥＢサーバ２１から送信される質問品質評価コンテンツを受信し、質問品質評価コンテンツに基づいて、質問の品質評価スコアを表示する画面をユーザに対して表示することができる。
【0061】
＝＝添削内容の品質の判定＝＝
ＡＰサーバ２２の添削品質判定部２２６は、添削内容の品質を判定する。添削品質判定部２２６は、添削内容評価管理テーブル３１５に登録されている各添削内容評価情報について、例えば、評価数に応じて品質評価スコアを決定することができる。添削品質判定部２２６は、例えば、添削内容評価情報の評価数を閲覧数で割った値を品質評価スコアとして算出することができる。なお、閲覧数に代えて、当該添削内容を閲覧したユーザの頭数としてもよい。添削品質判定部２２６は、添削内容について品質評価スコアを表示するためのコンテンツ（以下、添削品質評価コンテンツという。）を作成する。添削品質評価コンテンツは、例えば、ベストアンサーをユーザに提供するためのコンテンツとすることができる。添削品質判定部２２６は、１つまたは複数の添削内容評価情報についての品質評価スコアを表示するための画面データをＨＴＭＬにより記載したものを作成することができる。添削品質判定部２２６は、添削品質評価コンテンツをＷＥＢサーバ２１に送信する。
ＡＰサーバ２２の添削品質判定部２２６は、添削内容の品質を判定する。添削品質判定部２２６は、添削内容評価管理テーブル３１５に登録されている各添削内容評価情報について、例えば、評価数に応じて品質評価スコアを決定することができる。添削品質判定部２２６は、例えば、添削内容評価情報の評価数を閲覧数で割った値を品質評価スコアとして算出することができる。なお、閲覧数に代えて、当該添削内容を閲覧したユーザの頭数としてもよい。添削品質判定部２２６は、添削内容について品質評価スコアを表示するためのコンテンツ（以下、添削品質評価コンテンツという。）を作成する。添削品質評価コンテンツは、例えば、ベストアンサーをユーザに提供するためのコンテンツとすることができる。添削品質判定部２２６は、１つまたは複数の添削内容評価情報についての品質評価スコアを表示するための画面データをＨＴＭＬにより記載したものを作成することができる。添削品質判定部２２６は、添削品質評価コンテンツをＷＥＢサーバ２１に送信する。
【0062】
ＷＥＢサーバ２１の添削品質判定結果表示部２１８は、ＡＰサーバ２２から受信した添削品質評価コンテンツを受信し、受信した添削品質評価コンテンツをユーザ端末１に提供することができる。添削品質判定結果表示部２１８は、ユーザ端末１からのリクエストに応じて、添削内容評価管理テーブル３１５から添削内容評価情報を読み出して、添削品質評価コンテンツを作成して応答するようにしてもよい。
【0063】
ユーザ端末１の添削品質判定結果表示部１１８は、ＷＥＢサーバ２１から送信される添削品質評価コンテンツを受信し、添削品質評価コンテンツに基づいて、添削内容の品質評価スコアを表示する画面をユーザに対して表示することができる。
【0064】
＝＝添削に対するインセンティブの付与＝＝
ＡＰサーバ２２のインセンティブ付与数算出部２２７は、質問をしたユーザ、質問を評価したユーザ、応答を添削したユーザ、及び添削内容を評価したユーザの少なくとも何れかに対して付与するインセンティブの量を決定する。
ＡＰサーバ２２のインセンティブ付与数算出部２２７は、質問をしたユーザ、質問を評価したユーザ、応答を添削したユーザ、及び添削内容を評価したユーザの少なくとも何れかに対して付与するインセンティブの量を決定する。
【0065】
インセンティブは、例えば、市場に流通するポイントとしてもよいし、仮想通貨としてもよいし、ブロックチェーン技術を用いたトークンとしてもよい。また、インセンティブを、クーポンなどとすることもできる。また、インセンティブとして、デジタルコンテンツを付与するようにしてもよい。また、例えば、インセンティブをデジタルコンテンツ又は現物の抽選権とし、抽選の試行回数をインセンティブの量としてもよいし、抽選の当選確率をインセンティブの量としてもよい。
【0066】
本実施形態では、質問をしたユーザと、応答を添削したユーザとに対してインセンティブを与えるものとする。質問をしたユーザと応答を添削したユーザとのそれぞれに対して付与するインセンティブの量は異なってよい。例えば、添削をしたユーザに対して、質問をしたユーザよりも多くのインセンティブを与えるようにすることができる。
【0067】
インセンティブ付与数算出部２２７は、例えば、ユーザ単位で、当該ユーザに対して付与するインセンティブの量を決定することができる。インセンティブ付与数算出部２２７は、例えば、質問をしたユーザ（質問者）に対するインセンティブと、応答を添削したユーザ（添削者）に対するインセンティブとを計算することができる。インセンティブ付与数算出部２２７は、例えば、より多くの評価数及び／又は品質評価スコアを得た質問及び／又は添削内容を提供したユーザに対して、より多くのインセンティブが与えられるようにインセンティブの量を決定することができる。
【0068】
＝＝質問者へのインセンティブ＝＝
インセンティブ付与数算出部２２７は、例えば、質問の積極性、質問の質、及び質問者の質の少なくともいずれかに応じて、質問をしたユーザに付与するインセンティブの量を決定することができる。質問の積極性は、ユーザが積極的に質問を行っている度合であり、例えば、当該ユーザが質問をした数、又はその基本統計量により評価することができる。質問の質は、多くのユーザに対して良い質問だと思われる度合であり、例えば、当該ユーザからの質問に、他のユーザから「いいね」がついた数又はその基本統計量により評価することができる。質問者の質は、質問をしたユーザの見る目があるかどうか、すなわち、当該ユーザが良いと考える質問について、他のユーザも良いと考える度合であり、例えば、当該ユーザが「いいね」をつけた質問に対して、その他のユーザが「いいね」をつけた数又はその基本統計量により評価をすることができる。
インセンティブ付与数算出部２２７は、例えば、質問の積極性、質問の質、及び質問者の質の少なくともいずれかに応じて、質問をしたユーザに付与するインセンティブの量を決定することができる。質問の積極性は、ユーザが積極的に質問を行っている度合であり、例えば、当該ユーザが質問をした数、又はその基本統計量により評価することができる。質問の質は、多くのユーザに対して良い質問だと思われる度合であり、例えば、当該ユーザからの質問に、他のユーザから「いいね」がついた数又はその基本統計量により評価することができる。質問者の質は、質問をしたユーザの見る目があるかどうか、すなわち、当該ユーザが良いと考える質問について、他のユーザも良いと考える度合であり、例えば、当該ユーザが「いいね」をつけた質問に対して、その他のユーザが「いいね」をつけた数又はその基本統計量により評価をすることができる。
【0069】
インセンティブ付与数算出部２２７は、例えば、上述したような質問の積極性の評価値（質問積極性）、質問の質の評価値（質問の質）、質問者の質の評価値（質問者の質）のそれぞれに対して、次式によりインセンティブの量を計算することができる。
インセンティブ量＝係数ａ×質問積極性＋係数ｂ×質問の質＋係数ｃ×質問者の質
インセンティブ量＝係数ａ×質問積極性＋係数ｂ×質問の質＋係数ｃ×質問者の質
【0070】
なお、質問の積極性、質問の質、及び質問者の質をどの程度重視するかは係数で調整してよく、係数は任意に設定することができる。また、上記の式についても、線形和に限らず、質問積極性、質問の質及び質問者の質の少なくともいずれかを変数として、各評価値の値が大きいほど多くのインセンティブの量が算出されるように任意の式を採用することができる。
【0071】
＝＝添削者へのインセンティブ＝＝
インセンティブ付与数算出部２２７は、例えば、添削の積極性、添削の質、及び添削者の質の少なくともいずれかに応じて、応答の添削をしたユーザに付与するインセンティブの量を決定することができる。添削の積極性は、ユーザが積極的に添削を行っている度合であり、例えば、当該ユーザが添削をした数、又はその基本統計量により評価することができる。添削の質は、多くのユーザに対して良い添削だと思われる度合であり、例えば、当該ユーザによる添削に、他のユーザから「いいね」がついた数又はその基本統計量により評価することができる。添削者の質は、添削をしたユーザの見る目があるかどうか、すなわち、当該ユーザが良いと考える添削について、他のユーザも良いと考える度合であり、例えば、当該ユーザが「いいね」をつけた添削に対して、その他のユーザが「いいね」をつけた数又はその基本統計量により評価をすることができる。
インセンティブ付与数算出部２２７は、例えば、添削の積極性、添削の質、及び添削者の質の少なくともいずれかに応じて、応答の添削をしたユーザに付与するインセンティブの量を決定することができる。添削の積極性は、ユーザが積極的に添削を行っている度合であり、例えば、当該ユーザが添削をした数、又はその基本統計量により評価することができる。添削の質は、多くのユーザに対して良い添削だと思われる度合であり、例えば、当該ユーザによる添削に、他のユーザから「いいね」がついた数又はその基本統計量により評価することができる。添削者の質は、添削をしたユーザの見る目があるかどうか、すなわち、当該ユーザが良いと考える添削について、他のユーザも良いと考える度合であり、例えば、当該ユーザが「いいね」をつけた添削に対して、その他のユーザが「いいね」をつけた数又はその基本統計量により評価をすることができる。
【0072】
インセンティブ付与数算出部２２７は、例えば、上述したような添削の積極性の評価値（添削積極性）、添削の質の評価値（添削の質）、添削者の質の評価値（添削者の質）のそれぞれに対して、次式によりインセンティブの量を計算することができる。
インセンティブ量＝係数ｄ×添削積極性＋係数ｅ×添削の質＋係数ｆ×添削者の質
インセンティブ量＝係数ｄ×添削積極性＋係数ｅ×添削の質＋係数ｆ×添削者の質
【0073】
なお、添削の積極性、添削の質、及び添削者の質をどの程度重視するかは係数で調整してよく、係数は任意に設定することができる。また、上記の式についても、線形和に限らず、添削積極性、添削の質及び添削者の質の少なくともいずれかを変数として、各評価値の値が大きいほど多くのインセンティブの量が算出されるように任意の式を採用することができる。
【0074】
＝＝評価者に対するインセンティブ＝＝
なお、質問又は添削結果を評価したユーザに対してインセンティブを付与するようにしてもよい。この場合、インセンティブ付与数算出部２２７は、例えば、評価の積極性、評価の質、及び評価者の質の少なくともいずれかに応じて、質問又は添削結果を評価したユーザに付与するインセンティブの量を決定することができる。評価の積極性は、ユーザが積極的に評価を行っている度合であり、例えば、当該ユーザが「いいね」などの評価を行った回数、又はその基本統計量により評価することができる。評価の質は、多くのユーザが良い評価を思うものに良い評価をする度合であり、例えば、当該ユーザが「いいね」をした質問又は添削結果に、他のユーザから「いいね」がついた数又はその基本統計量により評価することができる。
なお、質問又は添削結果を評価したユーザに対してインセンティブを付与するようにしてもよい。この場合、インセンティブ付与数算出部２２７は、例えば、評価の積極性、評価の質、及び評価者の質の少なくともいずれかに応じて、質問又は添削結果を評価したユーザに付与するインセンティブの量を決定することができる。評価の積極性は、ユーザが積極的に評価を行っている度合であり、例えば、当該ユーザが「いいね」などの評価を行った回数、又はその基本統計量により評価することができる。評価の質は、多くのユーザが良い評価を思うものに良い評価をする度合であり、例えば、当該ユーザが「いいね」をした質問又は添削結果に、他のユーザから「いいね」がついた数又はその基本統計量により評価することができる。
【0075】
＝＝質問・添削単位でのインセンティブの計算＝＝
インセンティブ付与数算出部２２７は、質問及び／又は添削の単位でインセンティブを付与するようにすることもできる。インセンティブ付与数算出部２２７は、例えば、質問又は添削の閲覧数に応じた量のインセンティブを、質問者又は添削者に対して付与することができる。インセンティブ付与数算出部２２７は、質問又は添削が閲覧されるたびに、質問者又は添削者に対してインセンティブが入り続けるようにしてもよい。
インセンティブ付与数算出部２２７は、質問及び／又は添削の単位でインセンティブを付与するようにすることもできる。インセンティブ付与数算出部２２７は、例えば、質問又は添削の閲覧数に応じた量のインセンティブを、質問者又は添削者に対して付与することができる。インセンティブ付与数算出部２２７は、質問又は添削が閲覧されるたびに、質問者又は添削者に対してインセンティブが入り続けるようにしてもよい。
【0076】
インセンティブ付与数算出部２２７は、インセンティブを受け取る権利を示すノンファンジブルトークン（ＮＦＴ）を発行することができる。インセンティブ付与数算出部２２７は、例えば、質問及び／又は添削に紐付けたＮＦＴを発行することができる。ＮＦＴの発行については、一般的なブロックチェーン技術を用いるものとしてここでは説明を省略する。インセンティブ付与数算出部２２７は、質問及び／又は添削に対するインセンティブを、ＮＦＴの所有者に対して付与するようにすることができる。このＮＦＴは売買可能としてよい。
【0077】
インセンティブ付与数算出部２２７は、添削結果を学習部２２４が再学習に使用したときにインセンティブを付与するようにしてもよい。
【0078】
インセンティブ付与数算出部２２７は、非公開情報（クローズドデータ）の添削結果について、公開情報である添削結果よりも多くのインセンティブを付与するようにすることができる。インセンティブ付与数算出部２２７は、公開情報についてはインセンティブを付与しないようにしてもよい。
【0079】
インセンティブ付与数算出部２２７は、決定したインセンティブの内容及び量（付与数）を表示するためのコンテンツ（以下、インセンティブコンテンツという。）ＷＥＢサーバ２１に送信する。
【0080】
ＷＥＢサーバ２１のインセンティブ付与数表示部２１９は、ＡＰサーバ２２から受信したインセンティブコンテンツをユーザ端末１に送信する。インセンティブ付与数算出部２２７が算出したインセンティブの内容及び量を、付与対象とするユーザを示すユーザＩＤに対応付けて記憶するインセンティブ管理テーブルをデータ記憶部２３１に設けるようにして、インセンティブ付与数表示部２１９は、例えば、ユーザ端末１からのリクエストに応じて、当該ユーザに対応するインセンティブの内容及び量をインセンティブ管理テーブルから読み出してインセンティブコンテンツを作成し、作成したインセンティブコンテンツをユーザ端末１に応答するようにしてもよい。
【0081】
ユーザ端末１のインセンティブ付与数表示部１１９は、ＷＥＢサーバ２１から送信されるインセンティブコンテンツに基づいて、ユーザに付与されるインセンティブの内容及び量を画面に表示することができる。
【0082】
＝＝閲覧ログ＝＝
ＷＥＢサーバ２１の閲覧ログ取得部２２０は、例えば、ユーザ端末１からＷＥＢサーバ２１にアクセスされたアクセスログを取得することができる。閲覧ログ取得部２２０は、一般的なＷＥＢサーバのアクセスログを取得することができる。閲覧ログ取得部２２０は、取得した閲覧ログをＤＢサーバ２３の管理する閲覧ログ記憶部２３３に登録することができる。
ＷＥＢサーバ２１の閲覧ログ取得部２２０は、例えば、ユーザ端末１からＷＥＢサーバ２１にアクセスされたアクセスログを取得することができる。閲覧ログ取得部２２０は、一般的なＷＥＢサーバのアクセスログを取得することができる。閲覧ログ取得部２２０は、取得した閲覧ログをＤＢサーバ２３の管理する閲覧ログ記憶部２３３に登録することができる。
【0083】
＜動作＞
図９は、学習部２２４による処理の流れを示す図である。学習部２２４は、まず、データ記憶部２３１にある応答管理テーブル３１２、質問評価管理テーブル３１１、添削内容評価管理テーブル３１５からデータを読み込む（Ｓ４０１）。次に、学習部２２４は、質問評価管理テーブル３１１の品質評価スコアの値を参照し、一定以上のスコア以上の質問を選定する。学習部２２４は、選定した質問に対応する添削ＩＤを、応答管理テーブル３１２を参照し、その応答ＩＤに対応する添削内容評価管理テーブル３１５の品質評価スコアの値を参照し、一定以上のスコア以上の添削結果を選定する（Ｓ４０２）。次に、学習部２２４は、学習済モデル記憶部２３２から学習済モデルのパラメータを読み込む（Ｓ４０３）。学習部２２４は、ステップＳ４０３で読み込んだ学習済モデルのパラメータを初期パラメータとし、ステップＳ４０２で抽出した品質の高い質問と添削結果のペアを学習データとし、モデルの再学習処理を実行する（Ｓ４０４）。学習部２２４は、学習が完了したら、学習済モデルのパラメータを学習済モデル記憶部２３２に保存する（Ｓ４０５）。なお、機械学習による再学習（ファインチューニング）は一般的な処理を採用するものとし、ここでは説明を省略する。
図９は、学習部２２４による処理の流れを示す図である。学習部２２４は、まず、データ記憶部２３１にある応答管理テーブル３１２、質問評価管理テーブル３１１、添削内容評価管理テーブル３１５からデータを読み込む（Ｓ４０１）。次に、学習部２２４は、質問評価管理テーブル３１１の品質評価スコアの値を参照し、一定以上のスコア以上の質問を選定する。学習部２２４は、選定した質問に対応する添削ＩＤを、応答管理テーブル３１２を参照し、その応答ＩＤに対応する添削内容評価管理テーブル３１５の品質評価スコアの値を参照し、一定以上のスコア以上の添削結果を選定する（Ｓ４０２）。次に、学習部２２４は、学習済モデル記憶部２３２から学習済モデルのパラメータを読み込む（Ｓ４０３）。学習部２２４は、ステップＳ４０３で読み込んだ学習済モデルのパラメータを初期パラメータとし、ステップＳ４０２で抽出した品質の高い質問と添削結果のペアを学習データとし、モデルの再学習処理を実行する（Ｓ４０４）。学習部２２４は、学習が完了したら、学習済モデルのパラメータを学習済モデル記憶部２３２に保存する（Ｓ４０５）。なお、機械学習による再学習（ファインチューニング）は一般的な処理を採用するものとし、ここでは説明を省略する。
【0084】
図１０は、質問品質判定部２２５による処理の流れ示す図である。質問品質判定部２２５は、データ記憶部２３１にある質問評価管理テーブル３１１からデータを読み込む（Ｓ４２１）。質問品質判定部２２５は、閲覧ログ記憶部２３３から閲覧ログのデータを読み込む（Ｓ４２２）。質問品質判定部２２５は、閲覧ログから質問ＩＤに対応する該当ＷＥＢページへのアクセス数（閲覧数）をカウントし、質問評価管理テーブル３１１に管理される質問評価情報の閲覧数に設定する（Ｓ４２３）。質問品質判定部２２５は、質問評価管理テーブル３１１の評価数（いいね数）と閲覧数から、品質評価スコアを算出する（Ｓ４２４）。質問品質判定部２２５は、算出した品質評価スコアを、質問評価管理テーブル３１４に管理される質問評価情報の品質評価スコアに設定する（Ｓ４２５）。質問品質判定部２２５は、質問評価管理テーブル３１１をデータ記憶部２３１に保存する（Ｓ４２６）。
【0085】
図１１は、添削品質判定部２２６による処理の流れ示す図である。添削品質判定部２２６は、データ記憶部２３１にある添削内容評価管理テーブル３１５からデータを読み込む（Ｓ４４１）。添削品質判定部２２６は、閲覧ログ記憶部２３３から閲覧ログのデータを読み込む（Ｓ４４２）。添削品質判定部２２６は、閲覧ログから添削ＩＤに対応する該当ＷＥＢページへのアクセス数（閲覧数）をカウントし、添削内容評価管理テーブル３１５に管理される添削内容評価情報の閲覧数に設定する（Ｓ４４３）。添削品質判定部２２６は、添削内容評価管理テーブル３１５の評価数（いいね数）と閲覧数から、品質評価スコアを算出する（Ｓ４４４）。添削品質判定部２２６は、算出した品質評価スコアを、添削内容評価管理テーブル３１５に管理される添削内容評価情報の品質評価スコアに設定する（Ｓ４４５）。添削品質判定部２２６は、添削内容評価管理テーブル３１５をデータ記憶部２３１に保存する（Ｓ４４６）。
【0086】
図１２は、質問したユーザに対するインセンティブの算出処理の流れを示す図である。インセンティブ付与数算出部２２７は、データ記憶部２３１にある質問者管理テーブル３１６からデータを読み込む（Ｓ４６１）。インセンティブ付与数算出部２２７は、質問者ＩＤごとに、質問者管理テーブル３１６に管理される質問者情報の質問ＩＤの数をカウントし質問数を算出する（Ｓ４６２）。インセンティブ付与数算出部２２７は、質問者ＩＤごとに、質問者管理テーブル３１６に管理される質問者情報の、獲得した品質スコアの基本統計量（合計、平均、偏差などとすることができる。）を算出する（Ｓ４６３）。インセンティブ付与数算出部２２７は、質問者ＩＤごとに、質問者管理テーブル３１６の「評価した他者の質問ＩＤ」に紐づく「獲得した品質評価スコア」の基本統計量（合計，平均，偏差）を算出する（Ｓ４６４）。インセンティブ付与数算出部２２７は、上記算出した値を考慮して、各質問者ＩＤに対するインセンティブ数を決定する（Ｓ４６５）。インセンティブ付与数算出部２２７は、算出したインセンティブ数に基づき、質問を行ったユーザに対してインセンティブを付与することができる（Ｓ４６６）。
【0087】
図１３は、応答を添削したユーザに対するインセンティブの算出処理の流れを示す図である。インセンティブ付与数算出部２２７は、データ記憶部２３１にある添削者管理テーブル３１７からデータを読み込む（Ｓ４８１）。インセンティブ付与数算出部２２７は、添削者ＩＤごとに、添削者管理テーブル３１７に管理される添削者情報の添削ＩＤの数をカウントして添削数を算出する（Ｓ４８２）。インセンティブ付与数算出部２２７は、添削者ＩＤごとに、添削者管理テーブル３１７に管理される添削者情報の、獲得した品質スコアの基本統計量（合計、平均、偏差などとすることができる。）を算出する（Ｓ４８３）。インセンティブ付与数算出部２２７は、添削者ＩＤごとに、添削者管理テーブル３１７に管理される添削者情報の、「評価した他者の添削ＩＤ」に紐づく「獲得した品質評価スコア」の基本統計量（合計、平均、偏差）を算出する（Ｓ４８４）。インセンティブ付与数算出部２２７は、上記算出した値を考慮して、各添削者ＩＤに対するインセンティブ数を決定する（Ｓ４８５）。インセンティブ付与数算出部２２７は、算出したインセンティブ数に基づき、添削を行ったユーザに対してインセンティブを付与することができる（Ｓ４８６）。
【0088】
図１４は、コンピュータのハードウェア構成例を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。図１４に示すコンピュータにより、ユーザ端末１及び応答装置２（ＷＥＢサーバ２１、ＡＰサーバ２２、ＤＢサーバ２３）を実装することができる。
【0089】
コンピュータは、ＣＰＵ２０１、メモリ２０２、記憶装置２０３、通信インタフェース２０４、入力装置２０５、出力装置２０６を備える。記憶装置２０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース２０４は、通信ネットワークに接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置２０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置２０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。なお、上述したユーザ端末１及び応答装置２（ＷＥＢサーバ２１、ＡＰサーバ２２、ＤＢサーバ２３）が備える各機能部はＣＰＵ２０１が記憶装置２０３に記憶されているプログラムをメモリ２０２に読み出して実行することにより実現され、各記憶部はメモリ２０２及び記憶装置２０３が提供する記憶領域の一部として実現されうる。
【0090】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【0091】
＜複数候補からの選択＞
例えば、本実施形態では、学習済モデルからの出力（応答）は、１つの質問に対して１つであることを想定したが、複数の出力を行うようにしてもよい。例えば、応答部２２１は、質問を学習済みモデルに与えて応答を生成させることを複数回試行して複数の応答を生成させるようにすることができる。学習済モデルが生成器である場合に、ランダム性のパラメータ（例えば、ＧＰＴのｔｅｍｐｅｒａｔｕｒｅパラメータ）を上げることにより、異なる応答が生成されるようにすることができる。
例えば、本実施形態では、学習済モデルからの出力（応答）は、１つの質問に対して１つであることを想定したが、複数の出力を行うようにしてもよい。例えば、応答部２２１は、質問を学習済みモデルに与えて応答を生成させることを複数回試行して複数の応答を生成させるようにすることができる。学習済モデルが生成器である場合に、ランダム性のパラメータ（例えば、ＧＰＴのｔｅｍｐｅｒａｔｕｒｅパラメータ）を上げることにより、異なる応答が生成されるようにすることができる。
【0092】
ここで、応答（学習済みモデルからの出力結果）を複数出力し、添削者が最も質の高いと考える出力を選択するように、選択した応答を添削するようにしてもよい。この場合、学習部２２４は、添削者からどの出力結果が選択されたかの指定も受け付けるようにし、どの出力結果が選択されたかとともに質問及び添削結果を学習済モデルに再学習させることで、学習済モデルの出力の質を向上させることができる。
【0093】
また、出力結果を複数出力し、閲覧者が、添削はしないものの、複数の出力結果のうちどれが最も質の高い出力だったかを選択するようにしてもよい。この場合、学習部２２４は、閲覧者によってどの出力結果が選択されたか（例えば、選択された出力結果と、選択された人数など）についても学習済モデルに再学習させることにより、学習済モデルの出力の質を向上させることができる。
【0094】
また、応答部２２１は、学習済モデルに対して質問に対する応答を複数出力させ、その中で最も質の高い出力を自動で選択して最終的な応答とすることもできる。質の高さは、ユーザへの受容性や回答の妥当性をルールベースないしは予め設定された条件によって判定することができる。
【0095】
＜リファレンスの提示＞
応答部２２１は、学習済モデルから応答とともに、添削の参考になりそうな情報を提供するようにしてもよい。添削の参考になりそうな情報は、例えば、Ｗｅｂサイト、ブログ情報、論文などの情報源から参考情報を収集し、収集したデータと学習済みモデルからの応答と類似度を判定し、類似度が所定値以上であるものを選択することにより、特定することができる。応答部２２１は、学習済モデルからの応答と選択した参考情報とをあわせて列挙表示するようにしてもよい。
応答部２２１は、学習済モデルから応答とともに、添削の参考になりそうな情報を提供するようにしてもよい。添削の参考になりそうな情報は、例えば、Ｗｅｂサイト、ブログ情報、論文などの情報源から参考情報を収集し、収集したデータと学習済みモデルからの応答と類似度を判定し、類似度が所定値以上であるものを選択することにより、特定することができる。応答部２２１は、学習済モデルからの応答と選択した参考情報とをあわせて列挙表示するようにしてもよい。
【0096】
また、添削者が添削するにあたって参考ないしは根拠とした情報に関しては，添削時にその情報も合わせて提供することで，再学習データとして活用してもよい
【符号の説明】
【0097】
１ ユーザ端末
２ 応答装置
２１ ＷＥＢサーバ
２２ ＡＰサーバ
２３ ＤＢサーバ
２ 応答装置
２１ ＷＥＢサーバ
２２ ＡＰサーバ
２３ ＤＢサーバ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】