特許 7443649 モデル更新方法、装置、電子デバイス及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-27

(45)【発行日】2024-03-06

(54)【発明の名称】モデル更新方法、装置、電子デバイス及び記憶媒体

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240228BHJP

【ＦＩ】

G06N20/00

【請求項の数】 23

(21)【出願番号】P 2023037758

(22)【出願日】2023-03-10

(65)【公開番号】P2024006945

(43)【公開日】2024-01-17

【審査請求日】2023-03-10

(31)【優先権主張番号】202210778916.4

(32)【優先日】2022-06-30

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ワン、ハイフェン

(72)【発明者】

【氏名】ティアン、ハオ

(72)【発明者】

【氏名】ウ、フア

(72)【発明者】

【氏名】ウ、ティアン

(72)【発明者】

【氏名】リウ、ジン

(72)【発明者】

【氏名】ディン、ユチェン

(72)【発明者】

【氏名】キュ、インキ

(72)【発明者】

【氏名】ツオ、ミンシアン

【審査官】武田 広太郎

(56)【参考文献】

【文献】特表２０２２－５２４６６２（ＪＰ，Ａ）

【文献】国際公開第２０２１／０１５１１７（ＷＯ，Ａ１）

【文献】FUKUDA, Takashi et al.，Efficient Knowledge Distillation from an Ensemble of Teachers，Proc. Interspeech 2017，2017年，pages 3697-3701，[検索日 2024.01.15], インターネット: <URL: https://www.isca-speech.org/archive/interspeech_2017/fukuda17_interspeech.html>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

モデル更新方法であって、
評価データセットにおける処理すべきデータであって、少なくとも２つの異なるカテゴリに属する処理すべきデータについて、最適化すべきモデルおよびツールセットにおけるツールをそれぞれ利用して対応する処理結果を取得し、前記処理結果に基づいて前記最適化すべきモデルおよび前記ツールの処理効果の優劣を比較することと、
比較結果に基づいて最適化すべきカテゴリと対応するアドバンテージツールとを特定することであって、前記最適化すべきカテゴリはツールの処理効果が前記最適化すべきモデルよりも優れているカテゴリであり、前記アドバンテージツールは処理効果が前記最適化すべきモデルよりも優れているツールであることと、
対応するアドバンテージツールに基づいて前記最適化すべきカテゴリの訓練データを生成することと、
前記訓練データを用いて前記最適化すべきモデルを更新することと、
を含むモデル更新方法。

【請求項2】

前記ツールセットは、前記最適化すべきモデルの履歴バージョンモデル、前記最適化すべきモデルの同種モデル、前記最適化すべきモデルの同種システム、単語文法ツール、構文ツール、知識ベースのうちの１つまたは任意の組み合わせを含み、前記同種は同じ機能を有することを示す、
請求項１に記載のモデル更新方法。

【請求項3】

前記評価データセットは、各処理すべきデータにそれぞれ対応する正しい処理結果を更に含み、
前記最適化すべきモデルおよびツールセットにおけるツールをそれぞれ利用して対応する処理結果を取得し、前記処理結果に基づいて前記最適化すべきモデルおよび前記ツールの処理効果の優劣を比較することは、
前記最適化すべきモデルを用いて、前記評価データセットにおける各処理すべきデータに対応する第１処理結果を取得することと、
前記ツールセットにおける何れか一つの個別動作可能なツールについて、前記ツールを用いて前記評価データセットにおける各処理すべきデータに対応する第２処理結果を取得し、前記正しい処理結果と前記第１処理結果と前記第２処理結果とに基づいて、異なるカテゴリに対する前記最適化すべきモデルと前記ツールの処理効果の優劣を判定する処理をそれぞれ行うことと、
を含む請求項１に記載のモデル更新方法。

【請求項4】

前記異なるカテゴリに対する前記最適化すべきモデルと前記ツールの処理効果の優劣を判定することは、いずれか一つのカテゴリについて、それぞれ前記評価データセットにおける前記カテゴリに属する処理すべきデータに対応する前記正しい処理結果、前記第１処理結果及び前記第２処理結果に基づいて、前記最適化すべきモデルと前記ツールとの処理効果の優劣を判定することを含み、
前記比較結果に基づいて最適化すべきカテゴリと対応するアドバンテージツールとを特定することは、いずれか一つのカテゴリについて、前記ツールの処理効果が前記最適化すべきモデルよりも優れていると判定されたことに応じて、前記カテゴリを前記最適化すべきカテゴリとし、前記ツールを前記アドバンテージツールとすることを含む、
請求項３に記載のモデル更新方法。

【請求項5】

前記最適化すべきモデル及びツールセットにおけるツールをそれぞれ利用して対応する処理結果を取得し、前記処理結果に基づいて前記最適化すべきモデル及び前記ツールの処理効果の優劣を比較することは、
前記ツールセットにおける何れか一つの個別動作不可能なツールについて、前記ツールを使用して前記評価データセットにおける各処理すべきデータに対応する第３処理結果を取得し、何れか一つの処理すべきデータについて、前記最適化すべきモデルを用いて前記第３処理結果が正しいか否かをそれぞれ検証し、検証結果が不正確であると判定されたことに応じて人工判定結果を取得し、前記人工判定結果に基づいて前記処理すべきデータに対する前記最適化すべきモデルと前記ツールの処理効果の優劣を判定する処理をそれぞれ行う、
ことを含む請求項１に記載のモデル更新方法。

【請求項6】

前記人工判定結果に基づいて前記処理すべきデータに対する前記最適化すべきモデルと前記ツールの処理効果の優劣を判定することは、前記人工判定結果は前記第３処理結果が正しいであることに応じて、前記ツールの処理効果が前記最適化すべきモデルよりも優れていると判定し、そうでない場合に、前記最適化すべきモデルの処理効果が前記ツールよりも優れていると判定することを含み、
前記比較結果に基づいて最適化すべきカテゴリと対応するアドバンテージツールとを特定することは、いずれか一つのカテゴリについて、前記評価データセットにおける前記カテゴリに属する処理すべきデータのうち、前記ツールの処理効果が前記最適化すべきモデルよりも優れている処理すべきデータの数が、前記最適化すべきモデルの処理効果が前記ツールよりも優れている処理すべきデータの数よりも多いと判定されたことに応じて、前記カテゴリを前記最適化すべきカテゴリとし、前記ツールを前記アドバンテージツールとすることを含む、
請求項５に記載のモデル更新方法。

【請求項7】

前記対応するアドバンテージツールに基づいて前記最適化すべきカテゴリの訓練データを生成することは、
何れか一つの最適化すべきカテゴリについて、
前記最適化すべきカテゴリに属する処理すべきデータをデータベースから取得し、
前記最適化すべきカテゴリに対応する前記アドバンテージツールの数が１であることに応じて、取得された処理すべきデータに基づいて、前記アドバンテージツールに基づいて前記最適化すべきカテゴリの訓練データを生成し、
前記最適化すべきカテゴリに対応する前記アドバンテージツールの数が１より大きいであることに応じて、取得された処理すべきデータに基づいて、各アドバンテージツールに基づいて前記最適化すべきカテゴリの訓練データをそれぞれ生成する、
処理をそれぞれ行う、
ことを含む請求項１～６のいずれか１項に記載のモデル更新方法。

【請求項8】

前記アドバンテージツールに基づいて前記最適化すべきカテゴリの訓練データを生成することは、
取得された各処理すべきデータについて、前記アドバンテージツールを用いて対応する第４処理結果を取得し、前記最適化すべきモデルを用いて対応する第５処理結果を取得し、
取得された各処理すべきデータの中から、前記第４処理結果と前記第５処理結果とが一致しない条件を満たす処理すべきデータを選択し、
選択された処理すべきデータに基づいて前記訓練データを生成する、
ことを含む請求項７に記載のモデル更新方法。

【請求項9】

前記選択された処理すべきデータに基づいて前記訓練データを生成することは、
前記選択された処理すべきデータと、前記選択された処理すべきデータの第４処理結果及び／又は第５処理結果に対する人工注釈結果とを組み合わせて前記訓練データを生成する、
ことを含む請求項８に記載のモデル更新方法。

【請求項10】

前記最適化すべきモデルのユーザ行動ログに基づいて生成された評価結果である、取得された人工評価結果に基づいて訓練データを生成し、前記訓練データを用いて前記最適化すべきモデルを更新する、
ことを更に含む請求項１～６のいずれか１項に記載のモデル更新方法。

【請求項11】

効果比較モジュールと、情報特定モジュールと、サンプル生成モジュールと、モデル更新モジュールとを備えるモデル更新装置であって、
前記効果比較モジュールは、評価データセットにおける処理すべきデータであって、少なくとも２つの異なるカテゴリに属する処理すべきデータについて、最適化すべきモデルおよびツールセットにおけるツールをそれぞれ利用して対応する処理結果を取得し、前記処理結果に基づいて前記最適化すべきモデルおよび前記ツールの処理効果の優劣を比較し、
前記情報特定モジュールは、比較結果に基づいて最適化すべきカテゴリと対応するアドバンテージツールとを特定し、前記最適化すべきカテゴリはツールの処理効果が前記最適化すべきモデルよりも優れているカテゴリであり、前記アドバンテージツールは処理効果が前記最適化すべきモデルよりも優れているツールであり、
前記サンプル生成モジュールは、対応するアドバンテージツールに基づいて前記最適化すべきカテゴリの訓練データを生成し、
前記モデル更新モジュールは、前記訓練データを用いて前記最適化すべきモデルを更新する、
モデル更新装置。

【請求項12】

前記ツールセットは、前記最適化すべきモデルの履歴バージョンモデル、前記最適化すべきモデルの同種モデル、前記最適化すべきモデルの同種システム、単語文法ツール、構文ツール、知識ベースのうちの１つまたは任意の組み合わせを含み、前記同種は同じ機能を有することを示す、
請求項１１に記載のモデル更新装置。

【請求項13】

前記評価データセットは、各処理すべきデータにそれぞれ対応する正しい処理結果を更に含み、
前記効果比較モジュールは、前記最適化すべきモデルを用いて、前記評価データセットにおける各処理すべきデータに対応する第１処理結果を取得し、前記ツールセットにおける何れか一つの個別動作可能なツールについて、前記ツールを用いて前記評価データセットにおける各処理すべきデータに対応する第２処理結果を取得し、前記正しい処理結果と前記第１処理結果と前記第２処理結果とに基づいて、異なるカテゴリに対する前記最適化すべきモデルと前記ツールの処理効果の優劣を判定する処理をそれぞれ行う、
請求項１１に記載のモデル更新装置。

【請求項14】

前記効果比較モジュールは、いずれか一つのカテゴリについて、それぞれ前記評価データセットにおける前記カテゴリに属する処理すべきデータに対応する前記正しい処理結果、前記第１処理結果及び前記第２処理結果に基づいて、前記最適化すべきモデルと前記ツールとの処理効果の優劣を判定し、
前記情報特定モジュールは、いずれか一つのカテゴリについて、前記ツールの処理効果が前記最適化すべきモデルよりも優れていると判定されたことに応じて、前記カテゴリを前記最適化すべきカテゴリとし、前記ツールを前記アドバンテージツールとする、
請求項１３に記載のモデル更新装置。

【請求項15】

前記効果比較モジュールは、前記ツールセットにおける何れか一つの個別動作不可能なツールについて、前記ツールを使用して前記評価データセットにおける各処理すべきデータに対応する第３処理結果を取得し、何れか一つの処理すべきデータについて、前記最適化すべきモデルを用いて前記第３処理結果が正しいか否かをそれぞれ検証し、検証結果が不正確であると判定されたことに応じて人工判定結果を取得し、前記人工判定結果に基づいて前記処理すべきデータに対する前記最適化すべきモデルと前記ツールの処理効果の優劣を判定する処理をそれぞれ行う、
請求項１１に記載のモデル更新装置。

【請求項16】

前記効果比較モジュールは、前記人工判定結果は前記第３処理結果が正しいであることに応じて、前記ツールの処理効果が前記最適化すべきモデルよりも優れていると判定し、そうでない場合に、前記最適化すべきモデルの処理効果が前記ツールよりも優れていると判定し、
前記情報特定モジュールは、いずれか一つのカテゴリについて、前記評価データセットにおける前記カテゴリに属する処理すべきデータのうち、前記ツールの処理効果が前記最適化すべきモデルよりも優れている処理すべきデータの数が、前記最適化すべきモデルの処理効果が前記ツールよりも優れている処理すべきデータの数よりも多いと判定されたことに応じて、前記カテゴリを前記最適化すべきカテゴリとし、前記ツールを前記アドバンテージツールとする、
請求項１５に記載のモデル更新装置。

【請求項17】

前記サンプル生成モジュールは、何れか一つの最適化すべきカテゴリについて、前記最適化すべきカテゴリに属する処理すべきデータをデータベースから取得し、前記最適化すべきカテゴリに対応する前記アドバンテージツールの数が１であることに応じて、取得された処理すべきデータに基づいて、前記アドバンテージツールに基づいて前記最適化すべきカテゴリの訓練データを生成し、前記最適化すべきカテゴリに対応する前記アドバンテージツールの数が１より大きいであることに応じて、取得された処理すべきデータに基づいて、各アドバンテージツールに基づいて前記最適化すべきカテゴリの訓練データをそれぞれ生成する処理をそれぞれ行う、
請求項１１～１６のいずれか一項に記載のモデル更新装置。

【請求項18】

いずれか一つのアドバンテージツールについて、前記サンプル生成モジュールは、取得された各処理すべきデータについて、前記アドバンテージツールを使用して対応する第４処理結果を取得し、前記最適化すべきモデルを用いて対応する第５処理結果を取得し、取得された各処理すべきデータの中から、前記第４処理結果と前記第５処理結果とが一致しない条件を満たす処理すべきデータを選択し、選択された処理すべきデータに基づいて前記訓練データを生成する、
請求項１７に記載のモデル更新装置。

【請求項19】

前記サンプル生成モジュールは、前記選択された処理すべきデータと、前記選択された処理すべきデータの第４処理結果および／または第５処理結果に対する人工注釈結果とを組み合わせて前記訓練データを生成する、
請求項１８に記載のモデル更新装置。

【請求項20】

前記サンプル生成モジュールは、さらに、前記最適化すべきモデルのユーザ行動ログに基づいて生成された評価結果である、取得された人工評価結果に基づいて訓練データを生成する、
請求項１１～１６のいずれか一項に記載のモデル更新装置。

【請求項21】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信可能に接続されたメモリとを備え、
前記メモリに前記少なくとも１つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに請求項１～６のいずれか１項に記載のモデル更新方法を実行させる電子デバイス。

【請求項22】

コンピュータに請求項１～６のいずれか１項に記載のモデル更新方法を実行させるためのコンピュータコマンドを記憶した非一時的なコンピュータ可読記憶媒体。

【請求項23】

プロセッサにより実行されると、請求項１～６のいずれか１項に記載のモデル更新方法を実現するコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人工知能技術の分野に関し、特にディープラーニングおよび自然言語処理などの分野におけるモデル更新方法、装置、電子デバイスおよび記憶媒体に関する。

【背景技術】

【0002】

現在、訓練によって得られたディープラーニングモデルは、さまざまなシナリオで活用されている。例えば、検索シナリオでは、大量のコンテンツから候補結果をリコールするためのセマンティック検索モデルと、リコールされた候補結果をソートするためのセマンティックマッチングモデルとを使用することができる。しかし、これらのモデルはいずれも性能を向上させる余地がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示は、モデル更新方法、装置、電子デバイス及び記憶媒体を提供する。

【課題を解決するための手段】

【0004】

評価データセットにおける処理すべきデータであって、少なくとも２つの異なるカテゴリに属する処理すべきデータについて、最適化すべきモデルおよびツールセットにおけるツールをそれぞれ利用して対応する処理結果を取得し、前記処理結果に応じて前記最適化すべきモデルおよび前記ツールの処理効果の優劣を比較し、比較結果に基づいて最適化すべきカテゴリと対応するアドバンテージツールとを特定することであって、前記最適化すべきカテゴリはツールの処理効果が前記最適化すべきモデルよりも優れているカテゴリであり、前記アドバンテージツールは処理効果が前記最適化すべきモデルよりも優れているツールであり、対応するアドバンテージツールに基づいて前記最適化すべきカテゴリの訓練データを生成し、前記訓練データを用いて前記最適化すべきモデルを更新することを含むモデル更新方法が提供される。

【0005】

効果比較モジュールと、情報特定モジュールと、サンプル生成モジュールと、モデル更新モジュールとを備え、前記効果比較モジュールは、評価データセットにおける処理すべきデータであって、少なくとも２つの異なるカテゴリに属する処理すべきデータについて、最適化すべきモデルおよびツールセットにおけるツールをそれぞれ利用して対応する処理結果を取得し、前記処理結果に基づいて、前記最適化すべきモデルおよび前記ツールの処理効果の優劣を比較し、前記情報特定モジュールは、比較結果に基づいて最適化すべきカテゴリと対応するアドバンテージツールとを特定し、前記最適化すべきカテゴリはツールの処理効果が前記最適化すべきモデルよりも優れているカテゴリであり、前記アドバンテージツールは処理効果が前記最適化すべきモデルよりも優れているツールであり、前記サンプル生成モジュールは、対応するアドバンテージツールに基づいて前記最適化すべきカテゴリの訓練データを生成し、前記モデル更新モジュールは、前記訓練データを用いて前記最適化すべきモデルを更新するモデル更新装置が提供される。

【0006】

少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信可能に接続されたメモリとを備え、前記メモリに前記少なくとも１つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに前記のような方法を実行させる電子デバイスが提供される。

【0007】

コンピュータに前記のような方法を実行させるためのコンピュータコマンドを記憶した非一時的なコンピュータ可読記憶媒体が提供される。

【0008】

プロセッサにより実行されると、前記のような方法を実現するコンピュータプログラム／コマンドを含むコンピュータプログラム製品が提供される。

【0009】

理解すべきなのは、本セクションで説明される内容は、本開示の実施形態の重要なまたは肝心な特徴を標識することでもなく、本開示の範囲を制限することでもない。本開示の他の特徴は、以下の明細書により容易に理解されるであろう。

【図面の簡単な説明】

【0010】

図面は、本技術案をより良く理解するためのものであり、本願に制限されない。図面において、

【図1】本開示に記載されたモデル更新方法の実施形態のフローチャートである。

【図2】本開示に記載されたモデル更新方法の全体的な実施プロセスの概略図である。

【図3】本開示に記載されたモデル更新装置の実施形態３００の構成の概略図である。

【図4】本開示の実施形態を実施可能な電子デバイス４００の概略的なブロック図を示す。

【発明を実施するための形態】

【0011】

以下、図面に基づいて、本出願の例示的な実施例を説明する。理解を容易にするために、本出願の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本出願の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。

【0012】

さらに、本明細書における用語「および／または」は、単に関連オブジェクトを記述する関連関係であり、３つの関係が存在し得ると意味する。例えば、Ａおよび／またはＢは、Ａが単独で存在し、ＡとＢが同時に存在し、Ｂが単独で存在するという三つの状況を意味することができる。また、本明細書における文字「／」は、一般的に前後の関連オブジェクトが「または」の関係にあることを意味する。

【0013】

図１は、本開示に記載されたモデル更新方法の実施形態のフローチャートである。図１に示すように、以下の具体的な実現方式が含まれる。

【0014】

ステップ１０１では、評価データセットにおける処理すべきデータであって、少なくとも２つの異なるカテゴリに属する処理すべきデータについて、最適化すべきモデルとツールセットにおけるツールをそれぞれ用いて対応する処理結果を取得し、処理結果に基づいて最適化すべきモデルとツールの処理効果の優劣を比較する。

【0015】

ステップ１０２では、比較結果に基づいて、ツールの処理効果が最適化すべきモデルよりも優れているカテゴリである最適化すべきカテゴリと、それに対応する、処理効果が最適化すべきモデルよりも優れているツールであるアドバンテージツールとを特定する。

【0016】

ステップ１０３では、対応するアドバンテージツールに基づいて最適化すべきカテゴリの訓練データを生成する。

【0017】

ステップ１０４では、生成された訓練データを用いて最適化すべきモデルを更新する。

【0018】

上記の方法の実施形態で説明された技術案によれば、ツールセットにおけるツールを介して最適化すべきモデルにおける問題、即ち最適化すべきカテゴリを特定し、そしてそれに応じて最適化すべきカテゴリの訓練データを生成し、さらに、生成された訓練データに基づいて最適化すべきモデルを更新することができる。すなわち、最適化すべきモデルにおける問題を指向的に解決し、さらにモデルの性能を向上可能なデータ駆動の指向性モデル最適化方式を提案した。

【0019】

前記方法の実施形態で説明した技術案は、ディープラーニングや自然言語処理などの人工知能の分野に適用することができる。具体的には、例えば、検索シナリオに適用する場合に、前記最適化すべきモデルはセマンティックマッチングモデルであり、前記処理すべきデータはユーザにより入力されたクエリ（ｑｕｅｒｙ）であり、前記処理結果はｑｕｅｒｙによりリコールされた候補結果をソートした結果であって良い。前記異なるカテゴリとは、異なるｑｕｅｒｙカテゴリを指し、例えば、質問系、キーワード検索系、ウェブアドレス検索系及び音声・動画再生系等のカテゴリに分けても良く、ゲーム系、自動車系、生活常識系及び医療系等のカテゴリに分けても良く、どのように異なるカテゴリに分けるかは、実際の必要に応じて決定することができる。評価データセットにおけるｑｕｅｒｙ、例えばテキストフォーマットのｑｕｅｒｙについては、セマンティックマッチングモデルおよびツールセットにおけるツールをそれぞれ利用して対応する処理結果を取得し、そして、処理結果に基づいてセマンティックマッチングモデルおよびツールの処理効果の優劣を比較し、さらに、比較結果に基づいて、最適化すべきカテゴリおよび対応するアドバンテージツールを特定し、さらに、対応するアドバンテージツールに基づいて最適化すべきカテゴリの訓練データを生成し、生成された訓練データを用いてセマンティックマッチングモデルを更新することができる。以上のように最適化されたセマンティックマッチングモデルが得られた後、これを実用化することができる。つまり、ユーザが入力したｑｕｅｒｙに対してリコールの候補結果を得、最適化されたセマンティックマッチングモデルを用いてリコールの候補結果をソートすることができ、それに応じてソート結果の正確性を向上させることができる。

【0020】

本開示の一実施形態では、ツールセットは、最適化すべきモデルの履歴バージョンモデル、最適化すべきモデルの同種モデル、最適化すべきモデルの同種システム、単語文法ツール、構文ツール、知識ベース、というツールの１つまたは任意の組み合わせを含むことができる。前記同種は同じ機能を有することを示す。

【0021】

実際の応用では、「沢山の長所を広く取得する」という考えに基づいて、できるだけ多くのツールをツールセットに加えることができる。それに応じて、ツールセットに上記のすべての内容を含めることで、後続で構築される訓練データの数やタイプなどを向上させ、モデルの最適化効果を高めることができる。

【0022】

ここで、最適化すべきモデルがセマンティックマッチングモデルであることを例にすると、最適化すべきモデルの履歴バージョンモデルは、過去に得られた各バージョンのセマンティックマッチングモデルを指す。履歴バージョンモデルは、最適化すべきモデルに比べて、全体的な機能が劣るが、あるカテゴリまたは特定のカテゴリでは、より優れたパフォーマンスを発揮する場合がある。このため、最適化すべきモデルのすべての履歴バージョンをツールセットに追加して良い。

【0023】

さらに、最適化すべきモデルがあるルールに基づくセマンティックマッチングモデルであると仮定すると、同種モデルは他のルールに基づくセマンティックマッチングモデルであってよい。さらに、様々な検索エンジンを最適化すべきモデルの同種システムとして良い。

【0024】

更に、ある処理すべきデータがユーザが入力したｑｕｅｒｙ「＊＊（ある都市名）の平均住宅価格はいくらですか」であるとすると、単語文法ツールを用いてｑｕｅｒｙ中のキーワードの１つが「＊＊」であることを特定することができる。それに応じて、候補結果に「＊＊」が出現しなければ、あまり関連性のない回答である可能性が高く、下位に順位付けすべきであるという原則に基づいて、リコールの候補結果をソートすることができる。構文ツールや知識ベースなども同様の機能を実現することができる。

【0025】

本開示の一実施形態では、評価データセットは、各処理すべきデータにそれぞれ対応する正しい処理結果をさらに含むことができる。

【0026】

例えば、探索シナリオにおいて、処理すべきデータがユーザが入力したｑｕｅｒｙであり、対応する処理結果がｑｕｅｒｙに基づいてリコールされた各候補結果に対する正しいソート順であって良い。

【0027】

評価データセットの生成方法に制限がなく、評価データセットに含まれる処理すべきデータの具体的な数に制限もなく、実際の必要に応じて決定して良い。さらに、評価データセットにおける処理すべきデータは、少なくとも２つの異なるカテゴリに属する必要がある。前記少なくとも２つの異なるカテゴリがそれぞれどのようなカテゴリであるかは、同様に実際の必要に応じて決定して良い。例えば、処理すべきデータがユーザにより入力されたｑｕｅｒｙである場合に、あるカテゴリは、ｑｕｅｒｙにめったに見ない単語が含まれることであってよい。

【0028】

さらに、評価データセットに１００（列挙であるが、実際にはこれよりもはるかに大きい場合がある）個の処理すべきデータが含まれていると仮定する。これらのデータは、それぞれ１０個の異なるカテゴリに属して良く、各カテゴリには、それぞれ１０個の処理すべきデータが含まれて良い。

【0029】

評価データセットにおける処理すべきデータに対して、最適化すべきモデル及びツールセットにおけるツールの処理効果の優劣を比較することができる。

【0030】

ここで、ツールセットにおける何れか一つのツールは、個別動作可能なツールであっても良く、個別動作不可能なツールであっても良い。それに応じて、最適化すべきモデル及びツールの処理効果の優劣を比較する場合に、以下で説明するように異なる処理方法を採用することができる。

【0031】

１）個別動作可能なツール
本開示の一実施形態では、最適化すべきモデルを用いて評価データセットにおける各処理すべきデータに対応する第１処理結果を取得することができる。そして、ツールセットにおける何れか一つの個別動作可能なツールについて、ツールを用いて評価データセットにおける各処理すべきデータに対応する第２処理結果を取得し、前記正しい処理結果、第１処理結果および第２処理結果に基づいて、異なるカテゴリに対する最適化すべきモデルとツールの処理効果の優劣を判定する処理をそれぞれ行うことができる。

【0032】

最適化すべきモデルがセマンティックマッチングモデルであることを例にすると、ツールセットにおけるほとんどのツールは、履歴バージョンモデル、同種モデル、単語文法ツールなどのような個別動作可能なツールである。個別動作可能なツールとは、直接にツールを使用して評価データセットにおける各処理すべきデータに対応する候補結果をソートすることができるツールのことである。逆に、ある検索エンジンに対して、直接にこのツールを用いて評価データセットにおける各処理すべきデータに対する候補結果をソートすることができない場合、このツールは個別動作不可能なツールである。

【0033】

これに応じて、最適化すべきモデルを用いて評価データセットにおける各処理すべきデータに対応する第１処理結果を取得することは、最適化すべきモデルを使用して評価データセットにおける各処理すべきデータに対応する候補結果をソートすることを意味し、得られたソート結果が第１処理結果である。同様に、ツールを用いて評価データセットにおける各処理すべきデータに対応する第２処理結果を取得することは、ツールを用いて評価データセットにおける各処理すべきデータに対応する候補結果をソートすることを意味し、得られたソート結果が第２処理結果である。

【0034】

このような処理により、正しい処理結果と、最適化すべきモデルとツールのそれぞれに対応する処理結果とを組み合わせて、最適化すべきモデルとツールの処理効果の優劣を効率的かつ正確に判定することができる。

【0035】

具体的には、本開示の一実施形態では、いずれか一つのカテゴリについて、それぞれ評価データセットにおける当該カテゴリに属する処理すべきデータに対応する正しい処理結果、第１処理結果、および第２処理結果に基づいて、最適化すべきモデルとツールの処理効果の優劣を判定することができる。それに応じて、ツールの処理効果が最適化すべきモデルよりも優れていると判定されたことに応じて、そのカテゴリを最適化すべきカテゴリとし、ツールをアドバンテージツールとすることができる。

【0036】

たとえば、カテゴリａについて、１０個の処理すべきデータが含まれていると仮定する。表現しやすいため、それぞれ処理すべきデータ１～処理すべきデータ１０と呼ばれる場合に、正しい処理結果と比較することにより、処理すべきデータ１～処理すべきデータ１０のそれぞれに対応する第１処理結果のうち、正しい第１処理結果の数を決定し、そして、処理すべきデータ１～処理すべきデータ１０のそれぞれに対応する第２処理結果（ツールｂを用いて得られたものとする）のうち、正しい第２処理結果の数を決定し、そして、それぞれの正確率を取得して最適化すべきモデルおよびツールｂの評価指標とすることができる。ツールｂの評価指標が最適化すべきモデルの評価指標よりも優れていると判定されれば、ツールｂの処理効果が最適化すべきモデルよりも優れていると判定することができる。逆の場合に、最適化すべきモデルの処理効果がツールｂよりも優れていると判定することができる。

【0037】

説明すべきなのは、以上の評価指標の取得方法は例示的な説明に過ぎず、本開示の技術案を限定するためのものではなく、具体的にどのように評価指標を設定するかは実際の必要に応じて決定することができる。

【0038】

以上の処理により、異なるカテゴリに対して、最適化すべきモデルとツールの処理効果の優劣をそれぞれ判定し、それに応じて最適化すべきカテゴリと対応するアドバンテージツールを特定することができ、さらに後続の処理に良好な基礎を築くことができる。

【0039】

２）個別動作不可能なツール
ツールセットにおける何れか一つの個別動作不可能なツールに対して、ツールを用いて評価データセットにおける各処理すべきデータに対応する第３処理結果を取得し、そして、いずれか一つの処理すべきデータについて、最適化すべきモデルを用いてその第３処理結果が正しいか否かをそれぞれ検証し、検証結果が不正確であると判定されたことに応じて、人工による判定結果を取得し、人工による判定結果に基づいて、当該処理すべきデータに対する最適化すべきモデルとツールとの処理効果の優劣を判定する、という処理をそれぞれ実行することができる。

【0040】

最適化すべきモデルがセマンティックマッチングモデルであり、処理すべきデータがユーザが入力したｑｕｅｒｙであることを例にする。検索エンジンなどのツールについて、このようなツールを直接に用いて評価データセットにおける各処理すべきデータに対応する候補結果をソートすることができないため、このようなツールが個別動作不可能なツールであることに応じて逆方向に動作するしかない。

【0041】

具体的には、評価データセットにおけるいずれか一つのｑｕｅｒｙについて、検索エンジンに入力して検索エンジンからの検索結果であるリコールの各候補結果および各候補結果のソート順位、即ち上記の第３処理結果を得ることができる。その後、最適化すべきモデルを用いて各処理すべきデータに対する第３処理結果が正しいかどうかをそれぞれ検証することができる。例えば、第３処理結果ごとに、最適化すべきモデルを使用して各候補結果をそれぞれ再ソートし、再ソート結果が第３処理結果と一致するかどうかを比較し、一致しなければ、検証結果が不正確であると判定することができる。それに応じて、どちらのソート結果がより正確であるかを関係者が判定するという人工による判定結果を得、さらに、この人工による判定結果に基づいて、各処理すべきデータに対する最適化すべきモデルとツールの処理効果の優劣を判定することができる。

【0042】

本開示の一実施形態では、いずれか一つの処理すべきデータに対して、人工による判定結果に基づいて、当該処理すべきデータに対する最適化すべきモデルとツールの処理効果の優劣を判定することは、人工による判定結果は当該処理すべきデータに対応する第３処理結果が正しいであることに応じて、最適化すべきモデルよりもツールの方が優れていることを判定し、それ以外の場合に最適化すべきモデルの処理効果がツールよりも優れていると判定し、それに応じて何れか一つのカテゴリについて、評価データセットにおける当該カテゴリに属する処理すべきデータのうち、ツールの処理効果が最適化すべきモデルよりも優れている処理すべきデータの数が、最適化すべきモデルの処理効果がツールよりも優れている処理すべきデータの数よりも多いと判定されたことに応して、当該カテゴリを最適化すべきカテゴリとし、ツールをアドバンテージツールとすることを含んでよい。

【0043】

カテゴリｂに処理すべきデータが１０個含まれており、このうち５つの処理すべきデータはツール（ツールｃと仮定）の処理効果が最適化すべきモデルの処理効果よりも優れており、２つの処理すべきデータは最適化すべきモデルの処理効果がツールの処理効果よりも優れており、残りの３つの処理すべきデータは最適化すべきモデルとツールの処理効果が同じであると仮定すると、カテゴリｂを最適化すべきカテゴリとし、ツールｃをアドバンテージツールとすることができる。

【0044】

上記の説明から分かるように、本開示に記載された態様は、個別動作可能なツールであっても、個別動作不可能なツールであっても、適用可能であり、すなわち、汎用性を有する。

【0045】

最適化すべきカテゴリとは、問題が存在するカテゴリである。その後、データ駆動型の方法で問題を解決することができる。つまり、対応するアドバンテージツールに基づいて最適化すべきカテゴリの訓練データを生成し、生成された訓練データを用いて最適化すべきモデルを更新することができる。

【0046】

本開示の一実施形態では、何れか一つの最適化すべきカテゴリについて、最適化すべきカテゴリに属する処理すべきデータをデータベースから取得し、最適化すべきカテゴリに対応するアドバンテージツールの数が１であることに応答して、取得された処理すべきデータに基づいて、アドバンテージツールに基づいて最適化すべきカテゴリの訓練データを生成し、最適化すべきカテゴリに対応するアドバンテージツールの数が１よりも大きいであることに応じて、取得された処理すべきデータに基づいて、各アドバンテージツールに基づいて最適化すべきカテゴリの訓練データをそれぞれ生成する、という処理をそれぞれ実行することができる。

【0047】

ツールセットにツールａ、ツールｂ、ツールｃという３つのツールがあると仮定する。また、評価データセットにおける処理すべきデータがそれぞれカテゴリ１～カテゴリ１０という１０個の異なるカテゴリに属し、最適化すべきモデルに比べて、ツールａの処理効果がカテゴリ３～５において優れており、ツールｂの処理効果がカテゴリ４～６において優れており、ツールｃの処理効果がカテゴリ５～７において優れていると仮定すると、カテゴリ３、カテゴリ４、カテゴリ５、カテゴリ６、およびカテゴリ７は、最適化すべきカテゴリである。また、カテゴリ３については、対応するアドバンテージツールであるツールａの数は１つであるため、それに応じてツールａに基づいてカテゴリ３の訓練データを生成することができる。カテゴリ５については、ツールａ、ツールｂ、およびツールｃを含む対応するアドバンテージツールの数が１より多いため、それに応じてツールａに基づいてカテゴリ５の訓練データを生成し、ツールｂに基づいてカテゴリ５の訓練データを生成し、ツールｃに基づいてカテゴリ５の訓練データを生成することができる。他の説明は省略する。

【0048】

どのようにデータベースから最適化すべきカテゴリの処理すべきデータを取得するかは制限されず、例えば、データベースにおける最適化すべきカテゴリに属するｑｕｅｒｙから一部のｑｕｅｒｙをランダムに抽出することができる。最適化すべきカテゴリはｑｕｅｒｙにめったに見ない単語が含まれることである場合に、対応するカテゴリのｑｕｅｒｙから一部のｑｕｅｒｙをランダムに抽出して良く、抽出されたｑｕｅｒｙが何れもめったに見ない単語を含む。

【0049】

以上の処理により、異なるアドバンテージツールに基づいて生成された訓練データを得ることができるため、訓練データの内容を豊かにし、モデルの最適化効果を向上させることができる。

【0050】

実際の応用では、上記のカテゴリ５のように各ツールのアドバンテージが特定のカテゴリや幾つかのカテゴリに集中している場合がある。それに応じて、他のカテゴリに比べて。カテゴリ５に対応する訓練データが多くなる。カテゴリによっては対応する訓練データの数の割合のばらつきが大きくなるという問題を回避するために、生成された訓練データを用いて最適化モデルを更新する前に、生成された各カテゴリに対応する訓練データに重複除去やサンプリングなどの処理を行うことで、訓練データセット全体における異なるカテゴリの訓練データの割合が比較的に均等になり、さらにモデルの最適化効果などを一層に向上させることができる。

【0051】

本開示の一実施形態では、いずれか一つのアドバンテージツールに対して、アドバンテージツールに基づいて最適化すべきカテゴリの訓練データを生成する際に、取得された各処理すべきデータについて、アドバンテージツールを使用して対応する第４処理結果を取得し、そして最適化すべきモデルを用いて対応する第５処理結果を取得した後、取得された各処理すべきデータの中から、第４処理結果と第５処理結果とが一致しない条件を満たす処理すべきデータを選択し、さらに、選択された処理すべきデータに基づいて訓練データを生成するようにしてもよい。

【0052】

たとえば、取得された各ｑｕｅｒｙに対して、それぞれに対応する候補結果を取得して良い。どのように取得するかに制限はない。その後、それぞれアドバンテージツールおよび最適化すべきモデルを用いて各ｑｕｅｒｙに対応する候補結果をソートして各ｑｕｅｒｙに対応する第４処理結果および第５処理結果をそれぞれ得られる。いずれか一つのｑｕｅｒｙに対応する第４処理結果と第５処理結果とが一致しなければ、そのｑｕｅｒｙを選択された処理すべきデータとし、さらに選択された処理すべきデータに基づいて所望の訓練データを生成することができる。

【0053】

以上の処理により、所望の処理すべきデータを正確かつ効果的に選択することができる。さらに、少ない処理すべきデータを用いて訓練データを生成するだけで、より良いモデル最適化効果が得られることが実験的に証明された。

【0054】

本発明の一実施形態において、選択された処理すべきデータに基づいて訓練データを生成する場合に、選択された処理すべきデータと、選択された処理すべきデータに対する第４処理結果および／または第５処理結果の人工注釈結果とを組み合わせて訓練データを生成することができる。

【0055】

例えば、選択された１つの処理すべきデータに対して、対応する第４処理結果と第５処理結果を人工で判定することができる。第４処理結果が正しく、第５処理結果が正しくないと判定された場合に、当該処理すべきデータおよび第４処理結果を用いてラベルが１であり、即ち正のサンプルである訓練データを生成し、そして当該処理すべきデータと第５処理結果とを用いてラベルが０であり、即ち負のサンプルである訓練データを生成し、或いは、第４処理結果および第５処理結果の両方が正しくないと判定された場合に、処理結果の一方を手動で修正して正のサンプルを取得し、修正されていない処理結果に基づいて負のサンプルを生成したりすることができる。

【0056】

人工注釈により、生成された訓練データの正確性を向上し、ひいてはモデルの最適化効率や最適化効果などを向上させることができる。

【0057】

本開示の一実施形態では、上記のようにアドバンテージツールを用いて最適化すべきカテゴリの訓練データを生成することに加えて、取得された、最適化すべきモデルのユーザ行動ログに基づいて生成された評価結果である人工評価結果に基づいて訓練データを生成し、生成された訓練データを用いて最適化すべきモデルを更新することもできる。

【0058】

最適化すべきモデルは使用が開始された後、一般的にユーザ行動ログを記録することになる。一方、モデルの効果を担うエンジニアは、定期的に人工で評価することでモデルの効果の良否を判断する。例えば、あるｑｕｅｒｙについて、ユーザが第４位の候補結果をクリックし且つそれを読むのに時間を費やしたことが判明された場合、当該候補結果が上位３位の候補結果よりも優れていると考えられる。それに応じて、候補結果のソート順序を修正して正のサンプルを生成し、修正前のソート順序に基づいて負のサンプルを生成することができる。

【0059】

以上の処理により、直接にユーザ行動ログに基づいて最適化すべきモデルに存在する問題を発見すると共に、それに応じて訓練データを生成し、モデルの最適化効果をさらに向上させることができる。

【0060】

前記説明のように、図２は、本開示に記載されたモデル更新方法の全体的な実現プロセスの概略図である。図２に示すように、ツールセットにおけるツールを使用して最適化すべきモデルに存在する問題を発見し、ツールセットにおけるツールを用いて発見された問題に対して問題を解決し、即ち対応する訓練データを生成し、生成された訓練データに基づいて最適化すべきモデルを更新し、さらに上述のプロセスを繰り返すことができる。具体的な実現は前述の関連説明を参照することができ、ここでは詳しく説明しない。

【0061】

なお、前述の方法の実施形態について、説明の簡素化のため、実施例を一連の動作の組み合わせとして表現したが、当業者であればわかるように、本出願による幾らかのステップは他の順序に従って又は同時に実行することができるため、本出願は記述された動作の順序に制限されない。次に、当業者は、明細書に記述された実施例はいずれも好ましい実施例に該当し、関連する動作及びモジュールは必ずしも本出願によって必要とされないことを理解すべきである。

【0062】

要約すると、本開示の方法の実施形態で説明された方法によれば、さまざまなツールを使用して最適化すべきモデルに存在する問題を発見し、更にツールの種類を豊富にすることで問題のカバー範囲を向上させることができる。また、発見された問題はすべてモデルでは解決できない真の問題であり、問題ごとに訓練データを指向的に生成することができるため、モデルの最適化効果を向上させ、モデルの性能を向上させた。

【0063】

以上は、方法の実施形態についての説明であり、以下では、装置の実施形態を介して、本開示に記載された態様についてさらに説明する。

【0064】

図３は、本開示に記載されたモデル更新装置の実施形態３００の構成の概略図である。図３に示すように、効果比較モジュール３０１と、情報特定モジュール３０２と、サンプル生成モジュール３０３と、モデル更新モジュール３０４とを備える。

【0065】

効果比較モジュール３０１は、評価データセットにおける処理すべきデータであって、少なくとも２つの異なるカテゴリに属する処理すべきデータについて、最適化すべきモデルとツールセットにおけるツールをそれぞれ用いて対応する処理結果を取得し、前記処理結果に基づいて最適化すべきモデルとツールとの処理効果の優劣を比較する。

【0066】

情報特定モジュール３０２は、比較結果に基づいて、ツールの処理効果が最適化すべきモデルよりも優れているカテゴリである最適化すべきカテゴリと、対応する、処理効果が最適化すべきモデルよりも優れているツールであるアドバンテージツールとを特定する。

【0067】

サンプル生成モジュール３０３は、対応するアドバンテージツールに基づいて最適化すべきカテゴリの訓練データを生成する。

【0068】

モデル更新モジュール３０４は、生成された訓練データを用いて最適化すべきモデルを更新する。

【0069】

上記の装置の実施形態で説明された態様によれば、ツールセットにおけるツールにより、最適化すべきモデルに存在する問題、即ち最適化すべきカテゴリを特定し、それに応じて最適化すべきカテゴリの訓練データを生成し、さらに生成された訓練データに基づいて最適化すべきモデルを更新することができる。つまり、データ駆動の指向性モデル最適化方式を提案し、最適化すべきモデルに存在する問題を指向的に解決することができるため、モデルの性能を向上させた。

【0070】

本開示の一実施形態では、ツールセットは、最適化すべきモデルの履歴バージョンモデル、最適化すべきモデルの同種モデル、最適化すべきモデルの同種システム、単語文法ツール、構文ツール、知識ベースのうちの１つまたは任意の組み合わせを含むことができる。前記同種は同じ機能を有することを示す。

【0071】

本開示の一実施形態では、評価データセットは、各処理すべきデータにそれぞれ対応する正しい処理結果をさらに含むことができる。

【0072】

たとえば、探索シナリオでは、処理すべきデータはユーザが入力したｑｕｅｒｙであり、対応する処理結果はｑｕｅｒｙに基づいてリコールされた各候補結果に対する正しいソート順となって良い。

【0073】

評価データセットにおける処理すべきデータに対して、最適化すべきモデルとツールセットにおけるツールの処理効果の優劣を比較することができる。

【0074】

本開示の一実施形態では、効果比較モジュール３０１は、最適化すべきモデルを用いて、評価データセットにおける各処理すべきデータに対応する第１処理結果を取得し、ツールセットにおける何れか一つの個別動作可能なツールに対して、評価データセットにおける各処理すべきデータに対応する第２処理結果をツールで取得し、正しい処理結果と第１処理結果と第２処理結果とに基づいて、異なるカテゴリに対する最適化すべきモデルとツールの処理効果の優劣を判定する処理をそれぞれ行うことができる。

【0075】

最適化すべきモデルがセマンティックマッチングモデルであることを例にすると、最適化すべきモデルを用いて評価データセットにおける各処理すべきデータに対応する第１処理結果を取得することは、最適化すべきモデルを使用して、評価データセットにおける各処理すべきデータに対応する候補結果をソートすることを意味する。得られたソート結果は第１処理結果である。同様に、ツールを用いて評価データセットにおける各処理すべきデータに対応する第２処理結果を取得することは、ツールを用いて評価データセットにおける各処理すべきデータに対応する候補結果をソートすることを意味する。得られたソート結果は第２処理結果である。

【0076】

本開示の一実施形態では、いずれか一つのカテゴリについて、効果比較モジュール３０１は、それぞれ評価データセットにおける当該カテゴリに属する処理すべきデータに対応する正しい処理結果、第１処理結果、および第２処理結果に基づいて、最適化すべきモデルとツールの処理効果の優劣を判定することができる。それに応じて、情報特定モジュール３０２は、ツールの処理効果が最適化すべきモデルよりも優れていると判定されたことに応じて、このカテゴリを最適化すべきカテゴリとし、ツールをアドバンテージツールとすることができる。

【0077】

本開示の一実施形態では、効果比較モジュール３０１は、ツールセットにおける何れか一つの個別動作不可能なツールに対して、ツールを用いて評価データセットにおける各処理すべきデータに対応する第３処理結果を取得し、いずれか一つの処理すべきデータに対して、最適化すべきモデルを用いてこの第３処理結果が正しいか否かをそれぞれ検証し、検証結果が不正確であると判定されたことに応じて、人工判定結果を取得し、人工判定結果に基づいて当該処理すべきデータに対する最適化すべきモデルとツールとの処理効果の優劣を判定する、という処理をそれぞれ行うことができる。

【0078】

本開示の一実施形態では、効果比較モジュール３０１は、人工判定結果は第３処理結果が正しいであることに応じて、ツールが最適化するモデルよりも優れていることを判定し、それ以外の場合は最適化すべきモデルの処理効果がツールよりも優れていると判定する。それに応じて、情報特定モジュール３０２は、いずれか一つのカテゴリについて、評価データセットにおける当該カテゴリに属する処理すべきデータのうち、ツールの処理効果が最適化すべきモデルよりも優れている処理すべきデータの数が、最適化すべきモデルの処理効果がツールよりも優れている処理すべきデータの数よりも多いと判定されたことに応じて、当該カテゴリを最適化すべきカテゴリとし、ツールをアドバンテージツールとする。

【0079】

最適化すべきカテゴリとは、問題が存在するカテゴリである。その後、データ駆動型の方法で問題を解決することができる。つまり、対応するアドバンテージツールに基づいて最適化すべきカテゴリの訓練データを生成し、生成された訓練データを用いて最適化すべきモデルを更新することができる。

【0080】

本開示の一実施形態では、何れか一つの最適化すべきカテゴリについて、サンプル生成モジュール３０３は、最適化すべきカテゴリに属する処理すべきデータをデータベースから取得し、最適化すべきカテゴリに対応するアドバンテージツールの数が１であることに応じて、取得された処理すべきデータに基づいて、アドバンテージツールに基づいて最適化すべきカテゴリの訓練データを生成し、最適化すべきカテゴリに対応するアドバンテージツールの数が１より大きいことに応じて、取得された処理すべきデータに基づいて、各アドバンテージツールに基づいて最適化すべきカテゴリの訓練データをそれぞれ生成する、という処理をそれぞれ行うことができる。

【0081】

データベースから最適化すべきカテゴリの処理すべきデータをどのように取得するかは制限がない。例えば、データベースにおける最適化すべきカテゴリに属するｑｕｅｒｙから一部のｑｕｅｒｙをランダムに抽出することができる。

【0082】

本開示の一実施形態では、サンプル生成モジュール３０３は、いずれか一つのアドバンテージツールに基づいて最適化すべきカテゴリの訓練データを生成する際に、取得された各処理すべきデータについて、アドバンテージツールを使用して対応する第４処理結果を取得し、そして、最適化すべきモデルを用いて対応する第５処理結果を取得した後、取得された各処理すべきデータの中から、第４処理結果と第５処理結果とが一致しない条件を満たす処理すべきデータを選択し、さらに、選択された処理すべきデータに基づいて訓練データを生成することができる。

【0083】

本開示の一実施形態では、サンプル生成モジュール３０３は、選択された処理すべきデータに基づいて訓練データを生成する際に、選択された処理すべきデータと、選択された処理すべきデータに対する第４処理結果および／または第５処理結果の人工注釈結果とを組み合わせて訓練データを生成することができる。

【0084】

本開示の一実施形態では、上記のようにアドバンテージツールを用いて最適化すべきカテゴリの訓練データを生成することに加えて、サンプル生成モジュール３０３は、取得された、最適化すべきモデルのユーザ行動ログに基づいて生成された評価結果である人工評価結果に基づいて訓練データを生成することもできる。それに応じて、モデル更新モジュール３０４は、生成された訓練データを用いて最適化すべきモデルを更新することができる。

【0085】

図３に示される装置の実施形態の具体的なワークフローは、前述の方法の実施形態における関連説明を参照することができ、ここでは詳しく説明しない。

【0086】

要約すると、本開示の装置の実施形態で説明された態様によれば、さまざまなツールを使用して最適化すべきモデルに存在する問題を特定し、また、ツールの種類を豊富にすることで問題のカバー範囲を向上させることができる。更に、発見された問題はすべてモデルでは解決できない真の問題であり、問題ごとに訓練データを指向的に生成することができるため、モデルの最適化効果を向上させ、モデルの性能を向上させた。

【0087】

本出願に記載された技術案は、人工知能の分野に適用することができ、特にディープラーニングおよび自然言語処理等の分野に関する。人工知能は、コンピュータが人間の思考過程と知能行為（例えば学習、推理、思考、計画など）をシミュレートすることを研究する学科であり、ハードウェアレベルの技術とソフトウェアレベルの技術の両方がある。人工知能のハードウェア技術には、一般的に、例えばセンサ、専用人工知能チップ、クラウドコンピューティング、分散ストレージ、ビッグデータ処理等の技術が含まれる。人工知能のソフトウェア技術は、主にコンピュータビジョン技術、音声認識技術、自然言語処理技術及び機械学習／ディープラーニング、ビッグデータ処理技術、知識マップ技術等のいくつかの方向を含む。

【0088】

本開示の実施形態における処理すべきデータ等は、特定のユーザを対象としたものではなく、特定のユーザの個人情報を反映したものではない。また、本開示の方法の実施主体は、様々な開示、法令に準拠した方法で前記処理すべきデータを取得することができる。

【0089】

本開示の技術案において、関わるユーザの個人情報の取得、記憶、応用、加工、伝送、提供及び配信等は、いずれも関連法律法規の規定に適合しており、公序良俗に反するものではない。

【0090】

本開示の実施形態によれば、本開示は更に電子デバイス、可読記憶媒体、およびコンピュータプログラム製品を提供する。

【0091】

図４は、本開示の実施形態を実施するために使用され得る電子デバイス４００の模式的なブロック図である。電子デバイスは、ラップトップ、デスクトップコンピュータ、ワークベンチ、サーバ、ブレードサーバ、大型コンピュータ、および他の適切なコンピュータのような、様々な形態のデジタルコンピュータを表す。電子デバイスは更に、ＰＤＡ、携帯電話、スマートフォン、ウェアラブルデバイス、および他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すことができる。本明細書に示す構成要素、それらの接続および関係、ならびにそれらの機能は、単なる一例であり、本明細書に記載および／または要求された本開示の実現を制限することではない。

【0092】

図４に示すように、デバイス４００は、読み取り専用メモリ（ＲＯＭ）４０２に記憶されたコンピュータプログラム、または記憶手段４０８からランダムアクセスメモリ（ＲＡＭ）４０３にロードされたコンピュータプログラムに従って、様々な適切な動作および処理を実行することができる演算手段４０１を含む。ＲＡＭ４０３には、デバイス４００の動作に必要な各種のプログラムやデータが記憶されてもよい。演算手段４０１、ＲＯＭ４０２およびＲＡＭ４０３は、バス４０４を介して接続されている。入出力（Ｉ／Ｏ）インターフェース４０５もバス４０４に接続されている。

【0093】

例えばキーボード、マウス等の入力手段４０６と、例えば様々なタイプのディスプレイ、スピーカ等の出力手段４０７と、例えば磁気ディスク、光ディスク等の記憶手段４０８と、例えばネットワークカード、モデム、無線通信トランシーバなどの通信手段４０９を含むデバイス４００の複数の構成要素は、Ｉ／Ｏインターフェース４０５に接続される。通信手段４０９は、デバイス４００が例えばインターネットのコンピュータネットワークおよび／または様々な電気通信ネットワークを介して他のデバイスと情報／データを交換することを可能にする。

【0094】

演算手段４０１は、処理能力および演算能力を有する様々な汎用および／または専用の処理コンポーネントであってよい。演算手段４０１のいくつかの例は、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）演算チップ、機械学習モデルアルゴリズムを実行する様々な演算ユニット、デジタル信号プロセッサ（ＤＳＰ）、および任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。演算手段４０１は、上述した様々な方法および処理、例えば本開示に記載の方法を実行する。例えば、幾つかの実施形態では、本開示に記載の方法は、例えば記憶手段４０８のような機械可読媒体に物理的に組み込まれたコンピュータソフトウェアプログラムとして実装されてもよい。幾つかの実施形態では、コンピュータプログラムの一部または全部は、ＲＯＭ４０２および／または通信手段４０９を介してデバイス４００にロードおよび／またはインストールすることができる。コンピュータプログラムがＲＡＭ４０３にロードされ、演算手段４０１により実行されると、本開示に記載の方法の１つまたは複数のステップを実行することができる。代替的に、他の実施形態では、演算手段４０１は、本開示に記載の方法を実行するように、他の任意の適切な方法で（例えば、ファームウェアを介する）構成されてもよい。

【0095】

本明細書で前述したシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、専用集積回路（ＡＳＩＣ）、専用標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、ロードプログラマブル論理デバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはこれらの組み合わせにおいて実装されてもよい。これらの様々な実施形態は、１つまたは複数のコンピュータプログラムで実施されることを含んで良い。当該１つまたは複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行および／または解釈することができる。当該プログラマブルプロセッサは、専用または汎用のプログラマブルプロセッサであって、記憶システム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータおよび命令を受信し、当該記憶システム、当該少なくとも１つの入力装置、および当該少なくとも１つの出力装置にデータおよび命令を転送することができる。

【0096】

本開示の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語の任意の組み合わせを用いて記述することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサまたはコントローラに提供することにより、プログラムコードがプロセッサまたはコントローラにより実行されると、フローチャートおよび／またはブロック図に指定された機能／動作を実行するようにすることができる。プログラムコードは、全てがマシン上で実行されても良く、一部がマシン上で実行されても良く、スタンドアロンパッケージとして一部的にマシン上で実行され且つ一部的にリモートマシン上で実行され、或いは全てがリモートマシンまたはサーバ上で実行されても良い。

【0097】

本開示の文脈では、機械可読媒体は、有形の媒体であって、命令実行システム、装置またはデバイスにより使用され、或いは命令実行システム、装置またはデバイスと合わせて使用されるプログラムを含むか記憶することができる。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であってよい。機械可読媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、または半導体的なシステム、装置またはデバイス、あるいはこれらの任意の適切な組み合わせを含んで良いが、これらに限定されない。機械可読記憶媒体のより具体的な例は、１つまたは複数のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又はこれらの任意の適切な組み合わせを含む。

【0098】

ユーザとのインタラクションを提供するために、本明細書に記載されたシステムおよび技術は、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザにより入力をコンピュータに提供するキーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）と備えるコンピュータ上に実施されてよい。他の種類の装置は、ユーザとのインタラクションを提供するためにも使用され得る。例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であって良く、ユーザからの入力を任意の形式（音入力、音声入力、または触覚入力を含む）で受信して良い。

【0099】

本明細書に記載されたシステムおよび技術は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータであり、ユーザは、当該グラフィカルユーザインターフェースもしくは当該ウェブブラウザを通じて本明細書で説明されるシステムと技術の実施形態とインタラクションすることができる）、そのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムに実施されることが可能である。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されることが可能である。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイド・エリア・ネットワーク（「ＷＡＮ」）、インターネットワークを含む。

【0100】

コンピュータシステムは、クライアントとサーバーを含み得る。クライアントとサーバーは、一般的に互いから遠く離れており、通常は、通信ネットワークを通じてインタラクトする。クライアントとサーバとの関係は、相応するコンピュータ上で実行され、互いにクライアント－サーバの関係を有するコンピュータプログラムによって生じる。サーバはクラウドサーバであっても良く、分散システムのサーバであっても良く、ブロックチェーンを組み合わせたサーバであってもよい。

【0101】

以上で示された様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除できることを理解されたい。例えば、本出願に説明される各ステップは、並列の順序又は順次的な順序で実施されてもよいし、又は異なる順序で実行されてもよく、本出願で開示された技術案の望ましい結果が達成できる限り、ここで制限されない。

【0102】

上記の具体的な実施形態は本出願の保護範囲に対する制限を構成しない。設計要件及び他の要因に従って、様々な修正、組み合わせ、部分的組み合わせ及び置換を行うことができることを当業者は理解するべきである。本出願の精神及び原則の範囲内で行われる修正、同等の置換、改善は、何れも本出願の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】