特許 7586951 語義分類モデルトレーニング方法、語義分類方法、語義分類モデルトレーニング装置、語義分類装置、電子機器、非一時的コンピュータ可読記憶媒体、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-11

(45)【発行日】2024-11-19

(54)【発明の名称】語義分類モデルトレーニング方法、語義分類方法、語義分類モデルトレーニング装置、語義分類装置、電子機器、非一時的コンピュータ可読記憶媒体、及びコンピュータプログラム

(51)【国際特許分類】

   G06F 16/35 20190101AFI20241112BHJP

   G06F 40/30 20200101ALI20241112BHJP

   G06F 40/216 20200101ALI20241112BHJP

   G06F 40/247 20200101ALI20241112BHJP

【ＦＩ】

G06F16/35

G06F40/30

G06F40/216

G06F40/247

【請求項の数】 31

(21)【出願番号】P 2023050552

(22)【出願日】2023-03-27

(65)【公開番号】P2023160746

(43)【公開日】2023-11-02

【審査請求日】2023-03-27

(31)【優先権主張番号】202210439044.9

(32)【優先日】2022-04-22

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100112656

【弁理士】

【氏名又は名称】宮田 英毅

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】林沢南

(72)【発明者】

【氏名】秦華鵬

(72)【発明者】

【氏名】趙岷

(72)【発明者】

【氏名】張国▲キン▼

(72)【発明者】

【氏名】呂雅娟

【審査官】松尾 真人

(56)【参考文献】

【文献】特開２０２１－１４９９１６（ＪＰ，Ａ）

【文献】特開２０２１－０４３４９１（ＪＰ，Ａ）

【文献】特開２０２１－１１４０５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｆ ４０／２０－４０／５８

(57)【特許請求の範囲】

【請求項1】

分類モデルトレーニング装置に用いられる語義分類モデルトレーニング方法であって、
サンプルクエリテンプレート及び前記サンプルクエリテンプレートにおける予測待ちカテゴリのラベルカテゴリを取得し、前記サンプルクエリテンプレートがサンプルクエリ語句及び前記予測待ちカテゴリの数に基づいて構築されることと、
前記サンプルクエリテンプレートを予め構築された語義分類モデルに入力し、前記予測待ちカテゴリのサンプル語義カテゴリを得ることと、
前記サンプル語義カテゴリ及び前記予測待ちカテゴリのラベルカテゴリに応じて、前記語義分類モデルをトレーニングすることと、を含み、
前記サンプルクエリテンプレートは、
サンプル語義カテゴリ充填域を含むサンプルカテゴリ充填語句を構築し、前記サンプル語義カテゴリ充填域の数と、前記予測待ちカテゴリの数とが等しく、前記サンプル語義カテゴリ充填域が、対応する予測待ちカテゴリのサンプル語義カテゴリが充填されることに用いられ、
前記サンプルクエリ語句及び前記サンプルカテゴリ充填語句に応じて、前記サンプルクエリテンプレートを構築する、という方式を用いて構築されて得られ、
前記予測待ちカテゴリが属する体系の数は、少なくとも１つであり、
前記した、サンプル語義カテゴリ充填域を含むサンプルカテゴリ充填語句を構築することは、
各体系に対して、該体系におけるサンプル語義カテゴリ充填域を含むサンプル体系充填サブ語句を構築し、前記該体系におけるサンプル語義カテゴリ充填域の数と、該体系における予測待ちカテゴリの数とが等しいことと、
すべての体系におけるサンプル体系充填サブ語句に応じて、前記サンプルカテゴリ充填語句を決定することと、を含む、
語義分類モデルトレーニング方法。

【請求項2】

前記サンプルカテゴリ充填語句に対して、異なる体系におけるサンプル体系充填サブ語句の間には、サブ語句デリミタが設定されており、及び／又は、各体系に対して、前記サンプル体系充填サブ語句における少なくとも１つのサンプル語義カテゴリ充填域の間には、域デリミタが設定されている、
請求項１に記載の語義分類モデルトレーニング方法。

【請求項3】

サンプル体系充填サブ語句における少なくとも１つのサンプル語義カテゴリ充填域の間に域デリミタが設定されていれば、同じ体系における域デリミタは、同じであり、且つ異なる体系における域デリミタは、異なる、
請求項２に記載の語義分類モデルトレーニング方法。

【請求項4】

前記した、前記サンプル語義カテゴリ及び前記予測待ちカテゴリのラベルカテゴリに応じて、前記語義分類モデルをトレーニングすることは、
前記サンプル語義カテゴリ及び前記ラベルカテゴリに応じて、ラベル異常タイプを決定することと、
前記ラベル異常タイプに対応するラベル補正方式に応じて、前記ラベルカテゴリを調整することと、
前記サンプル語義カテゴリ及び調整後のラベルカテゴリに応じて、前記語義分類モデルをトレーニングすることと、を含む、
請求項１に記載の語義分類モデルトレーニング方法。

【請求項5】

前記した、前記サンプル語義カテゴリ及び前記ラベルカテゴリに応じて、ラベル異常タイプを決定することは、
前記サンプル語義カテゴリが前記ラベルカテゴリの下位カテゴリであれば、前記ラベル異常タイプが上位から下位を予測するタイプであると決定することと、
前記サンプル語義カテゴリが前記ラベルカテゴリの同源変形カテゴリであれば、前記ラベル異常タイプがノイズタイプであると決定することと、
前記サンプル語義カテゴリが前記ラベルカテゴリの分解可能カテゴリの組み合わせカテゴリであれば、前記ラベル異常タイプが混交タイプであると決定することと、を含む、
請求項４に記載の語義分類モデルトレーニング方法。

【請求項6】

前記した、前記ラベル異常タイプに対応するラベル補正方式に応じて、前記ラベルカテゴリを調整することは、
前記ラベル異常タイプが上位から下位を予測するタイプであれば、前記ラベルカテゴリを前記サンプル語義カテゴリに置き換えることと、
前記ラベル異常タイプがノイズタイプであれば、前記ラベルカテゴリの同源変形カテゴリの代替可能ラベルに応じて、前記ラベルカテゴリを調整することと、
前記ラベル異常タイプが混交タイプであれば、前記ラベルカテゴリを前記サンプル語義カテゴリ又は前記ラベルカテゴリの分解可能カテゴリに置き換えることと、を含む、
請求項５に記載の語義分類モデルトレーニング方法。

【請求項7】

前記した、前記サンプルクエリテンプレートを予め構築された語義分類モデルに入力し、前記予測待ちカテゴリのサンプル語義カテゴリを得ることは、
前記サンプルクエリテンプレートを予め構築された語義分類モデルに入力し、前記予測待ちカテゴリの少なくとも１つのサンプル語義文字を得ることと、
各前記サンプル語義文字を予測順序に従って組み合わせ、前記予測待ちカテゴリのサンプル語義カテゴリを得ることと、を含む、
請求項１～６のいずれか１項に記載の語義分類モデルトレーニング方法。

【請求項8】

前記した、前記サンプルクエリテンプレートを予め構築された語義分類モデルに入力し、前記予測待ちカテゴリの少なくとも１つのサンプル語義文字を得ることは、
前記サンプルクエリテンプレートを予め構築された語義分類モデルに入力して、前記サンプルクエリテンプレートにおけるサンプル語義特徴を抽出し、且つ前記サンプル語義特徴に対して特徴変換を行い、前記予測待ちカテゴリの少なくとも１つのサンプル語義文字を得ること、を含む、
請求項７に記載の語義分類モデルトレーニング方法。

【請求項9】

語義分類装置に用いられる語義分類方法であって、
予測クエリテンプレートを取得し、前記予測クエリテンプレートが予測クエリ語句及び予測待ちカテゴリの数に基づいて構築されることと、
前記予測クエリテンプレートに応じて、前記予測待ちカテゴリの予測語義カテゴリを得ることと、を含み、
前記予測クエリテンプレートは、
予測語義カテゴリ充填域を含む予測カテゴリ充填語句を構築し、前記予測語義カテゴリ充填域の数と、前記予測待ちカテゴリの数とが等しく、前記予測語義カテゴリ充填域が、対応する予測待ちカテゴリの予測語義カテゴリが充填されることに用いられ、
前記予測クエリ語句及び前記予測カテゴリ充填語句に応じて、前記予測クエリテンプレートを構築する、という方式を用いて構築されて得られ、
前記予測待ちカテゴリが属する体系の数は、少なくとも１つであり、
前記した、前記予測語義カテゴリ充填域を含む予測カテゴリ充填語句を構築することは、
各体系に対して、該体系における予測語義カテゴリ充填域を含む予測体系充填サブ語句を構築し、前記該体系における予測語義カテゴリ充填域の数と、該体系における予測待ちカテゴリの数とが等しいことと、
すべての体系における予測体系充填サブ語句に応じて、前記予測カテゴリ充填語句を決定することと、を含み、
前記予測クエリテンプレートに応じて、前記予測待ちカテゴリの予測語義カテゴリを得ることは、
前記予測クエリテンプレートをトレーニング済みの語義分類モデルの入力データとし、前記語義分類モデルの出力結果に応じて、前記予測待ちカテゴリの予測語義カテゴリを決定すること、を含み、前記語義分類モデルは、請求項１に記載の語義分類モデルトレーニング方法を用いてトレーニングして得るものである、
語義分類方法。

【請求項10】

予測カテゴリ充填語句に対して、異なる体系における予測体系充填サブ語句の間には、サブ語句デリミタが設定されており、及び／又は、各体系に対して、前記予測体系充填サブ語句における少なくとも１つの予測語義カテゴリ充填域の間には、域デリミタが設定されている、
請求項９に記載の語義分類方法。

【請求項11】

前記予測体系充填サブ語句における少なくとも１つの予測語義カテゴリ充填域の間に域デリミタが設定されていれば、同じ体系における域デリミタは、同じであり、且つ異なる体系における域デリミタは、異なる、
請求項１０に記載の語義分類方法。

【請求項12】

前記した、前記予測クエリテンプレートに応じて、前記予測待ちカテゴリの予測語義カテゴリを得ることは、
前記予測クエリテンプレートに応じて、前記予測待ちカテゴリの少なくとも１つの予測語義文字を決定することと、
各前記予測語義文字を予測順序に従って組み合わせ、前記予測待ちカテゴリの予測語義カテゴリを得ることと、を含む、
請求項９に記載の語義分類方法。

【請求項13】

前記少なくとも１つの予測語義文字のうち、同じ予測順序の予測語義文字は、少なくとも２つであり、
前記した、各前記予測語義文字を予測順序に従って組み合わせ、前記予測待ちカテゴリの予測語義カテゴリを得ることは、
異なる予測順序の各前記予測語義文字を、予測順序に従って組み合わせ、少なくとも１つの候補語義カテゴリを得ることと、
前記候補語義カテゴリにおける異なる予測語義文字の文字予測確率に応じて、前記候補語義カテゴリのカテゴリ予測確率を決定することと、
前記カテゴリ予測確率、及び前記候補語義カテゴリと標準語義カテゴリライブラリにおける各標準語義カテゴリとのマッチング結果に応じて、各候補語義カテゴリから前記予測語義カテゴリを選出することと、を含む、
請求項１２に記載の語義分類方法。

【請求項14】

前記した、前記予測クエリテンプレートに応じて、前記予測待ちカテゴリの少なくとも１つの予測語義文字を決定することは、
前記予測クエリテンプレートにおける予測語義特徴を抽出することと、
前記予測語義特徴に対して特徴変換を行い、前記予測待ちカテゴリの少なくとも１つの予測語義文字を得ることと、を含む、
請求項１２に記載の語義分類方法。

【請求項15】

サンプルクエリテンプレート及び前記サンプルクエリテンプレートにおける予測待ちカテゴリのラベルカテゴリを取得し、前記サンプルクエリテンプレートがサンプルクエリ語句及び前記予測待ちカテゴリの数に基づいて構築されるためのサンプルクエリテンプレート取得モジュールと、
前記サンプルクエリテンプレートを予め構築された語義分類モデルに入力し、前記予測待ちカテゴリのサンプル語義カテゴリを得るためのサンプル語義カテゴリ決定モジュールと、
前記サンプル語義カテゴリ及び前記予測待ちカテゴリのラベルカテゴリに応じて、前記語義分類モデルをトレーニングするための語義分類モデルトレーニングモジュールと、を含み、
具体的に、
サンプル語義カテゴリ充填域を含むサンプルカテゴリ充填語句を構築し、前記サンプル語義カテゴリ充填域の数と、前記予測待ちカテゴリの数とが等しく、前記サンプル語義カテゴリ充填域が、対応する予測待ちカテゴリのサンプル語義カテゴリが充填されることに用いられるためのサンプルカテゴリ充填語句構築ユニットと、
前記サンプルクエリ語句及び前記サンプルカテゴリ充填語句に応じて、前記サンプルクエリテンプレートを構築するためのサンプルクエリテンプレート構築ユニットと、を含むサンプルクエリテンプレート構築モジュールをさらに含み、
前記予測待ちカテゴリが属する体系の数は、少なくとも１つであり、
前記サンプルカテゴリ充填語句構築ユニットは、
各体系に対して、該体系におけるサンプル語義カテゴリ充填域を含むサンプル体系充填サブ語句を構築し、前記該体系におけるサンプル語義カテゴリ充填域の数と、該体系における予測待ちカテゴリの数とが等しいためのサンプル体系充填サブ語句構築サブユニットと、
すべての体系におけるサンプル体系充填サブ語句に応じて、前記サンプルカテゴリ充填語句を決定するためのサンプルカテゴリ充填語句決定サブユニットと、を含む、
語義分類モデルトレーニング装置。

【請求項16】

前記サンプルカテゴリ充填語句に対して、異なる体系におけるサンプル体系充填サブ語句の間には、サブ語句デリミタが設定されており、及び／又は、各体系に対して、前記サンプル体系充填サブ語句における少なくとも１つのサンプル語義カテゴリ充填域の間には、域デリミタが設定されている、
請求項１５に記載の語義分類モデルトレーニング装置。

【請求項17】

サンプル体系充填サブ語句における少なくとも１つのサンプル語義カテゴリ充填域の間に域デリミタが設定されていれば、同じ体系における域デリミタは、同じであり、且つ異なる体系における域デリミタは、異なる、
請求項１６に記載の語義分類モデルトレーニング装置。

【請求項18】

前記語義分類モデルトレーニングモジュールは、
前記サンプル語義カテゴリ及び前記ラベルカテゴリに応じて、ラベル異常タイプを決定するためのラベル異常カテゴリ決定ユニットと、
前記ラベル異常タイプに対応するラベル補正方式に応じて、前記ラベルカテゴリを調整するためのラベルカテゴリ調整ユニットと、
前記サンプル語義カテゴリ及び調整後のラベルカテゴリに応じて、前記語義分類モデルをトレーニングするための語義分類モデルトレーニングユニットと、を含む、
請求項１５に記載の語義分類モデルトレーニング装置。

【請求項19】

前記ラベル異常カテゴリ決定ユニットは、
前記サンプル語義カテゴリが前記ラベルカテゴリの下位カテゴリであれば、前記ラベル異常タイプが上位から下位を予測するタイプであると決定するための上下位タイプ決定サブユニットと、
前記サンプル語義カテゴリが前記ラベルカテゴリの同源変形カテゴリであれば、前記ラベル異常タイプがノイズタイプであると決定するためのノイズタイプ決定サブユニットと、
前記サンプル語義カテゴリが前記ラベルカテゴリの分解可能カテゴリの組み合わせカテゴリであれば、前記ラベル異常タイプが混交タイプであると決定するための混交タイプ決定サブユニットと、を含む、
請求項１８に記載の語義分類モデルトレーニング装置。

【請求項20】

前記ラベルカテゴリ調整ユニットは、
前記ラベル異常タイプが上位から下位を予測するタイプであれば、前記ラベルカテゴリを前記サンプル語義カテゴリに置き換えるための上下位タイプ調整サブユニットと、
前記ラベル異常タイプがノイズタイプであれば、前記ラベルカテゴリの同源変形カテゴリの代替可能ラベルに応じて、前記ラベルカテゴリを調整するためのノイズタイプ調整サブユニットと、
前記ラベル異常タイプが混交タイプであれば、前記ラベルカテゴリを前記サンプル語義カテゴリ又は前記ラベルカテゴリの分解可能カテゴリに置き換えるための混交タイプ決定サブユニットと、を含む、
請求項１９に記載の語義分類モデルトレーニング装置。

【請求項21】

前記サンプル語義カテゴリ決定モジュールは、
前記サンプルクエリテンプレートを予め構築された語義分類モデルに入力し、前記予測待ちカテゴリの少なくとも１つのサンプル語義文字を得るためのサンプル語義文字決定ユニットと、
各前記サンプル語義文字を予測順序に従って組み合わせ、前記予測待ちカテゴリのサンプル語義カテゴリを得るためのサンプル語義カテゴリ決定ユニットと、を含む、
請求項１５～２０のいずれか１項に記載の語義分類モデルトレーニング装置。

【請求項22】

前記サンプル語義文字決定ユニットは、具体的に、
前記サンプルクエリテンプレートを予め構築された語義分類モデルに入力して、前記サンプルクエリテンプレートにおけるサンプル語義特徴を抽出し、且つ前記サンプル語義特徴に対して特徴変換を行い、前記予測待ちカテゴリの少なくとも１つのサンプル語義文字を得ることに用いられる、
請求項２１に記載の語義分類モデルトレーニング装置。

【請求項23】

予測クエリテンプレートを取得し、前記予測クエリテンプレートが予測クエリ語句及び予測待ちカテゴリの数に基づいて構築されるための予測クエリテンプレート取得モジュールと、
前記予測クエリテンプレートに応じて、前記予測待ちカテゴリの予測語義カテゴリを得るための予測語義カテゴリ決定モジュールと、を含み、
具体的に、
予測語義カテゴリ充填域を含む予測カテゴリ充填語句を構築し、前記予測語義カテゴリ充填域の数と、前記予測待ちカテゴリの数とが等しく、前記予測語義カテゴリ充填域が、対応する予測待ちカテゴリの予測語義カテゴリが充填されることに用いられるための予測カテゴリ充填語句構築ユニットと、
前記予測クエリ語句及び前記予測カテゴリ充填語句に応じて、前記予測クエリテンプレートを構築するための予測クエリモジュール構築ユニットと、を含む予測クエリテンプレート構築モジュールをさらに含み、
前記予測待ちカテゴリが属する体系の数は、少なくとも１つであり、
前記予測カテゴリ充填語句構築ユニットは、
各体系に対して、該体系における予測語義カテゴリ充填域を含む予測体系充填サブ語句を構築し、前記該体系における予測語義カテゴリ充填域の数と、該体系における予測待ちカテゴリの数とが等しいための予測体系充填サブ語句構築サブユニットと、
すべての体系における予測体系充填サブ語句に応じて、前記予測カテゴリ充填語句を決定するための予測カテゴリ充填語句構築サブユニットと、を含み、
前記予測クエリテンプレートに応じて、前記予測待ちカテゴリの予測語義カテゴリを得ることは、
前記予測クエリテンプレートをトレーニング済みの語義分類モデルの入力データとし、前記語義分類モデルの出力結果に応じて、前記予測待ちカテゴリの予測語義カテゴリを決定すること、を含み、前記語義分類モデルは、請求項１に記載の語義分類モデルトレーニング方法を用いてトレーニングして得るものである、
語義分類装置。

【請求項24】

予測カテゴリ充填語句に対して、異なる体系における予測体系充填サブ語句の間には、サブ語句デリミタが設定されており、及び／又は、各体系に対して、前記予測体系充填サブ語句における少なくとも１つの予測語義カテゴリ充填域の間には、域デリミタが設定されている、
請求項２３に記載の語義分類装置。

【請求項25】

前記予測体系充填サブ語句における少なくとも１つの予測語義カテゴリ充填域の間に域デリミタが設定されていれば、同じ体系における域デリミタは、同じであり、且つ異なる体系における域デリミタは、異なる、
請求項２４に記載の語義分類装置。

【請求項26】

前記予測語義カテゴリ決定モジュールは、
前記予測クエリテンプレートに応じて、前記予測待ちカテゴリの少なくとも１つの予測語義文字を決定するための予測語義文字決定ユニットと、
各前記予測語義文字を予測順序に従って組み合わせ、前記予測待ちカテゴリの予測語義カテゴリを得るための予測語義カテゴリ決定ユニットと、を含む、
請求項２３～２５のいずれか１項に記載の語義分類装置。

【請求項27】

前記少なくとも１つの予測語義文字のうち、同じ予測順序の予測語義文字は、少なくとも２つであり、
前記予測語義カテゴリ決定ユニットは、
異なる予測順序の各前記予測語義文字を、予測順序に従って組み合わせ、少なくとも１つの候補語義カテゴリを得るための候補語義カテゴリ決定サブユニットと、
前記候補語義カテゴリにおける異なる予測語義文字の文字予測確率に応じて、前記候補語義カテゴリのカテゴリ予測確率を決定するためのカテゴリ予測確率決定サブユニットと、
前記カテゴリ予測確率、及び前記候補語義カテゴリと標準語義カテゴリライブラリにおける各標準語義カテゴリとのマッチング結果に応じて、各候補語義カテゴリから前記予測語義カテゴリを選出するための予測語義カテゴリ選出サブユニットと、を含む、
請求項２６に記載の語義分類装置。

【請求項28】

前記予測語義文字決定ユニットは、
前記予測クエリテンプレートにおける予測語義特徴を抽出するための予測語義特徴抽出サブユニットと、
前記予測語義特徴に対して特徴変換を行い、前記予測待ちカテゴリの少なくとも１つの予測語義文字を得るための予測語義文字決定サブユニットと、を含む、
請求項２６に記載の語義分類装置。

【請求項29】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されたメモリとを含み、
前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサが請求項１～６のいずれか１項に記載の語義分類モデルトレーニング方法、及び／又は、請求項９～１４のいずれか１項に記載の語義分類方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される、
電子機器。

【請求項30】

コンピュータ命令が記憶された非一時的コンピュータ可読記憶媒体であって、
前記コンピュータ命令は、コンピュータに請求項１～６のいずれか１項に記載の語義分類モデルトレーニング方法、及び／又は、請求項９～１４のいずれか１項に記載の語義分類方法を実行させることに用いられる、
非一時的コンピュータ可読記憶媒体。

【請求項31】

プロセッサにより実行されると、請求項１～６のいずれか１項に記載の語義分類モデルトレーニング方法のステップ、及び／又は、請求項９～１４のいずれか１項に記載の語義分類方法のステップを実現する、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人工知能の技術分野に関し、特に、知識グラフ、ディープラーニング及び自然語義処理などの技術に関する。

【背景技術】

【0002】

テキスト分類は、自動テキスト分類とも呼ばれ、コンピュータが、情報が載せられたテキストを予め与えられたあるカテゴリ又はいくつかのカテゴリのテーマにマッピングする過程を意味し、感情分析、話題マーク、ニュース分類、質疑応答システム、自然言語推理、対話行為分類、関係分類及び事件予測などの多くのシーンに使用可能である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示は、分類モデルトレーニング、語義分類方法、装置、機器及び媒体を提供する。

【課題を解決するための手段】

【0004】

本開示の一側面によれば、
分類モデルトレーニング装置に用いられる語義分類モデルトレーニング方法であって、
サンプルクエリテンプレート及び前記サンプルクエリテンプレートにおける予測待ちカテゴリのラベルカテゴリを取得し、前記サンプルクエリテンプレートがサンプルクエリ語句及び前記予測待ちカテゴリの数に基づいて構築されることと、
前記サンプルクエリテンプレートを予め構築された語義分類モデルに入力し、前記予測待ちカテゴリのサンプル語義カテゴリを得ることと、
前記サンプル語義カテゴリ及び前記予測待ちカテゴリのラベルカテゴリに応じて、前記語義分類モデルをトレーニングすることと、を含み、
前記サンプルクエリテンプレートは、
サンプル語義カテゴリ充填域を含むサンプルカテゴリ充填語句を構築し、前記サンプル語義カテゴリ充填域の数と、前記予測待ちカテゴリの数とが等しく、前記サンプル語義カテゴリ充填域が、対応する予測待ちカテゴリのサンプル語義カテゴリが充填されることに用いられ、
前記サンプルクエリ語句及び前記サンプルカテゴリ充填語句に応じて、前記サンプルクエリテンプレートを構築する、という方式を用いて構築されて得られ、
前記予測待ちカテゴリが属する体系の数は、少なくとも１つであり、
前記した、サンプル語義カテゴリ充填域を含むサンプルカテゴリ充填語句を構築することは、
各体系に対して、該体系におけるサンプル語義カテゴリ充填域を含むサンプル体系充填サブ語句を構築し、前記該体系におけるサンプル語義カテゴリ充填域の数と、該体系における予測待ちカテゴリの数とが等しいことと、
すべての体系におけるサンプル体系充填サブ語句に応じて、前記サンプルカテゴリ充填語句を決定することと、を含む、語義分類モデルトレーニング方法を提供する。

【0005】

本開示の他の側面によれば、
語義分類装置に用いられる語義分類方法であって、
予測クエリテンプレートを取得し、前記予測クエリテンプレートが予測クエリ語句及び予測待ちカテゴリの数に基づいて構築されることと、
前記予測クエリテンプレートに応じて、前記予測待ちカテゴリの予測語義カテゴリを得ることと、を含み、
前記予測クエリテンプレートは、
予測語義カテゴリ充填域を含む予測カテゴリ充填語句を構築し、前記予測語義カテゴリ充填域の数と、前記予測待ちカテゴリの数とが等しく、前記予測語義カテゴリ充填域が、対応する予測待ちカテゴリの予測語義カテゴリが充填されることに用いられ、
前記予測クエリ語句及び前記予測カテゴリ充填語句に応じて、前記予測クエリテンプレートを構築する、という方式を用いて構築されて得られ、
前記予測待ちカテゴリが属する体系の数は、少なくとも１つであり、
前記した、前記予測語義カテゴリ充填域を含む予測カテゴリ充填語句を構築することは、
各体系に対して、該体系における予測語義カテゴリ充填域を含む予測体系充填サブ語句を構築し、前記該体系における予測語義カテゴリ充填域の数と、該体系における予測待ちカテゴリの数とが等しいことと、
すべての体系における予測体系充填サブ語句に応じて、前記予測カテゴリ充填語句を決定することと、を含み、
前記予測クエリテンプレートに応じて、前記予測待ちカテゴリの予測語義カテゴリを得ることは、
前記予測クエリテンプレートをトレーニング済みの語義分類モデルの入力データとし、前記語義分類モデルの出力結果に応じて、前記予測待ちカテゴリの予測語義カテゴリを決定すること、を含み、前記語義分類モデルは、語義分類モデルトレーニング方法を用いてトレーニングして得るものである、語義分類方法をさらに提供する。

【0006】

本開示の他の側面によれば、
少なくとも１つのプロセッサと、
少なくとも１つのプロセッサに通信接続されたメモリとを含み、ここで、
メモリには、少なくとも１つのプロセッサにより実行可能な命令が記憶されており、命令は、少なくとも１つのプロセッサが本開示の実施例に係る任意の１種類の分類モデルトレーニング方法、及び／又は語義分類方法を実行可能であるように、少なくとも１つのプロセッサにより実行される、電子機器をさらに提供する。

【0007】

本開示の他の側面によれば、コンピュータ命令が記憶された非一時的コンピュータ可読記憶媒体をさらに提供し、ここで、コンピュータ命令は、コンピュータに本開示の実施例に係る任意の１種類の分類モデルトレーニング方法、及び／又は語義分類方法を実行させることに用いられる。

【発明の効果】

【0008】

本開示の技術によれば、モデルの汎用性を向上させ、サンプルが不均衡である問題に対処可能である。

【0009】

この部分に説明される内容は、本開示の実施例の肝心又は重要な特徴を特定することを意図するものではなく、本開示の範囲を限定することに用いられるものでもないことを理解すべきである。本開示の他の特徴は、以下の明細書によって理解しやすくなる。

【図面の簡単な説明】

【0010】

図面は、本態様をよりよく理解するために使用され、本開示を限定するものではない。

【0011】

【図1A】本開示の実施例に係る１つの分類モデルトレーニング方法のフローチャートである。

【図1B】本開示の実施例に係る１つの語義分類モデルの構造図である。

【図2】本開示の実施例に係る他の分類モデルトレーニング方法のフローチャートである。

【図3】本開示の実施例に係る他の分類モデルトレーニング方法のフローチャートである。

【図4A】本開示の実施例に係る１つの語義分類方法のフローチャートである。

【図4B】本開示の実施例に係る１つの語義分類モデルの構造図である。

【図5】本開示の実施例に係る他の語義分類方法のフローチャートである。

【図6】本開示の実施例に係る１つの分類モデルトレーニング装置の構造図である。

【図7】本開示の実施例に係る１つの語義分類装置の構造図である。

【図8】本開示の実施例の分類モデルトレーニング方法及び／又は語義分類方法を実現するための電子機器のブロック図である。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら、本開示の例示的な実施例について説明し、理解しやすくするために、ここでは本開示の実施例の様々な詳細が含まれるが、例示的なものに過ぎないとみなされるべきである。そのため、当業者であれば、本明細書に説明される実施例は、本開示の範囲及び精神から逸脱することなく、様々な変更及び修正が可能であることを認識すべきである。同様に、明確化及び簡明化のために、以下の説明では公知の機能及び構造に対する説明は省略する。

【0013】

本開示の実施例に係る各分類モデルトレーニング方法は、語義分類モデルトレーニングを行うシーンに適用可能であり、該方法は分類モデルトレーニング装置により実行可能であり、該装置はソフトウェア及び／又はハードウェアを用いて実現され、具体的には電子機器に配置されることができる。

【0014】

図１Ａに示す分類モデルトレーニング方法を参照し、以下を含む。

【0015】

Ｓ１０１において、サンプルクエリテンプレート及びサンプルクエリテンプレートにおける予測待ちカテゴリのラベルカテゴリを取得し、ここで、サンプルクエリテンプレートがサンプルクエリ語句及び予測待ちカテゴリの数に基づいて構築される。

【0016】

ここで、クエリ語句は、少なくとも１つの語義文字から構築されて得られる語句と理解でき、サンプルクエリ語句は即ち、モデルのトレーニング過程においてトレーニングサンプルとされるクエリ語句である。ここで、予測待ちカテゴリは、サンプルクエリ語句の最多で予測可能なカテゴリと理解できる。予測待ちカテゴリの数は、技術者によりニーズ又は経験値に応じて設定されるか、又は大量の実験により決定されてもよい。ここで、予測待ちカテゴリの数は、少なくとも１つであってもよい。後続でトレーニングして得る語義分類モデルに語義カテゴリの予測漏れが現れる状況を避けるために、通常予測待ちカテゴリの数を少なくとも２つ、例えば、５つに設定する。

【0017】

なお、予測待ちカテゴリは、予測可能カテゴリのうちの少なくとも１種類であり、通常予測待ちカテゴリの数は、予測可能カテゴリの数より著しく小さくなる。

【0018】

ここで、サンプルクエリテンプレートは、サンプルクエリ語句及び予測待ちカテゴリの数に基づいて構築される、統一的なフォーマット要求を備える語句である。ここで、予測待ちカテゴリのラベルカテゴリは、予め設定されたサンプルクエリ語句に対応する標準語義カテゴリと理解できる。ここで、本開示は、ラベルカテゴリの具体的な設定方式について何ら限定せず、例えば、人為的なラベリングの方式を用いて実現可能である。

【0019】

なお、サンプルクエリテンプレート及び／又は対応するラベルカテゴリは、分類モデルトレーニングを実行するコンピューティング機器のローカル、もしくは、該コンピューティング機器に関連するその他の記憶機器又はクラウドに記憶可能であり、必要な時に対応するデータの取得を行う。本開示は、上記各データの取得方式について何ら限定しない。

【0020】

好ましくは、さらに、分類モデルトレーニングを行う前に、サンプルクエリ語句を取得して、サンプルクエリ語句及び予測待ちカテゴリの数に応じて、後続の分類モデルトレーニングの使用のためにサンプルクエリテンプレートをリアルタイムに構築してもよい。

【0021】

サンプルクエリテンプレート及び対応するラベルカテゴリの取得を実行するコンピューティング機器、及びサンプルクエリテンプレートの構築を行うコンピューティング機器両者は、同じでも異なっていてもよいことに注意すべきであり、本開示は、これについて何ら限定しない。

【0022】

Ｓ１０２において、サンプルクエリテンプレートを予め構築された語義分類モデルに入力し、予測待ちカテゴリのサンプル語義カテゴリを得る。

【0023】

サンプルクエリテンプレートをトレーニングサンプルとして予め構築された語義分類モデルに入力し、サンプルクエリテンプレートにおける少なくとも１つの予測待ちカテゴリのサンプル語義カテゴリを得る。なお、予測されるサンプル語義カテゴリの数は、予測待ちカテゴリの数以下であればよく、本開示は、サンプル語義カテゴリの具体的な数について何ら限定しない。

【0024】

ここで、語義分類モデルは、従来の機械学習モデル又はディープラーニングモデルに基づいて実現可能であり、本開示は、該語義分類モデルの具体的なネットワーク構造について何ら限定しない。例示的に、語義分類モデルは、ＰＬＭ（Ｐｒｅ－ｔｒａｉｎｅｄ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ、事前訓練言語モデル）を用いて実現可能である。例えば、語義分類モデルは、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ、トランスフォーマーからの双方向エンコーダ表現抽出モデル）又はＥＲＮＩＥ（Ｅｎｈａｎｃｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｔｈｒｏｕｇｈ Ｋｎｏｗｌｅｄｇｅ Ｉｎｔｅｇｒａｔｉｏｎ、知識の集積による拡張表現）モデルなどであってもよい。

【0025】

１つの好ましい実施例において、直接サンプルクエリテンプレートをトレーニングサンプルとして予め構築された語義分類モデルに入力し、語義分類モデルの出力を直接予測待ちカテゴリのサンプル語義カテゴリとしてもよい。

【0026】

他の好ましい実施例において、サンプルクエリテンプレートを予め構築された語義分類モデルに入力し、予測待ちカテゴリの少なくとも１つのサンプル語義文字を得て、各サンプル語義文字を予測順序に従って組み合わせ、予測待ちカテゴリのサンプル語義カテゴリを得てもよい。

【0027】

ここで、予測待ちカテゴリのサンプル語義文字は、予測待ちカテゴリ次元において、抽出されたサンプルクエリテンプレートの語義特徴に対応する文字情報と理解できる。例示的に、いずれかの予測待ちカテゴリ次元に対して、得ることが可能なサンプル語義文字の数が少なくとも１つであるため、サンプル語義文字の予測順序に応じて、各サンプル語義文字を順に組み合わせ、予測待ちカテゴリのサンプル語義カテゴリを得てもよい。

【0028】

まず、サンプル語義文字を予測してから、予測順序に従って各サンプル語義文字を組み合わせ、予測待ちカテゴリのサンプル語義カテゴリを得るという方式による、サンプル語義カテゴリの決定は、サンプル語義カテゴリの決定の仕組みを改善していることが理解できる。同時に、サンプル語義文字の粒度が小さいことに鑑み、文字の粒度により語義特徴の抽出を可能にすることは予測されるサンプル語義文字の精確性を高めた。

【0029】

例示的に、サンプルクエリテンプレートを予め構築された語義分類モデルに入力して、サンプルクエリテンプレートにおけるサンプル語義特徴を抽出し、且つサンプル語義特徴に対して特徴変換を行い、予測待ちカテゴリの少なくとも１つのサンプル語義文字を得る。ここで、各予測待ちカテゴリのサンプル語義文字の数は、同じでも異なってもよく、本開示は、異なる予測待ちカテゴリのサンプル語義文字の最大数のみを制限すればよい。

【0030】

具体的に、図１Ｂに示す語義分類モデル構造図を参照し、該語義分類モデルは、特徴抽出ネットワーク及び特徴変換ネットワークを含んでもよい。いずれかの予測待ちカテゴリに対して、特徴抽出ネットワークにより該予測待ちカテゴリ次元においてサンプルクエリテンプレートに対して特徴抽出を行い、該予測待ちカテゴリ次元におけるサンプル語義特徴を得て、特徴変換ネットワークによりサンプル語義特徴に対して特徴変換を行って、サンプル語義特徴を語義特徴空間から語義文字空間にマッピングし、且つ語義文字空間におけるマッピング結果を標準語義文字ライブラリとマッチングし、サンプル語義文字を得てもよい。対応して、各サンプル語義文字を予測順序に従って組み合わせ、予測待ちカテゴリのサンプル語義カテゴリを得る。

【0031】

ここで、特徴変換は、線形特徴変換又は非線形特徴変換の方式を用いてもよく、本開示は、これについて何ら限定しない。ここで、標準語義文字ライブラリは、技術者によりニーズ又は経験値に応じて設定又は調整されるか、又は大量の実験によりセットされてもよい。

【0032】

上記技術態様は、複雑なデータ処理を行う必要がなく、特徴変換の方式だけでサンプル語義文字の決定を行い、サンプル語義文字の決定の過程におけるデータの演算量を簡略化して、モデルトレーニング効率の向上に寄与することが理解できる。

【0033】

Ｓ１０３において、サンプル語義カテゴリ及び予測待ちカテゴリのラベルカテゴリに応じて、語義分類モデルをトレーニングする。

【0034】

トレーニングされた語義分類モデルがトレーニング終了条件を満足するまで、サンプル語義カテゴリと予測待ちラベルのラベルカテゴリとの間の相違状況に応じて、損失関数を決定して、損失関数に基づいて、サンプル語義ラベルとラベルカテゴリとの間の相違を小さくして語義分類モデルの分類能力を上げるように語義分類モデルのモデルパラメータを調整する。

【0035】

ここで、トレーニング終了条件は、語義分類モデルをトレーニングするサンプルクエリテンプレートの数がプリセット数閾値を満足すること、損失関数の関数値が安定した傾向にあること、モデル評価指標がプリセット評価指標閾値を満足することなどのうちの少なくとも１種類であってもよい。ここで、プリセット数閾値及びプリセット評価指標閾値の具体的な数値は、技術者によりニーズ又は経験値に応じてセットされるか、又は大量の実験により決定されてもよい。ここで、モデル評価指標は、確度、感度及び特異性などのうちの少なくとも１種類を含んでもよい。

【0036】

本開示の実施例は、サンプルクエリテンプレート及び予測待ちカテゴリの数に基づいて構築されたサンプルクエリテンプレートを取得して、サンプルクエリテンプレート及び予測待ちカテゴリのラベルカテゴリに応じることで、予め構築された語義分類モデルに対してトレーニングを行う。本開示は、統一的なサンプルクエリテンプレートに基づいて語義分類モデルのトレーニングを行い、カテゴリ間相違次元ではなく、語義次元からサンプル分類を行っているため、トレーニングされた語義分類モデルが多様化の分類シーンに適応することができ、且つ異なる分類シーンに対して異なる分類モデルのトレーニングを行う必要がなく、トレーニングされた語義分類モデルの汎用性を向上させた。同時に、テンプレートの形式を用いて多様化するサンプルクエリ語句の統一的な整合を行い、多様化するカテゴリ予測シーンにおけるサンプルが不均衡である問題に効果的に対処可能であり、これにより、トレーニングされた語義分類モデルの小サンプルの分類能力の向上に寄与する。

【0037】

上記各技術態様を踏まえ、本開示は、１つの好ましい実施例をさらに提供する。該好ましい実施例において、Ｓ１０１において使用されるサンプルクエリテンプレートの構築の仕組みに対して細分化が行われる。なお、本開示の実施例に詳述されていない部分は、他の実施例の関連記述を参照可能である。

【0038】

図２に示す分類モデルトレーニング方法を参照し、以下を含む。

【0039】

Ｓ２０１において、サンプル語義カテゴリ充填域を含むサンプルカテゴリ充填語句を構築し、ここで、サンプル語義カテゴリ充填域の数と、予測待ちカテゴリの数とが等しく、サンプル語義カテゴリ充填域が、対応する予測待ちカテゴリのサンプル語義カテゴリが充填されることに用いられる。

【0040】

ここで、サンプル語義カテゴリ充填域は、予めセットされた空白領域又はプリセット標識が加えられた領域であってもよく、ここで、プリセット標識は、技術者によりニーズ又は経験値に応じてセットされるか又は調整されてもよく、例えば、ヌル値又は「ＭＡＳＫ」マークなどであってもよい。

【0041】

サンプルカテゴリ充填語句における異なるサンプル語義カテゴリの区別を容易にするために、異なるサンプル語義カテゴリ充填域の間に域デリミタを加えることができる、ことが理解できる。ここで、域デリミタは、プリセット文字を用いて実現可能であり、本開示は、プリセット文字の具体的な表現形式について何ら限定しない。例えば、プリセット文字は、コンマ、読点、スペース又はその他の符号などであってもよい。

【0042】

なお、本開示に関わる予測待ちカテゴリは、同じ体系におけるカテゴリ又は異なる体系におけるカテゴリであってもよい。ここで、異なる予測待ちカテゴリが属する体系は、技術者によりニーズ又は経験値に応じてセットされるか又は調整されてもよく、本開示は、体系の種類についても何ら制限しない。

【0043】

例を挙げて説明すると、テーマ及び意図という２種類の体系に区分可能である。ここで、種が帰属する属性を備えるカテゴリをテーマ体系に区分し、例えば、人物、娯楽人物などがいずれもテーマ体系に属し、データ取得の意図を備えるカテゴリを意図体系に区分し、例えば、身長、体重などがいずれも意図体系に属する。

【0044】

予測待ちカテゴリの数が、少なくとも１つであり、且つ異なる予測待ちカテゴリが属する体系が異なり、つまり、各予測待ちカテゴリが属する体系の数が、少なくとも１つである状況において、いずれかの体系に対して、サンプル語義カテゴリ充填域を含むサンプル体系充填サブ語句を構築し、ここで、サンプル語義カテゴリ充填域の数と、該体系における予測待ちカテゴリの数とが等しく、異なるサンプル体系充填サブ語句に応じて、サンプルカテゴリ充填語句を決定することができる。

【0045】

具体的に、いずれかの体系に対して、該体系における予測待ちカテゴリの数に応じて、同じ数のサンプル語義カテゴリ充填域を設定して、設定されたサンプル語義カテゴリ充填域を含むサンプル体系充填サブ語句を構築する。予測待ちカテゴリの数に対応する体系の数が少なくとも２つであると、異なる体系に対応する各サンプル体系充填サブ語句に応じて、サンプルカテゴリ充填語句を決定する。

【0046】

例示的に、異なる体系に対応するサンプル体系充填サブ語句を組み合わせ、サンプルカテゴリ充填語句を得てもよい。さらに、異なる体系における予測待ちカテゴリの区分を容易にするために、サンプルカテゴリ充填語句を生成する時、異なるサンプル体系充填サブ語句の間に対して、サブ語句デリミタを設定可能である。ここで、サブ語句デリミタは、プリセット文字を用いて実現可能であり、本開示は、プリセット文字の具体的な表現形式について何ら限定しない。例えば、プリセット文字は、コンマ、読点、スペース又はその他の符号などであってもよい。なお、サブ語句デリミタは、前述の域デリミタと同じでも異なってもよく、異なるサンプル体系充填サブ語句を区別可能であることを保証すればよい。

【0047】

予測待ちカテゴリが属する体系を導入し、各体系に対してサンプル体系充填サブ語句の構築を行い、さらに、サンプル体系充填サブ語句に応じてサンプルカテゴリ充填語句の決定を行うことで、生成されたサンプルカテゴリ充填語句において、予測待ちカテゴリに対して体系区分を行うことができる、ことが理解できる。同時に、サンプルカテゴリ充填語句はサンプルクエリテンプレートの生成基礎とされ、体系の新規追加又は調整を容易にしているため、異なる体系に対してそれぞれ後続の語義分類モデルのトレーニングを行う必要がなく、多様化するサンプルクエリ語句に適応することができ、モデルの汎用性の向上に寄与する。さらに、多体系、多カテゴリの語義分類モデルのトレーニング過程において、異なるサンプルクエリ語句によりトレーニングされたネットワークパラメータの再利用を実現可能であり、トレーニング効率の向上に寄与する。

【0048】

さらに、多体系、多カテゴリのサンプルクエリテンプレートが導入されると、モデルのトレーニングを行う過程において、モデル内部では、通常異なる次元における語義特徴の交差増強が行われ、これにより、トレーニングされたモデルの語義特徴の抽出能力の向上に寄与し、さらにトレーニングされたモデルの確度の向上に寄与する。

【0049】

なお、異なる体系における予測待ちカテゴリの区分を容易にするために、同じ体系のサンプル体系充填サブ語句において、同じ域デリミタを設定し、異なるサンプル体系充填サブ語句において、異なる域デリミタを設定してもよい。

【0050】

Ｓ２０２において、サンプルクエリ語句及びサンプルカテゴリ充填語句に応じて、サンプルクエリテンプレートを構築する。

【0051】

サンプルクエリ語句及びサンプルカテゴリ充填語句を含むサンプルクエリテンプレートを生成する。

【0052】

例示的に、サンプルクエリ語句とサンプルカテゴリ充填語句とを組み合わせ、サンプルクエリテンプレートを得る。さらに、後続で、サンプル語義カテゴリを予測する時、サンプル語義カテゴリがサンプルクエリテンプレートのサンプル語義カテゴリ充填域に充填された後に得られるサンプルクエリテンプレートの可読性を保証するために、さらに、サンプルクエリテンプレートを構築する時、サンプルクエリ語句とサンプルカテゴリ充填語句との間に、接続語句を加えることができる。ここで、接続語句は、人為的に設定可能であり、例えば、接続語句は、接続詞であってもよい。勿論、サンプル語義カテゴリ充填域にサンプル語義カテゴリが充填された後のサンプルクエリテンプレートの可読性を上げるために、異なるサンプル体系充填サブ語句の間に、さらに、接続語句を加えることができる。本開示は、サンプルクエリテンプレートにおける異なる位置の接続語句の数及び内容について何ら限定しない。

【0053】

例を挙げて説明すると、サンプルクエリ語句が「張三身長及び体重」で、且つ予測待ちカテゴリが属する体系が、テーマ体系及び意図体系を含み、各体系に対応する予測待ちカテゴリの数が３つであれば、「張三身長及び体重は［ＭＡＳＫ］，［ＭＡＳＫ］，［ＭＡＳＫ］；［ＭＡＳＫ］、［ＭＡＳＫ］、［ＭＡＳＫ］」というテンプレートを構築可能である。ここで、「［ＭＡＳＫ］」は、サンプル語義カテゴリ充填域であり、「［ＭＡＳＫ］，［ＭＡＳＫ］，［ＭＡＳＫ］；［ＭＡＳＫ］、［ＭＡＳＫ］、［ＭＡＳＫ］」は、サンプルカテゴリ充填語句であり、「は」は、接続詞であり、「［ＭＡＳＫ］，［ＭＡＳＫ］，［ＭＡＳＫ］」は、テーマ体系に対応するサンプル体系充填サブ語句であり、ここで、「，」がテーマ体系に対応する域デリミタであり、「［ＭＡＳＫ］、［ＭＡＳＫ］、［ＭＡＳＫ］」が、意図体系に対応するサンプル体系充填サブ語句であり、ここで、「、」が意図体系に対応する域デリミタであり、「；」は、サンプル体系充填サブ語句の間のサブ語句デリミタである。勿論、上記は、構築されるサンプルクエリテンプレートを例示的に説明するものに過ぎず、サンプルクエリテンプレートの構築方式を限定するものと理解すべきではない。

【0054】

Ｓ２０３において、サンプルクエリテンプレート及びサンプルクエリテンプレートにおける予測待ちカテゴリのラベルカテゴリを取得する。

【0055】

Ｓ２０４において、サンプルクエリテンプレートを予め構築された語義分類モデルに入力し、予測待ちカテゴリのサンプル語義カテゴリを得る。

【0056】

前述の例を続けると、サンプルクエリテンプレートが「張三身長及び体重は［ＭＡＳＫ］，［ＭＡＳＫ］，［ＭＡＳＫ］；［ＭＡＳＫ］、［ＭＡＳＫ］、［ＭＡＳＫ］」で、決定されたテーマ体系における予測待ちカテゴリが、「人物」及び「娯楽人物」を含み、決定された意図体系における予測待ちカテゴリが、「身長」及び「体重」を含めば、サンプルクエリテンプレートにおけるサンプル語義カテゴリ充填域が充填された後に「張三身長及び体重は人物、娯楽人物、［ＭＡＳＫ］；身長、体重、［ＭＡＳＫ］」が得られる。充填後のサンプルクエリテンプレートの簡潔さを保証するために、充填されていないサンプル語義カテゴリ及び隣接する域デリミタが表示されなくてもよい。つまり、充填後のサンプルクエリテンプレートは、「張三身長及び体重は人物、娯楽人物；身長、体重」であってもよい。

【0057】

Ｓ２０５において、サンプル語義カテゴリ及び予測待ちカテゴリのラベルカテゴリに応じて、語義分類モデルをトレーニングする。

【0058】

本開示の実施例は、サンプル語義カテゴリ充填域を導入してサンプルカテゴリ充填語句を構築し、且つサンプルクエリ語句及びサンプルカテゴリ充填語句に応じて、サンプルクエリテンプレートを構築することで、サンプルクエリテンプレートの構築の仕組みを改善し、語義分類モデルのトレーニングのためにデータのサポートを提供する。同時に、上記の統一的な方式で異なるサンプルクエリ語句に対してサンプルクエリテンプレートの生成を行うことで、ネットワーク構造は、特に複雑な語義分類モデルを必要とせずに、よい分類能力をトレーニングして出すことができ、モデルの複雑度を簡略化し、トレーニング効率の向上に寄与する。

【0059】

なお、語義分類モデルのトレーニングを行う過程において、該語義分類モデルは次第に、サンプルクエリテンプレートにおける語義特徴に基づいて、語義カテゴリの区分を行う能力を備えるようになっている。サンプルクエリテンプレートにおける予測待ちカテゴリのラベルカテゴリは、ラベリング過程においてラベリングが不適切である状況が存在する可能性があるため、ラベルカテゴリのラベリングの誤りによる語義分類モデルの分類能力への影響を避けるように、ラベルカテゴリの誤り訂正の仕組みを導入し、ラベリングが不適切であるラベルカテゴリを補正することができる。

【0060】

このような点に鑑みて、本開示は、１つの好ましい実施例をさらに提供し、該好ましい実施例において、語義分類モデルの分類能力を上げるために、Ｓ１０３における語義分類モデルをトレーニングする過程に対して、ラベルカテゴリの誤り訂正の仕組みを導入する。なお、本開示の実施例において詳述されていない部分は、他の実施例の関連記述を参照可能である。

【0061】

さらに、図３に示す分類モデルトレーニング方法を参照し、以下を含む。

【0062】

Ｓ３０１において、サンプルクエリテンプレート及びサンプルクエリテンプレートにおける予測待ちカテゴリのラベルカテゴリを取得し、ここで、サンプルクエリテンプレートがサンプルクエリ語句及び予測待ちカテゴリの数に基づいて構築される。

【0063】

Ｓ３０２において、サンプルクエリテンプレートを予め構築された語義分類モデルに入力し、予測待ちカテゴリのサンプル語義カテゴリを得る。

【0064】

Ｓ３０３において、サンプル語義カテゴリ及びラベルカテゴリに応じて、ラベル異常タイプを決定する。

【0065】

ここで、ラベル異常タイプは、タイプ次元からサンプル語義カテゴリとラベルカテゴリとが異なる時の相違状況を表すことに用いられる。

【0066】

例示的には、サンプル語義カテゴリとラベルカテゴリとの間の相違状況に応じて、ラベル異常タイプを決定可能である。

【0067】

１つの好ましい実施例において、サンプル語義カテゴリがラベルカテゴリの下位カテゴリであれば、ラベル異常タイプが上位から下位を予測するタイプであると決定する。

【0068】

具体的に、ラベルカテゴリ及びサンプル語義カテゴリが上下位の所属関係を備え、且つラベルカテゴリがサンプル語義カテゴリの上位カテゴリで、サンプル語義カテゴリがラベルカテゴリの下位カテゴリであれば、ラベル異常タイプが上位から下位を予測するタイプであると決定する。例えば、ラベルカテゴリは、「ゲーム」であり、サンプル語義カテゴリは、「将棋ゲーム」であり、「将棋ゲーム」が「ゲーム」の下位カテゴリであり、この時、対応するラベル異常タイプは即ち、「上位から下位を予測するタイプ」である。

【0069】

他の好ましい実施例において、サンプル語義カテゴリがラベルカテゴリの同源変形カテゴリであれば、ラベル異常タイプがノイズタイプであると決定する。

【0070】

ここで、ラベルカテゴリの同源変形カテゴリは、ラベルカテゴリに対して直接文字を追加又は削除して得られるカテゴリと理解できる。例示的に、ラベルカテゴリとサンプル語義カテゴリとの同じ文字の比率又は類似度を決定することで、サンプル語義カテゴリがラベルカテゴリの同源変形カテゴリであるか否かを認識可能である。ラベルカテゴリの同源変形カテゴリであれば、ラベル異常タイプがノイズタイプであると決定する。例えば、サンプルクエリ語句は、「久病成良医の次の文」であり、該サンプルクエリ語句の意図体系における予測待ちカテゴリに対応するラベルカテゴリは、「その他」であるが、語義分類モデルにより出力されるサンプル語義カテゴリは、「その他の文」であり、「その他の文」が「その他」の同源変形カテゴリであるため、ラベル異常タイプをノイズタイプに設定する。

【0071】

更なる好ましい実施例において、サンプル語義カテゴリがラベルカテゴリの分解可能カテゴリの組み合わせカテゴリであれば、ラベル異常タイプが混交タイプであると決定する。

【0072】

ここで、ラベルカテゴリの分解可能カテゴリは、複合語義のラベルカテゴリの単一語義の分解結果と理解できる。ここで、複合語義には、少なくとも２層の単一語義が含まれてもよい。例えば、「興収ランキング」が「興収」及び「ランキングリスト」の複合語義であると、ラベルカテゴリ「興収ランキング」に対応する分解可能カテゴリは、「興収」及び「ランキングリスト」を含む。サンプル語義カテゴリが「興収ランキングリスト」であれば、ラベル異常タイプを混交タイプに設定する。

【0073】

上記のラベル異常タイプを、上位から下位を予測するタイプ、ノイズタイプ及び混交タイプのうちの少なくとも１種類を含むように細分化することで、ラベル異常タイプの豊富性及び多様性を高め、且つ異なるタイプのラベル異常タイプを限定し、異なるラベル異常タイプの決定の仕組みを改善し、異なるラベル異常タイプでのラベルカテゴリに対する補正のために基礎を築き上げた、ことが理解できる。

【0074】

Ｓ３０４において、ラベル異常タイプに対応するラベル補正方式に応じて、ラベルカテゴリを調整する。

【0075】

例示的に、異なるラベル異常タイプのために異なるラベル補正方式を予め設定可能であり、対応して、ラベル異常タイプに対応するラベル補正方式を用いて、異常ラベルカテゴリを修正する。

【0076】

１つの好ましい実施例において、ラベル異常タイプが上位から下位を予測するタイプであれば、直接ラベルカテゴリをサンプル語義カテゴリに置き換えてもよい。

【0077】

前述の例を続けると、ラベルカテゴリが「ゲーム」で、サンプル語義カテゴリが「将棋ゲーム」であれば、直接ラベルカテゴリを「ゲーム」から「将棋ゲーム」に変更する。

【0078】

他の好ましい実施例において、ラベル異常タイプがノイズタイプであれば、ラベルカテゴリの同源変形カテゴリの代替可能ラベルに応じて、ラベルカテゴリを調整可能である。

【0079】

例示的に、ラベルカテゴリの同源変形カテゴリの代替可能ラベルから、それらのうちの１つの代替可能ラベルをラベルカテゴリとして選出可能である。好ましくは、サンプルクエリ語句と代替可能ラベルとの類似度を決定する方式を用いて、もしくは人為的な方式を用いて、代替可能カテゴリの選出を行ってもよく、本開示は、代替可能ラベルの選出方式について何ら限定しない。

【0080】

前述の例を続けると、サンプルクエリ語句が「久病成良医の次の文」で、該サンプルクエリ語句の意図体系における予測待ちカテゴリに対応するラベルカテゴリが「その他」であるが、語義分類モデルにより出力されるサンプル語義カテゴリが「その他の文」であれば、「その他の文」の代替可能ラベル「前の文」及び「次の文」から、「次の文」を新たなラベルカテゴリとして選出してもよい。

【0081】

更なる好ましい実施例において、ラベル異常タイプが混交タイプであれば、ラベルカテゴリをサンプル語義又はラベルカテゴリの分解可能カテゴリに置き換える。

【0082】

前述の例を続けると、ラベルカテゴリが「興収ランキング」で、サンプル語義カテゴリが「興収ランキングリスト」であれば、シングル意図予測のシーンにおいて、シングル意図予測をシングル意図体系における多カテゴリ予測に変換して、ラベルカテゴリを「興収」及び「ランキングリスト」を含むように補正することができる。もしくは、ダブル意図体系、単カテゴリ予測のシーンにおいて、既存の第１意図体系における「興収」及び第２意図体系における「ランキングリスト」の後に、新たな意図体系「興収ランキングリスト」のラベルカテゴリを追加する。

【0083】

上記の異なるラベル異常タイプでのラベルカテゴリに対する補正の過程を細分化することで、ラベルカテゴリの補正の過程の多様性及び豊富性を高め、異なるラベル異常状況に効果的に対処可能であるので、語義分類モデルの確度の更なる向上のために基礎を築き上げた、ことが理解できる。

【0084】

Ｓ３０５において、サンプル語義カテゴリ及び調整後のラベルカテゴリに応じて、語義分類モデルをトレーニングする。

【0085】

異常にラベリングされたラベルカテゴリではなく、調整後のラベルカテゴリに応じて、語義分類モデルに対してトレーニングを行うのは、異常にラベリングされたラベルカテゴリによる語義分類モデルのネットワークパラメータを用いることで、語義分類モデル性能が悪くなり、確度が低くなるという状況の発生を避けて、語義分類モデルの確度及びロバスト性の向上に寄与する。

【0086】

以上、分類モデルのトレーニング過程について詳細に説明したが、以下、語義分類過程について詳述する。

【0087】

本開示の実施例に係る各語義分類方法は、語義分類、特に、前述の分類モデルトレーニング方法で得られる語義分類モデルに基づく、語義分類のシーンに適用可能である。該方法は、語義分類装置により実行可能であり、該装置がソフトウェア及び／又はハードウェアを用いて実現されて、具体的に電子機器に配置されることができる。該電子機器と、前述の分類モデルトレーニング方法を実行するコンピューティング機器とは、同じ又は異なる電子機器であってもよく、本開示は、これについて何ら限定しない。

【0088】

図４Ａに示す語義分類方法を参照し、以下を含む。

【0089】

Ｓ４０１において、予測クエリテンプレートを取得し、ここで、予測クエリテンプレートが予測クエリ語句及び予測待ちカテゴリの数に基づいて構築される。

【0090】

ここで、クエリ語句は、少なくとも１つの語義文字から構築されて得られる語句と理解でき、予測クエリ語句は即ち、語義分類過程において、語義カテゴリ予測待ちのクエリ語句である。ここで、予測待ちカテゴリは、予測クエリ語句の予測可能なカテゴリと理解でき、ここで、予測待ちカテゴリの数は、技術者によりニーズ又は経験値に応じて設定されるか、又は大量の実験により決定されてもよい。ここで、予測待ちカテゴリの数は、少なくとも１つであってもよい。異なる予測クエリ語句に対して予測待ちカテゴリの決定を行う時、カテゴリの予測漏れが現れる状況の発生を避けるために、通常予測待ちカテゴリの数を少なくとも２つ、例えば、５つに設定する。

【0091】

なお、予測待ちカテゴリは、予測可能カテゴリのうちの少なくとも１種類であり、通常予測待ちカテゴリの数は、予測可能カテゴリの数より著しく小さくなる。

【0092】

ここで、予測クエリテンプレートは、予測クエリ語句及び予測待ちカテゴリの数に基づいて構築される、統一的なフォーマット要求を備える語句である。なお、予測クエリテンプレートは、語義分類方法を実行するコンピューティング機器のローカル、もしくは、該コンピューティング機器に関連するその他の記憶機器又はクラウドに予め記憶可能であり、且つ語義分類を行う必要がある時、応答データの取得を行う。本開示は、予測クエリテンプレートの取得方式について何ら限定しない。

【0093】

好ましくは、さらに、語義分類を実行する前に、予測クエリ語句を取得して、予測クエリ語句及び予測待ちカテゴリの数に応じて、リアルタイムに予測クエリテンプレートを構築してもよい。

【0094】

予測クエリテンプレートの取得を実行するコンピューティング機器、及び予測クエリテンプレートの構築を行うコンピューティング機器は、両者が同じでも異なってもよいことを注意すべきであり、本開示は、これについて何ら限定しない。

【0095】

Ｓ４０２において、予測クエリテンプレートに応じて、予測待ちカテゴリの予測語義カテゴリを得る。

【0096】

例示的に、予測クエリテンプレートをトレーニング済みの語義分類モデルの入力データとし、モデルの出力結果に応じて、予測待ちカテゴリの予測語義カテゴリを決定することができる。なお、得られる予測語義カテゴリの数は、予測待ちカテゴリの数以下であればよく、本開示は、予測語義カテゴリの具体的な数について何ら限定しない。ここで、語義分類モデルは、前述の少なくとも１種類の分類モデルトレーニング方法を用いてトレーニングして得ることができる。

【0097】

１つの好ましい実施例において、直接予測クエリテンプレートをトレーニング済みの語義分類モデルに入力し、語義分類モデルの出力を予測待ちカテゴリの予測語義カテゴリとしてもよい。

【0098】

他の好ましい実施例において、予測クエリテンプレートに応じて、予測待ちカテゴリの少なくとも１つの予測語義文字を決定し、各予測語義文字を予測順序に従って組み合わせ、予測待ちカテゴリの予測語義カテゴリを得てもよい。

【0099】

ここで、予測待ちカテゴリの予測語義文字は、予測待ちカテゴリ次元において、抽出された予測クエリテンプレートの語義特徴に対応する文字情報と理解できる。ここで、各予測待ちカテゴリの予測語義文字の数は、同じでも異なってもよく、本開示は、異なる予測待ちカテゴリの予測語義文字の最大数のみを制限すればよい。

【0100】

例示的に、予測クエリテンプレートをトレーニング済みの語義分類モデルに入力し、予測待ちカテゴリの少なくとも１つの予測語義文字を得ることができる。対応して、いずれかの予測待ちカテゴリ次元に対して、得ることが可能な予測語義文字の数が少なくとも１つであるため、予測語義文字の予測順序に応じて、各予測語義文字順序を組み合わせ、予測待ちカテゴリの予測語義カテゴリを得てもよい。

【0101】

予測語義文字を予め決定してから、予測順序に従って各予測語義文字を組み合わせ、予測待ちカテゴリの予測語義カテゴリを得るという方式による、予測語義カテゴリの決定は、予測語義カテゴリの決定の仕組みを改善したことが理解できる。同時に、予測語義文字の粒度が小さいことに鑑み、文字の粒度により語義特徴の抽出を可能にすることは、決定される予測語義文字の確度を向上させた。同時に、異なる予測語義文字が多いため、異なる順序での予測語義文字に対して組み合わせを行うことで、決定される予測語義カテゴリの豊富性及び多様性を高めた。

【0102】

例示的に、予測クエリテンプレートに応じて、予測待ちカテゴリの少なくとも１つの予測語義文字を決定することは、予測クエリテンプレートにおける予測語義特徴を抽出し、予測語義特徴に対して特徴変換を行い、予測待ちカテゴリの少なくとも１つの予測語義文字を得ることであってもよい。

【0103】

具体的に、図４Ｂに示す語義分類モデル構造図を参照し、該語義分類モジュールは、特徴抽出ネットワーク及び特徴変換ネットワークを含んでもよい。いずれかの予測待ちカテゴリに対して、特徴抽出ネットワークにより該予測待ちカテゴリ次元において予測クエリテンプレートに対して特徴抽出を行い、該予測待ちカテゴリ次元における予測語義特徴を得て、特徴変換ネットワークにより予測語義特徴に対して特徴変換を行って、予測語義特徴を語義特徴空間から語義文字空間にマッピングし、且つ語義文字空間におけるマッピング結果を標準語義文字ライブラリとマッチングし、予測語義文字を得てもよい。対応して、各予測語義文字を予測順序に従って組み合わせ、予測待ちカテゴリの予測語義カテゴリを得る。

【0104】

ここで、特徴変換は、線形特徴変換又は非線形変換の方式を用いてもよく、本開示は、これについて何ら限定しない。ここで、標準語義文字ライブラリは、技術者によりニーズ又は経験値に応じて設定又は調整されるか、又は大量の実験によりセットされてもよい。

【0105】

なお、語義分類結果の確度を保証するために、語義分類モデルに基づいて予測語義文字の決定を行う時、予測クエリテンプレートにおける予測待ちカテゴリの予測語義文字の最大数は、サンプルクエリテンプレートにおける予測待ちカテゴリのサンプル語義文字の最大数に一致すべきであり、特徴変換に用いられる特徴変換方式も一致すべきであり、語義分類過程において用いられる標準語義文字ライブラリと分類モデルのトレーニング過程において用いられる標準語義文字ライブラリも一致するように保持すべきである。

【0106】

上記技術態様は、複雑なデータ処理を行う必要がなく、特徴変換の方式だけで予測語義文字の決定を行い、予測語義文字の決定の過程におけるデータの演算量を簡略化して、語義分類効率に寄与することが理解できる。

【0107】

予測語義カテゴリが少なくとも１つの文字予測ポジションの予測語義文字から順に組み合わせられて得られることができるため、予測語義文字の多様性に鑑み、順に組み合わせるという方式で得られる予測語義カテゴリに実際の語義が存在しない可能性があり、予測語義カテゴリの決定結果の確度に影響を与える。例えば、異なる文字予測ポジションの予測語義文字はそれぞれ、「娯」、「快」、「人」及び「物」であり、組み合わせられて得られる予測語義カテゴリは、「娯快人物」であるが、「娯快人物」に実際の語義はない。

【0108】

好ましくは、予測語義カテゴリの標準語義カテゴリライブラリにおける存在性により考量してもよく、予測語義カテゴリが標準語義カテゴリライブラリに存在すれば、実際の語義情報が存在することを示し、予測語義カテゴリが標準語義カテゴリライブラリに存在しなければ、実際の語義情報が存在しない。ここで、標準語義カテゴリライブラリには、予測可能カテゴリとすることが可能な標準語義カテゴリが記憶されており、各標準語義カテゴリがいずれも実際の語義意味を備える。なお、標準語義カテゴリライブラリは、技術者によりニーズ又は経験値に応じてセットされるか又は調整されてもよく、本開示は、これについて何ら限定しない。

【0109】

予測語義カテゴリの確度を向上させるために、予測語義文字の決定を行う時、少なくとも１つの予測語義文字のうち、同じ予測順序の予測語義文字は、少なくとも２つであり、つまり、同一文字予測ポジションで、少なくとも２つの予測語義文字の決定を行って、予測語義文字の確率を導入することで、異なる予測語義文字が対応する文字予測ポジションに設定される可能性を区別する。

【0110】

対応して、各予測語義文字を予測順序に従って組み合わせ、予測待ちカテゴリの予測語義カテゴリを得ることは、異なる予測順序の各予測語義文字を、予測順序に従って組み合わせ、少なくとも１つの候補語義カテゴリを得て、候補語義カテゴリにおける異なる予測語義文字の文字予測確率に応じて、候補語義カテゴリのカテゴリ予測確率を決定し、カテゴリ予測確率、及び候補語義カテゴリと標準語義カテゴリライブラリにおける各標準語義カテゴリとのマッチング結果に応じて、各候補語義カテゴリから予測語義カテゴリを選出することであってもよい。

【0111】

例示的に、いずれかの予測待ちカテゴリに対して、該予測待ちカテゴリで各文字予測ポジションにおける文字予測確率を決定し、予測順序に応じて、異なる文字予測ポジションの予測語義文字を組み合わせ、候補語義カテゴリを得て、プリセット確率決定関数に基づいて、候補語義カテゴリにおける異なる予測語義文字の文字予測確率に応じて、候補語義カテゴリのカテゴリ予測確率を決定し、ここで、プリセット確率決定関数が文字予測確率の増加関数であり、候補語義カテゴリからカテゴリ予測確率が比較的高く（例えば、最も高く）、且つ標準語義カテゴリライブラリにおける各標準語義カテゴリとマッチングしている候補語義カテゴリを予測語義カテゴリとして選出する。

【0112】

具体的に、Ｂｅａｍ ｓｅａｒｃｈ（ビームサーチ）又はＢｋ－ｔｒｅｅ（Ｂｕｒｋｈａｒｄ Ｋｅｌｌｅｒ Ｔｒｅｅ、ケラーブルクハルトツリー）の方式に基づいて、カテゴリ予測確率が比較的大きい候補語義カテゴリを少なくとも１つ決定して、その中から、カテゴリ予測確率が比較的高く、且つ標準語義カテゴリライブラリにおいて標準語義カテゴリとマッチング可能な候補語義カテゴリを予測語義カテゴリとして選出することができる。

【0113】

前述の例を続けると、候補語義カテゴリに「娯快人物」、「娯楽人物」、「娯快人員」及び「娯楽人員」が含まれ、且つカテゴリ予測確率が順次下がり、「娯楽人物」のみが標準語義カテゴリライブラリにおける標準語義カテゴリであると、「娯楽人物」を最終的な予測語義カテゴリとして選出する。

【0114】

なお、多体系、多カテゴリの予測が存在する時、分類して異なる体系に対して標準語義カテゴリライブラリを設定可能であり、これにより、各体系における予測語義カテゴリの決定結果の確度を向上させるとともに、異なる体系における標準語義カテゴリライブラリの混合使用による、計算量の増加を避けることができる。

【0115】

上記技術態様は、同じ予測順序で少なくとも２つの予測語義文字の決定を行って、予測語義文字の文字予測確率を導入することで、カテゴリ予測確率の決定を行って、カテゴリ予測確率及び標準語義カテゴリライブラリにおける標準語義カテゴリに基づいて、予測語義カテゴリの決定を行い、語義分類過程において分類結果が不精確になる状況の発生を避け、分類予測結果の確度及び適切性の向上に寄与する。

【0116】

本開示の実施例は、予測クエリ語句及び予測待ちカテゴリの数に基づいて構築される予測クエリテンプレートを取得して、予測クエリテンプレートに応じることで、予測待ちカテゴリの予測語義カテゴリを得る。本開示は、統一的な予測クエリテンプレートに基づいてカテゴリ予測を行い、カテゴリ間相違次元ではなく、語義次元から分類を行っているため、分類方式が多様化の分類シーンに適応することができ、語義分類の汎用性を向上させた。

【0117】

さらに、前述のトレーニング済みの語義分類モデルに基づいて、予測クエリテンプレートにおける各予測待ちカテゴリの予測語義カテゴリを決定し、モデルが多様化のカテゴリ予測シーンにおいてサンプルが不均衡である問題に対処可能であるため、トレーニングされた語義分類モデルの小サンプルの分類能力の向上に寄与して、小サンプル状況における語義分類結果の確度を向上させた。

【0118】

上記各技術態様を踏まえ、本開示は、１つの好ましい実施例をさらに提供し、該好ましい実施例において、Ｓ４０１において使用される予測クエリテンプレートの構築の仕組みに対して最適化を行う。なお、本開示の実施例において詳述されていない部分は、他の実施例の関連記述を参照可能である。

【0119】

さらに、図５に示す語義分類方法を参照し、以下を含む。

【0120】

Ｓ５０１において、予測語義カテゴリ充填域を含む予測カテゴリ充填語句を構築し、ここで、予測語義カテゴリ充填域の数と、予測待ちカテゴリの数とが等しく、予測語義カテゴリ充填域が、対応する予測待ちカテゴリの予測語義カテゴリが充填されることに用いられる。

【0121】

ここで、予測語義カテゴリ充填域は、予めセットされた空白領域又はプリセット標識が加えられた領域であってもよく、ここで、プリセット標識は、技術者によりニーズ又は経験値に応じてセットされるか又は調整されてもよく、例えば、ヌル値又は「ＭＡＳＫ」マークなどであってもよい。なお、ここでのプリセット標識及び分類モデルのトレーニング過程におけるプリセット標識は、同じでも異なってもよい。好適には、両者に用いられるプリセット標識は、同じである。

【0122】

予測カテゴリ充填語句における異なる予測語義カテゴリを区別することを容易にするために、異なる予測語義カテゴリ充填域の間に域デリミタを加えることができる、ことが理解できる。ここで、域デリミタは、プリセット文字を用いて実現可能であり、本開示は、プリセット文字の具体的な表現形式について何ら限定しない。例えば、プリセット文字は、コンマ、読点、スペース又はその他の符号などであってもよい。

【0123】

なお、本開示に関わる予測待ちカテゴリは、同じ体系におけるカテゴリ又は異なる体系におけるカテゴリであってもよい。ここで、異なる予測待ちカテゴリが属する体系は、技術者によりニーズ又は経験値に応じてセットされるか又は調整されてもよく、本開示は、体系の種類についても何ら制限しない。

【0124】

例を挙げて説明すると、テーマ及び意図という２種類の体系に区分可能である。ここで、種が帰属する属性を備えるカテゴリをテーマ体系に区分し、例えば、人物、娯楽人物などがいずれもテーマ体系に属し、データ取得の意図を備えるカテゴリを意図体系に区分し、例えば、身長、体重などがいずれも意図体系に属する。

【0125】

予測待ちカテゴリの数が、少なくとも１つであり、且つ異なる予測待ちカテゴリが属する体系が異なり、つまり、各予測待ちカテゴリが属する体系の数が、少なくとも１つである状況において、いずれかの体系に対して、予測語義カテゴリ充填域を含む予測体系充填サブ語句を構築し、ここで、予測語義カテゴリ充填域の数と、該体系における予測待ちカテゴリの数とが等しく、異なる予測体系充填サブ語句に応じて、予測カテゴリ充填語句を決定することができる。

【0126】

具体的に、いずれかの体系に対して、該体系における予測待ちカテゴリの数に応じて、同じ数の予測語義カテゴリ充填域を設定して、設定された予測語義カテゴリ充填域を含む予測体系充填サブ語句を構築する。予測待ちカテゴリの数に対応する体系の数が少なくとも２つであると、異なる体系に対応する各予測体系充填サブ語句に応じて、予測カテゴリ充填語句を決定する。

【0127】

例示的に、異なる体系に対応する予測体系充填サブ語句を組み合わせ、予測カテゴリ充填語句を得てもよい。さらに、異なる体系における予測待ちカテゴリの区分を容易にするために、予測カテゴリ充填語句を生成する時、異なる予測体系充填サブ語句の間に対して、サブ語句デリミタを設定可能である。ここで、サブ語句デリミタは、プリセット文字を用いて実現可能であり、本開示は、プリセット文字の具体的な表現形式について何ら限定しない。例えば、プリセット文字は、コンマ、読点、スペース又はその他の符号などであってもよい。なお、サブ語句デリミタは、前述の域デリミタと同じでも異なってもよく、異なる予測体系充填サブ語句を区別可能であることを保証すればよい。

【0128】

予測待ちカテゴリが属する体系を導入し、各体系に対して予測体系充填サブ語句の構築を行い、さらに、予測体系充填サブ語句に応じて予測カテゴリ充填語句の決定を行うことで、生成された予測カテゴリ充填語句において、予測待ちカテゴリに対して体系区分を行うことができる、ことが理解できる。同時に、予測カテゴリ充填語句が予測クエリテンプレートの生成基礎とされ、体系の新規追加又は調整を容易にしているため、多体系における分類シーンに適応することができ、語義分類の汎用性を向上させた。

【0129】

さらに、多体系、多カテゴリの予測クエリテンプレートが導入された際に、前述のトレーニング済みの語義分類モデルに基づいて予測クエリテンプレートの処理を行えば、モデル内部では、通常異なる次元における語義特徴の交差増強が行われ、これにより、語義分類モデルにより抽出される語義特徴の豊富性及び精確性を高め、さらに、多体系、多分類における語義分類の確度の向上に寄与する。

【0130】

なお、異なる体系における予測待ちカテゴリの区分を容易にするために、同じ体系の予測体系充填サブ語句において、同じ域デリミタを設定し、異なる予測体系充填サブ語句において、異なる域デリミタを設定してもよい。

【0131】

本開示の実施例における域デリミタは、分類モデルのトレーニング過程において使用される域デリミタと同じでも異なってもよく、本開示の実施例におけるサブ語句デリミタは、分類モデルのトレーニング過程において使用されるサブ語句デリミタと同じでも異なってもよい、ことを注意すべきである。好適には、本開示の実施例における域デリミタ及び分類モデルのトレーニング過程において使用される域デリミタは、同じであり、本開示の実施例におけるサブ語句デリミタ及び分類モデルのトレーニング過程において使用されるサブ語句デリミタも同じである。

【0132】

Ｓ５０２において、予測クエリ語句及び予測カテゴリ充填語句に応じて、予測クエリテンプレートを構築する。

【0133】

予測クエリ語句及び予測カテゴリ充填語句を含む予測クエリテンプレートを生成する。

【0134】

例示的に、予測クエリ語句と予測カテゴリ充填語句とを組み合わせ、予測クエリテンプレートを得る。さらに、後続に、予測語義カテゴリを決定する時、予測語義カテゴリが予測クエリテンプレートの予測語義カテゴリ充填域に充填された後に得られる予測クエリテンプレートの可読性を保証するために、さらに、予測クエリテンプレートを構築する時、予測クエリ語句と予測カテゴリ充填語句との間に、接続語句を加えることができる。ここで、接続語句は、人為的に設定可能であり、例えば、接続語句は、接続詞であってもよい。勿論、予測語義カテゴリ充填域に予測語義カテゴリが充填された後の予測クエリテンプレートの可読性を上げるために、異なる予測体系充填サブ語句の間に、さらに、接続語句を加えることができる。本開示は、予測クエリテンプレートにおける異なる位置の接続語句の数及び内容について何ら限定しない。

【0135】

なお、ここに用いられる接続語句及び分類モデルのトレーニング過程において使用される接続語句は、同じでも異なってもよい。好適には、両者に用いられる接続語句は、対応して同じである。

【0136】

例を挙げて説明すると、予測クエリ語句が「張三身長及び体重」で、且つ予測待ちカテゴリが属する体系が、テーマ体系及び意図体系を含み、各体系に対応する予測待ちカテゴリの数が３つであれば、「張三身長及び体重は［ＭＡＳＫ］，［ＭＡＳＫ］，［ＭＡＳＫ］；［ＭＡＳＫ］、［ＭＡＳＫ］、［ＭＡＳＫ］」というテンプレートを構築可能である。ここで、「［ＭＡＳＫ］」は、予測語義カテゴリ充填域であり、「［ＭＡＳＫ］，［ＭＡＳＫ］，［ＭＡＳＫ］；［ＭＡＳＫ］、［ＭＡＳＫ］、［ＭＡＳＫ］」は、予測カテゴリ充填語句であり、「は」は、接続詞であり、「［ＭＡＳＫ］，［ＭＡＳＫ］，［ＭＡＳＫ］」は、テーマ体系に対応する予測体系充填サブ語句であり、ここで、「，」がテーマ体系に対応する域デリミタであり、「［ＭＡＳＫ］、［ＭＡＳＫ］、［ＭＡＳＫ］」が、意図体系に対応する予測体系充填サブ語句であり、ここで、「、」が意図体系に対応する域デリミタであり、「；」は、予測体系充填サブ語句の間のサブ語句デリミタである。勿論、上記は、構築される予測クエリテンプレートを例示的に説明するものに過ぎず、予測クエリテンプレートの構築方式を限定するものと理解すべきではない。

【0137】

Ｓ５０３において、予測クエリテンプレートに応じて、予測待ちカテゴリの予測語義カテゴリを得る。

【0138】

本開示の実施例は、予測語義カテゴリ充填域を導入してサンプルカテゴリ充填語句を構築し、且つ予測クエリ語句及び予測カテゴリ充填語句に応じて、予測クエリテンプレートを構築することで、予測クエリテンプレートの構築の仕組みを改善し、後続の予測語義カテゴリの決定のためにデータのサポートを提供する。同時に、上記の統一的な方式で異なる予測クエリ語句に対して予測クエリテンプレートの生成を行うことで、予測クエリ語句のバッチ処理を容易にし、語義分類効率の向上に寄与する。

【0139】

上記各分類モデルトレーニング方法の実現として、本開示は、上記各分類モデルトレーニング方法を実施する実行装置の好ましい実施例をさらに提供する。該装置は、語義分類モデルトレーニングを行うシーンに適しており、ソフトウェア及び／又はハードウェアを用いて実現されて、具体的に電子機器に配置されることができる。

【0140】

さらに、図６に示す分類モデルトレーニング装置６００を参照し、サンプルクエリテンプレート取得モジュール６０１、サンプル語義カテゴリ決定モジュール６０２及び語義分類モデルトレーニングモジュール６０３を含む。ここで、
サンプルクエリテンプレート取得モジュール６０１は、サンプルクエリテンプレート及びサンプルクエリテンプレートにおける予測待ちカテゴリのラベルカテゴリを取得し、ここで、サンプルクエリテンプレートがサンプルクエリ語句及び予測待ちカテゴリの数に基づいて構築されることに用いられ、
サンプル語義カテゴリ決定モジュール６０２は、サンプルクエリテンプレートを予め構築された語義分類モデルに入力し、予測待ちカテゴリのサンプル語義カテゴリを得ることに用いられ、
語義分類モデルトレーニングモジュール６０３は、サンプル語義カテゴリ及び予測待ちカテゴリのラベルカテゴリに応じて、語義分類モデルをトレーニングすることに用いられる。

【0141】

本開示は、統一的なサンプルクエリテンプレートに基づいて語義分類モデルのトレーニングを行い、カテゴリ間相違次元ではなく、語義次元からサンプル分類を行い、これにより、トレーニングされた語義分類モデルが多様化の分類シーンに適応することができ、且つ異なる分類シーンに対して異なる分類モデルのトレーニングを行う必要がなく、トレーニングされた語義分類モデルの汎用性を向上させた。同時に、テンプレートの形式を用いて多様化のサンプルクエリ語句の統一的な整合を行い、多様化のカテゴリ予測シーンにおけるサンプルが不均衡である問題に効果的に対処可能であり、これにより、トレーニングされた語義分類モデルの小サンプルの分類能力の向上に寄与する。

【0142】

１つの好ましい実施例において、該装置６００は、具体的に、
サンプル語義カテゴリ充填域を含むサンプルカテゴリ充填語句を構築し、ここで、サンプル語義カテゴリ充填域の数と、予測待ちカテゴリの数とが等しく、サンプル語義カテゴリ充填域が、対応する予測待ちカテゴリのサンプル語義カテゴリが充填されることに用いられるためのサンプルカテゴリ充填語句構築ユニットと、
サンプルクエリ語句及びサンプルカテゴリ充填語句に応じて、サンプルクエリテンプレートを構築するためのサンプルクエリテンプレート構築ユニットと、を含むサンプルクエリテンプレート構築モジュールをさらに含む。

【0143】

１つの好ましい実施例において、予測待ちカテゴリが属する体系の数は、少なくとも１つであり、
サンプルカテゴリ充填語句構築ユニットは、
いずれかの体系に対して、サンプル語義カテゴリ充填域を含むサンプル体系充填サブ語句を構築し、ここで、サンプル語義カテゴリ充填域の数と、該体系における予測待ちカテゴリの数とが等しいためのサンプル体系充填サブ語句構築サブユニットと、
異なるサンプル体系充填サブ語句に応じて、サンプルカテゴリ充填語句を決定するためのサンプルカテゴリ充填語句決定サブユニットと、を含む。

【0144】

１つの好ましい実施例において、サンプルカテゴリ充填語句における異なるサンプル体系充填サブ語句の間には、サブ語句デリミタが設定されており、及び／又は、サンプル体系充填サブ語句における異なるサンプル語義カテゴリ充填域の間には、域デリミタが設定されている。

【0145】

１つの好ましい実施例において、サンプル体系充填サブ語句に域デリミタが設定されていれば、同じサンプル体系充填サブ語句における域デリミタは、同じであり、且つ異なるサンプル体系充填サブ語句における域デリミタは、異なる。

【0146】

１つの好ましい実施例において、語義分類モデルトレーニングモジュール６０３は、
サンプル語義カテゴリ及びラベルカテゴリに応じて、ラベル異常タイプを決定するためのラベル異常カテゴリ決定ユニットと、
ラベル異常タイプに対応するラベル補正方式に応じて、ラベルカテゴリを調整するためのラベルカテゴリ調整ユニットと、
サンプル語義カテゴリ及び調整後のラベルカテゴリに応じて、語義分類モデルをトレーニングするための語義分類モデルトレーニングユニットと、を含む。

【0147】

１つの好ましい実施例において、ラベル異常タイプ決定ユニットは、
サンプル語義カテゴリがラベルカテゴリの下位カテゴリであれば、ラベル異常タイプが上位から下位を予測するタイプであると決定するための上下位タイプ決定サブユニットと、
サンプル語義カテゴリがラベルカテゴリの同源変形カテゴリであれば、ラベル異常タイプがノイズタイプであると決定するためのノイズタイプ決定サブユニットと、
サンプル語義カテゴリがラベルカテゴリの分解可能カテゴリの組み合わせカテゴリであれば、ラベル異常タイプが混交タイプであると決定するための混交タイプ決定サブユニットと、を含む。

【0148】

１つの好ましい実施例において、ラベルカテゴリ調整ユニットは、
ラベル異常タイプが上位から下位を予測するタイプであれば、ラベルカテゴリをサンプル語義カテゴリに置き換えるための上下位タイプ調整サブユニットと、
ラベル異常タイプがノイズタイプであれば、ラベルカテゴリの同源変形カテゴリの代替可能ラベルに応じて、ラベルカテゴリを調整するためのノイズタイプ調整サブユニットと、
ラベル異常タイプが混交タイプであれば、ラベルカテゴリをサンプル語義カテゴリ又はラベルカテゴリの分解可能カテゴリに置き換えるための混交タイプ決定サブユニットと、を含む。

【0149】

１つの好ましい実施例において、サンプル語義カテゴリ決定モジュール６０２は、
サンプルクエリテンプレートを予め構築された語義分類モデルに入力し、予測待ちカテゴリの少なくとも１つのサンプル語義文字を得るためのサンプル語義文字決定ユニットと、
各サンプル語義文字を予測順序に従って組み合わせ、予測待ちカテゴリのサンプル語義カテゴリを得るためのサンプル語義カテゴリ決定ユニットと、を含む。

【0150】

１つの好ましい実施例において、サンプル語義文字決定ユニットは、具体的に、
サンプルクエリテンプレートを予め構築された語義分類モデルに入力して、サンプルクエリテンプレートにおけるサンプル語義特徴を抽出し、且つサンプル語義特徴に対して特徴変換を行い、予測待ちカテゴリの少なくとも１つのサンプル語義文字を得ることに用いられる。

【0151】

上記分類モデルトレーニング装置は、本開示の任意の実施例に係る分類モデルトレーニング方法を実行可能であり、各分類モデルトレーニング方法の実行に対応する機能モジュール及び有益な効果を備える。

【0152】

上記各語義分類方法の実現として、本開示は、上記各語義分類方法を実施する実行装置の好ましい実施例をさらに提供する。該装置は、語義分類、特に、前述の分類モデルトレーニング方法で得られる語義分類モデルに基づく、語義分類のシーンに適用される。該装置は、ソフトウェア及び／又はハードウェアを用いて実現されて、具体的に電子機器に配置されることができる。

【0153】

さらに、図７に示す語義分類装置７００を参照し、予測クエリモジュール取得モジュール７０１及び予測語義カテゴリ決定モジュール７０２を含む。ここで、
予測クエリモジュール取得モジュール７０１は、予測クエリテンプレートを取得し、ここで、予測クエリテンプレートが予測クエリ語句及び予測待ちカテゴリの数に基づいて構築されることに用いられ、
予測語義カテゴリ決定モジュール７０２は、予測クエリテンプレートに応じて、予測待ちカテゴリの予測語義カテゴリを得ることに用いられる。

【0154】

本開示の実施例は、予測クエリ語句及び予測待ちカテゴリの数に基づいて構築される予測クエリテンプレートを取得して、予測クエリテンプレートに応じることで、予測待ちカテゴリの予測語義カテゴリを得る。本開示は、統一的な予測クエリテンプレートに基づいてカテゴリ予測を行い、カテゴリ間相違次元ではなく、語義次元から分類を行っているため、分類方式が多様化の分類シーンに適応することができ、語義分類の汎用性を向上させた。

【0155】

１つの好ましい実施例において、該装置７００は、具体的に、
予測語義カテゴリ充填域を含む予測カテゴリ充填語句を構築し、ここで、予測語義カテゴリ充填域の数と、予測待ちカテゴリの数とが等しく、予測語義カテゴリ充填域が、対応する予測待ちカテゴリの予測語義カテゴリが充填されることに用いられるための予測カテゴリ充填語句構築ユニットと、
予測クエリ語句及び予測カテゴリ充填語句に応じて、予測クエリテンプレートを構築するための予測クエリモジュール構築ユニットと、を含む予測クエリテンプレート構築モジュールをさらに含む。

【0156】

１つの好ましい実施例において、予測待ちカテゴリが属する体系の数は、少なくとも１つであり、
予測カテゴリ充填語句構築ユニットは、
いずれかの体系に対して、予測語義カテゴリ充填域を含む予測体系充填サブ語句を構築し、ここで、予測語義カテゴリ充填域の数と、該体系における予測待ちカテゴリの数とが等しいための予測体系充填サブ語句構築サブユニットと、
異なる予測体系充填サブ語句に応じて、予測カテゴリ充填語句を決定するための予測カテゴリ充填語句構築サブユニットと、を含む。

【0157】

１つの好ましい実施例において、予測カテゴリ充填語句における異なる予測体系充填サブ語句の間には、サブ語句デリミタが設定されており、及び／又は、予測体系充填サブ語句における異なる予測語義カテゴリ充填域の間には、域デリミタが設定されている。

【0158】

１つの好ましい実施例において、予測体系充填サブ語句に域デリミタが設定されていれば、同じ予測体系充填サブ語句における域デリミタは、同じであり、且つ異なる予測体系充填サブ語句における域デリミタは、異なる。

【0159】

１つの好ましい実施例において、予測語義カテゴリ決定モジュール７０２は、
予測クエリテンプレートに応じて、予測待ちカテゴリの少なくとも１つの予測語義文字を決定するための予測語義文字決定ユニットと、
各予測語義文字を予測順序に従って組み合わせ、予測待ちカテゴリの予測語義カテゴリを得るための予測語義カテゴリ決定ユニットと、を含む。

【0160】

１つの好ましい実施例において、少なくとも１つの予測語義文字のうち、同じ予測順序の予測語義文字は、少なくとも２つであり、
予測語義カテゴリ決定ユニットは、
異なる予測順序の各予測語義文字を、予測順序に従って組み合わせ、少なくとも１つの候補語義カテゴリを得るための候補語義カテゴリ決定サブユニットと、
候補語義カテゴリにおける異なる予測語義文字の文字予測確率に応じて、候補語義カテゴリのカテゴリ予測確率を決定するためのカテゴリ予測確率決定サブユニットと、
カテゴリ予測確率、及び候補語義カテゴリと標準語義カテゴリライブラリにおける各標準語義カテゴリとのマッチング結果に応じて、各候補語義カテゴリから予測語義カテゴリを選出するための予測語義カテゴリ選出サブユニットと、を含む。

【0161】

１つの好ましい実施例において、予測語義文字決定ユニットは、
予測クエリテンプレートにおける予測語義特徴を抽出するための予測語義特徴抽出サブユニットと、
予測語義特徴に対して特徴変換を行い、予測待ちカテゴリの少なくとも１つの予測語義文字を得るための予測語義文字決定サブユニットと、を含む。

【0162】

上記語義分類装置は、本開示の任意の実施例に係る語義分類方法を実行可能であり、各語義分類方法の実行に対応する機能モジュール及び有益な効果を備える。

【0163】

本開示の技術態様において、係るサンプルクエリテンプレート、ラベルカテゴリ、予測クエリテンプレートの収集、記憶、使用、加工、伝送、提供及び開示などの処理はいずれも、関連する法律及び法規の規定に合致し、且つ公序良俗に反しない。

【0164】

本開示の実施例によれば、本開示は、電子機器、可読記憶媒体及びコンピュータプログラムをさらに提供する。

【0165】

図８には、本開示の実施例を実施するために使用可能で例示的な電子機器８００の模式的なブロック図が示されている。電子機器は、様々な形式のデジタルコンピュータ、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータを表すように意図される。電子機器は、様々な形式の移動装置、例えば、パーソナルデジタル処理、セルラーフォン、スマートフォン、ウェアラブルデバイス及び他の類似的なコンピューティング装置をさらに表すことができる。本明細書に示す部品、これらの接続と関係、及びこれらの機能は例示的なものに過ぎず、本明細書に説明及び／又は要求された本開示の実現を限定することは意図されない。

【0166】

図８に示すように、機器８００は、リードオンリーメモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８０２に記憶されたコンピュータプログラム又は記憶ユニット８０８からランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０３にロードされたコンピュータプログラムによって、様々な適切な動作及び処理を実行可能な計算ユニット８０１を備える。ＲＡＭ８０３には、機器８００の操作に必要となる様々なプログラム及びデータも記憶可能である。計算ユニット８０１、ＲＯＭ８０２及びＲＡＭ８０３はバス８０４によって互いに接続される。入出力（Ｉ／Ｏ：ｉｎｐｕｔ／ｏｕｔｐｕｔ）インターフェース８０５もバス８０４に接続される。

【0167】

Ｉ／Ｏインターフェース８０５には、例えばキーボード、マウス等の入力ユニット８０６と、例えば様々なタイプのディスプレイ、スピーカ等の出力ユニット８０７と、例えば磁気ディスク、光ディスク等の記憶ユニット８０８と、例えばネットワークカード、モデム、無線通信送受信機等の通信ユニット８０９と、を備える機器８００における複数の部品が接続される。通信ユニット８０９は、電子機器８００が例えばインターネットのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して、他のデバイスと情報／データを交換することを可能にする。

【0168】

計算ユニット８０１は、様々な、処理及び計算能力を有する汎用及び／又は専用処理構成要素であってもよい。計算ユニット８０１のいくつかの例には、中央処理ユニット（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィック処理ユニット（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、様々な専用の人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）計算チップ、様々な、機械学習モデルのアルゴリズムを実行する計算ユニット、デジタルシグナルプロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が含まれるが、これらに限定されない。計算ユニット８０１は、上記に説明された各方法及び処理、例えば分類モデルトレーニング方法及び／又は語義分類方法を実行する。例えば、いくつかの実施例において、分類モデルトレーニング方法及び／又は語義分類方法は、コンピュータソフトウェアプログラムとして実現可能であり、これは機械可読媒体、例えば記憶ユニット８０８に有形的に含まれる。いくつかの実施例において、コンピュータプログラムは、一部又は全部がＲＯＭ８０２及び／又は通信ユニット８０９を介して機器８００にロード及び／又はインストールされることができる。コンピュータプログラムがＲＡＭ８０３にロードされて計算ユニット８０１によって実行されると、上記した分類モデルトレーニング方法及び／又は語義分類方法の１つ又は複数のステップを実行可能である。或いは、他の実施例において、計算ユニット８０１は、他の任意の適切な方式によって（例えば、ファームウェアによって）、分類モデルトレーニング方法及び／又は語義分類方法を実行するように構成される。

【0169】

本明細書において、上記したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、特殊用途向け汎用品（ＡＳＳＰ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｓｔａｎｄａｒｄ ｐｒｏｄｕｃｔ）、システムオンチップ（ＳＯＣ：Ｓｙｓｔｅｍ ｏｎ ａ ｃｈｉｐ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、コンピュータのハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組合せで実現可能である。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムに実施されることを含んでもよく、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムに実行及び／又は解釈されることができ、該プログラマブルプロセッサは、メモリシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信して、データ及び命令を該メモリシステム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に伝送することができる専用又は汎用プログラマブルプロセッサであってもよい。

【0170】

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組合せを採用して書かれてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供可能であり、これにより、プログラムコードがプロセッサ又はコントローラによって実行されると、フローチャート及び／又はブロック図で規定された機能／操作が実施される。プログラムコードは、完全に機器で実行されても、部分的に機器で実行されてもよく、独立ソフトウェアパッケージとして、部分的に機器で実行され且つ部分的にリモート機器で実行され、又は、完全にリモート機器又はサーバで実行されてもよい。

【0171】

本開示のコンテキストにおいて、機械可読媒体は、命令実行システム、装置又は機器に使用され、又は命令実行システム、装置又は機器と組み合わせて使用されるプログラムを含むか又は記憶することができる有形的な媒体であってもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体には、電子的なもの、磁気的なもの、光学的なもの、電磁的なもの、赤外線的なもの、又は半導体システム、装置又は機器、又は上記の内容の任意の適切な組合せが含まれてもよいが、これらに限定されない。機械可読記憶媒体のより具体的な例示は、１つ又は複数のラインによる電気的な接続、可搬型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ又はフラッシュメモリ）、光ファイバ、可搬型コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、光メモリデバイス、磁気メモリデバイス、又は上記の内容の任意の適切な組合せを含む。

【0172】

ユーザとのインタラクションを提供するために、ここで説明されるシステム及び技術はコンピュータで実施されることができ、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニター）、及びキーボードやポインティング装置（例えば、マウス又はトラックボール）を有し、ユーザは、該キーボードや該ポインティング装置によって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供することに使用可能であり、例えば、ユーザに提供されるフィードバックは、任意の形式の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、且つ、ユーザからの入力を任意の形式（音入力、音声入力又は触感入力を含む）で受信することができる。

【0173】

ここで説明されるシステム及び技術は、バックグランドコンポーネントを含むコンピューティングシステム（例えば、データサーバとして）に、又は、ミドルウェアコンポーネントを含むコンピューティングシステム（アプリケーションサーバなど）に、または、フロントエンドコンポーネントを含むコンピューティングシステム（図形式のユーザインターフェースやネットワークブラウザを有するユーザコンピュータであり、ユーザは、該図形式のユーザインターフェースや該ネットワークブラウザを通じてここで説明されるシステム及び技術の実施形態とイントラクションをすることができる）に、又はこのようなバックグランドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントの任意の組合せを含むコンピューティングシステムに実施されてもよい。システムのコンポーネントは、任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって互いに接続されてもよい。通信ネットワークの例示は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを含む。

【0174】

コンピュータシステムは、クライアント端末及びサーバを含んでもよい。クライアント端末及びサーバは一般的に、互いに離れており、且つ通常、通信ネットワークを介してイントラクションをしている。相応するコンピュータでの実行、及び、互いにクライアント端末・サーバという関係を有するコンピュータプログラムにより、クライアント端末とサーバとの関係を築き上げる。サーバは、伝統的な物理ホスト及びＶＰＳサービスに存在する管理の難度が大きく、業務展開性が弱いという欠陥を解決するための、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれる、クラウドコンピューティングサービスシステムにおける１つのホスティングプロダクトであるクラウドサーバであってもよい。サーバは、分散型システムのサーバであってもよいし、もしくはブロックチェーンが組み合わされたサーバであってもよい。

【0175】

人工知能は、コンピュータに人間のある思考過程及びインテリジェント行為（例えば、学習、推論、思考、計画など）をシミュレートさせることを研究する学科であり、ハードウェアレベルの技術もソフトウェアレベルの技術もある。人工知能ハードウェア技術は一般的に、センサ、専用人工知能チップ、クラウドコンピューティング、分散型ストレージ、ビッグデータ処理などの技術を含み、人工知能ソフトウェア技術は主に、コンピュータビジョン技術、音声認識技術、自然言語処理技術及び機械学習／ディープラーニング、ビッグデータ処理技術、知識グラフ技術などのいくつかの方向を含む。

【0176】

上記に示した様々な形式のフローを使用し、ステップを並べ替えたり、追加したり、削除したりすることができることを理解すべきである。例えば、本開示に記載の各ステップは、本開示に係る技術案の所望の結果が実現できれば、並行して実行されてよいし、順次的に実行されてもよいし、異なる順序で実行されてもよく、本明細書において、ここで限定されない。

【0177】

上記の具体的な実施形態は、本願の保護範囲を限定するものではない。当業者であれば、設計要求や他の要素に基づいて様々な修正、組み合わせ、サブ組み合わせおよび置換が可能であることを理解すべきである。任意の、本開示の精神及び原則内で行われる修正、均等な置換及び改良などは、いずれも本開示の保護範囲に含まれるべきである。

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】