知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024137928
(43)【公開日】2024-10-07
(54)【発明の名称】言語処理方法及び言語処理システム
(51)【国際特許分類】
G06F 40/30 20200101AFI20240927BHJP
G06F 40/44 20200101ALI20240927BHJP
G06F 40/216 20200101ALI20240927BHJP
【ＦＩ】
G06F40/30
G06F40/44
G06F40/216
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024047269
(22)【出願日】2024-03-22
(31)【優先権主張番号】63/491,537
(32)【優先日】2023-03-22
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】502160992
【氏名又は名称】宏達國際電子股▲ふん▼有限公司
(74)【代理人】
【識別番号】100206335
【弁理士】
【氏名又は名称】太田 和宏
(72)【発明者】
【氏名】彭 宇劭
(72)【発明者】
【氏名】林 宇▲徳▼
(72)【発明者】
【氏名】范 聖宏
(57)【要約】
【課題】言語処理方法を提供する。
【解決手段】初期フレーズ及び初期フレーズに関連する初期意味ラベルを含む初期データセットを取得する工程と、初期データセットで第１意味分類器を訓練する工程と、文型増強により初期フレーズに対応する複数の拡張フレーズを生成する工程と、第１意味分類器から拡張フレーズに関連する第１予測意味ラベル及び第１予測意味ラベルに関連する第１信頼基準を生成する工程と、第１予測意味ラベルと初期意味ラベルとの間の比較、及び第１信頼基準に基づいて、複数の拡張フレーズを複数の拡張サブセットに分類する工程と、カリキュラム学習形態で複数の拡張サブセットの一部に基づいて、会話における入力フレーズの意味を識別するための第２意味分類器を訓練する工程と、を含む言語処理方法。
【選択図】図２
【解決手段】初期フレーズ及び初期フレーズに関連する初期意味ラベルを含む初期データセットを取得する工程と、初期データセットで第１意味分類器を訓練する工程と、文型増強により初期フレーズに対応する複数の拡張フレーズを生成する工程と、第１意味分類器から拡張フレーズに関連する第１予測意味ラベル及び第１予測意味ラベルに関連する第１信頼基準を生成する工程と、第１予測意味ラベルと初期意味ラベルとの間の比較、及び第１信頼基準に基づいて、複数の拡張フレーズを複数の拡張サブセットに分類する工程と、カリキュラム学習形態で複数の拡張サブセットの一部に基づいて、会話における入力フレーズの意味を識別するための第２意味分類器を訓練する工程と、を含む言語処理方法。
【選択図】図２
【特許請求の範囲】
【請求項1】
複数の初期フレーズ及び前記初期フレーズに関連する複数の初期意味ラベルを含む初期データセットを取得する工程と、
前記初期データセットに基づいて第１意味分類器を訓練する工程と、
前記初期フレーズに対応して文型拡張を行って、複数の拡張フレーズを生成する工程と、
前記第１意味分類器から前記拡張フレーズに関連する複数の第１予測意味ラベル及び前記第１予測意味ラベルの複数の第１信頼基準を生成する工程と、
前記初期意味ラベル及び前記第１予測意味ラベルとの比較結果、及び前記第１信頼基準に基づいて、前記拡張フレーズを複数の拡張サブセットに分類する工程と、
カリキュラム学習形態で前記拡張サブセットの一部に基づいて、会話中の入力フレーズの意味を識別するための第２意味分類器を訓練する工程と、
を備える言語処理方法。
前記初期データセットに基づいて第１意味分類器を訓練する工程と、
前記初期フレーズに対応して文型拡張を行って、複数の拡張フレーズを生成する工程と、
前記第１意味分類器から前記拡張フレーズに関連する複数の第１予測意味ラベル及び前記第１予測意味ラベルの複数の第１信頼基準を生成する工程と、
前記初期意味ラベル及び前記第１予測意味ラベルとの比較結果、及び前記第１信頼基準に基づいて、前記拡張フレーズを複数の拡張サブセットに分類する工程と、
カリキュラム学習形態で前記拡張サブセットの一部に基づいて、会話中の入力フレーズの意味を識別するための第２意味分類器を訓練する工程と、
を備える言語処理方法。
【請求項2】
前記拡張フレーズを前記拡張サブセットに分類する工程は、
前記拡張サブセットにおける第１部分を第１拡張サブセットに分類し、前記第１部分の有する前記第１予測意味ラベルと前記初期意味ラベルとを比較した結果が一致しているとともに、前記第１部分の有する前記第１信頼基準が第１信頼閾値よりも大きい工程と、
前記拡張サブセットにおける第２部分を第２拡張サブセットに分類し、前記第２部分の有する前記第１予測意味ラベルと前記初期意味ラベルとを比較した結果が一致しているとともに、前記第２部分の有する前記第１信頼基準が前記第１信頼閾値よりも低い工程と、
前記拡張サブセットにおける第３部分を第３拡張サブセットに分類し、前記第３部分の有する前記第１予測意味ラベルと前記初期意味ラベルとを比較した結果が一致していないとともに、前記第３部分の有する前記第１信頼基準が第２信頼閾値よりも高い工程と、
前記拡張サブセットにおける第４部分を第４拡張サブセットに分類し、前記第４部分の有する前記第１予測意味ラベルと前記初期意味ラベルとを比較した結果が一致していないとともに、前記第４部分の有する前記第１信頼基準が前記第２信頼閾値よりも低い工程と、
を含む請求項１に記載の言語処理方法。
前記拡張サブセットにおける第１部分を第１拡張サブセットに分類し、前記第１部分の有する前記第１予測意味ラベルと前記初期意味ラベルとを比較した結果が一致しているとともに、前記第１部分の有する前記第１信頼基準が第１信頼閾値よりも大きい工程と、
前記拡張サブセットにおける第２部分を第２拡張サブセットに分類し、前記第２部分の有する前記第１予測意味ラベルと前記初期意味ラベルとを比較した結果が一致しているとともに、前記第２部分の有する前記第１信頼基準が前記第１信頼閾値よりも低い工程と、
前記拡張サブセットにおける第３部分を第３拡張サブセットに分類し、前記第３部分の有する前記第１予測意味ラベルと前記初期意味ラベルとを比較した結果が一致していないとともに、前記第３部分の有する前記第１信頼基準が第２信頼閾値よりも高い工程と、
前記拡張サブセットにおける第４部分を第４拡張サブセットに分類し、前記第４部分の有する前記第１予測意味ラベルと前記初期意味ラベルとを比較した結果が一致していないとともに、前記第４部分の有する前記第１信頼基準が前記第２信頼閾値よりも低い工程と、
を含む請求項１に記載の言語処理方法。
【請求項3】
カリキュラム学習形態で前記第２意味分類器を訓練する工程は、
カリキュラム学習形態の第１ラウンドで、前記初期データセット及び前記第１拡張サブセットに基づいて前記第２意味分類器を訓練する工程と、
カリキュラム学習形態の第２ラウンドで、前記初期データセット、前記第１拡張サブセット及び前記第２拡張サブセットに基づいて前記第２意味分類器を訓練する工程と、
を含み、
前記第３拡張サブセット及び前記第４拡張サブセットは、前記第２意味分類器を訓練するためのものではない請求項２に記載の言語処理方法。
カリキュラム学習形態の第１ラウンドで、前記初期データセット及び前記第１拡張サブセットに基づいて前記第２意味分類器を訓練する工程と、
カリキュラム学習形態の第２ラウンドで、前記初期データセット、前記第１拡張サブセット及び前記第２拡張サブセットに基づいて前記第２意味分類器を訓練する工程と、
を含み、
前記第３拡張サブセット及び前記第４拡張サブセットは、前記第２意味分類器を訓練するためのものではない請求項２に記載の言語処理方法。
【請求項4】
前記第２意味分類器から前記拡張フレーズに関連する複数の第２予測意味ラベル及び前記第２予測意味ラベルの複数の第２信頼基準を生成する工程と、
前記第２予測意味ラベルと前記第２信頼基準に基づいて、前記拡張フレーズを複数の更新拡張サブセットに分類する工程と、
カリキュラム学習形態で前記更新拡張サブセットに基づいて第３意味分類器を訓練する工程と、
を更に備える請求項１に記載の言語処理方法。
前記第２予測意味ラベルと前記第２信頼基準に基づいて、前記拡張フレーズを複数の更新拡張サブセットに分類する工程と、
カリキュラム学習形態で前記更新拡張サブセットに基づいて第３意味分類器を訓練する工程と、
を更に備える請求項１に記載の言語処理方法。
【請求項5】
前記拡張フレーズを前記更新拡張サブセットに分類する工程は、
前記拡張サブセットにおける第１部分を第１更新拡張サブセットに分類し、前記第１部分の有する前記第２予測意味ラベルと前記初期意味ラベルとを比較した結果が一致しているとともに、前記第１部分の有する前記第２信頼基準が第１信頼閾値よりも大きい工程と、
前記拡張サブセットにおける第２部分を第２更新拡張サブセットに分類し、前記第２部分の有する前記第２予測意味ラベルと前記初期意味ラベルとを比較した結果が一致しているとともに、前記第２部分の有する前記第２信頼基準が前記第１信頼閾値よりも低い工程と、
前記拡張サブセットにおける第３部分を第３更新拡張サブセットに分類し、前記第３部分の有する前記第２予測意味ラベルと前記初期意味ラベルとを比較した結果が一致していないとともに、前記第３部分の有する前記第２信頼基準が第２信頼閾値よりも高い工程と、
前記拡張サブセットにおける第４部分を第４更新拡張サブセットに分類し、前記第４部分の有する前記第２予測意味ラベルと前記初期意味ラベルとを比較した結果が一致していないとともに、前記第４部分の有する前記第２信頼基準が前記第２信頼閾値よりも低い工程と、
を含む請求項４に記載の言語処理方法。
前記拡張サブセットにおける第１部分を第１更新拡張サブセットに分類し、前記第１部分の有する前記第２予測意味ラベルと前記初期意味ラベルとを比較した結果が一致しているとともに、前記第１部分の有する前記第２信頼基準が第１信頼閾値よりも大きい工程と、
前記拡張サブセットにおける第２部分を第２更新拡張サブセットに分類し、前記第２部分の有する前記第２予測意味ラベルと前記初期意味ラベルとを比較した結果が一致しているとともに、前記第２部分の有する前記第２信頼基準が前記第１信頼閾値よりも低い工程と、
前記拡張サブセットにおける第３部分を第３更新拡張サブセットに分類し、前記第３部分の有する前記第２予測意味ラベルと前記初期意味ラベルとを比較した結果が一致していないとともに、前記第３部分の有する前記第２信頼基準が第２信頼閾値よりも高い工程と、
前記拡張サブセットにおける第４部分を第４更新拡張サブセットに分類し、前記第４部分の有する前記第２予測意味ラベルと前記初期意味ラベルとを比較した結果が一致していないとともに、前記第４部分の有する前記第２信頼基準が前記第２信頼閾値よりも低い工程と、
を含む請求項４に記載の言語処理方法。
【請求項6】
カリキュラム学習形態で前記更新拡張サブセットに基づいて前記第３意味分類器を訓練する工程は、
カリキュラム学習形態の第１ラウンドで、前記初期データセット及び前記第１更新拡張サブセットに基づいて前記第３意味分類器を訓練する工程と、
カリキュラム学習形態の第２ラウンドで、前記初期データセット、前記第１更新拡張サブセット及び前記第２更新拡張サブセットに基づいて前記第３意味分類器を訓練する工程と、
カリキュラム学習形態の第３ラウンドで、前記初期データセット、前記第１更新拡張サブセット、前記第２更新拡張サブセット及び前記第３更新拡張サブセットに基づいて前記第３意味分類器を訓練する工程と、
を含み、
前記第４更新拡張サブセットは、前記第３意味分類器を訓練するためのものではない請求項５に記載の言語処理方法。
カリキュラム学習形態の第１ラウンドで、前記初期データセット及び前記第１更新拡張サブセットに基づいて前記第３意味分類器を訓練する工程と、
カリキュラム学習形態の第２ラウンドで、前記初期データセット、前記第１更新拡張サブセット及び前記第２更新拡張サブセットに基づいて前記第３意味分類器を訓練する工程と、
カリキュラム学習形態の第３ラウンドで、前記初期データセット、前記第１更新拡張サブセット、前記第２更新拡張サブセット及び前記第３更新拡張サブセットに基づいて前記第３意味分類器を訓練する工程と、
を含み、
前記第４更新拡張サブセットは、前記第３意味分類器を訓練するためのものではない請求項５に記載の言語処理方法。
【請求項7】
前記第２意味分類器により生成された、前記拡張フレーズに関連する前記第２予測意味ラベルは、複数のグラウンドトゥルースとして前記第３意味分類器を訓練するためのものである請求項６に記載の言語処理方法。
【請求項8】
文型拡張を行って、前記拡張フレーズを生成する工程は、
大規模言語モデルを利用して前記初期フレーズを書き換えて前記拡張フレーズを生成する形態（１）、
翻訳モデルを利用して、第１言語で表現された前記初期フレーズを第２言語で表現された複数の中間フレーズに翻訳し、及び前記翻訳モデルを利用して、前記第２言語で表現された前記中間フレーズを前記第１言語で表現された前記拡張フレーズに翻訳する形態（２）、
前記初期フレーズにおける複数のワードを前記ワードに関連する複数の類義語に置き換えて、前記拡張フレーズを生成する形態（３）、又は
複数のランダムなノイズを前記初期フレーズに挿入して、前記拡張フレーズを生成する形態（４）のうちの少なくとも１つを含む請求項１に記載の言語処理方法。
大規模言語モデルを利用して前記初期フレーズを書き換えて前記拡張フレーズを生成する形態（１）、
翻訳モデルを利用して、第１言語で表現された前記初期フレーズを第２言語で表現された複数の中間フレーズに翻訳し、及び前記翻訳モデルを利用して、前記第２言語で表現された前記中間フレーズを前記第１言語で表現された前記拡張フレーズに翻訳する形態（２）、
前記初期フレーズにおける複数のワードを前記ワードに関連する複数の類義語に置き換えて、前記拡張フレーズを生成する形態（３）、又は
複数のランダムなノイズを前記初期フレーズに挿入して、前記拡張フレーズを生成する形態（４）のうちの少なくとも１つを含む請求項１に記載の言語処理方法。
【請求項9】
前記入力フレーズの前記意味に基づいて回答を生成する工程を更に備える請求項１に記載の言語処理方法。
【請求項10】
複数のコンピュータの実行可能な命令を記憶するための記憶ユニットと、
前記コンピュータの実行可能な命令を実行することにより、複数の初期フレーズ及び前記初期フレーズに関連する複数の初期意味ラベルを含む初期データセットを取得することと、前記初期データセットに基づいて第１意味分類器を訓練することと、前記初期フレーズに対応して文型拡張を行って、複数の拡張フレーズを生成することと、前記第１意味分類器を動作させて、前記拡張フレーズに関連する複数の第１予測意味ラベル及び前記第１予測意味ラベルの複数の第１信頼基準を生成することと、前記初期意味ラベル及び前記第１予測意味ラベルとの比較結果、及び前記第１信頼基準に基づいて、前記拡張フレーズを複数の拡張サブセットに分類することと、カリキュラム学習形態で前記拡張サブセットの一部に基づいて、会話中の入力フレーズの意味を識別するための第２意味分類器を訓練することと、を達成させ、前記記憶ユニットに結合される処理ユニットと、
を含む言語処理システム。
前記コンピュータの実行可能な命令を実行することにより、複数の初期フレーズ及び前記初期フレーズに関連する複数の初期意味ラベルを含む初期データセットを取得することと、前記初期データセットに基づいて第１意味分類器を訓練することと、前記初期フレーズに対応して文型拡張を行って、複数の拡張フレーズを生成することと、前記第１意味分類器を動作させて、前記拡張フレーズに関連する複数の第１予測意味ラベル及び前記第１予測意味ラベルの複数の第１信頼基準を生成することと、前記初期意味ラベル及び前記第１予測意味ラベルとの比較結果、及び前記第１信頼基準に基づいて、前記拡張フレーズを複数の拡張サブセットに分類することと、カリキュラム学習形態で前記拡張サブセットの一部に基づいて、会話中の入力フレーズの意味を識別するための第２意味分類器を訓練することと、を達成させ、前記記憶ユニットに結合される処理ユニットと、
を含む言語処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、言語処理方法及び言語処理システムに関し、特に、言語処理方法及び言語処理システムにおける意味分類技術に関する。
【背景技術】
【0002】
大規模言語モデル（ｌａｒｇｅ ｌａｎｇｕａｇｅ ｍｏｄｅｌ、ＬＬＭ）は、入力文字の意味を理解し、人間の応答に類似した回答文字の内容を生成する人工知能モデルである。大規模言語モデルは、深層学習技術、例えば変換器（ｔｒａｎｓｆｏｒｍｅｒ）モデルなどのアーキテクチャを使用して文字を処理して生成する。入力文字を処理したり、合理的なインタラクティブな応答を生成したりするためには、大規模言語モデルは、入力文字の背後にある意味を区別し、意味のある応答を生成することを具備する必要がある。
【発明の概要】
【課題を解決するための手段】
【0003】
本開示の一態様は、複数の初期フレーズ及び前記初期フレーズに関連する複数の初期意味ラベルを含む初期データセットを取得する工程と、前記初期データセットに基づいて第１意味分類器を訓練する工程と、前記初期フレーズに対応して文型拡張を行って、複数の拡張フレーズを生成する工程と、前記第１意味分類器から前記拡張フレーズに関連する複数の第１予測意味ラベル及び前記第１予測意味ラベルの複数の第１信頼基準を生成する工程と、前記初期意味ラベル及び前記第１予測意味ラベルとの比較結果、及び前記第１信頼基準に基づいて、前記拡張フレーズを複数の拡張サブセットに分類する工程と、カリキュラム学習形態で前記拡張サブセットの一部に基づいて、会話中の入力フレーズの意味を識別するための第２意味分類器を訓練する工程と、を備える言語処理方法である。
【0004】
本開示の別の態様では、複数のコンピュータの実行可能な命令を記憶するための記憶ユニットと、前記コンピュータの実行可能な命令を実行することにより、複数の初期フレーズ及び前記初期フレーズに関連する複数の初期意味ラベルを含む初期データセットを取得することと、前記初期データセットに基づいて第１意味分類器を訓練することと、前記初期フレーズに対応して文型拡張を行って、複数の拡張フレーズを生成することと、前記第１意味分類器が前記拡張フレーズに関連する複数の第１予測意味ラベル及び前記第１予測意味ラベルの複数の第１信頼基準を生成することと、前記初期意味ラベル及び前記第１予測意味ラベルとの比較結果、及び前記第１信頼基準に基づいて、前記拡張フレーズを複数の拡張サブセットに分類することと、カリキュラム学習形態で前記拡張サブセットの一部に基づいて、会話中の入力フレーズの意味を識別するための第２意味分類器を訓練することと、を達成させ、前記記憶ユニットに結合される処理ユニットと、を含む言語処理システムである。
【0005】
いくつかの実施例では、言語処理方法及びシステムは、生成された拡張フレーズに対して半教師ありフィルタリングを行うことができ、半教師ありフィルタリングは、拡張フレーズから適切なフレーズを選択し、訓練エージェントプログラムに入力して意味分類器を訓練するために用いられ、上記データ拡張及び半教師ありフィルタリングは、エンドツーエンドの自動化実行を実現することができる。カリキュラム学習形態で訓練された第２意味分類器及び第３意味分類器は、良好な概括性／汎用性（より多くのタイプの拡張フレーズを含むため）を達成することができるとともに、高い正確さを維持することができる。
【0006】
説明すべきこととして、上記説明及び後続の詳細な記述は、本出願を実施形態で例示的に説明し、本案が主張する発明の概要の解釈と理解を支援するために使用される。
【図面の簡単な説明】
【0007】
本開示の上記及びその他の目的、特徴及び実施例をより明確にわかりやすくするために、図面の説明が以下の通りである。
【図1】本開示のいくつかの実施例における言語処理システムの概略図である。
【図2】本開示のいくつかの実施例における言語処理方法のフローチャートである。
【図3】本開示のいくつかの実施例における初期データセットと拡張データセットの概略図である。
【図4】本開示のいくつかの実施例における拡張データセット及び第１予測データセットの概略図である。
【図5】本開示のいくつかの実施例における第１予測データセットを分類した後に形成される複数の拡張サブセットの概略図である。
【図6】本開示のいくつかの実施例における工程における分類後の拡張サブセットの一部に基づいて第２意味分類器を訓練する概略図である。
【図7】本開示のいくつかの実施例における拡張データセット及び第２予測データセットの概略図である。
【図8】本開示のいくつかの実施例における第２予測データセットを分類した後に形成される複数の更新拡張サブセットの概略図である。
【図9】本開示のいくつかの実施例における分類後の更新拡張サブセットの一部に基づいて第３意味分類器を訓練する概略図である。
【発明を実施するための形態】
【0008】
以下の開示は、本開示の異なる特徴を実施するための多くの異なる実施例又は例を提供する。特別な例における構成部品及び構成は、以下の議論で本開示を簡略化するために用いられる。議論されている任意の例は、説明のためだけに用いられ、本開示又はその例の範囲と意味を制限するものではない。適切な場合は、図面及び対応するテキスト説明に同じ符号を使用して、同じ又は類似した構成部品を表す。
【0009】
図１を参照されたい。それは、本開示のいくつかの実施例における言語処理システム１００の概略図である。図１に示すように、言語処理システム１００は、記憶ユニット１２０と、処理ユニット１４０と、ユーザインタフェース１６０と、を含む。いくつかの実施例では、言語処理システム１００は、コンピュータ、スマートフォン、タブレットコンピュータ、映像処理サーバー、データ処理サーバー、サーバー、テンソル計算サーバー又は任意の等価な処理装置であってもよい。
【0010】
図１に示すように、記憶ユニット１２０には、複数の初期フレーズＰｉｎｉ、初期フレーズに関連する初期意味ラベルＴｉｎｉ及び前記初期フレーズＰｉｎｉに対する複数の初期回答Ａｉｎｉを含む初期データセットＤｉｎｉが記憶される。
【0011】
いくつかの実施例では、初期データセットＤｉｎｉは、大規模言語モデル（ｌａｒｇｅ ｌａｎｇｕａｇｅ ｍｏｄｅｌ、ＬＬＭ）又は言語処理アプリケーションプログラムに蓄積された質問と回答（ｑｕｅｓｔｉｏｎ－ａｎｄ－ａｎｓｗｅｒ、Ｑ＆Ａ）データセットから収集することができる。
【0012】
図１に示すように、処理ユニット１４０は、フレーズ書き換え装置１４２、訓練エージェントプログラム（ｔｒａｉｎｉｎｇ ａｇｅｎｔ）１４４及び会話エンジン１４６を動作させるために用いられる。会話エンジン１４６は、大規模言語モデルを動作させることができ、言語処理システム１００とユーザＵ１との間の会話を処理するために使用される。いくつかの実施例では、訓練エージェントプログラム１４４は、初期データセットＤｉｎｉにおける初期フレーズＰｉｎｉ及び初期意味ラベルＴｉｎｉを利用して意味分類器ＩＣＭを訓練することができる。
【0013】
実際の応用では、意味分類器ＩＣＭは、会話エンジン１４６の重要な要素である。意味分類器ＩＣＭは、会話エンジン１４６が様々な入力フレーズの背後にある目的又は目標を理解するのを支援するために用いられる。意味分類器ＩＣＭは、様々な入力フレーズを異なる意味カテゴリ、例えば質問の提出、陳述の作成、命令の表現などの意味カテゴリに区別するために用いられる。意味分類器ＩＣＭは、会話エンジン１４６がユーザの入力意味をより適切に理解し、ユーザの入力に対してより正確に適切な応答を生成するのを支援することができる。
【0014】
例えば、ユーザＵ１がユーザインタフェース１６０（例えば、タッチパネル、マイクロホン、キーボード、マウス、ヘッドマウントディスプレイ又はデータ伝送インタフェース）を介して会話中の入力フレーズＰＤＩＡを入力すると、この入力フレーズＰＤＩＡを会話エンジン１４６に伝送する。会話エンジン１４６は、意味分類器ＩＣＭを利用して、この会話中の入力フレーズＰＤＩＡに対応する意味ＴＤＩＡを区別する。これにより、会話エンジン１４６は、判断された意味ＴＤＩＡに基づいて適切な回答ＡＤＩＡを生成することができる。ユーザインタフェース１６０を介して回答ＡＤＩＡをユーザＵ１にフィードバックし、これにより言語処理システム１００とユーザＵ１との間のインタラクティブな交流を実現する。
【0015】
意味分類器ＩＣＭが高い正確率を達成できるために、意味分類器ＩＣＭの訓練には、大量の初期フレーズＰｉｎｉ及びそれに対応する大量の初期意味ラベルＴｉｎｉが必要である。いくつかの実施例では、初期フレーズＰｉｎｉと初期意味ラベルＴｉｎｉは、技術者又はユーザにより手動で入力されてもよい。しかしながら、大量の初期フレーズＰｉｎｉ及びそれに対応する大量の初期意味ラベルＴｉｎｉを収集して構築することは、困難なタスクである。
【0016】
図１に示すように、処理ユニット１４０は、文型拡張（ｓｅｎｔｅｎｃｅ ａｕｇｍｅｎｔａｔｉｏｎ）形態により、複数の初期フレーズＰｉｎｉに対応する複数の拡張フレーズＰａｕｇを生成できるフレーズ書き換え装置１４２を含む。いくつかの実施例では、言語処理システム１００は、フレーズ書き換え装置１４２を動作させて初期フレーズＰｉｎｉを文型拡張して複数の拡張フレーズＰａｕｇを生成し、且つ言語処理システム１００は、生成された拡張フレーズＰａｕｇに対して半教師ありフィルタリングを行い、半教師ありフィルタリングは、拡張フレーズＰａｕｇから適切なフレーズを選択し、訓練エージェントプログラム１４４に入力して意味分類器ＩＣＭを訓練するために用いられる。いくつかの実施例では、上記データ拡張及び半教師ありフィルタリングは、追加の手動入力を必要とせずに、エンドツーエンド（ｅｎｄ－ｔｏ－ｅｎｄ）の自動化実行を実現することができる。
【0017】
いくつかの実施例では、フレーズ書き換え装置１４２、訓練エージェントプログラム１４４及び会話エンジン１４６は、処理ユニット１４０がコンピュータの実行可能な命令及び／又はソフトウェアプログラムを実行することで実現することができる。いくつかの実施例では、処理ユニット１４０は、プロセッサ、グラフィックスプロセッサ、特定アプリケーション集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ；ＡＳＩＣ）又は任意の等価な処理回路であってもよい。
【0018】
【0019】
記憶ユニット１２０は、コンピュータの実行可能な命令を更に記憶するために用いられる。処理ユニット１４０は、それぞれユーザインタフェース１６０及び記憶ユニット１２０に結合される。処理ユニット１４０は、コンピュータの実行可能な命令を実行して、更に後続の実施例で説明される言語処理方法２００を実施するために用いられる。記憶ユニット１２０は、メモリ、ハードディスク、高速アクセスメモリ、フラッシュメモリ及び／又は任意の等価なデータ記憶素子であってもよい。
【0020】
図１及び図２に示すように、工程Ｓ２１０を実行して、データソース（図示しない）から初期データセットＤｉｎｉを取得（又は受信）する。初期データセットＤｉｎｉは、図１に示す記憶ユニット１２０に記憶されてもよい。いくつかの実施例では、データソースは、質問と回答（Ｑ＆Ａ）データサーバーであってもよい。
【0021】
図３を参照されたい。それは、本開示のいくつかの実施例における初期データセットＤｉｎｉと拡張データセットＤａｕｇの概略図である。図３に示す初期データセットＤｉｎｉのように、初期フレーズＰｉｎｉは、第１初期フレーズＰ１「このレストランに予約を出したい」を含み、且つ初期意味ラベルＴｉｎｉは、第１初期フレーズＰ１に対応する第１意味ラベルＴ１「レストラン予約」を含む。初期フレーズＰｉｎｉは、第２初期フレーズＰ２「チケットを予約したい」を更に含み、初期意味ラベルＴｉｎｉは、第２初期フレーズＰ２に対応する第２意味ラベルＴ２「チケット予約」を含む。初期フレーズＰｉｎｉは、第３初期フレーズＰ３「今日の天気はどうですか？」を含み、初期意味ラベルＴｉｎｉは、第３初期フレーズＰ３に対応する第３意味ラベルＴ３「天気照会」を含む。
【0022】
【0023】
いくつかの実施例では、第１意味分類器ＩＣＭ１の訓練は、下記交差エントロピー損失関数に基づくことができる。
【0024】
【数1】
【0025】
注意すべきこととして、第１意味分類器ＩＣＭ１は、初期データセットＤｉｎｉに基づいて訓練され、初期データセットＤｉｎｉにおける限られた数の初期フレーズＰｉｎｉ及び初期意味ラベルＴｉｎｉを含む。いくつかの実施例では、初期データセットＤｉｎｉに含まれる、様々な初期意味タイプのそれぞれに対応する初期フレーズＰｉｎｉの数が少なく、つまり、類似する意味を表現するのに十分なフレーズ例の変化がない。この場合、ユーザにより入力された会話中のフレーズが異なる措辞形態を用いて類似している質問を提出すれば、第１意味分類器ＩＣＭ１（初期データセットＤｉｎｉに基づいて訓練される）は、正確な意味を識別できない可能性がある。つまり、初期データセットＤｉｎｉ及び第１意味分類器ＩＣＭ１の概括性／汎用性が不足している。
【0026】
初期データセットＤｉｎｉの概括性／汎用性を高めるために、工程Ｓ２３０を実行し、フレーズ書き換え装置１４２は、文型拡張の形態で初期フレーズＰｉｎｉに対応する複数の拡張フレーズを生成する。図３に示すように、初期フレーズＰｉｎｉにおける第１初期フレーズＰ１「このレストランに予約を出したい」は、フレーズ書き換え装置１４２により第１初期フレーズＰ１に対応する複数の拡張フレーズＰ１ａ１、Ｐ１ａ２、Ｐ１ａ３、Ｐ１ａ４及びＰ１ａ５に書き換えることができ、前記拡張フレーズは、いずれも第１初期フレーズＰ１に対応する。
【0027】
一実施例では、工程Ｓ２３０において、大規模言語モデル（ＬＬＭ）を利用して前記初期フレーズＰｉｎｉを書き換えて大量の拡張フレーズＰａｕｇを生成することができる。例えば、工程Ｓ２３０において、大規模言語モデル（例えばＣｈａｔＧＰＴ、Ｇｅｍｉｎｉ、ＬＬａＭＡ、Ｍｉｓｔｒａｌ ＡＩ、Ｂａｒｄ又はＣｏｐｉｌｏｔ）に提示命令、例えば「この文『このレストランに予約を出したい』を異なる形態で書き換えてください」を入力し、大規模言語モデルからその回答結果を収集して、複数の拡張フレーズＰ１ａ１～Ｐ１ａ５を生成することができる。
【0028】
別の実施例では、工程Ｓ２３０において、翻訳モデルを利用して、第１言語（例えば英語）で表現された第１初期フレーズＰ１を第２言語（例えばフランス語）で表現された中間フレーズに翻訳して、翻訳モデルを利用して、第２言語（例えばフランス語）で表現された中間フレーズを第１言語（例えば英語）に翻訳して戻し、更に第１言語で表現された拡張フレーズＰ１ａ１～Ｐ１ａ５を生成することができる。
【0029】
他の実施例では、工程Ｓ２３０において、拡張フレーズＰ１ａ１～Ｐ１ａ５を生成する形態は、第１初期フレーズＰ１におけるワードをこのワードに関連する類義語に置き換えることであってもよい。例えば、第１初期フレーズＰ１におけるワード「レストラン」を類義語例えば「料理屋」、「酒場」又は「食堂」に置き換えてもよい。
【0030】
他の実施例では、工程Ｓ２３０において、拡張フレーズＰ１ａ１～Ｐ１ａ５を生成する形態は、ランダムなノイズを第１初期フレーズＰ１に挿入することであってもよい。ランダムなノイズは、第１初期フレーズＰ１における１つの単文字をランダムに削除したり、第１初期フレーズＰ１における単文字の順序をランダムに交換したり、第１初期フレーズＰ１に追加の単文字をランダムに追加したりすることにより生成されたものであってもよい。ランダムなノイズは、ユーザのタイピングエラーをシミュレートするために用いることができる。
【0031】
図３に示すように、拡張データセットＤａｕｇは、第１初期フレーズＰ１に基づいて工程Ｓ２３０の文型拡張により生成された複数の拡張フレーズＰ１ａ１～Ｐ１ａ５を含み、前記拡張フレーズＰ１ａ１～Ｐ１ａ５は、複数の初期意味ラベルＴｉｎｉのうちの第１意味ラベルＴ１（第１初期フレーズＰ１とマッチングする）に対応する。
【0032】
図２及び図３に示すように、工程Ｓ２３０において、同様に、第２初期フレーズＰ２に基づいて他の複数の拡張フレーズＰ２ａ１～Ｐ２ａ５を生成し、第３初期フレーズＰ３に基づいて他の複数の拡張フレーズＰ３ａ１～Ｐ３ａ５を生成することができる。拡張データセットＤａｕｇにおいて、前記拡張フレーズＰ２ａ１～Ｐ２ａ５は、複数の初期意味ラベルＴｉｎｉのうちの第２意味ラベルＴ２（第２初期フレーズＰ２とマッチングする）に対応する。拡張データセットＤａｕｇにおいて、前記拡張フレーズＰ３ａ１～Ｐ３ａ５は、複数の初期意味ラベルＴｉｎｉのうちの第３意味ラベルＴ３（第３初期フレーズＰ３とマッチングする）に対応する。
【0033】
説明を簡潔にするために、後続の段落で議論する内容については、拡張フレーズＰ１ａ１～Ｐ１ａ５を例に挙げて議論する。しかしながら、本開示は、これに限定されるものではない。他の初期フレーズ（例えば、第２初期フレーズＰ２及び第３初期フレーズＰ３）に対しても、同様な操作を用いて、他の拡張フレーズＰ２ａ１～Ｐ２ａ５とＰ３ａ１～Ｐ３ａ５を更に処理してもよい。
【0034】
注意すべきこととして、いくつかの実施例では、拡張フレーズＰ１ａ１～Ｐ１ａ５は、人工的な教師なしに、第１初期フレーズＰ１に基づいて文型拡張して自動的に生成されたものである。この場合に、全ての拡張フレーズＰ１ａ１～Ｐ１ａ５がいずれもその本来の意味ラベルＴ１「レストラン予約」を維持できることを確保することは困難である。通常、ほとんどの拡張フレーズＰ１ａ１～Ｐ１ａ５は、元の意味ラベルＴ１と同じ意味を持っている。しかしながら、文型拡張後の一部の拡張フレーズＰ１ａ１～Ｐ１ａ５は、その意義又は意味を変える可能性がある。第１意味ラベルＴ１は、一部の拡張フレーズＰ１ａ１～Ｐ１ａ５の真の意図を表すのにもはや適していない可能性がある。
【0035】
図４を参照されたい。それは、本開示のいくつかの実施例における工程Ｓ２４０に関連する拡張データセットＤａｕｇ及び第１予測データセットＤａｕｇ＿Ｐ１の概略図である。
【0036】
図１、図２及び図４に示すように、工程Ｓ２４０を実行し、処理ユニット１４０は、第１意味分類器ＩＣＭ１を動作させて拡張データセットＤａｕｇに対して複数の第１予測意味ラベルＴＰ１を生成し、且つ前記第１予測意味ラベルＴＰ１に対応する複数の第１信頼基準ＣＬ１を生成する。
【0037】
図４に示す第１予測データセットＤａｕｇ＿Ｐ１のように、第１意味分類器ＩＣＭ１が拡張フレーズＰ１ａ１～Ｐ１ａ５に対して生成する複数の意味ラベルは、それぞれＴ１、Ｔ１、Ｔ１、Ｔ２及びＴ２である。
【0038】
第１意味分類器ＩＣＭ１により生成された複数の上記第１予測意味ラベルＴＰ１において、第１意味分類器ＩＣＭ１は、３つの拡張フレーズＰ１ａ１、Ｐ１ａ２及びＰ１ａ３が元の意味ラベルと同じ第１意味ラベルＴ１を有するとそれぞれ予測し、且つ他の２つの拡張フレーズＰ１ａ４及びＰ１ａ５が元の意味ラベル（即ち第１意味ラベルＴ１）と異なる第２意味ラベルＴ２を有すると予測する。なお、第１意味分類器ＩＣＭ１が複数の第１予測意味ラベルＴＰ１に対して生成した複数の第１信頼基準ＣＬ１は、図４に示される。
【0039】
図５を参照されたい。それは、本開示のいくつかの実施例における工程Ｓ２５０における第１予測データセットＤａｕｇ＿Ｐ１を分類した後に形成される複数の拡張サブセットＤＧ１～ＤＧ４の概略図を示す。
【0040】
図１、図２及び図５に示すように、処理ユニット１４０は、工程Ｓ２５０を実行し、複数の第１予測意味ラベルＴＰ１と複数の初期意味ラベルＴｉｎｉとの比較結果、及び複数の第１信頼基準ＣＬ１に基づいて、第１予測データセットＤａｕｇ＿Ｐ１における複数の拡張フレーズＰ１ａ１～Ｐ１ａ５を複数の拡張サブセットＤＧ１～ＤＧ４に分類する。
【0041】
いくつかの実施例では、図２及び図５に示すように、拡張フレーズＰ１ａ１の有する第１予測意味ラベルＴＰ１（拡張フレーズＰ１ａ１のＴＰ１＝第１意味ラベルＴ１）とそれ自体の初期意味ラベルＴｉｎｉとを比較した結果が一致しており（拡張フレーズＰ１ａ１のＴｉｎｉ＝第１意味ラベルＴ１）、且つ拡張フレーズＰ１ａ１の第１信頼基準ＣＬ１（拡張フレーズＰ１ａ１のＣＬ１が９５％）が第１信頼閾値（例えば８０％に設定されてもよい）よりも大きいため、拡張フレーズＰ１ａ１を第１拡張サブセットＤＧ１に分類する。第１拡張サブセットＤＧ１における拡張フレーズＰ１ａ１が初期意味ラベルと同じ予測意味ラベルを有し、第１意味分類器ＩＣＭ１が第１拡張サブセットＤＧ１に対して高い信頼基準を有する。この場合に、第１拡張サブセットＤＧ１は、意味分類器ＩＣＭを訓練するための訓練データに最高優先度で追加するのに適している。
【0042】
いくつかの実施例では、図２及び図５に示すように、拡張フレーズＰ１ａ２と拡張フレーズＰ１ａ３の有する第１予測意味ラベルＴＰ１（拡張フレーズＰ１ａ１とＰ１ａ３のＴＰ１＝第１意味ラベルＴ１）とそれ自体の初期意味ラベルＴｉｎｉとを比較した結果が一致しており（拡張フレーズＰ１ａ１とＰ１ａ３のＴｉｎｉ＝第１意味ラベルＴ１）、且つ拡張フレーズＰ１ａ２と拡張フレーズＰ１ａ３の有する第１信頼基準ＣＬ１（拡張フレーズＰ１ａ２とＰ１ａ３のＣＬ１がそれぞれ６２％及び５０％）が第１信頼閾値（例えば８０％）よりも低いため、拡張フレーズＰ１ａ２と拡張フレーズＰ１ａ３を第２拡張サブセットＤＧ２に分類する。第２拡張サブセットＤＧ２における拡張フレーズＰ１ａ２と拡張フレーズＰ１ａ３が初期意味ラベルと同じ予測意味ラベルを有し、第１意味分類器ＩＣＭ１が第２拡張サブセットＤＧ２に対して低い信頼基準を有する。この場合に、第２拡張サブセットＤＧ２は、意味分類器ＩＣＭを訓練するための訓練データに２番目の優先度で追加するのに適している。
【0043】
いくつかの実施例では、図２及び図５に示すように、拡張フレーズＰ１ａ４の有する第１予測意味ラベルＴＰ１（拡張フレーズＰ１ａ４のＴＰ１＝第２意味ラベルＴ２）とそれ自体の初期意味ラベルＴｉｎｉとを比較した結果が一致しておらず（拡張フレーズＰ１ａ４のＴｉｎｉ＝第１意味ラベルＴ１）、拡張フレーズＰ１ａ４の有する第１信頼基準ＣＬ１（拡張フレーズＰ１ａ４のＣＬ１が８２％）が第２信頼閾値よりも高い（例えば８０％に設定されてもよい）ため、拡張フレーズＰ１ａ４を第３拡張サブセットＤＧ３に分類する。第３拡張サブセットＤＧ３における拡張フレーズＰ１ａ４が初期意味ラベルと異なる予測意味ラベルを有し、第１意味分類器ＩＣＭ１が第３拡張サブセットＤＧ３に対して高い信頼基準を有する。この場合に、第３拡張サブセットＤＧ３は、意味分類器ＩＣＭを訓練するための訓練データに３番目の優先度で追加するのに適している。この場合、文型拡張された拡張フレーズＰ１ａ４の意味が変わったことを表す可能性がある。
【0044】
いくつかの実施例では、図２及び図５に示すように、拡張フレーズＰ１ａ５の有する第１予測意味ラベルＴＰ１（拡張フレーズＰ１ａ５のＴＰ１＝第２意味ラベルＴ２）とそれ自体の初期意味ラベルＴｉｎｉとを比較した結果が一致しておらず（拡張フレーズＰ１ａ５のＴｉｎｉ＝第１意味ラベルＴ１）、拡張フレーズＰ１ａ５の有する第１信頼基準ＣＬ１（拡張フレーズＰ１ａ５のＣＬ１が４０％）が第２信頼閾値（例えば８０％に設定されてもよい）よりも低いため、拡張フレーズＰ１ａ５を第４拡張サブセットＤＧ４に分類する。第４拡張サブセットＤＧ４における拡張フレーズＰ１ａ５が初期意味ラベルと異なる予測意味ラベルを有し、第１意味分類器ＩＣＭ１が第４拡張サブセットＤＧ４に対して低い信頼基準を有する場合に、第４拡張サブセットＤＧ４における拡張フレーズＰ１ａ５の真の意味を確認する時に困難であることを表す可能性がある。例えば、文型拡張後の拡張フレーズＰ１ａ５は、意味が不明確であるか、意味がない文である可能性がある。この場合に、第４拡張サブセットＤＧ４は、意味分類器ＩＣＭの訓練に適していない。
【0045】
注意すべきこととして、上記実施例で説明される第１信頼閾値（例えば、８０％）と第２信頼閾値（例えば、８０％）は、例示的な説明に過ぎない。第１信頼閾値及び第２信頼閾値は、この特定の数値に限定されない。いくつかの他の実施例では、より多くの信頼閾値設定を導入して更に拡張フレーズを異なる信頼基準を有するより多くの拡張サブサブセットに分類し、例えば、同じ意味を有するラベルを１００％～８１％、８０％～６１％、６０％～４１％、４０％～２１％及び２０％～０％などの５つの信頼基準に分類し、また、異なる意味を有するラベルを１００％～８１％、８０％～６１％、６０～４１％、４０％～２１％と２０％～０％などの５つの信頼基準に分類する。
【0046】
図６を参照されたい。それは、本開示のいくつかの実施例における工程Ｓ２６０における分類後の拡張サブセットＤＧ１～ＤＧ４の一部に基づいて第２意味分類器ＩＣＭ２を訓練する概略図である。
【0047】
【0048】
いくつかの実施例では、第３拡張サブセットＤＧ３と第４拡張サブセットＤＧ４の分類の根拠となる予測ラベルは、初期段階で確立された第１意味分類器ＩＣＭ１に基づいて生成される。第１意味分類器ＩＣＭ１がこの時に生成した予測信頼度と信頼度にまだ不十分な点がある可能性があるため、図６に示す工程Ｓ２６０の期間に、第３拡張サブセットＤＧ３と第４拡張サブセットＤＧ４を用いて第２意味分類器ＩＣＭ２を訓練しない。
【0049】
図６に示すように、工程Ｓ２６０におけるカリキュラム学習形態の第１ラウンドＲ１で、訓練エージェントプログラム１４４は、初期データセットＤｉｎｉ及び第１拡張サブセットＤＧ１に基づいて第２意味分類器ＩＣＭ２を訓練する。つまり、難易度が低く且つ信頼性が高い訓練データは、カリキュラム学習形態の第１ラウンドＲ１で第２意味分類器ＩＣＭ２の訓練に優先的に用いられる。
【0050】
図６に示すように、工程Ｓ２６０におけるカリキュラム学習形態の第２ラウンドＲ２で、訓練エージェントプログラム１４４は、初期データセットＤｉｎｉ、第１拡張サブセットＤＧ１及び第２拡張サブセットＤＧ２に基づいて第２意味分類器ＩＣＭ２を訓練する。つまり、カリキュラム学習形態の第２ラウンドＲ２で、第２意味分類器ＩＣＭ２を訓練するための訓練データは、より多くのフレーズ内容を含み且つより多くの異なる変化を含む。この場合、カリキュラム学習形態で訓練して得られた第２意味分類器ＩＣＭ２は、（より多くのタイプの拡張フレーズを含むため）良好な概括性／汎用性を有することができるとともに、高い基準を維持することができる。
【0051】
いくつかの実施例では、第２意味分類器ＩＣＭ２の訓練は、下記交差エントロピー損失関数に基づくことができる。
【0052】
【数2】
【0053】
注意すべきこととして、第１意味分類器ＩＣＭ１は、初期データセットＤｉｎｉに基づいて訓練され、初期データセットＤｉｎｉにおける限られた数の初期フレーズＰｉｎｉ及び初期意味ラベルＴｉｎｉを含む。いくつかの実施例では、初期データセットＤｉｎｉに含まれる、様々な初期意味タイプのそれぞれに対応する初期フレーズＰｉｎｉの数が少なく、つまり、類似する意味を表現するのに十分なフレーズ例の変化がない。この場合、ユーザにより入力された会話中のフレーズが異なる措辞形態を用いて同様な質問を提出すれば、第１意味分類器ＩＣＭ１（初期データセットＤｉｎｉに基づいて訓練される）は、正確な意味を識別できない可能性がある。つまり、初期データセットＤｉｎｉ及び第１意味分類器ＩＣＭ１の概括性／汎用性が不足している。また、第２意味分類器ＩＣＭ２は、初期データセットＤｉｎｉ、第１拡張サブセットＤＧ１及び第２拡張サブセットＤＧ２に基づいて訓練され、第２意味分類器ＩＣＭ２は、第１意味分類器ＩＣＭ１に比べて良好な概括性／汎用性を達成することができる。
【0054】
図１及び図２に示すように、工程Ｓ３１０において、第２意味分類器ＩＣＭ２を利用して、ユーザＵ１により入力された入力フレーズＰＤＩＡの意味ＴＤＩＡを識別することができる。工程Ｓ３２０において、会話エンジン１４６は、入力フレーズＰＤＩＡの意味ＴＤＩＡに基づいて（第２ソナグラム分類器ＩＣＭ２に基づく分類結果）回答ＡＤＩＡを生成することができる。いくつかの実施例では、本開示は、第２意味分類器ＩＣＭ２の訓練終了後に停止することに限定されない。より多くのカリキュラム学習サイクルを行って更に意味分類器ＩＣＭを更新し、これにより意味分類器ＩＣＭの正確率を更に高めることができる。
【0055】
図７を参照されたい。それは、本開示のいくつかの実施例における工程Ｓ２７０に関連する拡張データセットＤａｕｇ及び第２予測データセットＤａｕｇ＿Ｐ２の概略図である。
【0056】
図１、図２及び図７に示すように、工程Ｓ２７０を実行し、処理ユニット１４０は、第２意味分類器ＩＣＭ２を動作させて拡張データセットＤａｕｇに対して複数の第２予測意味ラベルＴＰ２を生成し、且つ前記第２予測意味ラベルＴＰ２に対応する複数の第２信頼基準ＣＬ２を生成する。
【0057】
図４に示す第１予測データセットＤａｕｇ＿Ｐ１のように、第１意味分類器ＩＣＭ１が拡張フレーズＰ１ａ１～Ｐ１ａ５に対して生成する複数の意味ラベルは、それぞれＴ１、Ｔ１、Ｔ１、Ｔ２及びＴ２である。
【0058】
第１意味分類器ＩＣＭ１により生成された複数の上記第１予測意味ラベルＴＰ１において、第１意味分類器ＩＣＭ１は、３つの拡張フレーズＰ１ａ１、Ｐ１ａ２及びＰ１ａ３が元の意味ラベルと同じ第１意味ラベルＴ１を有するとそれぞれ予測し、且つ他の２つの拡張フレーズＰ１ａ４及びＰ１ａ５が元の意味ラベル（即ち第１意味ラベルＴ１）と異なる第２意味ラベルＴ２を有すると予測する。なお、第１意味分類器ＩＣＭ１が複数の第１予測意味ラベルＴＰ１に対して生成する複数の第１信頼基準ＣＬ１は、図４に示される。この場合に、第２意味分類器ＩＣＭ２は、初期データセットＤｉｎｉ及び拡張データセットにおける一部（第１拡張サブセットＤＧ１及び第２拡張サブセットＤＧ２）に基づいてすでに訓練されたため、第２意味分類器ＩＣＭ２により生成された第２予測意味ラベルＴＰ２と第２信頼基準ＣＬ２（図７に示すような第２予測データセットＤａｕｇ＿Ｐ２）は、この前に第１意味分類器ＩＣＭ１により予測される第１予測意味ラベルＴＰ１及び第１信頼基準ＣＬ１と異なる可能性があり、比較した結果、第２意味分類器ＩＣＭ２により生成された第２予測意味ラベルＴＰ２と第２信頼基準ＣＬ２は、高い基準を有する。
【0059】
図７に示す第２予測データセットＤａｕｇ＿Ｐ２のように、第２意味分類器ＩＣＭ２が拡張フレーズＰ１ａ１～Ｐ１ａ５に対して生成する複数の意味ラベルは、それぞれＴ１、Ｔ１、Ｔ１、Ｔ２及びＴ２である。なお、図７に示すように、第２意味分類器ＩＣＭ２は、複数の第２予測意味ラベルＴＰ２に関連する複数の第２信頼基準ＣＬ２を生成することができる。工程Ｓ２７０の操作は、工程Ｓ２４０と類似する。工程Ｓ２４０との主な相違点は、工程Ｓ２７０において、第１意味分類器ＩＣＭ１（初期データセットＤｉｎｉに基づいて訓練される）ではなく、第２意味分類器ＩＣＭ２（初期データセットＤｉｎｉ、第１拡張サブセットＤＧ１及び第２拡張サブセットＤＧ２に基づいて訓練される）に基づいて行うことである。
【0060】
図８を参照されたい。それは、本開示のいくつかの実施例における工程Ｓ２８０において第２予測データセットＤａｕｇ＿Ｐ２を分類した後に形成される複数の更新拡張サブセットＤＧ１ｕ～ＤＧ４ｕの概略図である。
【0061】
図１、図２及び図８に示すように、処理ユニット１４０は、工程Ｓ２８０を実行し、複数の第２予測意味ラベルＴＰ２と複数の初期意味ラベルＴｉｎｉとの比較結果、及び複数の第２信頼基準ＣＬ２に基づいて、第２予測データセットＤａｕｇ＿Ｐ２における複数の拡張フレーズＰ１ａ１～Ｐ１ａ５を複数の更新拡張サブセットＤＧ１ｕ～ＤＧ４ｕに分類する。
【0062】
いくつかの実施例では、図２及び図８に示すように、拡張フレーズＰ１ａ１と拡張フレーズＰ１ａ２を第１更新拡張サブセットＤＧ１ｕ、拡張フレーズＰ１ａ３を第２更新拡張サブセットＤＧ２ｕ、拡張フレーズＰ１ａ４を第３更新拡張サブセットＤＧ３ｕ、及び拡張フレーズＰ１ａ５を第４更新拡張サブセットＤＧ４ｕに分類する。工程Ｓ２８０の操作は、工程Ｓ２５０と類似する。
【0063】
図９を参照されたい。それは、本開示のいくつかの実施例における工程Ｓ２９０における分類後の更新拡張サブセットＤＧ１ｕ～ＤＧ４ｕの一部に基づいて第３意味分類器ＩＣＭ３を訓練する概略図である。
【0064】
【0065】
いくつかの実施例では、工程Ｓ２９０において、第４更新拡張サブセットＤＧ４ｕを用いて第３意味分類器ＩＣＭ３を訓練しない。
【0066】
図９に示すように、工程Ｓ２９０におけるカリキュラム学習形態の第１ラウンドＲ１で、訓練エージェントプログラム１４４は、初期データセットＤｉｎｉ及び第１更新拡張サブセットＤＧ１ｕに基づいて第３意味分類器ＩＣＭ３を訓練する。つまり、難易度が低く且つ信頼性が高い訓練データは、カリキュラム学習形態の第１ラウンドＲ１で第３意味分類器ＩＣＭ３の訓練に優先的に用いられる。
【0067】
図９に示すように、工程Ｓ２９０におけるカリキュラム学習形態の第２ラウンドＲ２で、訓練エージェントプログラム１４４は、初期データセットＤｉｎｉ、第１更新拡張サブセットＤＧ１ｕ及び第２更新拡張サブセットＤＧ２ｕに基づいて第３意味分類器ＩＣＭ３を訓練する。つまり、カリキュラム学習形態の第２ラウンドＲ２で、第３意味分類器ＩＣＭ３を訓練するための訓練データは、より多くのフレーズ内容を含み且つより多くの異なる変化を含む。
【0068】
図９に示すように、工程Ｓ２９０におけるカリキュラム学習形態の第３ラウンドＲ３で、訓練エージェントプログラム１４４は、初期データセットＤｉｎｉ、第１更新拡張サブセットＤＧ１、第２更新拡張サブセットＤＧ２及び第３更新拡張サブセットＤＧ３に基づいて第３意味分類器ＩＣＭ３を訓練する。注意すべきこととして、第２意味分類器ＩＣＭ２により生成された第３更新増強サブセットＤＧ３ｕにおける拡張フレーズＰ１ａ４に関連する第２予測意味ラベルＴＰ２は、この第３意味分類器ＩＣＭ３を訓練するためのグラウンドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）として生成される。つまり、拡張フレーズＰ１ａ４は、第１意味ラベルＴ１に関連するフレーズと見なされなくなり、第２意味ラベルＴ２に関連するフレーズ（第２意味分類器ＩＣＭ２の予測結果に基づく）と見なされるように変更される。
【0069】
いくつかの実施例では、第３意味分類器ＩＣＭ３の訓練は、下記交差エントロピー損失関数に基づくことができる。
【0070】
【数3】
【0071】
図１及び図２に示すように、工程Ｓ３１０において、第３意味分類器ＩＣＭ３を用いて、ユーザＵ１により入力された入力フレーズＰＤＩＡの意味ＴＤＩＡを識別する。工程Ｓ３２０において、会話エンジン１４６は、入力フレーズＰＤＩＡの意味ＴＤＩＡ（第３意味分類器ＩＣＭ３に基づいて識別した結果）に基づいて回答ＡＤＩＡを生成することができる。いくつかの実施例では、本開示は、第３意味分類器ＩＣＭ３の訓練終了後に停止することに限定されない。より多くのカリキュラム学習サイクルを行って更に意味分類器ＩＣＭを更新し、これにより意味分類器ＩＣＭの正確率を更に高めることができる。
【0072】
注意すべきこととして、第３意味分類器ＩＣＭ３を訓練するとともに、第３更新拡張サブセットＤＧ３ｕをカリキュラム学習形態の第３ラウンドＲ３における訓練データとする。これは、初期段階で第１意味分類器ＩＣＭ１に基づいて生成された第３拡張サブセットＤＧ３に比べて、第３更新拡張サブセットＤＧ３ｕが後続の段階で第２意味分類器ＩＣＭ２の予測結果に基づいて生成されたものであるためである。比較した結果、第３更新拡張サブセットＤＧ３ｕは、信頼性が高い。そのため、第３更新拡張サブセットＤＧ３ｕを訓練データに追加して、拡張データの変化と豊かさを更に高めることができる。
【0073】
本開示の特定の実施例は、上記実施例について開示しているが、上記実施例は、本開示を限定することを意図していない。様々な代替及び改良は、本開示の原理及び精神から逸脱することなく、関連する分野の当業者によって本開示において実行されることができる。したがって、本開示の保護範囲は、添付の特許出願の範囲によって決定される。
【符号の説明】
【0074】
１００：言語処理システム
１２０：記憶ユニット
１４０：処理ユニット
１４２：フレーズ書き換え装置
１４４：訓練エージェントプログラム
１４６：会話エンジン
１６０：ユーザインタフェース
２００：言語処理方法
Ａｉｎｉ：初期回答
ＡＤＩＡ：回答
ＣＬ１：第１信頼基準
ＣＬ２：第２信頼基準
Ｄａｕｇ：拡張データセット
Ｄａｕｇ＿Ｐ１：第１予測データセット
Ｄａｕｇ＿Ｐ２：第２予測データセット
ＤＧ１：第１拡張サブセット
ＤＧ２：第２拡張サブセット
ＤＧ３：第３拡張サブセット
ＤＧ４：第４拡張サブセット
ＤＧ１ｕ：第１更新拡張サブセット
ＤＧ２ｕ：第２更新拡張サブセット
ＤＧ３ｕ：第３更新拡張サブセット
ＤＧ４ｕ：第４更新拡張サブセット
Ｄｉｎｉ：初期データセット
ＩＣＭ：意味分類器
ＩＣＭ１：第１意味分類器
ＩＣＭ２：第２意味分類器
ＩＣＭ３：第３意味分類器
Ｐ１：第１初期フレーズ
Ｐ１ａ１、Ｐ１ａ２、Ｐ１ａ３、Ｐ１ａ４、Ｐ１ａ５：拡張フレーズ
Ｐ２：第２初期フレーズ
Ｐ２ａ１、Ｐ２ａ５：拡張フレーズ
Ｐ３：第３初期フレーズ
Ｐ３ａ１、Ｐ３ａ５：拡張フレーズ
Ｐａｕｇ：拡張フレーズ
ＰＤＩＡ：入力フレーズ
Ｐｉｎｉ：初期フレーズ
Ｒ１：第１ラウンド
Ｒ２：第２ラウンド
Ｒ３：第３ラウンド
Ｓ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０、Ｓ２５０：工程
Ｓ２６０、Ｓ２７０、Ｓ２８０、Ｓ２９０：工程
Ｓ３１０、Ｓ３２０：工程
Ｔ１：第１意味ラベル
Ｔ２：第２意味ラベル
Ｔ３：第３意味ラベル
ＴＰ１：第１予測意味ラベル
ＴＰ２：第２予測意味ラベル
ＴＤＩＡ：意味
Ｔｉｎｉ：初期意味ラベル
Ｕ１：ユーザ
１２０：記憶ユニット
１４０：処理ユニット
１４２：フレーズ書き換え装置
１４４：訓練エージェントプログラム
１４６：会話エンジン
１６０：ユーザインタフェース
２００：言語処理方法
Ａｉｎｉ：初期回答
ＡＤＩＡ：回答
ＣＬ１：第１信頼基準
ＣＬ２：第２信頼基準
Ｄａｕｇ：拡張データセット
Ｄａｕｇ＿Ｐ１：第１予測データセット
Ｄａｕｇ＿Ｐ２：第２予測データセット
ＤＧ１：第１拡張サブセット
ＤＧ２：第２拡張サブセット
ＤＧ３：第３拡張サブセット
ＤＧ４：第４拡張サブセット
ＤＧ１ｕ：第１更新拡張サブセット
ＤＧ２ｕ：第２更新拡張サブセット
ＤＧ３ｕ：第３更新拡張サブセット
ＤＧ４ｕ：第４更新拡張サブセット
Ｄｉｎｉ：初期データセット
ＩＣＭ：意味分類器
ＩＣＭ１：第１意味分類器
ＩＣＭ２：第２意味分類器
ＩＣＭ３：第３意味分類器
Ｐ１：第１初期フレーズ
Ｐ１ａ１、Ｐ１ａ２、Ｐ１ａ３、Ｐ１ａ４、Ｐ１ａ５：拡張フレーズ
Ｐ２：第２初期フレーズ
Ｐ２ａ１、Ｐ２ａ５：拡張フレーズ
Ｐ３：第３初期フレーズ
Ｐ３ａ１、Ｐ３ａ５：拡張フレーズ
Ｐａｕｇ：拡張フレーズ
ＰＤＩＡ：入力フレーズ
Ｐｉｎｉ：初期フレーズ
Ｒ１：第１ラウンド
Ｒ２：第２ラウンド
Ｒ３：第３ラウンド
Ｓ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０、Ｓ２５０：工程
Ｓ２６０、Ｓ２７０、Ｓ２８０、Ｓ２９０：工程
Ｓ３１０、Ｓ３２０：工程
Ｔ１：第１意味ラベル
Ｔ２：第２意味ラベル
Ｔ３：第３意味ラベル
ＴＰ１：第１予測意味ラベル
ＴＰ２：第２予測意味ラベル
ＴＤＩＡ：意味
Ｔｉｎｉ：初期意味ラベル
Ｕ１：ユーザ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【手続補正書】
【提出日】2024-05-16
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【0002】
大規模言語モデル（ｌａｒｇｅ ｌａｎｇｕａｇｅ ｍｏｄｅｌ、ＬＬＭ）は、入力文字の意味を理解し、人間の応答に類似した回答文字の内容を生成する人工知能モデルである。大規模言語モデルは、深層学習技術、例えば変換器（ｔｒａｎｓｆｏｒｍｅｒ）モデルなどのアーキテクチャを使用して文字を処理して生成する。入力文字を処理したり、合理的なインタラクティブな応答を生成したりするためには、大規模言語モデルは、入力文字の背後にある意味を区別し、意味のある応答を生成する必要がある。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【0045】
注意すべきこととして、上記実施例で説明される第１信頼閾値（例えば、８０％）と第２信頼閾値（例えば、８０％）は、例示的な説明に過ぎない。第１信頼閾値及び第２信頼閾値は、この特定の数値に限定されない。いくつかの他の実施例では、より多くの信頼閾値設定を導入して更に拡張フレーズを異なる信頼基準を有するより多くの拡張サブセットに分類し、例えば、同じ意味を有するラベルを１００％～８１％、８０％～６１％、６０％～４１％、４０％～２１％及び２０％～０％などの５つの信頼基準に分類し、また、異なる意味を有するラベルを１００％～８１％、８０％～６１％、６０～４１％、４０％～２１％と２０％～０％などの５つの信頼基準に分類する。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【0054】
図１及び図２に示すように、工程Ｓ３１０において、第２意味分類器ＩＣＭ２を利用して、ユーザＵ１により入力された入力フレーズＰＤＩＡの意味ＴＤＩＡを識別することができる。工程Ｓ３２０において、会話エンジン１４６は、入力フレーズＰＤＩＡの意味ＴＤＩＡに基づいて（第２意味分類器ＩＣＭ２に基づく分類結果）回答ＡＤＩＡを生成することができる。いくつかの実施例では、本開示は、第２意味分類器ＩＣＭ２の訓練終了後に停止することに限定されない。より多くのカリキュラム学習サイクルを行って更に意味分類器ＩＣＭを更新し、これにより意味分類器ＩＣＭの正確率を更に高めることができる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【0068】
図９に示すように、工程Ｓ２９０におけるカリキュラム学習形態の第３ラウンドＲ３で、訓練エージェントプログラム１４４は、初期データセットＤｉｎｉ、第１更新拡張サブセットＤＧ１、第２更新拡張サブセットＤＧ２及び第３更新拡張サブセットＤＧ３に基づいて第３意味分類器ＩＣＭ３を訓練する。注意すべきこととして、第２意味分類器ＩＣＭ２により生成された第３更新拡張サブセットＤＧ３ｕにおける拡張フレーズＰ１ａ４に関連する第２予測意味ラベルＴＰ２は、この第３意味分類器ＩＣＭ３を訓練するためのグラウンドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）として生成される。つまり、拡張フレーズＰ１ａ４は、第１意味ラベルＴ１に関連するフレーズと見なされなくなり、第２意味ラベルＴ２に関連するフレーズ（第２意味分類器ＩＣＭ２の予測結果に基づく）と見なされるように変更される。
【外国語明細書】