▶ ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッドの特許一覧
特開2023-182707深層学習モデルに基づくデータ生成方法、トレーニング方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023182707
(43)【公開日】2023-12-26
(54)【発明の名称】深層学習モデルに基づくデータ生成方法、トレーニング方法及び装置
(51)【国際特許分類】
G06F 16/90 20190101AFI20231219BHJP
【ＦＩ】
G06F16/90 100
【審査請求】有
【請求項の数】49
【出願形態】ＯＬ
【外国語出願】
【公開請求】
(21)【出願番号】P 2023170081
(22)【出願日】2023-09-29
(31)【優先権主張番号】202310246603.9
(32)【優先日】2023-03-10
(33)【優先権主張国・地域又は機関】CN
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＵＮＩＸ
２．Ｌｉｎｕｘ
３．ＷＩＮＤＯＷＳ ＰＨＯＮＥ
４．ＡＮＤＲＯＩＤ
５．ＪＡＶＡ
(71)【出願人】
【識別番号】514322098
【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ
(74)【代理人】
【識別番号】110000578
【氏名又は名称】名古屋国際弁理士法人
(72)【発明者】
【氏名】ワン ハイフン
(72)【発明者】
【氏名】ウー フア
(72)【発明者】
【氏名】ティエン ハオ
(72)【発明者】
【氏名】スン ユウ
(72)【発明者】
【氏名】ウー ティエン
(72)【発明者】
【氏名】ホン ドウ
(57)【要約】 （修正有）
【課題】深層学習モデルを用いて、ユーザ入力データに基づいて生成する回答データの品質を向上させるデータ生成方法、トレーニング方法及び装置を提供する。
【解決手段】データ生成方法は、ユーザ入力データに基づいて深層学習モデルの初期入力を確定するステップＳ２０１と、第１の機能コンポーネントを呼び出すための第１のトークン及び初期入力に基づいて確定された、第１の機能コンポーネントによって識別できる第１の中間クエリを含むモデルの第１の出力を取得するステップＳ２０２と、第１の中間クエリに基づいて第１の機能コンポーネントによって確定された第１の中間結果を取得するステップＳ２０３と、初期入力及び第１の中間結果に基づいてモデルに用いられる第２の入力を確定するステップＳ２０４と、初期入力に対する回答を生成するために、モデルの第２の出力を取得するステップＳ２０５と、を含む。
【選択図】図２
【解決手段】データ生成方法は、ユーザ入力データに基づいて深層学習モデルの初期入力を確定するステップＳ２０１と、第１の機能コンポーネントを呼び出すための第１のトークン及び初期入力に基づいて確定された、第１の機能コンポーネントによって識別できる第１の中間クエリを含むモデルの第１の出力を取得するステップＳ２０２と、第１の中間クエリに基づいて第１の機能コンポーネントによって確定された第１の中間結果を取得するステップＳ２０３と、初期入力及び第１の中間結果に基づいてモデルに用いられる第２の入力を確定するステップＳ２０４と、初期入力に対する回答を生成するために、モデルの第２の出力を取得するステップＳ２０５と、を含む。
【選択図】図２
【特許請求の範囲】
【請求項1】
深層学習モデルに基づくデータ生成方法であって、前記深層学習モデルはユーザの入力データに基づいて回答データを生成することができ、前記データ生成方法は、
ユーザからの入力データに基づいて、前記深層学習モデルに用いられる初期入力を確定することと、
前記深層学習モデルの第１の出力を取得し、ここでは、前記深層学習モデルが前記初期入力に基づいて回答を生成するのに前記深層学習モデルとは異なる第１の機能コンポーネントを呼び出す必要があると確定したことに応答して、前記第１の出力は前記第１の機能コンポーネントを呼び出すための第１のトークン及び前記初期入力に基づいて確定された、前記第１の機能コンポーネントによって識別できる第１の中間クエリを含むことと、
前記第１の中間クエリに基づいて前記第１の機能コンポーネントによって確定された第１の中間結果を取得することと、
少なくとも前記初期入力及び前記第１の中間結果に基づいて、前記深層学習モデルに用いられる第２の入力を確定することと、
前記初期入力に対する前記回答を生成するために、前記深層学習モデルの第２の出力を取得することとを含むことを特徴とする深層学習モデルに基づくデータ生成方法。
ユーザからの入力データに基づいて、前記深層学習モデルに用いられる初期入力を確定することと、
前記深層学習モデルの第１の出力を取得し、ここでは、前記深層学習モデルが前記初期入力に基づいて回答を生成するのに前記深層学習モデルとは異なる第１の機能コンポーネントを呼び出す必要があると確定したことに応答して、前記第１の出力は前記第１の機能コンポーネントを呼び出すための第１のトークン及び前記初期入力に基づいて確定された、前記第１の機能コンポーネントによって識別できる第１の中間クエリを含むことと、
前記第１の中間クエリに基づいて前記第１の機能コンポーネントによって確定された第１の中間結果を取得することと、
少なくとも前記初期入力及び前記第１の中間結果に基づいて、前記深層学習モデルに用いられる第２の入力を確定することと、
前記初期入力に対する前記回答を生成するために、前記深層学習モデルの第２の出力を取得することとを含むことを特徴とする深層学習モデルに基づくデータ生成方法。
【請求項2】
前記第１の機能コンポーネントは、前記ユーザに関連する第１のデータグループセットを記憶する外部メモリバンクであり、ここでは、前記第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、前記履歴入力データアイテムに対して前記深層学習モデルによって生成された履歴回答アイテムとを含むことを特徴とする請求項１に記載のデータ生成方法。
【請求項3】
前記第１の中間クエリは、前記入力データに基づくものであり、ここでは、前記第１の中間結果は、前記第１のデータグループセットにおける、前記入力データとの類似度が第１の閾値より高い履歴入力データアイテムに対応する履歴回答アイテムであることを特徴とする請求項２に記載のデータ生成方法。
【請求項4】
前記方法は、
前記入力データ及び前記回答に基づく第１のデータグループと前記第１のデータグループセットにおけるいずれかのデータグループとの類似度が第２の閾値より小さいと確定したことに応答して、前記第１のデータグループを前記第１のデータグループセットにエンターすることをさらに含むことを特徴とする請求項２に記載のデータ生成方法。
前記入力データ及び前記回答に基づく第１のデータグループと前記第１のデータグループセットにおけるいずれかのデータグループとの類似度が第２の閾値より小さいと確定したことに応答して、前記第１のデータグループを前記第１のデータグループセットにエンターすることをさらに含むことを特徴とする請求項２に記載のデータ生成方法。
【請求項5】
前記方法は、
前記入力データ及び前記回答に基づく第１のデータグループと、前記第１のデータグループセットにおける第２のデータグループとの類似度が第３の閾値より高く、かつ前記第１のデータグループと前記第２のデータグループが相互に衝突していると確定したことに応答して、前記第１のデータグループを前記第１のデータグループセットにエンターし、前記第２のデータグループを前記第１のデータグループセットから削除することをさらに含むことを特徴とする請求項２に記載のデータ生成方法。
前記入力データ及び前記回答に基づく第１のデータグループと、前記第１のデータグループセットにおける第２のデータグループとの類似度が第３の閾値より高く、かつ前記第１のデータグループと前記第２のデータグループが相互に衝突していると確定したことに応答して、前記第１のデータグループを前記第１のデータグループセットにエンターし、前記第２のデータグループを前記第１のデータグループセットから削除することをさらに含むことを特徴とする請求項２に記載のデータ生成方法。
【請求項6】
前記第１のデータグループセットにおける各データグループは、そのセットにける履歴入力データアイテム及び履歴回答アイテムに対応するエントリ時間アイテムをさらに含むことを特徴とする請求項２に記載のデータ生成方法。
【請求項7】
前記第１の中間クエリは、前記入力データに基づくものであり、ここでは、前記第１の中間結果は、前記第１のデータグループセットにおける、前記入力データとの類似度が第１の閾値より高く、かつタイムスタンプが最新の履歴入力データアイテムに対応する履歴回答アイテムであることを特徴とする請求項６に記載のデータ生成方法。
【請求項8】
前記方法は、
前記エントリ時間アイテムに基づいて、時効性が古いデータグループを前記外部メモリバンクから削除することをさらに含むことを特徴とする請求項６に記載のデータ生成方法。
前記エントリ時間アイテムに基づいて、時効性が古いデータグループを前記外部メモリバンクから削除することをさらに含むことを特徴とする請求項６に記載のデータ生成方法。
【請求項9】
前記の、前記深層学習モデルに用いられる初期入力を確定することは、
前記入力データに基づいて、外部メモリバンクから前記入力データとの類似度が第１の閾値より高い履歴入力データアイテムに対応する履歴回答アイテムを取得することと、
前記入力データ及び前記履歴回答アイテムに基づいて、前記初期入力を確定することとを含み、ここでは、
前記外部メモリバンクには前記ユーザに関連する第１のデータグループセットが記憶され、ここでは、前記第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、前記履歴入力データアイテムに対して前記深層学習モデルによって生成された履歴回答アイテムとを含むことを特徴とする請求項１に記載のデータ生成方法。
前記入力データに基づいて、外部メモリバンクから前記入力データとの類似度が第１の閾値より高い履歴入力データアイテムに対応する履歴回答アイテムを取得することと、
前記入力データ及び前記履歴回答アイテムに基づいて、前記初期入力を確定することとを含み、ここでは、
前記外部メモリバンクには前記ユーザに関連する第１のデータグループセットが記憶され、ここでは、前記第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、前記履歴入力データアイテムに対して前記深層学習モデルによって生成された履歴回答アイテムとを含むことを特徴とする請求項１に記載のデータ生成方法。
【請求項10】
前記初期入力は、前記入力データのコンテキスト情報を含むことを特徴とする請求項１に記載のデータ生成方法。
【請求項11】
前記の、前記深層学習モデルに用いられる初期入力を確定することは、
外部メモリバンクから前記入力データと前記コンテキスト情報との類似度が第４の閾値に符合する少なくとも一対の履歴入力データアイテム及び履歴回答アイテムを取得することと、
前記入力データと、前記コンテキスト情報と、前記少なくとも一対の履歴入力データアイテム及び履歴回答アイテムとに基づいて、前記深層学習モデルに用いられる前記初期入力を確定することとを含み、ここでは、
前記外部メモリバンクには前記ユーザに関連する第１のデータグループセットが記憶され、ここでは、前記第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、前記履歴入力データアイテムに対して前記深層学習モデルによって生成された履歴回答アイテムとを含むことを特徴とする請求項１０に記載のデータ生成方法。
外部メモリバンクから前記入力データと前記コンテキスト情報との類似度が第４の閾値に符合する少なくとも一対の履歴入力データアイテム及び履歴回答アイテムを取得することと、
前記入力データと、前記コンテキスト情報と、前記少なくとも一対の履歴入力データアイテム及び履歴回答アイテムとに基づいて、前記深層学習モデルに用いられる前記初期入力を確定することとを含み、ここでは、
前記外部メモリバンクには前記ユーザに関連する第１のデータグループセットが記憶され、ここでは、前記第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、前記履歴入力データアイテムに対して前記深層学習モデルによって生成された履歴回答アイテムとを含むことを特徴とする請求項１０に記載のデータ生成方法。
【請求項12】
前記第１の機能コンポーネントは、外部サーチエンジンであることを特徴とする請求項９～１１のいずれか一項に記載のデータ生成方法。
【請求項13】
前記第１の機能コンポーネントは、前記深層学習モデルと連合してトレーニングされた検索モデルであることを特徴とする請求項９～１１のいずれか一項に記載のデータ生成方法。
【請求項14】
前記第１の機能コンポーネントは、前記深層学習モデルによって呼び出すことができる少なくとも１つのアプリケーションプログラミングインターフェースであることを特徴とする請求項９～１１のいずれか一項に記載のデータ生成方法。
【請求項15】
前記の、少なくとも前記初期入力及び前記第１の中間結果に基づいて、前記深層学習モデルに用いられる第２の入力を確定することは、
前記初期入力、前記第１の中間結果、及び前記第１の中間クエリに基づいて、前記深層学習モデルに用いられる第２の入力を確定することを含むことを特徴とする請求項１～１１のいずれか一項に記載のデータ生成方法。
前記初期入力、前記第１の中間結果、及び前記第１の中間クエリに基づいて、前記深層学習モデルに用いられる第２の入力を確定することを含むことを特徴とする請求項１～１１のいずれか一項に記載のデータ生成方法。
【請求項16】
前記第２の出力は、前記深層学習モデルとは異なる任意の機能コンポーネントを呼び出すための対応するトークンを含まず、ここでは、
前記の、前記初期入力に対する前記回答を生成するために、前記深層学習モデルの第２の出力を取得することは、
前記第２の出力を、前記初期入力に対する前記回答とすることを含むことを特徴とする請求項１～１１のいずれか一項に記載のデータ生成方法。
前記の、前記初期入力に対する前記回答を生成するために、前記深層学習モデルの第２の出力を取得することは、
前記第２の出力を、前記初期入力に対する前記回答とすることを含むことを特徴とする請求項１～１１のいずれか一項に記載のデータ生成方法。
【請求項17】
前記第２の出力は、第２の機能コンポーネントを呼び出すための第２のトークンと、前記第２の入力に基づいて得られた、前記第２の機能コンポーネントによって識別できる第２の中間クエリを含み、ここでは、
前記の、前記初期入力に対する前記回答を生成するために、前記深層学習モデルの第２の出力を取得することは、
前記第２の出力に対して対応する機能呼び出し操作を実行することであって、前記機能呼び出し操作が、
前記第２の中間クエリに基づいて前記第２の機能コンポーネントによって確定された第２の中間結果を取得することと、
少なくとも前記第２の入力及び前記第２の中間結果に基づいて、前記深層学習モデルに用いられる第３の入力を確定することと、
前記深層学習モデルの第３の出力を取得することとを含むものと、
第Ｎの機能コンポーネントを呼び出すための第Ｎのトークン及び第Ｎの入力に基づいて得られた、前記第Ｎの機能コンポーネントによって識別できる第Ｎの中間クエリを前記深層学習モデルの第Ｎの出力に含むことに応答して、第Ｎ＋１の出力に前記深層学習モデルとは異なる任意の機能コンポーネントを呼び出すための対応するトークンが含まれないと確定されるまで、前記第Ｎの出力に対応する機能呼び出し操作を実行し、前記第Ｎ＋１の出力を前記初期入力に対する前記回答とし、ここでは、Ｎは２より大きい整数であることとを含むことを特徴とする請求項１～１１のいずれか一項に記載のデータ生成方法。
前記の、前記初期入力に対する前記回答を生成するために、前記深層学習モデルの第２の出力を取得することは、
前記第２の出力に対して対応する機能呼び出し操作を実行することであって、前記機能呼び出し操作が、
前記第２の中間クエリに基づいて前記第２の機能コンポーネントによって確定された第２の中間結果を取得することと、
少なくとも前記第２の入力及び前記第２の中間結果に基づいて、前記深層学習モデルに用いられる第３の入力を確定することと、
前記深層学習モデルの第３の出力を取得することとを含むものと、
第Ｎの機能コンポーネントを呼び出すための第Ｎのトークン及び第Ｎの入力に基づいて得られた、前記第Ｎの機能コンポーネントによって識別できる第Ｎの中間クエリを前記深層学習モデルの第Ｎの出力に含むことに応答して、第Ｎ＋１の出力に前記深層学習モデルとは異なる任意の機能コンポーネントを呼び出すための対応するトークンが含まれないと確定されるまで、前記第Ｎの出力に対応する機能呼び出し操作を実行し、前記第Ｎ＋１の出力を前記初期入力に対する前記回答とし、ここでは、Ｎは２より大きい整数であることとを含むことを特徴とする請求項１～１１のいずれか一項に記載のデータ生成方法。
【請求項18】
前記第２の機能コンポーネント及び第Ｎの機能コンポーネントは、それぞれ、
外部サーチエンジンと、
前記深層学習モデルと連合してトレーニングされた検索モデルと、
前記深層学習モデルによって呼び出すことができる少なくとも１つのアプリケーションプログラミングインターフェースと、
外部メモリバンクとを含む機能コンポーネントグループのうちの一つであり、前記外部メモリバンクには前記ユーザに関連する第１のデータグループセットが記憶され、ここでは、前記第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、前記履歴入力データアイテムに対して前記深層学習モデルによって生成された履歴回答アイテムとを含むことを特徴とする請求項１７に記載のデータ生成方法。
外部サーチエンジンと、
前記深層学習モデルと連合してトレーニングされた検索モデルと、
前記深層学習モデルによって呼び出すことができる少なくとも１つのアプリケーションプログラミングインターフェースと、
外部メモリバンクとを含む機能コンポーネントグループのうちの一つであり、前記外部メモリバンクには前記ユーザに関連する第１のデータグループセットが記憶され、ここでは、前記第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、前記履歴入力データアイテムに対して前記深層学習モデルによって生成された履歴回答アイテムとを含むことを特徴とする請求項１７に記載のデータ生成方法。
【請求項19】
深層学習モデルのトレーニング方法であって、前記深層学習モデルはユーザの入力データに基づいて回答データを生成するために用いられ、前記トレーニング方法は、
第１のサンプルデータを取得し、前記第１のサンプルデータは第１のサンプル初期入力及び第１のサンプル出力を含み、ここでは、前記第１のサンプル初期入力は前記深層学習モデルとは異なる第１のプリセット機能コンポーネントを呼び出す意図表現を含み、且つ、前記第１のサンプル出力は前記第１のプリセット機能コンポーネントを呼び出すための第１のトークン及び前記第１のプリセット機能コンポーネントによって識別できる第１のサンプル中間入力を含むことと、
第２のサンプルデータを取得し、前記第２のサンプルデータは第２のサンプル初期入力及び第２のサンプル出力を含み、ここでは、前記第２のサンプル初期入力は前記深層学習モデルとは異なる任意のプリセット機能コンポーネントを呼び出す意図表現を含まず、且つ、前記第２のサンプル出力は任意のプリセット機能コンポーネントを呼び出すための対応するトークンを含まないことと、
前記深層学習モデルを利用して前記第１のサンプル初期入力を処理して、第１の予測出力を取得することと、
前記第１のサンプル出力と前記第１の予測出力との比較に基づいて、前記深層学習モデルのパラメータを調整することと、
前記深層学習モデルを利用して前記第２のサンプル初期入力を処理して、第２の予測出力を取得することと、
前記第２のサンプル出力と前記第２の予測出力との比較に基づいて、前記深層学習モデルのパラメータを調整することとを含むことを特徴とする深層学習モデルのトレーニング方法。
第１のサンプルデータを取得し、前記第１のサンプルデータは第１のサンプル初期入力及び第１のサンプル出力を含み、ここでは、前記第１のサンプル初期入力は前記深層学習モデルとは異なる第１のプリセット機能コンポーネントを呼び出す意図表現を含み、且つ、前記第１のサンプル出力は前記第１のプリセット機能コンポーネントを呼び出すための第１のトークン及び前記第１のプリセット機能コンポーネントによって識別できる第１のサンプル中間入力を含むことと、
第２のサンプルデータを取得し、前記第２のサンプルデータは第２のサンプル初期入力及び第２のサンプル出力を含み、ここでは、前記第２のサンプル初期入力は前記深層学習モデルとは異なる任意のプリセット機能コンポーネントを呼び出す意図表現を含まず、且つ、前記第２のサンプル出力は任意のプリセット機能コンポーネントを呼び出すための対応するトークンを含まないことと、
前記深層学習モデルを利用して前記第１のサンプル初期入力を処理して、第１の予測出力を取得することと、
前記第１のサンプル出力と前記第１の予測出力との比較に基づいて、前記深層学習モデルのパラメータを調整することと、
前記深層学習モデルを利用して前記第２のサンプル初期入力を処理して、第２の予測出力を取得することと、
前記第２のサンプル出力と前記第２の予測出力との比較に基づいて、前記深層学習モデルのパラメータを調整することとを含むことを特徴とする深層学習モデルのトレーニング方法。
【請求項20】
前記トレーニング方法は、
第３のサンプル初期入力と、サンプルサーチクエリと、複数のサンプルサーチ結果と、前記第３のサンプル初期入力に対する前記深層学習モデルの第３のサンプル回答とを含む第３のサンプルデータを取得し、前記サンプルサーチクエリは、前記第３のサンプル初期入力に基づいて前記深層学習モデルによって生成されたサンプル中間入力であり、前記サンプル中間入力は、前記深層学習モデルとは異なる検索モデルによって識別可能であり、ここでは、前記複数のサンプルサーチ結果は前記サンプルサーチクエリに基づいて前記検索モデルによって出力された結果であることと、
前記複数のサンプルサーチ結果のそれぞれと前記第３のサンプル回答との一致度に基づいて、前記複数のサンプルサーチ結果にソーティング操作を行うことと、
ソーティングされた前記複数のサンプルサーチ結果に基づいて前記検索モデルをトレーニングすることとをさらに含むことを特徴とする請求項１９に記載のトレーニング方法。
第３のサンプル初期入力と、サンプルサーチクエリと、複数のサンプルサーチ結果と、前記第３のサンプル初期入力に対する前記深層学習モデルの第３のサンプル回答とを含む第３のサンプルデータを取得し、前記サンプルサーチクエリは、前記第３のサンプル初期入力に基づいて前記深層学習モデルによって生成されたサンプル中間入力であり、前記サンプル中間入力は、前記深層学習モデルとは異なる検索モデルによって識別可能であり、ここでは、前記複数のサンプルサーチ結果は前記サンプルサーチクエリに基づいて前記検索モデルによって出力された結果であることと、
前記複数のサンプルサーチ結果のそれぞれと前記第３のサンプル回答との一致度に基づいて、前記複数のサンプルサーチ結果にソーティング操作を行うことと、
ソーティングされた前記複数のサンプルサーチ結果に基づいて前記検索モデルをトレーニングすることとをさらに含むことを特徴とする請求項１９に記載のトレーニング方法。
【請求項21】
前記の、前記複数のサンプルサーチ結果のそれぞれと前記第３のサンプル回答との一致度に基づいて、前記複数のサンプルサーチ結果にソーティング操作を行うことは、
前記複数のサンプルサーチ結果から現在の一致度が最も高い第１のサンプルサーチ結果をスクリーニングすることと、
前記第３のサンプル回答と前記第１のサンプルサーチ結果との重複内容を削除して、前記第３のサンプル回答を更新することと、
前記複数のサンプルサーチ結果の残り部分のそれぞれと前記更新された第３のサンプル回答との一致度に基づいて、前記複数のサンプルサーチ結果における全てのサンプルサーチ結果のソーティングが完了するまで、前記残り部分に対して前記ソーティング操作を繰り返すこととを含むことを特徴とする請求項２０に記載のトレーニング方法。
前記複数のサンプルサーチ結果から現在の一致度が最も高い第１のサンプルサーチ結果をスクリーニングすることと、
前記第３のサンプル回答と前記第１のサンプルサーチ結果との重複内容を削除して、前記第３のサンプル回答を更新することと、
前記複数のサンプルサーチ結果の残り部分のそれぞれと前記更新された第３のサンプル回答との一致度に基づいて、前記複数のサンプルサーチ結果における全てのサンプルサーチ結果のソーティングが完了するまで、前記残り部分に対して前記ソーティング操作を繰り返すこととを含むことを特徴とする請求項２０に記載のトレーニング方法。
【請求項22】
前記検索モデルは、ソーティングサブモデルとリコールサブモデルとを含み、前記の、ソーティングされた前記複数のサンプルサーチ結果に基づいて、前記検索モデルをトレーニングすることは、
ソーティングされた前記複数のサンプルサーチ結果に基づいて、前記検索モデルのソーティングサブモデルをトレーニングすることと、
トレーニングされた前記ソーティングサブモデルを教師モデルとして、前記リコールサブモデルをトレーニングすることとを含むことを特徴とする請求項２０又は２１に記載のトレーニング方法。
ソーティングされた前記複数のサンプルサーチ結果に基づいて、前記検索モデルのソーティングサブモデルをトレーニングすることと、
トレーニングされた前記ソーティングサブモデルを教師モデルとして、前記リコールサブモデルをトレーニングすることとを含むことを特徴とする請求項２０又は２１に記載のトレーニング方法。
【請求項23】
前記方法は、
第４のサンプルデータを取得し、前記第４のサンプルデータは第４のサンプル初期入力、外部メモリバンクによって識別できる第４のサンプル中間入力、サンプル記憶結果及び第４のサンプル回答を含み、前記第４のサンプル中間入力は前記第４のサンプル初期入力に基づいて確定されることと、
外部メモリバンクによって前記第４のサンプル中間入力に基づいて確定された予測記憶結果を取得することと、
前記予測記憶結果と前記サンプル記憶結果との比較に基づいて、前記外部メモリバンクのパラメータを調整することと、
少なくとも前記第４のサンプル初期入力及び前記サンプル記憶結果に基づいて、前記深層学習モデルに用いられる第４のサンプル目標入力を確定することと、
前記深層学習モデルを利用して前記第４のサンプル目標入力を処理して、第４の予測回答を取得することと、
前記第４のサンプル回答と前記第４の予測回答との比較に基づいて、前記深層学習モデルのパラメータを調整することとをさらに含むことを特徴とする請求項１９～２１のいずれか一項に記載のトレーニング方法。
第４のサンプルデータを取得し、前記第４のサンプルデータは第４のサンプル初期入力、外部メモリバンクによって識別できる第４のサンプル中間入力、サンプル記憶結果及び第４のサンプル回答を含み、前記第４のサンプル中間入力は前記第４のサンプル初期入力に基づいて確定されることと、
外部メモリバンクによって前記第４のサンプル中間入力に基づいて確定された予測記憶結果を取得することと、
前記予測記憶結果と前記サンプル記憶結果との比較に基づいて、前記外部メモリバンクのパラメータを調整することと、
少なくとも前記第４のサンプル初期入力及び前記サンプル記憶結果に基づいて、前記深層学習モデルに用いられる第４のサンプル目標入力を確定することと、
前記深層学習モデルを利用して前記第４のサンプル目標入力を処理して、第４の予測回答を取得することと、
前記第４のサンプル回答と前記第４の予測回答との比較に基づいて、前記深層学習モデルのパラメータを調整することとをさらに含むことを特徴とする請求項１９～２１のいずれか一項に記載のトレーニング方法。
【請求項24】
深層学習モデルに基づくデータ生成装置であって、前記深層学習モデルはユーザの入力データに基づいて回答データを生成することができ、前記データ生成装置は、
ユーザからの入力データに基づいて、前記深層学習モデルに用いられる初期入力を確定するように構成される第１の確定ユニットと、
前記深層学習モデルの第１の出力を取得し、ここでは、前記深層学習モデルが前記初期入力に基づいて回答を生成するのに前記深層学習モデルとは異なる第１の機能コンポーネントを呼び出す必要があると確定したことに応答して、前記第１の出力は前記第１の機能コンポーネントを呼び出すための第１のトークン及び前記初期入力に基づいて確定された、前記第１の機能コンポーネントによって識別できる第１の中間クエリを含むように構成される第１の取得ユニットと、
前記第１の中間クエリに基づいて前記第１の機能コンポーネントによって確定された第１の中間結果を取得するように構成される第２の取得ユニットと、
少なくとも前記初期入力及び前記第１の中間結果に基づいて、前記深層学習モデルに用いられる第２の入力を確定するように構成される第２の確定ユニットと、
前記初期入力に対する前記回答を生成するために、前記深層学習モデルの第２の出力を取得するように構成される第３の取得ユニットとを含むことを特徴とする深層学習モデルに基づくデータ生成装置。
ユーザからの入力データに基づいて、前記深層学習モデルに用いられる初期入力を確定するように構成される第１の確定ユニットと、
前記深層学習モデルの第１の出力を取得し、ここでは、前記深層学習モデルが前記初期入力に基づいて回答を生成するのに前記深層学習モデルとは異なる第１の機能コンポーネントを呼び出す必要があると確定したことに応答して、前記第１の出力は前記第１の機能コンポーネントを呼び出すための第１のトークン及び前記初期入力に基づいて確定された、前記第１の機能コンポーネントによって識別できる第１の中間クエリを含むように構成される第１の取得ユニットと、
前記第１の中間クエリに基づいて前記第１の機能コンポーネントによって確定された第１の中間結果を取得するように構成される第２の取得ユニットと、
少なくとも前記初期入力及び前記第１の中間結果に基づいて、前記深層学習モデルに用いられる第２の入力を確定するように構成される第２の確定ユニットと、
前記初期入力に対する前記回答を生成するために、前記深層学習モデルの第２の出力を取得するように構成される第３の取得ユニットとを含むことを特徴とする深層学習モデルに基づくデータ生成装置。
【請求項25】
前記第１の機能コンポーネントは、前記ユーザに関連する第１のデータグループセットを記憶する外部メモリバンクであり、ここでは、前記第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、前記履歴入力データアイテムに対して前記深層学習モデルによって生成された履歴回答アイテムとを含むことを特徴とする請求項２４に記載のデータ生成装置。
【請求項26】
前記第１の中間クエリは、前記入力データに基づくものであり、ここでは、前記第１の中間結果は、前記第１のデータグループセットにおける、前記入力データとの類似度が第１の閾値より高い履歴入力データアイテムに対応する履歴回答アイテムであることを特徴とする請求項２５に記載のデータ生成装置。
【請求項27】
前記装置は、
前記入力データ及び前記回答に基づく第１のデータグループと、前記第１のデータグループセットにおけるいずれかのデータグループとの類似度が第２の閾値より小さいと確定したことに応答して、前記第１のデータグループを前記第１のデータグループセットにエンターするように構成される第１のエントリユニットをさらに含むことを特徴とする請求項２５に記載のデータ生成装置。
前記入力データ及び前記回答に基づく第１のデータグループと、前記第１のデータグループセットにおけるいずれかのデータグループとの類似度が第２の閾値より小さいと確定したことに応答して、前記第１のデータグループを前記第１のデータグループセットにエンターするように構成される第１のエントリユニットをさらに含むことを特徴とする請求項２５に記載のデータ生成装置。
【請求項28】
前記装置は、
前記入力データ及び前記回答に基づく第１のデータグループと、前記第１のデータグループセットにおける第２のデータグループとの類似度が第３の閾値より高く、かつ前記第１のデータグループと前記第２のデータグループが相互に衝突していると確定したことに応答して、前記第１のデータグループを前記第１のデータグループセットにエンターし、前記第２のデータグループを前記第１のデータグループセットから削除するように構成される第２のエントリユニットをさらに含むことを特徴とする請求項２５に記載のデータ生成装置。
前記入力データ及び前記回答に基づく第１のデータグループと、前記第１のデータグループセットにおける第２のデータグループとの類似度が第３の閾値より高く、かつ前記第１のデータグループと前記第２のデータグループが相互に衝突していると確定したことに応答して、前記第１のデータグループを前記第１のデータグループセットにエンターし、前記第２のデータグループを前記第１のデータグループセットから削除するように構成される第２のエントリユニットをさらに含むことを特徴とする請求項２５に記載のデータ生成装置。
【請求項29】
前記第１のデータグループセットにおける各データグループは、そのセットにける履歴入力データアイテム及び履歴回答アイテムに対応するエントリ時間アイテムをさらに含むことを特徴とする請求項２５に記載のデータ生成装置。
【請求項30】
前記第１の中間クエリは、前記入力データに基づくものであり、ここでは、前記第１の中間結果は、前記第１のデータグループセットにおける、前記入力データとの類似度が第１の閾値より高く、かつタイムスタンプが最新の履歴入力データアイテムに対応する履歴回答アイテムであることを特徴とする請求項２９に記載のデータ生成装置。
【請求項31】
前記装置は、
前記エントリ時間アイテムに基づいて、時効性が古いデータグループを前記外部メモリバンクから削除するように構成される削除ユニットをさらに含むことを特徴とする請求項２９に記載のデータ生成装置。
前記エントリ時間アイテムに基づいて、時効性が古いデータグループを前記外部メモリバンクから削除するように構成される削除ユニットをさらに含むことを特徴とする請求項２９に記載のデータ生成装置。
【請求項32】
前記第１の確定ユニットは、
前記入力データに基づいて、外部メモリバンクから前記入力データとの類似度が第１の閾値より高い履歴入力データアイテムに対応する履歴回答アイテムを取得するように構成される第１の取得サブユニットと、
前記入力データ及び前記履歴回答アイテムに基づいて、前記初期入力を確定するように構成される第１の確定サブユニットとを含み、ここでは、
前記外部メモリバンクには前記ユーザに関連する第１のデータグループセットが記憶され、ここでは、前記第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、前記履歴入力データアイテムに対して前記深層学習モデルによって生成された履歴回答アイテムとを含むことを特徴とする請求項２４に記載のデータ生成装置。
前記入力データに基づいて、外部メモリバンクから前記入力データとの類似度が第１の閾値より高い履歴入力データアイテムに対応する履歴回答アイテムを取得するように構成される第１の取得サブユニットと、
前記入力データ及び前記履歴回答アイテムに基づいて、前記初期入力を確定するように構成される第１の確定サブユニットとを含み、ここでは、
前記外部メモリバンクには前記ユーザに関連する第１のデータグループセットが記憶され、ここでは、前記第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、前記履歴入力データアイテムに対して前記深層学習モデルによって生成された履歴回答アイテムとを含むことを特徴とする請求項２４に記載のデータ生成装置。
【請求項33】
前記初期入力は、前記入力データのコンテキスト情報を含むことを特徴とする請求項２４に記載のデータ生成装置。
【請求項34】
前記第１の確定ユニットは、
外部メモリバンクから前記入力データと前記コンテキスト情報との類似度が第４の閾値に符合する少なくとも一対の履歴入力データアイテム及び履歴回答アイテムを取得するように構成される第２の取得サブユニットと、
前記入力データと、前記コンテキスト情報と、前記少なくとも一対の履歴入力データアイテム及び履歴回答アイテムとに基づいて、前記深層学習モデルに用いられる前記初期入力を確定するように構成される第２の確定サブユニットとを含み、ここでは、
前記外部メモリバンクには前記ユーザに関連する第１のデータグループセットが記憶され、ここでは、前記第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、前記履歴入力データアイテムに対して前記深層学習モデルによって生成された履歴回答アイテムとを含むことを特徴とする請求項３３に記載のデータ生成装置。
外部メモリバンクから前記入力データと前記コンテキスト情報との類似度が第４の閾値に符合する少なくとも一対の履歴入力データアイテム及び履歴回答アイテムを取得するように構成される第２の取得サブユニットと、
前記入力データと、前記コンテキスト情報と、前記少なくとも一対の履歴入力データアイテム及び履歴回答アイテムとに基づいて、前記深層学習モデルに用いられる前記初期入力を確定するように構成される第２の確定サブユニットとを含み、ここでは、
前記外部メモリバンクには前記ユーザに関連する第１のデータグループセットが記憶され、ここでは、前記第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、前記履歴入力データアイテムに対して前記深層学習モデルによって生成された履歴回答アイテムとを含むことを特徴とする請求項３３に記載のデータ生成装置。
【請求項35】
前記第１の機能コンポーネントは、外部サーチエンジンであることを特徴とする請求項３２～３４のいずれか一項に記載のデータ生成装置。
【請求項36】
前記第１の機能コンポーネントは、前記深層学習モデルと連合してトレーニングされた検索モデルであることを特徴とする請求項３２～３４のいずれか一項に記載のデータ生成装置。
【請求項37】
前記第１の機能コンポーネントは、前記深層学習モデルによって呼び出すことができる少なくとも１つのアプリケーションプログラミングインターフェースであることを特徴とする請求項３２～３４のいずれか一項に記載のデータ生成装置。
【請求項38】
前記第２の確定ユニットは、
前記初期入力、前記第１の中間結果、及び前記第１の中間クエリに基づいて、前記深層学習モデルに用いられる第２の入力を確定するように構成される第３の確定サブユニットを含むことを特徴とする請求項２４～３４のいずれか一項に記載のデータ生成装置。
前記初期入力、前記第１の中間結果、及び前記第１の中間クエリに基づいて、前記深層学習モデルに用いられる第２の入力を確定するように構成される第３の確定サブユニットを含むことを特徴とする請求項２４～３４のいずれか一項に記載のデータ生成装置。
【請求項39】
前記第２の出力は、前記深層学習モデルとは異なる任意の機能コンポーネントを呼び出すための対応するトークンを含まず、ここでは、
前記第３の取得ユニットは、
前記第２の出力を、前記初期入力に対する前記回答とするように構成される回答サブユニットを含むことを特徴とする請求項２４～３４のいずれか一項に記載のデータ生成装置。
前記第３の取得ユニットは、
前記第２の出力を、前記初期入力に対する前記回答とするように構成される回答サブユニットを含むことを特徴とする請求項２４～３４のいずれか一項に記載のデータ生成装置。
【請求項40】
前記第２の出力は、第２の機能コンポーネントを呼び出すための第２のトークンと、前記第２の入力に基づいて得られた、前記第２の機能コンポーネントによって識別できる第２の中間クエリを含み、ここでは、
前記第３の取得ユニットは、
前記第２の出力に対して対応する機能呼び出し操作を実行するように構成される第３の取得サブユニットを含み、前記機能呼び出し操作が、
前記第２の中間クエリに基づいて前記第２の機能コンポーネントによって確定された第２の中間結果を取得することと、
少なくとも前記第２の入力及び前記第２の中間結果に基づいて、前記深層学習モデルに用いられる第３の入力を確定することと、
前記深層学習モデルの第３の出力を取得することとを含むものと、
第Ｎの機能コンポーネントを呼び出すための第Ｎのトークン及び第Ｎの入力に基づいて得られた、前記第Ｎの機能コンポーネントによって識別できる第Ｎの中間クエリを前記深層学習モデルの第Ｎの出力に含むことに応答して、第Ｎ＋１の出力に前記深層学習モデルとは異なる任意の機能コンポーネントを呼び出すための対応するトークンが含まれないと確定されるまで、前記第Ｎの出力に対応する機能呼び出し操作を実行し、前記第Ｎ＋１の出力を前記初期入力に対する前記回答とし、ここでは、Ｎは２より大きい整数であるように構成される呼び出しサブユニットとを含むことを特徴とする請求項２４～３４のいずれか一項に記載のデータ生成装置。
前記第３の取得ユニットは、
前記第２の出力に対して対応する機能呼び出し操作を実行するように構成される第３の取得サブユニットを含み、前記機能呼び出し操作が、
前記第２の中間クエリに基づいて前記第２の機能コンポーネントによって確定された第２の中間結果を取得することと、
少なくとも前記第２の入力及び前記第２の中間結果に基づいて、前記深層学習モデルに用いられる第３の入力を確定することと、
前記深層学習モデルの第３の出力を取得することとを含むものと、
第Ｎの機能コンポーネントを呼び出すための第Ｎのトークン及び第Ｎの入力に基づいて得られた、前記第Ｎの機能コンポーネントによって識別できる第Ｎの中間クエリを前記深層学習モデルの第Ｎの出力に含むことに応答して、第Ｎ＋１の出力に前記深層学習モデルとは異なる任意の機能コンポーネントを呼び出すための対応するトークンが含まれないと確定されるまで、前記第Ｎの出力に対応する機能呼び出し操作を実行し、前記第Ｎ＋１の出力を前記初期入力に対する前記回答とし、ここでは、Ｎは２より大きい整数であるように構成される呼び出しサブユニットとを含むことを特徴とする請求項２４～３４のいずれか一項に記載のデータ生成装置。
【請求項41】
前記第２の機能コンポーネント及び第Ｎの機能コンポーネントは、それぞれ、
外部サーチエンジンと、
前記深層学習モデルと連合してトレーニングされた検索モデルと、
前記深層学習モデルによって呼び出すことができる少なくとも１つのアプリケーションプログラミングインターフェースと、
外部メモリバンクとを含む機能コンポーネントグループのうちの一つであり、前記外部メモリバンクには前記ユーザに関連する第１のデータグループセットが記憶され、ここでは、前記第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、前記履歴入力データアイテムに対して前記深層学習モデルによって生成された履歴回答アイテムとを含むことを特徴とする請求項４０に記載のデータ生成装置。
外部サーチエンジンと、
前記深層学習モデルと連合してトレーニングされた検索モデルと、
前記深層学習モデルによって呼び出すことができる少なくとも１つのアプリケーションプログラミングインターフェースと、
外部メモリバンクとを含む機能コンポーネントグループのうちの一つであり、前記外部メモリバンクには前記ユーザに関連する第１のデータグループセットが記憶され、ここでは、前記第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、前記履歴入力データアイテムに対して前記深層学習モデルによって生成された履歴回答アイテムとを含むことを特徴とする請求項４０に記載のデータ生成装置。
【請求項42】
深層学習モデルのトレーニング装置であって、前記深層学習モデルはユーザの入力データに基づいて回答データを生成するために用いられ、前記トレーニング装置は、
第１のサンプルデータを取得し、前記第１のサンプルデータは第１のサンプル初期入力及び第１のサンプル出力を含み、ここでは、前記第１のサンプル初期入力は前記深層学習モデルとは異なる第１のプリセット機能コンポーネントを呼び出す意図表現を含み、且つ、前記第１のサンプル出力は前記第１のプリセット機能コンポーネントを呼び出すための第１のトークン及び前記第１のプリセット機能コンポーネントによって識別できる第１のサンプル中間入力を含むように構成される第４の取得ユニットと、
第２のサンプルデータを取得し、前記第２のサンプルデータは第２のサンプル初期入力及び第２のサンプル出力を含み、ここでは、前記第２のサンプル初期入力は前記深層学習モデルとは異なる任意のプリセット機能コンポーネントを呼び出す意図表現を含まず、且つ、前記第２のサンプル出力は任意のプリセット機能コンポーネントを呼び出すための対応するトークンを含まないように構成される第５の取得ユニットと、
前記深層学習モデルを利用して前記第１のサンプル初期入力を処理して、第１の予測出力を取得するように構成される第１の処理ユニットと、
前記第１のサンプル出力と前記第１の予測出力との比較に基づいて、前記深層学習モデルのパラメータを調整するように構成される第１のパラメータ調整ユニットと、
前記深層学習モデルを利用して前記第２のサンプル初期入力を処理して、第２の予測出力を取得するように構成される第２の処理ユニットと、
前記第２のサンプル出力と前記第２の予測出力との比較に基づいて、前記深層学習モデルのパラメータを調整するように構成される第２のパラメータ調整ユニットとを含むことを特徴とする深層学習モデルのトレーニング装置。
第１のサンプルデータを取得し、前記第１のサンプルデータは第１のサンプル初期入力及び第１のサンプル出力を含み、ここでは、前記第１のサンプル初期入力は前記深層学習モデルとは異なる第１のプリセット機能コンポーネントを呼び出す意図表現を含み、且つ、前記第１のサンプル出力は前記第１のプリセット機能コンポーネントを呼び出すための第１のトークン及び前記第１のプリセット機能コンポーネントによって識別できる第１のサンプル中間入力を含むように構成される第４の取得ユニットと、
第２のサンプルデータを取得し、前記第２のサンプルデータは第２のサンプル初期入力及び第２のサンプル出力を含み、ここでは、前記第２のサンプル初期入力は前記深層学習モデルとは異なる任意のプリセット機能コンポーネントを呼び出す意図表現を含まず、且つ、前記第２のサンプル出力は任意のプリセット機能コンポーネントを呼び出すための対応するトークンを含まないように構成される第５の取得ユニットと、
前記深層学習モデルを利用して前記第１のサンプル初期入力を処理して、第１の予測出力を取得するように構成される第１の処理ユニットと、
前記第１のサンプル出力と前記第１の予測出力との比較に基づいて、前記深層学習モデルのパラメータを調整するように構成される第１のパラメータ調整ユニットと、
前記深層学習モデルを利用して前記第２のサンプル初期入力を処理して、第２の予測出力を取得するように構成される第２の処理ユニットと、
前記第２のサンプル出力と前記第２の予測出力との比較に基づいて、前記深層学習モデルのパラメータを調整するように構成される第２のパラメータ調整ユニットとを含むことを特徴とする深層学習モデルのトレーニング装置。
【請求項43】
前記トレーニング装置は、
第３のサンプル初期入力と、サンプルサーチクエリと、複数のサンプルサーチ結果と、前記第３のサンプル初期入力に対する前記深層学習モデルの第３のサンプル回答とを含む第３のサンプルデータを取得し、前記サンプルサーチクエリは、前記第３のサンプル初期入力に基づいて前記深層学習モデルによって生成されたサンプル中間入力であり、前記サンプル中間入力は、前記深層学習モデルとは異なる検索モデルによって識別可能であり、ここでは、前記複数のサンプルサーチ結果は前記サンプルサーチクエリに基づいて前記検索モデルによって出力された結果であるように構成される第６の取得ユニットと、
前記複数のサンプルサーチ結果のそれぞれと前記第３のサンプル回答との一致度に基づいて、前記複数のサンプルサーチ結果にソーティング操作を行うように構成されるソーティングユニットと、
ソーティングされた前記複数のサンプルサーチ結果に基づいて前記検索モデルをトレーニングするように構成されるトレーニングユニットとをさらに含むことを特徴とする請求項４２に記載のトレーニング装置。
第３のサンプル初期入力と、サンプルサーチクエリと、複数のサンプルサーチ結果と、前記第３のサンプル初期入力に対する前記深層学習モデルの第３のサンプル回答とを含む第３のサンプルデータを取得し、前記サンプルサーチクエリは、前記第３のサンプル初期入力に基づいて前記深層学習モデルによって生成されたサンプル中間入力であり、前記サンプル中間入力は、前記深層学習モデルとは異なる検索モデルによって識別可能であり、ここでは、前記複数のサンプルサーチ結果は前記サンプルサーチクエリに基づいて前記検索モデルによって出力された結果であるように構成される第６の取得ユニットと、
前記複数のサンプルサーチ結果のそれぞれと前記第３のサンプル回答との一致度に基づいて、前記複数のサンプルサーチ結果にソーティング操作を行うように構成されるソーティングユニットと、
ソーティングされた前記複数のサンプルサーチ結果に基づいて前記検索モデルをトレーニングするように構成されるトレーニングユニットとをさらに含むことを特徴とする請求項４２に記載のトレーニング装置。
【請求項44】
前記ソーティングユニットは、
前記複数のサンプルサーチ結果から現在の一致度が最も高い第１のサンプルサーチ結果をスクリーニングするように構成されるスクリーニングサブユニットと、
前記第３のサンプル回答と前記第１のサンプルサーチ結果との重複内容を削除して、前記第３のサンプル回答を更新するように構成される削除サブユニットと、
前記複数のサンプルサーチ結果の残り部分のそれぞれと前記更新された第３のサンプル回答との一致度に基づいて、前記複数のサンプルサーチ結果における全てのサンプルサーチ結果のソーティングが完了するまで、前記残り部分に対して前記ソーティング操作を繰り返すように構成されるソーティングサブユニットとを含むことを特徴とする請求項４３に記載のトレーニング装置。
前記複数のサンプルサーチ結果から現在の一致度が最も高い第１のサンプルサーチ結果をスクリーニングするように構成されるスクリーニングサブユニットと、
前記第３のサンプル回答と前記第１のサンプルサーチ結果との重複内容を削除して、前記第３のサンプル回答を更新するように構成される削除サブユニットと、
前記複数のサンプルサーチ結果の残り部分のそれぞれと前記更新された第３のサンプル回答との一致度に基づいて、前記複数のサンプルサーチ結果における全てのサンプルサーチ結果のソーティングが完了するまで、前記残り部分に対して前記ソーティング操作を繰り返すように構成されるソーティングサブユニットとを含むことを特徴とする請求項４３に記載のトレーニング装置。
【請求項45】
前記検索モデルはソーティングサブモデルとリコールサブモデルを含み、ここでは、前記トレーニングユニットは、
ソーティングされた前記複数のサンプルサーチ結果に基づいて、前記検索モデルのソーティングサブモデルをトレーニングするように構成される第１のトレーニングサブユニットと、
トレーニングされた前記ソーティングサブモデルを教師モデルとして、前記リコールサブモデルをトレーニングするように構成される第２のトレーニングサブユニットとを含むことを特徴とする請求項４３又は４４に記載のトレーニング装置。
ソーティングされた前記複数のサンプルサーチ結果に基づいて、前記検索モデルのソーティングサブモデルをトレーニングするように構成される第１のトレーニングサブユニットと、
トレーニングされた前記ソーティングサブモデルを教師モデルとして、前記リコールサブモデルをトレーニングするように構成される第２のトレーニングサブユニットとを含むことを特徴とする請求項４３又は４４に記載のトレーニング装置。
【請求項46】
前記トレーニング装置は、
第４のサンプルデータを取得し、前記第４のサンプルデータは第４のサンプル初期入力、外部メモリバンクによって識別できる第４のサンプル中間入力、サンプル記憶結果及び第４のサンプル回答を含み、前記第４のサンプル中間入力は前記第４のサンプル初期入力に基づいて確定されるように構成される第７の取得ユニットと、
外部メモリバンクによって前記第４のサンプル中間入力に基づいて確定された予測記憶結果を取得するように構成される第８の取得ユニットと、
前記予測記憶結果と前記サンプル記憶結果との比較に基づいて、前記外部メモリバンクのパラメータを調整するように構成される第３のパラメータ調整ユニットと、
少なくとも前記第４のサンプル初期入力及び前記サンプル記憶結果に基づいて、前記深層学習モデルに用いられる第４のサンプル目標入力を確定するように構成される第３の確定ユニットと、
前記深層学習モデルを利用して前記第４のサンプル目標入力を処理して、第４の予測回答を取得するように構成される第３の処理ユニットと、
前記第４のサンプル回答と前記第４の予測回答との比較に基づいて、前記深層学習モデルのパラメータを調整するように構成される第４のパラメータ調整ユニットとをさらに含むことを特徴とする請求項４２～４４のいずれか一項に記載のトレーニング装置。
第４のサンプルデータを取得し、前記第４のサンプルデータは第４のサンプル初期入力、外部メモリバンクによって識別できる第４のサンプル中間入力、サンプル記憶結果及び第４のサンプル回答を含み、前記第４のサンプル中間入力は前記第４のサンプル初期入力に基づいて確定されるように構成される第７の取得ユニットと、
外部メモリバンクによって前記第４のサンプル中間入力に基づいて確定された予測記憶結果を取得するように構成される第８の取得ユニットと、
前記予測記憶結果と前記サンプル記憶結果との比較に基づいて、前記外部メモリバンクのパラメータを調整するように構成される第３のパラメータ調整ユニットと、
少なくとも前記第４のサンプル初期入力及び前記サンプル記憶結果に基づいて、前記深層学習モデルに用いられる第４のサンプル目標入力を確定するように構成される第３の確定ユニットと、
前記深層学習モデルを利用して前記第４のサンプル目標入力を処理して、第４の予測回答を取得するように構成される第３の処理ユニットと、
前記第４のサンプル回答と前記第４の予測回答との比較に基づいて、前記深層学習モデルのパラメータを調整するように構成される第４のパラメータ調整ユニットとをさらに含むことを特徴とする請求項４２～４４のいずれか一項に記載のトレーニング装置。
【請求項47】
電子機器であって、前記電子機器は、
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサに通信接続されたメモリとを含み、ここで、
前記メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令は、少なくとも１つのプロセッサが請求項１～２３のいずれか一項に記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行されることを特徴とする電子機器。
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサに通信接続されたメモリとを含み、ここで、
前記メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令は、少なくとも１つのプロセッサが請求項１～２３のいずれか一項に記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行されることを特徴とする電子機器。
【請求項48】
コンピュータ命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記コンピュータ命令は、前記コンピュータに請求項１～２３のいずれか一項に記載の方法を実行させるために用いられることを特徴とするコンピュータ可読記憶媒体。
【請求項49】
コンピュータプログラムを含むコンピュータプログラム製品であって、前記コンピュータプログラムは、プロセッサにより実行されると、請求項１～２３のいずれか一項に記載の方法を実現するために用いられるコンピュータプログラム製品。
【発明の詳細な説明】
【発明の詳細な説明】
【0001】
【技術分野】
【0002】
本開示は、人工インテリジェントの技術分野に関し、特に、自然言語処理及び深層学習などの技術分野に関し、具体的に、深層学習モデルに基づくデータ生成方法、深層学習モデルのトレーニング方法、深層学習モデルに基づくデータ生成装置、深層学習モデルのトレーニング装置、電子機器、及びコンピュータ可読記憶媒体に関する。
【背景技術】
【0003】
人工インテリジェントは、コンピュータに人間のいくつかの思惟過程及びインテリジェント的行動（例えば、学習、推理、思考、計画など）を模擬させるように研究する科目であり、ハードウェア面の技術もあれば、ソフトウェア面の技術もある。人工インテリジェントのハードウェア技術は、一般的にセンサ、人工インテリジェント専用チップ、クラウドコンピューティング、分散ストレージ、ビッグデータ処理などの技術を含み、人工インテリジェントソフトウェア技術は主に自然言語処理技術、コンピュータ視覚技術、音声識別技術及び機械学習／深層学習、ビッグデータ処理技術、ナレッジグラフ技術などのいくつかの方向を含む。
【0004】
該部分で説明される方法は、必ずしも以前に想定された方法又は採用された方法ではない。特に断りのない限り、該部分に記載されているいずれの方法は、該部分に含まれるだけで従来技術であると考えられるべきではない。同様に、特に断りのない限り、該部分で言及されている課題は、従来の技術で承認されたものであると考えるべきではない。
【発明の概要】
【0005】
本開示は、深層学習モデルに基づくデータ生成方法、深層学習モデルのトレーニング方法、深層学習モデルに基づくデータ生成装置、深層学習モデルのトレーニング装置、電子機器、及びコンピュータ可読記憶媒体を提供する。
【0006】
本開示の一態様によれば、深層学習モデルに基づくデータ生成方法を提供する。深層学習モデルはユーザの入力データに基づいて回答データを生成することができる。データ生成方法は、ユーザからの入力データに基づいて、深層学習モデルに用いられる初期入力を確定することと、深層学習モデルの第１の出力を取得し、ここでは、深層学習モデルが初期入力に基づいて回答を生成するのに深層学習モデルとは異なる第１の機能コンポーネントを呼び出す必要があると確定したことに応答して、第１の出力は第１の機能コンポーネントを呼び出すための第１のトークン及び初期入力に基づいて確定された、第１の機能コンポーネントによって識別できる第１の中間クエリを含むことと、第１の中間クエリに基づいて第１の機能コンポーネントによって確定された第１の中間結果を取得することと、少なくとも初期入力及び第１の中間結果に基づいて、深層学習モデルに用いられる第２の入力を確定することと、初期入力に対する回答を生成するために、深層学習モデルの第２の出力を取得することとを含む。
【0007】
本開示の別の態様によれば、深層学習モデルのトレーニング方法を提供する。深層学習モデルはユーザの入力データに基づいて回答データを生成するために用いられる。トレーニング方法は、第１のサンプルデータを取得し、第１のサンプルデータは第１のサンプル初期入力及び第１のサンプル出力を含み、ここでは、第１のサンプル初期入力は深層学習モデルとは異なる第１のプリセット機能コンポーネントを呼び出す意図表現を含み、且つ、第１のサンプル出力は第１のプリセット機能コンポーネントを呼び出すための第１のトークン及び第１のプリセット機能コンポーネントによって識別できる第１のサンプル中間入力を含むことと、第２のサンプルデータを取得し、第２のサンプルデータは第２のサンプル初期入力及び第２のサンプル出力を含み、ここでは、第２のサンプル初期入力は深層学習モデルとは異なる任意のプリセット機能コンポーネントを呼び出す意図表現を含まず、且つ、第２のサンプル出力は任意のプリセット機能コンポーネントを呼び出すための対応するトークンを含まないことと、深層学習モデルを利用して第１のサンプル初期入力を処理して、第１の予測出力を取得することと、第１のサンプル出力と第１の予測出力との比較に基づいて、深層学習モデルのパラメータを調整することと、深層学習モデルを利用して第２のサンプル初期入力を処理して、第２の予測出力を取得することと、第２のサンプル出力と第２の予測出力との比較に基づいて、深層学習モデルのパラメータを調整することとを含む。
【0008】
本開示の別の態様によれば、深層学習モデルに基づくデータ生成装置を提供する。深層学習モデルはユーザの入力データに基づいて回答データを生成することができる。データ生成装置は、ユーザからの入力データに基づいて、深層学習モデルに用いられる初期入力を確定するように構成される第１の確定ユニットと、深層学習モデルの第１の出力を取得し、ここでは、深層学習モデルが初期入力に基づいて回答を生成するのに深層学習モデルとは異なる第１の機能コンポーネントを呼び出す必要があると確定したことに応答して、第１の出力は第１の機能コンポーネントを呼び出すための第１のトークン及び初期入力に基づいて確定された、第１の機能コンポーネントによって識別できる第１の中間クエリを含むように構成される第１の取得ユニットと、第１の中間クエリに基づいて第１の機能コンポーネントによって確定された第１の中間結果を取得するように構成される第２の取得ユニットと、少なくとも初期入力及び第１の中間結果に基づいて、深層学習モデルに用いられる第２の入力を確定するように構成される第２の確定ユニットと、初期入力に対する回答を生成するために、深層学習モデルの第２の出力を取得するように構成される第３の取得ユニットとを含む。
【0009】
本開示の別の態様によれば、深層学習モデルのトレーニング装置を提供する。深層学習モデルはユーザの入力データに基づいて回答データを生成するために用いられる。トレーニング装置は、第１のサンプルデータを取得し、第１のサンプルデータは第１のサンプル初期入力及び第１のサンプル出力を含み、ここでは、第１のサンプル初期入力は深層学習モデルとは異なる第１のプリセット機能コンポーネントを呼び出す意図表現を含み、且つ、第１のサンプル出力は第１のプリセット機能コンポーネントを呼び出すための第１のトークン及び第１のプリセット機能コンポーネントによって識別できる第１のサンプル中間入力を含むように構成される第４の取得ユニットと、第２のサンプルデータを取得し、第２のサンプルデータは第２のサンプル初期入力及び第２のサンプル出力を含み、ここでは、第２のサンプル初期入力は深層学習モデルとは異なる任意のプリセット機能コンポーネントを呼び出す意図表現を含まず、且つ、第２のサンプル出力は任意のプリセット機能コンポーネントを呼び出すための対応するトークンを含まないように構成される第５の取得ユニットと、深層学習モデルを利用して第１のサンプル初期入力を処理して、第１の予測出力を取得するように構成される第１の処理ユニットと、第１のサンプル出力と第１の予測出力との比較に基づいて、深層学習モデルのパラメータを調整するように構成される第１のパラメータ調整ユニットと、深層学習モデルを利用して第２のサンプル初期入力を処理して、第２の予測出力を取得するように構成される第２の処理ユニットと、第２のサンプル出力と第２の予測出力との比較に基づいて、深層学習モデルのパラメータを調整するように構成される第２のパラメータ調整ユニットとを含む。
【0010】
本開示の１つ以上の実施例によれば、本開示は、深層学習モデルを利用して、深層学習モデルとは異なる第１の機能コンポーネントを呼び出す必要があるかどうかを決定し、第１の機能コンポーネントを呼び出す必要があると確定した場合、該第１の機能コンポーネントによって識別できる第１の中間クエリを、深層学習モデルを利用して生成し、さらに、第１の中間結果を得るために、第１の中間クエリを利用して第１の機能コンポーネントを呼び出し、最終的に、第１の中間結果に基づいて、深層学習モデルを利用して、ユーザの初期入力に対する結果を生成する。
【0011】
以上により、理解や生成などのタスクを自身で実行できる深層学習モデルに対して、さらに能力補強を実現し、それによって、最終的に生成された回答の品質を向上させる。さらに、深層学習モデルを利用して、外部機能コンポーネントによって識別できる中間クエリを直接生成することにより、中間クエリ及び中間結果の取得を、ユーザの初期入力における潜在的な意図により適合させ、したがって、モデルが、ユーザのニーズを満たす回答を出力することを可能にする。
【0012】
理解すべきこととして、該部分に説明される内容は、本開示の実施例の要点又は重要な特徴を識別することを意図しておらず、本開示の保護範囲を限定するためのものではない。本開示の他の特徴は、以下の明細書によって容易に理解されるであろう。
【図面の簡単な説明】
【0013】
図面は、実施例を例示的に示し、明細書の一部を構成し、明細書の文字による説明とともに、実施例の例示的な実施形態を説明するために用いられる。図示の実施例は例示的目的のみであり、特許請求の範囲を限定するものではない。全ての図面において、同一の符号は、類似しているが、必ずしも同じとは限らない要素を指す。
【0014】
【図1】本開示の実施例による、本明細書で説明される様々な方法を実施することができる例示的なシステムを示す概略図である。
【図2】本開示の実施例によるデータ生成方法を示すフローチャート図である。
【図3】本開示の実施例による、外部メモリバンク内の記憶クエリを示す概略図である。
【図4】本開示の実施例による、外部メモリバンクにおける記憶追加及び記憶削除を示す概略図である。
【図5】本開示の実施例による、深層学習モデルに用いられる初期入力を確定することを実現できるフローチャートを示す。
【図6】本開示の実施例による、記憶能力補強を示す概略図である。
【図7】本開示の実施例による、深層学習モデルが初期入力に基づいて回答を生成する概略図を示す。
【図8】本開示の実施例による知識補強を示す概略図である。
【図9】本開示の実施例による能力拡張を示す概略図である。
【図10】本開示の実施例による、初期入力に対する回答の生成を実現することができるフローチャートを示す。
【図11】本開示の実施例による、複数の能力補強を示す概略図である。
【図12】本開示の実施例による、複数の能力補強を示す概略図である。
【図13】本開示の実施例による、深層学習モデルに用いられる初期入力を確定することを実現できるフローチャートを示す。
【図14】本開示の実施例による回答集約提示実現することができる概略図を示す。
【図15】本開示の実施例による回答構造化提示実現することができる概略図を示す。
【図16】本開示の実施例による対話型提示実現することができる概略図を示す。
【図17】本開示の実施例による深層学習モデルのトレーニング方法を示すフローチャートである。
【図18】本開示の実施例による、知識融合技術を示す概略図である。
【図19】本開示の実施例による深層学習モデルのトレーニング方法を示すフローチャートである。
【図20】本開示の実施例による、複数のサンプルサーチ結果にソーティング操作を行うフローチャートを示す。
【図21】本開示の実施例による深層学習モデルのトレーニング方法を示すフローチャートである。
【図22】本開示の実施例によるデータ生成装置を示す構成ブロック図である。
【図23】本開示の実施例による深層学習モデルのトレーニング装置を示す構成ブロック図である。
【図24】本開示の実施例を実現するために使用され得る例示的な電子機器を示す構成ブロック図である。
【発明を実施するための形態】
【0015】
以下、図面に合わせて本開示の例示的な実施例を説明して、それに含まれる本開示の実施例における様々な詳細が理解を助けるためので、それらは単なる例示的なものと考えられるべきである。従って、当業者であれば、本開示の範囲及び精神から逸脱することなく、本明細書で説明された実施例に対して様々な変更及び修正を行うことができることを認識すべきである。同様に、明瞭と簡潔のために、以下の説明では公知の機能及び構造についての説明を省略している。
【0016】
本願では、特に明記しない限り、様々な要素を説明するための「第１」、「第２」などの用語は、これらの要素の位置関係、タイミング関係、又は重要性関係を限定することを意図していない。このような用語は、一要素を別の要素から区別するためにのみ使用される。いくつかの例では、第１の要素と第２の要素は、要素の同じ例を指してもよく、場合によっては、コンテキストの説明に基づいて、異なる例を指してもよい。
【0017】
本開示の様々な例の説明で使用される用語は、特定の例を説明することのみを目的としており、限定することを意図していない。コンテキストで別途に明確に示されていない限り、特に要素の数を限定しないなら、要素は一つであってもよいし、複数であってもよい。なお、本開示で使用される用語「及び／又は」は、リストされたアイテムのいずれか及び可能な全ての組み合わせをカバーする。
【0018】
関連技術では、インテリジェントシステムは、ユーザの入力データに基づいて、対応する回答内容を生成することができる。しかし、現在のインテリジェントシステムは、ユーザの入力データに対する処理能力が弱く、生成される回答内容の品質が劣っている。
【0019】
上記課題を解決するために、本開示は、深層学習モデルを利用して、深層学習モデルとは異なる第１の機能コンポーネントを呼び出す必要があるかどうかを決定し、第１の機能コンポーネントを呼び出す必要があると確定した場合、該第１の機能コンポーネントによって識別できる第１の中間クエリを、深層学習モデルを利用して生成し、さらに、第１の中間結果を得るために、第１の中間クエリを利用して第１の機能コンポーネントを呼び出し、最終的に、第１の中間結果に基づいて、深層学習モデルを利用して、ユーザの初期入力に対する結果を生成する。
【0020】
以上により、理解や生成などのタスクを自身で実行できる深層学習モデルに対して、さらに能力補強を実現し、それによって、最終的に生成される回答の品質を向上させる。さらに、深層学習モデルを利用して、外部機能コンポーネントによって識別できる中間クエリを直接生成することにより、中間クエリ及び中間結果の取得を、ユーザの初期入力における潜在的な意図により適合させ、したがって、モデルが、ユーザのニーズを満たす回答を出力することを可能にする。
【0021】
以下、図面を参照して本開示の実施例について詳細に説明する。
図１は、本開示の実施例による、本明細書に記載された様々な方法及び装置を、その中で実施することができる例示的なシステム１００の概略図を示す。図１を参照すると、該システム１００は、一つ以上のクライアントデバイス１０１、１０２、１０３、１０４、１０５と１０６、サーバ１２０、及び一つ以上のクライアントデバイスをサーバ１２０に結合する一つ以上の通信ネットワーク１１０を含む。クライアントデバイス１０１、１０２、１０３、１０４、１０５と１０６は、一つ以上のアプリケーションを実行するように構成されることが可能である。
図１は、本開示の実施例による、本明細書に記載された様々な方法及び装置を、その中で実施することができる例示的なシステム１００の概略図を示す。図１を参照すると、該システム１００は、一つ以上のクライアントデバイス１０１、１０２、１０３、１０４、１０５と１０６、サーバ１２０、及び一つ以上のクライアントデバイスをサーバ１２０に結合する一つ以上の通信ネットワーク１１０を含む。クライアントデバイス１０１、１０２、１０３、１０４、１０５と１０６は、一つ以上のアプリケーションを実行するように構成されることが可能である。
【0022】
本開示の実施例では、サーバ１２０は、本開示のデータ生成方法又は深層学習モデルのトレーニング方法の１つ又は複数のサービス又はソフトウェアアプリケーションを実行できるように動作する。例示的な一実施例では、サーバは、インテリジェントシステムをサポートする深層学習モデルを配備することができる。
【0023】
いくつかの実施例では、サーバ１２０は、非仮想環境と仮想環境を含むことができる他のサービス又はソフトウェアアプリケーションも提供することができる。いくつかの実施例では、これらのサービスは、ｗｅｂベースのサービス又はクラウドサービスとして提供することができ、例えば、ソフトウェアアズアサービス（ＳａａＳ）モデルでクライアントデバイス１０１、１０２、１０３、１０４、１０５及び／又は１０６のユーザに提供される。
【0024】
図１に示す配置では、サーバ１２０は、サーバ１２０により実行される機能を実現する一つ以上のアセンブリを含んでもよい。これらのアセンブリは、一つ以上のプロセッサで実行できるソフトウェアアセンブリ、ハードウェアアセンブリ、又はそれらの組み合わせを含んでもよい。クライアントデバイス１０１、１０２、１０３、１０４、１０５及び／又は１０６を操作するユーザは、これらのアセンブリが提供するサービスを利用するために、一つ以上のクライアントアプリケーションを利用してサーバ１２０とやり取りをすることができる。様々な異なるシステム配置が可能であり、システム１００とは異なってもよいことを理解されたい。したがって、図１は、本明細書に記載された様々な方法を実施するためのシステムの一例であり、制限することを意図していない。
【0025】
ユーザは、クライアントデバイス１０１、１０２、１０３、１０４、１０５、及び／又は１０６を使用して、インテリジェントシステムに入力することができる。クライアントデバイスは、クライアントデバイスのユーザがクライアントデバイスとやり取りするインターフェースを提供することができる。クライアントデバイスはまた、このインターフェースを介してユーザに情報を出力することができ、例えば、ユーザ入力に対してインテリジェントシステムによって生成された回答をユーザに出力することができる。図１では６つのクライアントデバイスしか図示されていないが、当業者であれば理解できるように、本開示はいかなる数のクライアントデバイスもサポートできる。
【0026】
クライアントデバイス１０１、１０２、１０３、１０４、１０５及び／又は１０６は、携帯型ハンドヘルドデバイス、汎用コンピュータ（例えば、パーソナルコンピュータやノートパソコン）、ワークステーションコンピュータ、ウェアラブルデバイス、スマートスクリーンデバイス、セルフサービス端末デバイス、サービスロボット、ゲームシステム、シンクライアント、各種のメッセージングデバイス、センサ、又はその他の検知デバイスなどの様々なタイプのコンピュータデバイスを含んでもよい。これらのコンピュータデバイスは、ＭＩＣＲＯＳＯＦＴ Ｗｉｎｄｏｗｓ、ＡＰＰＬＥ ｉＯＳ、類ＵＮＩＸオペレーティングシステム、Ｌｉｎｕｘ又は類Ｌｉｎｕｘオペレーティングシステム（例えば、ＧＯＯＧＬＥ Ｃｈｒｏｍｅ ＯＳ）などの様々なタイプ及びバージョンのソフトウェアアプリケーションやオペレーティングシステムを実行したり、ＭＩＣＲＯＳＯＦＴ Ｗｉｎｄｏｗｓ Ｍｏｂｉｌｅ ＯＳ、ｉＯＳ、Ｗｉｎｄｏｗｓ Ｐｈｏｎｅ、Ａｎｄｒｏｉｄなどの各種のモバイルオペレーティングシステムを含んだりすることができる。携帯用ハンドヘルドデバイスには、携帯電話、インテリジェントフォン、タブレット、パーソナルデジタルアシスタント（ＰＤＡ）などを含んでもよい。ウェアラブルデバイスは、ヘッドマウント型ディスプレイ（例えば、スマートグラス）と他の装置を含んでもよい。ゲームシステムは、様々なハンドヘルド型のゲームデバイス、インターネット対応のゲームデバイスなどを含んでもよい。クライアントデバイスは、例えば、インターネットＩｎｔｅｒｎｅｔ関連アプリケーション、通信アプリケーション（例えば、電子メールアプリケーション）、ショートメッセージサービス（ＳＭＳ）アプリケーション、様々なアプリケーションを実行でき、且つ様々な通信プロトコルを使用できる。
【0027】
ネットワーク１１０は、当業者に知られている任意のタイプのネットワークであってもよく、それは、データ通信をサポートするために、複数の利用可能なプロトコルのいずれか一つ（ＴＣＰ／ＩＰ、ＳＮＡ、ＩＰＸなどを含むがこれらに限定されない）を使用することができる。例として、一つ以上のネットワーク１１０は、ローカルエリアネットワーク（ＬＡＮ）、イーサネットベースのネットワーク、トークンループ、ワイドエリアネットワーク（ＷＡＮ）、インターネット、仮想ネットワーク、仮想プライベートネットワーク（ＶＰＮ）、イントラネット、エクストラネット、ブロックチェーンネットワーク、公衆交換電話網（ＰＳＴＮ）、赤外線ネットワーク、無線ネットワーク（例えば、ブルートゥース、ＷＩＦＩ）、及び／又はこれら及び／又はその他のネットワークの任意の組み合わせであってもよい。
【0028】
サーバ１２０は、一つ以上の汎用コンピュータ、専用サーバコンピュータ（例えば、ＰＣ（パーソナルコンピュータ）サーバ、ＵＮＩＸサーバ、ミッドレンジサーバ）、ブレードサーバ、大型コンピュータ、サーバクラスタ、又はその他のいかなる適切な配置及び／又は組み合わせを含んでもよい。サーバ１２０は、仮想オペレーティングシステムを実行する一つ以上の仮想マシン、又は仮想化に関わる他のコンピューティングアーキテクチャ（例えば、サーバの仮想記憶デバイスを維持するために仮想化された論理記憶デバイスの一つ以上のフレキシブルプール）を含んでもよい。様々な実施例では、サーバ１２０は、以下に説明する機能を提供する一つ以上のサービス又はソフトウェアアプリケーションを実行することができる。
【0029】
サーバ１２０における計算ユニットは、上記した任意のオペレーティングシステム及び任意の商用サーバオペレーティングシステムを含む一つ以上のオペレーティングシステムを実行することができる。サーバ１２０は、ＨＴＴＰサーバ、ＦＴＰサーバ、ＣＧＩサーバ、ＪＡＶＡサーバ、データベースサーバなど、様々な追加のサーバアプリケーション及び／又は中間層アプリケーションのいずれか一つを実行することもできる。
【0030】
いくつかの実施例では、サーバ１２０は、クライアントデバイス１０１、１０２、１０３、１０４、１０５及び／又は１０６のユーザから受信したデータフィード及び／又はイベントの更新を分析及び統合するための一つ以上のアプリケーションを含んでもよい。サーバ１２０は、クライアントデバイス１０１、１０２、１０３、１０４、１０５及び／又は１０６の一つ以上のディスプレイデバイスを介してデータフィード及び／又はリアルタイムイベントを表示する一つ以上のアプリケーションを含んでもよい。
【0031】
いくつかの実施例では、サーバ１２０は、分散型システムのサーバであってもよいし、ブロックチェーンを組み込んだサーバであってもよい。サーバ１２０は、クラウドサーバであってもよいし、人工インテリジェント技術を備えたインテリジェントクラウドコンピューティングサーバやインテリジェントクラウドホストであってもよい。クラウドサーバはクラウドコンピューティングサービスシステムにおけるホスト製品であり、従来の物理ホストと仮想専用サーバ（ＶＰＳ、Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ）サービスに存在する管理難度が大きく、業務拡張性が弱いという欠陥を解決する。
【0032】
システム１００は、一つ以上のデータベース１３０を含むこともできる。いくつかの実施例では、これらのデータベースはデータやその他の情報を記憶するために使用できる。例えば、データベース１３０のうちの一つ以上は、オーディオファイルやビデオファイルのような情報を記憶するために使用できる。データベース１３０は、さまざまな位置に配置することができる。例えば、サーバ１２０が使用するデータベースは、サーバ１２０のローカルにあってもよいし、サーバ１２０から離れて、ネットワーク又は専用の接続を介してサーバ１２０と通信してもよい。データベース１３０は、さまざまなタイプであってもよい。いくつかの実施例では、サーバ１２０が使用するデータベースは、リレーショナルデータベースであってもよい。これらのデータベースのうちの一つ以上は、命令に応じてデータベースとデータベースからのデータを記憶、更新、検索できる。
【0033】
いくつかの実施例では、データベース１３０のうちの一つ以上は、アプリケーションによって使用され、アプリケーションのデータを記憶することもできる。アプリケーションで使用されるデータベースは、キー値リポジトリ、オブジェクトリポジトリ、ファイルシステムでサポートされる汎用リポジトリなど、様々なタイプのデータベースであってもよい。
【0034】
図１のシステム１００は、本開示に基づいて説明した様々な方法及び装置を応用することができるように、様々な方法で構成し操作することができる。
本開示の一態様によれば、深層学習モデルに基づくデータ生成方法を提供する。深層学習モデルはユーザの入力データに基づいて回答データを生成することができる。図２に示すように、データ生成方法は、ユーザからの入力データに基づいて、深層学習モデルに用いられる初期入力を確定するステップＳ２０１と、深層学習モデルの第１の出力を取得し、ここでは、深層学習モデルが初期入力に基づいて回答を生成するのに深層学習モデルとは異なる第１の機能コンポーネントを呼び出す必要があると確定したことに応答して、第１の出力は第１の機能コンポーネントを呼び出すための第１のトークン及び初期入力に基づいて確定された、第１の機能コンポーネントによって識別できる第１の中間クエリを含むステップＳ２０２と、第１の中間クエリに基づいて第１の機能コンポーネントによって確定された第１の中間結果を取得するステップＳ２０３と、少なくとも初期入力及び第１の中間結果に基づいて、深層学習モデルに用いられる第２の入力を確定するステップＳ２０４と、初期入力に対する回答を生成するために、深層学習モデルの第２の出力を取得するステップＳ２０５とを含む。
本開示の一態様によれば、深層学習モデルに基づくデータ生成方法を提供する。深層学習モデルはユーザの入力データに基づいて回答データを生成することができる。図２に示すように、データ生成方法は、ユーザからの入力データに基づいて、深層学習モデルに用いられる初期入力を確定するステップＳ２０１と、深層学習モデルの第１の出力を取得し、ここでは、深層学習モデルが初期入力に基づいて回答を生成するのに深層学習モデルとは異なる第１の機能コンポーネントを呼び出す必要があると確定したことに応答して、第１の出力は第１の機能コンポーネントを呼び出すための第１のトークン及び初期入力に基づいて確定された、第１の機能コンポーネントによって識別できる第１の中間クエリを含むステップＳ２０２と、第１の中間クエリに基づいて第１の機能コンポーネントによって確定された第１の中間結果を取得するステップＳ２０３と、少なくとも初期入力及び第１の中間結果に基づいて、深層学習モデルに用いられる第２の入力を確定するステップＳ２０４と、初期入力に対する回答を生成するために、深層学習モデルの第２の出力を取得するステップＳ２０５とを含む。
【0035】
したがって、以上により、理解や生成などのタスクを自身で実行できる深層学習モデルに対して、さらに能力補強を実現し、それによって、最終的に生成される回答の品質を向上させる。さらに、深層学習モデルを利用して、外部機能コンポーネントによって識別できる中間クエリを直接生成することにより、中間クエリ及び中間結果の取得を、ユーザの初期入力における潜在的な意図により適合させ、したがって、モデルが、ユーザのニーズを満たす回答を出力することを可能にする。
【0036】
本開示では、深層学習モデルは、理解生成統合インタラクティブ大規模モデル（理解生成大規模モデル又は統合大規模モデルと略称する）とも呼ばれる。理解生成大規模モデルはエンドツーエンドの特性を持ち、理解生成大規模モデル以外の機能コンポーネントやその他の入力を介さずに、ユーザの入力データに基づいて回答データを直接生成することができる。言い換えれば、理解生成大規模モデル自体に生成機能がある。さらに、理解生成大規模モデルを配置するシステムは、インテリジェントシステムと呼ぶことができる。インテリジェントシステムには、ユーザからの入力データを受信し、最終的に生成された回答をユーザに提供するためのインタラクティブモジュールも含まれてもよい。ユーザとインテリジェントシステムとの１回の会話において、インテリジェントシステムは、それに配置された理解生成大規模モデルを利用して、ユーザと複数回の対話を行うことができる。
【0037】
理解生成大規模モデルは、例えば、エンコーダ（Ｅｎｃｏｄｅｒ）及びデコーダ（Ｄｅｃｏｄｅｒ）を有するＮ層Ｔｒａｎｓｆｏｒｍｅｒネットワーク構造、又は統合プリトレーニング言語モデル（Ｕｎｉｆｉｅｄ ｐｒｅ－ｔｒａｉｎｅｄ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ，ＵｎｉＬＭ）ネットワーク構造を採用することができる。理解生成大規模モデルは、他のＴｒａｎｓｆｏｒｍｅｒネットワーク構造に基づくニューラルネットワークモデルでもよく、ここでは限定されないことを理解されたい。理解生成大規模モデルの入力と出力は、いずれもトークン（ｔｏｋｅｎ）で構成される。各トークンは、以下で説明するように、一つの単一ワード、文字、単語、特殊記号、又はある外部機能コンポーネントに対応することができる。
【0038】
本開示で説明されるデータ生成方法で使用される深層学習モデルは、本開示で後述する深層学習モデルのトレーニング方法によってトレーニングされたものであってもよいことを理解されたい。
【0039】
ステップＳ２０１の前に、まずユーザの入力データを取得するようにしてもよい。ユーザの入力データは、例えば、インテリジェントシステムへのユーザ入力であってもよく、例えば、テキスト入力、音声入力、画像入力などを含むことができる。ユーザの入力データは、他のデータ形式を有することもでき、本明細書では限定されないことを理解されたい。ユーザの入力データは、事実類問題であってもよく、特定のタスクを実行する指示であってもよく、雑談内容であってもよい。異なる種類のユーザ入力に対して、インテリジェントシステムはいずれも適切な回答を生成できる。
【0040】
いくつかの実施例によれば、第１の機能コンポーネントは、ユーザに関連する第１のデータグループセットを記憶することができる外部メモリバンクであってもよい。第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、履歴入力データアイテムに対して深層学習モデルによって生成された履歴回答アイテムとを含むことができる。履歴入力データアイテム及び対応する履歴回答アイテムは、例えば、ユーザとインテリジェントシステムとの履歴対話において生成される対話を含んでもよく、現在の会話においてユーザとインテリジェントシステムによって生成される対話を含んでもよいことを理解されたい。これにより、外部メモリバンクを設置することによってユーザとインテリジェントシステムとの長期にわたる履歴対話を記憶し、インテリジェントシステムの記憶能力を向上させ、ユーザ入力に関連する履歴対話を取得することによって、深層学習モデルが履歴対話を参照してユーザへの目標性がより強く、内容がより豊富でより具体的な回答を生成することができ、それにより回答の品質を向上させ、対話のインテリジェント性を向上させ、ユーザ体験を向上させる。
【0041】
いくつかの実施例によれば、第１のデータグループセットにおける各データグループは、そのセットにける履歴入力データアイテム及び履歴回答アイテムに対応するエントリ時間アイテム（又はタイムスタンプ）をさらに含むことができる。これにより、エントリ時間アイテムを設けることにより、外部メモリバンクにおける履歴対話の検索や削除を行う際に、履歴対話のエントリ時間に応じてより豊富な操作を実現でき、記憶の実効性が向上する。
【0042】
いくつかの実施例によれば、第１のデータグループセットにおける各データグループは、そのセットにける履歴入力データアイテム及び履歴回答アイテムに対応するテーマアイテムをさらに含むことができる。１つの例示的な一実施例では、記憶の取得時に、現在の対話と同じテーマを有する履歴対話を直接取得するか、又は、より効率的な履歴対話がより効率的に取得されるように、テーマアイテムを類似度計算の根拠の１つとして使用することができる。これにより、テーマアイテムを設けることで、具体的な記憶を抽象的な記憶に変換することができ、外部メモリバンクにおける履歴対話の検索や削除において、履歴対話のテーマに応じて、より豊富な操作を実現することができる。
【0043】
１つの例示的な実施例では、外部メモリバンクにおけるデータグループは、以下の表１に示されることができる。
【0044】
【表1】
【0045】
いくつかの実施例によれば、第１の中間クエリは、入力データに基づくことができる。第１の中間クエリは、ユーザの入力データと一致してもよいし、ユーザの入力データ及びコンテキスト情報を含んでもよく、入力データに基づいて確定された初期入力を、深層学習モデルにより書き換えたものであってもよい。コンテキスト情報は、取得したユーザの入力データの前に、ユーザとインテリジェントシステムとの間で行われた複数の対話を含むことができる。
【0046】
いくつかの実施例によれば、第１の中間結果は、第１のデータグループセットにおける、入力データとの類似度が第１の閾値より高い履歴入力データアイテムに対応する履歴回答アイテムであってもよい。したがって、第１の中間結果を得るために、外部メモリバンクから現在のユーザ入力に関連する履歴回答アイテムを取得することによって、深層学習モデルは、ユーザとインテリジェントシステムとの履歴対話を参照して、ユーザの現在ラウンドの入力に対する回答生成を行うことができ、それによって、インテリジェントシステムの最終的に出力する回答の品質を向上させる。
【0047】
いくつかの実施例では、第１の中間結果は、入力データとの類似度が第１の閾値より高い履歴入力データアイテム自体も含むことができる。
いくつかの実施例では、稠密ベクトル類似度を計算することによってユーザの入力データに関連する履歴対話情報を得ることができる。稠密ベクトル類似度は以下のように表すことができる：
いくつかの実施例では、稠密ベクトル類似度を計算することによってユーザの入力データに関連する履歴対話情報を得ることができる。稠密ベクトル類似度は以下のように表すことができる：
【0048】
【数1】
【0049】
ここで、
【0050】
【数2】
【0051】
上述した類似度の算出処理は、ニューラルネットワークによって実現されてもよいことを理解されたい。ユーザの入力データ（又はユーザの入力データとコンテキスト情報の両方、又はユーザの入力データに基づいて得られた第１の中間クエリ）と、外部メモリバンクにおける各履歴入力データアイテム（又は履歴入力データアイテム及び対応する履歴回答アイテムの両方）との類似度を計算することができ、類似度ｓがプリセット第１の閾値δより大きい、ことを満たす１つ又は複数のデータグループにおける履歴回答アイテム（及びオプションとして、履歴入力データアイテム）を理解生成大規模モデルに返すことができる。いくつかの実施例では、Ｔｏｐ Ｋなどの他の方式によって類似度に基づいて返される必要のある履歴回答アイテムを確定してもよく、ここでは限定されない。
【0052】
いくつかの実施例では、外部メモリバンクは、以下に説明するように、理解生成大規模モデルと連合して最適化されたものであってもよい。
いくつかの実施例によれば、第１の中間クエリは、入力データに基づくものであってもよく、第１の中間結果は、第１のデータグループセットにおける、入力データとの類似度が第１の閾値より高く、かつタイムスタンプが最新の履歴入力データアイテムに対応する履歴回答アイテムであってもよい。これにより、入力データに関連する複数の履歴回答アイテムが得られたときにタイムスタンプが最新の履歴回答アイテムを返すことで、深層学習モデルが最新の相関記憶に基づいて回答を生成し、記憶の時効性を十分に利用する。
いくつかの実施例によれば、第１の中間クエリは、入力データに基づくものであってもよく、第１の中間結果は、第１のデータグループセットにおける、入力データとの類似度が第１の閾値より高く、かつタイムスタンプが最新の履歴入力データアイテムに対応する履歴回答アイテムであってもよい。これにより、入力データに関連する複数の履歴回答アイテムが得られたときにタイムスタンプが最新の履歴回答アイテムを返すことで、深層学習モデルが最新の相関記憶に基づいて回答を生成し、記憶の時効性を十分に利用する。
【0053】
いくつかの実施例では、第１のデータグループセットにおける、入力データとの類似度が第１の閾値より高く、かつタイムスタンプが最新の履歴入力データアイテム自体を深層学習モデルに返してもよい。
【0054】
いくつかの実施例では、図３に示すように、ユーザとインテリジェントシステム３１０とは、貝貝というペットとの外出に関する対話を履歴的に２回経験する。インテリジェントシステム３１０は、例えば上述した、理解生成大規模モデルを配置し、かつユーザと対話することができるシステムであってもよい。現在の対話において、インテリジェントシステム３１０は、「最近、貝貝を連れて、この前知り合った友達と遊びに行きたい」というユーザ入力を取得し、このユーザ入力に基づいて外部メモリバンク３２０において記憶取得を行って、タイムスタンプが２０ＸＸ０８１２である履歴入力データアイテム「最近、貝貝をペットパークに連れて行きたいのですが、おすすめの場所はありますか？」と対応する履歴回答アイテム「ＸＸランドに歩いてもいいよ、ペットのアトラクションがたくさんあります」、及びタイムスタンプが２０ＸＸ０８１７である履歴入力データアイテム「明日、貝貝と一緒に郊外へ行き、新鮮な空気を吸ってみたい」、及び対応する履歴回答アイテム「ＹＹパークはいい選択ですね」を検索できた。さらに、タイムスタンプが最新の履歴対話を深層学習モデルに返すことができ、深層学習モデルはこの履歴対話に基づいて「ＹＹ公園に行くのですか、そこでたくさんの友達と知り合いになる」という回答を生成する。インテリジェントシステムは、モデルによる回答生成のために、取得した二つの履歴対話をいずれもモデルに提供することもできることを理解されたい。
【0055】
上記実施例を通じて、外部メモリバンクを使用することにより、前の会話（例えば、１週間前、１ヶ月前又はより早い）にユーザとインテリジェントシステムとが生成した履歴対話を記録することができ、インテリジェントシステムの記憶能力を向上させ、ユーザの現在の入力に対する回答生成時に、関連する履歴対話を参考として使用し、ユーザへの目標性がより強く、内容がより豊富で、より具体的な回答を生成し、それにより、回答品質を向上させ、対話のインテリジェント性を向上させ、ユーザ体験を向上させることが分かる。
【0056】
前述の実施例は、外部メモリバンクの検索操作について説明したが、以下、外部メモリバンクにおけるデータグループの追加や削除などの操作について説明する。図４は、例示的な実施例による、外部メモリバンク４２０におけるデータグループの追加及び削除などの操作を示す概略図である。インテリジェントシステム４１０は、例えば上述した、理解生成大規模モデルを配置し、かつユーザと対話することができるシステムであってもよい。なお、外部メモリバンクのクエリ操作は、深層学習モデルを利用してユーザの入力データに対する回答データを生成する過程で行われ、追加や削除などの操作は、深層学習モデルによる回答データの生成後に行われる。
【0057】
いくつかの実施例によれば、データ生成方法は、入力データ及び回答に基づく第１のデータグループと、第１のデータグループセットにおけるいずれかのデータグループとの類似度が第２の閾値より小さいと確定したことに応答して、第１のデータグループを第１のデータグループセットにエンターすることをさらに含むことができる。
【0058】
いくつかの実施例では、第ｔ－１ラウンドのユーザ入力データｕｔ‐１及び深層学習モデルの回答データｒｔ‐１について、第１のデータグループｍｔ‐１＝（ｕｔ‐１，ｒｔ‐１）が外部メモリバンクＭにおけるデータグループとの類似度もプリセット第２の閾値により低い場合、ｍｔ‐１＝（ｕｔ‐１，ｒｔ‐１）を外部メモリバンクＭに追加する。
【0059】
いくつかの実施例によれば、データ生成方法は、入力データ及び回答に基づく第１のデータグループと、第１のデータグループセットにおける第２のデータグループとの類似度が第３の閾値より高く、かつ第１のデータグループと第２のデータグループが相互に衝突していると確定したことに応答して、第１のデータグループを第１のデータグループセットにエンターし、第２のデータグループを第１のデータグループセットから削除することをさらに含むことができる。
【0060】
いくつかの実施例では、第ｔ－１ラウンドのユーザの入力データｕｔ‐１及び深層学習モデルの回答データｒｔ‐１について、第１のデータグループｍｔ‐１＝（ｕｔ‐１，ｒｔ‐１）が、外部メモリバンクＭにおける第２のデータグループｍｉ∈Ｍとの類似度が第３の閾値より高く、かつｍｔ‐１とｍｉとの一致性が衝突すると判断された場合、ｍｉを削除し、ｍｔ‐１をＭに追加する。１つの例示的な実施例では、ｍｔ‐１とｍｉの一致性判断（例えば、衝突検出）は、両方の意味ベクトルに基づいてニューラルネットワークを利用して実行されてもよく、他の方式で実施されてもよく、ここでは限定されない。
【0061】
これにより、上記方式により、外部メモリバンクにデータグループを新たに追加及び削除することを実現し、外部メモリバンクにおけるデータグループ操作の柔軟性を向上させ、外部メモリバンクにおけるデータグループの時効性及び内容の正確性を向上させる。
【0062】
いくつかの実施例では、図４に示すように、深層学習モデルがユーザ入力に対して回答を生成した後、現在の対話（ユーザ入力及びモデルによって生成された回答を含む）を外部メモリバンクに追加することができ、現在の対話内容が外部メモリバンクにおける履歴対話と衝突した場合、外部メモリバンクにおける履歴対話を削除できる。
【0063】
いくつかの実施例によれば、データ生成方法は、エントリ時間アイテムに基づいて、時効性が古いデータグループを外部メモリバンクから削除することをさらに含むことができる。いくつかの例示的な実施例では、データグループに対する保留期間を設定し、その期間を超えるデータグループを削除することができ、定期的に又は不定期にデータグループの内容に基づいて時効性検査を行い、検査に合格しなかったデータグループを削除することができ、他の方式で外部メモリバンクから時効性が古いデータグループを削除することも実現できる。これにより、上記方式により、外部メモリバンクにおけるデータグループがすべて古くならないことが保証され、記憶の時効性が向上する。
【0064】
いくつかの実施例では、インテリジェントシステムは、深層学習モデルの初期入力を構築する段階（すなわち、深層学習モデルを利用して初期入力を処理する前）において、ユーザの現在ラウンドの入力データに対応する履歴対話情報を外部メモリバンクから直接取得し、履歴対話情報に基づいて深層学習モデルの初期入力を確定することができる。
【0065】
いくつかの実施例によれば、図５に示すように、深層学習モデルに用いられる初期入力を確定するステップＳ２０１は、入力データに基づいて、外部メモリバンクから入力データとの類似度が第１の閾値より高い履歴入力データアイテムに対応する履歴回答アイテムを取得するステップＳ５０１と、入力データ及び履歴回答アイテムに基づいて、初期入力を確定するステップＳ５０２とを含むことができる。ステップＳ５０１の動作は、第１の中間結果の取得に関する上記の説明を参照することができ、ここでは説明しないことを理解されたい。これにより、深層学習モデルが回答を生成するたびに、いずれも外部メモリバンクから取得した履歴対話情報を参照できることを保証できる。
【0066】
いくつかの実施例では、ユーザの入力データと履歴回答アイテムとを直接スティッチングして、深層学習モデルの初期入力を取得することができ、他の方式でユーザの入力データ及び履歴回答アイテムを処理して、深層学習モデルの初期入力を得ることもできるが、ここでは限定されない。
【0067】
いくつかの例示的な実施例に関連して深層学習モデル及びインテリジェントシステムに対する記憶能力補強の効果を以下でさらに説明する。１つの例示的な実施例では、図６に示すように、外部メモリバンクを備えない対話システム６１０は、長期記憶を形成することができず、したがって、ユーザが履歴対話の内容についてクエリするときに、該システムは機械的に回答することしかできない。本開示で説明される外部メモリバンクを備えたインテリジェントシステム６２０は、ユーザ入力に対して、外部メモリバンク６３０から対応する履歴対話を取得することができ、それによって、ユーザのニーズを満たす回答を生成することができ、深層学習モデル及びインテリジェントシステムの記憶能力の補強を体現する。
【0068】
いくつかの実施例では、第１の機能コンポーネントは、外部サーチエンジン、検索モデル、アプリケーションプログラミングインターフェースなど、他の機能コンポーネントであってもよい。これらの異なる機能コンポーネントは、それぞれ対応するトークン（ｔｏｋｅｎ）を有する。ステップＳ２０２において、深層学習モデルは、外部の機能コンポーネントを呼び出すか否か（及び／又はどの機能コンポーネントを呼び出すか）を決定するが、決定結果はすなわち、深層学習モデルが出力した結果に、外部の機能コンポーネントの呼び出しに対応するトークンが含まれているか否か（及び／又は、結果に具体的にどの機能コンポーネントに対応するトークンが含まれているか）に体現する。なお、外部サーチエンジン、検索モデル、アプリケーションプログラミングインターフェースといった外部の機能コンポーネントは、コンテキスト情報及び／又は外部メモリバンクを前提とする必要はなく、言い換えれば、これらの外部機能コンポーネントは、深層学習モデル単独で呼び出すことができる。
【0069】
いくつかの実施例では、Ｔｒａｎｓｆｏｒｍｅｒネットワーク構造に基づく深層学習モデルが予測を行うとき、モデルは最初に初期入力を受け取り、第１の出力トークンｔｏｋｅｎ＿１を生成する。次に、モデルはｔｏｋｅｎ＿１を受け取り、第２の出力トークンｔｏｋｅｎ＿２を生成する。モデルが出力したｔｏｋｅｎ＿ｎがモデル出力の完了を示すまで、深層学習モデルへのループ呼び出しを繰り返す。モデルによって出力された各トークンは特定の外部機能コンポーネントに対応することができ、外部機能コンポーネントを呼び出すか否かの決定結果を体現し、また、特定の外部機能コンポーネントによって識別できる中間クエリを生成するように、特定のマークアップ（ｍａｒｋｕｐ）の形態であってもよく、また、特定の単一ワード、文字又は単語であってもよく、それにより、ユーザ入力に対する回答を生成し、また、現在の内容がすでに生成されたことを示す特殊記号でもよい。したがって、モデルを利用して決定を自動的に行うことを実現して、次に実行する必要があるタスク（例えば、外部機能コンポーネントの呼び出し又は回答の生成）を確定する。
【0070】
図７は例示的な実施例による、深層学習モデルが初期入力に基づいて回答を生成する概略図を示す。理解生成大規模モデル７１０（すなわち、深層学習モデル）の構造は、ＵｎｉＬＭであってもよい。まず、ユーザの入力データ（及びオプションとして、コンテキスト情報）に基づくモデルの初期入力を深層学習モデルに入力してモデルが出力した第１のトークンを得、対応する内容は＜ａｐｉ１＞である。このトークンは、機能コンポーネントＡＰＩ１を呼び出す必要があるというモデルの決定を反映している。モデルは、ＡＰＩ１によって識別できる第１の中間クエリｉｎｐｕｔ＿１を生成するために出力を続けることができる。この過程は、ＡＰＩ１によって識別可能で、かつＡＰＩ１から所望の結果を取得することができる呼び出し情報を得るために、ユーザの入力データを書き換えることとして理解することもできる。ｉｎｐｕｔ＿１を出力した後、モデルはマークアップ＜／ａｐｉ１＞に対応するトークンを出力でき、ＡＰＩ １に対する第１の中間クエリが既に生成済みと示す。第１の出力は、完全な＜ａｐｉ１＞ｉｎｐｕｔ＿１＜／ａｐｉ１＞を含むことができる。
【0071】
いくつかの実施例では、ＡＰＩ １に対応する第１の中間クエリｉｎｐｕｔ＿１は、深層学習モデルの繰り返し呼び出しによってワードごとに生成されてもよく、すなわち、毎回、ユーザの入力データ及びｉｎｐｕｔ＿１において生成された部分をモデルに入力して、ｉｎｐｕｔ＿１における次の単一ワード、文字、又はマークアップ（ｍａｒｋｕｐ）を取得する。ｉｎｐｕｔ＿１は、深層学習モデルによって出力された単一トークンを復号することによって得られてもよい。ｉｎｐｕｔ＿１は、他の方式でモデルが出力したトークンから得ることもでき、ここでは限定されない。
【0072】
第１の中間クエリｉｎｐｕｔ＿１が得られた後、ｉｎｐｕｔ＿１を利用してＡＰＩ１を呼び出して、第１の中間結果＜ａｐｉ１－ｒ＞ｒｅｓｕｌｔ＿１＜／ａｐｉ１－ｒ＞を取得することができる。さらに、ユーザの入力データと第１の中間結果とを組み合わせて、モデルが出力する次のトークンを取得するために、深層学習モデルに用いられる第２の入力を得ることができる。いくつかの実施例では、第２の入力を確定するとき、第１の中間クエリ（又は完全な第１の出力）を組み込むこともでき、図７に示すように、第１の出力＜ａｐｉ１＞ｉｎｐｕｔ＿１＜／ａｐｉ１＞の下向きの破線の矢印及び第１の中間結果＜ａｐｉ１－ｒ＞ｒｅｓｕｌｔ＿１＜／ａｐｉ１－ｒ＞の左側の破線ブロックに示す。この破線ブロックは、第１の中間クエリｉｎｐｕｔ＿１であってもよく、完全な第１の出力＜ａｐｉ１＞ｉｎｐｕｔ＿１＜／ａｐｉ１＞であってもよい。１つの例示的な実施例では、第２の入力は、モデルの初期入力、第１の出力、及び第１の中間結果のスティッチングである。
【0073】
いくつかの実施例によれば、少なくとも初期入力及び第１の中間結果に基づいて、深層学習モデルに用いられる第２の入力を確定するステップＳ２０４は、初期入力、第１の中間結果、及び第１の中間クエリに基づいて、深層学習モデルに用いられる第２の入力を確定することを含むことができる。このように、第１の中間クエリを、深層学習モデルが第２の出力を生成する参照因子とすることにより、モデル決定の正確性をさらに向上させることができ、最終的に生成される回答の品質を向上させることができる。
【0074】
深層学習モデルによって第２の入力に基づいて生成される第２のトークンは、対応する内容が＜ａｐｉ２＞であり、このトークンは、機能コンポーネントＡＰＩ ２を呼び出す必要があるというモデルの決定を反映している。モデルは、第２の中間クエリｉｎｐｕｔ＿２及びマークアップ＜／ａｐｉ２＞に対応するトークンを出力し続けることができる。さらに、ｉｎｐｕｔ＿２を利用してＡＰＩ ２を呼び出して第２の中間結果＜ａｐｉ２－ｒ＞ｒｅｓｕｌｔ＿２＜／ａｐｉ２－ｒ＞を取得し、ユーザの入力データと、第２の中間結果（及びオプションとして、第２の中間クエリ）とを組み合わせて、深層学習モデルに用いられる第３の入力を得ることができる。１つの例示的な実施例では、第３の入力は、モデルの初期入力、第１の出力、第１の中間結果、第２の出力、及び第２の中間結果のスティッチングである。
【0075】
深層学習モデルによって第３の入力に基づいて生成される第３のトークンは、外部機能コンポーネントのいずれにも対応せず、したがって、この第３のトークンは、モデルの初期入力（ユーザへの入力データとも理解される）に対する回答の生成を開始するように、モデルに指示することができる。いくつかの実施例では、第３のトークンは、回答中の最初の単一ワード、文字、又は単語、又は、意味情報を有さなく、モデルが次のトークンから回答を生成することを示すための特殊記号であってもよい。次に、モデルは回答をワードごとに生成し、最終的に、回答が生成済みと示す特殊記号を生成する。
【0076】
なお、異なる外部機能コンポーネントの呼び出しは互いに独立であり、事前設定された順序関係はなく、モデルが出力するトークンによってどの外部機能コンポーネントを呼び出す必要があるかを決定する。したがって、いくつかの例示的な実施例では、モデルは、同じ機能コンポーネントを複数回呼び出すか、又はユーザ入力への理解に基づいて、複数の機能コンポーネントを特定の論理順序で呼び出して特定のタスクを実行するかを決定する可能性がある。
【0077】
このように、理解生成大規模モデルに異なる意味を有するトークンを出力させることにより、モデルが、ユーザ入力（及びオプションとして、コンテキスト情報）への理解に基づいて、実行する必要があるタスク（例えば、特定の外部機能コンポーネントの呼び出し又は回答の直接生成）及び実行順序を自動的に確定でき、単一の深層学習モデルを用いた自動化理解、推理、決定、生成を実現し、システムのインテリジェント性を向上させる。
【0078】
いくつかの実施例では、ＵｎｉＬＭモデルは、１つのみの入力を有する。したがって、ステップＳ２０４において、スティッチングなどの手段によって初期入力と第１の中間結果とを組み合わせて、ユーザ深層学習モデルの第２の入力を得ることができる。
【0079】
いくつかの実施例では、エンコーダ及びデコーダを有するＮ層Ｔｒａｎｓｆｏｒｍｅｒネットワーク構造を採用する場合、エンコーダの入力はモデルの初期入力であり、エンコーダの出力は初期入力に対する符号化結果であってもよく、デコーダの２つの入力は、それぞれ、エンコーダによって出力される初期入力への符号化結果と、モデルが既に生成したすべてのトークンであり、デコーダの出力は、予測する次のトークンである。従って、ステップＳ２０４において、第１の中間結果及び初期入力に対する符号化結果は、それぞれデコーダへの２つの入力として使用されることができる。
【0080】
いくつかの実施例によれば、第１の機能コンポーネントは、外部サーチエンジンであってもよい。外部サーチエンジンは、汎用サーチエンジンであってもよいし、専門分野にカスタマイズされる知識エンジン又は専門知識ライブラリであってもよく、私有データベースであってもよく、それにより、異なるタイプの知識を獲得し、リアルタイムに知識を更新する。
【0081】
深層学習モデルによって生成される第１の中間クエリは例えば検索式であってもよく、これにより、外部サーチエンジンを利用して、１つ以上のサーチ結果を得るために、このサーチ式に基づいてサーチすることができる。いくつかの実施例では、サーチエンジンによって返された１つ以上のサーチ結果を直接第１の中間結果としてもよく、これらのサーチ結果を処理して第１の中間結果を得るようにしてもよい。次いで、深層学習モデルの初期入力（例えば、ユーザの入力データ、及びオプションとして、コンテキスト情報）及び第１の中間結果（例えば、１つ以上のサーチ結果）に基づいて深層学習モデルによって処理されるための第２の入力を確定することができる。第２の入力に対して、深層学習モデルは、第２の機能コンポーネントをさらに呼び出す必要があると確定する可能性もあり、以下で説明するように、他の機能コンポーネントを呼び出すことを必要とせず、初期入力に対する回答を直接生成すると確定する可能性もある。
【0082】
いくつかの実施例では、スティッチングなどの手段によって初期入力と第１の中間結果とを組み合わせて、第２の入力を得ることができ、まず、内容抽出、書き換え、意味ベクトルの計算、又は他の方式によって各サーチ結果を処理し、続いてスティッチングなどの手段によって初期入力と処理されたサーチ結果とを組み合わせて、第２の入力を得ることもできるが、ここでは限定されない。
【0083】
いくつかの実施例では、トレーニングによって、データをパラメータ化された方式でモデルに完全に内在化し、そのようなモデルを利用して、ユーザ入力に対する回答を直接生成することができる。このメカニズムでは、比較的流行らない事実類情報について、トレーニングデータ中の出現頻度が少ないため、モデルの学習がしっかりでないため、「忘れる」あるいは「記憶が乱れる」場合がある。
【0084】
これにより、外部サーチエンジンからサーチ結果を取得することにより、各種類の精確な知識、情報及び時効性データを正確かつタイムリーに上位の理解生成大規模モデルに伝達し、理解生成大規模モデルをサーチされた明示的な情報とモデルに内在化された知識と合わせてユーザのニーズに対する満足と回答を共に完成させる。また、理解生成モデルは、第２の入力に含まれる一つ以上のサーチ結果に基づいて最後の回答を生成し、検索された情報に対する整合加工を実現し、それにより、ユーザの意図により合った回答を出力することができ、回答データの品質を向上させる。
【0085】
いくつかの実施例によれば、第１の機能コンポーネントは、深層学習モデルと連合してトレーニングされた検索モデルである。検索モデルは、リコールモデル及びソーティングモデルをさらに含むことができるエンドツーエンドのＴｒａｎｓｆｏｒｍｅｒ構造に基づく大規模モデルであってもよい。検索モデルは、単一のニューラルネットワークモデル（例えば、エンドツーエンドのＴｒａｎｓｆｏｒｍｅｒ構造に基づく大規模モデル）によって実現することもできる。深層学習モデルと検索モデルとの連合トレーニングについては後述する。
【0086】
深層学習モデルによって生成される第１の中間クエリは、例えば検索クエリ（ｑｕｅｒｙ）であってもよく、これにより、１つ以上の検索結果を得るために、深層学習モデルと連合してトレーニングされた検索モデルを利用して検索することができる。検索結果への処理は、サーチエンジンによって返されたサーチ結果の上述の処理を参照することができ、ここでは説明しないことを理解されたい。
【0087】
これにより、外部検索モデルを用いることで、外部サーチエンジンを用いた上記の利点が実現できる一方で、外部検索モデルと理解生成大規模モデルとが連合して最適化されるため、両者が協調し、外部検索モデルは、より正確で、より回答生成に適切な内容を理解生成大規模モデルに提供でき、理解生成大規模モデルは検索結果をよりよく整合加工することができ、これにより、ユーザの意図により合った品質の高い回答を生成することができる。したがって、外部サーチエンジンや外部検索モデルを用いることで、深層学習モデルやインテリジェントシステムに対する知識補強を実現することができる。
【0088】
以下、いくつかの例示的な実施例に関連して深層学習モデル及びインテリジェントシステムに対する知識補強の効果をさらに説明する。１つの例示的な実施例では、図８に示すように、知識補強を備えない対話システム８１０では、内在化された知識が限られており、より知識の強いクエリに遭遇したときに正確な回答ができない。さらに、対話システム８１０は、知識をリアルタイムで更新することができず、したがって、それが出力する結果は、古くなったり、間違っていたりする可能性がある。本開示で説明される知識補強を有するインテリジェントシステム８２０は、ユーザ入力に対して外部サーチエンジン／検索モデル８３０で検索を行うことができ、これにより正確な知識内容を獲得し、知識の正確度を向上させる。ユーザからの「三国時代、魏の君主の息子が書いた有名な詩は何か。」という質問に対して、サーチエンジン／検索モデル８３０は２つの関連結果を返し、そのうちの１つは三国時代の魏の君主が曹操であり、息子の曹丕と曹植がいたことを示し、もう１つは曹操の息子である曹植の詩作「七歩詩」が有名であることを示している。深層学習モデルは、自身の内在化した知識と結びつけて、外部から得たこれら２つのサーチ結果を融合してから、正確な回答を与える。
【0089】
また、外部のサーチエンジンや検索モデルの背後にあるデータベース、知識ベース、リソースリポジトリはリアルタイムに更新されるため、サーチや検索によって得られる知識はより時効性が強い。これにより、深層学習モデルとインテリジェントシステムに対する知識増強が示される。
【0090】
いくつかの実施例によれば、第１の機能コンポーネントは、深層学習モデルによって呼び出すことができる少なくとも１つのアプリケーションプログラミングインターフェース（ＡＰＩ）である。異なるＡＰＩは、それぞれ、対応するマークアップ（ｍａｒｋｕｐ）形式、すなわち、このＡＰＩを呼び出すためのトークンを有する。深層学習モデルの予測時、モデルが特定のＡＰＩに対応するトークン／マークアップを出力するとき、インテリジェントシステムは、このＡＰＩをトリガする必要があることを認識する。次に、モデルは、このＡＰＩによって識別できる中間クエリ（すなわち、このＡＰＩに用いられる入力であり、書き換えられたクエリｑｕｅｒｙとも呼ばれる）を出力し続ける。さらに、中間クエリでこのＡＰＩを呼び出して得た中間結果に基づいて、深層学習モデルに再入力するための第２の入力を確定し、モデルによる予測を継続させることができる。第２の入力に関して、深層学習モデルの決定は、第２の機能コンポーネント（サーチエンジン、検索モデル、又は他のＡＰＩ）をさらに呼び出す必要がある可能性もあり、他の機能コンポーネントを呼び出すことを必要とせず、初期入力に対する回答を直接生成する可能性もある。
【0091】
上述のように、単一ラウンドに対するモデルの回答生成過程において、全てのＡＰＩ（又は全ての外部機能モジュール）が呼び出されてもよいし、一部のＡＰＩのみが呼び出されてもよく、これらのＡＰＩの呼び出し順序及び呼び出し回数がいずれもモデルによって決定される。
【0092】
いくつかの実施例では、インテリジェントシステムで使用されるＡＰＩは、科学計算機、フォーム処理ツール、スマートホームコントロールなどを含むことができる。これにより、様々なタスクを実行できるＡＰＩを呼び出すことで、インテリジェントシステムに対する能力拡張を実現する。科学計算機などの外部機能コンポーネントを用いることで、深層学習モデルの論理計算能力が弱いという問題を解決し、インテリジェントシステム全体の論理推理能力を向上させる。キーワードとＡＰＩ呼び出し命令のマッピングテーブルを利用してＡＰＩを呼び出す方式より、深層学習モデルを利用して該ＡＰＩによって識別できる中間クエリを直接生成し、中間クエリ及び中間結果の取得をユーザの初期入力における潜在的な意図により適合させ、最終的に生成された回答の品質を向上させ、システムのインテリジェント性を向上させる。また、理解生成大規模モデルとＡＰＩを組み合わせることで、インテリジェントシステムに自動化された動作実行能力を持たせ、深層学習モデルやインテリジェントシステムに対する能力拡張を実現する。
【0093】
いくつかの例示的な実施例に関連して深層学習モデル及びインテリジェントシステムに対する能力拡張の効果を以下でさらに説明する。１つの例示的な実施例では、図９に示すように、能力拡張（例えば、外部ＡＰＩの呼び出し能力）を備えない対話システム９１０は、完成できるタスクが限られ、気象問い合わせ、数学計算などの外部機能コンポーネントの呼び出しを必要とするタスクを処理することができない。本開示で説明される能力拡張を有するインテリジェントシステム９２０は、ユーザ入力に対して、呼び出す必要があるＡＰＩ ９３０を確定することができ、さらにこのＡＰＩ ９３０を呼び出し、返された結果を処理することで、ユーザのニーズを満たす回答を生成し、深層学習モデル及びインテリジェントシステムへの能力拡張を示す。
【0094】
いくつかの実施例によれば、第２の出力は、第２の機能コンポーネントを呼び出すための第２のトークンと、第２の入力に基づいて得られた、第２の機能コンポーネントによって識別できる第２の中間クエリを含むことができる。第２の機能コンポーネントは、第１の機能コンポーネントと同一であってもよいし（すなわち、同一機能コンポーネントが複数回呼び出されてもよい）、又は、第１の機能コンポーネントと異なっていてもよく、ここでは限定されないことを理解されたい。
【0095】
いくつかの実施例によれば、図１０に示すように、初期入力に対する回答を生成するために、深層学習モデルの第２の出力を取得するステップＳ２０５は、第２の出力に対して対応する機能呼び出し操作を実行するステップＳ１００１であって、該機能呼び出し操作が、第２の中間クエリに基づいて第２の機能コンポーネントによって確定された第２の中間結果を取得することと、少なくとも第２の入力及び第２の中間結果に基づいて、深層学習モデルに用いられる第３の入力を確定することと、深層学習モデルの第３の出力を取得することとを含むものと、第Ｎの機能コンポーネントを呼び出すための第Ｎのトークン及び第Ｎの入力に基づいて得られた、第Ｎの機能コンポーネントによって識別できる第Ｎの中間クエリを深層学習モデルの第Ｎの出力に含むことに応答して、第Ｎ＋１の出力に深層学習モデルとは異なる任意の機能コンポーネントを呼び出すための対応するトークンが含まれないと確定されるまで、第Ｎの出力に対応する機能呼び出し操作を実行し、第Ｎ＋１の出力を初期入力に対する回答とし、ここでは、Ｎは２より大きい整数であるステップＳ１００２とを含むことができる。
【0096】
したがって、上述の方式により、深層学習モデルは、外部機能コンポーネントの呼び出しがもはや必要でないとモデルが確定するまで、外部機能コンポーネントの呼び出しを複数回行うことができる。
【0097】
いくつかの実施例によれば、第２の機能コンポーネント及び第Ｎの機能コンポーネントは、それぞれ、外部サーチエンジンと、深層学習モデルと連合してトレーニングされた検索モデルと、深層学習モデルによって呼び出すことができる少なくとも１つのアプリケーションプログラミングインターフェースと、外部メモリバンクとを含む機能コンポーネントグループのうちの一つであってもよく、外部メモリバンクにはユーザに関連する第１のデータグループセットが記憶され、ここでは、第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、履歴入力データアイテムに対して深層学習モデルによって生成された履歴回答アイテムとを含む。
【0098】
いくつかの実施例によれば、第２の出力は、深層学習モデルとは異なる任意の機能コンポーネントを呼び出すための対応するトークンを含なくてもよい。初期入力に対する回答を生成するために、深層学習モデルの第２の出力を取得するステップＳ２０５は、第２の出力を、初期入力に対する回答とすることを含むことができる。これにより、モデルが生成する第２の出力が、いずれの機能コンポーネントに対応するトークンも含まない場合、初期入力に対するモデルが出力する最終回答を取得することができる。
【0099】
いくつかの例示的な実施例に関連して深層学習モデル及びインテリジェントシステムの複数種の能力を補強する効果を以下でさらに説明する。１つの例示的な実施例では、図１１に示すように、能力補強を備えない対話システム１１１０は、モデルに内在化された知識に基づいて生成された回答内容が簡単であり、ユーザ入力に記述されたタスクを完了することができず、したがってユーザニーズを満たすことができない。本開示で説明される能力補強を備えるインテリジェントシステム１１２０は、ユーザ入力によって示される意図を正確に理解し、さらに、外部メモリバンク１１３０、サーチエンジン／検索モデル１１４０、ＡＰＩ１１５０などの外部コンポーネントを利用して、履歴記憶クエリ、文章生成、ＡＰＩ呼び出しによるメール送信などの多くのタスクを正確に完成し、かつ、正確な論理で上記タスクを実行することができる。
【0100】
また、文章を生成する際、モデルは外部のサーチエンジン／検索モデルを利用して明示的な情報を文章の素材として取得し、かつ、内在化された知識を利用して獲得したこれらの素材を抽出、整合、修飾を行い、冒頭、末尾、遷移段落を生成して１つの完全な文章にまとめることができる。図１１に示すように、インテリジェントシステム１１２０が生成する文章の中、「Ｘ市は景色の美しい都市です」と「もしＸ市へ旅行する機会があれば、きっとこの都市が好きになる」という２つの文章は、モデルに内在化された知識に基づいて生成された内容であり、旅行の季節、グルメ、旅行の行き方に関する中間の３つの内容は、それぞれ３つの検索結果から抽出され、検索結果に基づいて修飾されて生成される。これにより、上記方式により、高品質な回答内容を生成することができる。
【0101】
１つの例示的な実施例では、図１２に示すように、能力補強を備えない対話システム１２１０は、ユーザとの履歴対話を取得できず、したがって、ユーザ入力に記述されたタスクを完了できず、したがって、ユーザのニーズを満たすことができない。比較すると、本開示で説明される能力補強を備えるインテリジェントシステム１２２０は、ユーザ入力によって示される意図を正確に理解し、外部メモリバンク１２３０、ＡＰＩ １２４０、サーチエンジン／検索モデル１２５０などの外部コンポーネントを利用して、履歴記憶クエリ、ＡＰＩ呼び出しによる音楽再生、歌詞調べなどの多くのタスクを正確に完成し、かつ、正確な論理で上記タスクを実行することができる。これにより、深層学習モデル及びインテリジェントシステムの複数の能力の増強が示される。
【0102】
ステップＳ２０１に戻る。いくつかの実施例によれば、初期入力は、入力データのコンテキスト情報を含むことができる。コンテキスト情報は、取得したユーザの入力データの前に、ユーザとインテリジェントシステムとの間で行われた複数の対話を含むことができる。
【0103】
いくつかの実施例では、コンテキスト情報は、ユーザがインテリジェントシステムとの現在の会話においてインテリジェントシステムと行う複数の会話を含むが、ユーザとインテリジェントシステムの履歴会話において送信された対話は含まない。言い換えれば、ユーザがインテリジェントシステムのアプリケーション又はサービスをシャットダウンした後、コンテキスト情報はそれに応じてクリアされ、ユーザが再びインテリジェントシステムのアプリケーションやサービスを起動すると、コンテキスト情報の記録が再開される。
【0104】
さらに、深層学習モデルの入力長の上限に制限され、コンテキスト情報は、通常、事前設定された最大符号化可能な長さを有し、記憶能力が限られる。そのため、ユーザがインテリジェントシステムとの対話を複数回行なったり、内容が長い場合、コンテキスト情報の一部が捨てられる可能性がある。
【0105】
いくつかの実施例によれば、外部メモリバンクから履歴対話情報を取得する際、ユーザの入力データを基に、コンテキスト情報を参照として使用されてもよい。また、履歴回答アイテムに加えて、対応する履歴入力データアイテムを取得してもよい。図１３に示すように、深層学習モデルに用いられる初期入力を確定するステップＳ２０１は、外部メモリバンクから入力データとコンテキスト情報との類似度が第４の閾値に符合する少なくとも一対の履歴入力データアイテム及び履歴回答アイテムを取得するステップＳ１３０１と、入力データと、コンテキスト情報と、少なくとも一対の履歴入力データアイテム及び履歴回答アイテムとに基づいて、深層学習モデルに用いられる初期入力を確定するステップＳ１３０２とを含むことができる。これにより、ユーザの入力データとコンテキスト情報の両方を用いて類似度計算を行うことにより、外部メモリバンクからより効果的な履歴対話情報を得ることができ、一方、入力データ、コンテキスト情報、ならびに対応する少なくとも一対の履歴入力データアイテム及び履歴回答アイテムを利用することによって、深層学習モデルによって生成された回答の品質をさらに向上させることができる。
【0106】
いくつかの実施例では、他の外部機能コンポーネントについて、対応する第１の中間クエリを生成する際に、ユーザの入力データ及びコンテキスト情報の両方を参照として使用してもよい。
【0107】
本開示の方法を実施する際に、必要に応じて、第１の閾値、第２の閾値、第３の閾値、及び第４の閾値を設定することができることを理解されたい。これらのプリセット閾値の値は、同一であっても異なっていてもよく、ここでは限定されない。
【0108】
インテリジェントシステムとそれに配置される理解生成大規模モデルは豊かな形で、生成された回答を提示でき、ユーザ体験を向上させるためにユーザと対話することができる。
【0109】
いくつかの実施例では、対話システムは、単一のサーチ結果から最終的な回答を生成し、不完全な回答又は間違った回答が生じ得る可能性がある。図１４に示されるように、本開示のインテリジェントシステムは、サーチ又は検索後にオンライン計算を実行することによって、回答集約提示方法（単一回答集約及び複数回答集約の両方が実現可能である）を実現することができる。
【0110】
いくつかの実施例では、図１５に示すように、検索された内容を集約して提示することに加えて、インテリジェントシステムは、詩、小説、メール、要約報告、作文、マーケティング文書などを書くことのほかに、学科に関連する数学的推理及び常識的推理など、自ら答えを生成することができる。これらの結果に対して、インテリジェントシステムは構造化された提示を行うことができる。
【0111】
いくつかの実施例では、インテリジェントシステムは、対話型提示を達成するために、ユーザと明確化、能動的誘導、深いトピック質問回答、及びある命令の実行を複数回行うことができる。いくつかの例示的な実施では、図１６のＡ部分に示すように、インテリジェントシステムは、対話のテーマ及び内容をユーザに対して能動的に明確にし、ユーザの所望により合った内容を生成することができ、図１６のＢ部分に示すように、インテリジェントシステムは、ユーザを能動的に誘導し、ユーザの具体的なニーズを掘り起こすことができる。
【0112】
本開示の別の態様によれば、深層学習モデルのトレーニング方法を提供する。深層学習モデルはユーザの入力データに基づいて回答データを生成するために用いられる。図１７に示すように、トレーニング方法は、第１のサンプルデータを取得し、第１のサンプルデータは第１のサンプル初期入力及び第１のサンプル出力を含み、ここでは、第１のサンプル初期入力は深層学習モデルとは異なる第１のプリセット機能コンポーネントを呼び出す意図表現を含み、且つ、第１のサンプル出力は第１のプリセット機能コンポーネントを呼び出すための第１のトークン及び第１のプリセット機能コンポーネントによって識別できる第１のサンプル中間入力を含むステップＳ１７０１と、第２のサンプルデータを取得し、第２のサンプルデータは第２のサンプル初期入力及び第２のサンプル出力を含み、ここでは、第２のサンプル初期入力は深層学習モデルとは異なる任意のプリセット機能コンポーネントを呼び出す意図表現を含まず、且つ、第２のサンプル出力は任意のプリセット機能コンポーネントを呼び出すための対応するトークンを含まないステップＳ１７０２と、深層学習モデルを利用して第１のサンプル初期入力を処理して、第１の予測出力を取得するステップＳ１７０３と、第１のサンプル出力と第１の予測出力との比較に基づいて、深層学習モデルのパラメータを調整するステップＳ１７０４と、深層学習モデルを利用して第２のサンプル初期入力を処理して、第２の予測出力を取得するステップＳ１７０５と、第２のサンプル出力と第２の予測出力との比較に基づいて、深層学習モデルのパラメータを調整するステップＳ１７０６とを含む。
【0113】
従って、以上のように深層学習モデルをトレーニングすることにより、トレーニング後の深層学習モデルが、特定のプリセット機能コンポーネントを呼び出す必要があるときに、そのプリセット機能コンポーネントに対応するトークンと、このプリセット機能コンポーネントから識別できる中間入力とを出力することができ、かつ、いずれの機能コンポーネントも呼び出す必要がないときに、いずれかのプリセット機能コンポーネントに対応するトークン及び中間入力を含まない出力内容を生成することができ、これにより、理解、決定、生成などのタスクを実行する能力をモデルに持たせるとともに、外部の機能コンポーネントを利用して深層学習モデルを能力補強でき、生成された回答データの品質を向上させる。
【0114】
いくつかの実施例では、ステップＳ１７０１の前に、まず、理解生成大規模モデルに対して言語テキストとアプリオリ知識とのハイブリッドトレーニングを実行してもよい。
【0115】
理解生成大規模モデルは、大量のテキストデータ（例えば、インターネットデータ）、知識マップ、弱い教師付きデータでトレーニングすることができる。このほかにも、人工的にまとめられた知識をモデルに加えることも重要である。人工的にまとめられたアプリオリ知識は、モデルが言語をよりよく理解し、言語を生成し、決定を下すのを助け、モデルが人間と効率的かつスムーズに対話することを可能にする。具体的なステップは以下を含む。
【0116】
１） インターネット上のテキストデータを収集し、それに対して低品質、ノイズ除去処理を行い、ビッグデータ中の無効、冗長情報を除去する。
２） アプリオリ知識を融合し、主に３種類の知識を含む：
Ａ、 膨大なインターネットベースの知識マップ： ＜実体－属性－属性値＞又は＜実体－関係－実体２＞を含む； 例えば、＜スターＡ－身長－１７２＞、＜スターＡ－夫婦－スターＢ＞；
Ｂ、 高品質の手動アプリオリ注釈データ： 人手によって各種類のタスクに対してラベル付けを行い、例えば分類ラベルデータ、「ＸＸが新しい男子バスケットボール主席に当選した」は、＜「ＸＸが新しい男子バスケットボール主席に当選した」－「スポーツ」とラベル付けする； あるいは、質問回答データ： ＜「チョコレートを長時間食べると糖尿病になる？」「できない」＞；
Ｃ、 業界知識： 例えば医療、安全、交通、金融、エネルギー業界の辞書、業界の構造化知識；
３） 図１８に示すように、知識融合技術では、上記の３種類の構造化知識１８１０を、言語化テンプレート１８２０によって自然言語記述形式（すなわち、自然言語形式のデータ１８３０）に変換し、続いてインターネットテキストデータと混合学習する。１つの例示的な実施例では、構造化知識＜スターＡ－夫婦－スターＢ＞は、言語化テンプレートによって、「スターＡの妻はスターＢである」という自然言語形式のデータに変換することができる。混合学習の方式によって、モデルは自然言語をよりよく理解することができ、それによって基礎的な対話、相互作用能力を有する。
２） アプリオリ知識を融合し、主に３種類の知識を含む：
Ａ、 膨大なインターネットベースの知識マップ： ＜実体－属性－属性値＞又は＜実体－関係－実体２＞を含む； 例えば、＜スターＡ－身長－１７２＞、＜スターＡ－夫婦－スターＢ＞；
Ｂ、 高品質の手動アプリオリ注釈データ： 人手によって各種類のタスクに対してラベル付けを行い、例えば分類ラベルデータ、「ＸＸが新しい男子バスケットボール主席に当選した」は、＜「ＸＸが新しい男子バスケットボール主席に当選した」－「スポーツ」とラベル付けする； あるいは、質問回答データ： ＜「チョコレートを長時間食べると糖尿病になる？」「できない」＞；
Ｃ、 業界知識： 例えば医療、安全、交通、金融、エネルギー業界の辞書、業界の構造化知識；
３） 図１８に示すように、知識融合技術では、上記の３種類の構造化知識１８１０を、言語化テンプレート１８２０によって自然言語記述形式（すなわち、自然言語形式のデータ１８３０）に変換し、続いてインターネットテキストデータと混合学習する。１つの例示的な実施例では、構造化知識＜スターＡ－夫婦－スターＢ＞は、言語化テンプレートによって、「スターＡの妻はスターＢである」という自然言語形式のデータに変換することができる。混合学習の方式によって、モデルは自然言語をよりよく理解することができ、それによって基礎的な対話、相互作用能力を有する。
【0117】
いくつかの実施例では、ステップＳ１７０１で取得された第１のサンプルデータ及びステップＳ１７０２で取得された第２のサンプルデータについて、第１のサンプル初期入力及び第２のサンプル初期入力は、真のユーザデータ又は構築されたデータであってもよく、入力データ（及びオプションとして、コンテキスト情報）を含んでもよい。第１のサンプル初期入力は、深層学習モデルとは異なる第１のプリセット機能コンポーネントを呼び出す意図的表現を含み、すなわち、第１のサンプル初期入力によって記述された内容が、モデルに第１のプリセット機能コンポーネントを呼び出すことを要求又は所望する。第２のサンプル初期入力は、深層学習モデルとは異なる任意のプリセット機能コンポーネントを呼び出す意図的表現を含まず、すなわち、第２のサンプル初期入力によって記述された内容が、モデルに任意のプリセット機能コンポーネントを呼び出すことを要求又は所望しない。第１のサンプル出力及び第２のサンプル出力は、深層学習モデルが出力できると所望する結果、すなわち、真値（ｇｒｏｕｎｄ ｔｒｕｔｈ）であってもよい。
【0118】
いくつかの実施例では、第１のサンプル出力に含まれる第１のトークンは、対応する第１のプリセット機能コンポーネントに対応し、これにより、トレーニングされた深層学習モデルは、このトークンによって第１のプリセット機能コンポーネントを呼び出す必要があることを示す。いくつかの実施例では、モデルが出力する第１のトークンは、この第１のプリセット機能コンポーネントに対応するマークアップ（ｍａｒｋｕｐ）形式に符号化し、ＡＰＩ呼び出し結果を文字列に変換することができ、それにより、トレーニングされたモデルが、テキスト処理の方式で、決定、呼び出し情報生成、及び呼び出し結果の理解を行うことができる。
【0119】
いくつかの実施例では、第１のサンプル出力に含まれる第１のサンプル中間入力は、外部の第１のプリセット機能コンポーネントによって処理されて、この第１のプリセット機能コンポーネントによって返される結果を得ることができる。第１のプリセット機能コンポーネントが外部メモリバンクである場合、第１のサンプル中間入力は、外部メモリバンクによる類似度計算が可能なユーザの入力データ（及びオプションとしてコンテキスト情報）であってもよい。第１のプリセット機能コンポーネントがサーチエンジンである場合、第１のサンプル中間入力は、サーチエンジンによって識別できる検索式であってもよい。第１のプリセット機能コンポーネントが検索モデルである場合、第１のサンプル中間入力は、検索モデルによって処理することができる検索クエリであってもよい。第１のプリセット機能コンポーネントが特定のＡＰＩである場合、第１のサンプル中間入力は、このＡＰＩに対応するマークアップ（ｍａｒｋｕｐ）形式を有するように符号化されることができる。このようにして、トレーニングされたモデルは、これらのプリセット機能コンポーネントによって識別できる中間入力を出力する能力を有することができる。
【0120】
いくつかの実施例では、ステップＳ１７０３で得られた深層学習モデルが出力する第１の予測出力は、第１のサンプル出力に近くても、全く異なっていてもよいが、深層学習モデルをトレーニングする目標、すなわち、トレーニングされたモデルが生成する第１の予測出力が、第１のプリセット機能コンポーネントを呼び出すためのトークンと、第１のプリセット機能コンポーネントによって識別でき、第１のサンプル中間入力の機能又は意味と一致する予測中間入力とを含むようにすることである。
【0121】
いくつかの実施例では、第２のサンプル出力は、任意のプリセット機能コンポーネントを呼び出すための対応するトークンを含まず、したがって、第２のサンプル出力は、第２のサンプル初期入力に対する深層学習モデルの回答であるべきである。ステップＳ１７０５で得られた深層学習モデルが出力する第２の予測出力は、第２のサンプル出力に近くてもよいし、全く異なっていてもよいが、深層学習モデルをトレーニングする目標は、トレーニングされたモデルによって生成された第２の予測出力が、任意のプリセット機能コンポーネントを呼び出すためのトークンを含まず、かつ第２のサンプル初期入力に対する高品質回答データを含むようにすることである。
【0122】
いくつかの実施例では、ステップＳ１７０４及びステップＳ１７０６において、需要に基づいて対応する損失関数を確定し、サンプル出力と予測出力との差を記述する損失値を計算し、さらに、損失値に基づいて、深層学習モデルのパラメータを調整する。
【0123】
いくつかの実施例では、第１のサンプルデータは、第１のサンプル目標入力及び第１のサンプル回答をさらに含むことができる。第１のサンプル目標入力は、第１のサンプル初期入力と、第１のサンプル中間入力に基づいて第１のプリセット機能コンポーネントから取得された第１のサンプル中間結果とを含む。いくつかの実施例では、第１のサンプル目標入力は、第１のサンプル中間入力をさらに含むことができる。第１のサンプル回答は、第１のサンプル中間結果を利用して構築された第１のサンプル初期入力に対する真（ｇｒｏｕｎｄ ｔｒｕｔｈ）の回答である。トレーニング方法は、深層学習モデルを利用して第１のサンプル目標入力を処理して、第１の予測回答を取得することと、第１のサンプル回答と第１の予測回答との比較に基づいて、深層学習モデルのパラメータを調整することとを含むことができる。
【0124】
これにより、トレーニング後の深層学習モデルが、外部機能コンポーネントから得られた結果とモデルに内在化した知識と合わせて、ユーザの需要に対する満足と回答を完成でき、最終的に品質の高い回答内容を得ることができる。
【0125】
いくつかの実施例によれば、図１９に示されるように、トレーニング方法は、第３のサンプル初期入力と、サンプルサーチクエリと、複数のサンプルサーチ結果と、第３のサンプル初期入力に対する深層学習モデルの第３のサンプル回答とを含む第３のサンプルデータを取得し、サンプルサーチクエリは、第３のサンプル初期入力に基づいて深層学習モデルによって生成されたサンプル中間入力であり、サンプル中間入力は、深層学習モデルとは異なる検索モデルによって識別可能であり、ここでは、複数のサンプルサーチ結果はサンプルサーチクエリに基づいて検索モデルによって出力された結果であるステップＳ１９０７と、複数のサンプルサーチ結果のそれぞれと第３のサンプル回答との一致度に基づいて、複数のサンプルサーチ結果にソーティング操作を行うステップＳ１９０８と、ソーティングされた複数のサンプルサーチ結果に基づいて検索モデルをトレーニングするステップＳ１９０９とをさらに含むことができる。図１９のステップＳ１９０１～ステップＳ１９０６は、それぞれ図１７のステップＳ１７０１～ステップＳ１７０６と同様であるため、ここでの説明は省略することを理解されたい。
【0126】
これにより、第３のサンプルデータにおける複数のサンプルサーチ結果のソーティング結果を確定することにより、該ソーティング結果を利用して監督として検索モデルをトレーニングすることにより、理解生成大規模モデルと検索モデルとの連合最適化を実現し、両者が協調できるようにし、外部検索モデルは、より正確で、より回答生成に適する内容を理解生成大規模モデルに提供することができ、それにより、理解生成大規模モデルが、ユーザの意図により適合し、かつ、より品質の高い回答を生成する。
【0127】
いくつかの実施例では、第３のサンプルデータに含まれるサンプルサーチクエリは、例えば、検索クエリｑｕｅｒｙであり、複数のサンプルサーチ結果は、例えば、検索モデルによって使用される検索ライブラリ内の、第３のサンプル初期入力のニーズに合致し、第３のサンプル初期入力に対する第３のサンプル回答を生成するために整合されるための複数の内容であり、第３のサンプル回答は、手動で、複数のサンプルサーチ結果に対して選択、修正、修飾などのステップを実行し後に得られる内容であってもよい。いくつかの実施例では、図１７のステップＳ１７０１、ステップＳ１７０３～ステップＳ１７０４を参照して、第３のサンプルデータを利用して深層学習モデルをトレーニングすることにより、深層学習モデルは、上述の選択、修正、修飾などのステップを自動的に実行する能力を有する。
【0128】
いくつかの実施例では、ステップＳ１９０８において、複数のサンプルサーチ結果と第３のサンプル回答との間の内容一致度が、例えば、意味ベクトルに基づく類似度計算に基づいて計算されてもよい。
【0129】
いくつかの実施例によれば、図２０に示すように、複数のサンプルサーチ結果のそれぞれと第３のサンプル回答との一致度に基づいて、複数のサンプルサーチ結果にソーティング操作を行うステップＳ１９０８は、複数のサンプルサーチ結果から現在の一致度が最も高い第１のサンプルサーチ結果をスクリーニングするステップＳ２００１と、第３のサンプル回答と第１のサンプルサーチ結果との重複内容を削除して、第３のサンプル回答を更新するステップＳ２００２と、複数のサンプルサーチ結果の残り部分のそれぞれと更新された第３のサンプル回答との一致度に基づいて、複数のサンプルサーチ結果における全てのサンプルサーチ結果のソーティングが完了するまで、残り部分に対してソーティング操作を繰り返すステップＳ２００３とを含むことができる。
【0130】
このようにして、第３のサンプル回答を生成するための複数のサンプルサーチ結果のソーティングが実現され、これにより、理解生成大規模モデルと検索モデルとの連合最適化を実現することができる。
【0131】
いくつかの実施例によれば、検索モデルは、ソーティングサブモデル及びリコールサブモデルを含むことができる。ソーティングされた複数のサンプルサーチ結果に基づいて検索モデルをトレーニングするステップＳ１９０９は、ソーティングされた複数のサンプルサーチ結果に基づいて、検索モデルのソーティングサブモデルをトレーニングすることと、トレーニングされたソーティングサブモデルを教師モデルとして、リコールサブモデルをトレーニングすることとを含むことができる。これにより、上記の方式により、理解生成大規模モデル、検索モデルにおけるソーティングサブモデル、リコールサブモデルの三者間の連合最適化を実現する。
【0132】
いくつかの実施例では、ソーティングサブモデルは、エンドツーエンド検索のクロスエンコーダモデル（Ｃｒｏｓｓ－Ｅｎｃｏｄｅｒ）である。クロスエンコーダモデルの入力はクエリ（ｑｕｅｒｙ、ｑ）と文書（ｐａｓｓａｇｅ、ｐ）からなり、出力は両者の類似度ｓｉｍ（ｑ，ｐ）となる。リストワイスロス（ｌｉｓｔｗｉｓｅ ｌｏｓｓ）を監督として使用することができ、これにより、クロスエンコーダモデルが出力するソーティング結果を、複数のサンプルサーチ結果に対して生成されたソーティング結果に近似又は一致させる。
【0133】
いくつかの実施例では、リコールサブモデルは、バイエンコーダモデル（Ｂｉ－Ｅｎｃｏｄｅｒ）であってもよい。ここで、１つのエンコーダは、クエリｑの特徴ベクトルを生成するために使用され、もう１つのエンコーダは、文書ｐの特徴ベクトルを生成するために使用される。この２つの特徴ベクトルから、両者間の類似度を計算することができる。ソーティングモデルがトレーニングされた後、モデル蒸留の方式によって、ソーティングモデルを教師モデルとしてリコールモデルに対してトレーニングサンプルを構築し、リコールモデルの最適化目標をソーティングモデルに一致させ、さらに理解生成大規模モデルと検索モデルの連合最適化を実現する。１つの例示的な実施例では、ＫＬ－ダイバージェンスを監督として教師モデルとしてのソーティングモデルを利用してリコールモデルをトレーニングするために使用することができる。
【0134】
いくつかの実施例では、連合トレーニングを行う前にエンドツーエンド検索モデルを単独でトレーニングすることができる。１つの例示的な実施例は、リコールサブモデル及びソーティングサブモデルを連合トレーニングすることができる。
【0135】
いくつかの実施例によれば、図２１に示されるように、トレーニング方法は、第４のサンプルデータを取得し、第４のサンプルデータは第４のサンプル初期入力、外部メモリバンクによって識別できる第４のサンプル中間入力、サンプル記憶結果及び第４のサンプル回答を含み、第４のサンプル中間入力は第４のサンプル初期入力に基づいて確定されるステップＳ２１０７と、外部メモリバンクによって第４のサンプル中間入力に基づいて確定された予測記憶結果を取得するステップＳ２１０８と、予測記憶結果とサンプル記憶結果との比較に基づいて、外部メモリバンクのパラメータを調整するステップＳ２１０９と、少なくとも第４のサンプル初期入力及びサンプル記憶結果に基づいて、深層学習モデルに用いられる第４のサンプル目標入力を確定するステップＳ２１１０と、深層学習モデルを利用して第４のサンプル目標入力を処理して、第４の予測回答を取得するステップＳ２１１１と、第４のサンプル回答と第４の予測回答との比較に基づいて、深層学習モデルのパラメータを調整するステップＳ２１１２とをさらに含むことができる。図２１のステップＳ２１０１～ステップＳ２１０６の操作は、それぞれ図１７のステップＳ１７０１～ステップＳ１７０６の操作と同様であるため、ここでの説明は省略することを理解されたい。これにより、外部メモリバンクと理解生成大規模モデルとの連合トレーニングを実現する。
【0136】
上述のようにして得られた外部メモリバンクは、外部メモリバンクの取得のために、外部機能コンポーネントとして上述したデータ生成方法において使用することができることを理解されたい。
【0137】
いくつかの実施例では、記憶クエリ及び理解生成大規模モデルの連合トレーニングのトレーニング目標は、記憶増強の回答生成確率を最大化することであってもよく、
【0138】
【数3】
【0139】
ここで、Ｍは外部メモリバンクであり、ｃｔは外部メモリバンクに対応するサンプル中間入力であり、サンプル初期入力及びコンテキスト情報を含み得、ｍｉは照会された履歴対話（すなわち、データグループ）であり、ｒは深層学習モデルによって生成された回答である。対応的に
【0140】
【数4】
【0141】
は記憶クエリプロセスであり、
【0142】
【数5】
【0143】
は記憶補強の回答生成プロセスである。該トレーニング目標に基づいて外部メモリバンク及び理解生成大規模モデルに対して連合最適化を行うことにより、連合最適化後の外部メモリバンクにユーザ入力との相関性がより高く、回答生成により役立つ履歴対話を提供させ、連合最適化後の理解生成大規模モデルは取得した履歴対話に基づいてユーザ入力に対して品質の高い回答内容を生成することができる。
【0144】
いくつかの実施例では、上述したように、稠密ベクトル類似度を計算することによって外部メモリバンクからユーザ入力に関する履歴対話情報を取得することができ、具体的にニューラルネットワークを利用して実現できる。ステップＳ２１０９では、稠密ベクトル類似度計算用のニューラルネットワークのパラメータを調整して、第４のサンプル初期入力に基づいて確定された第４のサンプル中間入力とサンプル記憶結果との類似度を上げ、それにより、最適化したニューラルネットワーク（外部メモリバンク）は第４のサンプル中間入力に対してサンプル記憶結果を返すことができる。ステップＳ２１１２における深層学習モデルへのパラメータ調整は、図１７のステップＳ１７０４又はステップＳ１７０６を参照することができ、ここでは説明しないことを理解されたい。
【0145】
本開示の別の態様によれば、深層学習モデルに基づくデータ生成装置を提供する。深層学習モデルはユーザの入力データに基づいて回答データを生成することができる。図２２に示すように、データ生成装置２２００は、ユーザからの入力データに基づいて、深層学習モデルに用いられる初期入力を確定するように構成される第１の確定ユニット２２１０と、深層学習モデルの第１の出力を取得し、ここでは、深層学習モデルが初期入力に基づいて回答を生成するのに深層学習モデルとは異なる第１の機能コンポーネントを呼び出す必要があると確定したことに応答して、第１の出力は第１の機能コンポーネントを呼び出すための第１のトークン及び初期入力に基づいて確定された、第１の機能コンポーネントによって識別できる第１の中間クエリを含むように構成される第１の取得ユニット２２２０と、第１の中間クエリに基づいて第１の機能コンポーネントによって確定された第１の中間結果を取得するように構成される第２の取得ユニット２２３０と、少なくとも初期入力及び第１の中間結果に基づいて、深層学習モデルに用いられる第２の入力を確定するように構成される第２の確定ユニット２２４０と、初期入力に対する回答を生成するために、深層学習モデルの第２の出力を取得するように構成される第３の取得ユニット２２５０とを含む。装置２２００におけるユニット２２１０－ユニット２２５０の操作は、図２のステップＳ２０１－ステップＳ２０５の操作とそれぞれ類似しており、ここでは説明しないことを理解されたい。
【0146】
いくつかの実施例によれば、第１の機能コンポーネントは、ユーザに関連する第１のデータグループセットを記憶することができる外部メモリバンクであってもよい。第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、履歴入力データアイテムに対して深層学習モデルによって生成された履歴回答アイテムとを含むことができる。
【0147】
いくつかの実施例によれば、第１のデータグループセットにおける各データグループは、そのセットにける履歴入力データアイテム及び履歴回答アイテムに対応するエントリ時間アイテムをさらに含むことができる。
【0148】
いくつかの実施例によれば、第１の中間クエリは、入力データに基づくことができる。第１の中間結果は、第１のデータグループセットにおける、入力データとの類似度が第１の閾値より高い履歴入力データアイテムに対応する履歴回答アイテムであってもよい。
【0149】
いくつかの実施例によれば、第１の中間クエリは、入力データに基づくことができる。第１の中間結果は、第１のデータグループセットにおける、入力データとの類似度が第１の閾値より高く、かつタイムスタンプが最新の履歴入力データアイテムに対応する履歴回答アイテムであってもよい。
【0150】
いくつかの実施例によれば、データ生成装置は、入力データ及び回答に基づく第１のデータグループと、第１のデータグループセットにおけるいずれかのデータグループとの類似度が第２の閾値より小さいと確定したことに応答して、第１のデータグループを第１のデータグループセットにエンターするように構成される第１のエントリユニットをさらに含むことができる。
【0151】
いくつかの実施例によれば、データ生成装置は、入力データ及び回答に基づく第１のデータグループと、第１のデータグループセットにおける第２のデータグループとの類似度が第３の閾値より高く、かつ第１のデータグループと第２のデータグループが相互に衝突していると確定したことに応答して、第１のデータグループを第１のデータグループセットにエンターし、第２のデータグループを第１のデータグループセットから削除するように構成される第２のエントリユニットをさらに含むことができる。
【0152】
いくつかの実施例によれば、データ生成装置は、エントリ時間アイテムに基づいて、時効性が古いデータグループを外部メモリバンクから削除するように構成される削除ユニットをさらに含むことができる。
【0153】
いくつかの実施例によれば、第１の確定ユニットは、入力データに基づいて、外部メモリバンクから入力データとの類似度が第１の閾値より高い履歴入力データアイテムに対応する履歴回答アイテムを取得するように構成される第１の取得サブユニットと、入力データ及び履歴回答アイテムに基づいて、初期入力を確定するように構成される第１の確定サブユニットとを含むことができる。外部メモリバンクにはユーザに関連する第１のデータグループセットが記憶されることができる。第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、履歴入力データアイテムに対して深層学習モデルによって生成された履歴回答アイテムとを含むことができる。
【0154】
いくつかの実施例によれば、第２の確定ユニットは、初期入力、第１の中間結果、及び第１の中間クエリに基づいて、深層学習モデルに用いられる第２の入力を確定するように構成される第３の確定サブユニットを含むことができる。
【0155】
いくつかの実施例によれば、第１の機能コンポーネントは、外部サーチエンジンであってもよい。
いくつかの実施例によれば、第１の機能コンポーネントは、深層学習モデルと連合してトレーニングされた検索モデルであってもよい。
いくつかの実施例によれば、第１の機能コンポーネントは、深層学習モデルと連合してトレーニングされた検索モデルであってもよい。
【0156】
いくつかの実施例によれば、第１の機能コンポーネントは、深層学習モデルによって呼び出すことができる少なくとも１つのアプリケーションプログラミングインターフェースであってもよい。
【0157】
いくつかの実施例によれば、第２の出力は、第２の機能コンポーネントを呼び出すための第２のトークンと、第２の入力に基づいて得られた、第２の機能コンポーネントによって識別できる第２の中間クエリを含むことができる。第３の取得ユニットは、第２の出力に対して対応する機能呼び出し操作を実行するように構成される第３の取得サブユニットであって、該機能呼び出し操作が、第２の中間クエリに基づいて第２の機能コンポーネントによって確定された第２の中間結果を取得することと、少なくとも第２の入力及び第２の中間結果に基づいて、深層学習モデルに用いられる第３の入力を確定することと、深層学習モデルの第３の出力を取得することとを含むものと、第Ｎの機能コンポーネントを呼び出すための第Ｎのトークン及び第Ｎの入力に基づいて得られた、第Ｎの機能コンポーネントによって識別できる第Ｎの中間クエリを深層学習モデルの第Ｎの出力に含むことに応答して、第Ｎ＋１の出力に深層学習モデルとは異なる任意の機能コンポーネントを呼び出すための対応するトークンが含まれないと確定されるまで、第Ｎの出力に対応する機能呼び出し操作を実行し、第Ｎ＋１の出力を初期入力に対する回答とし、ここでは、Ｎは２より大きい整数であるように構成される呼び出しサブユニットとを含むことができる。
【0158】
いくつかの実施例によれば、第２の機能コンポーネント及び第Ｎの機能コンポーネントは、それぞれ、外部サーチエンジンと、深層学習モデルと連合してトレーニングされた検索モデルと、深層学習モデルによって呼び出すことができる少なくとも１つのアプリケーションプログラミングインターフェースと、外部メモリバンクとを含む機能コンポーネントグループのうちの一つであってもよく、外部メモリバンクにはユーザに関連する第１のデータグループセットが記憶され、ここでは、第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、履歴入力データアイテムに対して深層学習モデルによって生成された履歴回答アイテムとを含む。
【0159】
いくつかの実施例によれば、第２の出力は、深層学習モデルとは異なる任意の機能コンポーネントを呼び出すための対応するトークンを含なくてもよい。第３の取得ユニットは、第２の出力を、初期入力に対する回答とするように構成される回答サブユニットを含むことができる。
【0160】
いくつかの実施例によれば、初期入力は、入力データのコンテキスト情報を含むことができる。
いくつかの実施例によれば、第１の確定ユニットは、外部メモリバンクから入力データとコンテキスト情報との類似度が第４の閾値に符合する少なくとも一対の履歴入力データアイテム及び履歴回答アイテムを取得するように構成される第２の取得サブユニットと、入力データと、コンテキスト情報と、少なくとも一対の履歴入力データアイテム及び履歴回答アイテムとに基づいて、深層学習モデルに用いられる初期入力を確定するように構成される第２の確定サブユニットとを含むことができる。外部メモリバンクにはユーザに関連する第１のデータグループセットが記憶されることができる。第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、履歴入力データアイテムに対して深層学習モデルによって生成された履歴回答アイテムとを含むことができる。
いくつかの実施例によれば、第１の確定ユニットは、外部メモリバンクから入力データとコンテキスト情報との類似度が第４の閾値に符合する少なくとも一対の履歴入力データアイテム及び履歴回答アイテムを取得するように構成される第２の取得サブユニットと、入力データと、コンテキスト情報と、少なくとも一対の履歴入力データアイテム及び履歴回答アイテムとに基づいて、深層学習モデルに用いられる初期入力を確定するように構成される第２の確定サブユニットとを含むことができる。外部メモリバンクにはユーザに関連する第１のデータグループセットが記憶されることができる。第１のデータグループセットにおける各データグループは、少なくとも履歴入力データアイテムと、履歴入力データアイテムに対して深層学習モデルによって生成された履歴回答アイテムとを含むことができる。
【0161】
本開示の別の態様によれば、深層学習モデルのトレーニング装置を提供する。深層学習モデルはユーザの入力データに基づいて回答データを生成するために用いられる。図２３に示すように、トレーニング装置２３００は、第１のサンプルデータを取得し、第１のサンプルデータは第１のサンプル初期入力及び第１のサンプル出力を含み、ここでは、第１のサンプル初期入力は深層学習モデルとは異なる第１のプリセット機能コンポーネントを呼び出す意図表現を含み、ここでは、第１のサンプル出力は第１のプリセット機能コンポーネントを呼び出すための第１のトークン及び第１のプリセット機能コンポーネントによって識別できる第１のサンプル中間入力を含むように構成される第４の取得ユニット２３１０と、第２のサンプルデータを取得し、第２のサンプルデータは第２のサンプル初期入力及び第２のサンプル出力を含み、ここでは、第２のサンプル初期入力は深層学習モデルとは異なる任意のプリセット機能コンポーネントを呼び出す意図表現を含まず、ここでは、第２のサンプル出力は任意のプリセット機能コンポーネントを呼び出すための対応するトークンを含まないように構成される第５の取得ユニット２３２０と、深層学習モデルを利用して第１のサンプル初期入力を処理して、第１の予測出力を取得するように構成される第１の処理ユニット２３３０と、第１のサンプル出力と第１の予測出力との比較に基づいて、深層学習モデルのパラメータを調整するように構成される第１のパラメータ調整ユニット２３４０と、深層学習モデルを利用して第２のサンプル初期入力を処理して、第２の予測出力を取得するように構成される第２の処理ユニット２３５０と、第２のサンプル出力と第２の予測出力との比較に基づいて、深層学習モデルのパラメータを調整するように構成される第２のパラメータ調整ユニット２３６０とを含む。装置２３００におけるユニット２３１０－ユニット２３６０の操作は、図１７のステップＳ１７０１－ステップＳ１７０６の操作とそれぞれ同様であり、ここでは説明しないことを理解されたい。
【0162】
いくつかの実施例によれば、トレーニング装置は、第３のサンプル初期入力と、サンプルサーチクエリと、複数のサンプルサーチ結果と、第３のサンプル初期入力に対する深層学習モデルの第３のサンプル回答とを含む第３のサンプルデータを取得し、サンプルサーチクエリは、第３のサンプル初期入力に基づいて深層学習モデルによって生成されたサンプル中間入力であり、サンプル中間入力は、深層学習モデルとは異なる検索モデルによって識別可能であり、ここでは、複数のサンプルサーチ結果はサンプルサーチクエリに基づいて検索モデルによって出力された結果であるように構成される第６の取得ユニットと、複数のサンプルサーチ結果のそれぞれと第３のサンプル回答との一致度に基づいて、複数のサンプルサーチ結果にソーティング操作を行うように構成されるソーティングユニットと、ソーティングされた複数のサンプルサーチ結果に基づいて検索モデルをトレーニングするように構成されるトレーニングユニットとをさらに含むことができる。
【0163】
いくつかの実施例によれば、ソーティングユニットは、複数のサンプルサーチ結果から現在の一致度が最も高い第１のサンプルサーチ結果をスクリーニングするように構成されるスクリーニングサブユニットと、第３のサンプル回答と第１のサンプルサーチ結果との重複内容を削除して、第３のサンプル回答を更新するように構成される削除サブユニットと、複数のサンプルサーチ結果の残り部分のそれぞれと更新された第３のサンプル回答との一致度に基づいて、複数のサンプルサーチ結果における全てのサンプルサーチ結果のソーティングが完了するまで、残り部分に対してソーティング操作を繰り返すように構成されるソーティングサブユニットとを含むことができる。
【0164】
いくつかの実施例によれば、検索モデルは、ソーティングサブモデル及びリコールサブモデルを含むことができる。トレーニングユニットには、ソーティングされた複数のサンプルサーチ結果に基づいて、検索モデルのソーティングサブモデルをトレーニングするように構成される第１のトレーニングサブユニットと、トレーニングされたソーティングサブモデルを教師モデルとして、リコールサブモデルをトレーニングするように構成される第２のトレーニングサブユニットとを含むことができる。
【0165】
いくつかの実施例によれば、トレーニング装置は、第４のサンプルデータを取得し、第４のサンプルデータは第４のサンプル初期入力、外部メモリバンクによって識別できる第４のサンプル中間入力、サンプル記憶結果及び第４のサンプル回答を含み、第４のサンプル中間入力は第４のサンプル初期入力に基づいて確定されるように構成される第７の取得ユニットと、外部メモリバンクによって第４のサンプル中間入力に基づいて確定された予測記憶結果を取得するように構成される第８の取得ユニットと、予測記憶結果とサンプル記憶結果との比較に基づいて、外部メモリバンクのパラメータを調整するように構成される第３のパラメータ調整ユニットと、少なくとも第４のサンプル初期入力及びサンプル記憶結果に基づいて、深層学習モデルに用いられる第４のサンプル目標入力を確定するように構成される第３の確定ユニットと、深層学習モデルを利用して第４のサンプル目標入力を処理して、第４の予測回答を取得するように構成される第３の処理ユニットと、第４のサンプル回答と第４の予測回答との比較に基づいて、深層学習モデルのパラメータを調整するように構成される第４のパラメータ調整ユニットとをさらに含むことができる。
【0166】
本開示の技術案において、関連するユーザ個人情報の収集、記憶、使用、加工、伝送、提供と開示などの処理は、すべて関連法律法規の規定に適合し、公序良俗に反しない。
【0167】
本開示の実施例によれば、電子機器、可読記憶媒体及びコンピュータプログラム製品をさらに提供する。
図２４を参照して、ここでは、本開示の様々な態様に適用可能なハードウェア装置の一例である、本開示のサーバ又はクライアントとして利用可能な電子機器２４００の構成ブロック図について説明する。電子機器は、様々な形態のデジタル電子コンピュータ、例えば、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ステージ、個人用デジタル補助装置、サーバ、ブレードサーバ、大型コンピュータ、その他の適切なコンピュータを示す。電子機器は更に、様々な形態の移動装置、例えば、パーソナルデジタル処理、携帯電話、インテリジェントフォン、ウェアラブル機器とその他の類似する計算装置を示してよい。本明細書に示される部品、これらの接続関係及びこれらの機能は例示的なものに過ぎず、本明細書に説明した及び／又は請求した本開示の実現を制限しない。
図２４を参照して、ここでは、本開示の様々な態様に適用可能なハードウェア装置の一例である、本開示のサーバ又はクライアントとして利用可能な電子機器２４００の構成ブロック図について説明する。電子機器は、様々な形態のデジタル電子コンピュータ、例えば、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ステージ、個人用デジタル補助装置、サーバ、ブレードサーバ、大型コンピュータ、その他の適切なコンピュータを示す。電子機器は更に、様々な形態の移動装置、例えば、パーソナルデジタル処理、携帯電話、インテリジェントフォン、ウェアラブル機器とその他の類似する計算装置を示してよい。本明細書に示される部品、これらの接続関係及びこれらの機能は例示的なものに過ぎず、本明細書に説明した及び／又は請求した本開示の実現を制限しない。
【0168】
図２４に示すように、電子機器２４００は、計算ユニット２４０１を含み、それは読み出し専用メモリ（ＲＯＭ）２４０２に記憶されたコンピュータプログラム又は記憶ユニット２４０８からランダムアクセスメモリ（ＲＡＭ）２４０３にロードされるコンピュータプログラムによって、種々の適当な動作と処理を実行することができる。ＲＡＭ ２４０３において、更に電子機器２４００を操作するために必要な様々なプログラムとデータを記憶してよい。計算ユニット２４０１、ＲＯＭ ２４０２及びＲＡＭ ２４０３は、バス２４０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース２４０５も、バス２４０４に接続される。
【0169】
電子機器２４００における複数の部品はＩ／Ｏインターフェース２４０５に接続され、入力ユニット２４０６、出力ユニット２４０７、記憶ユニット２４０８及び通信ユニット２４０９を含む。入力ユニット２４０６は、電子機器２４００に情報を入力することが可能な任意のタイプの装置であってもよく、入力ユニット２４０６は、入力された数字又は文字情報と、電子機器のユーザ設定及び／又は機能制御に関するキー信号入力を生成することができ、マウス、キーボード、タッチスクリーン、トラックボード、トラックボール、操作レバー、マイク及び／又はリモコンを含んでもよいが、これらに限定されない。出力ユニット２４０７は、情報を提示することが可能ないずれかのタイプの装置であってもよく、ディスプレイ、スピーカ、映像／オーディオ出力端末、バイブレータ、及び／又はプリンタを含んでもよいが、これらに限定されない。記憶ユニット２４０８は磁気ディスク、光ディスクを含んでもよいが、これらに限定されない。通信ユニット２４０９は、電子機器２４００が例えば、インターネットであるコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他の装置と情報／データを交換することを可能にし、モデム、ネットワークカード、赤外線通信装置、無線通信送受信機、及び／又はチップセット、例えば、ブルートゥースＴＭ装置、８０２．１１装置、ＷｉＦｉ装置、ＷｉＭａｘ装置、セルラー通信装置及び／又は類似物を含んでもよいが、これらに限定されない。
【0170】
計算ユニット２４０１は処理及びコンピューティング能力を有する様々な汎用及び／又は専用の処理コンポーネントであってもよい。計算ユニット２４０１のいくつかの例として、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用人工インテリジェント（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適当なプロセッサ、コントローラ、マイクロコントローラなどを含んでもよいが、これらに限定されない。計算ユニット２４０１は、前文で説明された各方法及び処理、例えばデータ生成方法又は深層学習モデルのトレーニング方法を実行する。例えば、いくつかの実施例では、データ生成方法又は深層学習モデルのトレーニング方法は、機器可読媒体、例えば記憶ユニット２４０８に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部の又は全てはＲＯＭ ２４０２及び／又は通信ユニット２４０９を経して電子機器２４００にロード及び／又はインストールされてよい。コンピュータプログラムがＲＡＭ ２４０３にロードされて計算ユニット２４０１によって実行される時、以上で説明されるデータ生成方法又は深層学習モデルのトレーニング方法の一つ又は複数のステップを実行することができる。代替的に、他の実施例では、計算ユニット２４０１は、他のいかなる適切な方式で（例えば、ファームウェアによって）、データ生成方法又は深層学習モデルのトレーニング方法を実行するように構成されてもよい。
【0171】
本明細書で上述したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複雑なプログラマブル論理デバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせにおいて実装することができる。これらの様々な実施形態は、一つ以上のコンピュータプログラムに実施され、該一つ以上のコンピュータプログラムは少なくとも一つのプログラマブルプロセッサを含むプログラマブルシステムで実行し及び／又は解釈してもよく、該プログラマブルプロセッサは専用又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも一つの入力装置、少なくとも一つの出力装置からデータと命令を受信し、データと命令を該記憶システム、該少なくとも一つの入力装置、該少なくとも一つの出力装置に送信してよいこと、を含んでもよい。
【0172】
本開示の方法を実施するプログラムコードは一つ以上のプログラミング言語のいかなる組み合わせで書かれてよい。これらのプログラムコードを汎用コンピュータ、特殊目的のコンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供してよく、よってプログラムコードはプロセッサ又はコントローラにより実行される時に流れ図及び／又はブロック図に規定の機能／操作を実施する。プログラムコードは完全に機械で実行してよく、部分的に機械で実行してよく、独立ソフトウェアパッケージとして部分的に機械で実行し且つ部分的に遠隔機械で実行してよく、又は完全に遠隔機械又はサーバで実行してよい。
【0173】
本開示のコンテキストにおいて、機械可読媒体は有形の媒体であってもよく、命令実行システム、装置又はデバイスに使用される又は命令実行システム、装置又はデバイスに結合されて使用されるプログラムを具備又は記憶してよい。機械可読媒体は機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子、磁気、光学、電磁、赤外線、又は半導体システム、装置又はデバイス、又は上記内容のいかなる適切な組み合わせを含んでもよいが、これらに限定されない。機械可読記憶媒体のより具体的な例は、一つ以上のリード線による電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光記憶機器、磁気記憶機器、又は上記内容のいかなる適切な組み合わせを含む。
【0174】
ユーザとのインタラクションを提供するために、コンピュータにはここで説明したシステムと技術を実施してよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）監視モニタ）、及びキーボードとポインティング装置（例えば、マウスやトラックボール）を備え、ユーザは該キーボードと該ポインティング装置を介してコンピュータに入力してよい。その他の種類の装置は更に、ユーザとのインタラクションを提供するためのものであってもよく、例えば、ユーザに提供するフィードバックはいかなる形態の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、いかなる形態（音入力、音声入力、又は触覚入力を含む）でユーザからの入力を受信してよい。
【0175】
ここで述べたシステムや技術は、バックステージ部材を含む計算システム（例えば、データサーバとして）や、ミドルウェア部材を含む計算システム（例えば、アプリケーションサーバ）や、フロントエンド部材を含む計算システム（例えば、グラフィカルユーザインターフェースやウェブブラウザを有するユーザコンピュータであり、ユーザが、そのグラフィカルユーザインターフェースやウェブブラウザを通じて、それらのシステムや技術の実施形態とのインタラクションを実現できる）、あるいは、それらのバックステージ部材、ミドルウェア部材、あるいはフロントエンド部材の任意の組み合わせからなる計算システムには実施されてもよい。システムの部材は、任意の形式や媒体のデジタルデータ通信（例えば、通信ネットワーク）により相互に接続されてもよい。通信ネットワークの一例は、ローカルネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネットとブロックチェーンネットワークを含む。
【0176】
コンピュータシステムは、クライアント側とサーバを含んでもよい。クライアント側とサーバは、一般的に相互に遠く離れ、通常、通信ネットワークを介してインタラクションを行う。互にクライアント側－サーバという関係を有するコンピュータプログラムを対応するコンピュータで運転することによってクライアント側とサーバとの関係を生成する。サーバは、クラウドサーバであってもよく、分散型システムのサーバでも、又はブロックチェーンと組み合わされたサーバであってもよい。
【0177】
理解すべきこととして、前述した様々な形態のフローを用いて、ステップを改めて順位付け、増加又は削除してよい。例えば、本開示に記載された各ステップは、並列的に実行してもよいし、順次実行してもよいし、異なる順序で実行してもよく、本開示に開示された技術案が所望する結果を実現できれば、本文はこれに限定されないことである。
【0178】
本開示の実施例又は例は図面を参照して説明されたが、上記の方法、システム、及び装置は単なる例示的な実施例又は例であり、本発明の範囲はこれらの実施例又は例によって制限されるものではなく、授権後の特許請求の範囲及びその均等範囲のみによって限定されることを理解されたい。実施例又は例の様々な要素は省略されてもよく、又はそれらの均等要素によって代替されてもよい。なお、各ステップは、本開示で説明した順序とは異なる順序で実行されてもよい。更に、実施例又は例の様々な要素は、様々な方法で組み合わせられてもよい。重要なのは、技術の進化に伴い、ここで説明される多くの要素は、本開示の後に現れる同等の要素に置き換えることができるということである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【外国語明細書】