特開 2023-33135 例示基盤生成モデルを用いた対話情報生成方法およびその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023033135

(43)【公開日】2023-03-09

(54)【発明の名称】例示基盤生成モデルを用いた対話情報生成方法およびその装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20230302BHJP

【ＦＩ】

G06N20/00

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022117121

(22)【出願日】2022-07-22

(31)【優先権主張番号】10-2021-0112545

(32)【優先日】2021-08-25

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0010973

(32)【優先日】2022-01-25

(33)【優先権主張国・地域又は機関】KR

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

(71)【出願人】

【識別番号】519130063

【氏名又は名称】ハイパーコネクト リミテッド ライアビリティ カンパニー

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100210239

【弁理士】

【氏名又は名称】富永 真太郎

(72)【発明者】

【氏名】エンフバヤル エルデニー

(72)【発明者】

【氏名】ボムス キム

(72)【発明者】

【氏名】ソクジュン ソ

(72)【発明者】

【氏名】サンギル アン

(72)【発明者】

【氏名】ブ ル チャン

(72)【発明者】

【氏名】スンジュ ハン

(57)【要約】

【課題】より多様でありつつ流暢な回答を生成する例示－基盤生成モデルを提案する。
【解決手段】本開示によれば、第１コンテキスト情報を確認する段階；第１モデルに基づいて、第１コンテキスト情報に対応する第１応答セットを確認する段階；第１コンテキスト情報に対応するゴールド応答情報に基づいて、第１応答セットから選択された応答サブセットを確認する段階；および第１コンテキスト情報および応答サブセットに基づいて第２モデルを学習させる段階；を含む、電子装置において対話モデルを訓練する方法が開示される。
【選択図】図２

【特許請求の範囲】

【請求項1】

電子装置における対話モデル訓練方法であって、
第１コンテキスト情報を確認する段階と、
第１モデルに基づいて前記第１コンテキスト情報に対応する第１応答セットを確認する段階と、
前記第１コンテキスト情報に対応する適合応答情報に基づいて前記第１応答セットから選択された応答サブセットを確認する段階と、
前記第１コンテキスト情報および前記応答サブセットに基づいて前記第２モデルを学習させる段階と、を含む、
対話モデル訓練方法。

【請求項2】

前記応答サブセットは、前記適合応答情報および群集アルゴリズムに基づいて確認される候補応答内から選択される、
請求項１に記載の対話モデル訓練方法。

【請求項3】

前記応答サブセットは、前記候補応答のうち、エンベディング空間内の前記適合応答情報に対応する値から特定範囲内に対応する少なくとも１つの回答を除くことによって選択される、
請求項２に記載の対話モデル訓練方法。

【請求項4】

前記対話モデル訓練方法は、
前記応答サブセットに含まれる各応答に関して、前記第１コンテキスト情報に基づいて加重値を設定することによって加重値のセット（ａ ｓｅｔ ｏｆ ｗｅｉｇｈｔｓ）を決定する段階をさらに含み、
前記第２モデルを学習させる段階は、前記加重値のセットに基づいて前記第２モデルを学習させる、
請求項１に記載の対話モデル訓練方法。

【請求項5】

前記加重値のセットが含む各加重値は、前記応答サブセット内の各回答に対する関連性点数に基づいて設定され、
前記回答に対する関連性点数は、エンベディング空間上において前記第１コンテキスト情報に対応する値および前記回答に対応する値に基づいて計算される、
請求項４に記載の対話モデル訓練方法。

【請求項6】

前記第２モデルは、ユーザーより獲得した対話情報に関する第２コンテキスト情報を確認し、前記第２コンテキスト情報に基づいて前記第２コンテキスト情報に関する適合応答情報を提供する、
請求項４に記載の対話モデル訓練方法。

【請求項7】

前記第１コンテキスト情報は、ユーザーより獲得した少なくとも１つ以上の対話情報を含む、
請求項１に記載の対話モデル訓練方法。

【請求項8】

前記第２モデルは、前記加重値のセットに基づいて計算された損失関数を用いて逆伝播動作を遂行することによって訓練（ｔｒａｉｎ）され、
前記加重値のセットが含む各加重値は、各回答に対する関連性点数を正規化することによって計算される、
請求項５に記載の対話モデル訓練方法。

【請求項9】

対話情報生成方法を遂行する電子装置であって、
少なくとも１つのプログラムが保存されたメモリーと、プロセッサーと、を含み、
前記プロセッサーは、第１コンテキスト情報を確認し、第１モデルに基づいて前記第１コンテキスト情報に対応する第１応答セットを確認し、第２モデルに基づいて前記第１コンテキスト情報に対応する適合応答情報を確認し、前記適合応答情報に基づいて前記第１応答セットから選択された応答サブセットを確認し、前記第１コンテキスト情報および前記応答サブセットに基づいて前記第２モデルを学習させる、
電子装置。

【請求項10】

非一時的コンピュータ読み取り可能保存媒体として、
コンピュータ読み取り可能命令語を保存するように構成される媒体を含み、
前記コンピュータ読み取り可能命令語がプロセッサーによって実行される場合、前記プロセッサーは、
第１コンテキスト情報を確認する段階と、
第１モデルに基づいて前記第１コンテキスト情報に対応する第１応答セットを確認する段階と、
第２モデルに基づいて前記第１コンテキスト情報に対応する適合応答情報を確認する段階と、
前記適合応答情報に基づいて前記第１応答セットから選択された応答サブセットを確認する段階と、
前記第１コンテキスト情報および前記応答サブセットに基づいて前記第２モデルを学習させる段階と、を遂行する、
非一時的コンピュータ読み取り可能保存媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の多様な実施形態は、例示基盤生成モデルを用いた対話情報生成方法およびその装置に関する。

【背景技術】

【0002】

人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）は、多様な産業分野において活用されている。人間の思考と類似した方式によって動作する人工知能は、標本になる対象が接近しようと意図する物体の特徴（ｆｅａｔｕｒｅ）を抽出するのに活用され得る。

【0003】

特定の対話の主題が定まらず、自然な対話を引き出せるチャットボット（ｃｈａｔｂｏｔ）を作るための分野として、オープン－ドメイン対話（Ｏｐｅｎ－ｄｏｍａｉｎ Ｃｏｎｖｅｒｓａｉｏｎ）の分野がある。オープン－ドメイン対話（Ｏｐｅｎ－ｄｏｍａｉｎ Ｃｏｎｖｅｒｓａｉｏｎ）の分野において使用される人工知能モデルは、大きく生成基盤対話モデル（Ｇｅｎｅｒａｔｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｅｒｓａｉｏｎ Ｍｏｄｅｌ）または検索基盤対話モデル（Ｓｅａｒｃｈ－ｂａｓｅｄ Ｃｏｎｖｅｒｓａｔｉｏｎ Ｍｏｄｅｌ）などに区分され得る。

【0004】

生成基盤対話モデルは、シーケンスツーシーケンス（Ｓｅｑｕｅｎｃｅ ｔｏ Ｓｅｑｕｅｎｃｅ）アーキテクチャに基づいて、抽出および入力された対話文脈情報（ｃｏｎｔｅｘｔ）を用いて、対話文脈情報に適切な応答を生成する。検索基盤対話モデルは、応答セット（Ｒｅｓｐｏｎｓｅ Ｓｅｔ）が高い優先順位の応答を含むように、予め定義された状態において入力された対話文脈情報に最も相応しい応答を応答セットから検索して応答としてリターンする。

【0005】

生成基盤対話モデルは、大きなスケールの言語モデルを共に使用したときに、言語モデルの豊富な知識に基づいて与えられた対話文脈情報に相応しい流暢な応答を生成する利点があるが、生成基盤対話モデルは、最大限自然な応答を生成するために対話の流れを妨げない無難かつつまらない応答を生成する傾向がある。

【0006】

一方、検索基盤対話モデルは、確認または入力された対話文脈情報に相応しくない異質な応答を抽出することもあるが、生成基盤対話モデルに比べて、より多様かつ興味深い応答を引き出す利点がある。また、高性能検索ライブラリー（例えば、ＦＡＩＳＳなど）と共に使用したときに、生成基盤対話モデルとは比較的、対話文脈情報に適切な応答を早く抽出できる利点もある。

【0007】

従って、生成基盤対話モデルの自然な応答生成能力と、検索基盤対話モデルの多様かつ面白い応答を生成する２つのモデルの利点を活用するために、与えられた対話文脈情報に関して検索基盤対話モデルが抽出する応答を生成基盤対話モデルの例示（Ｅｘａｍｐｌａｒ）として提供し、生成基盤対話モデルは、与えられた例示をより自然な応答として生成する例示－基盤生成（Ｅｘｅｍｐｌａｒ ｂａｓｅｄ Ｇｅｎｅｒａｔｉｏｎ）モデルが提案されてきた。

【発明の概要】

【発明が解決しようとする課題】

【0008】

既存に提案されてきた例示－基盤生成モデルは、検索基盤対話モデルが抽出および提供する回答を活用せず無視する場合、または与えられた例示を考慮せずにそのまま同一の回答として提供する場合が発生し得る。また、既存に提案されてきた例示－基盤生成モデルは、時間の流れによって前述した場合に学習が偏る傾向がある。

【0009】

従って、実施形態に係る例示基盤生成モデルを用いた対話情報生成方法は、前述した問題点を克服して与えられた例示を適切に用いて、より多様でありつつ流暢な回答を生成する例示－基盤生成モデルを提案する。

【課題を解決するための手段】

【0010】

実施形態に係る例示基盤生成モデルを用いた対話情報生成方法は、第１コンテキスト情報を確認する段階；第１モデルに基づいて第１コンテキスト情報に対応する第１応答セットを確認する段階；前記第１コンテキスト情報に対応する適合応答情報に基づいて前記第１応答セットから選択された応答サブセットを確認する段階；および前記第１コンテキスト情報および前記応答サブセットに基づいて前記第２モデルを学習させる段階；のうち少なくとも１つを含むことができる。

【0011】

また、実施形態に係る応答サブセットは、前記適合応答情報および群集アルゴリズムに基づいて確認される候補応答内から選択され得る。

【0012】

また、実施形態に係る前記応答サブセットは、前記候補応答のうち、エンベディング空間内の前記適合応答情報に対応する値から特定範囲内に対応する少なくとも１つの回答を除くことによって選択され得る。

【0013】

さらに、実施形態に係る前記対話モデル訓練方法は、前記応答サブセットに含まれる各応答に関して、前記第１コンテキスト情報に基づいて加重値を設定することによって加重値のセット（ａ ｓｅｔ ｏｆ ｗｅｉｇｈｔｓ）を決定する段階をさらに含むことができ、前記第２モデルを学習させる段階は、前記加重値のセットに基づいて前記第２モデルを学習させることができる。

【0014】

そのうえ、実施形態に係る前記加重値のセットが含む各加重値は、前記応答サブセット内の各回答に対する関連性点数に基づいて設定され得、前記回答に対する関連性点数は、エンベディング空間上において前記第１コンテキスト情報に対応する値および前記回答に対応する値に基づいて計算され得る。

【0015】

また、実施形態に係る前記第２モデルは、ユーザーより獲得した対話情報に関する第２コンテキスト情報を確認し、前記第２コンテキスト情報に基づいて、前記第２コンテキスト情報に関する適合応答情報を提供することができる。

【0016】

さらに、実施形態に係る前記第１コンテキスト情報は、ユーザーより獲得した少なくとも１つ以上の対話情報を含むことができる。

【0017】

そのうえ、実施形態に係る第２モデルは、前記加重値のセットに基づいて計算された損失関数を用いて逆伝播動作を遂行することによって訓練（ｔｒａｉｎ）され得、前記加重値のセットが含む各加重値は、各回答に対する関連性点数を正規化することによって計算され得る。

【発明の効果】

【0018】

実施形態に係る例示基盤生成モデルを用いた対話情報生成方法は、検索モデル２００と生成モデル２０１の組み合わせに基づいて対話のコンテキスト情報に適した回答を抽出するように学習することを含むので、豊富な知識に基づいて与えられた対話コンテキストに相応しい流暢な回答を生成すると同時に、多様かつ興味深い回答を生成できる効果を提供することができる。

【0019】

実施形態に係る電子装置は、候補例示回答のうち、エンベディング空間上において適合応答情報に対応する値から過度に近い（または関連性の高い）範囲内の回答を排除することによって、生成モデル２０１が文脈に適切でありつつ多様な回答を導出するように学習できるよう助力する。

【0020】

実施形態に係る電子装置は、例示回答および各例示回答に対する加重値をさらに考慮して最適の回答を生成するよう学習することによって、例示回答を適切に反映して文脈に合い、不自然ではない回答を提供すると同時に、流暢でありつつ創意的な回答を生成できるように誘導することができ、対話モデルを使用するユーザーが飽きない対話を引き出すことができる。

【図面の簡単な説明】

【0021】

【図1】本開示の多様な実施形態に係る電子装置の構成を示した概略的なブロック図である。

【図2】実施形態に係る電子装置の構成図の一部を示す。

【図3】実施形態に係る電子装置がコンテキスト情報から回答情報を生成する全般的な結果の例示を示した図面である。

【図4】実施形態に係る電子装置がコンテキスト情報から回答情報を生成するように生成モデル部を訓練させる動作の例示を示す。

【図5】実施形態に係る検索モデル部の動作の例示を示したものである。

【図6】実施形態に係る検索モデル部が対話情報および回答情報を学習するための動作の結果の例示を示したものである。

【図7】実施形態に係る電子装置の動作の例示を示したものである。

【図8】実施形態に係る電子装置の動作の例示を示したものである。

【図9】実施形態に係る電子装置のオープン－ドメイン対話モデルの性能を他のオープン－ドメイン対話（Ｏｐｅｎ－ｄｏｍａｉｎ Ｃｏｎｖｅｒｓａｉｏｎ）モデルと比較したものを示す。

【図10】実施形態に係る電子装置のオープン－ドメイン対話モデルの性能を他のオープン－ドメイン対話（Ｏｐｅｎ－ｄｏｍａｉｎ Ｃｏｎｖｅｒｓａｉｏｎ）モデルと比較したものを示す。

【図11】実施形態に係る電子装置のオープン－ドメイン対話モデルの性能を他のオープン－ドメイン対話（Ｏｐｅｎ－ｄｏｍａｉｎ Ｃｏｎｖｅｒｓａｉｏｎ）モデルと比較したものを示す。

【図12】実施形態に係る電子装置のオープン－ドメイン対話モデルの性能を他のオープン－ドメイン対話（Ｏｐｅｎ－ｄｏｍａｉｎ Ｃｏｎｖｅｒｓａｉｏｎ）モデルと比較したものを示す。

【図13】実施形態に係る関連性点数を計算する方法の例示を示したものである。

【発明を実施するための形態】

【0022】

実施形態において使用される用語は、本開示における機能を考慮しつつ、可能な限り現在広く使用される一般的な用語を選択したが、これは当分野に従事する技術者の意図または判例、新たな技術の出現などによって変わり得る。また、特定の場合は、出願人が任意に選定した用語もあり、この場合、該当する説明の部分において詳細にその意味を記載するであろう。従って、本開示において使用される用語は、単純な用語の名称ではなく、その用語が有する意味と本開示の全般にわたる内容に基づいて定義されなければならない。

【0023】

明細書全体において、ある部分がある構成要素を「含む」とするとき、これは特に反対の記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含むことができることを意味する。また、明細書に記載された「～部」、「～モジュール」などの用語は、少なくとも１つの機能や動作を処理する単位を意味し、これはハードウェアまたはソフトウェアとして具現されるか、ハードウェアとソフトウェアの結合によって具現され得る。

【0024】

明細書全体において記載された「ａ、ｂ、およびｃのうち少なくとも１つ」の表現は、「ａ単独」、「ｂ単独」、「ｃ単独」、「ａおよびｂ」、「ａおよびｃ」、「ｂおよびｃ」、または「ａ、ｂ、ｃすべて」を包括することができる。

【0025】

以下において言及される「端末」は、ネットワークを通じてサーバーや他端末に接続できるコンピュータや携帯用端末として具現され得る。ここで、コンピュータは、例えば、ウェブブラウザ（ＷＥＢ Ｂｒｏｗｓｅｒ）が搭載されたノートパソコン、デスクトップ（ｄｅｓｋｔｏｐ）、ラップトップ（ｌａｐｔｏｐ）などを含み、携帯用端末は、例えば、携帯性と移動性が保障される無線通信装置として、ＩＭＴ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、Ｗ－ＣＤＭＡ（Ｗ－Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）などの通信基盤端末、スマートフォン、タブレットＰＣなどのようなすべての種類のハンドヘルド（Ｈａｎｄｈｅｌｄ）基盤の無線通信装置を含むことができる。

【0026】

以下では、添付した図面を参考して、本開示の実施形態について本開示が属する技術分野において通常の知識を有する者が容易に実施できるように詳細に説明する。しかし、本開示は、いくつかの相違する形態として具現され得、ここで説明する実施形態に限定されない。

【0027】

以下、本開示の実施形態を、添付された図面を参照して詳細に説明する。

【0028】

実施形態を説明するに際して、本開示の属する技術分野でよく知られており、本発明と直接的に関連のない技術内容に対しては、説明を省略する。これは、不要な説明を省略することにより、本発明の要旨を不明瞭にせず、より明確に伝達するためである。

【0029】

同様の理由により、添付図面において一部の構成要素は、誇張または省略されるか、概略的に図示された。また、各構成要素の大きさは、実際の大きさを全的に反映するものではない。各図面において、同一または対応する構成要素には同一の参照番号を与えた。

【0030】

本開示の利点および特徴、そして、それらを達成する方法は、添付される図面と共に詳細に後述されている実施形態を参照すれば明確になるであろう。しかし、本開示は、以下において開示される実施形態に限定されるものではなく、互いに異なる多様な形態として具現され得、単に本実施形態は、本開示の開示が完全なものとし、本開示が属する技術分野において通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本開示は請求項の範疇によって定義されるのみである。明細書全体にわたった同一の参照符号は、同一の構成要素を指称する。

【0031】

このとき、処理フローチャート図面の各ブロックとフローチャート図面の組み合わせは、コンピュータプログラムインストラクションによって遂行され得ることが理解できるであろう。これらのコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータ、またはその他のプログラム可能なデータプロセッシング装備のプロセッサーに搭載され得るため、コンピュータまたはその他のプログラム可能なデータプロセッシング装備のプロセッサーを通じて遂行されるそのインストラクションが、フローチャートブロック（ら）において説明された機能を遂行する手段を生成することになる。これらコンピュータプログラムインストラクションは、特定方式として機能を具現するために、コンピュータまたはその他のプログラム可能なデータプロセッシング装備を指向できるコンピュータ利用可能またはコンピュータ読み取り可能メモリーに保存することも可能であるため、そのコンピュータ利用可能またはコンピュータ読み取り可能メモリーに保存されたインストラクションは、フローチャートブロック（ら）において説明された機能を遂行するインストラクション手段を内包する製造品目を生産することも可能である。コンピュータプログラムインストラクションは、コンピュータまたはその他プログラム可能なデータプロセッシング装備上に搭載されることも可能であるため、コンピュータまたはその他プログラム可能なデータプロセッシング装備上において一連の動作段階が遂行されてコンピュータで実行されるプロセスを生成し、コンピュータまたはその他のプログラム可能なデータプロセッシング装備を遂行するインストラクションは、フローチャートブロック（ら）で説明された機能を実行するための段階を提供することも可能である。

【0032】

また、各ブロックは、特定された論理的機能（ら）を実行するための１つ以上の実行可能なインストラクションを含むモジュール、セグメント、またはコードの一部を示すことができる。また、いくつかの代替実行形態においては、ブロックにおいて言及された機能が順序を外れて発生することも可能であることに注目しなければならない。例えば、連続して図示されている２つのブロックは、事実上、実質的に同時に遂行されることも可能であり、またはそのブロックが時々該当する機能により逆順で遂行されることも可能である。

【0033】

人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）は、人間のように思考かつ学習し、判断する一連の論理アルゴリズムを通じて、人間の知能を真似て動作するコンピュータプログラムの一種であり得る。いわゆる人工知能は、人間の神経系に似たニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を通じて人間の脳に対応するプロセッサーにおいて複雑な演算を処理することができる。本明細書においては、ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）に含まれ得るマシンラーニング（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）、および他の学習を通じて特徴（ｆｅａｔｕｒｅ）を正規化し、モデリング（ｍｏｄｅｌｉｎｇ）する過程を説明する。本明細書内においては、マシンラーニングと機械学習の用語が混用して使用され得る。

【0034】

ニューラルネットワークは、人間の神経系の基礎単位となるニューロンの動作原理とニューロン間の連結関係をモデリングしたネットワークを意味し得る。ニューラルネットワークは、個別ノード（ｎｏｄｅ）またはプロセッシング要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）をレイヤー（ｌａｙｅｒ）形態に連結したデータ処理システムであり得る。ニューラルネットワークは、複数のレイヤーを含むことができ、それぞれのレイヤーは、複数のニューロンを含むことができる。また、ニューラルネットワークは、ニューロン間のデータを伝達できる神経刺激体に対応するシナプスを含むことができる。本明細書内においては、レイヤーと階層の用語が混用して使用され得る。

【0035】

具体的に、ニューラルネットワークは、人工のニューロンが反復的な学習を通じてシナプスの結合強度を変化させ、与えられた問題または変数が生じた問題に対する解決能力を有するデータ処理モデルを全般的に意味し得る。本明細書内においては、ニューラルネットワークと人工神経網の用語が混用して使用され得る。

【0036】

ニューラルネットワークは、トレーニングデータ（ｔｒａｉｎｉｎｇ ｄａｔａ）を用いてトレーニングすることができる。具体的には、トレーニングは、入力データを分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）、回帰分析（ｒｅｇｒｅｓｓｉｏｎ）、群集（ｃｌｕｓｔｅｒｉｎｇ）するなどの目的を達成するために、特徴データを用いてニューラルネットワークのパラメータを決定する過程を含むことができる。より具体的には、パラメータを決定する要素として加重値（ｗｅｉｇｈｔ）または偏向（ｂｉａｓ）があり得る。

【0037】

ニューラルネットワークは、入力データをトレーニングしてパターンによって分類または群集化することができ、トレーニングされたニューラルネットワークは、学習モデル（ｔｒａｉｎｅｄ ｍｏｄｅｌ）と指称され得る。具体的には、トレーニングの方式は、指導学習、非指導学習、準指導学習（ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、強化学習（ｒｅｉｎｆｏｒｃｅｄ ｌｅａｒｎｉｎｇ）に区分され得る。より具体的には、指導学習は、トレーニングデータから関数を類推するためのマシンラーニングの一方式であり得る。マシンラーニングを通じて類推された関数のうち、連続した結果値を出力することは回帰分析であり得、入力データのクラス（ｃｌａｓｓ）を予測して結果値を出力することが分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）であり得る。

【0038】

指導学習においては、トレーニングデータに関するラベル（ｌａｂｅｌ）が与えられ得、ラベルは、ニューラルネットワークが推論しなければならない意味のある結果値を含むことができる。具体的には、ニューラルネットワークが推論しなければならない結果値は、ラベリングデータ（ｌａｂｅｌｉｎｇ ｄａｔａ）であり得る。より具体的には、トレーニングデータとトレーニングデータに対応するラベリングデータは、１つのトレーニングセットとして構成され得、ニューラルネットワークは、トレーニングセットの形態として入力値と結果値を獲得することができる。

【0039】

トレーニングデータは、複数の特徴ベクトル（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を含むことができ、ニューラルネットワークは、トレーニングデータから個別特徴ベクトルにラベルを付けてラベリングデータを結果値として出力することができる。ニューラルネットワークは、トレーニングデータとラベリングデータを通じて各データの関連関係に対する関数を学習することができる。また、ニューラルネットワークにおいて学習した関数に対するフィードバックを通じて、個別ベクトルに対するパラメータが最適化され得る。

【0040】

オープン－ドメイン対話（Ｏｐｅｎ－ｄｏｍａｉｎ Ｃｏｎｖｅｒｓａｔｉｏｎ）のための例示－基盤生成モデル（Ｅｘａｍｐｌａｒ‐ｂａｓｅｄ ｇｅｎｅｒａｔｉｖｅ ｍｏｄｅｌ）と例示－基盤生成モデルの向上方法に関して説明する。

【0041】

例示－基盤生成モデルは、検索モデル部によって抽出された例示回答（ｅｘｅｍｐｌａｒｓ）に基づいて回答（ｒｅｓｐｏｎｓｅ）を生成し、生成モデル（ｇｅｎｅｒａｔｉｖｅ ｍｏｄｅｌ）と検索モデル（ｒｅｔｒｉｅｖａｌ ｍｏｄｅｌ）を用いる。本明細書において説明する実施形態に係る電子装置は、生成モデルと検索モデルが連結または結合された例示－基盤生成モデルを含む。既存の例示－基盤生成モデルは、回答を生成する間に検索された標本を無視するか、検索された標本に過適合した回答を生成する場合が多かった。従って、実施形態に係る電子装置は、検索モデルおよび生成モデルを連結する対話応答訓練モデルを含み、実施形態に係る電子装置は、例示－基盤生成モデルを訓練する動作の一部または全部を遂行することができる。実施形態に係る電子装置は、例示－基盤生成モデルを訓練する段階において、対話コンテキスト情報だけでなく適合応答（ｇｏｌｄ ｒｅｓｐｏｎｓｅ）情報の例示回答を選択するクエリーを使用することができる。その後、実施形態に係る電子装置は、前述した過適合の問題を緩和するために、ゴールド応答情報と過度に類似した例示回答を除くことができる。残りの例示回答のうち一部は、与えられたコンテキストと関連のないことがあるので、実施形態に係る電子装置は、コンテキスト情報と例示回答間の関連性点数を追加で活用して生成モデルを学習させることができる。

【0042】

実施形態に係るゴールド応答（ｇｏｌｄ ｒｅｓｐｏｎｓｅ）情報は、例えば、特定コンテキスト（ｃｏｎｔｅｘｔ）に関する最適な応答情報、適切な応答情報、または既設定された応答情報などを意味し得、例えば、データの指導訓練（ｓｕｐｅｒｖｉｓｅｄ ｔｒａｉｎｉｎｇ）に用いられるように設定された応答情報であってもよい。

【0043】

図１は、本開示の多様な実施形態に係る電子装置の構成を示した概略的なブロック図である。

【0044】

電子装置は、ニューラルネットワークを含む装置を含むことができる。電子装置は、トレーニングデータを用いてマシンラーニングを遂行できる装置として、ニューラルネットワークで構成されたモデルを用いて学習を遂行できる装置を含むことができる。例えば、電子装置は、データマイニング、データ分析、知能型意思決定、およびマシンラーニングアルゴリズムのために用いられるデータを受信、分類、保存、および出力するように構成され得る。

【0045】

電子装置は、ニューラルネットワークをトレーニングするための多様な装置を含むことができる。例えば、電子装置は、複数のサーバーセット、クラウドサーバー、またはこれらの組み合わせとして具現され得る。具体的には、電子装置は、分散処理を通じてデータ分析またはトレーニングによって結果値を獲得することができる。

【0046】

図１を参照すると、電子装置は、プロセッサー１１０、入出力部（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｍｏｄｕｌｅ）１２０、およびメモリー１３０を構成要素として含むことができる。図１に図示された電子装置の構成要素は、これに限定されるものではなく、追加するか置換され得る。

【0047】

プロセッサー１１０は、データ分析およびマシンラーニングアルゴリズムを通じて電子装置の動作を制御または予測することができる。プロセッサー１１０は、学習（ｔｒａｉｎｉｎｇ）しようとするデータを要請、検索、受信、または活用することができ、トレーニングを通じて学習した好ましい動作を実行するよう電子装置を制御することができる。プロセッサー１１０は、例えば、学習データを要請、検索、受信、または活用するか、これらを前処理するか、これらを用いて学習を遂行する実施形態に係るラーニングプロセッサー（ｌｅａｒｎｉｎｇ ｐｒｏｃｅｓｓｏｒ）を含むことができる。

【0048】

プロセッサー１１０は、ユーザーの入力または自然語入力に基づいて、入力値に対する結果値を導出し感知するように構成され得る。プロセッサー１１０は、例えば、プロセッシングおよび保存のためのデータを収集するように構成される実施形態に係るラーニングプロセッサーを含むことができる。データの収集は、センサーを通じてデータを感知するか、メモリー１３０に保存されたデータを抽出するか、入出力部１２０を通じて外部装置からデータを受信することを含むことができる。

【0049】

プロセッサー１１０は、電子装置の動作ヒストリーをデータ化してメモリー１３０に保存することができる。プロセッサー１１０は、保存された動作ヒストリーデータおよびトレーニングされたモデルに基づいて特定動作を遂行するための最上の結果値を獲得することができる。

【0050】

プロセッサー１１０は、特定動作が遂行される場合、データ分析およびマシンラーニングアルゴリズムを通じて特定動作の実行に係るヒストリーを分析することができる。具体的には、プロセッサー１１０は、分析したヒストリーに基づいて、以前にトレーニングしたデータのアップデートを遂行することができる。即ち、プロセッサー１１０は、アップデートされたデータに基づいて、データ分析およびマシンラーニングアルゴリズムの正確性を向上させることができる。

【0051】

例えば、実施形態に係るプロセッサー１１０またはプロセッサー１１０に含まれたラーニングプロセッサーは、トレーニングデータまたはトレーニングセットを用いてニューラルネットワークをトレーニングさせることができる。例えば、プロセッサー１１０またはプロセッサー１１０に含まれたラーニングプロセッサーは、獲得した入力値を前処理したデータを通じてニューラルネットワークをトレーニングさせることができる。他の例としては、プロセッサー１１０またはプロセッサー１１０に含まれたラーニングプロセッサーは、メモリー１３０に保存された前処理データを通じてニューラルネットワークをトレーニングさせることができる。具体的には、プロセッサー１１０またはプロセッサー１１０に含まれたラーニングプロセッサーは、多様なトレーニング方式を用いてニューラルネットワークを反復してトレーニングさせることによって、ニューラルネットワークの最適化モデルおよび最適化に活用されるパラメータを決定することができる。

【0052】

入出力部１２０は、電子装置のメモリー１３０に保存されたデータまたはプロセッサー１１０によって処理されたデータを他の装置に伝送するか、他の装置から電子装置にデータを受信する機能を遂行することができる。入出力部１２０は、例えば、他の電子装置からデータを受信するか、他の電子装置にデータを送信する受信部、送信部、またはトランシーバー（ｔｒａｎｓｃｅｉｖｅｒ）などを含むことができる。さらに、実施形態に係る入出力部１２０は、電子装置と物理的または論理的に連結された構成要素または装置と、電子信号またはデータが入力されるか、出力するための１つ以上の入出力モジュール（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｍｏｄｕｌｅ）を含むことができる。

【0053】

メモリー１３０は、プロセッサー１１０またはニューラルネットワークにおいてトレーニングされたモデルを保存することができる。例えば、メモリー１３０は、トレーニングされたモデルまたはトレーニング中のモデルを区分して保存することができる。具体的には、メモリー１３０は、ニューラルネットワークがトレーニングされる過程のモデルを保存してトレーニングヒストリーに係るトレーニングされたモデルを保存することができる。

【0054】

例えば、実施形態に係るメモリー１３０は、モデル保存部および／またはデータベース（ｄａｔａｂａｓｅ）を含むことができる。

【0055】

例えば、モデル保存部は、プロセッサー１１０を通じてトレーニング中、または既にトレーニングされたモデル（例えば、ニューラルネットワークモデルなど）を保存することができる。また、モデル保存部は、トレーニングされたモデルがアップデートされたモデルを保存することができる。

【0056】

例えば、データベースは、入力値である入力データ、モデルトレーニングのためのトレーニングデータ、モデルトレーニングヒストリーデータなどを保存することができる。データベースに保存された入力データは、モデルトレーニングに適して加工されたデータと加工されていないローデータ（ｒａｗ ｄａｔａ）であり得る。

【0057】

実施形態に係るプロセッサー１１０は、第１コンテキスト情報を確認する段階；第１モデルに基づいて、前記第１コンテキスト情報に対応する第１応答セットを確認する段階；前記第１コンテキスト情報に対応するゴールド応答情報に基づいて、前記第１応答セットから選択された応答サブセットを確認する段階；および前記第１コンテキスト情報および前記応答サブセットに基づいて前記第２モデルを学習させる段階；を遂行することができる。

【0058】

本明細書は、オープン－ドメイン対話において使用される例示－基盤生成モデルの一般的な欠点を解決するための容易な訓練方法を提案する。例示－基盤生成モデルは、２種類の方法として応答（ｒｅｓｐｏｎｓｅｓ）を生成するために、検索モデルおよび生成モデルを１つのフレームワーク（ｆｒａｍｅｗｏｒｋ）に結合する。第一に、検索部（ｒｅｔｒｉｅｖｅｒ、検索モデル）は、与えられたコンテキスト（ｃｏｎｔｅｘｔ）をクエリーとして例示（ｅｘｅｍｐｌｅｒ）を検索し、生成部（ｇｅｎｅｒａｔｏｒ、生成モデル）は、前記与えられたコンテキストおよび前記例示に基づいて応答を生成する。例示－基盤生成モデルは、生成モデルよりもさらに具体的な応答を生成し、検索モデルよりもさらに流暢な応答を生成する。

【0059】

このような例示－基盤生成モデルの成功にもかかわらず、このような従来のモデルは、２種類の欠点が存在する。以下、図３において示されるように、原始的な例示－基盤生成モデル（例えば、図３の（ａ））は、例示を全体的に無視する傾向があり、純粋な生成モデル（ｖａｎｉｌｌａ ｇｅｎｅｒａｔｉｖｅ ｍｏｄｅｌ）の傾向と類似してみえる。これは、訓練段階において、前記提示されたコンテキストから検索された例示がゴールド応答（ｇｏｌｄ ｒｅｓｐｏｎｓｅ、またはゴールド応答情報）より確然に差がある、即ち、１対多問題（ｏｎｅ－ｔｏ－ｍａｎｙ ｐｒｏｂｌｅｍ）によって発生する。このような問題を緩和するために、例示－基盤生成モデルは、ゴールド応答（例えば、図３の（ｂ））または撹乱されたゴールド応答（ｐｅｒｔｕｒｂｅｄ ｇｏｌｄ ｒｅｓｐｏｎｓｅ）を訓練段階内における１つの例示として活用した。しかし、このような訓練方法は、生成部によって検索された例示を過度に依存させ、（例えば、図３の（ｂ）の実施形態のように）生成モデルが提供されたトークンを不適切に使用することもあり得る。このような２種類の欠点は、生成された応答の質（ｑｕａｌｉｔｙ）に悪影響を与え得る。

【0060】

本明細書は、例示－基盤生成モデルを訓練する過程においてゴールド応答（ゴールド応答情報）情報から意味的に関連があるが、適当に距離のある例示を提供することによって、このような欠点を緩和させ得るモデルを提案する。本明細書の複数の実施形態において提案するモデルは、対話応答訓練モデルであり、１つの訓練方法として適切な例示（ｅｘｅｍｐｌａｒ）を選択する方法を提案する。第一に、実施形態に係る対話応答訓練モデルは、類似するが、ゴールド応答と事前に同一でない例示を選択するために、ゴールド応答を活用することができる。しかし、選択された例示は、与えられたコンテキストに関しては意味を有さないことがあり、この場合、代わりのゴールド応答が単純に用いられ得る。従って、対話応答訓練モデルは、前記コンテキストおよび前記例示との関連性点数を計算することができる。そして、対話応答訓練モデルは、前記点数を用いて類似した例示に加重値を与え、与えられたコンテキスト情報と類似しない例示をパネライズ（ｐｅｎａｌｉｚｅ）する。対話応答訓練モデルは、例示－基盤生成モデルに基本的に適用が可能であり、適切性と情報性の観点において生成された応答の質を増進させる。

【0061】

換言すると、既存の例示－基盤生成モデルは、検索モデルから抽出および選択された例示回答（ｅｘｅｍｐｌａｒ）に過度に依存するか、無視しようとする傾向を示す。即ち、既存の例示－基盤生成モデルは、検索モデルから抽出および選択された例示回答に過適合（ｏｖｅｒｆｉｔ）した応答情報を生成するか、抽出および選択された例示回答とは関係のない応答を生成する頻度を減らすことができない。

【0062】

一方、本明細書において提案するモデル（例えば、図２の２００および２０１の結合に係るモデル）は、既存の検索モデルを改善した構成を有し得る（例えば、図２の２００）。また、本明細書において提案するモデルは、抽出および選択された例示回答のうち、過適合（ｏｖｅｒｆｉｔ）した応答情報を生成する恐れのある例示回答を除くことができ、例示回答の関連性点数に基づいて加重値を与えることによって、例示回答を再検証する動作をさらに遂行することができる。このような構成として、本明細書において提案するモデル（例えば、図２の２００および２０１の結合に係るモデル）は、検索モデルから抽出および選択された例示回答に過適合した応答を生成することを防いで生成モデル部の学習効率性を極大化することができ、抽出および選択された例示回答と関係のない応答を生成する頻度を減らすことによって、自然な対話が続けられるように助力する効果を提供する。

【0063】

従って、本明細書は、次のような寄与事項または提案事項を説明し、次のような寄与事項または提案事項を遂行するための例示－基盤生成モデルの改善された実施形態の構成を提案（例えば、図２の２００および２０１の結合）する。

【0064】

１）本明細書は、既存の例示－基盤生成モデルが例示を無視するか、例示に過適合した応答を生成することを示す。

【0065】

２）本明細書において提案する訓練方法である対話応答訓練モデルは、適切な例示を選択し、検索モデルによって評価された関連性点数の例示の加重値を適用することによって、前述した欠点を緩和する。

【0066】

３）人的評価（Ｈｕｍａｎ ｅｖａｌｕａｔｉｏｎ）結果は、対話応答訓練モデルが適切性と情報性の観点において例示－基盤生成モデルの性能を画期的に増進させることを示す。

【0067】

本明細書において提案する対話応答訓練モデルの訓練方法に関して、例示－基盤生成モデルについて説明する。

【0068】

生成モデルがオープン－ドメイン対話において成功的な性能を示す一方、生成モデルは、情報性が不足し無愛想な反応（ｂｌａｎｄ ｒｅｓｐｏｎｓｅ）を示すことがよく知られている。本発明の多様な例示に係る例示－基盤生成モデルは、生成モデルが抱える前述した問題点を克服する。従来のオープンドメイン対話のための例題基盤生成モデルは、入力コンテキストによって条件が指定されたコンテキスト－モデルペアを検索することができ、入力コンテキストと検索されたコンテキスト間の語彙の相違を編集ベクトルとしてエンコーディングすることができる。応答は、前記例示および前記編集ベクトルをフィード（ｆｅｅｄ）することによって生成される。ある従来の方法は、提示されたコンテキストをクエリーとして用いて例示を検索し、例示とコンテキストを結合（ｃｏｎｃａｔｅｎａｔｅ）し、オープン－ドメイン対話のための最終応答を生成するために結合された例示を生成部にフィードする。他のモデルにおいては、例示から関連のない情報を除き、応答を生成するために、および生成部に知らせるためにマスキングされた例示を使用する。生成部は、検索された例示および例示の抽出された意味フレーム（ｓｅｍａｎｔｉｃ ｆｒａｍｅ）と共に調節されてもよい。

【0069】

整理すると、実施形態に係る電子装置は、前述した対話応答訓練モデルにおいて遂行する訓練方法（ｔｒａｎｉｎｉｇ ｍｅｔｈｏｄ）を遂行することができる。実施形態に係る電子装置は、既存の例示－基盤生成モデルとは異なり、類似するが、ある程度距離のある例示回答を選択し、選択された例示回答に対する関連性点数（ｒｅｌｅｖａｎｃｅ ｓｃｏｒｅ）を計算して加重値を与えることによって、選択された例示を無視するか、選択された例示に過適合した応答を生成することを避けることができる。実施形態に係る電子装置の具体的な構成は図２において説明し、実施形態に係る電子装置が正しい応答を生成する過程は図３ないし図８において説明し、図９ないし図１２は実施形態に係る電子装置の性能に関する進歩した効果を示し、図１３は実施形態に係る関連性点数を計算する方法の例示を示す。

【0070】

図２は、実施形態に係る電子装置の構成図の一部を示す。

【0071】

具体的には、図２は、実施形態に係る電子装置が開放型オープン－ドメイン対話（Ｏｐｅｎ－ｄｏｍａｉｎ Ｃｏｎｖｅｒｓａｔｉｏｎ）のための人工知能モデルを学習するための構成または命令語の群集を示す。実施形態に係る電子装置は、開放型オープン－ドメイン対話のための例示－基盤生成モデル（Ｅｘａｍｐｌａｒ－ｂａｓｅｄ ｇｅｎｅｒａｔｉｏｎ ｍｏｄｅｌ）の一部または全部を示すことができる。実施形態に係る電子装置において検索モデル部２００は、対話に関するコンテキスト（ｃｏｎｔｅｘｔ）情報および該当コンテキスト情報に対応する適合応答（ｇｏｌｄ ｒｅｓｐｏｎｓｅ）情報が入力され、これらを学習する。実施形態に係る電子装置は、前述した情報を学習して、対話情報（および／またはコンテキスト情報）の入力を受けて該当対話情報に対する応答情報を予測または生成する人工知能モデルを含むことができる。

【0072】

本明細書においては、例示－基盤生成モデルの構造および動作を説明するために、次のようなノーテーション（ｎｏｔａｔｉｏｎ）を使用することにし、既存のモデルの問題点について説明する。

【0073】

は、ダイアログデータセット（ｄｉａｌｏｇｕｅ ｄａｔａｓｅｔ）を示し、コンテキスト情報ｃおよび回答情報ｒを成すｎ個のペアからなる。例示－基盤生成モデルは、２つの構成要素を含むことができる：１つは検索部（

、Ｒｅｔｒｉｅｖｅｒ）、および生成部（

、ｇｅｎｅｒａｔｏｒ）、与えられたコンテキスト情報

に関して、検索部は、既定義された回答セット

にある例示

の関連性点数

の最高点（ｔｏｐ－ｓｃｏｒｉｎｇ）の例示を確認する。前記生成部は、例示ｚを活用してコンテキスト情報

に対する回答の確率

を計算する。

【0074】

ここで、検索部は、例えば、検索モデル（ｒｅｔｒｉｅｖａｌ ｍｏｄｅｌ）と呼称することができ、生成部は、例えば、生成モデル（ｇｅｎｅｒａｔｉｖｅ ｍｏｄｅｌ）と呼称することができる。

【0075】

例えば、１つの例示回答（ｅｘｅｍｐｌａｒ）は、複数個の次元（ｄｉｍｅｎｓｉｏｎ）を有するデータのリストまたはベクトル（ｖｅｃｔｏｒ）として表（またはエンベディング（ｅｍｂｅｄｄｉｎｇ））され得、従って、１つの例示回答は、エンベディング空間（ｅｍｂｅｄｄｉｎｇ ｓｐａｃｅ）上における１つまたはそれ以上の位置として表され得る。同様に、実施形態に係るコンテキスト（ｃｏｎｔｅｘｔ）情報も、複数個の次元（ｄｉｍｅｎｓｉｏｎ）を有するデータのリストまたはベクトル（ｖｅｃｔｏｒ）として表（またはエンベディング（ｅｍｂｅｄｄｉｎｇ））され得、エンベディング空間（ｅｍｂｅｄｄｉｎｇ ｓｐａｃｅ）上における１つまたはそれ以上の位置として表され得る。

【0076】

実施形態に係る関連性点数（ｒｅｌｅｖａｎｃｅ ｓｃｏｒｅ、

）は、少なくとも２つの例示回答間の関連性、またはコンテキスト情報と特定例示回答間の関連性を示し得る指標を示すことができる。例えば、関連性点数は、例えば、エンベディング空間上に位置する２つの例示回答（または１つの例示回答と１つのコンテキスト情報）間の関連性を示すことができる。

【0077】

一方、本明細書において述べる「関連性（ｒｅｌｅｖａｎｃｅ）」という概念は、エンベディング空間上に位置する２つの例示回答のエンベディングされたベクトルの値に基づいて、２つのベクトル間の距離、密集程度、類似度（ｓｉｍｉｌａｒｉｔｙ）などを意味し得る概念を含むことができる。

【0078】

ここで、

は、エンベディング空間上に表される複数の例示回答を確認し、保存する検索モデル部を意味し得る。

は、実施形態に係るコンテキスト情報を示すことができ、ｚは、実施形態に係る複数の例示回答のうちの１つを意味し得る。

【0079】

実施形態に係る関連性点数を計算する方法は、例えば、図１３に示すようになり得る。一方、例えば、図２を参照すると、実施形態に係る電子装置は、検索モデル部２００および生成モデル部２０１を含むことができる。

【0080】

実施形態に係る生成モデル部２０１は、対話のコンテキスト情報が入力されると、該当対話のコンテキストに適した応答情報を出力する人工知能モデルを含むことができる。生成モデル部２０１に含まれた人工知能モデルは、訓練セット（ｔｒａｉｎｉｎｇ ｓｅｔ）データによって訓練された人工神経網モデルを含むことができ、訓練セットデータは、例えば、対話に関するコンテキスト（ｃｏｎｔｅｘｔ）情報および該当コンテキスト情報に対応する適合応答（ｇｏｌｄ ｒｅｓｐｏｎｓｅ）情報を含むことができる。

【0081】

ここで、実施形態に係る訓練セットデータは、対話に関するコンテキスト（ｃｏｎｔｅｘｔ）情報から適切な該当コンテキスト情報に対応する適合応答（ｇｏｌｄ ｒｅｓｐｏｎｓｅ）情報を出力できるように例示（ｅｘｅｍｐｌａｒ）回答（ら）に関する情報をさらに含むことができる。即ち、実施形態に係る生成モデル２０１は、対話のコンテキスト情報、適合応答（ｇｏｌｄ ｒｅｓｐｏｎｓｅ）情報だけでなく、例示回答（ら）に関する情報をさらに活用して人工知能モデルを学習させることができる。

【0082】

従って、実施形態に係る検索モデル部２００は、実施形態に係る例示回答（ら）を生成することができる。検索モデル部２００は、対話に関するコンテキスト（ｃｏｎｔｅｘｔ）情報および該当コンテキスト情報に対応する適合応答（ｇｏｌｄ ｒｅｓｐｏｎｓｅ）情報の入力を受け、実施形態に係る例示回答（ら）を生成または選択することができ、生成または選択した例示回答を実施形態に係る生成モデル２０１に訓練セットデータとして伝達することができる。

【0083】

実施形態に係る電子装置は、このような検索モデル２００と生成モデル２０１を組み合わせた例示－基盤生成モデル（Ｅｘｅｍｐｌａｒ－ｂａｓｅｄ Ｇｅｎｅｒａｔｉｏｎ ｍｏｄｅｌ）に基づいて対話のコンテキスト情報に適した応答を抽出するよう学習することによって、豊富な知識に基づいて与えられた対話コンテキストに相応しい流暢な応答を生成すると同時に、多様かつ興味深い応答を生成できる効果を提供することができる。

【0084】

一方、従来の検索モデルと従来の生成モデルを含む例示－基盤生成モデルは、次のような欠点がある。

【0085】

例えば、原始的な例示－基盤生成モデルは、応答生成過程においてオープン－ドメイン対話から１対多問題（ｏｎｅ－ｔｏ－ｍａｎｙ ｐｒｏｂｌｅｍ）によって検索された例示を無視しようとする傾向がある。検索モデルが例示回答をコンテキストに基づいて抽出するため、たとえ、検索された例示およびゴールド応答が、すべて与えられたコンテキスト情報に類似するとしても、図３の（ａ）の例示のように検索された例示は、ゴールド応答情報（ゴールド応答、ｇｏｌｄ ｒｅｓｐｏｎｓｅ）から相違して差が生じる場合が発生し得る。検索された例示がゴールド応答を生成するのに役に立たないため、従来の生成モデルは、検索された例示を無視するように訓練され、コンテキスト情報のみを用いて応答を生成し得る。

【0086】

生成モデルが検索された例示をより活動的に活用するために、ある従来のモデルは、モデルの訓練過程において検索された例示を使用することよりも、ゴールド応答を活用するか、変形されたゴールド応答（ｐｅｒｔｕｒｂｅｄ ｇｏｌｄ ｒｅｓｐｏｎｓｅ）を例示として使用した。しかし、例示回答

およびゴールド応答

が過度に類似すると（例えば、図３の（ｂ）の実施形態）、従来の例示－基盤生成モデルは例示に過度に依存するように学習され得る。この場合、結果的に、生成モデルは例示のトークンを直接コピーすることによって、例示に過度に適合した（ｏｖｅｒ－ｆｉｔｔｅｄ）応答を生成し得る。

【0087】

要約すると、前述の従来の検索モデルと従来の生成モデルを組み合わせた例示－基盤生成モデル（Ｅｘｅｍｐｌａｒ－ｂａｓｅｄ Ｇｅｎｅｒａｔｉｏｎ ｍｏｄｅｌ）に基づいて学習する場合、生成モデルが与えられた例示（ｅｘｅｍｐｌａｒ）を無視するか、与えられた例示（ら）をそのまま使用して応答を導出する場合がある。例えば、検索モデルから選択または確認した例示回答が実際のコンテキスト情報との関連性が非常に低い場合、生成モデルは与えられた例示を無視して適切な学習を遂行することができない。また、検索モデルから選択または確認した例示回答が実際のコンテキスト情報と関連性が高い場合、生成モデルは与えられた例示をそのまま使用および出力するだけなので、同様に適切な学習を遂行することができない。

【0088】

前述した従来の検索モデルと従来の生成モデルを含む例示－基盤生成モデルの具体的な問題点は、図３において詳しく説明することにする。

【0089】

前述した従来の検索モデルと従来の生成モデルを含む例示－基盤生成モデルの問題点を克服するために、実施形態に係る検索モデル部２００は、応答保存部２００ａ、候補例示回答確認部２００ｂ、例示回答選択部２００ｃ、加重値計算部２００ｄのうち少なくとも１つをさらに含むことができる。

【0090】

応答保存部２００ａは、複数の応答に関する情報を含むことができる。応答保存部２００ａは、複数の応答の内容を保存してもよく、各応答がエンベディング空間（ｅｍｂｅｄｄｉｎｇｓｐａｃｅ）上における位置または値（ｖａｌｕｅ）を保存してもよい。

【0091】

候補例示回答確認部２００ｂは、応答保存部２００ａに保存された複数の応答のうち1つ以上の候補例示回答を確認することができる。候補例示回答確認部２００ｂは、訓練セットに入力された適合応答（ｇｏｌｄ ｒｅｓｐｏｎｓｅ）情報を用いて、候補例示回答を確認することができる。

【0092】

具体的には、候補例示回答（ら）は、エンベディング空間上において適合応答の値（または位置）から第１範囲内に含まれている応答を意味し得る。ここで、候補例示回答（ら）を確認するための第１範囲は、例えば、群集（ｃｌｕｓｔｅｒｉｎｇ）アルゴリズムに基づいて決定され得る。例えば、候補例示回答（ら）は、エンベディング空間上において適合応答の値(または位置)と群集アルゴリズム（例えば、ｋ－ｍｅａｎｓアルゴリズム、ｋ－Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ（ｋＮＮ）アルゴリズムなど）に基づいて、複数の応答から選択された応答（ら）を意味し得る。

【0093】

実施形態に係る例示回答選択部２００ｃは、候補例示回答確認部２００ｂから確認および選択された候補例示回答（ら）から１つ以上の例示回答（ら）を選択することができる。実施形態に係る生成モデル２０１が検索モデル２００から選択された例示回答によって高い効率の学習を誘導するためには、検索モデル２００が実施形態に係るコンテキスト情報と過度に関連性が高いか低い例示回答（ら）、ゴールド応答情報から過度に関連性が高いか低い応答（ら）のうち少なくとも１つを除いてもよい。従って、例示回答選択部２００ｃは、候補例示回答確認部２００ｂから確認および選択された候補例示回答（ら）のうち、学習に適した例示回答を選択することができる。

【0094】

例示回答選択部２００ｃが選択した例示回答（ら）は、例えば、候補例示回答（ら）のうち、エンベディング空間上においてゴールド応答情報に対応する値から過度に近い（または関連性の高い）第２範囲内の値（応答）を排除することによって選択されてもよい。例えば、第２範囲は、ジャカード類似度（Ｊａｃｃａｒｄ Ｓｉｍｉｌａｒｉｔｙ）に基づいて一定のスレショルド（ｔｈｒｅｓｈｏｌｄ）以上の類似度を有する範囲を意味し得る。

【0095】

実施形態に係る電子装置は、候補例示回答のうち、エンベディング空間上においてゴールド応答情報に対応する値から過度に近い（または関連性の高い）範囲内の応答を排除することによって、生成モデル２０１が文脈に適切でありつつも多様な応答を導出するように学習できるよう助力する。

【0096】

実施形態に係る検索モデル２００は、例示回答選択部２００ｃから選択した例示回答（または例示回答に関する情報）を実施形態に係る生成モデル２０１として提供することができる。

【0097】

一方、実施形態に係る生成モデル２０１は、選択された例示回答だけでなく、例示回答に関連した加重値（ら）を用いて学習してもよい。例示回答に関連した加重値（ら）は、例えば、実施形態に係る例示回答が実施形態に係るコンテキスト情報および／またはゴールド応答情報に関連した程度を示すことができる。例えば、加重値（ら）は、各例示回答に対する関連性点数（ｒｅｌｅｖａｎｃｅ ｓｃｏｒｅ）または正規化された関連性点数（ｎｏｒｍａｌｉｚｅｄ ｒｅｌｅｖａｎｃｅ ｓｃｏｒｅ）を意味してもよい。

【0098】

従って、実施形態に係る検索モデル部２００は、例示回答選択部２００ｃから選択された例示回答より各例示回答に対する加重値（ら）を計算または導出する加重値計算部２００ｄをさらに含むことができる。加重値計算部２００ｄは、実施形態に係る選択された例示回答および／または実施形態に係るコンテキスト情報を用いて、各例示回答に対する関連性点数または正規化された関連性点数を計算することによって、各応答に対する加重値を計算することができる。

【0099】

実施形態に係る電子装置は、例示回答および各例示回答に対する加重値をさらに考慮して最適な回答を生成するよう学習することによって、例示回答を適切に反映して文脈に合い、不自然でない応答を提供すると同時に、流暢でありつつ創意的な応答を生成できるように誘導することができ、対話モデルを使用するユーザーが飽きない対話を引き出すことができる。

【0100】

実施形態に係る生成モデル２０１は、前述した選択された例示回答、各例示回答に対する加重値のセットを用いて、生成モデル２０１に含まれた人工神経網モデルを学習することができる。

【0101】

具体的には、実施形態に係る生成モデル２０１は、選択された例示回答（および／または各例示回答に対する加重値のセット）に基づいて人工神経網モデルの順伝播（Ｆｏｒｗａｒｄ Ｐｒｏｐａｇａｔｉｏｎ）を遂行でき、応答を生成することができる。実施形態に係る生成モデル２０１は、生成された応答情報をユーザーに提供することができる。

【0102】

また、実施形態に係る生成モデル２０１は、前述したゴールド応答情報と選択された例示回答（および／または各例示回答に対する加重値）を用いて損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）を生成でき、生成された損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）を用いて生成モデル２０１に含まれた人工神経網モデルの逆伝播（Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ）を遂行することによって、人工神経網モデルのアップデートまたは訓練を遂行することができる。

【0103】

実施形態に係る損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）は、例えば、ニューラルネットワークの訓練のための逆伝播動作を遂行するのに必要な関数または値を意味し得る。従って、実施形態に係る損失関数は、例えば、検索モデル部２００が選択した例示回答のそれぞれに対して、各例示回答およびコンテキスト情報に基づいて計算された各回答に対する類似性点数（または正規化された類似性点数）に基づいて決定され得る。

【0104】

実施形態に係る例示基盤生成モデルを用いた対話情報生成方法は、検索モデル２００と生成モデル２０１の組み合わせに基づいて対話のコンテキスト情報に適した応答を抽出するようにモデルを訓練する動作を含むことによって、豊富な知識に基づいて与えられた対話コンテキストに相応しい流暢な応答を生成すると同時に、多様かつ興味深い応答を生成できる効果を提供することができる。

【0105】

一方、実施形態に係る検索モデル部２００は、検索部、レトリバー（ｒｅｔｒｉｅｖｅｒ）などとして多様に呼称され得る。以下においては、実施形態に係る例示回答選択部２００ｃの動作の例示、加重値計算部２００ｄの動作の例示を具体的に検討する。

【0106】

図３は、実施形態に係る電子装置がコンテキスト情報から応答情報を生成する全般的な結果の例示を示した図面である。

【0107】

図３に示された動作は、図２に示された動作に基づいて訓練された実施形態に係る検索モデル部２００および生成モデル部２０１（例えば、実施形態に係る訓練された人工神経網モデルなど）を用いて、ユーザーより獲得した対話情報から応答情報を生成する動作の例示を示す。

【0108】

具体的には、図３は、実施形態に係る電子装置が対話情報からコンテキスト情報を確認３００した後、コンテキスト情報に基づいて例示回答（ら）を選択３０１し、選択された例示回答（ら）を用いて対話情報に対応する応答情報を生成３０２する動作の例示を示す。

【0109】

図３を参照すると、実施形態に係る電子装置は、ユーザーより入力された対話情報（または与えられた対話情報）を用いてコンテキスト（ｃｏｎｔｅｘｔ）情報を生成または確認３００することができる。コンテキスト情報は、ユーザーより入力された１つまたはそれ以上の対話（例えば、“Ａ： 時間が早すぎると感じたことがある”など）、各対話に対する既提供された応答（例えば、“Ｂ：ーマイガット！特に最近、１週間が１日のように過ぎるね。”）に基づいて生成され得る。

【0110】

図３を参照すると、実施形態に係る電子装置は、確認されたコンテキスト情報をクエリー（ｑｕｅｒｙ）として用いて、例示回答（ら）を検索および選択３０１することができる。例示回答（ら）を選択する動作は、例えば、図２の検索モデル２００の動作の一部または全部に基づいて遂行され得る。図３を参照すると、実施形態に係る電子装置は、選択された例示回答（ら）を用いて対話に対する回答（ｒｅｓｐｏｎｓｅ）を生成３０２する。

【0111】

一方、訓練セットデータを用いて訓練する過程において、実施形態に係る生成モデル部は、検索モデル部から提供される例示回答の特性、例示回答の内容、およびその他に提供されるデータによって多様に訓練され得る。図３の３０２ａないし３０２ｃを検討すると、実施形態に係る生成モデル部は、第１例示３０２ａのようにコンテキスト情報３００と選択された例示回答３０１と関連のない応答を生成してもよく、第２例示３０２ｂのように選択された例示回答３０１と過度に同一の応答を生成してもよい。

【0112】

検索モデル部から選択および提供される例示回答（ら）が、ゴールド応答情報と相当距離がある場合（即ち、エンベディング空間上における値の差が大きい場合）、電子装置は、前述した第１例示３０２ａのように対話情報と関連のない答案として導出されるように誤って学習させ得る。また、検索モデル部から選択および提供される例示回答（ら）がゴールド応答情報と相当類似している場合（即ち、エンベディング空間上における値の差が極めて少ない場合）は、電子装置は、前述した第２例示３０２ａのようにゴールド応答情報をそのまま導出するように誤って学習させ得る。即ち、１つのコンテキスト情報から選択され得る例示回答が多様であり得、選択された例示回答内においても類似度の乖離が発生し得る、いわゆる１対多問題（Ｏｎｅ－ｔｏ－Ｍａｎｙ Ｐｒｏｂｌｅｍ）が存在するため、人工神経網の学習効果が低下すると同時に過適合（ｏｖｅｒｆｉｔｔｉｎｇ）問題を引き起こす可能性を高める。

【0113】

従って、実施形態に係る電子装置は、第３例示３０２ｃのように流暢かつ対話の連続性を保障できるよう応答情報を生成するために、例示回答（ら）を特定方法に基づいて選択することができる。

【0114】

実施形態に係る例示基盤生成モデルを用いた対話情報生成の豊富な知識に基づいて、与えられた対話コンテキストに相応しい流暢な応答を生成すると同時に、多様かつ興味深い応答を生成できる効果を提供することができる。

【0115】

図４は、実施形態に係る電子装置がコンテキスト情報から応答情報を生成するように生成モデル部を学習させる動作の例示を示す。

【0116】

具体的には、図４は、実施形態に係る電子装置が対話情報から応答情報を生成するために、例示回答（ら）を学習する動作の一部または全部を示す。図４に示された動作は、図２の電子装置内の検索モデル部２００および生成モデル部２０１によって遂行され得る。

【0117】

実施形態に係るコンテキスト情報は、エンベディング空間４００上における特定値としてエンベディングされて対応され得る。また、実施形態に係る複数の応答（例えば、図２の応答保存部２００ａに保存された応答）もエンベディング空間４００上における特定値としてエンベディングされ得る。例えば、図２の応答保存部２００ａは、各応答がエンベディング空間４００上においてエンベディングされた特定値を保存することができる。

【0118】

実施形態に係る電子装置は、複数の応答のうち、コンテキスト情報に対応するエンベディング空間上の値から特定範囲４００ａ内の応答（ら）を検索することができる。実施形態に係る電子装置は、特定範囲４００ａ内の応答（ら）のうち、生成モデル部に提供する例示回答（ら）（４０３ａ、４０３ｂ）を選択することができる。一方、実施形態に係る電子装置は、訓練セットデータに含まれた適合応答（ｇｏｌｄ ｒｅｓｐｏｎｓｅ）情報４０２を確認することができる。

【0119】

一方、訓練セットデータを学習する過程において、図４の４０３ａないし４０３ｂを検討すると、実施形態に係る生成モデル部は、第１例示４０３ａのようにゴールド応答情報４０２と関係のない例示回答を選択することができる。同様に、第２例示４０３ｂのように選択されたゴールド応答情報４０２と過度に同一の応答を選択してもよい。

【0120】

実施形態に係る電子装置の生成モデル部４０４は、生成モデル部４０４内の人工神経網モデルを学習するために、ゴールド応答情報と選択された例示回答（および／または各回答の加重値のセット）に基づいて損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）を計算することができ、損失関数に基づいて生成モデル部４０４内の人工神経網の逆伝播動作を遂行することによって、生成モデル部４０４内の人工神経網を学習させることができる。

【0121】

しかし、第１例示４０３ａを例示回答として選択する場合、生成モデル部４０４は、ゴールド応答情報との大きな差によって該当例示回答を無視（ｉｇｎｏｒｅ）し得る。一方、第２例示４０３ｂを例示回答として選択する場合、生成モデル部４０４は、ゴールド応答情報との非常に少ない差によって該当例示回答を過度に考慮して過適合（ｏｖｅｒｆｉｔｔｉｎｇ）現象が発生し得る。従って、実施形態に係る電子装置は、流暢かつ対話の連続性を保障できるよう応答情報を生成するために、例示回答（ら）を特定方法に基づいて選択することができる。

【0122】

図５は、実施形態に係る検索モデル部の動作の例示を示したものである。

【0123】

図５は、図３ないし図４による、実施形態に係る検索モデル部が複数の応答から例示回答（ら）（

）を選択する方法を示した一実施形態である。

【0124】

図５を参照すると、実施形態に係る検索モデル部は、ゴールド応答情報から候補例示回答（ら）を確認する動作５Ａ、候補例示回答（ら）から例示回答（ら）を選択する動作５Ｂ、選択された例示回答それぞれに対して加重値を計算する動作５Ｃのうち少なくとも１つ以上を遂行することができる。図５において５Ａは、例えば、図２の候補例示回答確認部２００ｂによって、５Ｂは、例えば、図２の例示回答選択部２００ｃによって、５Ｃは、例えば、図２の加重値計算部２００ｄによって遂行され得る。

【0125】

図５の５Ａを参照すると、実施形態に係る検索モデル部は、コンテキスト情報５０１を確認することができ、コンテキスト情報５０１からエンベディング空間５００上における関連範囲５０１ａ内、またはゴールド応答情報５０２からエンベディング空間５００上における第１範囲５０２ａ内に存在する候補例示回答（ら）５０３を確認することができる。実施形態に係る第１範囲５０２ａは、群集アルゴリズム（例えば、ｋ－ｍｅａｎｓアルゴリズム、ｋ－Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ（ｋＮＮ）アルゴリズムなど）に基づいて決定された範囲を示すことができる。

【0126】

実施形態に係る電子装置は、群集アルゴリズムなどに基づいて候補例示回答を選択して、最終的に選択された例示回答が無視されるか、過小適合現象が発生することを防ぐことができる。また、このような動作として、選択された例示回答が無視されないので、学習過程における不必要な遅延を減らすことができる。

【0127】

図５の５Ｂを参照すると、実施形態に係る検索モデル部は、選択した候補例示回答（ら）５０３のうち、第２範囲５０４内に含まれた回答（ら）を除くことができる。ここで、第２範囲５０４は、ユーザーまたはシステムによって決定する範囲であり得る。例えば、第２範囲５０４は、エンベディング空間上においてＪａｃｃａｒｄ Ｆｉｌｔｅｒ Ｂｏｕｎｄａｒｙを意味してもよい。

【0128】

実施形態に係る電子装置は、このような回答（ら）を除くことによって、ゴールド応答情報と過度に類似した回答から学習を遂行することを防ぐことができ、最終的に過適合（ｏｖｅｒｆｉｔｔｉｎｇ）現象を防ぐことができる。

【0129】

一方、５Ａおよび５Ｂによって選択された回答は、ゴールド応答情報と関連度が高いが、実施形態に係るコンテキスト情報との関連度には差があり得る。例えば、５Ａおよび５Ｂによって選択された回答内においては、５Ａにおいて遂行した群集アルゴリズム（例えば、最も近いｋ個の例示（ｋＮＥ、ｋ－Ｎｅａｒｅｓｔ Ｅｘｅｍｐｌａｒｓ））の特性によってコンテキスト情報との関連性が高いが、ゴールド応答情報との関連性は低いこともあり、コンテキスト情報との関連性は低いが、ゴールド応答情報との関連性は高いこともある。実施形態に係る電子装置は、各例示回答とコンテキスト情報との関連性も考慮して生成モデル部を学習させる必要がある。もし、検索モデル部が前述した５Ａおよび５Ｂの動作だけを遂行した場合、選択された例示回答（ら）は、全的にゴールド応答情報に依存した回答を含み得るため、学習の効率が低下し得る。

【0130】

従って、図５の５Ｃによると、実施形態に係る検索モデル部は、各回答とコンテキスト情報の類似性程度（例えば、加重値（ｗｅｉｇｈｔ））を計算することができる。実施形態に係る加重値は、１つの回答とコンテキスト情報との類似性を示したものであり得、類似性は、例えば、エンベディング空間上における値の差に基づいて計算され得る。実施形態に係る検索モデル部は、例示回答の個数ほど加重値およびコンテキスト情報を用いて計算することができ、各計算された加重値を各例示回答にマッピングして、実施形態に係る生成モデル部として提供することができる。

【0131】

具体的には、一実施形態に係る検索モデル部（

）は、選択された例示回答（ｅｘｅｍｐｌａｒ

）、および実施形態に係るコンテキスト情報（

）に基づいて各例示回答ごとに計算類似性点数（ｒｅｌｅｖａｎｃｅ ｓｃｏｒｅ、

）を計算することができる。さらに、一実施形態に係る検索モデル部は、各例示回答に対する類似性点数（

）にソフトマックス（ｓｏｆｔｍａｘ）関数を適用して正規化された類似性点数（

）を計算することができる。その後、実施形態に係る電子装置は、各回答に対する正規化された類似性点数を用いて既存の可能度（ｔｒａｄｉｔｉｏｎａｌ ｌｉｋｅｌｉｈｏｏｄ）を加重値可能度（ｗｅｉｇｈｔｅｄ ｌｉｋｅｌｉｈｏｏｄ）に変換し、変換された加重値可能度から生成された損失関数（ｌｏｓｓｆｕｎｃｔｉｏｎ）を最小化するよう実施形態に係る生成モデル部を学習させることができる。実施形態に係る生成モデル部を学習させるために、変換された加重値可能度から生成された損失関数（ｌｏｓｓｆｕｎｃｔｉｏｎ、Ｌ）は、例えば、以下のように計算され得る。

【0132】

【数1】

【0133】

実施形態に係る生成モデル部（

）は、計算された損失関数（Ｌ）を用いて逆伝播動作を遂行することができる。実施形態に係る逆伝播動作を遂行する過程において計算される勾配、即ち、グラディエント（ｇｒａｄｉｅｎｔ）は、例えば、次のように計算され得る。

【0134】

【数2】

【0135】

例示のような数学式２は、生成モデル部のグラディエントが正規化された類似性点数（

）によってスケール（ｓｃａｌｅ）されたことを示し、選択された例示回答（ら）ｚがコンテキスト情報（

）と関連性が少ない場合、生成モデル部が少なくアップデート（即ち、少なく変化するように訓練）されることを示す。

【0136】

実施形態に係る電子装置は、前述した検索モデル部および生成モデル部の動作によって、不適切であるか、無関係の例示回答（ら）を無視するか、少なく考慮して学習するように誘導することができる。また、電子装置は、このような構成として、ゴールド応答情報に関連した例示回答からトークンを容易にフェッチ（ｆｅｔｃｈ）するように生成モデルを学習させることができる。

【0137】

図６は、実施形態に係る検索モデル部が対話情報および応答情報を学習するための動作の結果の例示を示したものである。

【0138】

具体的には、図６は、図５に示された実施形態に係る検索モデル部の対話情報および応答情報を学習するための動作の例示を示す。図６を参照すると、実施形態に係る検索モデル部は、対話情報を用いてコンテキスト情報６００、およびゴールド応答情報６０１を確認することができる。

【0139】

図６を参照すると、６０２は、実施形態に係る複数の応答のうち、コンテキスト情報をクエリー（ｑｕｅｒｙ）として、検索モデル部において検索した候補例示回答を意味し得る。図６を参照すると、６０３は、実施形態に係る群集アルゴリズム（例えば、ｋＮＥ）に基づいて抽出した候補例示回答（ら）を意味し得る。６０２および６０３において、「Ｓｉｍ」は、ゴールド応答情報と各候補例示回答間の文字的な類似度を示すことができ、「

」は、実施形態に係る検索モデル部によって計算された各応答に対する正規化された関連性点数を示すことができる。また、「Ｕｓｅ？」は、実施形態に係る電子装置が生成モデル部の学習のために生成モデル部に例示回答を提供するか否かを示す。

【0140】

図７は、実施形態に係る電子装置の動作の例示を示したものである。

【0141】

図７に示された動作の一部または全部は、例えば、図１のプロセッサー１１０、またはプロセッサー１１０内に含まれたラーニングプロセッサー（ｌｅａｒｎｉｎｇ ｐｒｏｃｅｓｓｏｒ）によって遂行され得、図２の検索モデル２００および/または生成モデル２０１によって遂行され得る。

【0142】

図７を参照すると、実施形態に係る電子装置は、第１コンテキスト情報を確認７００することができる。図７を参照すると、実施形態に係る電子装置は、第１モデルに基づいて前記第１コンテキスト情報に対応する第１応答セットを確認７０１することができる。図７に示された第１応答セットは、図５に示された関連範囲５０１ａ内に含まれた例示回答を意味し得る。実施形態に係る第１コンテキスト情報は、ユーザーより獲得した少なくとも１つ以上の対話情報を含むことができる。

【0143】

図７を参照すると、実施形態に係る電子装置は、前記第１コンテキスト情報に対応する適合応答情報に基づいて、前記第１応答セットから選択された応答サブセットを確認７０２することができる。図７に示された応答サブセットは、実施形態に係る候補応答セットを意味し得る。例えば、図７に示された応答サブセットは、（図５の５０２内に含まれた例示回答のうち）第２範囲５０４内に含まれた例示回答を除いた残りの回答を示すことができる。

【0144】

実施形態に係る応答サブセットは、実施形態に係るゴールド応答情報および群集アルゴリズムに基づいて確認される候補応答内から選択され得る。また、実施形態に係る応答サブセットは、候補応答のうち、エンベディング空間内の前記ゴールド応答情報に対応する値から特定範囲内に対応する少なくとも１つの回答を除くことによって選択され得る。

【0145】

図７を参照すると、実施形態に係る電子装置は、前記第１コンテキスト情報および前記応答サブセットに基づいて、前記第２モデルを学習させる７０３ことができる。

【0146】

実施形態に係る電子装置は、応答サブセットに含まれる各応答に対して前記第１コンテキスト情報に基づいて加重値情報を設定する段階をさらに含むことができる。ここで、実施形態に係る電子装置は、設定された加重値のセットに基づいて前記第２モデルを訓練させることができ、加重値のセットに含まれる各加重値は応答に対応され得る。

【0147】

実施形態に係る加重値情報は、前記応答サブセット内の各回答に対する関連性点数に基づいて設定され得、回答に対する関連性点数は、エンベディング空間上において前記第１コンテキスト情報に対応する値および前記回答に対応する値に基づいて計算され得る。

【0148】

一方、実施形態に係る第２モデルは、ユーザーより獲得した対話情報に関する第２コンテキスト情報を確認し、第２コンテキスト情報に基づいて前記第２コンテキスト情報に関するゴールド応答情報を提供することができる。

【0149】

実施形態に係る第２モデルは、前記加重値のセットに基づいて計算された損失関数を用いて逆伝播動作を遂行することによって訓練され得、前記加重値のセットに含まれる各加重値は、各回答に対する関連性点数を正規化することによって計算され得る。

【0150】

実施形態に係る例示基盤生成モデルを用いた対話情報生成方法は、検索モデル２００と生成モデル２０１の組み合わせに基づいて対話のコンテキスト情報に適した回答を抽出するよう学習することによって、豊富な知識に基づいて与えられた対話コンテキストに相応しい流暢な回答を生成すると同時に、多様かつ興味深い回答を生成できる効果を提供することができる。

【0151】

実施形態に係る電子装置は、候補例示回答のうち、エンベディング空間上においてゴールド応答情報に対応する値から過度に近い（または関連性の高い）範囲内の回答を排除することによって、生成モデル２０１が文脈に適切でありつつ多様な回答を導出するように学習できるよう助力する。

【0152】

実施形態に係る電子装置は、例示回答および各例示回答に対する加重値をさらに考慮して最適な回答を生成するよう学習することによって、例示回答を適切に反映して文脈に合い、不自然ではない回答を提供すると同時に、流暢でありつつ創意的な回答を生成できるように誘導することができ、対話モデルを使用するユーザーが飽きない対話を引き出すことができる。

【0153】

図８は、実施形態に係る電子装置の動作の例示を示す。

【0154】

具体的には、図８は、実施形態に係るオープン－ドメイン対話（Ｏｐｅｎ－ｄｏｍａｉｎ Ｃｏｎｖｅｒｓａｉｏｎ）を遂行する対話電子装置の動作の例示を示す。例えば、図８の動作は、学習データ（ｔｒａｉｎｉｎｇ ｄａｔａ）から応答を抽出するために学習する過程ではなく、実際のユーザーより入力された対話情報から回答情報を抽出するための動作の例示を示すことができる。

【0155】

図８を参照すると、実施形態に係る電子装置は、ユーザーより対話情報を受信することができる。実施形態に係る電子装置は、受信した対話情報からコンテキスト情報８ａを抽出することができる。実施形態に係るコンテキスト情報８ａは、電子装置内のプロセッサー１１０または、プロセッサー１１０内に含まれたラーニングプロセッサー（ｌｅａｒｎｉｎｇ ｐｒｏｃｅｓｓｏｒ）などによって抽出され得、図２ないし図７において前述した実施形態に係るコンテキスト情報を意味し得る。

【0156】

実施形態に係る電子装置は、検索モデル部８００および生成モデル部８０１のうち少なくとも１つをさらに含むことができ、各構成は、図２ないし図７に係る検索モデル部８００および生成モデル部８０１を意味し得る。

【0157】

実施形態に係る電子装置は、ユーザーより入力された対話情報から抽出したコンテキスト情報８ａを受信して、該当対話情報に適切な回答８ｂを生成することができる。従って、電子装置は、コンテキスト情報８ａを検索モデル部８００に伝達することができる。実施形態に係る検索モデル部８００内のＫＮＮ部８００ｂは、実施形態に係るコンテキスト情報８ａおよび検索モデル部８００の例示回答保存部８００ａに保存された複数の回答に基づいて、候補例示回答を抽出することができる。実施形態に係る検索モデル部８００内の例示回答選択部８００ｃは、抽出された候補例示回答のうち１つ以上を選択することができる。実施形態に係る検索モデル部８００内の加重値計算部８００ｄは、選択された１つ以上の候補例示回答から加重値を計算（または関連性点数の計算)することができる。実施形態に係る検索モデル部８００は、選択された例示回答を実施形態に係る生成モデル部８０１に伝達することができる。実施形態に係る生成モデル部８０１は、選択された例示回答および実施形態に係るコンテキスト情報８ａを受信することができ、これらを生成モデル部８０１内に含まれた人工神経網モデル８０１ａの入力レイヤーに入力することができ、出力レイヤーから応答情報８ｂを生成および確認することができる。生成モデル部８０１は、出力レイヤーから確認される回答情報８ｂを出力してユーザーに提供することができる。

【0158】

これらが生成モデル部８０１内に含まれた人工神経網モデル８０１ａは、入力レイヤーとして入力された、選択された例示回答および実施形態に係るコンテキスト情報８ａを用いて順伝播動作８０１ｂを遂行することができる。

【0159】

一方、実施形態に係る生成モデル８０１は、迅速かつリアルタイムの対話を誘導するために、ユーザーより入力された対話から応答情報８ｂを抽出後、実施形態に係る逆伝播過程（および／または実施形態に係る損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）を計算する動作など）を省略してもよい。一方、逆伝播過程（および／または実施形態に係る損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）を計算する動作など）を省略すると、実施形態に係る生成モデル８０１の人工神経網モデル８０１ａの訓練が行われない代わりに、ユーザーより入力された対話から迅速な応答を抽出できるという点において、本明細書において説明する電子装置の一部実施形態となり得る。従って、逆伝播過程（および／または実施形態に係る損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）を計算する動作など）を省略できる実施形態の記載だけで、逆伝播過程および／または本明細書において開示する損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）を計算する動作などが因習的（ｃｏｎｖｅｎｔｉｏｎａｌ）であるか、日常的な（ｒｕｔｉｎｅ）構成であると解釈されてはならない。

【0160】

図９ないし図１２は、実施形態に係る電子装置のオープン－ドメイン対話モデルの性能を他のオープン－ドメイン対話（Ｏｐｅｎ－ｄｏｍａｉｎ Ｃｏｎｖｅｒｓａｉｏｎ）モデルと比較したものを示す。

【0161】

図９は、実施形態に係る電子装置の効果を示した図面である。

【0162】

図９を参照すると、「Ｂｉ－ｅｎｃｏｄｅｒ ２５６Ｍ」および「Ｂｌｅｎｄｅｒ ９０Ｍ」は、ベースライン検索モデル（ｂａｓｅｌｉｎｅ ｒｅｔｒｉｅｖａｌ ｍｏｄｅｌ）およびベースライン生成モデル（ｂａｓｅｌｉｎｅ ｇｅｎｅｒａｔｉｖｅ ｍｏｄｅｌ）の例示であり得る。図８を参照すると、「ＲｅｔＮＲｅｆ」、「ＲｅｔＮＲｅｆ＿α」、「ＭａｔＴｏＧｅｎ」は、実施形態に係る生成モデル部の例示を示したものであり、ＣＯＲＧＥは、実施形態に係る検索モデル部を示したものである。具体的には、ＲｅｔＮＲｅｆは、例えば、回答を生成するために生成モデル部の例示として、入力として与えられたコンテキスト情報と検索モデル部を連結することができる。ＲｅｔＮＲｅｆ＿αは、ＲｅｔＮＲｅｆの対話検索バージョンとして検索された例題（α＝０：５）を単に無視することを避けるために混合した構成を採用した構成を含むことができる。ＭａｔＴｏＧｅｎは、例示回答（ら）から意味のあるトークンを抽出して生成器に提供するモデルであり得る。図８において、ＲＡＧおよびＫＩＦは、知識－基盤生成モデル（Ｋｎｏｗｌｅｄｇｅ－ｇｒｏｕｎｄｅｄ Ｇｅｎｅｒａｔｉｖｅ ｍｏｄｅｌ）に基づくオープン－ドメイン対話モデルを示す。図８は、「ＲｅｔＮＲｅｆ」、「ＲｅｔＮＲｅｆ＿α」、「ＭａｔＴｏＧｅｎ」を実施形態に係る電子装置（または電子装置の検索モデル部）と結合して、性能を２つのモデルごとに比較することによって実験したものを示す。

【0163】

図９の「Ａｐｐｒｏｐｒｉａｔｅｎｅｓｓ（適合性）」は、回答がどれほど流暢かつ論理的であり、コンテキスト（文脈）に相応しいかを測定する指標を意味し得、「Ｉｎｆｏｒｍａｔｉｖｅｎｅｓｓ（情報性）」は生成した回答がコンテキスト情報に基づいてどれほど意味のある情報を含むかを測定する指標を意味し得る。

【0164】

図９は、２つのモデルの比較結果を要約したものである。ＲｅｔＮＲｅｆとＭａｔＴｏＧｅｎが実施形態に係る検索モデル部（ＣＯＲＧＥ）を採用する場合、Ｉｎｆｏｒｍａｔｉｖｅｎｅｓｓに対して、ＲｅｔＮＲｅｆ＋ＣＯＲＧＥ対ＫＩＦの場合を除き、すべての基準線を凌ぐ効果が発揮され得る。具体的には、実施形態に係る検索モデル部を結合したＲｅｔＮＲｅｆ＋ＣＯＲＧＥおよびＭａｔＴｏＧｅｎ＋ＣＯＲＧＥは、２つのマトリックにおいてそれぞれＲｅｔＮＲｅｆαおよびＭａｔＴｏＧｅｎよりも優れた性能を提供する。特に、ＭａｔＴｏＧｅｎ＋ＣＯＲＧＥはＢｉｅｎｃｏｄｅｒ ２５６Ｍを凌ぎ、Ｂｌｅｎｄｅｒ ９０Ｍを大きく凌ぐ一方、ＭａｔＴｏＧｅｎはＢｉ－ｅｎｃｏｄｅｒ ２５６ＭおよびＢｌｅｎｄｅｒ ９０Ｍよりも性能が劣ることを確認することができる。また、ＲｅｆＮＲｅｆ＋ＣＯＲＧＥは、Ｂｌｅｎｄｅｒ ９０Ｍよりも高い性能を示し得る。このような評価結果は、実施形態に係る検索モデル部の一例示であるＣＯＲＧＥが既存の模範基盤生成モデルを先導して、より流暢かつ有益な生成モデルを生成することを示す。

【0165】

図１０は、実施形態に係る電子装置の効果を示した図面である。

【0166】

図１０は、各モデルが生成する回答を分析するための、実施形態に係る電子装置に関する、自動評価マトリックス（ａｕｔｏｍａｔｉｃ ｅｖａｌｕａｔｉｏｎ ｍｅｔｒｉｃｓ）であるＰＰＬ（Ｐｅｒｐｌｅｘｉｔｙ）、Ｄｉｓｔ－ｎ、ＢＬＥＵを示したものである。

【0167】

ＰＰＬは、提示された入力コンテキストに基づいてどれほどモデルが回答を予測するかを測定する指標として、ＰＰＬが低いということは、モデルが回答を正しく予測するということを示す。例示－基盤生成モデルが検索された例示回答をどれほど活用するかを分析するために、例示回答が提供されるときに、条件付確率を活用したＰＰＬの２種類の変形した指標を使用することができる。第一に、１）

は、ゴールド応答情報が例示回答として与えられたときの状況を仮定した条件付確率

を用いる。第二に、２）

は、ｚが

を用いて検索した例示回答を示す条件付確率

を用いる。

が小さいということは、ゴールド応答情報が例示回答として提供されたときに、例示－基盤生成モデルがゴールド応答情報を正しく予測するということを意味する。

が小さいということは、例示－基盤生成モデルがゴールド応答情報を予測するために提供された例示回答を正しく活用するということを意味する。

【0168】

Ｄｉｓｔ－ｎは、すべての生成された回答に対する全体ｎ－グラム（ｎ－ｇｒａｍ）の個数に比べてディスティンクトｎ－グラム（ｄｉｓｔｉｎｃｔ ｎ－ｇｒａｍ）の比率を示したものとして、生成された回答の多様性を示す指標であり得る。

【0169】

ＢＬＥＵは、提供された例示回答と生成された回答の組（ｚ、ｒ）間のトークンオーバーラップの程度を測定するための指標であり得る。ＢＬＥＵ点数が高いということは、生成モデル部が回答を生成することにおいて、提供された例示回答から多くの部分をコピー（ｃｏｐｙ）または参照したということを示す。

【0170】

図１０によると、ＲｅｔＮＲｅｆと実施形態に係る電子装置の検索モデル部を結合した構成、およびＭａｔＴｏＧｅｎと実施形態に係る電子装置の検索モデル部を結合した構成は、Ｂｌｅｎｄｅｒ ９０Ｍよりも低いＰＰＬ＿ｒｅｔｒｉｅｖｅを示す。これは、実施形態に係る電子装置の検索モデルとして訓練された例題基盤生成モデルが提供された例題を活用してＢｌｅｎｄｅｒ ９０Ｍよりもゴールド応答をさらに予測するということを意味する。ＲｅｔＮＲｅｆと実施形態に係る電子装置の検索モデル部を結合した構成は、ＲｅｔＮＲｅｆよりもＰＰＬ＿ｇｏｌｄおよびＰＰＬ＿ｒｅｔｒｉｅｖｅの程度がさらに小さく、これは、ＲｅｔＮＲｅｆと実施形態に係る電子装置の検索モデル部を結合した構成は、提供された例示回答をＲｅｔＮＲｅｆよりもさらに活用すると推論することができる。

【0171】

ＲｅｔＮＲｅｆは、ＲｅｔＮＲｅｆと実施形態に係る電子装置の検索モデル部を結合した構成よりもＰＰＬ＿ｇｏｌｄが低いが、ＲｅｔＮＲｅｆは、ＲｅｔＮＲｅｆと実施形態に係る電子装置の検索モデル部を結合した構成よりもＰＰＬ＿ｒｅｔｒｉｅｖｅが高い。この結果は、ゴールド応答情報として検索された例示回答として提供される場合を除き、ＲｅｔＮＲｅｆが検索された例題をあまり使わないことを示す。この観察によると、ＲｅｔＮＲｅｆが訓練段階において、ゴールド応答情報を例示として活用することによって発生する選択された例示に、高度に過適合した応答を生成すると推論することができる。また、実施形態に係る電子装置のモデルが過適合問題を緩和し、これは、ＭａｔＴｏＧｅｎとの結合においても示される。Ｂｌｅｎｄｅｒ ９０Ｍと比較して、ＲｅｔＮＲｅｆと実施形態に係る電子装置の検索モデル部を結合した構成、およびＭａｔＴｏＧｅｎと実施形態に係る電子装置の検索モデル部を結合した構成のより高いＤｉｓｔ－ｎは、実施形態に係る電子装置のモデルがバニラ（ｖａｎｉｌｌａ）生成モデルよりもさらに多様な応答を生成するということを示す。また、ＲｅｔＮＲｅｆおよび実施形態に係る電子装置の検索モデル部を結合した構成は、ＲｅｔＮＲｅｆよりもＤｉｓｔ－ｎがより高いため、例示回答を活用すれば、生成器が応答を多様化するのに役立つ。ＲｅｔＮＲｅｆαは、バニラ検索モデルであるＢｉ－ｅｎｃｏｄｅｒ ２５６Ｍに匹敵するＤｉｓｔ－ｎを達成した唯一のモデルであるが、ＰＰＬ＿ｇｏｌｄとＰＰＬ＿ｒｅｔｒｉｅｖｅの結果間の格差を考慮すると、例示に過適合されて適切性と情報性が低調であることを確認することができる。

【0172】

平均ＢＬＥＵ点数は、検索された例示回答と生成された回答間の重畳を暗示的に測定するため、ＢＬＥＵ水準が高いほど生成器が検索されたひな形により多く依存することを示す。ＲｅｔＮＲｅｆは、無視できるＢＬＥＵ点数を示すため、モデルが検索されたひな形を殆ど活用していないことを再確認する。また、ＲｅｔＮＲｅｆαおよびＭａｔＴｏＧｅｎは、それぞれＲｅｔＮＲｅｆと実施形態に係る電子装置の検索モデル部を結合した構成、およびＭａｔＴｏＧｅｎと実施形態に係る電子装置の検索モデル部を結合した構成に比べてより高いＢＬＥＵ点数を有し、これは、実施形態に係る電子装置の構成が検索モデル部によって検索された例示回答により多く依存しないことを確認する。

【0173】

図１１は、前述した結果に係る効果を証明するための例示である。

【0174】

Ｂｉ－ｅｎｃｏｄｅｒ ２５６Ｍ、Ｂｌｅｎｄｅｒ ９０Ｍ、ＲｅｔＮＲｅｆ、ＲｅｔＮＲｅｆα、ＲｅｔＮＲｅｆと実施形態に係る電子装置の検索モデル部を結合した構成、ＫＩＦ、ＲＡＧモデルが、入力コンテキストに比べて生成した回答を示す。

【0175】

図１２は、知識－基盤生成モデルに比べて実施形態に係る電子装置のモデルの前述した結果に係る効果を示す。

【0176】

具体的には、正規化された検索機点数の標準偏差は、標本基盤生成モデルに対して検索機を共同で訓練するときにより小さくなる。ここで、各訓練インスタンスに対して５つの標本（ｋ＝５）が使用される。図１２の「Ｏｕｒｓ」はＲｅｔＮＲｅｆ＋ＣＯＲＧＥを示し、「ｊｏｉｎｔ」は生成モデル部と共に検索モデル部を訓練することを示す。

【0177】

一方、知識－基盤生成（Ｋｎｏｗｌｅｄｇｅ－ｇｒｏｕｎｄｅｄ Ｇｅｎｅｒａｔｉｏｎ）に関しても説明する。

【0178】

回答を生成するために検索された結果（例えば、Ｗｉｋｉｐｅｄｉａから確認される関連文書）を用いる知識－基盤生成モデルは、知識－集約的（ｋｎｏｗｌｅｄｇｅ－ｉｎｔｅｎｓｉｖｅ）自然言語処理（ＮＬＰ、Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）作業（例えば、オープン－ドメインの質問および回答）を遂行するために提案された。知識－基盤の生成は、例示－基盤の生成と類似する。しかし、主な相違点は、知識－基盤生成モデルは回答を生成するために外部資源から知識を抽出する。オープン－ドメインの質問、回答のための大規模な言語モデルと共に、知識抽出部の既－訓練（ｐｒｅ－ｔｒａｉｎｉｎｇ）することの効率性を示してきた。知識－基盤生成モデルは、知識－集約的なＮＬＰ作業の多様な方面において純粋な生成モデルに比べてより情報的かつ多様な文章を生成できるという点も示してきた。回答生成のために知識－基盤生成モデルが類似して提案されてきたが、そのような知識－基盤生成モデルは、オープン－ドメイン対話に焦点が合わされていない。本明細書においては、既存の知識－基盤生成モデルがオープン－ドメイン対話に直接適用され得ないことを示す。

【0179】

図１０に係る自動評価結果は、知識－基盤生成モデル（Ｋｎｏｗｌｅｄｇｅ－ｇｒｏｕｎｄｅｄ Ｍｏｄｅｌｓ）が例示回答を無視していることを確認することができる。ＲＡＧおよびＫＩＦのＰＰＬｇｏｌｄ、ＰＰＬｒｅｔｒｉｅｖｅ、およびＤｉｓｔ－ｎは、Ｂｌｅｎｄｅｒ ９０Ｍと類似した程度を有しているが、これは、例示回答が応答を生成する間に有用な情報が提供されないということを示す。また、平均よりも低いＢＬＥＵ点数は、検索された例示と生成された応答間に重複が殆どないことを示す。このような結果は、オープン－ドメイン対話と知識基盤生成作業の差から始まったものである。知識基盤生成モデルを学習および訓練する間に

を使用して外部知識をもたらすが、開放型ドメイン対話の１対多特性によって、生成器は再び検索された例示回答を基本例題として無視し得る。

【0180】

また、生成器と共に実施形態に係る検索モデル部（レトリバー）を訓練すると、レトリバーが局所最小値に囲まれることになる。図４のようにＲＡＧの検索者が共同で訓練するときに、検索者によって計算された正規化された関連性点数

の標準偏差はほぼ０に近づく。標準偏差が小さいほど、関連性点数が平らになることを意味する。知識基盤生成モデルは、検索機と生成器を共同で訓練すれば、知識集約的ＮＬＰ作業において性能が向上するということを経験的に示したが、公開ドメイン対話から検索された例示回答は無視される。従って、検索者は、情報のない関連性点数を生成する方法を学習する。結果的に検索機が縮小されて検索機が生成器に不適切な選考を返還することができる（図１０のＫＩＦおよびＲＡＧの例にも表示）。実施形態に係る電子装置と共に検索モデル部を訓練すると、図１１のようにレトリバー点数が平らになり、ＲＡＧにおいても経験したようにレトリバーの些細な崩壊を経験的に観察することができる。従って、実施形態に係る電子装置は、検索モデル部を共同で訓練させなくてもよい。知識－基盤生成モデルが経験的に示したように、結合して訓練する検索部および生成部は、知識－集約的なＮＬＰ作業内の性能を向上させるが、オープン－ドメイン対話においては検索された例示が無視される。従って、検索部は、情報的でない関連性点数を生成する。

【0181】

以下においては、本明細書において開示する電子装置の検索モデル（ＣＯＲＧＥと指称）のＡｂｌａｔｉｏｎ ｓｔｕｄｙ（切除訓練検証）に関して説明する。

【0182】

本明細書においては、関連性点数（Ｒｅｌｅｖａｎｃｅ Ｓｃｏｒｅ、ＲＳ）およびｋＮＥ群集アルゴリズムが生成部に例示を活動的に用いて、Ｊａｃｃａｒｄ Ｆｉｌｔｅｒ（ＪＦ）が過適合問題を緩和するように誘導することを示した。図１０を参照すると、ＲｅｔＮＲｅｆ＋ＣＯＲＧＥのＰＰＬ＿ｒｅｔｒｉｅｖｅは、他の切除された比較群に比べて低いことを示し、これは、各構成要素が回答を生成するのに寄与することを示す。ＲｅｔＮＲｅｆ＋ＣＯＲＧＥ－ＲＳおよびＲｅｔＮＲｅｆ＋ＣＯＲＧＥ－ｋＮＥは、高い程度のＰＰＬ＿ｒｅｔｒｉｅｖｅおよびＰＰＬ＿ｇｏｌｄを示し、これは、回答を生成する過程においてＲＳおよびｋＮＥが生成部に例示を活用するように助力することを示す。ＲｅｔＮＲｅｆ＋ＣＯＲＧＥ－ＪＦは、過適合に強い信号を提供し、ＰＰＬ＿ｇｏｌｄに対してはるかに低い数値を示すが、対照的に高いＰＰＬ＿ｒｅｔｒｉｅｖｅ数値を示す。Ｄｉｓｔ－ｎは、本明細書において提案するモデルが、ＲｅｔＮＲｅｆ＋ＣＯＲＧＥ－ＪＦを除いたモデル内において最も多様な回答を生成することを示し、ＲｅｔＮＲｅｆ＋ＣＯＲＧＥ－ＪＦは、検索された例示からトークンを過度にコピーすることを示す。平均ＢＬＥＵ点数も同一の傾向を示すため、ＣＯＲＧＥ構成要素の効果を再確認する。

【0183】

結論的には、本明細書においては、適切性および情報性の観点から性能を極大化できる例示－基盤生成モデルにおいて適用可能な訓練モデルを提案する。本明細書において提案する訓練方法は、意味として類似するが、ゴールド応答と適当に距離がある例示を選択し、検索部において例示を関連性点数（ｒｅｌｅｖａｎｃｅ ｓｃｏｒｅ）に基づいて加重値を与えることによって、既存の例示－基盤生成モデルの欠点を緩和することができる。ペアワイズ（ｐａｉｒｗｉｓｅ）人的評価を含む広範囲な分析を通じて、本明細書において提案した訓練方法が既存の例題基盤生成モデルの性能を向上させることを確認する。

【0184】

図１３は、実施形態に係る関連性点数（ｒｅｌｅｖａｎｃｅ ｓｃｏｒｅ）を計算する方法の例示を示す。

【0185】

まず、入力コンテキスト（例えば、実施形態に係るコンテキスト情報）および候補ラベル（ｃａｎｄｉｄａｔｅ ｌａｂｅｌ）（例えば、実施形態に係る例示回答、選択された例示回答）のエンコーディングされたベクトル（例えば、図１３に示されたように実施形態に係る電子装置内に含まれたエンコーダ（１２００ａ、１２００ｂ）の動作によってエンコーディングされたベクトル)を確認する。 例えば、入力コンテキストのエンコーディングされたベクトル

および候補ラベルのエンコーディングされたベクトル

は、図１２の１２００に示されたように示すことができる。

【0186】

ここで、

および

は、図１３において説明される図１３に示された動作（ら）が既訓練された２つのトランスフォーマー（ｔｒａｎｓｆｏｒｍｅｒ）を意味し得、最初は同一の加重値として始まるが、微調整（ｆｉｎｅ ｔｕｎｉｎｇ）過程においてアップデートされ得る。

は、各トランスフォーマーＴの出力結果を意味し得、関数

は、ベクトルのシーケンス（ｓｅｑｕｅｎｃｅ）を１つのベクトルに減少させる関数を意味し得る。入力コンテキストおよび候補ラベルがそれぞれ別途にエンコーディングされるので、セグメントトークン（ｓｅｇｍｅｎｔ ｔｏｋｅｎ）はそれぞれ０である。事前訓練中に遂行されたものと同様に、入力とラベルのすべてが特殊トークン［Ｓ］として取り囲まれているため、ｈ１は［Ｓ］に該当され得る。ベクトルのシーケンス（ｓｅｑｕｅｎｃｅ）を１つのベクトルに減少させる

は、例えば、次の方法のうち１つ以上を含むことができる。１）トランスフォーマー（特殊トークン［Ｓ］に対応する）の第一の出力物を選択する方法、２）最初のｍ＜Ｎ個の出力物ベクトルに対する平均または全体の出力物ベクトルに対する平均として決定する方法。図１３に係る

および

は、図１３の１２００ｃおよび１２００ｄに示された構成要素の一部または全部を含むことができる。

【0187】

候補ラベル

の点数（ｓｃｏｒｅ）は、図１２の１２０１に示された数学式および図１３の１２０１ａに示されたように、ドット積（ｄｏｔ ｐｒｏｄｕｃｔ）によって計算され得る。ここで、ネットワーク（例えば、図１３において説明するネットワーク）は、ロジット（ｌｏｇｉｔ）がそれぞれ

であり、

が正しいラベルであり、残りは訓練セットから選択され得る場合として、交差エントロピー（ｃｒｏｓｓ－ｅｎｔｒｏｐｙ）損失を最小化するように訓練されたネットワークであり得る。

【0188】

従って、実施形態に係る関連性点数は、実施形態に係るコンテキスト情報を入力コンテキストとして、および実施形態に係る例示回答を候補ラベル（ｃａｎｄｉｄａｔｅ ｌａｂｅｌ）として計算された候補ラベルの点数（ｓｃｏｒｅ）を意味し得る。また、実施形態に係る関連性点数は、例えば、Ｂｉ－ｅｎｃｏｄｅｒ、Ｐｏｌｙ－ｅｎｃｏｄｅｒなどによって生成された点数（ｓｃｏｒｅ）を意味してもよい。

【0189】

本開示の多様な実施形態に係る記録媒体は、例示基盤生成モデルを用いた対話情報生成方法をコンピュータにおいて実行させるためのプログラムを記録したコンピュータで読み取り可能な非一時的記録媒体を含むことができる。

【0190】

一方、本明細書と図面には、本開示の好ましい実施形態に関して開示し、たとえ、特定用語が使用されていても、これは単に本開示の技術内容を容易に説明し発明の理解を助けるための一般的な意味として使用されたのであって、本開示の範囲を限定しようとするものではない。ここに開示された実施形態のほかにも、本開示の技術的思想に基づいた他の変形形態が実施可能であることは、本開示が属する技術分野において通常の知識を有する者に自明である。

【0191】

前述した実施形態に係る電子装置または端末は、プロセッサー、プログラムデータを保存して実行するメモリー、ディスクドライブのような永久保存部（ｐｅｒｍａｎｅｎｔ ｓｔｏｒａｇｅ）、外部装置と通信する通信ポート、タッチパネル、キー（ｋｅｙ）、ボタンなどのようなユーザーインターフェイス装置などを含み得る。ソフトウェアモジュールまたはアルゴリズムとして具現される方法は、前記プロセッサー上において実行可能なコンピュータが読み取り可能なコードまたはプログラム命令としてコンピュータが読み取り可能な記録媒体上に保存され得る。ここで、コンピュータが読み取り可能な記録媒体として、マグネティック保存媒体（例えば、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ-Ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フロッピーディスク、ハードディスクなど）、および光学的読み取り媒体（例えば、シーディーロム（ＣＤ－ＲＯＭ）、ディーブイディー（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ））などがある。コンピュータが読み取り可能な記録媒体は、ネットワークに接続されたコンピュータシステムに分散されて、分散方式としてコンピュータが読み取り可能なコードが保存され実行され得る。媒体は、コンピュータによって読み取り可能であり、メモリーに保存され、プロセッサーにおいて実行され得る。

【0192】

本実施形態は、機能的なブロック構成および多様な処理段階として示され得る。このような機能ブロックは、特定の機能を実行する多様な個数のハードウェアおよび／またはソフトウェアの構成として具現され得る。例えば、実施形態は、１つ以上のマイクロプロセッサーの制御または他の制御装置によって多様な機能を実行することができる、メモリー、プロセッシング、ロジック（ｌｏｇｉｃ）、ルックアップテーブル（ｌｏｏｋ－ｕｐ ｔａｂｌｅ）などのような集積回路の構成を採用することができる。構成要素がソフトウェアプログラミングまたはソフトウェア要素として実行され得ることと同様に、本実施形態は、データ構造、プロセス、ルーチン、または他のプログラミング構成の組み合わせとして具現される多様なアルゴリズムを含み、Ｃ、Ｃ＋＋、ジャバ（Ｊａｖａ）、アセンブラー（ａｓｓｅｍｂｌｅｒ）などのようなプログラミングまたはスクリプト言語として具現され得る。機能的な側面は、１つ以上のプロセッサーにおいて実行されるアルゴリズムとして具現され得る。また、本実施形態は、電子的な環境設定、信号処理、および／またはデータ処理などのために、従来の技術を採用することができる。「メカニズム」、「要素」、「手段」、「構成」のような用語は、広く使用され得、機械的かつ物理的な構成として限定されるものではない。前記用語は、プロセッサーなどと連携してソフトウェアの一連の処理（ｒｏｕｔｉｎｅｓ）の意味を含むことができる。

【0193】

前述した実施形態は、一例示に過ぎず、後述する請求項の範囲内において他の実施形態が具現され得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】