知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023033202
(43)【公開日】2023-03-09
(54)【発明の名称】対話モデル訓練方法および装置
(51)【国際特許分類】
G06N 20/00 20190101AFI20230302BHJP
【ＦＩ】
G06N20/00 130
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2022133106
(22)【出願日】2022-08-24
(31)【優先権主張番号】10-2021-0112541
(32)【優先日】2021-08-25
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2021-0161615
(32)【優先日】2021-11-22
(33)【優先権主張国・地域又は機関】KR
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ブルートゥース
２．ＢＬＵＥＴＯＯＴＨ
３．ＺＩＧＢＥＥ
４．ＪＡＶＡ
(71)【出願人】
【識別番号】519130063
【氏名又は名称】ハイパーコネクト リミテッド ライアビリティ カンパニー
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【弁理士】
【氏名又は名称】西島 孝喜
(74)【代理人】
【識別番号】100109335
【弁理士】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100210239
【弁理士】
【氏名又は名称】富永 真太郎
(72)【発明者】
【氏名】ソクジュン ソ
(72)【発明者】
【氏名】スンジュ ハン
(72)【発明者】
【氏名】ボムス キム
(72)【発明者】
【氏名】ブ ル チャン
(72)【発明者】
【氏名】エンフバヤル エルデニー
(57)【要約】 （修正有）
【課題】生成基盤対話モデルの高い応答レイテンシー問題を解決するか又は検索基盤対話モデルの相対的に低い回答クオリティーを解決するユーザーの対話モデルを訓練する方法およびそのための装置を提供する。
【解決手段】方法は、コンテキストとそれに対応する応答ペアを１つ以上を含む第１対話データセットから第１コンテキストを選択する段階Ｓ１０１と、第１対話モデルを通じて第１コンテキストに対応する第１応答を生成する段階Ｓ１０２と、第１コンテキストとそれに対応する第１応答ペアを第１対話データセットに含ませて増強された対話データセットを生成する段階Ｓ１０３と、増強された対話データセットに基づいて第２対話モデルを学習させる段階Ｓ１０４と、を含む。
【選択図】図１
【解決手段】方法は、コンテキストとそれに対応する応答ペアを１つ以上を含む第１対話データセットから第１コンテキストを選択する段階Ｓ１０１と、第１対話モデルを通じて第１コンテキストに対応する第１応答を生成する段階Ｓ１０２と、第１コンテキストとそれに対応する第１応答ペアを第１対話データセットに含ませて増強された対話データセットを生成する段階Ｓ１０３と、増強された対話データセットに基づいて第２対話モデルを学習させる段階Ｓ１０４と、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
電子装置において対話モデルを訓練する方法であって、
コンテキスト（ｃｏｎｔｅｘｔ）とそれに対応する応答（ｒｅｓｐｏｎｓｅ）ペア（ｐａｉｒ）を１つ以上含む第１対話データセット（ｄｉａｌｏｇｕｅ ｄａｔａ ｓｅｔ）から第１コンテキストを選択する段階と、
第１対話モデルを通じて前記第１コンテキストに対応する第１応答を生成する段階と、
前記第１コンテキストとそれに対応する前記第１応答ペアを前記第１対話データセットに含ませて増強された対話データセット（ａｕｇｍｅｎｔｅｄ ｄｉａｌｏｇｕｅ ｄａｔａｓｅｔ）を生成する段階と、
前記増強された対話データセットに基づいて第２対話モデルを学習させる段階と、を含む、対話モデル訓練方法。
コンテキスト（ｃｏｎｔｅｘｔ）とそれに対応する応答（ｒｅｓｐｏｎｓｅ）ペア（ｐａｉｒ）を１つ以上含む第１対話データセット（ｄｉａｌｏｇｕｅ ｄａｔａ ｓｅｔ）から第１コンテキストを選択する段階と、
第１対話モデルを通じて前記第１コンテキストに対応する第１応答を生成する段階と、
前記第１コンテキストとそれに対応する前記第１応答ペアを前記第１対話データセットに含ませて増強された対話データセット（ａｕｇｍｅｎｔｅｄ ｄｉａｌｏｇｕｅ ｄａｔａｓｅｔ）を生成する段階と、
前記増強された対話データセットに基づいて第２対話モデルを学習させる段階と、を含む、対話モデル訓練方法。
【請求項2】
前記第１対話モデルは、与えられた（ｇｉｖｅｎ）コンテキストに対して応答を生成する生成基盤対話モデルであり、前記第２対話モデルは、前記与えられたコンテキストに対して応答を検索する検索基盤対話モデルである、請求項１に記載の対話モデル訓練方法。
【請求項3】
前記第１対話データセットの応答および前記第１応答を含む増強された応答セット（ａｕｇｍｅｎｔｅｄ ｒｅｓｐｏｎｓｅ ｓｅｔ）を生成する段階をさらに含む、請求項１に記載の対話モデル訓練方法。
【請求項4】
前記学習させる段階は、
前記増強された対話データセットに含まれた第２コンテキストに対応する第１応答サブセット、および任意に選択された第２応答サブセットを含む応答セットを獲得する段階と、
前記第１対話モデルに基づいて前記第２コンテキストに対する前記応答セットに含まれた応答に対する第１スコアを計算する段階と、
前記第２対話モデルに基づいて前記第２コンテキストに対する前記応答セットに含まれた応答に対する第２スコアを計算する段階と、
前記第１スコアおよび前記第２スコアに基づいて前記第２対話モデルを学習させる段階と、を含む、請求項１に記載の対話モデル訓練方法。
前記増強された対話データセットに含まれた第２コンテキストに対応する第１応答サブセット、および任意に選択された第２応答サブセットを含む応答セットを獲得する段階と、
前記第１対話モデルに基づいて前記第２コンテキストに対する前記応答セットに含まれた応答に対する第１スコアを計算する段階と、
前記第２対話モデルに基づいて前記第２コンテキストに対する前記応答セットに含まれた応答に対する第２スコアを計算する段階と、
前記第１スコアおよび前記第２スコアに基づいて前記第２対話モデルを学習させる段階と、を含む、請求項１に記載の対話モデル訓練方法。
【請求項5】
前記第１スコアおよび前記第２スコアに基づいて前記第２対話モデルを学習させる段階は、
前記第１スコアおよび前記第２スコアに基づいて損失（ｌｏｓｓ）を計算する段階と、
前記損失が最小化するように前記第２対話モデルを学習させる段階と、を含む、請求項４に記載の対話モデル訓練方法。
前記第１スコアおよび前記第２スコアに基づいて損失（ｌｏｓｓ）を計算する段階と、
前記損失が最小化するように前記第２対話モデルを学習させる段階と、を含む、請求項４に記載の対話モデル訓練方法。
【請求項6】
電子装置において対話モデルを訓練する方法であって、
第１対話データセットから第１コンテキストに対応する第１応答サブセット、および任意に選択された第２応答サブセットを含む応答セットを獲得する段階と、
第１対話モデルに基づいて前記第１コンテキストに対する前記応答セットに含まれた応答に対する第１スコアを計算する段階と、
第２対話モデルに基づいて前記第１コンテキストに対する前記応答セットに含まれた応答に対する第２スコアを計算する段階と、
前記第１スコアおよび前記第２スコアに基づいて前記第２対話モデルを学習させる段階と、を含む、対話モデル訓練方法。
第１対話データセットから第１コンテキストに対応する第１応答サブセット、および任意に選択された第２応答サブセットを含む応答セットを獲得する段階と、
第１対話モデルに基づいて前記第１コンテキストに対する前記応答セットに含まれた応答に対する第１スコアを計算する段階と、
第２対話モデルに基づいて前記第１コンテキストに対する前記応答セットに含まれた応答に対する第２スコアを計算する段階と、
前記第１スコアおよび前記第２スコアに基づいて前記第２対話モデルを学習させる段階と、を含む、対話モデル訓練方法。
【請求項7】
前記第１対話モデルは、与えられたコンテキストに対して応答を生成する生成基盤対話モデルであり、前記第２対話モデルは、前記与えられたコンテキストに対して応答を検索する検索基盤対話モデルである、請求項６に記載の対話モデル訓練方法。
【請求項8】
コンテキストとそれに対応する応答ペアを１つ以上含む第２対話データセットから第２コンテキストを選択する段階と、
前記第１対話モデルを通じて前記第２コンテキストに対応する応答を生成する段階と、
前記第２コンテキストとそれに対応する応答ペアを前記第２対話データセットに含めて前記第１対話データセットを生成する段階と、を含む、請求項６に記載の対話モデル訓練方法。
前記第１対話モデルを通じて前記第２コンテキストに対応する応答を生成する段階と、
前記第２コンテキストとそれに対応する応答ペアを前記第２対話データセットに含めて前記第１対話データセットを生成する段階と、を含む、請求項６に記載の対話モデル訓練方法。
【請求項9】
前記第２スコアを計算する段階は、
前記第１コンテキストおよび前記応答セットに含まれた応答に対して固定長エンベディング（ｆｉｘｅｄ－ｌｅｎｇｔｈ ｅｍｂｅｄｄｉｎｇ）としてエンコーディングする段階と、
前記第１コンテキストに対応するエンベディング値および前記応答セットに含まれた応答それぞれに対応するエンベディング値に基づいて前記応答セットに含まれた応答それぞれの前記第１コンテキストに対する関連性スコア（ｒｅｌｅｖａｎｃｅ ｓｃｏｒｅ）を計算する段階と、を含む、請求項６に記載の対話モデル訓練方法。
前記第１コンテキストおよび前記応答セットに含まれた応答に対して固定長エンベディング（ｆｉｘｅｄ－ｌｅｎｇｔｈ ｅｍｂｅｄｄｉｎｇ）としてエンコーディングする段階と、
前記第１コンテキストに対応するエンベディング値および前記応答セットに含まれた応答それぞれに対応するエンベディング値に基づいて前記応答セットに含まれた応答それぞれの前記第１コンテキストに対する関連性スコア（ｒｅｌｅｖａｎｃｅ ｓｃｏｒｅ）を計算する段階と、を含む、請求項６に記載の対話モデル訓練方法。
【請求項10】
前記第１スコアは、前記応答セットに含まれた応答それぞれの長さに基づいて正規化された対数尤度（ｌｏｇ ｌｉｋｅｌｉｈｏｏｄ）を用いて計算される、請求項６に記載の対話モデル訓練方法。
【請求項11】
前記第１スコアは、前記応答セットに含まれた応答それぞれの前記第１コンテキストに関する相互情報（Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ）点数に基づいて計算される、請求項６に記載の対話モデル訓練方法。
【請求項12】
前記第２対話モデルを学習させる段階は、
前記第１スコアおよび前記第２スコアに基づいて損失（ｌｏｓｓ）を計算する段階と、
前記損失が最小化するように前記第２対話モデルを学習させる段階と、を含む、請求項６に記載の対話モデル訓練方法。
前記第１スコアおよび前記第２スコアに基づいて損失（ｌｏｓｓ）を計算する段階と、
前記損失が最小化するように前記第２対話モデルを学習させる段階と、を含む、請求項６に記載の対話モデル訓練方法。
【請求項13】
前記損失は、前記第１応答サブセットに対応するスコアに対する交差エントロピー(ｃｒｏｓｓ ｅｎｔｒｏｐｙ)損失および前記応答セットに含まれた応答に対応するスコアに対する知識蒸留（ｋｎｏｗｌｅｄｇｅ ｄｉｓｔｉｌｌａｔｉｏｎ）損失を含む、請求項１２に記載の対話モデル訓練方法。
【請求項14】
前記損失が最小化するように前記第２対話モデルを学習する段階は、前記第１応答サブセットに対応するスコアを最大化して前記交差エントロピー損失が最小化するように学習する、請求項１３に記載の対話モデル訓練方法。
【請求項15】
前記損失が最小化するように前記第２対話モデルを学習する段階は、前記第１スコアと前記第２スコアが一致して前記知識蒸留損失が最小化するように学習する、請求項１３に記載の対話モデル訓練方法。
【請求項16】
請求項６の対話モデル訓練方法をコンピュータにおいて実行させるためのプログラムを記録したコンピュータが読み取り可能な、非一時的記録媒体。
【請求項17】
対話モデルを訓練させるための電子装置であって、
保存デバイスと、
制御部（ｃｏｎｔｒｏｌｌｅｒ）と、を含み、
前記制御部は、
前記保存デバイスを通じて、第１対話データセットから第１コンテキストに対応する第１応答サブセット、および任意に選択された第２応答サブセットを含む応答セットを獲得し、
第１対話モデルに基づいて前記第１コンテキストに対する前記応答セットに含まれた応答に対する第１スコアを計算し、
第２対話モデルに基づいて前記第１コンテキストに対する前記応答セットに含まれた応答に対する第２スコアを計算し、
前記第１スコアおよび前記第２スコアに基づいて前記第２対話モデルを学習させる、電子装置。
保存デバイスと、
制御部（ｃｏｎｔｒｏｌｌｅｒ）と、を含み、
前記制御部は、
前記保存デバイスを通じて、第１対話データセットから第１コンテキストに対応する第１応答サブセット、および任意に選択された第２応答サブセットを含む応答セットを獲得し、
第１対話モデルに基づいて前記第１コンテキストに対する前記応答セットに含まれた応答に対する第１スコアを計算し、
第２対話モデルに基づいて前記第１コンテキストに対する前記応答セットに含まれた応答に対する第２スコアを計算し、
前記第１スコアおよび前記第２スコアに基づいて前記第２対話モデルを学習させる、電子装置。
【請求項18】
前記制御部は、
コンテキストとそれに対応する応答ペアを１つ以上含む第２対話データセットから第２コンテキストを選択し、
前記第１対話モデルを通じて、前記第２コンテキストに対応する応答を生成し、
前記第２コンテキストとそれに対応する応答ペアを前記第２対話データセットに含めて前記第１対話データセットを生成する、請求項１７に記載の電子装置。
コンテキストとそれに対応する応答ペアを１つ以上含む第２対話データセットから第２コンテキストを選択し、
前記第１対話モデルを通じて、前記第２コンテキストに対応する応答を生成し、
前記第２コンテキストとそれに対応する応答ペアを前記第２対話データセットに含めて前記第１対話データセットを生成する、請求項１７に記載の電子装置。
【請求項19】
前記制御部は、
前記第２対話データセットの応答および前記第２コンテキストに対応する応答を含む増強された応答セットを生成し、
前記保存デバイスを通じて増強された応答セットを保存する、請求項１８に記載の電子装置。
前記第２対話データセットの応答および前記第２コンテキストに対応する応答を含む増強された応答セットを生成し、
前記保存デバイスを通じて増強された応答セットを保存する、請求項１８に記載の電子装置。
【請求項20】
前記制御部は、前記第２対話モデルを学習させるために、
前記第１スコアおよび前記第２スコアに基づいて損失を計算し、
前記損失が最小化するように前記第２対話モデルを学習させ、
前記損失は、前記第１応答サブセットに対応するスコアに対する交差エントロピー損失、および前記応答セットに含まれた応答に対応するスコアに対する知識蒸留損失を含む、請求項１７に記載の電子装置。
前記第１スコアおよび前記第２スコアに基づいて損失を計算し、
前記損失が最小化するように前記第２対話モデルを学習させ、
前記損失は、前記第１応答サブセットに対応するスコアに対する交差エントロピー損失、および前記応答セットに含まれた応答に対応するスコアに対する知識蒸留損失を含む、請求項１７に記載の電子装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ユーザーの対話モデルを訓練する方法およびそのための装置に関する。
【背景技術】
【0002】
人工知能技術が発達することによって、人々は、実在する人物ではなく仮想の人物としてチャットボットと対話できるようになった。このようなチャットボットは、定められた対話主題によって、定められた応答を検索して出力することもでき、または、自由な対話の主題に対して適切な応答を生成して出力することもできる。このような特定の対話の主題が定められていない対話を、オープンドメイン対話（ｏｐｅｎ ｄｏｍａｉｎ ｃｏｎｖｅｒｓａｔｉｏｎ）といえる。
【0003】
オープンドメイン対話において応答を導出するために、大きく２種類の対話モデルとして、生成基盤対話モデルと検索基盤会話モデルが使用される。生成基盤会話モデルは、入力された対話コンテキスト（ｃｏｎｔｅｘｔ）に基づいて適切な回答を生成して回答として返すモデルである。そして、検索基盤対話モデルは、回答として使用され得る応答セット（ｒｅｓｐｏｎｓｅ ｓｅｔ）を予め定義した後、入力された対話コンテキストに最も適切な回答を応答セットから検索して回答として返すモデルである。
【0004】
このような生成基盤対話モデルは、大規模（ｌａｒｇｅ－ｓｃａｌｅ）な言語モデルを共に使用したときに、該当言語モデルの豊富な知識に基づいて与えられた対話コンテキストに相応しい回答を生成することができる。しかし、生成基盤対話モデルは、シーケンス対シーケンス構造のデコーダーが自己回帰的な（ａｕｔｏｒｅｇｒｅｓｓｉｖｅ）デコーディング過程に多くの時間を費やすため、回答の生成に高いレイテンシー（ｌａｔｅｎｃｙ）を有する。実際の対話状況において、チャットボットは、ユーザーへリアルタイムに回答を返さなければならないため、生成基盤対話モデルのこのような重く、遅い特性は、オープンドメイン対話には適用され難い実情である。
【0005】
一方、検索基盤対話モデルは、高性能の検索ライブラリーと共に使用したときに、生成基盤対話モデルよりも遥かに速く与えられたコンテキストに適切な回答を返すことができる。しかし、検索基盤対話モデルは、事前に定義された応答セットに存在する回答のみを返すことができるため、入力された対話コンテキストに適切な応答が応答セットに含まれていない場合、進められていた対話とは関係のない突拍子もない返事をする恐れがある。また、検索基盤対話モデルは、事前に定義された応答セットに非常に依存的なため、生成基盤対話モデルに比べて流暢でない回答を返すこともある。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本開示は、対話コンテキストに対して、生成基盤対話モデルを通じて応答を生成し、生成された応答に基づいて検索基盤対話モデルのための応答セットを構築することによって、生成基盤対話モデルの高い応答レイテンシー問題を解決するためのものである。
【0007】
本開示は、対話コンテキストに対して、生成基盤対話モデルを通じて応答を生成し、生成された応答に基づいて検索基盤対話モデルを学習することによって、検索基盤対話モデルの相対的に低い回答クオリティーを解決するためのものである。
【0008】
本開示において達成しようとする技術的課題は、前記のような技術的課題に限定されず、以下の実施形態からさらに他の技術的課題が類推され得る。
【課題を解決するための手段】
【0009】
前記のような課題を解決するための電子装置において遂行される対話モデル訓練方法は、コンテキスト（ｃｏｎｔｅｘｔ）とそれに対応する応答（ｒｅｓｐｏｎｓｅ）ペア（ｐａｉｒ）を１つ以上含む第１対話データセット（ｄｉａｌｏｇｕｅ ｄａｔａ ｓｅｔ）から第１コンテキストを選択する段階；第１対話モデルを通じて前記第１コンテキストに対応する第１応答を生成する段階；前記第１コンテキストとそれに対応する前記第１応答ペアを前記第１対話データセットに含ませて増強された対話データセット（ａｕｇｍｅｎｔｅｄ ｄｉａｌｏｇｕｅ ｄａｔａｓｅｔ）を生成する段階；および前記増強された対話データセットに基づいて第２対話モデルを学習させる段階を含むことができる。
【0010】
また、前記のような課題を解決するための電子装置において遂行されるさらに他の対話モデル訓練方法は、第１対話データセットから第１コンテキストに対応する第１応答サブセット、および任意に選択された第２応答サブセットを含む応答セットを獲得する段階；第１対話モデルに基づいて前記第１コンテキストに対する前記応答セットに含まれた応答に対する第１スコアを計算する段階；第２対話モデルに基づいて前記第１コンテキストに対する前記応答セットに含まれた応答に対する第２スコアを計算する段階；および前記第１スコアおよび前記第２スコアに基づいて前記第２対話モデルを学習させる段階を含むことができる。
【0011】
また、前記のような課題を解決するための対話モデルを訓練させるための電子装置は、保存デバイス；および制御部（ｃｏｎｔｒｏｌｌｅｒ）を含み、前記制御部は、前記保存デバイスを通じて、第１対話データセットから第１コンテキストに対応する第１応答サブセット、および任意に選択された第２応答サブセットを含む応答セットを獲得し、第１対話モデルに基づいて前記第１コンテキストに対する前記応答セットに含まれた応答に対する第１スコアを計算し、第２対話モデルに基づいて前記第１コンテキストに対する前記応答セットに含まれた応答に対する第２スコアを計算し、前記第１スコアおよび前記第２スコアに基づいて第２対話モデルを学習させることができる。
【0012】
その他、実施形態の具体的な事項は、詳細な説明および図面に含まれている。
【発明の効果】
【0013】
本開示によると、検索基盤対話モデルが、大規模な言語モデルの豊富な知識に基づいて流暢な回答を生成する生成基盤対話モデルの回答クオリティーに対応する回答を返すことができる。
【0014】
また、本開示によると、生成基盤対話モデルの高いレイテンシー問題を解決し、検索基盤対話モデルの回答クオリティーを高められる効果がある。
【0015】
発明の効果は、以上で言及した効果に制限されず、言及されていないさらに他の効果は、請求範囲の記載から当該技術分野の通常の技術者に明確に理解され得るであろう。
【図面の簡単な説明】
【0016】
【図1】一実施形態に係るデータ水準の対話モデル訓練方法を示したフローチャートである。
【図2】一実施形態に係るモデル水準の対話モデル訓練方法を示したフローチャートである。
【図3】オープンドメイン対話モデルに関するレイテンシー対人的評価点数を示したグラフである。
【図4】一実施形態に係るデータ水準の対話モデル訓練方法を示した図面である。
【図5】一実施形態に係るモデル水準の対話モデル訓練方法を示した図面である。
【図6】一実施形態に係るモデル水準の対話モデルを訓練させるための電子装置を示したブロック図である。
【発明を実施するための形態】
【0017】
実施形態において使用される用語は、本開示における機能を考慮しつつ、可能な限り現在広く使用される一般的な用語を選択したが、これは当分野に従事する技術者の意図または判例、新しい技術の出現などによって変わり得る。また、特定の場合は、出願人が任意に選定した用語もあり、この場合、該当する説明の部分において詳細にその意味を記載するであろう。従って、本開示において使用される用語は、単純な用語の名称ではなく、その用語が有する意味と本開示の全般にわたる内容に基づいて定義されなければならない。
【0018】
明細書全体において、ある部分がある構成要素を「含む」とするとき、これは特に反対の記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含むことができることを意味する。また、明細書に記載された「～部」、「～モジュール」などの用語は、少なくとも１つの機能や動作を処理する単位を意味し、これはハードウェアまたはソフトウェアとして具現されるか、ハードウェアとソフトウェアの結合によって具現され得る。
【0019】
明細書全体において記載された「ａ、ｂ、およびｃのうち少なくとも１つ」の表現は、「ａ単独」、「ｂ単独」、「ｃ単独」、「ａおよびｂ」、「ａおよびｃ」、「ｂおよびｃ」、または「ａ、ｂ、およびｃすべて」を包括することができる。
【0020】
以下において言及される「端末」は、ネットワークを通じてサーバーや他端末に接続できるコンピュータや移動端末機として具現され得る。ここで、コンピュータは、例えば、ウェブブラウザ（ＷＥＢ Ｂｒｏｗｓｅｒ）が搭載されたノートパソコン、デスクトップ（ｄｅｓｋｔｏｐ）、ラップトップ（ｌａｐｔｏｐ）などを含み、移動端末機は、例えば、携帯性と移動性が保障される無線通信装置として、ＩＭＴ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、Ｗ－ＣＤＭＡ（Ｗ－Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）などの通信基盤端末、スマートフォン、タブレットＰＣなどのようなすべての種類のハンドヘルド（Ｈａｎｄｈｅｌｄ）基盤の無線通信装置を含むことができる。
【0021】
本開示の技術分野であるオープンドメイン対話の作業は、検索モデル、生成モデル、または両方を使用して研究された。検索モデルが予め定義された応答セットから与えられたコンテキストに関連した応答を検索する間、生成モデルは、自動回帰デコーディングを使用して与えられたコンテキストに基づいて応答を生成する。検索および生成モデルは、推論の効率性と生成された応答の品質において、それぞれ利点があることが知られている。２種類の利点をすべて得るために、最近は、検索モデルと生成モデルを結合して数種類の例題基盤生成モデルが提案された。本開示において提案される訓練方法と例題基盤生成モデルの主な相違点は、例題基盤生成モデルは生成モデルに検索モデルに関する知識を提供する一方、提案された教育方法は生成モデルに関する知識を検索モデルに伝達してオープンドメイン対話システムの効率性に重点を置くという点にある。
【0022】
より具体的には、オープンドメイン対話において大規模生成モデルは、その驚くべき性能にもかかわらず、高いレイテンシーによってリアルタイム対話システムを構築するのには実用的ではないことが知られている。一方、検索モデルは、遥かに短いレイテンシーとして応答を返すことができるが、対話の品質が予め定義された応答集合によって制限されるため、大規模生成モデルよりも劣った性能を示す。２種類の接近方式をすべて活用するために、本開示は、生成モデルに関する知識を検索モデルに注入して大規模生成モデルの対話能力を活用しつつ、検索モデルの効率性を維持するＧ２Ｒ（Ｇｅｎｅｒａｔｉｖｅ－ｔｏ－Ｒｅｔｒｉｅｖａｌ ｄｉｓｔｉｌｌａｔｉｏｎ）という新たな学習方法を提案する。Ｇ２Ｒは、２種類の固有の蒸留（ｄｉｓｔｉｌｌａｔｉｏｎ）技術として構成され得る。先ず、データ水準（ｄａｔａ－ｌｅｖｅｌ）Ｇ２Ｒは、大規模生成モデルによって生成された追加応答として対話データセットを補強し、モデル水準（ｍｏｄｅｌ－ｌｅｖｅｌ）Ｇ２Ｒは、生成モデルによって評価された応答品質点数を知識蒸留損失による検索モデルの点数に移転する。人的評価を含む広範囲な実験を通じて、本開示のＧ２Ｒとして訓練された検索基盤対話システムが、基本検索モデルに比べて相当に向上した性能を示しながらも、大規模生成モデルよりも遥かに低い推論遅延時間を示すということを確認することができる。
【0023】
このために、実施形態においては、検索モデルの学習のためのコンテキスト－応答ペアの対話データセットのうち少なくとも一部のコンテキストを選択して、生成モデルを活用して応答を生成することによって、新たなコンテキスト－応答ペアを生成し、生成されたコンテキスト－応答ペアの増強された対話データセットを活用して検索モデルを学習させることによって、検索モデルがより多様な回答を生成することができる。
【0024】
また、実施形態において、特定のコンテキストに対して複数の応答セットを確認し、これをそれぞれ異なるモデルを通じて応答セットの各応答のスコアを導出し、各モデルの応答セットのスコア差を減らす方向に１つのモデルを学習させることができる。より具体的には、生成モデルを教師モデルとし、検索モデルを学生モデルとして応答セットに対するスコアの交差エントロピー損失を導出し、各スコア間の差を減らす方向に検索モデルを学習することによって、検索モデルの性能をより向上させることができる。
【0025】
以下、添付した図面を参照して、本開示の実施形態に係り本開示が属する技術分野で通常の知識を有する者が容易に実施することができるように詳細に説明する。しかし、本開示は、複数の相違する形態として具現され得、ここで説明する実施形態には限定されない。また、本開示において言及された「第１」および「第２」などのような表現は、用語間の区分のために記載されたものであり、該当表現によって意味が制限されない。
【0026】
図１は、一実施形態に係るデータ水準の対話モデル訓練方法を示したフローチャートである。
【0027】
段階Ｓ１０１において、コンテキストとそれに対応する応答ペアを１つ以上含む第１対話データセットから第１コンテキストを選択することができる。一実施形態によると、第１対話データセットの応答は、事前に定義された応答セットに含まれた応答であり得る。
【0028】
段階Ｓ１０２において、第１対話モデルを通じて第１コンテキストに対応する第１応答を生成することができる。一実施形態によると、第１対話モデルは、与えられた（ｇｉｖｅｎ）コンテキストに対して応答を生成する生成基盤対話モデルであり得る。
【0029】
段階Ｓ１０３において、第１コンテキストとそれに対応する第１応答ペアを含む増強された対話データセット（ａｕｇｍｅｎｔｅｄ ｄｉａｌｏｇｕｅ ｄａｔａｓｅｔ）を生成することができる。一実施形態によると、本開示の対話モデル訓練方法は、第１対話データセットの応答および生成された第１応答を含む増強された応答セット(ａｕｇｍｅｎｔｅｄ ｒｅｓｐｏｎｓｅ ｓｅｔ)を生成して、以降入力される対話コンテキストに対する固定した応答セットとして活用してもよい。
【0030】
段階Ｓ１０４において、増強された対話データセットに基づいて第２対話モデルを学習させることができる。一実施形態によると、第２対話モデルは、与えられたコンテキストに対して応答を検索する検索基盤対話モデルであり得る。
【0031】
一実施形態によると、第２対話モデルを学習する一環として、増強された対話データセットに含まれた第２コンテキストを確認し、第２コンテキストに対応する第１応答サブセット、および任意に選択された第２応答サブセットを含む応答セットを獲得することができる。そして、第１対話モデルに基づいて第２コンテキストに対する応答セットに含まれた応答に対する第１スコアを計算し、第２対話モデルに基づいて第２コンテキストに対する応答セットに含まれた応答に対する第２スコアを計算することができる。そして、第１スコアおよび第２スコアに基づいて第２対話モデルを学習することができる。このとき、第１スコアに基づいて第２スコアに対する損失（ｌｏｓｓ）を計算して、損失が最小化する方向に第２対話モデルを学習することができる。以下においては、本開示のいくつかの実施形態によって応答をスコアリングする例をより詳細に説明する。
【0032】
図２は、一実施形態に係るモデル水準の対話モデル訓練方法を示したフローチャートである。
【0033】
段階Ｓ２０１において、第１対話データセットから第１コンテキストに対応する第１応答サブセット、および任意に選択された第２応答サブセットを含む応答セットを獲得することができる。一実施形態によると、コンテキストとそれに対応する応答ペアを１つ以上含む第２対話データセットから第２コンテキストを選択し、第１対話モデルを通じて第２コンテキストに対応する応答を生成し、第２コンテキストとそれに対応する応答ペアを第２対話データセットに含めて第１対話データセットを生成することができる。これによって、第１対話データセットは、増強された対話データセットであり得る。
【0034】
段階Ｓ２０２において、第１対話モデルに基づいて第１コンテキストに対する応答セットに含まれた応答に対する第１スコアを計算することができる。一実施形態によると、第１スコアは、応答セットに含まれた応答それぞれの長さに基づいて正規化された対数尤度（ｌｏｇ ｌｉｋｅｌｉｈｏｏｄ）を用いて計算され得る。または（或いは、結合して）、第１スコアは、応答セットに含まれた応答それぞれの第１コンテキストに関する相互情報（Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ）点数に基づいて計算されてもよい。
【0035】
段階Ｓ２０３において、第２対話モデルに基づいて第１コンテキストに対する応答セットに含まれた応答に対する第２スコアを計算することができる。一実施形態によると、第１コンテキストおよび応答セットに含まれた応答に対して固定長エンベディング（ｆｉｘｅｄ－ｌｅｎｇｔｈ ｅｍｂｅｄｄｉｎｇ）としてエンコーディングし、第１コンテキストに対応するエンベディング値および応答セットに含まれた応答それぞれに対応するエンベディング値に基づいて応答セットに含まれた応答それぞれの第１コンテキストに対する関連性スコア（ｒｅｌｅｖａｎｃｅ ｓｃｏｒｅ）を計算して、第２スコアを計算することができる。
【0036】
段階Ｓ２０４において、第１スコアおよび第２スコアに基づいて第２対話モデルを学習させることができる。一実施形態によると、第１スコアおよび第２スコアに基づいて損失を計算し、このような損失が最小化するように第２対話モデルを学習させることができる。この時の損失は、第１応答サブセットに対応するスコアに対する交差エントロピー（ｃｒｏｓｓ ｅｎｔｒｏｐｙ）損失、および応答セットに含まれた応答に対応するスコアに対する知識蒸留（ｋｎｏｗｌｅｄｇｅ ｄｉｓｔｉｌｌａｔｉｏｎ）損失を含み得る。一部の実施形態において、第２対話モデルは、第１応答サブセットに対応するスコアを最大化して交差エントロピー損失が最小化するように学習することができ、いくつかの実施形態においては、第１スコアと第２スコアが一致して知識蒸留損失が最小化するように学習してもよい。
【0037】
以下においては、検索基盤対話モデルを「検索モデル」として、生成基盤対話モデルを「生成モデル」として指称することにする。
【0038】
最近、生成モデルは、大規模言語モデルの開発と共にオープンドメイン対話において大きな成功を収め、流暢かつ有益な応答を提供した。しかし、生成モデルは、応答生成のための自動回帰デコーディングと大きなＧＰＵメモリ空間によって、リアルタイム対話システムを構築するためのレイテンシーおよび計算リソースの問題があった。
【0039】
一方、バイエンコーダー（Ｂｉ－ｅｎｃｏｄｅｒ）およびポリエンコーダ（Ｐｏｌｙ－ｅｎｃｏｄｅｒ）のような検索モデルは、応答セットを予め定義し、応答セットから与えられたコンテキストに最も関連性の高い応答を検索して効率的なオープンドメイン対話システムを構築することができた。また、バイエンコーダーは、ＦＡＩＳＳおよびＳｃａＮＮのような効率的なＭＩＰＳ（Ｍａｘｉｍｕｍ Ｉｎｎｅｒ Ｐｒｏｄｕｃｔ Ｓｅａｒｃｈ）ライブラリーを採用するときのレイテンシーを大幅に減らすことができる。このような優れた効率性にもかかわらず、検索モデルは、生成モデルに比べて対話能力が多少不足するものと示される。特に、検索モデルは、既に定義された応答セットが与えられたコンテキストに対する適切な応答を含まないとき、誤った応答を返すものとして知られている一方、生成モデルはこのような場合をより柔軟に処理する傾向がある。
【0040】
このような問題を緩和しようと試みるために、２つの接近方式の利点を結合する例題基盤生成モデル（Ｅｘｅｍｐｌａｒ－ｂａｓｅｄ ｇｅｎｅｒａｔｉｖｅ ｍｏｄｅｌｓ）が考慮されたが、生成モデル固有の非効率性は依然として残っていた。これは、例題基盤生成モデルが応答生成のために生成モデルを使用するためである。これによって、本開示は、実際の適用に好ましい効率でありながらも、流暢なオープンドメイン対話システムを作るために、Ｇ２Ｒ（Ｇｅｎｅｒａｔｉｖｅ－ｔｏ－Ｒｅｔｒｉｅｖａｌ ｄｉｓｔｉｌｌａｔｉｏｎ）という検索モデルに関する新たな訓練方法を提案する。
【0041】
一実施形態によると、Ｇ２Ｒを使用すると、検索モデルがデータ水準とモデル水準のすべてにおいて大規模生成モデルに関する知識を活用することができる。いくつかの実施形態において、データ水準Ｇ２Ｒは、本来の対話データセットのコンテキストを使用して大規模生成モデルから生成された応答として、本来の対話データセットを補強することができ、生成された応答を予め定義された応答集合に追加することができる。このように増強された対話データセットと応答セットは、それぞれ訓練段階において検索モデルを訓練し、推論段階において応答を返すのに使用される。一方、データ水準Ｇ２Ｒは、検索モデルが大規模生成モデルから生成された高品質な応答を活用できるようにするが、個別応答の品質に関する生成モデルの細部的な知識を伝達しない。これを解決するために、モデル水準Ｇ２Ｒは、大規模教師（ｔｅａｃｈｅｒ）生成モデルにおいて評価した応答品質点数を学生検索モデルの点数として伝送する知識蒸留方式を用いる。本方法は、検索モデルが応答品質の側面において、より良い応答を選択するように誘導することができる。
【0042】
このようなより大規模の教師神経網から小規模の学生神経網に知識を伝送することは、データ増強および知識蒸留を含めて学生モデルの性能を向上させるために具現された。データ増強の観点において、いくつかの研究は、事前訓練された言語モデルの生成結果をテキスト分類作業に関するラベルが指定された例題として活用する。一部の研究は、検索モデルと生成モデルの推論結果を学生検索モデル訓練のための準陰性（ｓｅｍｉ－ｎｅｇａｔｉｖｅ）データセットとして活用する。一方、知識蒸留は、学生ロジット（ｌｏｇｉｔ）を軟化した教師ロジット（ｓｏｆｔｅｎｅｄ ｔｅａｃｈｅｒ ｌｏｇｉｔ）と一致させて、教師モデルの知識を学生モデルに伝達する。シーケンス生成作業、検索モデル、およびトランスフォーマーアーキテクチャのような特定作業、またはモデルアーキテクチャのために特別に設計された知識蒸留が存在する。
【0043】
本開示の対話モデル訓練方法と最も密接に関連した作業は、対話蒸留（Ｄｉａｌｏｇｕｅ Ｄｉｓｔｉｌｌａｔｉｏｎ）であり、対話蒸留はオープンドメイン対話モデルに関するデータ水準およびモデル水準の蒸留を提案する。しかし、本開示の対話モデル訓練方法は、３種類の側面において対話蒸留とは異なる。第一に、対話蒸留は、ペアになっていない追加テキストコーパスを必要とし、これは、特定の状況から得るのが困難であり得る。代わりに対話蒸留作業は、追加データを補強するために大規模生成モデルに関する知識を活用することに重点を置く。また、対話蒸留は、事前定義された応答セットを豊富にしない。これは、本開示の対話モデル訓練方法に対する実験結果からも分かるように、検索モデルの性能を向上させるのに重要である。最後に、対話蒸留は、生成－生成（Ｇｅｎｅｒａｔｉｖｅ－ｔｏ－Ｇｅｎｅｒａｔｉｖｅ）または検索－検索（Ｒｅｔｒｉｅｖａｌ－ｔｏ－Ｒｅｔｒｉｅｖａｌ）のような均質な（ｈｏｍｏｇｅｎｅｏｕｓ）アーキテクチャ内においてのみ知識蒸留を考慮するが、本開示の対話モデル訓練方法は、各アーキテクチャの利点を活用するために、異種（ｈｅｔｅｒｏｇｅｎｅｏｕｓ）アーキテクチャ、特に、生成－検索（Ｇｅｎｅｒａｔｉｖｅ－ｔｏ－Ｒｅｔｒｉｅｖａｌ）間のモデル水準の蒸留に重点を置く。
【0044】
図３は、オープンドメイン対話モデルに関するレイテンシー対人的評価点数を示したグラフである。白丸は生成基盤対話モデル、黒丸は検索基盤対話モデル、星３１０は本開示のいくつかの実施形態に係る本開示の対話モデル訓練方法を通じて訓練された対話モデル（例えば、Ｇ２Ｒ）を示す。図３を通じて、本開示の対話モデルが検索基盤対話モデルよりも遥かに良い人的評価点数を示し、生成基盤対話モデルよりも遥かに短いレイテンシーを示すことを確認することができ、多様なモデルの中から最適な点数、即ち、「スイートスポット（ｓｗｅｅｔ－ｓｐｏｔ）」を達成することが分かる。
【0045】
Ｇ２Ｒを適用した検索モデルとＭＩＰＳライブラリーで構成された検索基盤対話システムは、図３のように、速い推論速度を示しつつ、相当な対話能力を示すことを実証的に立証する。例えば、本開示の検索基盤対話システムは、ブレンダー（ｂｌｅｎｄｅｒ）モデル（９０Ｍ媒介変数）に比べて約２０倍の速度向上を示しながらも、対話能力に対する類似した人的評価結果を示す。ここで、ブレンダーモデルは、オープンドメイン対話作業の最先端モデルであり、Ｂｌｅｎｄｅｒ ９０Ｍ、Ｂｌｅｎｄｅｒ ２．７Ｂ、Ｂｌｅｎｄｅｒ ９．４Ｂのような多様な媒介変数が存在する。ブレンダーモデルは、応答生成のためにデコーディングハイパーパラメータによる。
【0046】
図４は、一実施形態に係るデータ水準の対話モデル訓練方法を示した図面である。
【0047】
図４に図示された方法への理解を助けるために、先ず、オープンドメイン対話のための検索モデルについて検討する。以下の数学式１は、ｎ個のコンテキスト－応答ペアを含む対話データセットを示す。ここで、ｃiおよびｒiは、それぞれコンテキストおよびｉ番目の例題に対応する適切な応答であるゴールド（ｇｏｌｄ）応答である。訓練段階において検索モデルは、否定的な応答の点数と比較して与えられたコンテキストｃiに対するゴールド応答ｒiの点数を最大化するように訓練され得る。そして、推論段階において、検索モデルは、対話データセットＤにおいて構成された予め定義された応答セットＲから与えられたコンテキストｃに対する最高点数を有する応答を返すことができる。数学式２は、ｎ個の応答を含む予め定義された応答セットＲを示す。
【0048】
【数1】
【0049】
【数2】
【0050】
次に、知識蒸留は、学生モデルｚsのロジットと教師モデルｚtのロジットを一致させる損失を追加して、教師モデルの知識を学生モデルに伝達する方法である。１つのクラスがある分類作業の場合、知識蒸留損失は、学生モデルの軟化した（ｓｏｆｔｅｎｅｄ）出力確率と教師モデル間の交差エントロピーとして定義され得る。数学式３は、知識蒸留損失ＬKDを示す。
【0051】
【数3】
【0052】
ここで、ｐ（ｙ|ｘ）およびｚ（ｘ、ｙ）は、それぞれ入力ｘおよびクラスｙに対するモデルの軟化確率およびロジット値であり、Ｔは、ロジット値を平滑化（ｓｍｏｏｔｈｉｎｇ）するための温度媒介変数である。
【0053】
本開示の目標は、検索モデルに基づく効率的なオープンドメイン対話システムを作ることである。しかし、検索モデルを単純に活用すると、検索モデルがすべての応答候補に対する点数を計算しなければならないため、応答集合Ｒの大きさが大きいときに効率性が落ち得る。これを解決するために、本開示の特定の実施形態に係るプロセスは、効率的なＭＩＰＳライブラリー（例えば、ＦＡＩＳＳ）のあるバイエンコーダーモデルを採用して、すべての応答候補に対する点数を計算しなくても適切な応答を効率的に選択できるようにする。具体的には、バイエンコーダーは、Ｔｒａｎｓｆｏｒｍｅｒアーキテクチャを使用して、コンテキストｃと応答ｒをそれぞれ固定長エンベディングとしてエンコーディングすることができ、ｃとｒ間の関連性点数を２つのエンベディングの内積として定義することができる。これを通じて、検索プロセスの速度が高まり得る。
【0054】
一方、追加の高品質対話データセットを活用すると、検索モデルの性能を向上させるのに役立つ。また、事前定義された応答集合Ｒをより多様な応答に強化すると、適切な応答を選択する機会が広がるため、検索モデルが多様な入力コンテキストに適切に応答するのに役立ち得る。しかし、ヒューマン－イン－ザ－ループ（Ｈｕｍａｎ－ｉｎ－ｔｈｅ－ｌｏｏｐ）注釈を通じてこのような高品質対話データセットまたは応答を得ることは、労働集約的であり費用が多くかかる。
【0055】
正しく調整された大規模生成モデルは、人間に近い対話能力を達成することができるので、本開示の対話モデル訓練方法は、検索モデルを訓練するための対話データセットのみならず、応答セットを拡張するために大規模生成モデルの生成結果を活用することができる。
【0056】
先ず、対話データセット（ｄｉａｌｏｇｕｅ ｄａｔａ ｓｅｔ）Ｄの各コンテキストｃiに対して大規模生成モデルＧは、ｍ個の応答ｒG
i,jを生成することができる。数学式４は、応答ｒG
i,jを示す。
【0057】
【数4】
【0058】
そして、生成された応答を与えられたコンテキストｃiのゴールド応答と見なして、数学式５のように対話データセットＤと予め定義された応答セットＲに追加することができる。ここで、ＤGとＲGは、それぞれ増強された対話データセットおよび増強された応答セットを示す。
【0059】
【数5】
【0060】
対話データセットと応答セットが増強された後、検索モデルＲは、無作為にサンプリングされた音声応答Ｒ-のセットの中から正解応答ｒを選択する確率を最大化する交差エントロピー損失ＬCEを最小化するように学習され得る。数学式６は、交差エントロピー損失ＬCEを示す。
【0061】
【数6】
【0062】
ここで、Ｒ（ｃ、ｒ）は、与えられたコンテキストｃと応答ｒに対して検索モデルＲによって計算された点数である。数学式６において、Ｒ-は、交替なくＲGからの応答を無作為にサンプリングして、すべての反復に対して異なるように生成される。一例として、大規模生成モデルＧとして使用可能な最大のオープンドメイン対話モデルであるＢｌｅｎｄｅｒ ９．４Ｂモデルが使用され得る。ビームサーチ（ｂｅａｍ ｓｅａｒｃｈ）アルゴリズムは、同一のコンテキスト内から類似した応答を生成する傾向があるため、応答の多様性のためにｔｏｐ－ｋサンプリングを適用することができる。また、生成された応答の特異性と長さを多様化するために、互いに異なる最小長の制約条件として応答を複数回サンプリングすることができる。
【0063】
図４のデータ水準の対話モデル訓練モデル４００を参照すると、先ず、与えられたコンテキストとそれに対応する応答ペアを１つ以上含む対話データセットＤ４１０を用いて生成モデルＧ４３０を訓練することができる。このために、対話データセットＤ４１０から任意のコンテキストｃ４２０を抽出して生成モデルＧ４３０への入力とすることができる。一実施形態によると、対話データセットＤ４１０におけるコンテキストとそれに対応する応答は、既存の検索モデルＲ４７０が与えられたコンテキストに対して検索を通じて返された応答であり得る。生成モデルＧ４３０は、大規模（ｌａｒｇｅ－ｓｃａｌｅ）な言語モデルに基づく生成モデルであり得る。
【0064】
一実施形態によると、生成モデルＧ４３０は、コンテキストｃ４２０を入力として新たな応答ｒG４４０を生成することができる。これによって、生成モデルＧ４３０は、コンテキストｃ４２０に対応する新たな応答ｒG４４０ペアを１つ以上含む新たな対話データセット４５０を生成することができる。次に、対話データセットＤ４１０と新たな対話データセット４５０を結合して増強された対話データセットＤG４６０を生成することができる。増強された対話データセットＤG４６０は、以下の図４において、モデル水準の対話モデル訓練モデルの入力として活用され得る。検索モデルＲ４７０は、増強された対話データセットＤG４６０を用いて学習され得る。一方、新たな応答ｒG４４０は、既存の応答セットに追加されて、増強かつ事前定義された（ａｕｇｍｅｎｔｅｄ ｐｒｅ－ｄｅｆｉｎｅｄ ｒｅｓｐｏｎｓｅ ｓｅｔ）ＲG４８０で構成され得、検索モデルＲ４７０は、以後、如何なるコンテキストが対話モデルに入力したときも、増強かつ事前定義された応答セットＲG４８０を検索して適切な応答を返すことができる。
【0065】
図５は、一実施形態に係るモデル水準の対話モデル訓練方法を示した図面である。
【0066】
データ水準の対話モデル訓練方法は、追加の高品質対話データと多様な応答を提供するが、大規模生成モデルＧにおいて、個別応答の品質に関する細部的な知識を伝達しない。本開示のモデル水準の対話モデル訓練方法は、このような問題を解決するために設計された。一実施形態によると、データ水準の対話モデル訓練方法は、大規模な教師生成モデルＧによって評価された個別応答水準の品質点数を学生検索モデルＲに伝送して問題を解決することができる。
【0067】
具体的には、先ず、教師生成モデルＧの観点において、応答品質点数を次のように定義する：Ｇ（ｃ，ｒ）。次に、学生検索モデルは、既存の知識蒸留技法と類似して学生検索モデルの点数Ｒ（ｃ，ｒ）と教師生成モデルの点数Ｇ（ｃ，ｒ）が一致するように学習することができる。
【0068】
一実施形態によると、教師生成モデルの点数Ｇ（ｃ，ｒ）は、数学式７のように応答の長さとして正規化された対数尤度（ｌｏｇ－ｌｉｋｅｌｉｈｏｏｄ）として定義され得る。
【0069】
【数7】
【0070】
ここで、ＰG（ｒ|ｃ）は、生成モデルＧの与えられたコンテキストｃに対する応答ｒの確率であり、|ｒ|は、応答ｒのトークン数である。対数尤度は、より短い応答を好む問題を緩和するために応答の長さとして正規化され得る。教師生成モデルの点数Ｇ（ｃ，ｒ）および学生検索モデルの点数Ｒ（ｃ，ｒ）をそれぞれ教師および学生モデルのロジットと見なして、蒸留損失ＬKDを導出することができる。これによって、数学式６は、次の数学式８に変わる。
【0071】
【数8】
【0072】
ここで、Ｒiは、ＤGのコンテキストｃiに対応する肯定応答セットである。
【0073】
一方、音声応答に対する教師生成モデルの点数Ｇ（ｃi,ｒ-）を計算するには多くの追加計算が必要であるため、無作為にサンプリングされた音声応答ｒ-∈Ｒ-に対して数学式９のように近似化して計算を単純化することができる。
【0074】
【数9】
【0075】
最後に、モデル水準の対話モデル訓練方法に対する最終損失Ｌは、数学式１０を参照すると、数学式６の本来の交差エントロピー損失ＬCEとハイパーパラメータαが、各項の加重値を制御する知識蒸留損失ＬKDの和として示すことができる。
【0076】
【数10】
【0077】
図５のモデル水準の対話モデル訓練モデル５００を参照すると、先ず、任意のコンテキストｃi５１０に対応する応答セットＲi５２０を構成することができる。一実施形態によると、コンテキストｃi５１０は、図４における増強された対話データセットＤG４６０に含まれたコンテキストであり得る。また、応答セットＲi５２０は、新たな応答ｒG４４０においてコンテキストｃi５１０に適切な肯定応答と、新たな応答ｒG４４０において肯定応答を除き、任意に選択された１つ以上の任意応答（または音声応答）を含むことができる。応答セットＲi５２０において、肯定応答は１つだけであってもよい。
【0078】
次に、応答セットＲi５２０に基づいて教師モデルである生成モデルＧ５３０と学生モデルである検索モデルＲ５５０がコンテキストｃi５１０に対して応答を返すことができる。生成モデルＧ５３０がコンテキストｃi５１０に対して返す応答に関する点数Ｇ（ｃi，ｒ）５４０を応答セットＲi５２０に含まれたそれぞれの応答について確認することができる。また、検索モデルＲ５５０がコンテキストｃi５１０に対して返す応答に関する点数Ｒ（ｃi，ｒ）５６０を応答セットＲi５２０に含まれたそれぞれの応答について確認することができる。
【0079】
一実施形態によると、生成モデルＧ５３０は、応答ｒの長さとして正規化された対数尤度を計算してＧ（ｃi，ｒ）５４０を計算することができる。また、検索モデルＲ５５０は、コンテキストｃi５１０と応答ｒをそれぞれ固定長エンベディングとしてエンコーディングし、２つのエンベディングの内積としてコンテキストｃi５１０と応答ｒ間の関連性点数を定義しＲ（ｃi,ｒ）５６０として定義することができる。
【0080】
一実施形態によると、Ｇ（ｃi，ｒ）５４０とＲ（ｃi，ｒ）５６０それぞれに基づいて応答セットＲi５２０から肯定応答を選択する確率を示す交差エントロピー損失ＬCE５７０を計算することができる。特に、生成モデルＧ５３０は、大規模言語モデルに基づくため、音声応答よりも肯定応答を選択する確率がより高い。これによって、検索モデルＲ５５０は、無作為にサンプリングされた音声応答に対して正解応答を選択する確率を最大化するために、交差エントロピー損失ＬCE５７０を最小化するように学習するだろう。次に、Ｇ（ｃi，ｒ）５４０とＲ（ｃi,ｒ）５６０をそれぞれ教師および学生モデルのロジットと見なして、蒸留損失ＬKD５８０を導出することができる。検索モデルＲ５５０は、蒸留損失ＬKD５８０が最小化するように、Ｇ（ｃi,ｒ）５４０とＲ（ｃｉ,ｒ）５６０が一致するように学習することができる。一方、実施形態において、スコアを一致するように学習することを説明するのは、学習の方向を説明するものとして、学習の結果、２つのモデルのスコアが一致しなくてもよい。
【0081】
以下においては、本開示の対話モデル訓練方法を使用してオープンドメイン対話を遂行した場合に関する評価とその結果を示す。
【0082】
先ず、データセットは、Ｂｌｅｎｄｅｄ Ｓｋｉｌｌ Ｔａｌｋ、ＣｏｎｖＡＩ２、Ｅｍｐａｔｈｅｔｉｃ Ｄｉａｌｏｇｕｅｓ、およびＷｉｚａｒｄ ｏｆ Ｗｉｋｉｐｅｄｉａで構成されたオープンドメイン対話データセットを用いる。実験においては、前記４個のデータセットをすべて共に使用し、併合されたデータセットをＢＳＴ＋と指称し得る。
【0083】
人的評価は、ＢＳＴ＋テストデータセットから無作為にサンプリングされた２００個の例題に対して遂行された。人間審査委員は、生成された応答の品質を０－２尺度の２種類の基準として評価した。先ず、生成された応答が流暢かつ論理的であり、与えられたコンテキストに適切かを評価するための適切性（Ａｐｐｒ．）を評価し、生成された応答が与えられたコンテキストに関連する意味のある情報を有しているか否かを示す情報性（Ｉｎｆｏ．）を評価した。各例は、最少３人の固有の人間審査委員が評価し、すべての人的評価は、Ａｍａｚｏｎ Ｍｅｃｈａｎｉｃａｌ Ｔｕｒｋを通じて遂行される。
【0084】
また、実験を通じて、多様な種類の自動化されたメトリック（ｍｅｔｒｉｃ）を報告することができる。ＭａＵｄＥは、参照されない（ｕｎｒｅｆｅｒｅｎｃｅｄ）対話応答評価メトリックであり、ＣｏｎｖＡＩ２データセットを使用して構文および意味上の否定的な応答を０として採点し、肯定的な応答を１として採点するように訓練されたモデルによって計算される。ＭａＵｄＥは、応答の流暢性と興味に対する人間の判断と高い相関関係を示すため、ＭａＵｄＥを各モデルから生成された応答の全般的な品質を評価するためのプロキシメトリックとして使用する。また、実験においては、生成された応答の語彙的多様性を測定するために、Ｄｉｓｔ－２およびＤｉｓｔ－３モデルを使用することができる。ここで、Ｄｉｓｔ－ｎは、各モデルによって生成されたすべての応答の総ｎ－グラム数に対する固有のｎ－グラムの比率を意味する。生成された応答の平均トークン数である長さは、参照用として報告される。最後に、実験においては、本開示のモデルの効率性を検証するために、単一の入力コンテキストに対する応答を生成するためのレイテンシーを測定して報告する。一般的に、ＧＰＵ支援環境において測定したレイテンシーを報告するが、ＣＰＵのみを使用して測定したレイテンシーを報告してもよい。
【0085】
本開示のモデル水準の対話モデル訓練方法と、より大きな生成モデルから抽出した小さなブレンダーモデルを用いて、知識蒸留技術を使用する生成モデルとの結果を比較する。ここで、蒸留されたブレンダー（Ｄｉｓｔｉｌｌｅｄ Ｂｌｅｎｄｅｒ）として表されたＴｉｎｙＢＥＲＴスタイルの蒸留と共に、Ｂｌｅｎｄｅｒ ２．７Ｂにおいて蒸留された４００Ｍ媒介変数ブレンダーモデルを使用する。一方、Ｐｕｓｈｓｈｉｆｔ Ｒｅｄｄｉｔ注釈データセットとして事前トレーニングされ、ＢＳＴ＋データセットにおいて微調整された２５６Ｍ媒介変数のあるバイエンコーダーおよびポリエンコーダーは、検索モデルのベースライン（ｂａｓｅｌｉｎｅ）になり得る。前述したように、ＭＩＰＳライブラリーと統合されたバイエンコーダーモデルは、Ｂｉ－ｅｎｃｏｄｅｒ（ｗ／ＦＡＩＳＳ）として表される。ＲｅｔＮＲｅｆは、検索モデルの応答を生成モデルの入力に統合する例題基盤生成モデル（ｅｘｅｍｐｌａｒ－ｂａｓｅｄ ｇｅｎｅｒａｔｉｖｅ ｍｏｄｅｌ）である。本開示の対話モデル訓練モデルのうちの１つであるＧ２Ｒとは異なり、ＲｅｔＮＲｅｆは、検索モデルを活用して生成モデルを改善する一方、Ｇ２Ｒは、生成モデルに関する知識を活用して検索モデルを改善する。特に、Ｇ２Ｒは、α－ｂｌｅｎｄｉｎｇ技法として訓練された対話検索モデルを使用する。一実施形態によると、対話モデルに対する人間の応答は、ＢＳＴ＋データセットに注釈が付いた実測ラベルを示す。
【0086】
本開示の対話モデル訓練方法において、バイエンコーダーＲは、Ｂｌｅｎｄｅｒ ９．４Ｂを教師生成モデルＧに使用してＧ２Ｒとして訓練される。Ｇ２Ｒ－ＤＭは、データ水準Ｇ２Ｒおよびモデル水準Ｇ２Ｒとして訓練されたモデルを示す。本開示においては、包括的な分析のために２種類の変形を考慮した。例えば、Ｇ２Ｒ－Ｄは、データ水準Ｇ２Ｒとしてのみ訓練され、Ｇ２Ｒ－Ｄ（ＦＡＩＳＳを除く）は、Ｇ２Ｒ－ＤからＭＩＰＳライブラリーであるＦＡＩＳＳの使用を追加で除く。
【0087】
表１は、オープンドメイン対話のいくつかの対話モデルのうち、人的評価結果と自動化されたメトリックの結果を示した表である。ここで、Ｌａｔｅｎｃｙ（Ｓｐｅｅｄｕｐ）列は、Ｂｌｅｎｄｅｒ ９０Ｍのレイテンシーと比較した各モデルの相対的な速度向上を示す。表１において、本開示の対話モデル訓練方法（Ｇ２Ｒ）として訓練されたシステムが対話能力と効率性間の「スイートスポット」を達成したことを確認することができる。本開示のシステムは、Ｂｉ－ｅｎｃｏｄｅｒ（ｗ／ＦＡＩＳＳ）の低いレイテンシーを維持しつつ、人的評価結果を大きく向上させＢｌｅｎｄｅｒ ９０Ｍおよびヒトの応答にそれぞれ類似するか、より良い人的評価点数を達成する。
【0088】
【表1】
【0089】
さらに詳細に検討すると、Ｄｉｓｔ－２およびＤｉｓｔ－３の点数から見られるように、ブレンダー生成モデルと蒸留されたブレンダーモデルは、高い人的評価点数を示す一方、多様性の不足と共に相対的に長いレイテンシーを示す。検索基準線（Ｒｅｔｒｉｅｖａｌ ｂａｓｅｌｉｎｅｓ）（Ｂｉ－ｅｎｃｏｄｅｒおよびＰｏｌｙ－ｅｎｃｏｄｅｒ）は、反対の傾向を示して遥かに低いレイテンシーと相対的に高い応答多様性を示すが、人的評価点数の側面においては相対的に低い会話能力を示す。人的評価結果とは異なり、Ｂｉ－ｅｎｃｏｄｅｒとＰｏｌｙ－ＥｎｃｏｄｅｒのＭａＵｄＥ点数は予想外に高い。しかし、このような結果は、ＭａＵｄＥ項目がＢＳＴ＋データセットの下位集合であるＣｏｎｖＡＩ２データセットに対して訓練され、このような検索モデルの類似した訓練目標を有しているためである。本開示のＧ２Ｒ基盤モデルは、本来のモデルであるＢｉ－ｅｎｃｏｄｅｒ（ｗ／ＦＡＩＳＳ）に比べて遥かに良い人的評価結果を達成する。データ水準Ｇ２Ｒ専用（Ｇ２Ｒ－Ｄ）を適用すると、モデル性能が大きく向上するので、モデル性能が人的評価の側面においてゴールド人間応答と比較され得る。データ水準Ｇ２Ｒを使用すると、予め定義された応答集合ＲGの応答数が１０倍以上増加するため、ＦＡＩＳＳのないＢｉ－ｅｎｃｏｄｅｒ（Ｇ２Ｒ－Ｄ（ｗ／ｏ ＦＡＩＳＳ））を使用すると、レイテンシーが増大するだろう。応答集合の大きさが小さい場合（Ｂｉ－ｅｎｃｏｄｅｒ（ｗ／ＦＡＩＳＳ）の場合）、ＦＡＩＳＳを使用するとレイテンシーオーバーヘッドが発生するが、Ｇ２Ｒ－Ｄのようにより大きな応答集合においてＦＡＩＳＳを使用すると、低いレイテンシーを維持することができる。但し、ＦＡＩＳＳのないバージョンに比べて応答品質が若干低下され得る。
【0090】
モデル水準のＧ２Ｒの追加的適用は、検索モデルの性能を追加で向上させることができる。データ水準Ｇ２Ｒおよびモデル水準Ｇ２Ｒとして訓練されたＧ２Ｒ－ＤＭは、データ水準Ｇ２Ｒとしてのみ訓練されたＧ２Ｒ－Ｄよりもさらに高い人的評価点数とＭａＵｄＥ点数を示し、遥かに速く実行可能でありつつ、Ｂｌｅｎｄｅｒ ９０Ｍモデルに匹敵する人的評価点数を示す。Ｇ２Ｒ－ＤＭは、より大きなＢｌｅｎｄｅｒ生成モデルに比べて多少不足した人的評価点数を示すが、相当に低いレイテンシーを示す（蒸留したブレンダーモデルに比べ２３．０倍の速度向上、Ｂｌｅｎｄｅｒ ２．７Ｂに比べ４４．７倍の速度向上）。また、Ｇ２Ｒ－ＤＭは、ブレンダー生成モデルに比べて遥かに高い応答多様性を示す。一方、ＲｅｔＮＲｅｆモデルは、Ｇ２Ｒ－ＤＭモデルに比べてより悪い性能を示し、遥かに高いレイテンシーを提供する。
【0091】
表２は、データ水準Ｇ２Ｒによって生成された本来の応答セットＲと新たな応答セットＲGの基本統計を示す。データ水準Ｇ２Ｒを適用後、ＲGは、本来の応答セットＲに比べて約１１倍のより多くの候補を有することになる。新たな応答セットＲGの応答が本来の応答セットＲに比べてより多くの多様性を示すかを確認するために、各応答セットに示された固有トークンおよびバイグラム（ｂｉ－ｇｒａｍ）／トライグラム（ｔｒｉ－ｇｒａｍ）の数を計算することができる。表2を参照すると、増強応答セットＲGは、本来の応答セットよりも遥かに固有のトークンとバイグラム／トライグラムを有しているため、より多様な主題、エンティティを扱い、構文と表現の側面においてより多様性を示し得る。
【0092】
【表2】
【0093】
以下においては、データ水準のＧ２Ｒ方式から生成された応答を如何に使用するかによって、モデルの性能が如何に変化するかを詳細に分析するために、ａｂｌａｔｉｏｎ研究を遂行する。データ水準Ｇ２Ｒから生成された応答は、検索モデルＲの訓練対話データセットＤGを増大し、増強応答セットＲGを構築するのに活用される。Ａｂｌａｔｉｏｎ研究を通じて、これら２種類の活用方法を分離し、各方法のみを使用する場合に対してモデルを評価することができる。
【0094】
表３は、このようなａｂｌａｔｉｏｎモデルの評価結果を示す。人的評価メトリックおよび自動化されたメトリックと共に検索モデルの性能を評価するために、広く採用されるＢＳＴ＋テストセットにおいて訓練されたバイエンコーダモデルのＨｉｔｓ＠１／ＫおよびＨｉｔｓ＠５／Ｋを活用する。表３において、上段より最後から２行目までの順序に、検索モデルを既存の対話データセットＤを用いて訓練し、本来の応答セットＲを構築する場合（即ち、既存の対話モデル）、検索モデルを既存の対話データセットＤを用いて訓練し、モデル水準Ｇ２Ｒによって増強された応答セットＲGを構築する場合（即ち、ａｂｌａｔｉｏｎモデル）、検索モデルをデータ水準Ｇ２Ｒによって増強された対話データセットＤGを用いて訓練し、本来の応答セットＲを構築する場合（即ち、ａｂｌａｔｉｏｎモデル）、および検索モデルをデータ水準Ｇ２Ｒによって増強された対話データセットＤGを用いて訓練し、モデル水準Ｇ２Ｒによって増強された応答セットＲGを構築する場合（即ち、本開示のＧ２Ｒ－ＤＭ）に係る人的評価および自動化されたメトリックの結果である。
【0095】
【表3】
【0096】
表３において見られるように、２種類の方法をすべて使用するモデルに比べて、１種類の方法のみを使用するものがより良い性能を示すことはない。また、ＲG構築のために生成された応答を活用するとモデルの適合性点数が向上し、これは、多様な応答セットを使用することが、モデルがより適切に応答するのに役立つという本開示の対話モデル訓練方法を裏付ける。Ｒを構築するための増強対話データセットＤGの使用は、適切性と情報性メトリックのすべてに対する人的評価点数を高めるのに役立つ。また、増強対話データセットＤGを使用した訓練は、検索モデルのＨｉｔｓメトリックを相当に向上させる。それにもかかわらず、２種類の方法をすべて使用すると、すべてのａｂｌａｔｉｏｎモデルの中から最高の人的評価性能を示すため、検索モデルを訓練し応答セットを構築するのに新たな例題を使用することが、良い性能を導くのに重要であることが分かる。
【0097】
表３において、既に訓練された検索モデルの上位ｍ個の応答を活用してバイエンコーダーモデルを訓練して生成された増強対話データセットをＤRとすることができる。増強対話データセットＤRを用いる対話モデルとデータ水準Ｇ２Ｒによって増強された対話データセットＤGを用いる対話モデルを比較すると、大規模生成モデルを使用する方法が単に検索モデルを使用することよりも、より良い品質の教育データセットを生成するということを確認することができる。表3おいて見られるように、人的評価点数と照会数メトリックをすべて向上させるＤGを使用する場合とは異なり、ＤRを訓練データセットとして使用すると、すべてのメトリックに対して相当する性能向上にはつながらない。本結果は、データ水準Ｇ２Ｒにおいてのように、対話増大のために大規模生成モデルを使用することが、検索モデルを使用するよりも遥かに効果的な増大戦略であることを強力に示す。
【0098】
一実施形態によると、モデル水準Ｇ２Ｒにおいて、教師生成モデルの点数Ｇ（ｃ,ｒ）を定義するために対数尤度点数（ＬＬ点数）を使用するが、他の方法も使用することができる。一例は、相互情報（Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ）点数（ＭＩ点数）を用いることである。ＭＩ点数は、与えられたコンテキストｃと応答ｒ間のポイント別（ｐｏｉｎｔ－ｗｉｓｅ）の相互情報であり、一般的な応答により低い値を割り当てる一方、与えられたコンテキストにより具体的な応答の点数を高めるものとして知られている。ＭＩ点数を使用すると、ＬＬ点数に比べてより具体的かつ多様な応答が生成されると同時に、入力コンテキストに関して不適切な細部情報が含まれた応答を返すリスクが若干高くなり得る。従って、以下においては、ＭＩ点数をＧ（ｃ，ｒ）として使用するモデル水準Ｇ２ＲとＬＬ点数を使用するモデルの性能を比較する。
【0099】
表４は、教師生成モデルの点数Ｇ（ｃ，ｒ）を定義するために、ＭＩ点数を使用するモデル水準Ｇ２Ｒモデルに関する人的評価結果および自動化されたメトリック結果を示す。
【0100】
【表4】
【0101】
モデル水準のＧ２Ｒに対してＭＩ点数を使用することは、特に適合性点数に対してＬＬ点数を使用するよりも若干低い人的評価点数を示すため、ＭＩ点数を使用することが適切かつ正確な回答を生成できないことを意味する。しかし、自動化されたメトリックの側面において、ＭＩ点数は、より高いＭａＵｄＥ点数を示す。即ち、ＭＩ点数を使用することが、ＬＬ点数に比べてより高い応答多様性を示すため、対話システムのより多様な応答にＭＩ点数を使用できることを示す。
【0102】
表５は、ベースライン（ｂａｓｅｌｉｎｅ）モデルとＧ２Ｒモデルから返された応答の例を提供する。表５に関連した実験においては、入力コンテキストとしてチャットボットＡ（「Ａｍａｚｏｎ ｉｓ ａ ｇｒｅａｔ ｐｌａｃｅ ｔｏ ｏｒｄｅｒ ｂｏｏｋｓ」）の構文に対してコンテキストＢ（「Ｏｈ ｙｅａｈ ｔｈａｔ ｉｓ ａ ｆａｃｔ」）が入力される場合を仮定した。
【0103】
【表5】
【0104】
表５を参照すると、本例においてＢｉ－ｅｎｃｏｄｅｒ（ｗ／ＦＡＩＳＳ）は、与えられたコンテキストに関連のない応答（「Ｃｏｍｉｃｓ ｉｓ ａｔ ｔｈｅ ｔｏｐ ｏｆ ｔｈｅ ｌｉｓｔ ｉｎ ｉｎｔｅｒｅｓｔ」）を返す。ブレンダーモデルの応答は論理的に適切であるが、単にトピックを変更するか（Ｂｌｅｎｄｅｒ ９０Ｍ、蒸留されたブレンダーの場合：「Ｄｏ ｙｏｕ ｈａｖｅ ａｎｙ ｏｔｈｅｒ ｈｏｂｂｉｅｓ ｔｈａｔ ｙｏｕ ｌｉｋｅ ｔｏ ｄｏ ｏｎ ｔｈｅ ｗｅｅｋｅｎｄｓ？ Ｉ ｌｉｋｅ ｔｏ ｒｅａｄ」、「Ｗｈａｔ ｅｌｓｅ ｄｏ ｙｏｕ ｌｉｋｅ ｔｏ ｄｏ ｉｎ ｙｏｕｒ ｓｐａｒｅ ｔｉｍｅ？ Ｉ ｌｉｋｅ ｔｏ ｇｏ ｔｏ ｔｈｅ ｂｅａｃｈ」）、特定の細部事項が相対的に不足した結果を提供する（Ｂｌｅｎｄｅｒ ２．７Ｂ, Ｂｌｅｎｄｅｒ ９．４Ｂの場合：「Ｗｈａｔ ｋｉｎｄ ｏｆ ｂｏｏｋｓ ｄｏ ｙｏｕ ｂｕｙ ｏｎ ａｍａｚｏｎ？ Ｉ ｌｉｋｅ ｔｏ ｒｅａｄ ｓｃｉｅｎｃｅ ｆｉｃｔｉｏｎ ａｎｄ ｆａｎｔａｓｙ」、「Ｗｈａｔ ｋｉｎｄ ｏｆ ｂｏｏｋｓ ｄｏ ｙｏｕ ｌｉｋｅ ｔｏ ｒｅａｄ？ Ｉ ｌｉｋｅ ｒｏｍａｎｃｅ ｎｏｖｅｌｓ ａｎｄ ｍｙｓｔｅｒｙ ｎｏｖｅｌｓ」）。データ水準Ｇ２Ｒ（Ｇ２Ｒ－Ｄ）は、詳細に応答しようとするが、応答には主題に関する多少関連のない語句が含まれている（「Ｄｏ ｙｏｕ ｅｖｅｒ ｏｒｄｅｒ ｇｒｏｃｅｒｙｓ？ Ｉ ｌｏｖｅ ａｍａｚｏｎ’ｓ ｓｅｌｅｃｔｉｏｎ ｏｆ ｂｏｏｋｓ ａｎｄ ｖｉｄｅｏｓ」）。対照的に、Ｇ２Ｒ－ＤＭは、特定の細部事項と共に適切に応答することを確認することができる（「Ｗｈａｔ ｉｓ ｙｏｕｒ ｆａｖｏｕｒｉｔｅ ｂｏｏｋ？ Ｍｉｎｅ ｉｓ “ｔｈｅ ｃａｔ ｉｎ ｔｈｅ ｈａｔ” ＢＹ ｄｒ ｓｕｅｓｓ」）。
【0105】
【0106】
図６は、一実施形態に係るモデル水準の対話モデルを訓練させるための電子装置１０を示したブロック図である。
【0107】
電子装置１０は、一実施形態によって、保存デバイス（ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）１２およびプロセッサー１４を含むことができ、これに限定されない。
【0108】
保存デバイス１２は、オープンドメイン対話に必要なコンテキストと応答を保存することができる。保存デバイス１２は、電子装置１０内において処理される各種データを保存するハードウェアであり、プロセッサー１４の処理および制御のためのプログラムを保存することができる。保存デバイス１２は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）などのようなＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＣＤ－ＲＯＭ、ブルーレイ、または他の光学ディスクストレージ、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、またはフラッシュメモリーを含むことができる。
【0109】
プロセッサー１４は、電子装置１０の全般的な動作を制御し、データおよび信号を処理することができる。一実施形態において、プロセッサー１４は、少なくとも１つのプロセッサーを含むことができる。一実施形態によって、プロセッサー１４は、保存デバイス１２を通じて第１対話データセットから第１コンテキストに対応する第１応答サブセット、および任意に選択された第２応答サブセットを含む応答セットを獲得することができる。また、プロセッサー１４は、第１対話モデルに基づいて第１コンテキストに対する応答セットに含まれた応答に対する第１スコアを計算し、第２対話モデルに基づいて第１コンテキストに対する応答セットに含まれた応答に対する第２スコアを計算することができる。そして、プロセッサー１４は、第１スコアおよび第２スコアに基づいて第２対話モデルを学習させることができる。
【0110】
本開示の電子装置１０は、通信デバイス（図示せず）をさらに含んでもよい。通信デバイスは、有無線通信技術を用いて外部の電子装置と通信することができ、トランシーバーを含むことができる。外部の電子装置は、端末またはサーバーとなり得る。また、通信デバイスが用いる通信技術には、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、５Ｇ、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ－Ｆｉｄｅｌｉｔｙ）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ； ＩｒＤＡ）、ＺｉｇＢｅｅ、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）などがあり得、これに限定されるものではない。
【0111】
前述した実施形態に係る電子装置は、プログラムデータを保存して実行するメモリー、ディスクドライブのような永久保存部（ｐｅｒｍａｎｅｎｔ ｓｔｏｒａｇｅ）、外部装置と通信する通信ポート、タッチパネル、キー（ｋｅｙ）、ボタンなどのようなユーザーインターフェイス装置などを含み得る。ソフトウェアモジュールまたはアルゴリズムとして具現される方法は、前記プロセッサー上において実行可能なコンピュータが読み取り可能なコードまたはプログラム命令としてコンピュータが読み取り可能な記録媒体上に保存され得る。ここで、コンピュータが読み取り可能な記録媒体として、マグネティック保存媒体（例えば、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ-Ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フロッピーディスク、ハードディスクなど）、および光学的読み取り媒体（例えば、シーディーロム（ＣＤ－ＲＯＭ）、ディーブイディー（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ））などがある。コンピュータが読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式としてコンピュータが読み取り可能なコードが保存され実行され得る。媒体は、コンピュータによって読み取り可能であり、メモリーに保存され、プロセッサーにおいて実行され得る。
【0112】
本実施形態は、機能的なブロック構成および多様な処理段階として示され得る。このような機能ブロックは、特定の機能を実行する多様な個数のハードウェアおよび／またはソフトウェアの構成として具現され得る。例えば、実施形態は、１つ以上のマイクロプロセッサーの制御または他の制御装置によって多様な機能を実行することができる、メモリー、プロセッシング、ロジック（ｌｏｇｉｃ）、ルックアップテーブル（ｌｏｏｋ－ｕｐ ｔａｂｌｅ）などのような集積回路の構成を採用することができる。構成要素がソフトウェアプログラミングまたはソフトウェア要素として実行され得ることと同様に、本実施形態は、データ構造、プロセス、ルーチン、または他のプログラミング構成の組み合わせとして具現される多様なアルゴリズムを含み、Ｃ、Ｃ＋＋、ジャバ（Ｊａｖａ）、アセンブラー（ａｓｓｅｍｂｌｅｒ）などのようなプログラミングまたはスクリプト言語として具現され得る。機能的な側面は、１つ以上のプロセッサーにおいて実行されるアルゴリズムとして具現され得る。また、本実施形態は、電子的な環境設定、信号処理、および／またはデータ処理などのために、従来の技術を採用することができる。「メカニズム」、「要素」、「手段」、「構成」のような用語は、広く使用され得、機械的かつ物理的な構成として限定されるものではない。前記用語は、プロセッサーなどと連携してソフトウェアの一連の処理（ｒｏｕｔｉｎｅｓ）の意味を含むことができる。
【0113】
前述した実施形態は、一例示に過ぎず、後述する請求項の範囲内において他の実施形態が具現され得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
