特開 2023-15233 対話データ生成方法及び装置、機器及び媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023015233

(43)【公開日】2023-01-31

(54)【発明の名称】対話データ生成方法及び装置、機器及び媒体

(51)【国際特許分類】

   G06F 16/33 20190101AFI20230124BHJP

【ＦＩ】

G06F16/33

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

【公開請求】

(21)【出願番号】P 2022179265

(22)【出願日】2022-11-09

(31)【優先権主張番号】202111419074.5

(32)【優先日】2021-11-26

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100138759

【弁理士】

【氏名又は名称】大房 直樹

(72)【発明者】

【氏名】シン・ティアン

(72)【発明者】

【氏名】ドンフェン・ヘ

(72)【発明者】

【氏名】リアンカイ・ホワーン

(72)【発明者】

【氏名】イーンジャン・リン

(72)【発明者】

【氏名】シーウェイ・ホワーン

(57)【要約】      （修正有）

【課題】対話データを生成する方法、装置、電子機器、プログラム及び記憶媒体を提供する。
【解決手段】方法は、１つ又は複数のキーワードスロット及び位置情報と属性情報を含む各キーワードスロットの関連情報を含む１つ又は複数のターゲットシングルラウンド対話データテンプレートを含むターゲット対話データテンプレートを取得しＳ１０１、各キーワードスロットに対し、当該キーワードスロットの属性情報に基づき、キーワードデータセットから当該キーワードスロットにマッチングする１つ又は複数のターゲットキーワードを確定しＳ１０２、各ターゲットシングルラウンド対話データテンプレートに対し、１つ又は複数のキーワードスロットの位置情報に基づき、１つ又は複数のターゲットキーワードを当該ターゲットシングルラウンド対話データテンプレートに対応的に充填することで、ターゲット対話データを取得するＳ１０３。
【選択図】図１

【特許請求の範囲】

【請求項1】

対話データ生成方法であって、
１つ又は複数のキーワードスロット及び、位置情報と属性情報を含む各キーワードスロットの関連情報を含む１つ又は複数のターゲットシングルラウンド対話データテンプレートを含むターゲット対話データテンプレートを取得することと、
前記１つ又は複数のキーワードスロットにおける各キーワードスロットに対し、少なくとも当該キーワードスロットの属性情報に基づき、複数のキーワード及び各キーワードの属性情報を含むキーワードデータセットから当該キーワードスロットにマッチングする１つ又は複数のターゲットキーワードを確定することと、
前記ターゲット対話データテンプレートの前記各ターゲットシングルラウンド対話データテンプレートに対し、前記１つ又は複数のキーワードスロットの位置情報に基づき、前記１つ又は複数のターゲットキーワードを当該ターゲットシングルラウンド対話データテンプレートに対応的に充填することで、ターゲット対話データを取得することと、を含む、対話データ生成方法。

【請求項2】

前記のターゲット対話データテンプレートを取得することは、
少なくとも１つのキーワードを含む１つ又は複数の履歴シングルラウンド対話データを含む履歴対話データを取得することと、
各履歴シングルラウンド対話データに含まれる少なくとも１つのキーワードに基づき、対応する１つ又は複数のキーワードスロット及び各キーワードスロットの関連情報を確定することで、当該履歴シングルラウンド対話データに対応するターゲットシングルラウンド対話データテンプレートを取得することと、を含む、請求項１に記載の方法。

【請求項3】

各履歴シングルラウンド対話データは対応する意図情報を更に含み、前記のターゲット対話データテンプレートを取得することは、
各履歴シングルラウンド対話データの意図情報を、対応するターゲットシングルラウンド対話データテンプレートの意図情報として確定することを更に含む、請求項２に記載の方法。

【請求項4】

前記ターゲット対話データテンプレートは複数のシングルラウンド対話データテンプレートを含み、前記のターゲット対話データテンプレートを取得することは、
対話動作ラベルに基づき、予め設定される規則を利用して、複数の対話動作ラベル及び各対話動作ラベルに対応する少なくとも１つのシングルラウンド対話データテンプレートを含む対話データセットに対するサンプリングを行うことで、複数のターゲット対話動作ラベルを含むターゲット対話動作ラベル配列を取得することと、
前記ターゲット対話動作ラベル配列における各ターゲット対話動作ラベルに基づき、当該ターゲット対話動作ラベルに対応するターゲットシングルラウンド対話データテンプレートを確定することと、
前記ターゲット対話動作ラベル配列と対応する複数のターゲットシングルラウンド対話データテンプレートに基づき、複数のターゲットシングルラウンド対話データテンプレートを含むターゲット対話データテンプレートを構築することと、を含む、請求項１に記載の方法。

【請求項5】

前記の対話動作ラベルに基づき、予め設定される規則を利用して前記対話データセットに対するサンプリングを行うことは、
ターゲット対話動作ラベル配列における各ターゲット対話動作ラベルに対し、
少なくとも当該ターゲット対話動作ラベルのプリアンブルターゲット対話動作ラベルに基づき、複数の対話動作ラベルのそれぞれに対応するサンプリング確率を確定することと、
前記複数の対話動作ラベルに対応するサンプリング確率に基づき、前記対話データセットに対するサンプリングを行うことで、当該ターゲット対話動作ラベルを取得することと、を含む、請求項４に記載の方法。

【請求項6】

前記ターゲット対話データテンプレートにおける各ターゲットシングルラウンド対話データテンプレートは対応する意図情報を更に含み、各ターゲットシングルラウンド対話データテンプレートに対応する意図情報は当該ターゲットシングルラウンド対話データテンプレートに対応する対話動作ラベルに基づいて確定されたものである、請求項４又は５に記載の方法。

【請求項7】

前記各キーワードスロットの関連情報は当該キーワードスロットの表記情報を更に含み、前記方法は、
複数のキーワードスロットの表記情報と属性情報の間のマッピング関係を含む、キーワードスロットの表記情報セットを取得することを更に含み、
ここで、前記の前記１つ又は複数のターゲットキーワードを当該ターゲットシングルラウンド対話データテンプレートに対応的に充填することで、ターゲット対話データを取得することは、
当該ターゲットシングルラウンド対話データテンプレートに含まれるそれぞれのキーワードスロットの属性情報に基づき、前記キーワードスロットの表記情報セットから当該キーワードスロットの表記情報を確定することと、
前記１つ又は複数のキーワードスロットの位置情報と表記情報に基づき、前記１つ又は複数のターゲットキーワードを当該ターゲットシングルラウンド対話データテンプレートに対応的に充填することで、ターゲット対話データを取得することと、を含む、請求項１に記載の方法。

【請求項8】

前記各キーワードスロットの属性情報は、当該キーワードスロットに充填されるキーワードの品詞情報及び／又はカテゴリ情報を含む、請求項１に記載の方法。

【請求項9】

ニューラルネットワークモデルのトレーニング方法であって、
請求項１に記載の方法を用いてサンプル対話データを生成することと、
少なくとも前記サンプル対話データを利用して前記ニューラルネットワークモデルに対するトレーニングを行うことと、を含む、ニューラルネットワークモデルのトレーニング方法。

【請求項10】

前記ニューラルネットワークモデルは事前トレーニングモデルであり、少なくとも前記サンプル対話データを利用して前記ニューラルネットワークモデルに対するトレーニングを行うことは、
前記サンプル対話データを利用して前記ニューラルネットワークモデルに対する微調整を行うことを含む、請求項９に記載の方法。

【請求項11】

対話データ生成装置であって、
１つ又は複数のキーワードスロット及び、位置情報と属性情報を含む各キーワードスロットの関連情報を含む１つ又は複数のターゲットシングルラウンド対話データテンプレートを含むターゲット対話データテンプレートを取得するために用いられるように構成される取得ユニットと、
前記１つ又は複数のキーワードスロットにおける各キーワードスロットに対し、少なくとも当該キーワードスロットの属性情報に基づき、複数のキーワード及び各キーワードの属性情報を含むキーワードデータセットから当該キーワードスロットにマッチングする１つ又は複数のターゲットキーワードを確定するために用いられるように構成される確定ユニットと、
前記ターゲット対話データテンプレートにおける前記各ターゲットシングルラウンド対話データテンプレートに対し、前記１つ又は複数のキーワードスロットの位置情報に基づき、前記１つ又は複数のターゲットキーワードを当該ターゲットシングルラウンド対話データテンプレートに対応的に充填することで、ターゲット対話データを取得するために用いられるように構成される充填ユニットと、を含む、対話データ生成装置。

【請求項12】

ニューラルネットワークモデルのトレーニング装置であって、
サンプル対話データを生成するために用いられるように構成される請求項１１に記載の対話データ生成装置と、
少なくとも前記サンプル対話データを利用して前記ニューラルネットワークモデルに対するトレーニングを行うために用いられるように構成されるトレーニングモジュールと、を含む、ニューラルネットワークモデルのトレーニング装置。

【請求項13】

電子機器であって、
少なくとも１つのプロセッサ、
前記少なくとも１つのプロセッサに通信接続されたメモリを含み、
前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶し、前記命令は前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサに請求項１に記載の方法を実行させる電子機器。

【請求項14】

コンピュータに請求項１に記載の方法を実行させるためのコンピュータ命令が記憶された非一時的コンピュータ可読記憶媒体。

【請求項15】

プロセッサによって実行される時に、請求項１に記載の方法を実現するコンピュータプログラムを含むコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人工知能分野に関し、特に自然言語処理と深層学習技術分野に関し、具体的には、対話データ生成方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム製品に関する。

【背景技術】

【0002】

人工知能は、コンピュータに人間の何らかの思惟過程及び知的行動（例えば、学習、推理、思考、計画など）をシミュレートさせるように研究する科目であり、ハードウェア面の技術もあれば、ソフトウェア面の技術もある。人工知能のハードウェア技術は、一般的にセンサ、専用人工知能チップ、クラウドコンピューティング、分散ストレージ、ビッグデータ処理などの技術を含み、人工知能ソフトウェア技術は、主にコンピュータ視覚技術、音声認識技術、自然言語処理技術及び機械学習／深層学習、ビッグデータ処理技術、ナレッジグラフ技術などのいくつかの方向を含む。

【0003】

タスク指向型対話（Ｔａｓｋ－Ｏｒｉｅｎｔｅｄ Ｄｉａｌｏｇｕｅ、ＴＯＤ）システムは垂直分野に向け、その目的は、可能な限り少ない対話ラウンド数でユーザが所定のタスク又は動作、例えば、航空券の予約、音楽再生とルートナビゲーションなどを完了することをサポートすることである。多くのタスク指向型対話の適用シーンにおいて、データサイズが小さく、大量の対話データを取得することができないため、大量のデータを介してモデルトレーニングを実行しにくく、タスク指向型対話の各分野への使用が制限されている。

【0004】

この部分で説明される方法は、必ずしも以前に想定される方法又は採用される方法ではない。特に断りのない限り、この部分に記載されているいずれの方法は、この部分に含まれるだけで従来技術であると考えられるべきではない。同様に、特に断りのない限り、この部分に言及する問題は、いかなる従来技術において公認されるものとは考えられるべきではない。

【発明の概要】

【0005】

本開示は、対話データ生成方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム製品を提供する。
本開示の一態様によれば、対話データ生成方法を提供し、１つ又は複数のキーワードスロット及び、位置情報と属性情報を含む各キーワードスロットの関連情報を含む１つ又は複数のターゲットシングルラウンド対話データテンプレートを含むターゲット対話データテンプレートを取得することと、前記１つ又は複数のキーワードスロットにおける各キーワードスロットに対し、少なくとも当該キーワードスロットの属性情報に基づき、複数のキーワード及び各キーワードの属性情報を含むキーワードデータセットから当該キーワードスロットにマッチングする１つ又は複数のターゲットキーワードを確定することと、前記ターゲット対話データテンプレートの前記各ターゲットシングルラウンド対話データテンプレートに対し、前記１つ又は複数のキーワードスロットの位置情報に基づき、前記１つ又は複数のターゲットキーワードを当該ターゲットシングルラウンド対話データテンプレートに対応的に充填することで、ターゲット対話データを取得することと、を含む。

【0006】

本開示の一態様によれば、ニューラルネットワークモデルのトレーニング方法を提供し、上記対話データ生成方法を用いてサンプル対話データを生成することと、少なくとも前記サンプル対話データを利用して前記ニューラルネットワークモデルに対するトレーニングを行うことと、を含む。

【0007】

本開示の別の態様によれば、対話データ生成装置を提供し、１つ又は複数のキーワードスロット及び、位置情報と属性情報を含む各キーワードスロットの関連情報を含む１つ又は複数のターゲットシングルラウンド対話データテンプレートを含むターゲット対話データテンプレートを取得するために用いられるように構成される取得ユニットと、前記１つ又は複数のキーワードスロットにおける各キーワードスロットに対し、少なくとも当該キーワードスロットの属性情報に基づき、複数のキーワード及び各キーワードの属性情報を含むキーワードデータセットから当該キーワードスロットにマッチングする１つ又は複数のターゲットキーワードを確定するために用いられるように構成される確定ユニットと、前記ターゲット対話データテンプレートにおける前記各ターゲットシングルラウンド対話データテンプレートに対し、前記１つ又は複数のキーワードスロットの位置情報に基づき、前記１つ又は複数のターゲットキーワードを当該ターゲットシングルラウンド対話データテンプレートに対応的に充填することで、ターゲット対話データを取得するために用いられるように構成される充填ユニットと、を含む。

【0008】

本開示の別の態様によれば、対話データ生成装置を提供し、サンプル対話データを生成するために用いられるように構成される上記対話データ生成装置と、少なくとも前記サンプル対話データを利用して前記ニューラルネットワークモデルに対するトレーニングを行うために用いられるように構成されるトレーニングモジュールと、を含む。

【0009】

本開示の別の態様によれば、電子機器を提供し、前記電子機器は、少なくとも１つのプロセッサ、及び前記少なくとも１つのプロセッサに通信接続されたメモリを含み、ここで、前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶し、前記命令は前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサに上記対話データ生成方法又はニューラルネットワークモデルのトレーニング方法を実行させる。

【0010】

本開示の別の態様によれば、コンピュータに上記対話データ生成方法又はニューラルネットワークモデルのトレーニング方法を実行させるためのコンピュータ命令が記憶された非一時的コンピュータ可読記憶媒体を提供する。

【0011】

本開示の別の態様によれば、プロセッサによって実行されると、上記対話データ生成方法又はニューラルネットワークモデルのトレーニング方法を実現するコンピュータプログラムを含むコンピュータプログラム製品を提供する。

【0012】

本開示の一又は複数の実施例によれば、大量の対話データを効率的に生成することができ、実際的応用のニーズを満たす。
理解すべきことは、この部分に説明される内容は、本開示の実施例の要点又は重要な特徴を識別することを意図しておらず、本開示の保護範囲を限定するためのものではないことである。本開示の他の特徴は、以下の明細書によって理解されやすくなる。

【図面の簡単な説明】

【0013】

図面は、実施例を例示的に示し、明細書の一部を構成し、明細書の文字による説明とともに、実施例の例示的な実施形態を説明するために用いられる。図示の実施例は例示の目的のみであり、特許請求の範囲を限定するものではない。すべての図面において、同一の符号は類似しているが、必ずしも同じとは限らない要素を指す。

【図1】本開示の例示的な実施例による対話データ生成方法を示すフローチャートである。

【図2】本開示の例示的な実施例によるターゲット対話データテンプレートを取得することを示すフローチャートである。

【図3】本開示の例示的な実施例による対話データ生成プロセスを示す図である。

【図4】本開示の例示的な実施例によるニューラルネットワークモデルのトレーニング方法を示すフローチャートである。

【図5】本開示の例示的な実施例による対話データ生成装置を示す構成ブロック図である。

【図6】本開示の例示的な実施例によるニューラルネットワークモデルのトレーニング装置を示す構成ブロック図である。

【図7】本開示の実施例を実現するために使用できる例示的な電子機器を示す構成ブロック図である。

【発明を実施するための形態】

【0014】

以下、図面に合わせて本開示の例示的な実施例を説明して、それに含まれる本開示の実施例における様々な詳細が理解を助けるためので、それらは単なる例示的なものと考えられるべきである。したがって、当業者であれば、本開示の範囲及び精神から逸脱することなく、本明細書で説明された実施例に対して様々な変更及び修正を行うことができることを認識すべきである。同様に、明瞭と簡潔のために、以下の説明では公知の機能及び構造についての説明を省略している。

【0015】

本開示では、特に明記しない限り、様々な要素を説明するための「第１」、「第２」などの用語の使用は、これらの要素の位置関係、タイミング関係、又は重要性関係を限定することを意図していない。このような用語は、ある要素を別の要素と区別するためにのみ使用される。いくつかの例では、第一要素と第二要素は、要素の同じ例を指すことができ、場合によっては、コンテキストの説明に基づいて、異なる例を指してもよい。

【0016】

本開示の様々な例の説明で使用される用語は、特定の例を説明することのみを目的としており、限定することを意図していない。コンテキストが別途に明確に示されていない限り、特に要素の数を限定しないなら、要素は一つであってもよいし、複数であってもよい。また、本開示で使用される用語「及び／又は」は、リストされた項目のいずれか及び可能な全ての組み合わせをカバーする。

【0017】

多くのタスク指向型対話の適用シーンにおいて、データサイズが小さく、大量の対話データを取得することができないため、大量のデータを介してモデルトレーニングを実行しにくく、タスク指向型対話の各分野への使用が制限されている。関連技術において、人手で構造してマーキングすることで対話データを取得する手法は、効率が低く、コストが高く、取得可能な対話データの多様性が限られている。

【0018】

上記問題を解決するために、本開示は、対話データ生成方法を提供し、キーワードスロット及びその関連情報を含む対話データテンプレートを取得又は構造し、キーワードスロットの関連情報に基づいて対話データテンプレートを充填することによって、対話データを取得する。前記方法は大量の対話データを効率的に生成することができ、実際の応用のニーズを満たす。

【0019】

以下、図面を参照して本開示の実施例について詳細に説明する。
図１は、本開示の例示的な実施例による対話データ生成方法を示すフローチャートである。図１に示すように、前記方法は、１つ又は複数のキーワードスロット及び、位置情報と属性情報を含む各キーワードスロットの関連情報を含む１つ又は複数のターゲットシングルラウンド対話データテンプレートを含むターゲット対話データテンプレートを取得するステップＳ１０１と、前記１つ又は複数のキーワードスロットにおける各キーワードスロットに対し、少なくとも当該キーワードスロットの属性情報に基づき、複数のキーワード及び各キーワードの属性情報を含むキーワードデータセットから当該キーワードスロットにマッチングする１つ又は複数のターゲットキーワードを確定するステップＳ１０２と、前記ターゲット対話データテンプレートの前記各ターゲットシングルラウンド対話データテンプレートに対し、前記１つ又は複数のキーワードスロットの位置情報に基づき、前記１つ又は複数のターゲットキーワードを当該ターゲットシングルラウンド対話データテンプレートに対応的に充填することで、ターゲット対話データを取得するステップＳ１０３と、を含む。これにより、対話データテンプレートにおけるキーワードスロットの関連情報に基づいて対応するキーワードを自動的にマッチングして充填することによって、ターゲット対話データを取得することができる。前記方法は対話データテンプレートにおける情報を十分に利用することができ、対話データの自動的な生成を実現することによって、低いコストで大量の対話データを効率的に取得することができ、実際の応用のニーズを満たす。

【0020】

一部の実施例に基づき、前記各キーワードスロットの属性情報は、当該キーワードスロットに充填されるキーワードの品詞情報及び／又はカテゴリ情報を含む。これにより、品詞情報及び／又はカテゴリ情報によりキーワードスロットに充填されるキーワードをマッチングすることができ、対話データの多様性を向上させる。

【0021】

一部の実施例に基づき、ターゲット対話データテンプレートを取得する前記ステップＳ１０１は、少なくとも１つのキーワードを含む１つ又は複数の履歴シングルラウンド対話データを含む履歴対話データを取得することと、各履歴シングルラウンド対話データに含まれる少なくとも１つのキーワードに基づき、対応する１つ又は複数のキーワードスロット及び各キーワードスロットの関連情報を確定することで、当該履歴シングルラウンド対話データに対応するターゲットシングルラウンド対話データテンプレートを取得することと、を含む。これにより、従来の履歴対話データを十分に利用することができ、履歴対話データに含まれるキーワードの情報に基づいて対話データテンプレートを構築することによって、リアルシーンにより近い対話データを生成し、対話データの生成コストを削減させる。

【0022】

一部の実施例に基づき、各履歴シングルラウンド対話データは対応する意図情報を更に含み、ターゲット対話データテンプレートを取得する前記ステップＳ１０１は、各履歴シングルラウンド対話データの意図情報を、対応するターゲットシングルラウンド対話データテンプレートの意図情報として確定することを更に含む。前記意図情報はシングルラウンド対話の意図を指示するために用いられ、これにより、意図情報を備える対話データを生成することができ、実際的応用のニーズを十分に満たす。

【0023】

図２は、本開示の例示的な実施例によるターゲット対話データテンプレートを取得することを示すフローチャートである。図２に示すように、一部の実施例に基づき、前記ターゲット対話データテンプレートは複数のシングルラウンド対話データテンプレートを含み、ターゲット対話データテンプレートを取得する前記ステップＳ１０１は、対話動作ラベルに基づき、予め設定される規則を利用して、複数の対話動作ラベル及び各対話動作ラベルに対応する少なくとも１つのシングルラウンド対話データテンプレートを含む対話データセットに対するサンプリングを行うことで、複数のターゲット対話動作ラベルを含むターゲット対話動作ラベル配列を取得するステップＳ１０１１と、前記ターゲット対話動作ラベル配列における各ターゲット対話動作ラベルに基づき、当該ターゲット対話動作ラベルに対応するターゲットシングルラウンド対話データテンプレートを確定するステップＳ１０１２と、前記ターゲット対話動作ラベル配列と対応する複数のターゲットシングルラウンド対話データテンプレートに基づき、複数のターゲットシングルラウンド対話データテンプレートを含むターゲット対話データテンプレートを構築するステップＳ１０１３と、を含む。前記対話動作ラベルはシングルラウンド対話データの目的を示すために用いられ、対話動作ラベルをランダムサンプリングすることで、更に対話動作ラベルに基づいてターゲットシングルラウンド対話データテンプレートを取得し、多様性がより強いターゲット対話データテンプレートを生成することができる。これにより、履歴対話データの形態に限定されず、一定数のシングルラウンド対話データテンプレートを人工的に構築することで、複数種の形態のターゲット対話データテンプレートを取得することができ、よってより多様性のある対話データを生成する。理解すべきことは、人工的に構築されたシングルラウンド対話データテンプレートの数を増加させることで、生成された対話データの多様性を更に向上させることができ、前記方法は強い適応性を有することである。

【0024】

例示的で、対話動作ラベルは「ユーザリクエスト」、「システム応答」などを含んでもよく、シングルラウンド対話データの目的を示すために用いられる。１つの実例において、ターゲット対話データはホテル情報検索と予約の分野に応用され、「ユーザリクエスト」対話動作ラベルはシングルラウンド対話データテンプレート「私は１つの［位置情報］［星の数の情報］のホテルを探している」に対応してもよく、当該対話動作ラベルはユーザのホテル情報検索リクエストを示してもよい。対応するように、「システム応答」対話動作ラベルはシングルラウンド対話データテンプレート「私は１つの［価額情報］［ホテル名称］のホテルを見つけました」に対応してもよく、当該対話動作ラベルはシステムのユーザリクエストに対する応答を示すことができる。

【0025】

一部の実施例に基づき、対話動作ラベルに基づき、予め設定される規則を利用して前記対話データセットに対するサンプリングを行う前記ステップＳ１０１１は、ターゲット対話動作ラベル配列における各ターゲット対話動作ラベルに対し、少なくとも当該ターゲット対話動作ラベルのプリアンブルターゲット対話動作ラベルに基づき、複数の対話動作ラベルのそれぞれに対応するサンプリング確率を確定することと、前記複数の対話動作ラベルに対応するサンプリング確率に基づき、前記対話データセットに対するサンプリングを行うことで、当該ターゲット対話動作ラベルを取得することと、を含む。これにより、リアルシーンにより近い対話データを取得することができ、実際的応用のニーズを十分に満たす。

【0026】

一部の実施例に基づき、前記ターゲット対話データテンプレートにおける各ターゲットシングルラウンド対話データテンプレートは対応する意図情報を更に含み、各ターゲットシングルラウンド対話データテンプレートに対応する意図情報は当該ターゲットシングルラウンド対話データテンプレートに対応する対話動作ラベルに基づいて確定されたものである。前記意図情報はシングルラウンド対話の意図を指示するために用いられ、これにより、意図情報を備える対話データを生成することができ、実際的応用のニーズを十分に満たす。

【0027】

一部の実施例に基づき、前記各キーワードスロットの関連情報は当該キーワードスロットの表記情報を更に含み、前記対話データ生成方法は、複数のキーワードスロットの表記情報と属性情報の間のマッピング関係を含む、キーワードスロットの表記情報セットを取得することを更に含み、前記１つ又は複数のターゲットキーワードを当該ターゲットシングルラウンド対話データテンプレートに対応的に充填することで、ターゲット対話データを取得する前記ステップＳ１０３は、当該ターゲットシングルラウンド対話データテンプレートに含まれるそれぞれのキーワードスロットの属性情報に基づき、前記キーワードスロットの表記情報セットから当該キーワードスロットの表記情報を確定することと、前記１つ又は複数のキーワードスロットの位置情報と表記情報に基づき、前記１つ又は複数のターゲットキーワードを当該ターゲットシングルラウンド対話データテンプレートに対応的に充填することで、ターゲット対話データを取得することと、を含む。前記表記情報はキーワードスロットに充填されるの語句表現を示すために用いられ、これにより、対話データの多様性を向上させることができる。

【0028】

１つの実例において、ターゲット対話データはホテル情報検索と予約の分野に応用される。例えば、ターゲットシングルラウンド対話データテンプレートは「私は１つの［位置情報］［星の数の情報］のホテルを探している」であってもよく、当該シングルラウンド対話データテンプレートは［位置情報］と［星の数の情報］２つのキーワードスロットを含み、［位置情報］というキーワードスロットに対応する表記情報は「［ホテル位置］に位置する」であってもよく、ここで、［ホテル位置］に対応するターゲットキーワードは「都市中心部」であってもよく、［星の数の情報］というキーワードスロットに対応する表記情報は「［ホテルの星の数］星の」であってもよく、ここで、［ホテルの星の数］に対応するターゲットキーワードは「四」であってもよく、キーワードスロットの位置情報と表記情報に基づき、ターゲットキーワードをターゲットシングルラウンド対話データテンプレートに充填してもよく、ターゲットシングルラウンド対話データ「私は１つの都市中心部に位置する四ツ星のホテルを探している」を取得する。また例えば、シングルラウンド対話データテンプレートは更に、「私は１つの［価額情報］［ホテル名称］のホテルを見つけました」であってもよく、当該シングルラウンド対話データテンプレートは［価額情報］と［ホテル名称］２つのキーワードスロットを含み、［価額情報］というキーワードスロットに対応する表記情報は「価額［価額形容詞］の」であってもよく、ここで、［価額形容詞］に対応するターゲットキーワードは「安い」であってもよく、［ホテル名称］というキーワードスロットに対応する表記情報は「［ホテル名称］と言う名前の」であってもよく、ここで、［ホテル名称］に対応するターゲットキーワードは「世外桃源」であってもよく、キーワードスロットの位置情報と表記情報に基づき、ターゲットキーワードをターゲットシングルラウンド対話データテンプレートに充填してもよく、ターゲットシングルラウンド対話データ「私は１つの価額が安くて世外桃源という名前のホテルを見つけました」を取得する。

【0029】

以下、図面に合わせ、本開示の例示的な実施例を更に説明する。
図３は、本開示の例示的な実施例による対話データ生成プロセスを示す図である。図３に示すように、履歴対話データは例えば、「歌手Ａの歌Ｂを探してください」であり、その中に含まれるキーワードは「歌手Ａ」と「歌Ｂ」である。この２つのキーワード情報に基づき、当該履歴対話データにおける２つのキーワードスロット及びその関連情報を確定することができ、よってターゲット対話データテンプレート「［人物］の［作品］を探してください」を取得し、［人物］と［作品］２つのキーワードスロットを含む。この２つのキーワードスロット情報に基づき、キーワードデータセットから［人物］にマッチングするキーワード「俳優Ｃ」、及び［作品］にマッチングするキーワード「映画Ｄ」を確定することができ、キーワードスロットの位置情報に基づいて確定されたキーワードをターゲット対話データテンプレートに対応的に充填し、ターゲット対話データ「俳優Ｃの映画Ｄを探してください」を取得することができる。

【0030】

上記実例において、ターゲット対話データテンプレートは、履歴対話データ及びそれに含まれるキーワードを取得することで取得されたものである。本開示に記載された対話データ生成方法によれば、ターゲット対話データテンプレートは対話データセットに対するサンプリングを行うことにより取得されたものであってもよい。

【0031】

他の実例において、ターゲット対話データはインテリジェント旅行情報検索と予約の分野に応用され、対応する対話データセットに含まれる対話動作ラベルは「ユーザリクエスト」、「ユーザのより多くの詳細なニーズ」、「ユーザ予約リクエスト」、「システム応答」、「システム予約確認」、「汎用別れの挨拶文」などを含み、各対話動作ラベルは１つ又は複数のシングルラウンド対話データテンプレートに対応してもよい。本開示に記載された対話データ生成方法によれば、まず対話動作ラベルに基づき、予め設定される規則を利用して対話データセットに対するサンプリングを行うことでターゲット対話動作ラベル配列を取得し、得られたターゲット対話動作ラベル配列は例えば、「ユーザリクエスト－システム応答」である。当該ターゲット対話動作ラベル配列における各ターゲット対話動作ラベルに基づき、当該ターゲット対話動作ラベルに対応するターゲットシングルラウンド対話データテンプレートを確定してもよい。例えば、「ユーザリクエスト」に基づいて対応するターゲットシングルラウンド対話データテンプレート「１つの［位置情報］のホテルを探してください」を確定し、「システム応答」に基づいて対応するターゲットシングルラウンド対話データテンプレート「既に［位置情報］の［ホテル名称］を見つけました」を確定する。前記ターゲットシングルラウンド対話データテンプレートは［位置情報］というキーワードスロットを含み、当該キーワードスロットの属性情報に基づいてキーワードスロットの表記情報セットから当該キーワードスロットの表記情報を確定することができ、例えば、当該キーワードスロットの表記情報は「［場所］の近傍に位置する」である。更に、当該キーワードスロットの属性情報に基づき、キーワードデータセットからそれにマッチングするターゲットキーワードを確定してもよく、例えば、当該ターゲットキーワードは「場所Ａ」である。他のキーワードスロット［ホテル名称］の属性情報に基づき、例えば、キーワードデータセットから予測合致するターゲットキーワード「ホテルＢ」を確定してもよい。前記キーワードスロットの位置情報と表記情報に基づき、前記ターゲットキーワードを対応するターゲットシングルラウンド対話データテンプレートに充填し、ターゲットシングルラウンド対話データ「１つの場所Ａ近傍に位置するホテルを探してください」及び「既に場所Ａ近傍に位置するホテルＢを見つけました」を取得することができ、前記２つのターゲットシングルラウンド対話データは、ターゲット対話データを構成する。

【0032】

理解すべきことは、各対話動作ラベルは複数のシングルラウンド対話データテンプレートに対応してもよく、上記実例では、ターゲット対話動作ラベル配列に基づいて他のシングルラウンド対話データテンプレートを確定することで、上記実例と異なるターゲット対話データを生成することができ、よって対話データの多様性を向上させることである。各キーワードスロットの属性情報は複数の表記情報に対応してもよく、上記実例では、キーワードスロットの属性情報に基づいて他の表記情報を確定することで、上記実例と異なるターゲット対話データを生成することができ、よって対話データの多様性を向上させる。

【0033】

本開示の別の態様によれば、更にニューラルネットワークモデルのトレーニング方法を提供する。図４は、本開示の例示的な実施例によるニューラルネットワークモデルのトレーニング方法を示すフローチャートである。図４に示すように、前記方法は、サンプル対話データを生成するステップＳ４０１と、少なくとも前記サンプル対話データを利用して前記ニューラルネットワークモデルに対するトレーニングを行うステップＳ４０２と、を含み、例示的で、ステップＳ４０１において上述した対話データ生成方法を利用してサンプル対話データを生成してもよい。これにより、生成された大量の対話データを利用してニューラルネットワークモデルをトレーニングすることができ、よってモデルの性能を向上させる。

【0034】

一部の実施例に基づき、前記ニューラルネットワークモデルは事前トレーニングモデルであり、少なくとも前記サンプル対話データを利用して前記ニューラルネットワークモデルに対するトレーニングを行うステップＳ４０２は、前記サンプル対話データを利用して前記ニューラルネットワークモデルに対する微調整を行うことを含む。これにより、分野データが乏しい場合に、本出願に記載の方法を利用して新分野の対話データを生成し、事前トレーニングモデルに対する微調整を行い、対応する領域におけるモデルの性能を向上させることができる。

【0035】

本開示の別の態様によれば、更に対話データ生成装置を提供する。図５は、本開示の例示的な実施例による対話データ生成装置を示す構成ブロック図であり、図５に示すように、前記対話データ生成装置５００は、１つ又は複数のキーワードスロット及び、位置情報と属性情報を含む各キーワードスロットの関連情報を含む１つ又は複数のターゲットシングルラウンド対話データテンプレートを含むターゲット対話データテンプレートを取得するために用いられるように構成される取得ユニット５０１と、前記１つ又は複数のキーワードスロットにおける各キーワードスロットに対し、少なくとも当該キーワードスロットの属性情報に基づき、複数のキーワード及び各キーワードの属性情報を含むキーワードデータセットから当該キーワードスロットにマッチングする１つ又は複数のターゲットキーワードを確定するために用いられるように構成される確定ユニット５０２と、前記ターゲット対話データテンプレートにおける前記各ターゲットシングルラウンド対話データテンプレートに対し、前記１つ又は複数のキーワードスロットの位置情報に基づき、前記１つ又は複数のターゲットキーワードを当該ターゲットシングルラウンド対話データテンプレートに対応的に充填することで、ターゲット対話データを取得するために用いられるように構成される充填ユニット５０３と、を含む。対話データ生成装置５００のユニット５０１～ユニット５０３に対する操作は前述したステップＳ１０１～ステップＳ１０３の操作と同様であり、ここで詳細な説明を省略する。

【0036】

本開示の別の態様によれば、更にニューラルネットワークモデルのトレーニング装置を提供する。図６は、本開示の例示的な実施例によるニューラルネットワークモデルのトレーニング装置を示す構成ブロック図であり、図６に示すように、前記ニューラルネットワークモデルのトレーニング装置６００は、サンプル対話データを生成するために用いられるように構成される対話データ生成装置６０１と、少なくとも前記サンプル対話データを利用して前記ニューラルネットワークモデルに対するトレーニングを行うために用いられるように構成されるトレーニングモジュール６０２と、を含む。ニューラルネットワークモデルのトレーニング装置６００のユニット６０１～ユニット６０２の操作は前述したステップＳ４０１～ステップＳ４０２の操作と同様であり、ここで詳細な説明を省略する。

【0037】

本開示の別の態様によれば、更に電子機器を提供し、少なくとも１つのプロセッサ、及び前記少なくとも１つのプロセッサに通信接続されたメモリを含み、ここで、前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶し、前記命令は前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサに上記対話データ生成方法又はニューラルネットワークモデルのトレーニング方法を実行させる。

【0038】

本開示の別の態様によれば、コンピュータに上記対話データ生成方法又はニューラルネットワークモデルのトレーニング方法を実行させるためのコンピュータ命令が記憶された非一時的コンピュータ可読記憶媒体をさらに提供する。

【0039】

本開示の別の態様によれば、プロセッサによって実行されると、上記対話データ生成方法又はニューラルネットワークモデルのトレーニング方法を実施するコンピュータプログラムを含むコンピュータプログラム製品をさらに提供する。

【0040】

図７に示すように、ここでは、本開示の様々な態様に適用可能なハードウェア装置の一例である、本開示のサーバ又はクライアントとして利用可能な電子機器７００の構成ブロック図について説明する。電子機器は、様々な形態のデジタル電子コンピュータ、例えば、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ステージ、個人用デジタル補助装置、サーバ、ブレードサーバ、大型コンピュータ、その他の適切なコンピュータを示す。電子機器は更に、様々な形態の移動装置、例えば、個人デジタル処理、携帯電話、スマートフォン、着用可能な装置とその他の類似する計算装置を示してよい。本明細書に示される部品、これらの接続関係及びこれらの機能は例示的なものに過ぎず、本明細書に説明した及び／又は請求した本開示の実現を制限しない。

【0041】

図７に示すように、機器７００は、計算ユニット７０１を含み、それはリードオンリーメモリ（ＲＯＭ）７０２に記憶されたコンピュータプログラムまた記憶ユニット７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされるコンピュータプログラムによって、種々の適当な操作と処理を実行することができる。ＲＡＭ ７０３において、更に機器７００を操作するために必要な様々なプログラムとデータを記憶してよい。計算ユニット７０１、ＲＯＭ ７０２及びＲＡＭ ７０３はバス７０４によって互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース７０５もバス７０４に接続される。

【0042】

機器７００における複数の部品はＩ／Ｏインターフェース７０５に接続され、入力ユニット７０６、出力ユニット７０７、記憶ユニット７０８及び通信ユニット７０９を含む。入力ユニット７０６は、機器７００に情報を入力することが可能な任意のタイプの機器であってもよく、入力ユニット７０６は、入力された数字又は文字情報と、電子機器のユーザ設定及び／又は機能制御に関するキー信号入力を生成することができ、マウス、キーボード、タッチスクリーン、トラックボード、トラックボール、操作レバー、マイク及び／又はリモコンを含んでもよいが、これらに限定されない。出力ユニット７０７は、情報を提示することが可能な任意のタイプの機器であってもよく、ディスプレイ、スピーカ、映像／オーディオ出力端末、バイブレータ、及び／又はプリンタを含んでもよいが、これらに限定されない。記憶ユニット７０８は、磁気ディスク、光ディスクを含んでもよいが、これらに限定されない。通信ユニット７０９は、機器７００が例えば、インターネットであるコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他の装置と情報／データを交換することを可能にし、モデム、ネットワークカード、赤外線通信装置、無線通信送受信機、及び／又はチップセット、例えば、ブルートゥース（登録商標）装置、８０２．１１装置、ＷｉＦｉ装置、ＷｉＭａｘ装置、セルラー通信装置及び／又は類似物を含んでもよいが、これらに限定されない。

【0043】

計算ユニット７０１は処理及びコンピューティング能力を有する様々な汎用及び／又は専用の処理コンポーネントであってもよい。計算ユニット７０１の例には、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）計算チップ、様々な機械学習モデルアルゴリズムを実行する計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適当なプロセッサ、コントローラ、マイクロコントローラなどが含まれるがこれらに限定されないことである。計算ユニット７０１は上記各方法と処理を実行し、例えば、対話データ生成方法又はニューラルネットワークモデルのトレーニング方法。例えば、一部の実施例において、対話データ生成方法又はニューラルネットワークモデルのトレーニング方法はコンピュータソフトウェアプログラムとして実現してよく、機械可読媒体、例えば、記憶ユニット７０８に有形に含まれる。一部の実施例では、コンピュータプログラムの部分又は全てはＲＯＭ ７０２及び／又は通信ユニット７０９を経由して機器７００にロード及び／又はインストールされてよい。コンピュータプログラムがＲＡＭ ７０３にロードされて計算ユニット７０１によって実行される場合、以上で説明される対話データ生成方法又はニューラルネットワークモデルのトレーニング方法の１つ又は複数のステップを実行することができる。代替的に、他の実施例では、計算ユニット７０１は他のいかなる適切な方式で（例えば、ファームウェアにより）対話データ生成方法又はニューラルネットワークモデルのトレーニング方法を実行するように構成されてよい。

【0044】

本明細書で上述したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複雑なプログラマブル論理デバイス（ＣＰＬＤ）、ソフトウェア・ハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせにおいて実装することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムに実施され、この１つ又は複数のコンピュータプログラムは少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行し及び／又は解釈してもよく、このプログラマブルプロセッサは専用又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、少なくとも１つの出力装置からデータと命令を受信し、データと命令をこの記憶システム、この少なくとも１つの入力装置、この少なくとも１つの出力装置に送信してよい。

【0045】

本開示の方法を実施するプログラムコードは１つ又は複数のプログラミング言語のいかなる組み合わせで書かれてよい。これらのプログラムコードを汎用コンピュータ、特殊目的のコンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供してよく、よってプログラムコードはプロセッサ又はコントローラにより実行される時にフローチャート及び／又はブロック図に規定の機能／操作を実施する。プログラムコードは完全に機械で実行してよく、部分的に機械で実行してよく、独立ソフトウェアパッケージとして部分的に機械で実行し且つ部分的に遠隔機械で実行してよく、又は完全に遠隔機械又はサーバで実行してよい。

【0046】

本開示のコンテキストにおいて、機械可読媒体は有形の媒体であってもよく、命令実行システム、装置又は機器に使用される又は命令実行システム、装置又は機器に結合されて使用されるプログラムを具備又は記憶してよい。機械可読媒体は機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子、磁気、光学、電磁、赤外線、又は半導体システム、装置又は機器、又は上記内容のいかなる適切な組み合わせを含んでもよいが、これらに限定されない。機械可読記憶媒体のより具体的な例は、１つ又は複数のリード線による電気接続、ポータブルコンピュータディスク、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記内容のいかなる適切な組み合わせを含む。

【0047】

ユーザとのインタラクションを提供するために、コンピュータにはここで説明したシステムと技術を実施してよく、このコンピュータは、ユーザに情報を表示する表示装置（例えば、ＣＲＴ（陰極線管、Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）又はＬＣＤ（液晶ディスプレイ、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）監視モニタ）及びキーボードとポインティング装置（例えば、マウスやトラックボール）を備え、ユーザはこのキーボードとこのポインティング装置を介してコンピュータに入力してよい。その他の種類の装置は更に、ユーザとのインタラクションを提供してよい。例えば、ユーザに提供するフィードバックはいかなる形態の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、いかなる形態（音入力、音声入力、又は触覚入力を含む）でユーザからの入力を受信してよい。

【0048】

ここで述べたシステムや技術は、バックステージ部材を含む計算システム（例えば、データサーバとして）や、ミドルウェア部材を含む計算システム（例えば、アプリケーションサーバ）や、フロントエンド部材を含む計算システム（例えば、グラフィカルユーザインタフェースやウェブブラウザを有するユーザコンピュータ、ユーザが、そのグラフィカルユーザインタフェースやウェブブラウザを通じて、それらのシステムや技術の実施形態とのインタラクティブを実現できる）、あるいは、それらのバックステージ部材、ミドルウェア部材、あるいはフロントエンド部材の任意の組み合わせからなる計算システムには実施されてもよい。システムの部材は、任意の形式や媒体のデジタルデータ通信（例えば、通信ネットワーク）により相互に接続されてもよい。通信ネットワークの一例は、例えば、ローカルネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネットを含む。

【0049】

コンピュータシステムは、クライアント側とサーバを含んでもよい。クライアント側とサーバは、一般的に相互に遠く離れ、通常、通信ネットワークを介してインタラクションを行う。互にクライアント側－サーバという関係を有するコンピュータプログラムを対応するコンピュータで運転することによってクライアント側とサーバの関係を生成する。サーバーは、クラウドサーバであってもよく、分散型システムのサーバでも、又はブロックチェーンと組み合わせられたサーバであってもよい。

【0050】

理解すべきことは、前述した様々な形態のフローを用いて、改めてステップを順位付け、増加又は削除してよいことである。例えば、本開示に記載された各ステップは、並列的に実行してもよいし、順次実行してもよいし、異なる順序で実行してもよいし、本開示に開示された技術案が所望する結果を実現できれば、本文はこれに限定されないことである。

【0051】

本開示の実施例又は例は図面を参照して説明されたが、上記の方法、システム、及び機器は単なる例示的な実施例又は例であり、本発明の範囲はこれらの実施例又は例によって制限されるものではなく、授権後の特許請求の範囲及びその均等範囲のみによって限定されることを理解されたい。実施例又は例の様々な要素は省略されてもよく、又はそれらの均等要素によって代替されてもよい。また、各ステップは、本開示で説明した順序とは異なる順序で実行されてもよい。更に、実施例又は例の様々な要素は、様々な方法で組み合わせられてもよい。重要なのは、技術の進化に伴い、ここで説明される多くの要素は、本開示の後に現れる同等の要素に置き換えることができるということである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【外国語明細書】