特開 2024-170652 データ検索方法、深層学習モデルのトレーニング方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024170652

(43)【公開日】2024-12-10

(54)【発明の名称】データ検索方法、深層学習モデルのトレーニング方法及び装置

(51)【国際特許分類】

   G06F 16/332 20190101AFI20241203BHJP

【ＦＩ】

G06F16/332

【審査請求】有

【請求項の数】25

【出願形態】ＯＬ

【公開請求】

(21)【出願番号】P 2024160799

(22)【出願日】2024-09-18

(31)【優先権主張番号】202410417915.6

(32)【優先日】2024-04-08

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】張 晶

(72)【発明者】

【氏名】鄭 磊

(72)【発明者】

【氏名】于 晟

(72)【発明者】

【氏名】▲シン▼ 國 亮

(57)【要約】      （修正有）

【課題】クエリアイテムにおける語義情報及びキーワード情報に基づき、目的テキストを特定するデータ検索方法、深層学習モデルのトレーニング方法、装置、電子機器、記憶媒体及びコンピュータプログラム製品を提供する。
【解決手段】データ検索方法は、処理すべきクエリアイテムにおける語義情報に基づいて、テキストライブラリからＭ個の候補テキストを特定する。ここで、Ｍは１以上の整数である。方法はまた、処理すべきクエリアイテムにおけるキーワード情報に基づいて、テキストライブラリからＮ個の候補テキストを特定する。ここで、Ｎは１以上の整数である。方法はさらに、前記Ｍ個の候補テキスト及び前記Ｎ個の候補テキストに基づいて、少なくとも１つの目的テキストを特定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

処理すべきクエリアイテムにおける語義情報に基づいて、テキストライブラリからＭ個（Ｍは１以上の整数）の候補テキストを特定することと、
前記処理すべきクエリアイテムにおけるキーワード情報に基づいて、前記テキストライブラリからＮ個（Ｎは１以上の整数）の候補テキストを特定することと、
前記Ｍ個の候補テキスト及び前記Ｎ個の候補テキストに基づいて、少なくとも１つの目的テキストを特定することと、を含む、
データ検索方法。

【請求項2】

前記処理すべきクエリアイテムにおける語義情報に基づいて、テキストライブラリからＭ個の候補テキストを特定することは、
前記処理すべきクエリアイテムの語義特徴を特定することと、
前記語義特徴を第１テキスト特徴ライブラリにおけるテキスト特徴とマッチングすることにより、Ｍ個の第１目的テキスト特徴を得ることであって、前記第１テキスト特徴ライブラリにおけるテキスト特徴は、サンプルクエリアイテムの語義特徴とサンプルテキストのテキスト特徴との間の類似度に基づいてトレーニングされた第１深層学習モデルを用いて前記テキストライブラリにおけるテキストを処理することにより得られたものであることと、
前記Ｍ個の第１目的テキスト特徴に基づいて、前記テキストライブラリから前記Ｍ個の候補テキストを特定することと、を含む、
請求項１に記載の方法。

【請求項3】

前記処理すべきクエリアイテムの語義特徴を特定することは、
前記処理すべきクエリアイテムのクエリ特徴を特定することと、
前記クエリ特徴に対してアテンション処理を行い、アテンション特徴を得ることと、
前記アテンション特徴に基づいて、前記処理すべきクエリアイテムの語義特徴を特定することと、を含む、
請求項２に記載の方法。

【請求項4】

前記第１深層学習モデルを用いて前記テキストライブラリにおけるテキストを処理して、前記テキストライブラリにおけるテキストの特徴を得ることと、
前記テキストライブラリにおけるテキストの特徴に基づいて、前記第１テキスト特徴ライブラリを生成することと、をさらに含む
請求項２に記載の方法。

【請求項5】

前記処理すべきクエリアイテムにおけるキーワード情報に基づいて、前記テキストライブラリからＮ個の候補テキストを特定することは、
前記処理すべきクエリアイテムにおけるキーワード特徴を特定することと、
前記キーワード特徴を第２テキスト特徴ライブラリにおけるテキスト特徴とマッチングすることにより、Ｎ個の第２目的テキスト特徴を得ることであって、前記第２テキスト特徴ライブラリにおけるテキスト特徴は、サンプルクエリアイテムのキーワード特徴とサンプルテキストのテキスト特徴との間の類似度に基づいてトレーニングして得られた第２深層学習モデルを用いて前記テキストライブラリにおけるテキストを処理することにより得られたものであることと、
前記Ｎ個の第２目的テキスト特徴に基づいて、前記テキストライブラリから前記Ｎ個の候補テキストを特定することと、を含む、
請求項１に記載の方法。

【請求項6】

前記テキストライブラリにおけるテキストは、タイトル及びコンテンツを含み、
前記方法は、
前記第２深層学習モデルを用いて前記タイトルとコンテンツをそれぞれ処理し、タイトル特徴とコンテンツ特徴を得ることと、
前記タイトル特徴及び前記コンテンツ特徴に基づいて、前記第２テキスト特徴ライブラリを生成することと、をさらに含む、
請求項５に記載の方法。

【請求項7】

前記Ｍ個の候補テキスト及び前記Ｎ個の候補テキストに基づいて、少なくとも１つの目的テキストを特定することは、
各候補テキストのそれぞれに対して、前記処理すべきクエリアイテムと前記候補テキストとを連結して、連結テキストを得ることと、
前記連結テキストに基づいて、前記処理すべきクエリアイテムと各候補テキストのそれぞれとの間の類似度を特定することと、
前記処理すべきクエリアイテムと各候補テキストのそれぞれとの間の類似度に基づいて、前記Ｍ個の候補テキスト及び前記Ｎ個の候補テキストから前記少なくとも１つの目的テキストを特定することと、を含む、
請求項１～６のいずれか１項に記載の方法。

【請求項8】

深層学習モデルのトレーニング方法であって、
前記深層学習モデルは、クエリ処理サブモデルとテキスト処理サブモデルとを含み、
前記方法は、
サンプルクエリアイテムの正例テキスト及び負例テキストを特定することと、
前記クエリ処理サブモデルを用いて前記サンプルクエリアイテムを処理して、前記サンプルクエリアイテムの語義特徴を得ることと、
前記テキスト処理サブモデルを用いて前記正例テキスト及び前記負例テキストを処理して、前記正例テキストの特徴及び前記負例テキストの特徴を得ることと、
前記語義特徴、前記正例テキストの特徴及び前記負例テキストの特徴に基づいて、前記サンプルクエリアイテムと前記正例テキスト及び前記負例テキストのそれぞれとの間の類似度を特定することと、
前記類似度に基づいて、前記深層学習モデルの損失を特定することと。
前記損失に基づいて、前記深層学習モデルのパラメータを調整することと、を含む、
深層学習モデルのトレーニング方法。

【請求項9】

前記クエリ処理サブモデルは、符号化モジュールと、アテンションモジュールと、全結合モジュールとを含み、
前記クエリ処理サブモデルを用いて前記サンプルクエリアイテムを処理して、前記サンプルクエリアイテムの語義特徴を得ることは、
前記サンプルクエリアイテムを前記符号化モジュールに入力して、前記サンプルクエリアイテムのクエリ特徴を得ることと、
前記クエリ特徴を前記アテンションモジュールに入力して、前記サンプルクエリアイテムのアテンション特徴を得ることと、
前記アテンション特徴を前記全結合モジュールに入力して、前記サンプルクエリアイテムの語義特徴を得ることと、を含む、
請求項８に記載の方法。

【請求項10】

前記サンプルクエリアイテムは、複数のサンプルクエリアイテムを含み、
前記方法は、
各サンプルクエリアイテムのそれぞれについて、前記サンプルクエリアイテムの負例テキスト、複数のサンプルクエリアイテムのうち前記サンプルクエリアイテム以外の他のサンプルクエリアイテムの正例テキスト及び負例テキストを、前記サンプルクエリアイテムの負例テキスト集合として特定すること、をさらに含む、
請求項８に記載の方法。

【請求項11】

前記テキスト処理サブモデルを用いて前記正例テキスト及び前記負例テキストを処理して、前記正例テキストの特徴及び前記負例テキストの特徴を得ることは、
前記テキスト処理サブモデルを用いて前記正例テキスト及び前記負例テキスト集合における各負例テキストを処理し、前記正例テキストの特徴及び前記負例テキスト集合における各負例テキストの特徴を得ることを含み、
前記類似度に基づいて、前記深層学習モデルの損失を特定することは、
前記サンプルクエリアイテムと前記正例テキストの特徴との間の類似度、及び前記サンプルクエリアイテムと前記負例テキスト集合における各負例テキストとの間の類似度に基づいて、前記深層学習モデルの損失を特定することを含む、
請求項１０に記載の方法。

【請求項12】

処理すべきクエリアイテムにおける語義情報に基づいて、テキストライブラリからＭ個（Ｍは１以上の整数）の候補テキストを特定するための第１候補テキスト特定モジュールと、
前記処理すべきクエリアイテムにおけるキーワード情報に基づいて、前記テキストライブラリからＮ個（Ｎは１以上の整数）の候補テキストを特定するための前記第２候補テキスト特定モジュールと、
前記Ｍ個の候補テキスト及び前記Ｎ個の候補テキストに基づいて、少なくとも１つの目的テキストを特定するための前記目的テキスト特定モジュールと、を含む、
データ検索装置。

【請求項13】

前記第１候補テキスト特定モジュールは、
前記処理すべきクエリアイテムの語義特徴を特定するための語義特徴特定ユニットと、
前記語義特徴を第１テキスト特徴ライブラリにおけるテキスト特徴とマッチングすることにより、Ｍ個の第１目的テキスト特徴を得るためのものであって、前記第１テキスト特徴ライブラリにおけるテキスト特徴は、サンプルクエリアイテムの語義特徴とサンプルテキストのテキスト特徴との間の類似度に基づいてトレーニングされた第１深層学習モデルを用いて前記テキストライブラリにおけるテキストを処理して得られたものである第１マッチングユニットと、
前記Ｍ個の第１目的テキスト特徴に基づいて、前記テキストライブラリから前記Ｍ個の候補テキストを特定するための第１候補テキスト特定ユニットと、を含む、
請求項１２に記載の装置。

【請求項14】

前記語義特徴特定ユニットは、
前記処理すべきクエリアイテムのクエリ特徴を特定するためのクエリ特徴特定サブユニットと、
前記クエリ特徴に対してアテンション処理を行い、アテンション特徴を得るためのアテンション特徴特定サブユニットと、
前記アテンション特徴に基づいて、前記処理すべきクエリアイテムの語義特徴を特定するための語義特徴特定サブユニットと、を含む、
請求項１３に記載の装置。

【請求項15】

前記第１深層学習モデルを用いて前記テキストライブラリにおけるテキストを処理して、前記テキストライブラリにおけるテキストの特徴を得るための第１テキスト特徴特定モジュールと、
前記テキストライブラリにおけるテキストの特徴に基づいて、前記第１テキスト特徴ライブラリを生成するための第１テキスト特徴ライブラリ生成モジュールと、をさらに含む、
請求項１３に記載の装置。

【請求項16】

前記第２候補テキスト特定モジュールは、
前記処理すべきクエリアイテムにおけるキーワード特徴を特定するためのキーワード特徴特定ユニットと、
前記キーワード特徴を第２テキスト特徴ライブラリにおけるテキスト特徴とマッチングすることにより、Ｎ個の第２目的テキスト特徴を得るためのものであって、前記第２テキスト特徴ライブラリにおけるテキスト特徴は、サンプルクエリアイテムのキーワード特徴とサンプルテキストのテキスト特徴との間の類似度に基づいてトレーニングされた第２深層学習モデルを用いて前記テキストライブラリにおけるテキストを処理することにより得られたものである第２マッチングユニットと、
前記Ｎ個の第２目的テキスト特徴に基づいて、前記テキストライブラリから前記Ｎ個の候補テキストを特定するための第２候補テキスト特定ユニットと、を含む、
請求項１２に記載の装置。

【請求項17】

前記テキストライブラリにおけるテキストは、タイトル及びコンテンツを含み、
前記装置は、
前記第２深層学習モデルを用いて前記タイトル及びコンテンツをそれぞれ処理して、タイトル特徴及びコンテンツ特徴を得るための第２テキスト特徴特定モジュールと、
前記タイトル特徴及び前記コンテンツ特徴に基づいて、前記第２テキスト特徴ライブラリを生成するための第２テキスト特徴ライブラリ生成モジュールと、をさらに含む、
請求項１６に記載の装置。

【請求項18】

前記目的テキスト特定モジュールは、
各候補テキストに対して、前記処理すべきクエリアイテムと前記候補テキストとを連結して、連結テキストを得るための連結ユニットと、
前記連結テキストに基づいて、前記処理すべきクエリアイテムと各候補テキストとの間の類似度を特定するための類似度特定ユニットと、
前記処理すべきクエリアイテムと各候補テキストとの間の類似度に基づいて、前記Ｍ個の候補テキスト及び前記Ｎ個の候補テキストから前記少なくとも１つの目的テキストを特定するための目的テキスト特定ユニットと、
請求項１２～１７のいずれか１項に記載の装置。

【請求項19】

深層学習モデルのトレーニング装置であって、
前記深層学習モデルは、クエリ処理サブモデルと、テキスト処理サブモデルとを含み、
前記装置は、
サンプルクエリアイテムの正例テキスト及び負例テキストを特定するためのサンプル特定モジュールと、
前記クエリ処理サブモデルを用いて前記サンプルクエリアイテムを処理して、前記サンプルクエリアイテムの語義特徴を得るためのクエリ処理モジュールと、
前記テキスト処理サブモデルを用いて前記正例テキスト及び前記負例テキストを処理して、前記正例テキストの特徴及び前記負例テキストの特徴を得るためのテキスト処理モジュールと、
前記語義特徴、前記正例テキストの特徴及び前記負例テキストの特徴に基づいて、前記サンプルクエリアイテムと前記正例テキスト及び前記負例テキストのそれぞれとの間の類似度を特定するための類似度特定モジュールと、
前記類似度に基づいて、前記深層学習モデルの損失を特定するための損失特定モジュールと、
前記損失に基づいて、前記深層学習モデルのパラメータを調整するための調整モジュールと、を含む、
深層学習モデルのトレーニング装置。

【請求項20】

前記クエリ処理サブモデルは、特徴抽出モジュールと、アテンションモジュールと、全結合モジュールとを含み、
前記クエリ処理モジュールは、
前記サンプルクエリアイテムを前記特徴抽出モジュールに入力して、前記サンプルクエリアイテムのクエリ特徴を得るための特徴抽出ユニットと、
前記クエリ特徴を前記アテンションモジュールに入力して、前記サンプルクエリアイテムのアテンション特徴を得るためのアテンション処理ユニットと、
前記アテンション特徴を前記全結合モジュールに入力して、前記サンプルクエリアイテムの語義特徴を得るための全結合処理ユニットと、を含む、
請求項１９に記載の装置。

【請求項21】

前記サンプルクエリアイテムは、複数のサンプルクエリアイテムを含み、
前記装置は、
各サンプルクエリアイテムについて、前記サンプルクエリアイテムの負例テキスト、複数のサンプルクエリアイテムのうち前記サンプルクエリアイテム以外の他のサンプルクエリアイテムの正例テキスト及び負例テキストを、前記サンプルクエリアイテムの負例テキスト集合として特定するための負例テキスト集合特定モジュールをさらに含む、
請求項１９に記載の装置。

【請求項22】

前記テキスト処理モジュールは、前記テキスト処理サブモデルを用いて前記正例テキスト及び前記負例テキスト集合における各負例テキストを処理して、前記正例テキストの特徴及び前記負例テキスト集合における各負例テキストの特徴を得るために用いられ、
前記損失特定モジュールは、前記サンプルクエリアイテムと前記正例テキストの特徴との間の類似度、及び前記サンプルクエリアイテムと前記負例テキスト集合における各負例テキストとの間の類似度に基づいて、前記深層学習モデルの損失を特定するために用いられる、
請求項２１に記載の装置。

【請求項23】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されたメモリと、を含み、
前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶し、前記命令は、前記少なくとも１つのプロセッサが請求項１～１１のいずれか１項に記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される、
電子機器。

【請求項24】

コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令は、前記コンピュータに請求項１～１１のいずれか１項に記載の方法を実行させるために用いられる、
非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項25】

コンピュータプログラムを含むコンピュータプログラム製品であって、
前記コンピュータプログラムは、読み取り可能な記憶媒体及び電子機器の少なくとも１つに記憶され、前記コンピュータプログラムは、プロセッサによって実行されると、請求項１～１１のいずれか１項に記載の方法を実現する、
コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人工知能技術分野に関し、特に自然言語処理、深層学習技術分野に関する。より具体的には、本開示は、データ検索方法、深層学習モデルのトレーニング方法、装置、電子機器、記憶媒体及びコンピュータプログラム製品を提供する。

【背景技術】

【0002】

現在の検索システムは、例えば、法律条文、文書などのテキストの検索について、ユーザがテキストにおける一部のコンテンツに基づいて精確又は曖昧検索を行う必要がある。このような検索方式は、ユーザがテキストにどのようなコンテンツが含まれているかを熟知し、これらのコンテンツのキーワードを検索式として用いて検索を行う必要がある。

【0003】

しかしながら、ユーザがテキストコンテンツを熟知していない場合、使用されるキーワードが十分に正確でないことで、関連コンテンツを検索できない可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、データ検索方法、深層学習モデルのトレーニング方法、装置、電子機器、記憶媒体及びコンピュータプログラム製品を提供する。

【課題を解決するための手段】

【0005】

第１態様によれば、データ検索方法が提供され、当該方法は、処理すべきクエリアイテムにおける語義情報に基づいて、テキストライブラリからＭ個（Ｍは１以上の整数）の候補テキストを特定することと、処理すべきクエリアイテムにおけるキーワード情報に基づいて、テキストライブラリからＮ個（Ｎは１以上の整数）の候補テキストを特定することと、Ｍ個の候補テキスト及びＮ個の候補テキストに基づいて、少なくとも１つの目的テキストを特定することとを含む。

【0006】

第２態様によれば、クエリ処理サブモデル及びテキスト処理サブモデルを含む深層学習モデルのトレーニング方法が提供され、当該方法は、サンプルクエリアイテムの正例テキスト及び負例テキストを特定することと、クエリ処理サブモデルを用いてサンプルクエリアイテムを処理して、サンプルクエリアイテムの語義特徴を得ることと、テキスト処理サブモデルを用いて正例テキスト及び負例テキストを処理して、正例テキストの特徴及び負例テキストの特徴を得ることと、語義特徴、正例テキストの特徴及び負例テキストの特徴に基づいて、サンプルクエリアイテムと正例テキスト及び負例テキストのそれぞれとの間の類似度を特定することと、類似度に基づいて、深層学習モデルの損失を特定することと、損失に基づいて、深層学習モデルのパラメータを調整することと、を含む。

【0007】

第３態様によれば、データ検索装置が提供され、当該装置は、処理すべきクエリアイテムにおける語義情報に基づいて、テキストライブラリからＭ個（Ｍは１以上の整数）の候補テキストを特定するための第１候補テキスト特定モジュールと、処理すべきクエリアイテムにおけるキーワード情報に基づいて、テキストライブラリからＮ個（Ｎは１以上の整数）の候補テキストを特定するための第２候補テキスト特定モジュールと、Ｍ個の候補テキスト及びＮ個の候補テキストに基づいて、少なくとも１つの目的テキストを特定するための目的テキスト特定モジュールと、を含む。

【0008】

第４態様によれば、クエリ処理サブモデル及びテキスト処理サブモデルを含む深層学習モデルのトレーニング装置が提供され、当該装置は、サンプルクエリアイテムの正例テキスト及び負例テキストを特定するためのサンプル特定モジュールと、クエリ処理サブモデルを用いてサンプルクエリアイテムを処理して、サンプルクエリアイテムの語義特徴を得るためのクエリ処理モジュールと、テキスト処理サブモデルを用いて正例テキスト及び負例テキストを処理して、正例テキストの特徴及び負例テキストの特徴を得るためのテキスト処理モジュールと、語義特徴、正例テキストの特徴及び負例テキストの特徴に基づいて、サンプルクエリアイテムと正例テキスト及び負例テキストのそれぞれとの間の類似度を特定するための類似度特定モジュールと、類似度に基づいて、深層学習モデルの損失を特定するための損失特定モジュールと、損失に基づいて、深層学習モデルのパラメータを調整するための調整モジュールとを含む。

【0009】

第５態様によれば、電子機器が提供され、当該電子機器は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信接続されたメモリとを含み、メモリには少なくとも１つのプロセッサによって実行可能な命令を記憶し、命令は、少なくとも１つのプロセッサが本開示が提供した方法を実行できるように、少なくとも１つのプロセッサによって実行される。

【0010】

第６態様によれば、コンピュータに本開示が提供した方法を実行させるためのコンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体が提供される。

【0011】

第７態様によれば、コンピュータプログラムを含むコンピュータプログラム製品が提供され、前記コンピュータプログラムは、読み取り可能な記憶媒体及び電子機器のうちの少なくとも１つに記憶され、前記コンピュータプログラムがプロセッサによって実行されると、本開示が提供した方法を実現する。

【0012】

理解されるべきこととして、本部分に記載された内容は、本開示の実施例のキーポイント又は重要な特徴を示すことを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明により容易に理解される。

【0013】

図面は、本発明をよりよく理解するためのものであり、本開示を限定するものではない。

【図面の簡単な説明】

【0014】

【図1】図１は、本開示の一実施例によるデータ検索方法及び深層学習モデルのトレーニング方法の少なくとも１つを適用可能な例示的なシステムアーキテクチャの模式図である。

【図2】図２は、本開示の一実施例によるデータ検索方法のフローチャートである。

【図3】図３は、本開示の一実施例によるデータ検索方法の模式図である。

【図4】図４は、本開示の一実施例による深層学習モデルの模式図である。

【図5】図５は、本開示の別の実施例による深層学習モデルの模式図である。

【図6】図６は、本開示の別の実施例による深層学習モデルの模式図である。

【図7】図７は、本開示の一実施例による深層学習モデルのトレーニング方法のフローチャートである。

【図8】図８は、本開示の一実施例によるデータ検索装置のブロック図である。

【図9】図９は、本開示の一実施例による深層学習モデルのトレーニング装置のブロック図である。

【図10】図１０は、本開示の一実施例によるデータ検索方法及び深層学習モデルのトレーニング方法の少なくとも１つの電子機器のブロック図である。

【発明を実施するための形態】

【0015】

以下、図面を参照して本開示の例示的な実施例を説明する。ここで、より理解しやすいために本開示の実施例の様々な詳細は含まれ、それらが例示的なものであると考えられるべきである。したがって、当業者であれば、ここで記載される実施例に対して様々な変更・修正を行うことができ、本開示の範囲及び精神から逸脱することがないと分るべきである。同様に、明確かつ簡潔に説明するために、以下の記載において周知の機能や構成に対する説明を省略する。

【0016】

いくつかの専門分野の検索システムには、専門知識を含むテキストが記憶されている。当該専門分野の検索システムは、当該専門知識を熟知しているユーザに対して便利なサービスを提供することしかできず、非専門者にとって使用ハードルが高い。

【0017】

例えば、法律の普及に伴い、法律カウンセリングに対する需要が強まっている。従来の法条検索システムは、全ての法律テキストを記憶する。ユーザは、システム内において、法律条文の一部のコンテンツに基づいて精確又は曖昧検索を行い、又は全部の法律全文を直接的に見ることができる。

【0018】

しかしながら、従来の法条検索システムでは、弁護士等の法律専門家のみに対して、ある法律のある法条が既知である場合に、完全な、権威のある法条を検索して取得する。しかしながら、非専門者にとって、法律を熟知しない場合に、キーワードが十分に正確ではないことで、関連する法条を検索できない可能性があるため、法律を熟知しない場合における非専門ユーザの法律関連ファイルの検索を支援することができない。

【0019】

本開示の技術案において、係れたユーザ個人情報の収集、記憶、使用、加工、伝送、提供、開示及び応用等の処理は、関連法律や法規の規定に合致しており、公序良俗に反していない。

【0020】

本開示の技術案において、ユーザの個人情報を取得するか又は収集する前に、いずれもユーザの許可又は同意を得た。

【0021】

図１は、本開示の一実施例によるデータ検索方法及び深層学習モデルのトレーニング方法の少なくとも１つを適用可能な例示的なシステムアーキテクチャの模式図である。なお、図１は、当業者の本開示の技術内容に対する理解を支援するために、本開示の実施例を適用可能なシステムアーキテクチャの例を示すものに過ぎず、本開示の実施例が他の機器、システム、環境又はシーンに適用できないことを意味しない。

【0022】

図１に示すように、この実施例によるシステムアーキテクチャ１００は、端末機器１０１、１０２、１０３、ネットワーク１０４およびサーバ１０５を含んでよい。ネットワーク１０４は、端末機器１０１、１０２、１０３とサーバ１０５との間に通信リンクの媒体を提供するために用いられる。ネットワーク１０４は、例えば、有線及び／又は無線通信リンクなどの様々な接続タイプを含んでよい。

【0023】

ユーザは、端末機器１０１、１０２、１０３を用いて、ネットワーク１０４を介してサーバ１０５と対話して、メッセージなどを送受信することができる。端末機器１０１、１０２、１０３は、様々な電子機器であってもよく、スマートフォン、タブレットコンピュータ、ラップトップコンピュータなどを含むが、これらに限定されない。

【0024】

本開示の実施例が提供したデータ検索方法は、一般的に端末機器１０１、１０２、１０３によって実行されてよい。それに応じて、本開示の実施例が提供したデータ検索装置は、一般的に端末機器１０１、１０２、１０３に設けられてよい。

【0025】

本開示の実施例が提供した深層学習モデルのトレーニング方法は、一般的にサーバ１０５によって実行されてよい。それに応じて、本開示の実施例が提供した深層学習モデルのトレーニング装置は、一般的にサーバ１０５に設けられてよい。

【0026】

図２は、本開示の一実施例によるデータ検索方法のフローチャートである。
図２に示すように、当該データ検索方法２００は、操作Ｓ２１０～操作Ｓ２３０を含む。

【0027】

操作Ｓ２１０において、処理すべきクエリアイテムにおける語義情報に基づいて、テキストライブラリからＭ個の候補テキストを特定する。

【0028】

処理すべきクエリアイテム（Ｑｕｅｒｙ）は、質問、イベント記述を含むことができ、検索すべきコンテンツのキーワードを含むこともできる。法律検索システムを例として、Ｑｕｅｒｙには、例えば、法律による結婚年齢の規定がいくらであるかなどの質問を含むことができ、さらに、例えば、ある人があることをしたらどのように判決されるべきかなどのイベント記述を含むことができる。さらに、例えば、民法の第１条などのキーワードを含むこともできる。

【0029】

Ｑｕｅｒｙに含まれる質問及びイベント記述については、語義情報に基づいてテキストライブラリからＭ個の候補テキストを選別することができる。Ｍは、１以上の整数である。テキストライブラリは、法律テキストデータベースであってもよく、法律テキストデータベースは、検索システムがカバーできるすべての法条のテキストを含んでもよい。

【0030】

一例では、非法律専門のユーザは、ある法条のキーワードを含む必要がなく、問い合わせが必要な質問又はイベント情報のみを入力することができ、質問又はイベントの語義に基づいて、テキストライブラリから対応する法条をリコールすることができる。

【0031】

操作Ｓ２２０において、処理すべきクエリアイテムにおけるキーワード情報に基づいて、テキストライブラリからＮ個の候補テキストを特定する。

【0032】

Ｑｕｅｒｙに含まれるキーワード、例えば、ある法条のタイトル又はコンテンツにおける一部の文字又はキーワードについては、キーワード情報に基づいてテキストライブラリからＮ個の候補テキストを選別することができる。Ｎは、１以上の整数である。

【0033】

一例では、ユーザは、クエリしようとする法条がどの法条であるかを知得し、又はクエリしようとする法条に含まれる一部のコンテンツを熟知すれば、クエリしようとする法条タイトルのキーワード又は法条におけるコンテンツのキーワードを入力することができ、キーワード情報に基づいてテキストライブラリから対応する法条をリコールすることができる。

【0034】

一例では、Ｑｕｅｒｙには、質問、イベント記述及び法条キーワードのうちの少なくとも１つが含まれてもよい。本実施例は、２つのリコール通路を提供することができ、２つの通路の重点が異なる。１つの通路は、Ｑｕｅｒｙにおける質問やイベントの語義情報に基づいて、テキストライブラリから候補テキストをリコールすることに重点を置くことができる。もう１つの通路は、Ｑｕｅｒｙにおけるキーワード情報に基づいて、テキストライブラリから候補テキストをリコールすることに重点を置くことができる。

【0035】

操作Ｓ２３０において、Ｍ個の候補テキスト及びＮ個の候補テキストに基づいて、少なくとも１つの目的テキストを特定する。

【0036】

一例では、語義情報に基づくリコール通路及びキーワード情報に基づくリコール通路は、粗ソートの通路とすることができ、それぞれリコールされたＭ個の候補テキスト及びＮ個の候補テキストは、粗ソートの結果とすることができる。本実施例は、さらに、Ｍ個の候補テキスト及びＮ個の候補テキストを再ソートして、精ソート結果を得るための精ソート通路を提供することができる。精ソート結果から目的テキストを検索結果として選別する。また、検索結果をユーザに提示することもできる。

【0037】

本開示の実施例は、それぞれ処理すべきクエリアイテムの語義情報及び処理すべきクエリアイテムにおけるキーワード情報に基づいて複数の候補テキストをリコールして、さらに複数の候補テキストから少なくとも１つの目的テキストを特定する。語義情報に基づいて質問及びイベントを含むクエリに対して候補テキストをリコールでき、キーワード情報に基づいてキーワードを含むクエリアイテムに対して候補テキストをリコールでき、さらに候補テキストに基づいて少なくとも１つの目的テキストを特定できるため、検索の正確性を向上させることができる。

【0038】

本開示の実施例は、法律条文の検索に適用され、法律条文の検索システムを提供することができ、当該検索システムは、質問及びイベントの語義に基づいて関連する法条を検索することができ、非法律専門のユーザの使用ハードルを低減することができる。

【0039】

図３は、本開示の一実施例によるデータ検索方法の模式図である。
図３に示すように、処理すべきクエリアイテムＱｕｅｒｙには、質問、イベント記述、及び法条キーワードのうちの少なくとも１つが含まれてもよい。法条キーワードは、法条タイトルキーワード及び法条コンテンツキーワードの少なくとも１つを含む。

【0040】

本実施例のデータ検索方法は、粗ソート３１０と精ソート３２０の２段階を含む。粗ソート３１０の段階では、通路３１１と通路３１２の２つの通路が含まれる。通路３１１は、処理すべきクエリアイテムＱｕｅｒｙにおける質問やイベントの語義情報に基づいてテキストをリコールすることに重点を置くものであり、通路３１２は、処理すべきクエリアイテムＱｕｅｒｙにおけるキーワード情報に基づいてテキストをリコールすることに重点を置くものである。２つの通路のそれぞれは、トレーニングされた深層学習モデルを用いてテキストをリコールことができ、２つの通路のそれぞれの深層学習モデルは、２タワーモデルであってもよい。

【0041】

例えば、通路３１１は、トレーニングされた第１深層学習モデルを用いてテキストリコールを行うものである。第１深層学習モデルは、第１クエリ処理サブモデル及び第１テキスト処理サブモデルを含む２タワーモデルであってもよい。トレーニングされた第１深層学習モデルは、２タワーを分離して、独立した第１クエリ処理サブモデルと第１テキスト処理サブモデルを得ることができる。当該独立した第１クエリ処理サブモデルと第１テキスト処理サブモデルは、オフラインで配置することができ、オフライン状態でテキストリコールを行うことによって、検索効率を向上させることができる。

【0042】

本開示の実施例によれば、第１深層学習モデルを用いてテキストライブラリにおけるテキストを処理して、テキストライブラリにおけるテキストの特徴が得られ、テキストライブラリにおけるテキストの特徴に基づいて、第１テキスト特徴ライブラリを生成する。

【0043】

例えば、第１テキスト処理サブモデルを用いてテキストライブラリにおけるテキストに対して特徴抽出を行い、テキストライブラリにおける各テキストのテキスト特徴を得ることができ、これらのテキスト特徴を保存して、第１テキスト特徴ライブラリが得られる。テキストライブラリにおけるテキストの特徴を予め記憶することによって、毎回の使用においてオンライン抽出が必要となることを回避して、オフライン状態で直接的に使用することができ、オフライン状態でテキスト特徴ライブラリからテキスト特徴を直接的に取得してマッチングを行うことによって、検索効率を向上させることができる。

【0044】

本開示の実施例によれば、Ｍ個の候補テキストを特定することは、処理すべきクエリアイテムの語義特徴を特定することと、語義特徴を第１テキスト特徴ライブラリにおけるテキスト特徴とマッチングすることにより、Ｍ個の第１目的テキスト特徴を得ることであって、第１テキスト特徴ライブラリにおけるテキスト特徴は、サンプルクエリアイテムの語義特徴とサンプルテキストのテキスト特徴との間の類似度に基づいてトレーニングして得られた第１深層学習モデルを用いてテキストライブラリにおけるテキストを処理することにより得られたものであることと、Ｍ個の第１目的テキスト特徴に基づいて、テキストライブラリからＭ個の候補テキストを特定することと、を含む。

【0045】

処理すべきクエリアイテムＱｕｅｒｙについては、第１クエリ処理サブモデルを用いて処理して、処理すべきクエリアイテムＱｕｅｒｙの語義特徴を得、処理すべきクエリアイテムＱｕｅｒｙの語義特徴を第１テキスト特徴ライブラリとマッチングして、類似度が最も高いＭ個の第１目的テキスト特徴を得ることができる。第１テキスト特徴ライブラリにおけるテキスト特徴は、テキストライブラリにおけるテキストに対応し、Ｍ個の第１目的テキスト特徴が得られた後に、テキストライブラリから当該Ｍ個の第１目的テキスト特徴に対応するＭ個の候補テキストを選別することができる。

【0046】

第１深層学習モデルは、サンプルクエリアイテムの語義特徴とサンプルテキストのテキスト特徴との間の類似度に基づいてトレーニングして得られたものであってもよい。例えば、トレーニングの段階において、第１クエリ処理サブモデルは、サンプルクエリアイテムを処理して、サンプルクエリアイテムの語義特徴が得られる。第１テキスト処理サブモデルは、サンプルテキストを処理して、サンプルテキストのテキスト特徴が得られ、サンプルクエリアイテムの語義特徴とサンプルテキストのテキスト特徴との間の類似度に基づいてモデルトレーニングを行い、トレーニングの過程において、サンプルクエリアイテムの語義特徴と正例サンプルテキストのテキスト特徴との間の類似度が大きくなり（例えば、１に近い）、サンプルクエリアイテムの語義特徴と負例サンプルテキストのテキスト特徴との間の類似度が小さくなる（例えば、０に近い）ようにする。

【0047】

これにより、上記トレーニングにより得られた第１深層学習モデルを用いることで、処理すべきクエリアイテムＱｕｅｒｙの語義特徴と第１テキスト特徴ライブラリにおけるテキスト特徴との間の類似度に基づいて、処理すべきクエリアイテムＱｕｅｒｙとの類似度が最も高いＭ個の候補テキストを選別することができる。

【0048】

例えば、通路３１２は、トレーニングされた第２深層学習モデルを用いてテキストリコールを行うものである。第２深層学習モデルは、第２クエリ処理サブモデル及び第２テキスト処理サブモデルを含む２タワーモデルであってもよい。トレーニングされた第２深層学習モデルは、２タワーを分離して、独立した第２クエリ処理サブモデルと第２テキスト処理サブモデルを得ることができる。当該独立した第２クエリ処理サブモデルと第２テキスト処理サブモデルは、オフラインで配置することができ、オフライン状態でテキストリコールを実現することによって、検索効率を向上させることができる。

【0049】

本開示の実施例によれば、第２深層学習モデルを用いてタイトル及びコンテンツをそれぞれ処理して、タイトル特徴及びコンテンツ特徴が得られ、タイトル特徴及びコンテンツ特徴に基づいて、第２テキスト特徴ライブラリを生成する。

【0050】

例えば、テキストライブラリにおけるテキストは、タイトル及びコンテンツを含んでもよい。テキストライブラリにおけるテキストのタイトルとコンテンツを分離し、トレーニングされた第２テキスト処理サブモデルを用いてタイトルとコンテンツに対してそれぞれ特徴抽出を行い、タイトル特徴とコンテンツ特徴を得る。次に、タイトル特徴とコンテンツ特徴を組み合わせてテキスト特徴を得る。テキストライブラリにおける全てのテキストのテキスト特徴を保存し、第２テキスト特徴ライブラリを得る。テキストライブラリにおけるテキストの特徴を予め記憶することによって、毎回の使用においてオンライン抽出が必要となることを回避して、オフライン状態で直接的に使用することができ、オフライン状態でテキスト特徴ライブラリからテキスト特徴を直接的に取得してマッチングを行うことによって、検索効率を向上させることができる。

【0051】

通路３１２は、処理すべきクエリアイテムＱｕｅｒｙにおけるキーワード情報に基づいてテキストリコールを行うことに重点を置くものである。キーワードは、タイトルキーワード及びコンテンツキーワードを含み、本実施例では、テキストライブラリにおけるテキストのタイトル及びコンテンツに対してそれぞれ特徴抽出を行い、タイトル特徴及びコンテンツ特徴を得、さらにタイトル特徴及びコンテンツ特徴を第２テキスト特徴ライブラリとして記憶する。第２テキスト特徴ライブラリによれば、ユーザがタイトルキーワード及びコンテンツキーワードのいずれを入力しても、第２テキスト特徴ライブラリから対応する特徴を特定して、対応するテキストをリコールすることができる。

【0052】

本開示の実施例によれば、Ｎ個の候補テキストを特定することは、処理すべきクエリアイテムにおけるキーワード特徴を特定することと、キーワード特徴を第２テキスト特徴ライブラリにおけるテキスト特徴とマッチングすることにより、Ｎ個の第２目的テキスト特徴を得ることであって、第２テキスト特徴ライブラリにおけるテキスト特徴は、サンプルクエリアイテムのキーワード特徴とサンプルテキストのテキスト特徴との間の類似度に基づいてトレーニングされた第２深層学習モデルを用いてテキストライブラリにおけるテキストを処理することにより得られたものであることと、Ｎ個の第２目的テキスト特徴に基づいて、テキストライブラリからＮ個の候補テキストを特定することと、を含む。

【0053】

処理すべきクエリアイテムＱｕｅｒｙについては、第２クエリ処理サブモデルを用いて処理して、処理すべきクエリアイテムＱｕｅｒｙのキーワード特徴を得、処理すべきクエリアイテムＱｕｅｒｙのキーワード特徴を第２テキスト特徴ライブラリとマッチングして、類似度が最も高いＮ個の第２目的テキスト特徴を得ることができる。第２テキスト特徴ライブラリにおけるテキスト特徴は、テキストライブラリにおけるテキストに対応し、Ｎ個の第２目的テキスト特徴が得られた後に、テキストライブラリから当該Ｎ個の第２目的テキスト特徴に対応するＮ個の候補テキストを選別することができる。

【0054】

第２深層学習モデルは、サンプルクエリアイテムのキーワード特徴とサンプルテキストのテキスト特徴との間の類似度に基づいてトレーニングして得られたものである。例えば、トレーニングの段階において、第２クエリ処理サブモデルは、サンプルクエリアイテムを処理して、サンプルクエリアイテムのキーワード特徴が得られる。第２テキスト処理サブモデルは、サンプルテキストを処理して、サンプルテキストのテキスト特徴が得られ、サンプルクエリアイテムの語義特徴とサンプルテキストのテキスト特徴との間の類似度に基づいてモデルトレーニングを行い、トレーニングの過程において、サンプルクエリアイテムの語義特徴と正例サンプルテキストのテキスト特徴との間の類似度が大きくなり（例えば、１に近い）、サンプルクエリアイテムの語義特徴と負例サンプルテキストのテキスト特徴との間の類似度が小さくなる（例えば、０に近い）ようにする。

【0055】

したがって、上記トレーニングにより得られた第２深層学習モデルを用いることで、処理すべきクエリアイテムＱｕｅｒｙのキーワード特徴と第２テキスト特徴ライブラリにおけるテキスト特徴との間の類似度に基づいて、処理すべきクエリアイテムＱｕｅｒｙとの類似度が最も高いＮ個の候補テキストを選別することができる。

【0056】

通路３１１によってリコールされたＭ個の候補テキスト及び通路３１２によってリコールされたＮ個の候補テキストが得られた後に、Ｍ個の候補テキスト及びＮ個の候補テキストに対して精ソート３２０を行うことができる。精ソート３２０は、トレーニングされた第３深層学習モデルを用いてＭ個の候補テキスト及びＮ個の候補テキストを再ソートして、精ソート結果を得ることができる。当該精ソート結果は、新しい類似度に従ってソートされたものであり、当該精ソート結果から類似度が最も高い少なくとも１つの候補テキストを目的テキストとして選別することができる。

【0057】

本開示の実施例は、２つの粗ソート通路を用いて複数の候補テキストをリコールし、さらに精ソート通路を用いて候補テキストから目的テキストを選別することにより、検索精度を向上させることができる。

【0058】

図４は、本開示の一実施例による深層学習モデルの模式図である。
図４に示すように、本実施例の深層学習モデルは、クエリアイテムＱｕｅｒｙの語義情報に基づいて、テキストライブラリにおけるテキストをリコールするモデルであってよい。当該深層学習モデルは、２タワーモデルであってよい。

【0059】

深層学習モデルの２タワーは、第１クエリ処理サブモデルと第１テキスト処理サブモデルとを含む。第１クエリ処理サブモデルは、符号化モジュール４１１、アテンションモジュール４１２及び全結合モジュール４１３を含み、第１テキスト処理サブモデルは、符号化モジュール４２１及び全結合モジュール４２２を含む。第１クエリ処理サブモデルは、第１テキスト処理サブモデルに比べて、符号化モジュール４１１の後にアテンションモジュール４１２を追加した。したがって、深層学習モデルの２タワーは、非対称である。

【0060】

本開示の実施例によれば、処理すべきクエリアイテムのクエリ特徴を特定し、クエリ特徴に対してアテンション処理を行い、アテンション特徴を得、アテンション特徴に基づいて、処理すべきクエリアイテムの語義特徴を特定する。

【0061】

例えば、サンプルクエリアイテムが符号化モジュール４１１に入力されて、クエリ特徴が得られる。クエリ特徴がアテンションモジュール４１２に入力されて、アテンション特徴が得られ、アテンションモジュール４１２は、特徴情報をより豊かにするように、クエリ特徴に対してセルフアテンション処理を行い、複数次元（例えば、ｍ次元、ｎは１より大きい整数）のアテンション特徴を得るために用いられる。複数次元のアテンション特徴が全結合モジュール４１３に入力されて、語義特徴が得られる。

【0062】

例えば、サンプルテキストは、サンプルクエリアイテムにマッチングする正例テキスト、及びサンプルクエリアイテムにマッチングしない負例テキストを含む。一例では、各サンプルクエリアイテムに正例テキストと負例テキストをラベリングし、且つ１つのバッチ内の各サンプルクエリアイテムに対して、当該バッチ内の他のサンプルクエリアイテムの正例テキストと負例テキストをいずれも現在のサンプルクエリアイテムの負例テキストとすることができる。例えば、１つのバッチにｋ（ｋは１より大きい整数）個のサンプルクエリアイテムがあり、各サンプルクエリアイテムに１つの正例テキストと１つの負例テキストがラベリングされる。トレーニングを行うときに、各回のトレーニングに入力されたサンプル構成形式は、サンプルクエリアイテム、正例テキスト、及び（２ｋ－１）個の負例テキストを含む。

【0063】

当該深層学習モデルは、語義とテキストとのマッチングを解決するものであり、キーワードとテキストとのマッチングに比べて、語義とテキストとのマッチングがより困難であるため、サンプルクエリアイテムに正負例テキストをラベリングするとともに、他のサンプルクエリアイテムの正負例テキストをいずれも現在のサンプルクエリアイテムの負例テキストとすることで、深層学習モデルのサンプル数を増加させることができ、深層学習モデルの学習をより十分にし、深層学習モデルのマッチング能力を向上させることができる。

【0064】

例えば、毎回のトレーニングにおいて、サンプルクエリアイテムが第１クエリ処理サブモデルに入力されて、語義特徴が得られる。当該サンプルクエリアイテムの正例テキスト、及び（２ｋ－１）個の負例テキストは、いずれも符号化モジュール４２１に入力され、各サンプルテキストの初期特徴が得られ、各サンプルテキストの初期特徴は、全結合モジュール４２２に入力され、各サンプルテキストのテキスト特徴が得られる。

【0065】

第１クエリ処理サブモデルのアテンションモジュール４１２がクエリ特徴を複数次元のアテンション特徴に処理し、全結合モジュール４１３が出力した語義特徴も複数次元であるため、語義特徴とテキスト特徴とをマッチングするために、テキスト特徴も複数次元に処理することができる。これにより、複数次元の語義特徴と複数次元のテキスト特徴に対して類似度（例えばコサイン類似度ｃｏｓ）計算を行い、１つの次元の類似度ベクトルを得て、類似度ベクトルに対して最大プーリング処理（Ｍａｘ ｐｏｏｌｉｎｇ）を行い、最終的な類似度評価値を得る。

【0066】

一例では、サンプルクエリアイテムと正例テキストとの間の類似度、サンプルクエリアイテムと各負例テキストとの間の類似度をそれぞれ算出することができる。深層学習モデルの損失関数は、サンプルクエリアイテムと正例テキストとの類似度と、負例テキストとの類似度との間の差が最大となることを目標として構築されるものであってもよく、サンプルクエリアイテムと正例テキストとの間の類似度、サンプルクエリアイテムと各負例テキストのそれぞれとの間の類似度を当該損失関数に入力することにより、深層学習モデルの損失を得ることができ、当該損失に基づいて深層学習モデルの各モジュールのパラメータを調整することができる。

【0067】

トレーニングされた深層学習モデルは、クエリアイテムの語義特徴とテキストライブラリにおけるテキスト特徴とのマッチングに基づいて、クエリアイテムとの語義マッチング度が最も高い候補テキストをリコールすることができる。

【0068】

図５は、本開示の別の実施例による深層学習モデルの模式図である。
図５に示すように、本実施例の深層学習モデルは、クエリアイテムＱｕｅｒｙのキーワード情報に基づいて、テキストライブラリにおけるテキストをリコールするモデルであってよい。当該深層学習モデルは、２タワーモデルであってもよい。

【0069】

深層学習モデルの２タワーは、第２クエリ処理サブモデルと第２テキスト処理サブモデルとを含む。第２クエリ処理サブモデルは、符号化モジュール５１１と、全結合モジュール５１２とを含み、第２テキスト処理サブモデルは、符号化モジュール５２１と、全結合モジュール５２２とを含む。第２クエリ処理サブモデルと第２テキスト処理サブモデルは、対称である。

【0070】

例えば、サンプルクエリアイテムが符号化モジュール５１１に入力されて、クエリ特徴が得られる。クエリ特徴が全結合モジュール５１２に入力されて、キーワード特徴が得られる。

【0071】

例えば、サンプルテキストは、サンプルクエリアイテムにマッチングする正例テキスト、及びサンプルクエリアイテムにマッチングしない負例テキストを含む。一例では、各サンプルクエリアイテムに正例テキストをラベリングし、且つ１つのバッチ内の各サンプルクエリアイテムに対して、当該バッチ内の他のサンプルクエリアイテムの正例テキストを現在のサンプルクエリアイテムの負例テキストとすることができる。トレーニングを行うときに、毎回のトレーニングに入力されたサンプル構成形式は、サンプルクエリアイテムと正例テキストからなるサンプルペア、及びサンプルクエリアイテムと負例テキストのそれぞれからなるサンプルペアを含む。

【0072】

例えば、毎回のトレーニングにおいて、サンプルクエリアイテムが第２クエリ処理サブモデルに入力されて、キーワード特徴が得られる。当該サンプルクエリアイテムのサンプルテキスト（正例テキスト又は負例テキスト）が符号化モジュール５２１に入力されて、サンプルテキストの初期特徴が得られ、サンプルテキストの初期特徴がさらに全結合モジュール５２２に入力されて、サンプルテキストのテキスト特徴が得られる。次に、サンプルクエリアイテムのキーワード特徴とサンプルテキストのテキスト特徴との間の類似度（例えば、コサイン類似度ｃｏｓ）を算出し、類似度評価値を得る。正例テキストに属するサンプルテキストについて、サンプルクエリアイテムとこの正例テキストとの間の類似度が最大となることを目標とし、負例テキストに属するサンプルテキストについて、サンプルクエリアイテムとこの正例テキストとの間の類似度が最小となることを目標として、モデルトレーニングを行い、トレーニングされた深層学習モデルを得る。

【0073】

トレーニングされた深層学習モデルは、クエリアイテムのキーワード特徴とテキストライブラリにおけるテキスト特徴とのマッチングに基づいて、クエリアイテムのキーワードとのマッチング度が最も高い候補テキストをリコールすることができる。

【0074】

本開示の実施例によれば、少なくとも１つの目的テキストを特定することは、各候補テキストに対して、処理すべきクエリアイテムと候補テキストとを連結し、連結テキストを得ることと、連結テキストに基づいて、処理すべきクエリアイテムと各候補テキストとの間の類似度を特定することと、処理すべきクエリアイテムと各候補テキストとの間の類似度に基づいて、Ｍ個の候補テキスト及びＮ個の候補テキストから少なくとも１つの目的テキストを特定することと、を含む。

【0075】

クエリアイテムにおける語義情報に基づいてリコールされたＭ個の候補テキストと、キーワード情報に基づいてリコールされたＮ個の候補テキストとは、異なるリコール通路を用いてリコールされたものであるため、Ｍ個の候補テキストとＮ個の候補テキストとは比較できず、その中からユーザのニーズにより合致する候補テキストを選別することができない。したがって、トレーニングされた深層学習モデルを用いてＭ個の候補テキスト及びＮ個の候補テキストを精ソートして、少なくとも１つの目的テキストを得ることができる。

【0076】

図６は、本開示の別の実施例による深層学習モデルの模式図である。
図６に示すように、当該深層学習モデルは、複数の候補テキストを精ソートするためのモデルであってもよい。当該深層学習モデルは、事前トレーニングされた自然言語処理モデルを微調整して得られたものであってもよい。当該モデルは、単一タワーモデルであってもよく、符号化層、プーリング層及び全結合層を含む。

【0077】

例えば、当該深層学習モデルは、トレーニングの段階において、対応するテキストがサンプルテキストとしてラベリングされたサンプルクエリアイテムを取得することができる。サンプルクエリアイテムとサンプルテキストを連結して、符号化層に入力して、サンプルクエリアイテムの符号化特徴ｔｏｋｅｎ１…ｔｏｋｅｎＭ、及びサンプルテキストの符号化特徴ｔｏｋｅｎ１…ｔｏｋｅｎを得る。サンプルクエリアイテムの符号化特徴及びサンプルテキストの符号化特徴がプーリング層に入力されてプーリング特徴が得られ、さらに全結合層を経て、サンプルクエリアイテムとサンプルテキストとの間の類似度が得られ、この類似度に基づいて損失を算出でき、この損失に基づいて深層学習モデルのパラメータを調整できる。

【0078】

一例では、クエリアイテムとテキストとの間の関連性をより良くモデル化するために、識別子を追加することによってモデルの入力を構築することができる。例えば、サンプルクエリアイテムとサンプルテキストとの間に識別子を追加して、サンプルクエリアイテムとサンプルテキストとを区別することができる。さらに、識別子を暗黙的に追加して、サンプルクエリアイテムとサンプルテキストに対して個別の識別子を用いて符号化トレーニングを行うこともでき、例えば、サンプルクエリアイテム識別子が０であり、サンプルテキスト識別子が１である。

【0079】

例えば、トレーニングされた深層学習モデルは、応用の段階において、処理すべきクエリアイテムと複数の候補テキストのうちの各候補テキストとを連結して、複数の連結テキストを得、複数の連結テキストをトレーニングされた深層学習モデルに入力して、処理すべきクエリアイテムと各候補テキストとの間の類似度を得、当該類似度に基づいて再ソートを行い、複数の候補テキストの精ソート結果を得ることができる。当該精ソート結果から類似度が最大の少なくとも１つの候補テキストを選別して目的テキストとすることができる。

【0080】

本開示の実施例は、トレーニングされた深層学習モデルを用いて候補テキストに対して精ソートを行い、精ソート結果から目的テキストを選別することにより、検索された目的テキストの正確性を向上させることができる。

【0081】

本開示の実施例によれば、本開示は、深層学習モデルのトレーニング方法をさらに提供する。

【0082】

図７は、本開示の一実施例による深層学習モデルのトレーニング方法のフローチャートである。

【0083】

図７に示すように、深層学習モデルのトレーニング方法７００は、操作Ｓ７１０～Ｓ７６０を含む。本開示の実施例の深層学習モデルは、クエリ処理サブモデル及びテキスト処理サブモデルを含む２タワーモデルであってもよい。当該モデルは、サンプルクエリアイテムの語義特徴とサンプルテキストのテキスト特徴との間の類似度に基づいてトレーニングされたものであってもよい。

【0084】

操作Ｓ７１０において、サンプルクエリアイテムの正例テキスト及び負例テキストを特定する。

【0085】

例えば、サンプルクエリアイテムのサンプルテキストは、正例テキスト及び負例テキストを含む。正例テキストは、サンプルクエリアイテムにマッチングするテキストであり、負例テキストは、サンプルクエリアイテムにマッチングしないテキストである。

【0086】

操作Ｓ７２０において、クエリ処理サブモデルを用いてサンプルクエリアイテムを処理し、サンプルクエリアイテムの語義特徴を得る。

【0087】

例えば、サンプルクエリアイテムをクエリ処理サブモデルに入力し、クエリ処理サブモデルは、サンプルクエリアイテムに対して特徴抽出を行い、サンプルクエリアイテムのクエリ特徴を得、さらにクエリ特徴に対してアテンション処理を行い、アテンション特徴を得、アテンション特徴に基づいてサンプルクエリアイテムの語義特徴を得ることができる。

【0088】

操作Ｓ７３０において、テキスト処理サブモデルを用いて正例テキストと負例テキストを処理し、正例テキストの特徴と負例テキストの特徴を得る。

【0089】

例えば、正例テキスト及び負例テキストをテキスト処理サブモデルに入力し、テキスト処理サブモデルは、各サンプルテキストに対して特徴抽出を行い、正例テキストの特徴及び負例テキストの特徴を得る。

【0090】

操作Ｓ７４０において、語義特徴、正例テキストの特徴及び負例テキストの特徴に基づいて、サンプルクエリアイテムと正例テキスト及び負例テキストのそれぞれとの間の類似度を特定する。

【0091】

例えば、サンプルクエリアイテムと正例テキストとの間の類似度、及びサンプルクエリアイテムと負例テキストとの間の類似度を算出することができる。

【0092】

操作Ｓ７５０において、類似度に基づいて、深層学習モデルの損失を特定する。
操作Ｓ７６０において、損失に基づいて、深層学習モデルのパラメータを調整する。

【0093】

深層学習モデルの損失関数は、サンプルクエリアイテムと正例テキストとの間の類似度と、負例テキストとの間の類似度との間の差が最大となることを目標として構築されたものであってもよく、サンプルクエリアイテムと正例テキストとの間の類似度、サンプルクエリアイテムと負例テキストとの間の類似度を当該損失関数に入力することにより、深層学習モデルの損失を得ることができ、当該損失に基づいて深層学習モデルの各モジュールのパラメータを調整することができる。

【0094】

本開示の実施例は、サンプルクエリアイテム、正例テキスト及び負例テキストを用いて深層学習モデルのトレーニングを行い、サンプルクエリアイテムと正例テキスト及び負例テキストのそれぞれとの類似度に基づいてトレーニングを行うことにより、トレーニングされた深層学習モデルは、処理すべきクエリアイテムをテキストライブラリにおけるテキストとマッチングして、処理すべきクエリアイテムにマッチングする検索結果を得ることができる。

【0095】

本開示の実施例によれば、クエリ処理サブモデルは、符号化モジュール、アテンションモジュール及び全結合モジュールを含む。操作Ｓ７２０は、サンプルクエリアイテムを符号化モジュールに入力して、サンプルクエリアイテムのクエリ特徴を得ることと、クエリ特徴をアテンションモジュールに入力して、サンプルクエリアイテムのアテンション特徴を得ることと、アテンション特徴を全結合モジュールに入力して、サンプルクエリアイテムの語義特徴を得ることと、を含む。

【0096】

サンプルクエリアイテムが符号化モジュールに入力されて、クエリ特徴が得られる。クエリ特徴がアテンションモジュールに入力されて、アテンション特徴が得られ、アテンションモジュールは、特徴情報をより豊かにするように、クエリ特徴に対してセルフアテンション処理を行い、複数次元のアテンション特徴を得る。複数次元のアテンション特徴が全結合モジュールに入力されて、語義特徴が得られる。

【0097】

本開示の実施例によれば、１つのバッチ内の各サンプルクエリアイテムについて、サンプルクエリアイテムの負例テキスト、複数のサンプルクエリアイテムのうちサンプルクエリアイテム以外の他のサンプルクエリアイテムの正例テキスト及び負例テキストを、サンプルクエリアイテムの負例テキスト集合として特定する。

【0098】

例えば、１つのバッチにｋ（ｋは１より大きい整数）個のサンプルクエリアイテムがあり、各サンプルクエリアイテムに１つの正例テキストと１つの負例テキストがラベリングされている。各サンプルクエリアイテムについて、当該サンプルクエリアイテムの負例テキスト及び他のサンプルクエリアイテムの正負例テキストをいずれも当該サンプルクエリアイテムの負例テキストとする。当該サンプルクエリアイテムは、合計で（２ｋ－１）個の負例テキストを有し、サンプルクエリアイテムの負例テキスト集合とする。トレーニングを行うときに、毎回のトレーニングに入力されたサンプル構成形式は、サンプルクエリアイテム、正例テキスト、及び（２ｋ－１）個の負例テキストを含むことができる。

【0099】

本開示の実施例によれば、操作Ｓ７３０は、テキスト処理サブモデルを用いて正例テキスト及び負例テキスト集合における各負例テキストを処理し、正例テキストの特徴及び負例テキスト集合における各負例テキストの特徴を得ることを含む。操作Ｓ７５０は、サンプルクエリアイテムと正例テキストの特徴との間の類似度、及びサンプルクエリアイテムと負例テキスト集合における各負例テキストとの間の類似度に基づいて、深層学習モデルの損失を特定することを含む。

【0100】

例えば、毎回のトレーニングにおいて、サンプルクエリアイテムがクエリ処理サブモデルに入力されて、語義特徴が得られる。サンプルクエリアイテムの正例テキスト、及び（２ｋ－１）個の負例テキストは、いずれもテキスト処理サブモデルに入力され、各サンプルテキストのテキスト特徴が得られる。サンプルクエリアイテムと正例テキストとの間の類似度、サンプルクエリアイテムと各負例テキストのそれぞれとの間の類似度をそれぞれ算出することができる。深層学習モデルの損失関数は、サンプルクエリアイテムと正例テキストとの間の類似度と、負例テキストとの間の類似度との間の差が最大となることを目標として構築されたものであってもよく、サンプルクエリアイテムと正例テキストとの間の類似度、サンプルクエリアイテムと各負例テキストのそれぞれとの間の類似度を当該損失関数に入力することにより、深層学習モデルの損失を得ることができ、当該損失に基づいて深層学習モデルの各モジュールのパラメータを調整することができる。

【0101】

本開示の実施例は、バッチ内の他のサンプルクエリアイテムの正負例テキストをいずれも現在のサンプルクエリアイテムの負例テキストとすることにより、深層学習モデルのサンプル数を増加させることができ、深層学習モデルの学習をより十分にし、深層学習モデルのマッチング能力を向上させることができる。

【0102】

本開示の実施例によれば、本開示は、データ検索装置、深層学習モデルのトレーニング装置をさらに提供する。

【0103】

図８は、本開示の一実施例によるデータ検索装置のブロック図である。
図８に示すように、当該データ検索装置８００は、第１候補テキスト特定モジュール８０１、第２候補テキスト特定モジュール８０２及び目的テキスト特定モジュール８０３を含む。

【0104】

第１候補テキスト特定モジュール８０１は、処理すべきクエリアイテムにおける語義情報に基づいて、テキストライブラリからＭ個の候補テキストを特定するために用いられ、Ｍは１以上の整数である。

【0105】

第２候補テキスト特定モジュール８０２は、処理すべきクエリアイテムにおけるキーワード情報に基づいて、テキストライブラリからＮ個の候補テキストを特定するために用いられ、Ｎは１以上の整数である。

【0106】

目的テキスト特定モジュール８０３は、Ｍ個の候補テキスト及びＮ個の候補テキストに基づいて、少なくとも１つの目的テキストを特定するために用いられる。

【0107】

第１候補テキスト特定モジュール８０１は、語義特徴特定ユニット、第１マッチングユニット及び第１候補テキスト特定ユニットを含む。

【0108】

語義特徴特定ユニットは、処理すべきクエリアイテムの語義特徴を特定するために用いられる。

【0109】

第１マッチングユニットは、語義特徴を第１テキスト特徴ライブラリにおけるテキスト特徴とマッチングすることにより、Ｍ個の第１目的テキスト特徴を得るために用いられ、第１テキスト特徴ライブラリにおけるテキスト特徴は、サンプルクエリアイテムの語義特徴とサンプルテキストのテキスト特徴との間の類似度に基づいてトレーニングして得られた第１深層学習モデルを用いてテキストライブラリにおけるテキストを処理することにより得られたものである。

【0110】

第１候補テキスト特定ユニットは、Ｍ個の第１目的テキスト特徴に基づいて、テキストライブラリからＭ個の候補テキストを特定するために用いられる。

【0111】

語義特徴特定ユニットは、クエリ特徴特定サブユニット、アテンション特徴特定サブユニット、及び語義特徴特定サブユニットを含む。

【0112】

クエリ特徴特定サブユニットは、処理すべきクエリアイテムのクエリ特徴を特定するために用いられる。

【0113】

アテンション特徴特定サブユニットは、クエリ特徴に対してアテンション処理を行い、アテンション特徴を得るために用いられる。

【0114】

語義特徴特定サブユニットは、アテンション特徴に基づいて、処理すべきクエリアイテムの語義特徴を特定するために用いられる。

【0115】

データ検索装置８００は、第１テキスト特徴特定モジュールと第１テキスト特徴ライブラリ生成モジュールとをさらに含む。

【0116】

第１テキスト特徴特定モジュールは、第１深層学習モデルを用いてテキストライブラリにおけるテキストを処理し、テキストライブラリにおけるテキストの特徴を得るために用いられる。

【0117】

第１テキスト特徴ライブラリ生成モジュールは、テキストライブラリにおけるテキストの特徴に基づいて、第１テキスト特徴ライブラリを生成するために用いられる。

【0118】

第２候補テキスト特定モジュール８０２は、キーワード特徴特定ユニット、第２マッチングユニット及び第２候補テキスト特定ユニットを含む。

【0119】

キーワード特徴特定ユニットは、処理すべきクエリアイテムにおけるキーワード特徴を特定するために用いられる。

【0120】

第２マッチングユニットは、キーワード特徴を第２テキスト特徴ライブラリにおけるテキスト特徴とマッチングすることにより、Ｎ個の第２目的テキスト特徴を得るために用いられ、ここで、第２テキスト特徴ライブラリにおけるテキスト特徴は、サンプルクエリアイテムのキーワード特徴とサンプルテキストのテキスト特徴との間の類似度に基づいてトレーニングして得られた第２深層学習モデルを用いてテキストライブラリにおけるテキストを処理することにより得られたものである。

【0121】

第２候補テキスト特定ユニットは、Ｎ個の第２目的テキスト特徴に基づいて、テキストライブラリからＮ個の候補テキストを特定するために用いられる。

【0122】

本開示の実施例によれば、テキストライブラリにおけるテキストは、タイトル及びコンテンツを含む。データ検索装置８００は、第２テキスト特徴特定モジュール及び第２テキスト特徴ライブラリ生成モジュールをさらに含む。

【0123】

第２テキスト特徴特定モジュールは、第２深層学習モデルを用いてタイトル及びコンテンツをそれぞれ処理して、タイトル特徴及びコンテンツ特徴を得るために用いられる。

【0124】

第２テキスト特徴ライブラリ生成モジュールは、タイトル特徴及びコンテンツ特徴に基づいて、第２テキスト特徴ライブラリを生成するために用いられる。

【0125】

目的テキスト特定モジュール８０３は、連結ユニット、類似度特定ユニット及び目的テキスト特定ユニットを含む。

【0126】

連結ユニットは、各候補テキストに対して、処理すべきクエリアイテムと候補テキストとを連結して、連結テキストを得るために用いられる。

【0127】

類似度特定ユニットは、連結テキストに基づいて、処理すべきクエリアイテムと各候補テキストのそれぞれとの間の類似度を特定するために用いられる。

【0128】

目的テキスト特定ユニットは、処理すべきクエリアイテムと各候補テキストのそれぞれとの間の類似度に基づいて、Ｍ個の候補テキスト及びＮ個の候補テキストから少なくとも１つの目的テキストを特定するために用いられる。

【0129】

図９は、本開示の一実施例による深層学習モデルのトレーニング装置のブロック図である。

【0130】

図９に示すように、当該深層学習モデルのトレーニング装置９００は、サンプル特定モジュール９０１、クエリ処理モジュール９０２、テキスト処理モジュール９０３、類似度特定モジュール９０４、損失特定モジュール９０５及び調整モジュール９０６を含む。

【0131】

サンプル特定モジュール９０１は、サンプルクエリアイテムの正例テキスト及び負例テキストを特定するために用いられる。

【0132】

クエリ処理モジュール９０２は、クエリ処理サブモデルを用いてサンプルクエリアイテムを処理して、サンプルクエリアイテムの語義特徴を得るために用いられる。

【0133】

テキスト処理モジュール９０３は、テキスト処理サブモデルを用いて正例テキスト及び負例テキストを処理して、正例テキストの特徴及び負例テキストの特徴を得るために用いられる。

【0134】

類似度特定モジュール９０４は、語義特徴、正例テキストの特徴及び負例テキストの特徴に基づいて、サンプルクエリアイテムと正例テキスト及び負例テキストのそれぞれとの間の類似度を特定するために用いられる。

【0135】

損失特定モジュール９０５は、類似度に基づいて、深層学習モデルの損失を特定するために用いられる。

【0136】

調整モジュール９０６は、損失に基づいて、深層学習モデルのパラメータを調整するために用いられる。

【0137】

クエリ処理サブモデルは、特徴抽出モジュール、アテンションモジュール及び全結合モジュールを含む。クエリ処理モジュール９０２は、特徴抽出ユニット、アテンション処理ユニット及び全結合処理ユニットを含む。

【0138】

特徴抽出ユニットは、サンプルクエリアイテムを特徴抽出モジュールに入力して、サンプルクエリアイテムのクエリ特徴を得るために用いられる。

【0139】

アテンション処理ユニットは、クエリ特徴をアテンションモジュールに入力して、サンプルクエリアイテムのアテンション特徴を得るために用いられる。

【0140】

全結合処理ユニットは、アテンション特徴を全結合モジュールに入力して、サンプルクエリアイテムの語義特徴を得るために用いられる。

【0141】

サンプルクエリアイテムは、複数のサンプルクエリアイテムを含む。深層学習モデルのトレーニング装置９００は、負例テキスト集合特定モジュールをさらに含む。

【0142】

負例テキスト集合特定モジュールは、各サンプルクエリアイテムのそれぞれについて、サンプルクエリアイテムの負例テキスト、複数のサンプルクエリアイテムのうちサンプルクエリアイテム以外の他のサンプルクエリアイテムの正例テキスト及び負例テキストを、サンプルクエリアイテムの負例テキスト集合として特定するために用いられる。

【0143】

テキスト処理モジュール９０３は、テキスト処理サブモデルを用いて正例テキスト及び負例テキスト集合における各負例テキストを処理し、正例テキストの特徴及び負例テキスト集合における各負例テキストの特徴を得るために用いられる。

【0144】

損失特定モジュール９０５は、サンプルクエリアイテムと正例テキストの特徴との間の類似度、及びサンプルクエリアイテムと負例テキスト集合における各負例テキストとの間の類似度に基づいて、深層学習モデルの損失を特定するために用いられる。

【0145】

本開示の実施例によれば、本開示は、電子機器、読み取り可能な記憶媒体及びコンピュータプログラム製品をさらに提供する。

【0146】

図１０は、本開示の実施例を実施するための例示的電子機器１０００の模式的ブロック図を示している。電子機器は、様々な形式のデジタルコンピュータを示すことを目的とし、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ及び他の適切なコンピュータである。電子機器は、さらに様々な形式の移動装置を示してもよく、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブル機器及び他の類似の演算装置である。本明細書に示された部材、それらの接続及び関係、並びにそれらの機能は、例示に過ぎず、本明細書に記載された及び／又は要求された本開示の実現を限定しない。

【0147】

図１０に示すように、機器１０００は、計算手段１００１を含み、計算手段１００１は、リードオンリーメモリ（ＲＯＭ）１００２に記憶されたコンピュータプログラム又は記憶手段１００８からランダムアクセスメモリ（ＲＡＭ）１００３にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行してもよい。ＲＡＭ１００３には、さらに機器１０００の操作に必要な様々なプログラム及びデータを記憶してもよい。計算手段１００１、ＲＯＭ１００２、及びＲＡＭ１００３は、バス１００４を介して相互に接続される。入出力（Ｉ／Ｏ）インターフェース１００５も、バス１００４に接続される。

【0148】

機器１０００における複数の部品は、Ｉ／Ｏインターフェース１００５に接続され、例えばキーボード、マウス等の入力手段１００６と、例えば様々な種類のディスプレイ、スピーカ等の出力手段１００７と、例えば磁気ディスク、光ディスク等の記憶手段１００８と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信手段１００９とを含む。通信手段１００９は、機器１０００がインターネット等のコンピュータネットワーク及び／又は各種の電気ネットワークを介して他の機器と情報・データをやり取りすることを可能にする。

【0149】

計算手段１００１は、処理及び演算能力を有する各種の汎用及び／又は専用の処理モジュールであってもよい。計算手段１００１の幾つかの例として、中央処理ユニット（ＣＰＵ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、各種専用の人工知能（ＡＩ）演算チップ、各種機械学習モデルアルゴリズムをランニングする演算ユニット、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、並びに任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、これらに限定されない。計算手段１００１は、前文で記載された各方法及び処理、例えばデータ検索方法と深層学習モデルのトレーニング方法との少なくとも一方を実行する。例えば、幾つかの実施例において、データ検索方法と深層学習モデルのトレーニング方法との少なくとも一方は、例えば記憶手段１００８のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ １００２及び／又は通信手段１００９を介して機器１０００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ１００３にロードされて計算手段１００１により実行される場合、前文に記載のデータ検索方法と深層学習モデルのトレーニング方法との少なくとも一方の１つ又は複数のステップを実行してもよい。代替的に、他の実施例において、計算手段１００１は、他の任意の適切な方式（例えば、ファームウェアを介する）によりデータ検索方法と深層学習モデルのトレーニング方法との少なくとも一方を実行するように構成されてもよい。

【0150】

本明細書で以上に説明されたシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムにおいて実施され、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行され及び／又は解釈されることが可能であり、該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、かつデータ及び命令を該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に伝送することができることを含んでもよい。

【0151】

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、それによって、プログラムコードがプロセッサ又はコントローラにより実行される時に、フローチャート及び／又はブロック図に規定された機能・操作が実施される。プログラムコードは、機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるか又は完全に遠隔機器又はサーバで実行されてもよい。

【0152】

本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は電子機器に使用され、又は命令実行システム、装置又は電子機器と組み合わせて使用されるプログラムを含んで又は記憶してもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子の、磁気的、光学的、電磁的、赤外線の、又は半導体システム、装置又は電子機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、１つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスクリードオンリーメモリ（ＣＤ-ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。

【0153】

ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを備え、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置は、さらにユーザとの対話を提供してもよく、例えば、ユーザに提供されたフィードバックは、いかなる形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、かついかなる形式（音声入力、語音入力又は、触覚入力を含む）でユーザからの入力を受信してもよい。

【0154】

ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されることが可能である。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によりシステムの部品を互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを例示的に含む。

【0155】

コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバ同士は、一般的に離れており、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、該当するコンピュータ上でランニングし、クライアント・サーバの関係を有するコンピュータプログラムによって生成される。

【0156】

理解されるべきこととして、以上に示された様々な形式のフローを使用してもよく、操作を改めてソーティングしたり、追加したり又は削除してもよい。例えば、本開示に記載の各操作は、並列に実行されたり、順次に実行されたり、又は異なる順序で実行されてもよく、本開示に開示された技術案の所望の結果を実現することができれば、本明細書はここで限定されない。

【0157】

上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解すべきである。本開示の精神と原則内で行われる任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】