特表 2023-541742 ソートモデルのトレーニング方法及び装置、電子機器、コンピュータ可読記憶媒体、コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-10-04

(54)【発明の名称】ソートモデルのトレーニング方法及び装置、電子機器、コンピュータ可読記憶媒体、コンピュータプログラム

(51)【国際特許分類】

   G06F 16/338 20190101AFI20230927BHJP

【ＦＩ】

G06F16/338

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022559445

(86)(22)【出願日】2022-03-09

(85)【翻訳文提出日】2022-09-28

(86)【国際出願番号】 CN2022080007

(87)【国際公開番号】W WO2023010847

(87)【国際公開日】2023-02-09

(31)【優先権主張番号】202110893524.8

(32)【優先日】2021-08-04

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】512015127

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド

(74)【代理人】

【識別番号】100090033

【弁理士】

【氏名又は名称】荒船 博司

(74)【代理人】

【識別番号】100093045

【弁理士】

【氏名又は名称】荒船 良男

(72)【発明者】

【氏名】ゾウ， リシン

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA01

5B175HA01

5B175JC05

(57)【要約】

本開示は、ソートモデルのトレーニング方法及び装置、電子機器を開示し、自然言語処理及び知能検索などの技術分野に関する。具体的な実現解決手段は以下のとおりである：ソートモデルをトレーニングする際に、まず複数の第１のサンプルペア及びそのタグ情報を取得する；各第１のサンプルペアについて、第１の検索テキスト、第１の候補テキストの第１のタイトルテキスト、及び第１の候補テキストに対応する第１の目標要約を初期言語モデルに入力し、第１のサンプルペアに対応する第２の関連性スコアを取得する；このように第１の候補テキストの代わりに第１の目標要約によってソートモデルのトレーニングに参加し、各第１のサンプルペアのタグ情報及び第２の関連性スコアに基づいて、初期言語モデルのネットワークパラメータを更新し、従来の技術に比べて、計算リソースの消費を大幅に低減し、大きな計算リソースを占用することによりソートモデル性能が悪いという問題を解決し、それにより候補テキストのソート効率を効果的に向上させる。
【選択図】 図１

【特許請求の範囲】

【請求項1】

それぞれ第１の検索テキスト及び前記第１の検索テキストに対応する第１の候補テキストが含まれる複数の第１のサンプルペア、及び各前記第１のサンプルペアの前記第１の検索テキストと前記第１の候補テキストとの間の第１の関連性スコアを説明するためのタグ情報を取得することと、
前記各第１のサンプルペアについて、前記第１のサンプルペアにおける第１の候補テキストに対応する第１の目標要約を決定し、前記第１の検索テキスト、前記第１の候補テキストの第１のタイトルテキスト、及び前記第１の目標要約を初期言語モデルに入力し、前記第１のサンプルペアに対応する第２の関連性スコアを取得することと、
前記各第１のサンプルペアに対応する第１の関連性スコア及び第２の関連性スコアに基づいて、前記初期言語モデルのネットワークパラメータを更新することと、を含む
ことを特徴とするソートモデルのトレーニング方法。

【請求項2】

前記第１の検索テキスト、前記第１の候補テキストの第１のタイトルテキスト、及び前記第１の目標要約を初期言語モデルに入力し、前記第１のサンプルペアに対応する第２の関連性スコアを取得することは、
前記第１の検索テキスト、前記第１のタイトルテキスト、及び前記第１の目標要約を初期言語モデルに入力し、前記第１のタイトルテキストと前記第１の検索テキストに対応するベクトル表示、及び前記第１の目標要約に対応するベクトル表示をそれぞれ取得することと、
前記第１のタイトルテキストと前記第１の検索テキストに対応するベクトル表示、および前記第１の目標要約に対応するベクトル表示に基づいて、前記第１のサンプルペアに対応する第２の関連性スコアを決定することと、を含む
請求項１に記載の方法。

【請求項3】

前記初期言語モデルは、要約符号化モデル、及びタイトルと検索テキスト符号化モデルを含み、
前記第１の検索テキスト、前記第１のタイトルテキスト、及び前記第１の目標要約を初期言語モデルに入力し、前記第１のタイトルテキストと前記第１の検索テキストに対応するベクトル表示、及び前記第１の目標要約に対応するベクトル表示をそれぞれ取得することは、
前記第１のタイトルテキスト及び前記第１の検索テキストを前記タイトルと検索テキスト符合化モデルに入力し、前記第１のタイトルテキスト及び前記第１の検索テキストに対応するベクトル表示を取得することと、
前記第１の目標要約を前記要約符号化モデルに入力し、前記第１の目標要約に対応するベクトル表示を取得することと、を含む
請求項２に記載の方法。

【請求項4】

前記初期言語モデルは総括符号化モデルをさらに含み、
前記第１のタイトルテキストと前記第１の検索テキストに対応するベクトル表示、および前記第１の目標要約に対応するベクトル表示に基づいて、前記第１のサンプルペアに対応する第２の関連性スコアを決定することは、
前記第１のタイトルテキストと前記第１の検索テキストに対応するベクトル表示、および前記第１の目標要約に対応するベクトル表示を前記総括符号化モデルに入力し、前記第１のサンプルペアに対応する第２の関連性スコアを取得することを含む
請求項２又は３に記載の方法。

【請求項5】

前記第１のサンプルペアにおける第１の候補テキストに対応する第１の目標要約を決定することは、
前記第１の候補テキストに分割処理を行い、前記第１の候補テキストに対応する複数の候補センテンスを取得することと、
各候補センテンスに対して、前記候補センテンスに単語分割処理を行い、前記候補センテンスに対応する複数の分割単語を取得し、前記複数の分割単語から、前記第１の検索テキストに含まれる分割単語と同じである複数の目標分割単語を決定し、各目標分割単語に対応する重要度値と、前記各目標分割単語の前記センテンスに占める重みに基づいて、前記候補センテンスに対応する初期スコアを決定することと、
前記各候補センテンスに対応する初期スコアに基づいて、前記第１の候補テキストに対応する前記第１の目標要約を決定することと、を含む
請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記各候補センテンスに対応する初期スコアに基づいて、前記第１の候補テキストに対応する前記第１の目標要約を決定することは、
前記各候補センテンスに対応する初期スコアに基づいて、初期スコアが最も高い候補センテンスを、前記第１の候補テキストに対応する前記第１の目標要約として決定することと、
又は、
前記各候補センテンスに対応する初期スコアに基づいて、初期スコアが最も高い候補センテンスを第１の候補センテンスとして決定し、前記各目標分割単語の前記センテンスに占める重みを減少させ、前記各目標分割単語に対応する重要度値と、前記各目標分割単語が減少した後の重みとに基づいて、前記候補センテンスに対応する目標スコアを決定し、目標点数が最も高い候補センテンスを第２の候補センテンスとして決定し、前記第１の候補センテンスと前記第２の候補センテンスを前記第１の候補テキストに対応する前記第１の目標要約として決定することと、を含む
請求項５に記載の方法。

【請求項7】

前記各第１のサンプルペアに対応する第１の関連性スコア及び第２の関連性スコアに基づいて、前記初期言語モデルのネットワークパラメータを更新することは、
前記各第１のサンプルペアに対応する第１の関連性スコア及び第２の関連性スコアに基づいて、前記各第１のサンプルペアに対応する第１の損失関数を構築することと、
前記第１の平均損失関数が収束するまで、前記各第１のサンプルペアに対応する第１の損失関数の第１の平均損失関数に基づいて、前記初期言語モデルのネットワークパラメータを更新し、収束する際の言語モデルをソートモデルとして決定することと、を含む
請求項１～６のいずれか一項に記載の方法。

【請求項8】

それぞれ第２の検索テキスト及び前記第２の検索テキストに対応する第２の候補テキスト及び第３の候補テキストが含まれる複数の第２のサンプルペア、及び各前記第２のサンプルペアの前記第２の検索テキストと前記第２の候補テキストとの間の第３の関連性スコアを説明するための第１のタグ情報及び前記第２の検索テキストと前記第３の候補テキストとの間の第４の関連性スコアを説明するための第２のタグ情報を取得することと、
前記各第２のサンプルペアについて、前記第２の候補テキストに対応する第２の目標要約及び前記第３の候補テキストに対応する第３の目標要約をそれぞれ決定し、前記第２の検索テキスト、前記第２の候補テキストの第２のタイトルテキスト、及び前記第２の目標要約を初期言語モデルに入力し、前記第２の検索テキスト、前記第２のタイトルテキスト及び前記第２の目標要約の間の第５の関連性スコアを取得し、前記第２の検索テキスト、前記第３の候補テキストの第３のタイトルテキスト、及び前記第３の目標要約を初期言語モデルに入力し、前記第２の検索テキスト、前記第３のタイトルテキスト及び前記第３の目標要約の間の第６の関連性スコアを取得することと、
前記各第２のサンプルペアに対応する第３の関連性スコア、第４の相関性スコア、第５の相関性スコア及び第６の関連性スコアに基づいて、前記ソートモデルのネットワークパラメータを最適化することと、をさらに含む
請求項７に記載の方法。

【請求項9】

前記各第２のサンプルペアに対応する第３の関連性スコア、第４の相関性スコア、第５の相関性スコア及び第６の相関性スコアに基づいて、前記ソートモデルのネットワークパラメータを最適化することは、
前記各第２のサンプルペアについて、前記第２のサンプルペアに対応する第３の関連性スコア及び前記第５の相関性スコアに基づいて、点に基づく第２の損失関数を決定し、前記第２のサンプルペアに対応する第４の相関性スコア及び前記第６の相関性スコアに基づいて、点に基づく第３の損失関数を決定し、前記第２のサンプルペアに対応する第５の相関性スコア及び前記第６の相関性スコアに基づいて、対に基づく第４の損失関数を決定することと、
前記各第２のサンプルペアに対応する第２の損失関数、第３の損失関数及び第４の損失関数に基づいて、前記各第２のサンプルペアに対応する損失関数を決定することと、
前記第２の平均損失関数が収束するまで、前記各第２のサンプルペアに対応する損失関数の第２の平均損失関数に基づいて、前記ソートのネットワークパラメータを更新し、収束する際のソートモデルを目標ソートモデルとして決定することと、を含む
請求項８に記載の方法。

【請求項10】

それぞれ第１の検索テキスト及び前記第１の検索テキストに対応する第１の候補テキストが含まれる複数の第１のサンプルペア、及び各前記第１のサンプルペアの前記第１の検索テキストと前記第１の候補テキストとの間の第１の関連性スコアを説明するためのタグ情報を取得する第１の取得手段と、
前記各第１のサンプルペアに対して、前記第１のサンプルペアにおける第１の候補テキストに対応する第１の目標要約を決定し、前記第１の検索テキスト、前記第１の候補テキストの第１のタイトルテキスト、及び前記第１の目標要約を初期言語モデルに入力し、前記第１のサンプルペアに対応する第２の関連性スコアを取得するために用いられる第１の処理手段と、
前記各第１のサンプルペアに対応する第１の関連性スコア及び第２の関連性スコアに基づいて、前記初期言語モデルのネットワークパラメータを更新するために用いられる更新手段と、を含む
ことを特徴とするソートモデルのトレーニング装置。

【請求項11】

前記第１の処理手段は、第１の処理モジュール及び第２の処理モジュールを含み、
前記第１の処理モジュールは、前記第１の検索テキスト、前記第１のタイトルテキスト、及び前記第１の目標要約を初期言語モデルに入力し、前記第１のタイトルテキストと前記第１の検索テキストに対応するベクトル表示、及び前記第１の目標要約に対応するベクトル表示をそれぞれ取得するために用いられ、
前記第２の処理モジュールは、前記第１のタイトルテキストと前記第１の検索テキストに対応するベクトル表示、および前記第１の目標要約に対応するベクトル表示に基づいて、前記第１のサンプルペアに対応する第２の関連性スコアを決定するために用いられる
ことを特徴とする請求項１０に記載の装置。

【請求項12】

前記初期言語モデルは、要約符号化モデル、及びタイトルと検索テキスト符号化モデルを含み、前記第１の処理モジュールは、第１の処理サブモジュール及び第２の処理サブモジュールを含み、
前記第１の処理サブモジュールは、前記第１のタイトルテキスト及び前記第１の検索テキストを前記タイトルと検索テキスト符合化モデルに入力し、前記第１のタイトルテキスト及び前記第１の検索テキストに対応するベクトル表示を取得するために用いられ、
前記第２の処理サブモジュールは、前記第１の目標要約を前記要約符号化モデルに入力し、前記第１の目標要約に対応するベクトル表示を取得するために用いられる
ことを特徴とする請求項１１に記載の装置。

【請求項13】

前記初期言語モデルは、総括符号化モデルをさらに含み、前記第２の処理モジュールは、第３の処理サブモジュールを含み、
前記第３の処理サブモジュールは、前記第１のタイトルテキストと前記第１の検索テキストに対応するベクトル表示、および前記第１の目標要約に対応するベクトル表示を前記総括符号化モデルに入力し、前記第１のサンプルペアに対応する第２の関連性スコアを取得するために用いられる
ことを特徴とする請求項１１又は１２に記載の装置。

【請求項14】

前記第１の処理モジュールは、第３の処理モジュール、第４の処理モジュール及び第５の処理モジュールをさらに含み、
前記第３の処理モジュールは、前記第１の候補テキストに分割処理を行い、前記第１の候補テキストに対応する複数の候補センテンスを取得するために用いられ、
前記第４の処理モジュールは、各候補センテンスに対して、前記候補センテンスに単語分割処理を行い、前記候補センテンスに対応する複数の分割単語を取得し、前記複数の分割単語から、前記第１の検索テキストに含まれる分割単語と同じである複数の目標分割単語を決定し、各目標分割単語に対応する重要度値と、前記各目標分割単語の前記センテンスに占める重みに基づいて、前記候補センテンスに対応する初期スコアを決定するために用いられ、
前記第５の処理モジュールは、前記各候補センテンスに対応する初期スコアに基づいて、前記第１の候補テキストに対応する前記第１の目標要約を決定するために用いられる
ことを特徴とする請求項１０～１３のいずれか一項に記載の装置。

【請求項15】

前記第５の処理モジュールは、第４の処理サブモジュール及び第５の処理サブモジュールを含み、
前記第４の処理サブモジュールは、前記各候補センテンスに対応する初期スコアに基づいて、初期スコアが最も高い候補センテンスを、前記第１の候補テキストに対応する前記第１の目標要約として決定するために用いられ、
又は、
前記第５の処理サブモジュールは、前記各候補センテンスに対応する初期スコアに基づいて、初期スコアが最も高い候補センテンスを第１の候補センテンスとして決定し、前記各目標分割単語の前記センテンスに占める重みを減少させ、かつ前記各目標分割単語に対応する重要度値と、前記各目標単語分割が減少した後の重みとに基づいて、前記候補センテンスに対応する目標スコアを決定し、目標スコアが最も高い候補センテンスを第２の候補センテンスとして決定し、前記第１の候補センテンスと前記第２の候補センテンスを前記第１の候補テキストに対応する前記第１の目標要約として決定するために用いられる
ことを特徴とする請求項１４に記載の装置。

【請求項16】

前記更新手段は、第１の更新モジュール及び第２の更新モジュールを含み、
前記第１の更新モジュールは、前記各第１のサンプルペアに対応する第１の関連性スコア及び第２の関連性スコアに基づいて、前記各第１のサンプルペアに対応する第１の損失関数を構築するために用いられ、
前記第２の更新モジュールは、前記第１の平均損失関数が収束するまで、前記各第１のサンプルペアに対応する第１の損失関数の第１の平均損失関数に基づいて、前記初期言語モデルのネットワークパラメータを更新し、収束する際の言語モデルをソートモデルとして決定するために用いられる
ことを特徴とする請求項１０～１５のいずれか一項に記載の装置。

【請求項17】

前記装置は、第２の取得手段、第２の処理手段及び最適化手段をさらに含み、
前記第２の取得手段は、複数の第２のサンプルペア、及び各第２のサンプルペアの第１のタグ情報及び第２のタグ情報を取得するために用いられ、ここで、前記各第２のサンプルペアは、第２の検索テキスト及び前記第２の検索テキストに対応する第２の候補テキスト及び第３の候補テキストを含み、前記第１のタグ情報は、前記第２の検索テキストと前記第２の候補テキストとの間の第３の関連性スコアを説明するために用いられ、前記第２のタグ情報は、前記第２の検索テキストと前記第３の候補テキストとの間の第４の関連性スコアを説明し、
前記第２の処理手段は、前記各第２のサンプルペアに対して、前記第２の候補テキストに対応する第２の目標要約及び前記第３の候補テキストに対応する第３の目標要約をそれぞれ決定し、前記第２の検索テキスト、前記第２の候補テキストの第２のタイトルテキスト、及び前記第２の目標要約を初期言語モデルに入力し、前記第２の検索テキスト、前記第２のタイトルテキスト及び前記第２の目標要約の間の第５の関連性スコアを取得し、前記第２の検索テキスト、前記第３の候補テキストの第３のタイトルテキスト、及び前記第３の目標要約を初期言語モデルに入力し、前記第２の検索テキスト、前記第３のタイトルテキスト及び前記第３の目標要約の間の第６の関連性スコアを取得するために用いられ、
前記最適化手段は、前記各第２のサンプルペアに対応する第３の関連性スコア、第４の関連性スコア、第５の相関性スコア及び第６の関連性スコアに基づいて、前記ソートモデルのネットワークパラメータを最適化するために用いられる
ことを特徴とする請求項１６に記載の装置。

【請求項18】

前記最適化手段は、第１の最適化モジュール、第２の最適化モジュール及び第３の最適化モジュールを含み、
前記第１の最適化モジュールは、前記各第２のサンプルペアに対して、前記第２のサンプルペアに対応する第３の関連性スコア及び前記第５の相関性スコアに基づいて、点に基づく第２の損失関数を決定し、前記第２のサンプルペアに対応する第４の相関性スコア及び前記第６の相関性スコアに基づいて、点に基づく第３の損失関数を決定し、前記第２のサンプルペアに対応する第５の相関性スコア及び前記第６の相関性スコアに基づいて、対に基づく第４の損失関数を決定するために用いられ、
前記第２の最適化モジュールは、前記各第２のサンプルペアに対応する第２の損失関数、第３の損失関数及び第４の損失関数に基づいて、前記各第２のサンプルペアに対応する損失関数を決定するために用いられ、
前記第３の最適化モジュールは、前記第２の平均損失関数が収束するまで、前記各第２のサンプルペアに対応する損失関数の第２の平均損失関数に基づいて、前記ランキングのネットワークパラメータを更新し、収束する際のソートモデルを目標ソートモデルとして決定するために用いられる
ことを特徴とする請求項１７に記載の装置。

【請求項19】

少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサと通信接続されたメモリと、を含み、
前記メモリに前記少なくとも一つのプロセッサにより実行可能な命令が記憶され、前記命令が前記少なくとも一つのプロセッサにより実行されることにより、前記少なくとも一つのプロセッサが請求項１～９のいずれか一項に記載のソートモデルのトレーニング方法を実行可能である
ことを特徴とする電子機器。

【請求項20】

コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体であって、
前記コンピュータ命令は、前記コンピュータに請求項１～９のいずれか一項に記載のソートモデルのトレーニング方法を実行させるために用いられる、
ことを特徴とするコンピュータ可読記憶媒体。

【請求項21】

プロセッサにより実行される時に請求項１～９のいずれか一項に記載のソートモデルのトレーニング方法を実現するコンピュータプログラムを含む、
ことを特徴とするコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０２１年０８月０４日に中国特許庁に提出され、出願番号が２０２１１０８９３５２４.８であり、出願名称が「ソートモデルのトレーニング方法及び装置、電子機器」である中国特許出願の優先権を主張し、その全ての内容は引用により本願に組み込まれる。

【0002】

本開示は、コンピュータの技術分野に関し、特にソートモデルのトレーニング方法及び装置、ならびに電子機器に関し、具体的には自然言語処理及びスマート検索などの技術分野に用いることができる。

【背景技術】

【0003】

検索エンジンは、現在の世界で情報を取得するために不可欠なツールとして、大型産業の検索エンジンシーンにおいて、検索内容に基づいてリコールされた候補テキストを正確にソートすること、ユーザの検索要求を満たすこと、ユーザの検索体験を向上させることに対して重要な役割を果たす。
関連技術において、一般的には事前トレーニング言語モデル（ｐｅｒｔｒａｉｎｅｄ ｌａｎｇｕａｇｅ ｍｏｄｅｌ、ＰＬＭ）のソートモデルに基づいて、検索内容に基づいてリコールされた候補テキストに対するソートを実現する。しかしながら、ＰＬＭに基づくソートモデルのソート性能の向上により、効率を犠牲にし、特に候補テキストの内容が長い場合、従来のソートモデルの性能に厳重な影響を与え、候補テキストのソート効率が低いことをもたらす。

【発明の概要】

【0004】

本開示は、ソートモデルのトレーニング方法及び装置、電子機器を提供し、ソートを行う場合、候補テキストのソート効率を向上させる。

【0005】

本開示の第１の態様によれば、ソートモデルのトレーニング方法であって、
それぞれ第１の検索テキスト及び前記第１の検索テキストに対応する第１の候補テキストが含まれる複数の第１のサンプルペア、及び各前記第１のサンプルペアの前記第１の検索テキストと前記第１の候補テキストとの間の第１の関連性スコアを説明するためのタグ情報を取得することと、
前記各第１のサンプルペアについて、前記第１のサンプルペアにおける第１の候補テキストに対応する第１の目標要約を決定し、前記第１の検索テキスト、前記第１の候補テキストの第１のタイトルテキスト、及び前記第１の目標要約を初期言語モデルに入力し、前記第１のサンプルペアに対応する第２の関連性スコアを取得することと、
前記各第１のサンプルペアに対応する第１の関連性スコア及び第２の関連性スコアに基づいて、前記初期言語モデルのネットワークパラメータを更新することと、を含むことができるソートモデルのトレーニング方法を提供している。

【0006】

本開示の第２の態様によれば、ソートモデルのトレーニング装置であって、
それぞれ第１の検索テキスト及び前記第１の検索テキストに対応する第１の候補テキストが含まれる複数の第１のサンプルペア、及び各前記第１のサンプルペアの前記第１の検索テキストと前記第１の候補テキストとの間の第１の関連性スコアを説明するためのタグ情報を取得する第１の取得手段と、
前記各第１のサンプルペアに対して、前記第１のサンプルペアにおける第１の候補テキストに対応する第１の目標要約を決定し、前記第１の検索テキスト、前記第１の候補テキストの第１のタイトルテキスト、及び前記第１の目標要約を初期言語モデルに入力し、前記第１のサンプルペアに対応する第２の関連性スコアを取得するために用いられる第１の処理手段と、
前記各第１のサンプルペアに対応する第１の関連性スコア及び第２の関連性スコアに基づいて、前記初期言語モデルのネットワークパラメータを更新するために用いられる更新手段と、を含むことができるソートモデルのトレーニング装置を提供している。

【0007】

本開示の第３の態様によれば、電子機器であって、
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサと通信接続されたメモリと、を含み、
前記メモリに前記少なくとも一つのプロセッサにより実行可能な命令が記憶され、前記命令が前記少なくとも一つのプロセッサにより実行されることにより、前記少なくとも一つのプロセッサが上記第１の態様に記載のソートモデルのトレーニング方法を実行可能な電子機器を提供している。

【0008】

本開示の第４の態様によれば、コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ命令は、前記コンピュータに上記第１の態様に記載のソートモデルのトレーニング方法を実行させるために用いられる、コンピュータ可読記憶媒体を提供している。

【0009】

本開示の第５の態様によれば、コンピュータプログラム製品であって、可読記憶媒体に記憶されるコンピュータプログラムを含み、電子機器の少なくとも一つのプロセッサが前記可読記憶媒体から前記コンピュータプログラムを読み取り、前記少なくとも一つのプロセッサが前記コンピュータプログラムを実行することにより電子機器が上記第１の態様に記載のソートモデルのトレーニング方法を実行するコンピュータプログラム製品を提供している。

【0010】

本開示の技術的解決手段によれば、計算リソースの消費を大幅に低減し、大きな計算リソースを占用することによりソートモデルの性能が悪いという問題を解決し、それにより候補テキストのソート効率を効果的に向上させる。
理解すべきこととして、本部分に記載された内容は本開示の実施例のキー又は重要な特徴を識別することを意図するものではなく、本開示の範囲を限定するものではない。本開示の他の特徴は、以下の説明により容易に理解されるであろう。

【図面の簡単な説明】

【0011】

図面は、本解決手段をよりよく理解するために用いられ、本開示を限定するものではない。

【図1】図１は、本開示の第１の実施例に係るソートモデルのトレーニング方法のフローチャートである。

【図2】図２は、本開示の実施例に係るツリーモデルの概略図である。

【図3】図３は、本開示の第２の実施例に係る第１の候補テキストに対応する第１の目標要約を決定する方法のフローチャートである。

【図4】図４は、本開示の第３の実施例に係る第１のサンプルペアに対応する第２の関連性スコアを決定する方法のフローチャートである。

【図5】図５は、本開示の実施例に係る初期言語モデルの構造概略図である。

【図6】図６は、本開示の第４の実施例に係るソートモデルのネットワークパラメータを最適化する方法のフローチャートである。

【図7】図７は、本開示の実施例に係るソートモデルのトレーニング装置の構造概略図である。

【図8】図８は、本開示の実施例に係る電子機器の概略ブロック図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本開示の例示的な実施例を説明し、ここで、理解しやすいように、本開示の実施例の様々な詳細を含み、それらを例示的なものと考えるべきである。したがって、当業者として分かるように、ここで説明した実施例に対して様々な変更及び修正を行うことができ、本開示の範囲及び精神から逸脱することはない。同様に、明確かつ簡単に説明するために、以下の説明において公知の機能及び構造に対する説明を省略する。
本開示の実施例において、「少なくとも一つ」とは、一つ又は複数を意味しており、「複数」とは、二つ又は二つ以上を意味している。「及び／又は」は、関連対象の関連関係を説明し、三種類の関係が存在してもよく、例えば、Ａ及び／又はＢは、単独でＡが存在し、同時にＡとＢが存在し、単独でＢが存在するという三種類の状況があることを示すことができ、ここで、Ａ、Ｂは単数であってもよく、複数であってもよい。本開示の文字記述において、「／」は一般的に前後の関連対象が「又は」の関係を有することを示す。また、本開示の実施例において、「第１の」、「第２の」、「第３の」、「第４の」、「第５の」及び「第６の」は異なる対象の内容を区別するためだけであり、他の特別な意味がない。

【0013】

本開示の実施例が提供する技術的解決手段は検索エンジンのシーンに応用することができる。特に大型産業の検索エンジンのシーンにおいて、検索内容に基づいて複数の候補テキストを対応してリコールし、一般的には、ユーザの検索要求を満たし、ユーザ体験を向上させるために、候補テキストと検索内容との間の関連性に基づいて、検索内容との関連性が高い候補テキストを優先的に表示ページに表示し、このようにユーザの検索要求を満たすことができ、かつユーザの検索体験を向上させることができる。
したがって、如何にして検索内容に基づいてリコールされた候補テキストを正確にソートし、検索内容との関連性が高い候補テキストを優先的に表示ページに表示するかのことは非常に重要である。関連技術において、一般的にＰＬＭに基づくソートモデルであり、検索内容に基づいてリコールされた候補テキストを正確にソートする。しかし、ＰＬＭに基づくソートモデルは、リコールされた候補テキストをソートする際に、その計算リソースの消費は、検索内容と候補テキストの全長の二乗に比例し、特に候補テキスト内容が長い場合、大きな計算リソースを占用し、従来のソートモデルの性能に厳重な影響を与え、それにより候補テキストのソート効率が低くする。

【0014】

大きな計算リソースを占用することによりソートモデルの性能が悪いという問題を解決し、それにより候補テキストのソート効率を向上させるために、一つの候補テキストに一般的に多くの内容が含まれ、かつ異なる部分の内容が異なる検索要求に適応する可能性があることを考慮し、ソートモデルの性能とソート効率をバランスするために、まず候補テキストに対応する要約を決定することができ、それにより事前トレーニング言語モデルに基づくソートモデルを取得する際に、候補テキスト全体の代わりに、要約によってソートモデルのトレーニングに参加し、検索テキスト、候補テキストのタイトルテキスト及び候補テキストに対応する要約に基づいてトレーニングしてソートモデルを取得することができ、従来技術に比べて、計算リソースの消費を大幅に低減し、それにより大きな計算リソースを占用することによりソートモデルの性能が悪いという問題を解決し、候補テキストのソート効率を向上させる。

【0015】

上記技術的思想に基づいて、本開示の実施例は、ソートモデルのトレーニング方法を提供し、以下、具体的な実施例により本開示の提供するソートモデルのトレーニング方法を詳細に説明する。理解できることとして、以下のいくつかの具体的な実施例は相互に結合することができ、同一又は類似の概念又はプロセスについて、いくつかの実施例では説明を省略する。

【0016】

第１の実施例
図１は、本開示の第１の実施例に係るソートモデルのトレーニング方法のフローチャートであり、該ソートモデルのトレーニング方法は、ソフトウェア及び／又はハードウェア装置により実行することができ、例えば、該ハードウェア装置は、端末又はサーバであってもよい。例示的には、図１に示すように、該ソートモデルのトレーニング方法は、以下のステップを含むことができる。

【0017】

Ｓ１０１において、複数の第１のサンプルペア、及び各第１のサンプルペアのタグ情報を取得する。ここで、各第１のサンプルペアには、第１の検索テキスト及び第１の検索テキストに対応する第１の候補テキストが含まれ、タグ情報は、第１の検索テキストと第１の候補テキストとの間の第１の関連性スコアを説明するために用いられる。
一般的には、関連性スコアが高いほど、検索テキストと候補テキストとの間の関連性が強くなり、逆に、関連性スコアが低いほど、検索テキストと候補テキストとの間の関連性が弱くなる。
例示的には、第１の検索テキストは、「ソートモデルの発展史」であってもよく、「事前トレーニング言語モデルのネットワークアーキテクチャ及び概要」などであってもよく、具体的には実際の需要に応じて設定することができ、ここで、第１の検索テキストの内容にについて、本開示の実施例はさらに制限しない。

【0018】

入力された第１の検索テキストに基づいて、該第１の検索テキストに対応する複数の候補テキストを対応してリコールする。ここで、異なる候補テキストと第１の検索テキストとの間の関連性スコアが異なる。本開示の実施例において、各第１のサンプルペアに含まれる第１の検索テキストに対応する第１の候補テキストは、第１の検索テキストに対応する複数の候補テキストのうちのいずれかであってもよく、第１の検索テキストとの間の関連性スコアが高い候補テキストに限定されず、第１のサンプルペアのタグ情報により、第１の検索テキストと第１の候補テキストとの間の第１の関連性スコアをマークすればよい。

【0019】

例示的には、複数の第１のサンプルペアを取得する際に、データベースから予め記憶された複数の第１のサンプルペアを直接取得してもよく、第３の者トレーニングシステムから複数の第１のサンプルペアを取得してもよく、他の方式により複数の第１のサンプルペアを取得してもよく、具体的には実際の必要に応じて設定することができ、ここで、複数の第１のサンプルペアの取得方式について、本開示の実施例は具体的に制限しない。

【0020】

複数の第１のサンプルペアに加えて、該複数の第１のサンプルペアにおける各第１のサンプルペアに対応するタグ情報を取得する必要があり、第１のサンプルペアの教師情報としてソートモデルのトレーニングを行うことに用いられる。例示的には、各第１のサンプルペアに対応するタグ情報を取得する時に、関連性スコアのマーク能力を有するツリーモデルを事前にトレーニングし、各第１のサンプルペアをツリーモデルに直接的に入力し、ツリーモデルの出力により各第１のサンプルペアに対応するタグ情報を取得してもよく、関連性スコアのマーク能力を有する分類モデルを事前にトレーニングし、各第１のサンプルペアを分類モデルに直接的に入力し、分類モデルの出力により各第１のサンプルペアに対応するタグ情報を取得してもよく、例えば人工マークの方式という他の方式により各第１のサンプルペアに対応するタグ情報を取得してもよく、具体的には実際の必要に応じて設定することができ、ここで、各第１のサンプルペアに対応するタグ情報の取得方式について、本開示の実施例は具体に制限しない。

【0021】

例示的には、関連スコアのマーク能力を有するツリーモデルを事前にトレーニングする時に、例示的に、図２は、本開示の実施例に係るツリーモデルの模式図であり、ユーザの行動情報に基づいて、候補テキストのクリック品質を表示することができ、該クリック品質は、ロングクリック率及びクリックジャンプ率に基づいて決定することができ、例えば、ロングクリック率は、平均検索変更回数及び平均スライド速度により体現することができ、クリックジャンプは、ページめくり及び平均滞在時間により体現することができ、これらのユーザ行動は、元のクリックデータにおけるノイズ及び表示偏差を較正することができ、ここで、差、一般、関連、良い及び完璧は、サンプルペアにおける検索テキストと候補テキストとの間の関連性程度を説明するために用いられる。したがって、まず豊富なユーザ行動特徴を有する少量の検索テキストと候補テキストのサンプルペアを人工でマークし、該豊富なユーザ行動特徴を有する検索テキストと候補テキストのサンプルペアにより人間の嗜好学習を行い、豊富なユーザ行動特徴を有する検索テキストと候補テキストのサンプルペアの数が少ないため、大量の教師なしデータを利用して、サンプルペアの数が少なく、ユーザ行動が不正確であるという問題を解決することができ、このように関連性スコアのマーク能力を有するツリーモデルを構築することができる。ここで、平均滞留時間により、タイトルによりユーザの注意を吸引する候補テキスト又は誤ってタッチすることによる候補テキストに対するクリックを効果的にフィルタリングすることができ、クリックジャンプ率により、露光による偏差をフィルタリングすることができる。

【0022】

複数の第１のサンプルペアを取得した後、初期言語モデルにより各第１のサンプルペアに対応する第２の関連性スコアを決定することができ、それにより、その後に各第１のサンプルペアに対応するタグ情報及び第２の関連性スコアにより、初期言語モデルのネットワークパラメータを更新する。
Ｓ１０２において、各第１のサンプルペアに対して、第１のサンプルペアにおける第１の候補テキストに対応する第１の目標要約を決定し、第１の検索テキスト、第１の候補テキストの第１のタイトルテキスト、及び第１の目標要約を初期言語モデルに入力し、第１のサンプルペアに対応する第２の関連性スコアを取得する。

【0023】

ここで、第１の候補テキストに対応する第１の目標要約が、第１の候補テキストから選択された、第１の候補テキストの代わりに、ソートモデルのトレーニングに参加する一つ又は複数のセンテンスであると理解することができ、該第１の目標要約のテキスト長さが第１の候補テキストのテキスト長さより小さい。

【0024】

複数の第１のサンプルペアにおける各第１のサンプルペアに対応する第２の関連性スコアを取得する時に、各第１のサンプルペアに対応する第２の関連性スコアの取得方式が類似するため、説明の重複を避けるために、複数の第１のサンプルペアのうちのいずれかの第１のサンプルペアを例として、如何にして各第１のサンプルペアに対応する第２の関連性スコアを取得するかについて説明する。

【0025】

いずれかの第１のサンプルペアに対応する第２の関連性スコアを取得する際に、該第１のサンプルペアに含まれる第１の検索テキスト、第１の候補テキストの第１のタイトルテキスト、及び第１の目標要約を初期言語モデルに入力することができ、該初期言語モデルは、ソートモデルをトレーニングするための初期の言語モデルとすることができ、該初期言語モデルの出力は。該第１のサンプルペアに含まれる第１の検索テキストと第１の候補テキストとの間の第２の関連性スコアであり、該第２の関連性スコアは、該第１のサンプルペアに対応する第２の関連性スコアとして記載することができる。この方法に基づいて、複数の第１のサンプルペアにおける各第１のサンプルペアに対応する第２の関連性スコアを取得することができる。

【0026】

初期言語モデルにより各第１のサンプルペアに対応する第２の関連性スコアを決定した後、上記Ｓ１０１で取得された各第１のサンプルペアに対応するタグ情報を組み合わせて、初期言語モデルのネットワークパラメータを更新することができ、即ち下記Ｓ１０３を実行する。
Ｓ１０３において、各第１のサンプルペアに対応する第１の関連性スコア及び第２の関連性スコアに基づいて、初期言語モデルのネットワークパラメータを更新する。

【0027】

理解できることとして、上記Ｓ１０１～Ｓ１０３はソートモデルの一回のトレーニング操作である。各第１のサンプルペアに対応する第１の関連性スコア及び第２の関連性スコアに基づいて、初期言語モデルのネットワークパラメータを更新した後、更新された言語モデルが収束すると、直接に、更新後の初期言語モデルをトレーニング必要があるソートモデルとして決定し、更新された言語モデルが収束しないと、更新された言語モデルが収束するまで、Ｓ１０１～Ｓ１０３を実行し続け、かつ収束する時の言語モデルをトレーニング必要があるソートモデルとして決定し、それによりソートモデルを取得する。

【0028】

理解できるように、本開示の実施例において、初期言語モデルに基づいてソートモデルをトレーニングする場合、まず複数の第１のサンプルペア、及び各第１のサンプルペアのタグ情報を取得することができる；各第１のサンプルペアに対して、第１のサンプルペアにおける第１の候補テキストに対応する第１の目標要約を決定する；かつ第１の検索テキスト、第１の候補テキストの第１のタイトルテキスト、及び第１の目標要約を初期言語モデルに入力し、第１のサンプルペアに対応する第２の相関性スコアを取得する；このように第１の候補テキスト全体の代わりに、第１の目標要約によってソートモデルのトレーニングに参加し、かつ第１の検索テキスト、第１のタイトルテキスト及び第１の目標要約に基づいて各第１のサンプルペアに対応する第２の関連性スコアを決定し、さらに各第１のサンプルペアに対応する第１の関連性スコア及び第２の関連性スコアに基づいて、初期言語モデルのネットワークパラメータを更新し、従来技術に比べて、計算リソースの消費を大幅に低減し、大きな計算リソースを占用することによりソートモデルの性能が悪いという問題を解決し、それにより候補テキストのソート効率を効果的に向上させる。

【0029】

上記図１に示す実施例に基づいて、本開示の実施例において、如何にして第１のサンプルペアにおける第１の候補テキストに対応する第１の目標要約を決定するかを理解しやすくするために、以下、下記図３に示す実施例により、如何にして第１のサンプルペアにおける第１の候補テキストに対応する第１の目標要約を決定するかについて詳細に説明する。

【0030】

第２の実施例
図３は、本開示の第２の実施例に係る第１の候補テキストに対応する第１の目標要約を決定する方法のフローチャートであり、該決定方法は同様にソフトウェア及び／又はハードウェア装置により実行されてもよく、例えば、該ハードウェア装置は端末又はサーバであってもよい。例示的には、図３に示すように、該第１の候補テキストに対応する第１の目標要約を決定する方法は以下のステップを含むことができる。

【0031】

Ｓ３０１において、第１の候補テキストに分割処理を行い、第１の候補テキストに対応する複数の候補センテンスを取得する。
例示的には、第１の候補テキストに分割処理を行う際に、予め設定された記号に基づいて、第１の候補テキストに分割処理を行うことにより、該第１の候補テキストに対応する複数の候補センテンスを取得することができる；例えば、予め設定された記号は句点、セミコロン又は他の句読点などであってもよく、テキストに対する分割処理を正確に実現することができればよい。従来のテキスト分割モデルを採用して、第１の候補テキストに分割処理を行うことにより、該第１の候補テキストに対応する複数の候補センテンスを取得することもできる。具体的に実際の必要に応じて設定し、ここで、如何にして第１の候補テキストに分割処理を行うかについて、本開示の実施例は具体的に制限しない。

【0032】

Ｓ３０２において、各候補センテンスに対して、候補センテンスに単語分割処理を行い、候補センテンスに対応する複数の分割単語を取得する；複数の分割単語から、第１の検索テキストに含まれる分割単語と同じ複数の目標分割単語を決定する；各目標分割単語に対応する重要度、及び各目標分割単語のセンテンスに占める重みに基づいて、候補センテンスに対応する初期スコアを決定する。
複数の候補センテンスにおける各候補センテンスに対応する初期スコアを取得する際に、各候補センテンスに対応する初期スコアの取得方式が類似するため、重複な説明を避けるために、複数の候補センテンスのうちのいずれかの候補センテンスを例にして、如何にして各候補センテンスに対応する初期スコアを取得するかについて説明する。

【0033】

いずれかの候補センテンスに対応する初期スコアを取得する際に、まず該候補センテンスに単語分割処理を行うことができ、該単語分割処理の方法は従来の単語分割方法を採用することができ、ここで説明を省略する。単語分割処理により、該候補センテンスに対応する複数の分割単語を取得することができる；さらに複数の分割単語から、第１の検索テキストに含まれる分割単語と同じである複数の目標分割単語を選別する；理解できることとして、本開示の実施例において、候補センテンスに単語分割処理を行う以外に、第１の検索テキストにも単語分割処理を行う必要があり、該第１の検索テキストに対応する複数の分割単語を取得し、重要度辞書に基づいて、該第１の検索テキストに対応する複数の分割単語における各分割単語に対応する重要度を決定する；このように候補センテンスに対応する複数の目標分割単語を決定した後、第１の検索テキストに対応する各分割単語に対応する重要度に基づいて、複数の目標分割単語における各目標分割単語に対応する重要度を決定し、各目標分割単語に対応する重要度と重みとの積を計算し、計算された各目標分割単語の積の和を、候補センテンスに対応する初期スコアとして決定し、それにより候補センテンスに対応する初期スコアを決定することができる。

【0034】

Ｓ３０３において、各候補センテンスに対応する初期スコアに基づいて、第１の候補テキストに対応する第１の目標要約を決定する。
例示的には、各候補センテンスに対応する初期スコアに基づいて、第１の候補テキストに対応する第１の目標要約を決定する際に、二つの可能な実現方式を含むことができる。

【0035】

一つの可能な実施形態において、各候補センテンスに対応する初期スコアに基づいて、初期スコアが最も高い候補センテンスを、第１の候補テキストに対応する第１の目標要約として決定することができる。このように第１の候補テキストの代わりに、初期スコアが最も高い候補センテンスを第１の目標要約としてソートモデルのトレーニングに参加することにより、ソートモデルの計算量を大幅に減少させ、計算リソースの消費を低減する。

【0036】

別の可能な実施形態において、各候補センテンスに対応する初期スコアに基づいて、初期スコアが最も高い候補センテンスを第１の候補センテンスとして決定する；各目標分割単語のセンテンスに占める重みを減少させ、かつ各目標分割単語に対応する重要度と、各目標分割単語が減少後の重みに基づいて、候補センテンスに対応する目標スコアを決定し、目標スコアが最も高い候補センテンスを第２の候補センテンスとして決定する；第１の候補センテンスと第２の候補センテンスを第１の候補テキストに対応する第１の目標要約として決定する。

【0037】

説明すべきものとして、このような可能な実施形態において、各目標分割単語のセンテンスに占める重みを減少させた後、目標分割単語に対応する重要度と減少後の重みに基づいて、候補センテンスに対応する目標スコアを決定する方法は、上記候補センテンスに対応する初期スコアを決定する方法と類似し、ここでは説明を省略する。

【0038】

このような可能な実施形態において、各目標分割単語のセンテンスに占める重みを減少させることにより、第２の候補センテンスを決定し、かつ第１の候補センテンスと第２の候補センテンスを第１の候補テキストに対応する第１の目標要約として決定し、このようにして決定された第１の目標要約が第１の検索テキストにおけるより多くの単語をカバーすることにより、第１の候補テキストが第１の目標要約をより十分に説明し、第１の候補テキストの代わりに第１の目標要約によってソートモデルのトレーニングに参加し、ソートモデルの計算量を大幅に減少させ、計算リソースの消費を低減させる。

【0039】

上記Ｓ３０１～Ｓ３０３を参照し、第１の候補テキストに対応する第１の目標要約を決定する際に、下記部分の擬似コードを参照することができる：

【数1】

【0040】

ここで、第１行～第４行は、第１の候補テキストに分割処理を行い、かつ第１の候補テキストの複数の候補センテンスに単語分割処理を行うことを記述する；第７行～第９行は、各目標分割単語に対応する重要度、及び各目標分割単語のセンテンスに占める重みに基づいて、候補センテンスに対応する初期スコアを決定することを記述する；第１０行は、初期スコアが最も高い候補センテンスを、第１の候補テキストに対応する第１の目標要約として決定することを記述する；第１３行は、各目標分割単語のセンテンスに占める重みを減少させることを記述する。

【0041】

理解できるように、本開示の実施例において、第１の目標要約を決定する際に、まず第１の候補テキストに分割処理を行い、第１の候補テキストに対応する複数の候補センテンスを取得する；かつ各候補センテンスに対応する初期スコアに基づいて、第１の候補テキストに対応する第１の目標要約を決定することができる。このように第１の候補テキストの代わりに第１の目標要約によってソートモデルのトレーニングに参加すれば、ソートモデルの計算量を大幅に減少させ、計算リソースの消費を低減し、それによりその後に第１の目標要約に基づいてソートモデルをトレーニングする際に、大きな計算リソースを占用することによりソートモデルの性能が悪いという問題を解決し、それにより候補テキストのソート効率を効果的に向上させることができる。

【0042】

上記図１又は図３に示す実施例に基づいて、理解しやすいように、上記実施例において、如何にして第１の検索テキスト、第１のタイトルテキスト及び第１の目標要約の間の第２の関連性スコアを取得するか、各第１のサンプルペアに対応する第１の関連性スコアと第２の関連性スコアに基づいて、初期言語モデルのネットワークパラメータを更新することにより、ソートモデルを取得するかについて、説明しました。以下、図４に示す実施例三により、如何にしてソートモデルを取得するかについて説明する。

【0043】

第３の実施例
図４は、本開示の第３の実施例に係る第１のサンプルペアに対応する第２の関連性スコアを決定する方法のフローチャートであり、該決定方法は同様にソフトウェア及び／又はハードウェア装置により実行されてもよく、例えば、該ハードウェア装置は端末又はサーバであってもよい。例示的には、図４に示すように、該第１のサンプルペアに対応する第２の関連性スコアを決定する方法は以下のステップを含むことができる。

【0044】

Ｓ４０１において、第１の検索テキスト、第１のタイトルテキスト、及び第１の目標要約を初期言語モデルに入力し、第１のタイトルテキスト及び第１の検索テキストに対応するベクトル表示、及び第１の目標要約に対応するベクトル表示をそれぞれ取得する。

【0045】

例示的には、本開示の実施例において、初期言語モデルは、要約符号化モデル、タイトル及び検索テキスト符号化モデルを含み、例示的に、図５に示すように、図５は、本開示の実施例に係る初期言語モデルの構造概略図であり、まず第１のタイトルテキスト及び第１の検索テキストをタイトル及び検索テキスト符号化モデルに入力することができ、タイトル及び検索テキスト符号化モデルの出力は第１のタイトルテキスト及び第１の検索テキストに対応するベクトル表示であり、E［q,t］として記述され、ｑは第１のタイトルテキストを表し、ｔは第１の検索テキストを表し、これにより、第１のタイトルテキスト及び第１の検索テキストに対応するベクトル表示を取得する；及び第１の目標要約を要約符号化モデルに入力し、要約符号化モデルの出力は第１の目標要約に対応するベクトル表示であり、E_sとして記述され、ｓは第１の目標要約を表し、これにより、第１の目標要約に対応するベクトル表示を取得する。理解できるように、一般的に、第１のタイトルテキスト及び第１の検索テキストをタイトル及び検索テキスト符合化モデルに入力する前に、まず第１のタイトルテキスト及び第１の検索テキストのワードベクトルを決定し、かつ第１のタイトルテキスト及び第１の検索テキストのワードベクトルをタイトル及び検索テキスト符合化モデルに入力する必要がある；同様に、第１の目標要約を要約符合化モデルに入力する前に、一般的に、まず第１の目標要約のワードベクトルを決定し、かつ第１の目標要約のワードベクトルをタイトル及び検索テキスト符合化モデルに入力する必要がある。

【0046】

第１のタイトルテキストと第１の検索テキストに対応するベクトル表示、第１の目標要約に対応するベクトル表示をそれぞれ取得した後に、下記Ｓ４０２を実行することができる。
Ｓ４０２において、第１のタイトルテキスト及び第１の検索テキストに対応するベクトル表示、及び第１の目標要約に対応するベクトル表示に基づいて、第１のサンプルペアに対応する第２の関連性スコアを決定する。
例示的には、初期言語モデルは総括符号化モデルをさらに含み、図５に示すように、第１のタイトルテキストと第１の検索テキストに対応するベクトル表示、及び第１の目標要約に対応するベクトル表示を、総括符号化モデルに入力し、該総括符号化モデルの出力は第１のサンプルペアに含まれた第１の検索テキストと第１の候補テキストとの間の関連性、すなわち、該第１のサンプルペアに対応する第２の関連性スコアであり、該第１のサンプルペアに対応する第２の関連性スコアは、初期言語モデルで予測された第１のサンプルペアに対応する関連性スコアである。

【0047】

理解できるように、上記ステップＳ４０１及びＳ４０２は複数の第１のサンプルペアのうちのいずれかの第１のサンプルペアを例として、如何にして該第１のサンプルペアに対応する第２の関連性スコアを取得するかについて説明し、他の第１のサンプルペアの第２の関連性スコアの取得方式は類似し、ここで、本開示の実施例は説明を省略する。

【0048】

Ｓ４０３において、各第１のサンプルペアに対応する第１の関連性スコア及び第２の関連性スコアに基づいて、初期言語モデルのネットワークパラメータを更新する。
例示的には、まず各第１のサンプルペアに対応する第１の関連性スコア及び第２の関連性スコアに基づいて、各第１のサンプルペアに対応する第１の損失関数を構築することができる；該複数の第１のサンプルペアがソートモデルをトレーニングするための同一ロットのサンプルペアであるため、各第１のサンプルペアに対応する第１の損失関数に基づいて、該複数の第１のサンプルペアに対応する平均損失関数を決定することができ、第１の平均損失関数と表記することができ、さらに第１の平均損失関数が収束するまで、第１の平均損失関数に基づいて初期言語モデルのネットワークパラメータを更新し、収束する時の言語モデルをソートモデルとして決定し、それにより言語モデルに基づくソートモデルを取得することができる。

【0049】

理解できるように、本開示の実施例において、言語モデルに基づくソートモデルを取得する際に、各第１のサンプルペアに対して、まずいずれかの第１のサンプルペアに対応する第１の検索テキスト、第１のタイトルテキスト、及び第１の目標要約を初期言語モデルに入力し、第１のタイトルテキストと第１の検索テキストに対応するベクトル表示、及び第１の目標要約に対応するベクトル表示をそれぞれ取得する；第１のタイトルテキストと第１の検索テキストに対応するベクトル表示、及び第１の目標要約に対応するベクトル表示に基づいて、該第１のサンプルペアに対応する第２の関連性スコアを決定する；さらに各第１のサンプルペアに対応する第１の関連性スコア及び第２の関連性スコアに基づいて、初期言語モデルのネットワークパラメータを更新し、それによりソートモデルを取得し、従来の技術に比べて、ソートモデルの性能とソート効率をバランスし、計算リソースの消費を大幅に低減し、大きな計算リソースを占用することによりソートモデル性能が悪いという問題を解決し、それにより候補テキストのソート効率を効果的に向上させる。

【0050】

上記図１又は図４に示す実施例に基づいて、さらに、トレーニングして得られたソートモデルから出力された関連性スコアを他のコンポーネント、例えば適時性、品質、権威性等のモジュールと互換性させるために、さらに点思想と対思想を組み合わせて、上記実施例で得られたソートモデルのネットワークパラメータをさらに最適化することができる。

【0051】

例示的には、点思想と対思想を組み合わせて、上記図１又は図４に示された実施例で得られたソートモデルのネットワークパラメータをさらに最適化する場合、さらに手動でマークされた検索サンプルペアを追加的に取得することができ、本開示の実施例において、上記実施例に示された第１のサンプルペアを区別するために、ここでは第２のサンプルペアと表記することができ、上記実施例に示された第１のサンプルペアと異なり、ここでの第２のサンプルペアには一つの検索テキスト及びそれに対応する二つの候補テキストを含み、該検索テキストは第２の検索テキストと表記することができ、対応する二つの候補テキストは第２の候補テキストと第３の候補テキストと表記することができ、かつ該手動でマークされた複数の第２のサンプルペアに基づいて、上記図１又は図４に示す実施例で得られたソートモデルのネットワークパラメータをさらに最適化し、具体的には下記図６に示す実施例四を参照することができる。

【0052】

第４の実施例
図６は、本開示の第４の実施例に係るソートモデルのネットワークパラメータを最適化する方法のフローチャートであり、該決定方法は同様にソフトウェア及び／又はハードウェア装置により実行されてもよく、例えば、該ハードウェア装置は端末又はサーバであってもよい。例示的には、図６に示すように、該ソートモデルのネットワークパラメータを最適化する方法は以下のステップを含むことができる。

【0053】

Ｓ６０１において、複数の第２のサンプルペア、及び各第２のサンプルペアの第１のタグ情報及び第２のタグ情報を取得する。ここで、各第２のサンプルペアは、第２の検索テキスト及び第２の検索テキストに対応する第２の候補テキスト及び第３の候補テキストを含み、第１のタグ情報は、第２の検索テキストと第２の候補テキストとの間の第３の関連性スコアを説明するために用いられ、第２のタグ情報は、第２の検索テキストと第３の候補テキストとの間の第４の関連性スコアを説明するために用いられる。

【0054】

入力された第２の検索テキストに基づいて、該第２の検索テキストに対応する複数の候補テキストを対応してリコールする。ここで、異なる候補テキストと第２の検索テキストとの間の関連性スコアが異なる。本開示の実施例において、各第２のサンプルペアに含まれる第２の検索テキストに対応する第２の検索テキスト及び第２の候補テキストは、第２の検索テキストに対応する複数の候補テキストのうちの任意の二つであってもよく、第２の検索テキストとの間の関連性スコアが高い二つの候補テキストに限定されず、対応する第１のタグ情報により第２の検索テキストと第２の候補テキストとの間の第３の関連性スコアをマークすれば、対応する第２のタグ情報により第２の検索テキストと第３の候補テキストとの間の第４の関連性スコアをマークすればよい。

【0055】

例示的には、複数の第２のサンプルペアを取得する際に、データベースから予め記憶された複数の第２のサンプルペアを直接取得してもよく、第３の者トレーニングシステムから複数の第２のサンプルペアを取得してもよく、他の方式で複数の第２のサンプルペアを取得してもよく、具体的には実際の需要に応じて設定することができ、ここで、複数の第２のサンプルペアの取得方式に対して、本開示の実施例は具体的に制限しない。

【0056】

Ｓ６０２において、各第２のサンプルペアについて、第２の候補テキストに対応する第２の目標要約及び第３の候補テキストに対応する第３の目標要約をそれぞれ決定する；第２の検索テキスト、第２の候補テキストの第２のタイトルテキスト、及び第２の目標要約を初期言語モデルに入力し、第２の検索テキスト、第２のタイトルテキスト及び第２の目標要約の間の第５の関連性スコアを取得する；第２の検索テキスト、第３の候補テキストの第３のタイトルテキスト、及び第３の目標要約を初期言語モデルに入力し、第２の検索テキスト、第３のタイトルテキスト及び第３の目標要約の間の第６の関連性スコアを取得する。

【0057】

複数の第２のサンプルペアにおける各第２のサンプルペアにおける第２の検索テキスト、第２のタイトルテキスト及び第２の目標要約の間の第５の関連性スコア、及び第２の検索テキスト、第３のタイトルテキスト及び第３の目標要約の間の第６の関連性スコアを取得する際に、各第２のサンプルペアにおける第２の検索テキスト、第２のタイトルテキスト及び第２の目標要約の間の第５の関連性スコア、及び第２の検索テキスト、第３のタイトルテキスト及び第３の目標要約の間の第６の関連性スコアの取得方式が類似するため、説明を省略するために、複数の第１のサンプルペアのうちのいずれか一つの第２のサンプルペアを例として、如何にして各第２のサンプルペアにおける第２の検索テキスト、第２のタイトルテキスト及び第２の目標要約の間の第５の関連性スコア、及び第２の検索テキスト、第３のタイトルテキスト及び第３の目標要約の間の第６の関連性スコアを取得するかを説明する。

【0058】

いずれかの第２のサンプルペアにおける第２の検索テキスト、第２のタイトルテキスト及び第２の目標要約の間の第５の関連性スコア、及び第２の検索テキスト、第３のタイトルテキスト及び第３の目標要約の間の第６の関連性スコアを取得する際に、まず第２の候補テキストに対応する第２の目標要約及び第３の候補テキストに対応する第３の目標要約をそれぞれ決定することができ、理解できることとして、本開示の実施例において、第２の候補テキストに対応する第２の目標要約及び第３の候補テキストに対応する第３の目標要約を決定する方式は、上記実施例において第１の候補テキストに対応する第１の目標要約を決定する方式と同じであり、上記実施例の関連説明を参照することができ、ここで、本開示の実施例では説明を省略する。

【0059】

第２の候補テキストに対応する第２の目標要約及び第３の候補テキストに対応する第３の目標要約をそれぞれ決定した後、第２の検索テキスト、第２の候補テキストの第２のタイトルテキスト、及び第２の目標要約を初期言語モデルに入力し、第２の検索テキスト、第２のタイトルテキスト及び第２の目標要約の間の第５の関連性スコアを取得し、及び第２の検索テキスト、第３の候補テキストの第３のタイトルテキスト、及び第３の目標要約を初期言語モデルに入力し、第２の検索テキスト、第３のタイトルテキスト及び第３の目標要約の間の第６の関連性スコアを取得することができ、その具体的な実現方式は。上記実施例における第１の検索テキスト、第１の候補テキストの第１のタイトルテキスト、及び第１の目標要約を初期言語モデルに入力して第１のサンプルペアに対応する第２の関連性スコアを取得する実現方式と類似し、上記実施例の関連説明を参照することができ、ここで、本開示の実施例では説明を省略する。

【0060】

Ｓ６０２により、複数の第２のサンプルペアにおける各第２のサンプルペアにおける第２の検索テキスト、第２のタイトルテキスト及び第２の目標要約の間の第５の関連性スコア、及び第２の検索テキスト、第３のタイトルテキスト及び第３の目標要約の間の第６の関連性スコアを取得することができ、説明しやすいために、各第２のサンプルペアにおける第２の検索テキスト、第２のタイトルテキスト及び第２の目標要約の間の第５の関連性スコア、及び第２の検索テキスト、第３のタイトルテキスト及び第３の目標要約の間の第６の関連性スコアを、各第２のサンプルペアに対応する第５の相関性スコア及び第６の相関性スコアと記し、このようにして各第２のサンプルペアの第１のタグ情報及び第２のタグ情報に基づいてソートモデルのネットワークパラメータを共に最適化することができ、即ち下記Ｓ６０３を実行する；ここで、第１のタグ情報は、第２の検索テキストと第２の候補テキストとの間の第３の関連性スコアを説明するために用いられ、第２のタグ情報は、第２の検索テキストと第３の候補テキストとの間の第４の関連性スコアを説明するために用いられる。

【0061】

Ｓ６０３において、各第２のサンプルペアに対応する第３の相関性スコア、第４の相関性スコア、第５の相関性スコア及び第６の相関性スコアに基づいて、ソートモデルのネットワークパラメータを最適化する。
例示的には、各第２のサンプルペアについて、第２のサンプルペアに対応する第３の関連性スコア及び第５の相関性スコアに基づいて、点に基づく第２の損失関数を決定し、及び第２のサンプルペアに対応する第４の相関性スコア及び第６の相関性スコアに基づいて、点に基づく第３の損失関数を決定することができる；第２のサンプルペアに対応する第５の相関性スコア及び第６の相関性スコアに基づいて、ペアに基づく第４の損失関数を決定する；さらに第２のサンプルペアに対応する第２の損失関数、第３の損失関数及び第４の損失関数に基づいて、第２のサンプルペアに対応する損失関数を決定し、具体的には下記式を参照することができる。

【数2】

【0062】

ここで、Lは、第２のサンプルペアに対応する損失関数を示し、第２のサンプルペアの第１のタグ情報が指示した第３の関連性スコア値が第２のタグ情報が指示した第４の関連性スコア値より小さいと仮定すると、Y_iは、第２のサンプルペアの第１のタグ情報を示し、Y_jは、第２のサンプルペアの第２のタグ情報を示し、f（q,d_i）は、ソートモデルが予測した第２の検索テキスト、第２のタイトルテキスト及び第２の目標要約の間の第５の関連性スコアを示し、f（q,d_j）は、ソートモデルが予測した第２の検索テキスト、第３のタイトルテキスト及び第３の目標要約の間の第６の関連性スコアを示し、τは、一つのハイパーパラメータを示し、αは、係数を示し、

【数3】

【0063】

理解されるように、上記式において、max(0,f(q,di)-F(q,dj)+τ) は、第２のサンプルペアに対応する第５の相関性スコア及び第６の相関性スコアに基づいて、対に基づく第４の損失関数を決定すると理解されることができ、σ（f(q,d_i),Y_i） は、第２のサンプルペアに対応する第３の相関性スコア及び第５の相関性スコアに基づいて、点に基づく第２の損失関数を決定すると理解されることができ、σ（f(q,d_j),Y_j） は、第２のサンプルペアに対応する第４の相関性スコア及び第６の相関性スコアに基づいて、点に基づく第３の損失関数を決定すると理解されることができる。

【0064】

上記式を結合して、各第２のサンプルペアに対応する損失関数をそれぞれ決定することができ、該複数の第２のサンプルペアが同一ロットのソートモデルを最適化するためのネットワークパラメータのサンプルペアであることにより、各第２のサンプルペアに対応する損失関数に基づいて、該複数の第２のサンプルペアに対応する平均損失関数を決定し、第２の平均損失関数と表記することができ、さらに第２の平均損失関数が収束するまで、第２の平均損失関数に基づいて初期言語モデルのネットワークパラメータを更新し、収束する時の言語モデルを最適化された目標ソートモデルとして決定し、それにより言語モデルに基づく目標ソートモデルを取得する。

【0065】

分かるように、本開示の実施例において、まず複数の第２のサンプルペアを取得し、かつ各第２のサンプルペアに対応する第３の関連性スコア、第４の相関性スコア、第５の相関性スコア及び第６の関連性スコアに基づいて、ソートモデルのネットワークパラメータを最適化することにより、最適化された目標ソートモデルを取得し、このようにして人工アンカーの微調整に基づいて目標ソートモデルの予測結果を有意な範囲内にアンカーすることができ、それにより微調整目標と人工の好ましい関連性をできるだけ一致させ、それにより目標ソートモデルの解釈可能性及び安定性を効果的に向上させ、それにより例えばタイムアウト性、品質、権限等のモジュールという他のコンポーネントとの互換性をよりよく適合させることができる。

【0066】

第５の実施例
図７は、本開示の実施例が提供するソートモデルのトレーニング装置７０の構造概略図であり、例示的に、図７に示すように、該ソートモデルのトレーニング装置７０は、以下を含むことができる：
第１の取得手段７０１であって、複数の第１のサンプルペア、及び各第１のサンプルペアのタグ情報を取得するために用いられ、ここで、各第１のサンプルペアは、第１の検索テキスト及び第１の検索テキストに対応する第１の候補テキストを含み、タグ情報は、第１の検索テキストと第１の候補テキストとの間の第１の関連性スコアを説明するために用いられる。
第１の処理手段７０２であって、各第１のサンプルペアに対して、第１のサンプルペアにおける第１の候補テキストに対応する第１の目標要約を決定する；かつ第１の検索テキスト、第１の候補テキストの第１のタイトルテキスト、及び第１の目標要約を初期言語モデルに入力し、第１のサンプルペアに対応する第２の関連性スコアを得るために用いられる。
更新手段７０３であって、各第１のサンプルペアに対応する第１の関連性スコア及び第２の関連性スコアに基づいて、初期言語モデルのネットワークパラメータを更新するために用いられる。

【0067】

選択的には、第１の処理手段７０２は、第１の処理モジュール及び第２の処理モジュールを含む。
第１の処理モジュールは、第１の検索テキスト、第１のタイトルテキスト、及び第１の目標要約を初期言語モデルに入力し、第１のタイトルテキスト及び第１の検索テキストに対応するベクトル表示、及び第１の目標要約に対応するベクトル表示をそれぞれ取得するために用いられる。
第２の処理モジュールは、第１のタイトルテキストおよび第１の検索テキストに対応するベクトル表示、および第１の目標要約に対応するベクトル表示に基づいて、第１のサンプルペアに対応する第２の関連性スコアを決定するために用いられる。
選択的には、初期言語モデルは、要約符号化モデル、及びタイトル及び検索テキストの符号化モデルを含み、第１の処理モジュールは、第１の処理サブモジュール及び第２の処理サブモジュールを含む。

【0068】

第１の処理サブモジュールは、第１のタイトルテキスト及び第１の検索テキストをタイトル及び検索テキスト符合化モデルに入力し、第１のタイトルテキスト及び第１の検索テキストに対応するベクトル表示を取得するために用いられる。
第２の処理サブモジュールは、第１の目標要約を要約符号化モデルに入力し、第１の目標要約に対応するベクトル表示を取得するために用いられる。
選択的には、初期言語モデルは、総括符号化モデルをさらに含み、第２の処理モジュールは、第３の処理サブモジュールを含む。

【0069】

第３の処理サブモジュールは、第１のタイトルテキストと第１の検索テキストに対応するベクトル表示、および第１の目標要約に対応するベクトル表示を総括符号化モデルに入力し、第１のサンプルペアに対応する第２の関連性スコアを取得するために用いられる。
選択的には、第１の処理モジュールは、第３の処理モジュール、第４の処理モジュール及び第５の処理モジュールをさらに含む。
第３の処理モジュールは、第１の候補テキストに分割処理を行い、第１の候補テキストに対応する複数の候補センテンスを取得するために用いられる。
第４の処理モジュールは、各候補センテンスに対して、候補センテンスに単語分割処理を行い、候補センテンスに対応する複数の分割単語を取得し、複数の分割単語から、第１の検索テキストに含まれる分割単語と同じである複数の目標分割単語を決定し、各目標分割単語に対応する重要度値、及び各目標分割単語のセンテンスに占める重みに基づいて、候補センテンスに対応する初期スコアを決定するために用いられる。
第５の処理モジュールは、各候補センテンスに対応する初期スコアに基づいて、第１の候補テキストに対応する第１の目標要約を決定するために用いられる。

【0070】

選択的には、第５の処理モジュールは、第４の処理サブモジュール及び第５の処理サブモジュールを含む。
第４の処理サブモジュールは、各候補センテンスに対応する初期スコアに基づいて、初期スコアが最も高い候補センテンスを、第１の候補テキストに対応する第１の目標要約として決定するために用いられる。
あるいは、第５の処理サブモジュールは、各候補センテンスに対応する初期スコアに基づいて、初期スコアが最も高い候補センテンスを第１の候補センテンスとして決定し、各目標分割単語のセンテンスに占める重みを減少させ、各目標分割単語に対応する重要度値と、各目標単語分割が減少した後の重みとに基づいて、候補センテンスに対応する目標スコアを決定し、目標スコアが最も高い候補センテンスを第２の候補センテンスとして決定し、第１の候補センテンスと第２の候補センテンスを第１の候補テキストに対応する第１の目標要約として決定するために用いられる。

【0071】

選択的には、更新手段７０３は、第１の更新モジュール及び第２の更新モジュールを含む。
第１の更新モジュールは、各第１のサンプルペアに対応する第１の関連性スコア及び第２の関連性スコアに基づいて、各第１のサンプルペアに対応する第１の損失関数を構築するために用いられる。
第２の更新モジュールは、第１の平均損失関数が収束するまで、各第１のサンプルペアに対応する第１の損失関数の第１の平均損失関数に基づいて、初期言語モデルのネットワークパラメータを更新し、収束する際の言語モデルをソートモデルとして決定するために用いられる。

【0072】

選択的には、該ソートモデルのトレーニング装置７０は、第２の取得手段、第２の処理手段及び最適化手段をさらに含む。
第２の取得手段は、複数の第２のサンプルペア、及び各第２のサンプルペアの第１のタグ情報及び第２のタグ情報を取得するために用いられ、ここで、各第２のサンプルペアは、第２の検索テキスト及び第２の検索テキストに対応する第２の候補テキスト及び第３の候補テキストを含み、第１のタグ情報は。第２の検索テキストと第２の候補テキストとの間の第３の関連性スコアを説明するために用いられ、第２のタグ情報は、第２の検索テキストと第３の候補テキストとの間の第４の関連性スコアを説明するために用いられる。

【0073】

第２の処理手段は、各第２のサンプルペアに対して、第２の候補テキストに対応する第２の目標要約及び第３の候補テキストに対応する第３の目標要約をそれぞれ決定し、第２の検索テキスト、第２の候補テキストの第２のタイトルテキスト、及び第２の目標要約を初期言語モデルに入力し、第２の検索テキスト、第２のタイトルテキスト及び第２の目標要約の間の第５の関連性スコアを取得し、第２の検索テキスト、第３の候補テキストの第３のタイトルテキスト、及び第３の目標要約を初期言語モデルに入力し、第２の検索テキスト、第３のタイトルテキスト及び第３の目標要約の間の第６の関連性スコアを取得するために用いられる。
最適化手段は、各第２のサンプルペアに対応する第３の関連性スコア、第４の関連性スコア、第５の関連性スコア及び第６の関連性スコアに基づいて、ソートモデルのネットワークパラメータを最適化することに用いられる。

【0074】

選択的には、最適化手段は、第１の最適化モジュール、第２の最適化モジュール及び第３の最適化モジュールを含む。
第１の最適化モジュールは、各第２のサンプルペアに対して、第２のサンプルペアに対応する第３の関連性スコア及び第５の相関性スコアに基づいて、点に基づく第２の損失関数を決定し、第２のサンプルペアに対応する第４の相関性スコア及び第６の相関性スコアに基づいて、点に基づく第３の損失関数を決定し、第２のサンプルペアに対応する第５の相関性スコア及び第６の相関性スコアに基づいて、対に基づく第４の損失関数を決定するために用いられる。
第２の最適化モジュールは、各第２のサンプルペアに対応する第２の損失関数、第３の損失関数及び第４の損失関数に基づいて、各第２のサンプルペアに対応する損失関数を決定するために用いられる。
第３の最適化モジュールは、第２の平均損失関数が収束するまで、各第２のサンプルペアに対応する損失関数の第２の平均損失関数に基づいて、ソートされたネットワークパラメータを更新し、収束する際のソートモデルを目標ソートモデルとして決定するために用いられる。

【0075】

本開示の実施例が提供するソートモデルのトレーニング装置７０は、上記いずれかの実施例に示されたソートモデルのトレーニング方法の技術的解決手段を実行することができ、その実現原理及び有益な効果は、ソートモデルのトレーニング方法の実現原理及び有益な効果と類似し、ソートモデルのトレーニング方法の実現原理及び有益な効果を参照することができ、ここでは説明を省略する。

【0076】

本開示の実施例によれば、本開示は、電子機器及び可読記憶媒体をさらに提供する。
本開示の実施例によれば、本開示は、コンピュータプログラム製品をさらに提供し、コンピュータプログラム製品は、可読記憶媒体に記憶されるコンピュータプログラムを含み、電子機器の少なくとも一つのプロセッサは、可読記憶媒体からコンピュータプログラムを読み取り、少なくとも一つのプロセッサがコンピュータプログラムを実行することにより電子機器が上記いずれかの一つの実施例が提供した技術案を実行する。

【0077】

図８は、本発明の実施例が提供する電子機器８０の概略ブロック図である。電子機器は、例えば、ラップトップ型コンピュータ、デスクトップコンピュータ、作業台、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータという様々な形式のデジタルコンピュータを表示する。電子機器は、例えば、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル装置及び他の類似の計算装置という様々な形式の移動装置をさらに表示してもよい。本明細書に示された部材、それらの接続及び関係、及びそれらの機能は例示に過ぎず、本明細書に記載された及び／又は要求された本開示の実現を限定するものではない。

【0078】

図８に示すように、電子機器８０は、計算手段８０１を含み、リードオンリーメモリ（ＲＯＭ）８０２に記憶されたコンピュータプログラム又は記憶手段８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行することができる。ＲＡＭ ８０３には、さらに記憶装置８０の操作に必要な様々なプログラム及びデータを記憶することができる。計算手段８０１、ＲＯＭ ８０２、およびＲＡＭ ８０３は、バス８０４により相互に接続されている。入出力インタフェース８０５もバス８０４に接続されている。
機器８０における複数の部品はＩ／Ｏインタフェース８０５に接続され、例えばキーボード、マウス等の入力手段８０６と、例えば様々なタイプのディスプレイ、スピーカ等の出力手段８０７と、例えば磁気ディスク、光ディスク等の記憶手段８０８と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信手段８０９と、含む。通信手段８０９は、機器８０が例えばインターネット等のコンピュータネットワーク及び／又は各種の電気通信網を介して他の機器と情報／データを送受信することを許可する。

【0079】

計算手段８０１は、各種の処理および計算能力を有する汎用および／または専用の処理モジュールであってもよい。計算手段８０１のいくつかの例示として、中央処理ユニット（ＣＰＵ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、各種専用の人工知能（ＡＩ）計算チップ、各種動作機械学習モデルアルゴリズムの計算手段、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、任意の適切なプロセッサ、コントローラ、マイクロコントローラ等を含むが、これらに限定されるものではない。計算手段８０１は、例えばソートモデルのトレーニング方法という上記説明した各方法及び処理を実行する。例えば、いくつかの実施例において、ソートモデルのトレーニング方法は、コンピュータソフトウェアプログラムとして実現され、例えば記憶手段８０８という機械可読媒体に一時的に含まれる。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ ８０２及び／又は通信手段８０９を介して装置８０にロード及び／又はインストールされる。コンピュータプログラムがＲＡＭ ８０３にロードされて計算手段８０１により実行される場合、上記ソートモデルのトレーニング方法の一つ又は複数のステップを実行することができる。代替的に、他の実施例において、計算手段８０１は他の任意の適切な方式（例えば、ファームウェア）によりソートモデルのトレーニング方法を実行するように構成されてもよい。

【0080】

本明細書で説明したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、専用集積回路（ＡＳＩＣ）、専用標準製品（ＡＳＳＰ）、チップ上システムのシステム（ＳＯＣ）、負荷プログラマブルロジック装置（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現してもよい。これらの様々な実施形態は、一つ又は複数のコンピュータプログラムにおいて実施してもよく、該一つ又は複数のコンピュータプログラムは少なくとも一つのプログラム可能なプロセッサを含むプログラム可能なシステムで実行され及び／又は解釈されてもよく、該プログラム可能なプロセッサは専用又は汎用のプログラム可能なプロセッサであってもよく、記憶システム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及び命令を受信し、データ及び命令を該記憶システム、該少なくとも一つの入力装置、及び該少なくとも一つの出力装置に伝送してもよい。

【0081】

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、それによって、プログラムコードがプロセッサ又はコントローラにより実行される時に、フローチャート及び／又はブロック図に規定された機能・操作が実施される。プログラムコードは、機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるか又は完全に遠隔機器又はサーバで実行されてもよい。

【0082】

本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は電子機器に使用され、又は命令実行システム、装置又は電子機器と組み合わせて使用されるプログラムを含んで又は記憶してもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外線、又は半導体システム、装置又は電子機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、１つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。

【0083】

ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを備え、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供してもよい。他の種類の装置は、さらにユーザとの対話を提供してもよく、例えば、ユーザに提供されたフィードバックは、いかなる形式のセンシングフィードバック（例えば、ビジョンフィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、かついかなる形式（音声入力、語音入力又は、触覚入力を含む）でユーザからの入力を受信してもよい。

【0084】

ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されてもよい。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によりシステムの部品を互いに接続してもよい。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを例示的に含む。

【0085】

コンピュータシステムは、クライアント及びサーバを含むことができる。クライアントとサーバとは一般的に離れており、通常は通信ネットワークを介して対話する。クライアントとサーバとの関係は、相応的なコンピュータ上で動作し、クライアント―サーバの関係を有するコンピュータプログラムによって生成される。サーバはクラウドサーバであってもよく、クラウドコンピューティングサーバ又はクラウドホストと呼ばれ、クラウドコンピューティングサービスシステムのうちの一つのホスト製品であり、それにより従来の物理ホストとＶＰＳサービス（「Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ」、又は「ＶＰＳ」と略称する）において、存在する管理難度が大きく、サービス拡張性が弱いという欠陥を解決する。サーバは、配布式システムのサーバであってもよく、又はブロックチェーンを結合したサーバであってもよい。

【0086】

理解すべきこととして、以上に示した様々な形式のフローを使用し、ステップを改めてソーティングし、追加するか又は削除することができる。例えば、本出願に記載の各ステップは、並列的に実行されてもよいし異なる順序で実行されてもよく、本開示の技術的解決手段の所望の結果を実現することができれば、本明細書はここで限定されない。
上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解すべきである。本開示の精神と原則内で行われる任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2022-09-28

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００４

【補正方法】変更

【補正の内容】

【0004】

本開示は、ソートモデルのトレーニング方法及び装置、電子機器、コンピュータ可読記憶媒体、コンピュータプログラムを提供し、ソートを行う場合、候補テキストのソート効率を向上させる。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】変更

【補正の内容】

【0009】

本開示の第５の態様によれば、コンピュータプログラムであって、可読記憶媒体に記憶されるコンピュータプログラムであり、電子機器の少なくとも一つのプロセッサが前記可読記憶媒体から前記コンピュータプログラムを読み取り、前記少なくとも一つのプロセッサが前記コンピュータプログラムを実行することにより電子機器が上記第１の態様に記載のソートモデルのトレーニング方法を実行するコンピュータプログラムを提供している。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００７６

【補正方法】変更

【補正の内容】

【0076】

本開示の実施例によれば、本開示は、電子機器及び可読記憶媒体をさらに提供する。
本開示の実施例によれば、本開示は、コンピュータプログラムをさらに提供し、コンピュータプログラムは、可読記憶媒体に記憶されるコンピュータプログラムであり、電子機器の少なくとも一つのプロセッサは、可読記憶媒体からコンピュータプログラムを読み取り、少なくとも一つのプロセッサがコンピュータプログラムを実行することにより電子機器が上記いずれかの一つの実施例が提供した技術案を実行する。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００７８

【補正方法】変更

【補正の内容】

【0078】

図８に示すように、電子機器８０は、計算手段８０１を含み、リードオンリーメモリ（ＲＯＭ）８０２に記憶されたコンピュータプログラム又は記憶手段８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行することができる。ＲＡＭ ８０３には、さらに電子機器８０の操作に必要な様々なプログラム及びデータを記憶することができる。計算手段８０１、ＲＯＭ ８０２、およびＲＡＭ ８０３は、バス８０４により相互に接続されている。入出力インタフェース８０５もバス８０４に接続されている。
電子機器８０における複数の部品はＩ／Ｏインタフェース８０５に接続され、例えばキーボード、マウス等の入力手段８０６と、例えば様々なタイプのディスプレイ、スピーカ等の出力手段８０７と、例えば磁気ディスク、光ディスク等の記憶手段８０８と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信手段８０９と、含む。通信手段８０９は、電子機器８０が例えばインターネット等のコンピュータネットワーク及び／又は各種の電気通信網を介して他の機器と情報／データを送受信することを許可する。

【手続補正6】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

それぞれ第１の検索テキスト及び前記第１の検索テキストに対応する第１の候補テキストが含まれる複数の第１のサンプルペア、及び各前記第１のサンプルペアの前記第１の検索テキストと前記第１の候補テキストとの間の第１の関連性スコアを説明するためのタグ情報を取得することと、
前記各第１のサンプルペアについて、前記第１のサンプルペアにおける第１の候補テキストに対応する第１の目標要約を決定し、前記第１の検索テキスト、前記第１の候補テキストの第１のタイトルテキスト、及び前記第１の目標要約を初期言語モデルに入力し、前記第１のサンプルペアに対応する第２の関連性スコアを取得することと、
前記各第１のサンプルペアに対応する第１の関連性スコア及び第２の関連性スコアに基づいて、前記初期言語モデルのネットワークパラメータを更新することと、を含む
ことを特徴とするソートモデルのトレーニング方法。

【請求項2】

前記第１の検索テキスト、前記第１の候補テキストの第１のタイトルテキスト、及び前記第１の目標要約を初期言語モデルに入力し、前記第１のサンプルペアに対応する第２の関連性スコアを取得することは、
前記第１の検索テキスト、前記第１のタイトルテキスト、及び前記第１の目標要約を初期言語モデルに入力し、前記第１のタイトルテキストと前記第１の検索テキストに対応するベクトル表示、及び前記第１の目標要約に対応するベクトル表示をそれぞれ取得することと、
前記第１のタイトルテキストと前記第１の検索テキストに対応するベクトル表示、および前記第１の目標要約に対応するベクトル表示に基づいて、前記第１のサンプルペアに対応する第２の関連性スコアを決定することと、を含む
請求項１に記載のソートモデルのトレーニング方法。

【請求項3】

前記初期言語モデルは、要約符号化モデル、及びタイトルと検索テキスト符号化モデルを含み、
前記第１の検索テキスト、前記第１のタイトルテキスト、及び前記第１の目標要約を初期言語モデルに入力し、前記第１のタイトルテキストと前記第１の検索テキストに対応するベクトル表示、及び前記第１の目標要約に対応するベクトル表示をそれぞれ取得することは、
前記第１のタイトルテキスト及び前記第１の検索テキストを前記タイトルと検索テキスト符合化モデルに入力し、前記第１のタイトルテキスト及び前記第１の検索テキストに対応するベクトル表示を取得することと、
前記第１の目標要約を前記要約符号化モデルに入力し、前記第１の目標要約に対応するベクトル表示を取得することと、を含む
請求項２に記載のソートモデルのトレーニング方法。

【請求項4】

前記初期言語モデルは総括符号化モデルをさらに含み、
前記第１のタイトルテキストと前記第１の検索テキストに対応するベクトル表示、および前記第１の目標要約に対応するベクトル表示に基づいて、前記第１のサンプルペアに対応する第２の関連性スコアを決定することは、
前記第１のタイトルテキストと前記第１の検索テキストに対応するベクトル表示、および前記第１の目標要約に対応するベクトル表示を前記総括符号化モデルに入力し、前記第１のサンプルペアに対応する第２の関連性スコアを取得することを含む
請求項２又は３に記載のソートモデルのトレーニング方法。

【請求項5】

前記第１のサンプルペアにおける第１の候補テキストに対応する第１の目標要約を決定することは、
前記第１の候補テキストに分割処理を行い、前記第１の候補テキストに対応する複数の候補センテンスを取得することと、
各候補センテンスに対して、前記候補センテンスに単語分割処理を行い、前記候補センテンスに対応する複数の分割単語を取得し、前記複数の分割単語から、前記第１の検索テキストに含まれる分割単語と同じである複数の目標分割単語を決定し、各目標分割単語に対応する重要度値と、前記各目標分割単語のセンテンスに占める重みに基づいて、前記候補センテンスに対応する初期スコアを決定することと、
前記各候補センテンスに対応する初期スコアに基づいて、前記第１の候補テキストに対応する前記第１の目標要約を決定することと、を含む
請求項１～４のいずれか一項に記載のソートモデルのトレーニング方法。

【請求項6】

前記各候補センテンスに対応する初期スコアに基づいて、前記第１の候補テキストに対応する前記第１の目標要約を決定することは、
前記各候補センテンスに対応する初期スコアに基づいて、初期スコアが最も高い候補センテンスを、前記第１の候補テキストに対応する前記第１の目標要約として決定することと、
又は、
前記各候補センテンスに対応する初期スコアに基づいて、初期スコアが最も高い候補センテンスを第１の候補センテンスとして決定し、前記各目標分割単語の前記センテンスに占める重みを減少させ、前記各目標分割単語に対応する重要度値と、前記各目標分割単語が減少した後の重みとに基づいて、前記候補センテンスに対応する目標スコアを決定し、目標点数が最も高い候補センテンスを第２の候補センテンスとして決定し、前記第１の候補センテンスと前記第２の候補センテンスを前記第１の候補テキストに対応する前記第１の目標要約として決定することと、を含む
請求項５に記載のソートモデルのトレーニング方法。

【請求項7】

前記各第１のサンプルペアに対応する第１の関連性スコア及び第２の関連性スコアに基づいて、前記初期言語モデルのネットワークパラメータを更新することは、
前記各第１のサンプルペアに対応する第１の関連性スコア及び第２の関連性スコアに基づいて、前記各第１のサンプルペアに対応する第１の損失関数を構築することと、
第１の平均損失関数が収束するまで、前記各第１のサンプルペアに対応する第１の損失関数の第１の平均損失関数に基づいて、前記初期言語モデルのネットワークパラメータを更新し、収束する際の言語モデルをソートモデルとして決定することと、を含む
請求項１～６のいずれか一項に記載のソートモデルのトレーニング方法。

【請求項8】

それぞれ第２の検索テキスト及び前記第２の検索テキストに対応する第２の候補テキスト及び第３の候補テキストが含まれる複数の第２のサンプルペア、及び各前記第２のサンプルペアの前記第２の検索テキストと前記第２の候補テキストとの間の第３の関連性スコアを説明するための第１のタグ情報及び前記第２の検索テキストと前記第３の候補テキストとの間の第４の関連性スコアを説明するための第２のタグ情報を取得することと、
前記各第２のサンプルペアについて、前記第２の候補テキストに対応する第２の目標要約及び前記第３の候補テキストに対応する第３の目標要約をそれぞれ決定し、前記第２の検索テキスト、前記第２の候補テキストの第２のタイトルテキスト、及び前記第２の目標要約を初期言語モデルに入力し、前記第２の検索テキスト、前記第２のタイトルテキスト及び前記第２の目標要約の間の第５の関連性スコアを取得し、前記第２の検索テキスト、前記第３の候補テキストの第３のタイトルテキスト、及び前記第３の目標要約を初期言語モデルに入力し、前記第２の検索テキスト、前記第３のタイトルテキスト及び前記第３の目標要約の間の第６の関連性スコアを取得することと、
前記各第２のサンプルペアに対応する第３の関連性スコア、第４の相関性スコア、第５の相関性スコア及び第６の関連性スコアに基づいて、前記ソートモデルのネットワークパラメータを最適化することと、をさらに含む
請求項７に記載のソートモデルのトレーニング方法。

【請求項9】

前記各第２のサンプルペアに対応する第３の関連性スコア、第４の相関性スコア、第５の相関性スコア及び第６の相関性スコアに基づいて、前記ソートモデルのネットワークパラメータを最適化することは、
前記各第２のサンプルペアについて、前記第２のサンプルペアに対応する第３の関連性スコア及び前記第５の相関性スコアに基づいて、点に基づく第２の損失関数を決定し、前記第２のサンプルペアに対応する第４の相関性スコア及び前記第６の相関性スコアに基づいて、点に基づく第３の損失関数を決定し、前記第２のサンプルペアに対応する第５の相関性スコア及び前記第６の相関性スコアに基づいて、対に基づく第４の損失関数を決定することと、
前記各第２のサンプルペアに対応する第２の損失関数、第３の損失関数及び第４の損失関数に基づいて、前記各第２のサンプルペアに対応する損失関数を決定することと、
第２の平均損失関数が収束するまで、前記各第２のサンプルペアに対応する損失関数の第２の平均損失関数に基づいて、前記ソートのネットワークパラメータを更新し、収束する際のソートモデルを目標ソートモデルとして決定することと、を含む
請求項８に記載のソートモデルのトレーニング方法。

【請求項10】

それぞれ第１の検索テキスト及び前記第１の検索テキストに対応する第１の候補テキストが含まれる複数の第１のサンプルペア、及び各前記第１のサンプルペアの前記第１の検索テキストと前記第１の候補テキストとの間の第１の関連性スコアを説明するためのタグ情報を取得する第１の取得手段と、
前記各第１のサンプルペアに対して、前記第１のサンプルペアにおける第１の候補テキストに対応する第１の目標要約を決定し、前記第１の検索テキスト、前記第１の候補テキストの第１のタイトルテキスト、及び前記第１の目標要約を初期言語モデルに入力し、前記第１のサンプルペアに対応する第２の関連性スコアを取得するために用いられる第１の処理手段と、
前記各第１のサンプルペアに対応する第１の関連性スコア及び第２の関連性スコアに基づいて、前記初期言語モデルのネットワークパラメータを更新するために用いられる更新手段と、を含む
ことを特徴とするソートモデルのトレーニング装置。

【請求項11】

前記第１の処理手段は、第１の処理モジュール及び第２の処理モジュールを含み、
前記第１の処理モジュールは、前記第１の検索テキスト、前記第１のタイトルテキスト、及び前記第１の目標要約を初期言語モデルに入力し、前記第１のタイトルテキストと前記第１の検索テキストに対応するベクトル表示、及び前記第１の目標要約に対応するベクトル表示をそれぞれ取得するために用いられ、
前記第２の処理モジュールは、前記第１のタイトルテキストと前記第１の検索テキストに対応するベクトル表示、および前記第１の目標要約に対応するベクトル表示に基づいて、前記第１のサンプルペアに対応する第２の関連性スコアを決定するために用いられる
ことを特徴とする請求項１０に記載のソートモデルのトレーニング装置。

【請求項12】

前記初期言語モデルは、要約符号化モデル、及びタイトルと検索テキスト符号化モデルを含み、前記第１の処理モジュールは、第１の処理サブモジュール及び第２の処理サブモジュールを含み、
前記第１の処理サブモジュールは、前記第１のタイトルテキスト及び前記第１の検索テキストを前記タイトルと検索テキスト符合化モデルに入力し、前記第１のタイトルテキスト及び前記第１の検索テキストに対応するベクトル表示を取得するために用いられ、
前記第２の処理サブモジュールは、前記第１の目標要約を前記要約符号化モデルに入力し、前記第１の目標要約に対応するベクトル表示を取得するために用いられる
ことを特徴とする請求項１１に記載のソートモデルのトレーニング装置。

【請求項13】

前記初期言語モデルは、総括符号化モデルをさらに含み、前記第２の処理モジュールは、第３の処理サブモジュールを含み、
前記第３の処理サブモジュールは、前記第１のタイトルテキストと前記第１の検索テキストに対応するベクトル表示、および前記第１の目標要約に対応するベクトル表示を前記総括符号化モデルに入力し、前記第１のサンプルペアに対応する第２の関連性スコアを取得するために用いられる
ことを特徴とする請求項１１又は１２に記載のソートモデルのトレーニング装置。

【請求項14】

第１の処理モジュールは、第３の処理モジュール、第４の処理モジュール及び第５の処理モジュールをさらに含み、
前記第３の処理モジュールは、前記第１の候補テキストに分割処理を行い、前記第１の候補テキストに対応する複数の候補センテンスを取得するために用いられ、
前記第４の処理モジュールは、各候補センテンスに対して、前記候補センテンスに単語分割処理を行い、前記候補センテンスに対応する複数の分割単語を取得し、前記複数の分割単語から、前記第１の検索テキストに含まれる分割単語と同じである複数の目標分割単語を決定し、各目標分割単語に対応する重要度値と、前記各目標分割単語のセンテンスに占める重みに基づいて、前記候補センテンスに対応する初期スコアを決定するために用いられ、
前記第５の処理モジュールは、前記各候補センテンスに対応する初期スコアに基づいて、前記第１の候補テキストに対応する前記第１の目標要約を決定するために用いられる
ことを特徴とする請求項１０～１３のいずれか一項に記載のソートモデルのトレーニング装置。

【請求項15】

前記第５の処理モジュールは、第４の処理サブモジュール及び第５の処理サブモジュールを含み、
前記第４の処理サブモジュールは、前記各候補センテンスに対応する初期スコアに基づいて、初期スコアが最も高い候補センテンスを、前記第１の候補テキストに対応する前記第１の目標要約として決定するために用いられ、
又は、
前記第５の処理サブモジュールは、前記各候補センテンスに対応する初期スコアに基づいて、初期スコアが最も高い候補センテンスを第１の候補センテンスとして決定し、前記各目標分割単語の前記センテンスに占める重みを減少させ、かつ前記各目標分割単語に対応する重要度値と、前記各目標単語分割が減少した後の重みとに基づいて、前記候補センテンスに対応する目標スコアを決定し、目標スコアが最も高い候補センテンスを第２の候補センテンスとして決定し、前記第１の候補センテンスと前記第２の候補センテンスを前記第１の候補テキストに対応する前記第１の目標要約として決定するために用いられる
ことを特徴とする請求項１４に記載のソートモデルのトレーニング装置。

【請求項16】

前記更新手段は、第１の更新モジュール及び第２の更新モジュールを含み、
前記第１の更新モジュールは、前記各第１のサンプルペアに対応する第１の関連性スコア及び第２の関連性スコアに基づいて、前記各第１のサンプルペアに対応する第１の損失関数を構築するために用いられ、
前記第２の更新モジュールは、第１の平均損失関数が収束するまで、前記各第１のサンプルペアに対応する第１の損失関数の第１の平均損失関数に基づいて、前記初期言語モデルのネットワークパラメータを更新し、収束する際の言語モデルをソートモデルとして決定するために用いられる
ことを特徴とする請求項１０～１５のいずれか一項に記載のソートモデルのトレーニング装置。

【請求項17】

前記装置は、第２の取得手段、第２の処理手段及び最適化手段をさらに含み、
前記第２の取得手段は、複数の第２のサンプルペア、及び各第２のサンプルペアの第１のタグ情報及び第２のタグ情報を取得するために用いられ、ここで、前記各第２のサンプルペアは、第２の検索テキスト及び前記第２の検索テキストに対応する第２の候補テキスト及び第３の候補テキストを含み、前記第１のタグ情報は、前記第２の検索テキストと前記第２の候補テキストとの間の第３の関連性スコアを説明するために用いられ、前記第２のタグ情報は、前記第２の検索テキストと前記第３の候補テキストとの間の第４の関連性スコアを説明し、
前記第２の処理手段は、前記各第２のサンプルペアに対して、前記第２の候補テキストに対応する第２の目標要約及び前記第３の候補テキストに対応する第３の目標要約をそれぞれ決定し、前記第２の検索テキスト、前記第２の候補テキストの第２のタイトルテキスト、及び前記第２の目標要約を初期言語モデルに入力し、前記第２の検索テキスト、前記第２のタイトルテキスト及び前記第２の目標要約の間の第５の関連性スコアを取得し、前記第２の検索テキスト、前記第３の候補テキストの第３のタイトルテキスト、及び前記第３の目標要約を初期言語モデルに入力し、前記第２の検索テキスト、前記第３のタイトルテキスト及び前記第３の目標要約の間の第６の関連性スコアを取得するために用いられ、
前記最適化手段は、前記各第２のサンプルペアに対応する第３の関連性スコア、第４の関連性スコア、第５の相関性スコア及び第６の関連性スコアに基づいて、前記ソートモデルのネットワークパラメータを最適化するために用いられる
ことを特徴とする請求項１６に記載のソートモデルのトレーニング装置。

【請求項18】

前記最適化手段は、第１の最適化モジュール、第２の最適化モジュール及び第３の最適化モジュールを含み、
前記第１の最適化モジュールは、前記各第２のサンプルペアに対して、前記第２のサンプルペアに対応する第３の関連性スコア及び前記第５の相関性スコアに基づいて、点に基づく第２の損失関数を決定し、前記第２のサンプルペアに対応する第４の相関性スコア及び前記第６の相関性スコアに基づいて、点に基づく第３の損失関数を決定し、前記第２のサンプルペアに対応する第５の相関性スコア及び第６の相関性スコアに基づいて、対に基づく第４の損失関数を決定するために用いられ、
前記第２の最適化モジュールは、前記各第２のサンプルペアに対応する第２の損失関数、第３の損失関数及び第４の損失関数に基づいて、前記各第２のサンプルペアに対応する損失関数を決定するために用いられ、
前記第３の最適化モジュールは、第２の平均損失関数が収束するまで、前記各第２のサンプルペアに対応する損失関数の第２の平均損失関数に基づいて、ランキングのネットワークパラメータを更新し、収束する際のソートモデルを目標ソートモデルとして決定するために用いられる
ことを特徴とする請求項１７に記載のソートモデルのトレーニング装置。

【請求項19】

少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサと通信接続されたメモリと、を含み、
前記メモリに前記少なくとも一つのプロセッサにより実行可能な命令が記憶され、前記命令が前記少なくとも一つのプロセッサにより実行されることにより、前記少なくとも一つのプロセッサが請求項１～９のいずれか一項に記載のソートモデルのトレーニング方法を実行可能である
ことを特徴とする電子機器。

【請求項20】

コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体であって、
前記コンピュータ命令は、コンピュータに請求項１～９のいずれか一項に記載のソートモデルのトレーニング方法を実行させるために用いられる、
ことを特徴とするコンピュータ可読記憶媒体。

【請求項21】

プロセッサにより実行される時に請求項１～９のいずれか一項に記載のソートモデルのトレーニング方法を実現するコンピュータプログラムである、
ことを特徴とするコンピュータプログラム。

【国際調査報告】