(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024159517
(43)【公開日】2024-11-08
(54)【発明の名称】情報処理方法および装置
(51)【国際特許分類】
G06F 40/194 20200101AFI20241031BHJP
【ＦＩ】
G06F40/194
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024041874
(22)【出願日】2024-03-18
(31)【優先権主張番号】202310470808.5
(32)【優先日】2023-04-26
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】ウェイ ジョンジエ
(72)【発明者】
【氏名】フェン ルー
【テーマコード（参考）】
5B109
【Ｆターム（参考）】
5B109VA12
(57)【要約】 （修正有）
【課題】テキストの比較において動詞類似性を考慮することにより、テキスト類似性の比較精度の向上させることが可能な情報処理方法および装置を提供する。
【解決手段】方法は、目標テキストと比較するための参照テキストを取得することと、目標テキストと参照テキスト中の単語の対応の品詞に基づいて、動詞類似度を決定することを含む。動詞類似度は、目標テキストが動詞を含むか、参照テキストが動詞を含むかまたは目標テキストに含まれる動詞と参照テキストに含まれる動詞の類似程度を指示する。方法はまた、少なくとも動詞類似度に基づいて、目標テキストと参照テキスト間の第１類似度を決定することを含む。
【選択図】図４
【解決手段】方法は、目標テキストと比較するための参照テキストを取得することと、目標テキストと参照テキスト中の単語の対応の品詞に基づいて、動詞類似度を決定することを含む。動詞類似度は、目標テキストが動詞を含むか、参照テキストが動詞を含むかまたは目標テキストに含まれる動詞と参照テキストに含まれる動詞の類似程度を指示する。方法はまた、少なくとも動詞類似度に基づいて、目標テキストと参照テキスト間の第１類似度を決定することを含む。
【選択図】図４
【特許請求の範囲】
【請求項1】
目標テキストと比較するための参照テキストを取得すること、
前記目標テキストと前記参照テキストの中の単語に対応する品詞に基づいて、前記目標テキストが動詞を含むか否か、前記参照テキストが動詞を含むか否か、または、前記目標テキストに含まれる動詞と前記参照テキストに含まれる動詞との類似度を指示する動詞類似度を決定すること、
少なくとも前記動詞類似度に基づいて、前記目標テキストと前記参照テキスト間の第１類似度を決定すること、を含む、情報処理方法。
前記目標テキストと前記参照テキストの中の単語に対応する品詞に基づいて、前記目標テキストが動詞を含むか否か、前記参照テキストが動詞を含むか否か、または、前記目標テキストに含まれる動詞と前記参照テキストに含まれる動詞との類似度を指示する動詞類似度を決定すること、
少なくとも前記動詞類似度に基づいて、前記目標テキストと前記参照テキスト間の第１類似度を決定すること、を含む、情報処理方法。
【請求項2】
前記動詞類似度を決定することは、
前記対応の品詞に基づいて、前記目標テキストが動詞を含むか否か、前記参照テキストが動詞を含むか否かを決定すること、および
前記目標テキストが動詞を含み、前記参照テキストが動詞を含むことに応答して、前記目標テキスト中の動詞の定量化表現および前記参照テキスト中の動詞の定量化表現に基づいて、前記動詞類似度を決定すること、を含む、請求項１に記載の方法。
前記対応の品詞に基づいて、前記目標テキストが動詞を含むか否か、前記参照テキストが動詞を含むか否かを決定すること、および
前記目標テキストが動詞を含み、前記参照テキストが動詞を含むことに応答して、前記目標テキスト中の動詞の定量化表現および前記参照テキスト中の動詞の定量化表現に基づいて、前記動詞類似度を決定すること、を含む、請求項１に記載の方法。
【請求項3】
前記第１類似度を決定することは、
前記対応の品詞に基づいて、前記目標テキストが名詞を含むか否か、前記参照テキストが名詞を含むか否かを決定すること、
前記目標テキストが名詞を含み、前記参照テキストが名詞を含むと決定することに応答して、前記目標テキスト中の名詞の定量化表現および前記参照テキスト中の名詞の定量化表現に基づいて、名詞類似度を決定すること、
少なくとも前記動詞類似度および前記名詞類似度に基づいて、前記第１類似度を決定すること、を含む、請求項１に記載の方法。
前記対応の品詞に基づいて、前記目標テキストが名詞を含むか否か、前記参照テキストが名詞を含むか否かを決定すること、
前記目標テキストが名詞を含み、前記参照テキストが名詞を含むと決定することに応答して、前記目標テキスト中の名詞の定量化表現および前記参照テキスト中の名詞の定量化表現に基づいて、名詞類似度を決定すること、
少なくとも前記動詞類似度および前記名詞類似度に基づいて、前記第１類似度を決定すること、を含む、請求項１に記載の方法。
【請求項4】
前記第１類似度を決定することは、
前記目標テキストの文脈に基づいて生成された前記目標テキストの定量化表現、および前記参照テキストの文脈に基づいて生成された前記参照テキストの定量化表現を決定すること、
前記目標テキストの定量化表現および前記参照テキストの定量化表現に基づいて、前記目標テキストと前記参照テキスト間の第２類似度を決定すること、
前記動詞類似度、前記名詞類似度および前記第２類似度に基づいて、前記第１類似度を決定すること、を含む、請求項３に記載の方法。
前記目標テキストの文脈に基づいて生成された前記目標テキストの定量化表現、および前記参照テキストの文脈に基づいて生成された前記参照テキストの定量化表現を決定すること、
前記目標テキストの定量化表現および前記参照テキストの定量化表現に基づいて、前記目標テキストと前記参照テキスト間の第２類似度を決定すること、
前記動詞類似度、前記名詞類似度および前記第２類似度に基づいて、前記第１類似度を決定すること、を含む、請求項３に記載の方法。
【請求項5】
前記第１類似度を決定することは、
前記目標テキストと前記参照テキストの感情極性が互いに反対であるか否かを決定すること、
前記感情極性が互いに反対でないことに応答して、少なくとも前記動詞類似度に基づいて前記第１類似度を決定すること、を含む、請求項１に記載の方法。
前記目標テキストと前記参照テキストの感情極性が互いに反対であるか否かを決定すること、
前記感情極性が互いに反対でないことに応答して、少なくとも前記動詞類似度に基づいて前記第１類似度を決定すること、を含む、請求項１に記載の方法。
【請求項6】
前記目標テキストと前記参照テキストの中の対応テキストの感情極性は、
前記対応テキスト中の感情語の感情値、
前記対応テキストが前記感情語に関連する否定語を含むか否か、または
前記対応テキスト中の前記感情語に関連する程度副詞の程度値のうちの少なくとも１つ、に基づいて決定される、請求項５に記載の方法。
前記対応テキスト中の感情語の感情値、
前記対応テキストが前記感情語に関連する否定語を含むか否か、または
前記対応テキスト中の前記感情語に関連する程度副詞の程度値のうちの少なくとも１つ、に基づいて決定される、請求項５に記載の方法。
【請求項7】
前記参照テキストを取得することは、
複数の候補テキスト中の各候補テキストについて、前記目標テキスト中の各単語の定量化表現および前記候補テキスト中の各単語の定量化表現に基づいて、前記候補テキストと前記目標テキスト間の第３類似度を決定すること、
前記第３類似度が第１閾値類似度よりも大きい候補テキストを前記参照テキストとして決定すること、を含む、請求項１に記載の方法。
複数の候補テキスト中の各候補テキストについて、前記目標テキスト中の各単語の定量化表現および前記候補テキスト中の各単語の定量化表現に基づいて、前記候補テキストと前記目標テキスト間の第３類似度を決定すること、
前記第３類似度が第１閾値類似度よりも大きい候補テキストを前記参照テキストとして決定すること、を含む、請求項１に記載の方法。
【請求項8】
前記目標テキストは第１イベントを記述するために使用され、前記参照テキストは第２イベントを記述するために使用され、
前記方法は、
前記第１類似度が第２閾値類似度よりも大きいことに応答して、前記第１イベントと前記第２イベントが類似関係を有すると判定すること、をさらに含む、請求項１に記載の方法。
前記方法は、
前記第１類似度が第２閾値類似度よりも大きいことに応答して、前記第１イベントと前記第２イベントが類似関係を有すると判定すること、をさらに含む、請求項１に記載の方法。
【請求項9】
請求項１～８のいずれか１項に記載の方法を実行するように構成される少なくとも１つの処理回路を備える、電子装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の例示的な実施例は、一般にコンピュータの分野に関し、特に情報処理方法および装置に関する。
【背景技術】
【0002】
コンピュータ技術の発展に伴い、自然言語処理（ＮＬＰ）は幅広い応用範囲を有し、生産や生活に利便性をもたらしてきた。
【発明の概要】
【発明が解決しようとする課題】
【0003】
いくつかのＮＬＰシナリオでは、異なるテキストを比較して、それらが類似しているかどうかを判定し、例えば、２つの文が類似しているかどうか、２つのフレーズが類似しているかどうかなどを判定する必要がある。テキスト類似性比較の結果は、さらにＮＬＰの結果を決定するために使用され得る。したがって、テキスト類似性比較の精度はＮＬＰ結果の精度にとって重要である。
【課題を解決するための手段】
【0004】
本開示の第１態様では、情報処理方法を提供する。該方法は、目標テキストと比較するための参照テキストを取得すること、前記目標テキストと前記参照テキストの中の単語に対応する品詞に基づいて、動詞類似度を決定すること、動詞類似度は、目標テキストが動詞を含むか否か、および参照テキストが動詞を含むか否か、または目標テキストに含まれる動詞と参照テキストに含まれる動詞の類似程度を指示しており、少なくとも動詞類似度に基づいて、目標テキストと参照テキスト間の第１類似度を決定すること、を含む。
本開示の第２態様では、電子装置を提供する。該電子装置は、少なくとも１つの処理回路を備える。少なくとも１つの処理回路は、目標テキストと比較するための参照テキストを取得し、目標テキストと参照テキストの中の単語に対応する品詞に基づいて、動詞類似度を決定し、動詞類似度は、目標テキストが動詞を含むか否か、および参照テキストが動詞を含むか否か、または目標テキストに含まれる動詞と参照テキストに含まれる動詞の類似程度を指示し、少なくとも動詞類似度に基づいて、目標テキストと参照テキスト間の第１類似度を決定するように構成される。
第２態様のいくつかの実施例では、少なくとも１つの処理回路はさらに、対応の品詞に基づいて、目標テキストが動詞を含むか否か、および参照テキストが動詞を含むか否かを決定し、目標テキストが動詞を含み、参照テキストが動詞を含むと決定することに応答して、目標テキスト中の動詞の定量化表現および参照テキスト中の動詞の定量化表現に基づいて、動詞類似度を決定するように構成される。
第２態様のいくつかの実施例では、少なくとも１つの処理回路はさらに、対応の品詞に基づいて、目標テキストが名詞を含むか否か、参照テキストが名詞を含むか否かを決定し、目標テキストが名詞を含み、参照テキストが名詞を含むと決定することに応答して、目標テキスト中の名詞の定量化表現および参照テキスト中の名詞の定量化表現に基づいて、名詞類似度を決定し、少なくとも動詞類似度および名詞類似度に基づいて、第１類似度を決定するように構成される。
第２態様のいくつかの実施例では、少なくとも１つの処理回路はさらに、目標テキストの文脈に基づいて生成された目標テキストの定量化表現、および参照テキストの文脈に基づいて生成された参照テキストの定量化表現を取得し、目標テキストの定量化表現および参照テキストの定量化表現に基づいて、目標テキストと参照テキスト間の第２類似度を決定し、動詞類似度、名詞類似度および第２類似度に基づいて、第１類似度を決定するように構成される。
第２態様のいくつかの実施例では、少なくとも１つの処理回路はさらに、目標テキストと参照テキストの感情極性が互いに反対であるか否かを決定し、感情極性が互いに反対でないことに応答して、少なくとも動詞類似度に基づいて第１類似度を決定するように構成される。
第２態様のいくつかの実施例では、目標テキストと参照テキスト中の対応テキストの感情極性は、対応テキスト中の感情語の感情値、対応テキストが感情語に関連する否定語を含むか否か、または対応テキスト中の感情語に関連する程度副詞の程度値のうちの少なくとも１つに基づいて決定される。
第２態様のいくつかの実施例では、少なくとも１つの処理回路はさらに、複数の候補テキスト中の各候補テキストについて、目標テキスト中の各単語の定量化表現および候補テキスト中の各単語の定量化表現に基づいて、候補テキストと目標テキスト間の第３類似度を決定し、第３類似度が第１閾値類似度よりも大きい候補テキストを参照テキストとして決定するように構成される。
第２態様のいくつかの実施例では、目標テキストは第１イベントを記述するために使用され、参照テキストは第２イベントを記述するために使用される。少なくとも１つの処理回路はさらに、第１類似度が第２閾値類似度よりも大きいことに応答して、第１イベントと第２イベントが類似関係を有すると決定するように構成される。
本開示の第３態様では、電子装置を提供する。該装置は、少なくとも１つの処理ユニット、および少なくとも１つのメモリを含み、少なくとも１つのメモリは少なくとも１つの処理ユニットに結合され、少なくとも１つの処理ユニットによって実行される指令を記憶するように構成される。指令が少なくとも１つの処理ユニットによって実行されると装置が第１態様の方法を実行する。
本開示の第４態様では、コンピュータ可読記憶媒体を提供する。該コンピュータ可読記憶媒体にコンピュータプログラムが記憶され、コンピュータプログラムがプロセッサによって実行されると第１態様の方法を実現する。
なお、本発明の概要の項に記載された内容は、本開示の実施例のキー特徴または重要な特徴を限定するものではなく、本開示の範囲を限定するものもではない。本開示の他の特徴は以下の説明によってより容易に理解され得ることを理解されたい。
本開示の第２態様では、電子装置を提供する。該電子装置は、少なくとも１つの処理回路を備える。少なくとも１つの処理回路は、目標テキストと比較するための参照テキストを取得し、目標テキストと参照テキストの中の単語に対応する品詞に基づいて、動詞類似度を決定し、動詞類似度は、目標テキストが動詞を含むか否か、および参照テキストが動詞を含むか否か、または目標テキストに含まれる動詞と参照テキストに含まれる動詞の類似程度を指示し、少なくとも動詞類似度に基づいて、目標テキストと参照テキスト間の第１類似度を決定するように構成される。
第２態様のいくつかの実施例では、少なくとも１つの処理回路はさらに、対応の品詞に基づいて、目標テキストが動詞を含むか否か、および参照テキストが動詞を含むか否かを決定し、目標テキストが動詞を含み、参照テキストが動詞を含むと決定することに応答して、目標テキスト中の動詞の定量化表現および参照テキスト中の動詞の定量化表現に基づいて、動詞類似度を決定するように構成される。
第２態様のいくつかの実施例では、少なくとも１つの処理回路はさらに、対応の品詞に基づいて、目標テキストが名詞を含むか否か、参照テキストが名詞を含むか否かを決定し、目標テキストが名詞を含み、参照テキストが名詞を含むと決定することに応答して、目標テキスト中の名詞の定量化表現および参照テキスト中の名詞の定量化表現に基づいて、名詞類似度を決定し、少なくとも動詞類似度および名詞類似度に基づいて、第１類似度を決定するように構成される。
第２態様のいくつかの実施例では、少なくとも１つの処理回路はさらに、目標テキストの文脈に基づいて生成された目標テキストの定量化表現、および参照テキストの文脈に基づいて生成された参照テキストの定量化表現を取得し、目標テキストの定量化表現および参照テキストの定量化表現に基づいて、目標テキストと参照テキスト間の第２類似度を決定し、動詞類似度、名詞類似度および第２類似度に基づいて、第１類似度を決定するように構成される。
第２態様のいくつかの実施例では、少なくとも１つの処理回路はさらに、目標テキストと参照テキストの感情極性が互いに反対であるか否かを決定し、感情極性が互いに反対でないことに応答して、少なくとも動詞類似度に基づいて第１類似度を決定するように構成される。
第２態様のいくつかの実施例では、目標テキストと参照テキスト中の対応テキストの感情極性は、対応テキスト中の感情語の感情値、対応テキストが感情語に関連する否定語を含むか否か、または対応テキスト中の感情語に関連する程度副詞の程度値のうちの少なくとも１つに基づいて決定される。
第２態様のいくつかの実施例では、少なくとも１つの処理回路はさらに、複数の候補テキスト中の各候補テキストについて、目標テキスト中の各単語の定量化表現および候補テキスト中の各単語の定量化表現に基づいて、候補テキストと目標テキスト間の第３類似度を決定し、第３類似度が第１閾値類似度よりも大きい候補テキストを参照テキストとして決定するように構成される。
第２態様のいくつかの実施例では、目標テキストは第１イベントを記述するために使用され、参照テキストは第２イベントを記述するために使用される。少なくとも１つの処理回路はさらに、第１類似度が第２閾値類似度よりも大きいことに応答して、第１イベントと第２イベントが類似関係を有すると決定するように構成される。
本開示の第３態様では、電子装置を提供する。該装置は、少なくとも１つの処理ユニット、および少なくとも１つのメモリを含み、少なくとも１つのメモリは少なくとも１つの処理ユニットに結合され、少なくとも１つの処理ユニットによって実行される指令を記憶するように構成される。指令が少なくとも１つの処理ユニットによって実行されると装置が第１態様の方法を実行する。
本開示の第４態様では、コンピュータ可読記憶媒体を提供する。該コンピュータ可読記憶媒体にコンピュータプログラムが記憶され、コンピュータプログラムがプロセッサによって実行されると第１態様の方法を実現する。
なお、本発明の概要の項に記載された内容は、本開示の実施例のキー特徴または重要な特徴を限定するものではなく、本開示の範囲を限定するものもではない。本開示の他の特徴は以下の説明によってより容易に理解され得ることを理解されたい。
【図面の簡単な説明】
【0005】
添付図面と併せて、以下の詳細な説明を参照することにより、本開示の各実施例の上記および他の特徴、利点及態様はより明らかになるであろう。添付図面では、同一または類似の符号は同一または類似の要素を示す。
【図1】本開示の実施例が実現され得る例示的環境を示す概略図である。
【図2】本開示のいくつかの実施例によるテキスト比較用のアーキテクチャの概略図である。
【図3】本開示のいくつかの実施例によるテキスト比較の例示過程のフローチャートである。
【図4】本開示のいくつかの実施例による情報処理のプロセスを示すフローチャートである。
【図5】本開示を実施する複数の実施例の電子装置を示すブロック図である。
【発明を実施するための形態】
【0006】
以下、添付図面を参照しながら本開示の実施例をより詳細に説明する。添付図面に本開示のいくつかの実施例が示されているが、本開示は様々な形態で実施され得、ここでの実施例に限定されなく、これらの実施例は、本開示をより徹底的かつ完全に理解するために使用されることを理解されたい。本開示の添付図面および実施例は例示的な目的でのみ使用され、本開示の保護範囲を限定することを意図するものではないことを理解されたい。
【0007】
なお、本明細書で提供されるあらゆるセクション／サブセクションのタイトルは限定的なものではないことに留意されたい。本明細書全体を通じて様々な実施例が記載されており、任意の実施例は任意のセクション／サブセクションに含まれ得る。さらに、任意セクション／サブセクションに記載された実施例は、任意の形態で同一セクション／サブセクションおよび／または異なるセクション／サブセクションに記載された任意の他の実施例と組み合わせることができる。
【0008】
本開示の実施例の説明において、用語「含む」および類似の用語は広義的な包含として理解されたく、すなわち、「含むが、これに限定されない」。「基づく」という用語は「少なくとも部分的に基づく」を意味する。「一実施例」または「該実施例」とは「少なくとも１つの実施例」を意味する。「いくつかの実施例」とは「少なくともいくつかの実施例」を意味する。以下に、明確的および暗示的な定義を含み得る。
【0009】
本明細書で使用される「回路」の用語はハードウェア回路および／またはハードウェア回路とソフトウエアの組み合わせを意味する。例えば、回路は、アナログおよび／またはデジタルハードウェア回路とソフトウエア／ファームウェアの組み合わせであってもよい。別の例として、回路は、ソフトウエアを含むハードウェアプロセッサの任意の部分であってもよく、ハードウェアプロセッサは（複数の）デジタル信号プロセッサ、ソフトウエアおよび（複数の）メモリを含み、それらは協働して装置が動作し、各種の機能を実行する。別の例では、回路はハードウェア回路および／またはプロセッサ、例えばマイクロプロセッサまたはマイクロプロセッサの一部であってもよく、操作のためのソフトウエア／ファームウェアを必要とするが、操作する必要がない場合ソフトウエアがなくてもよい。本明細書で使用される用語「回路」は、ハードウェア回路またはプロセッサのみ、またはハードウェア回路またはプロセッサの一部およびその（またはそれらの）付随ソフトウエアおよび／またはファームウェアの実装も含み得る。
【0010】
本明細書で使用される用語「テキスト」とは、任意長さの言語を意味する。一例として、テキストは１つまたは複数の単語、フレーズ、文の一部、文などを意味する。
【0011】
本明細書で使用される用語「イベント」とは、参加者が参加する何らかの行動または状況の発生、または客観的な状態の変化を指す。イベントを記述するテキストは複数の単語を含んでもよく、イベントの発生やイベントのある組成部分を記述するために使用される。形式的に、イベントの要因はイベントのトリガワードや種類、イベントの主要参加者、イベントの発生時間や場所などを含んでもよい。
【0012】
本明細書で使用される用語「類似テキスト対」とは記述が異なるが同じ意味を示すテキストを指す。例えば、テキスト「価格上昇」とテキスト「価格上がり」は類似テキスト対である。同様に、用語「類似イベント対」とは、記述テキストが異なるが同じ意味を表現するイベントを指す。例えば、イベント「価格上昇」とイベント「価格上がり」は類似イベント対である。
【0013】
本明細書で使用される用語「単語」は、任意の適切な粒度を有することができる。例えば、ある言語では、「単語」は１つ以上の単語を含んでもよい。別の言語では、「単語」は１つ以上の文字からなる１つの単語であってもよい。
【0014】
例示的環境の基本原理
図１は、本開示の実施例が実装され得る例示的環境１００の概略図を示す。環境１００は１つまたは複数の参照テキスト１２０-１、１２０-２、……、１２０-Ｎから構成され、参照テキスト１２０とも統一または個別に呼ばれ、Ｎは１以上の整数である。処理すべき目標テキスト１１０に関して、電子装置１５０は、目標テキスト１１０に類似するテキストが存在するかどうかを参照テキスト１２０から調べる。すなわち、電子装置１５０はテキスト類似度の決定を行う。
図１は、本開示の実施例が実装され得る例示的環境１００の概略図を示す。環境１００は１つまたは複数の参照テキスト１２０-１、１２０-２、……、１２０-Ｎから構成され、参照テキスト１２０とも統一または個別に呼ばれ、Ｎは１以上の整数である。処理すべき目標テキスト１１０に関して、電子装置１５０は、目標テキスト１１０に類似するテキストが存在するかどうかを参照テキスト１２０から調べる。すなわち、電子装置１５０はテキスト類似度の決定を行う。
【0015】
環境１００では、電子装置１５０は、端末装置を含む任意のコンピューティング能力を有する装置であってもよい。端末装置は、任意のモバイル端末、固定端末またはポータブル端末であってもよく、携帯電話、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、メディアコンピュータ、マルチメディアコンピュータ、パーソナル通信システム（ＰＣＳ）デバイス、パーソナルナビゲーションデバイス、パーソナルデジタルアシスタント（ＰＤＡ）、オーディオ／ビデオプレーヤー、デジタルカメラ／カムカメラ、ロケータデバイス、テレビジョン受信機、ラジオ放送受信機、電子書籍デバイス、ゲームデバイスまたはそれらの任意の組み合わせ、それらのデバイスを含む付属品および周辺機器またはそれらの任意の組み合わせを含む。電子装置１２０は、サーバー側装置を含む、コンピューティング能力を有する任意の装置であってもよい。サーバー側装置は例えば計算システム／サーバー、例えばメインフレーム、エッジコンピューティングノード、クラウド環境中のコンピューティング装置などを含んでもよい。
【0016】
いくつかの実施例では、目標テキスト１１０と参照テキスト１２０はそれぞれイベントを記述するために使用される。目標テキスト１１０と参照テキスト１２０を比較することによって、記述されたイベントが類似しているかどうかを判定することができる。イベント類似度の決定は事柄グラフ照会または事柄グラフ構築のために使用される。
【0017】
事柄グラフはイベント間進化法則とパターンを記述するための事柄論理知識ベースである。構造的に、事柄グラフはノードとエッジからなる有向グラフであり、ノードはイベントを表し、有向エッジは関係を表し、有向エッジはイベント間の順序、因果、条件および上下位などの論理関係を表す。一例として、目標テキスト１１０は、事柄グラフを照会または検索のステートメントであり、参照テキスト１２０は事柄グラフ中のイベントを記述するステートメントであってもよい。テキスト類似度の決定により、事柄グラフから照会または検索されたイベントを特定することができる。
【0018】
事柄グラフは通常、関連関係を有する多数のイベント対を含む。例えば、因果事柄グラフは通常、因果関係を有する多数のイベント対を含み、イベント間の因果伝達関係を記述する。イベントの数が多いため、事柄グラフの構築過程で表現が異なるが実際の意味が同じであるイベントが多数存在する可能性がある。イベントの類似性を考慮しない場合、事柄グラフに重複ノードが導入され、大量の冗長が生じる。これは、イベント連鎖伝達の精度と浸透度を低下させる。したがって、事柄グラフの構築過程で、ネットワーク構造を単純化し、事柄グラフの品質を向上させるために、イベント類似度決定によりこれらの類似イベントをマージすることができる。
【0019】
別の例として、事柄グラフ構築に適用される場合、目標テキスト１１０は、メディア内容（例えばニュース）から抽出されたイベントを記述するために使用され、参照テキスト１２０は、事柄グラフ中の既存イベントを記述するために使用される。テキスト類似度決定により、新たに抽出されたイベントを既存イベントとマージする必要があるかどうかを判定することができる。
【0020】
いくつかの実施例では、テキスト類似度の決定は検索の推奨に適用され得る。目標テキスト１１０は、検索したい現在キーワードまたはステートメントであってもよく、参照テキスト１２０は検索結果が存在する過去キーワードまたはステートメントであってもよい。テキスト類似度の決定により、現在キーワードまたはステートメントに類似する過去キーワードまたはステートメントの検索結果が、検索の推奨としてユーザに推奨される。
【0021】
いくつかの実施例では、テキスト類似度の決定は自動Ｑ＆Ａに適用され得る。目標テキスト１１０は、現在問題に対応するステートメントである。参照テキスト１２０は、答案がある過去問題または参照問題に対応するステートメントであってもよい。テキスト類似度の決定により、現在問題に類似する過去問題または参照問題を決定し、該過去問題または参照問題の答案を現在問題の答案として使用することができる。
【0022】
いくつかの実施例では、テキスト類似度の決定は、テキスト分類に適用され得る。目標テキスト１１０は、分類すべきテキストである。参照テキスト１２０は、分類したテキストであってもよい。テキスト類似度の決定により、分類すべきテキストに類似する分類したテキストを見つけることができ、該分類したテキストのカテゴリを分類すべきテキストの分類結果として使用することができる。
【0023】
なお、例示的な目的のために環境１００の構造および機能を説明したが、本開示の範囲の任意の限定を意味するものではないことを理解されたい。さらに、上述した応用シナリオは単なる例示であり、本開示の範囲を限定することを意図するものではない。本開示の実施例の情報処理解決策は任意の適切なシナリオに適用され得る。
【0024】
テキストを比較するために、いくつかの類似性計算の解決策を提案した。いくつかの解決策では、２つのテキストが類似しているかどうかを判定するために、２つのテキスト中の名詞間の類似性または文の類似性を考慮する。しかしながら、これでは誤った判定につながる可能性がある。例えば、名詞類似性だけを考慮した場合、「原油価格上がり」と「原油価格下がり」が類似テキストであると誤って判定する可能性がある。
【0025】
以上問題中の１つまたは複数および他の潜在的な問題の少なくとも一部を解決するために、本開示の実施例は情報処理のための解決策を提供する。１つまたは複数の実施例によれば、目標テキストと比較するための参照テキストを取得する。目標テキストと参照テキストの中の単語に対応する品詞に基づいて、動詞類似度を決定する。動詞類似度は、目標テキストが動詞を含むか否か、および参照テキストが動詞を含むか否か、または目標テキストに含まれる動詞と参照テキストに含まれる動詞の類似程度を指示する。少なくとも動詞類似度に基づいて、目標テキストと参照テキストが類似しているか否かを判定する。
【0026】
このように、テキストの比較において動詞類似性を考慮することにより、テキスト類似性の比較精度の向上に有利である。テキスト類似性比較精度の向上により、ＮＬＰ結果精度の向上に有利である。例えば、事柄グラフの応用シナリオでは、ユーザが興味を持っているイベントの関連事柄グラフを正確に照会することができ、または高品質の事柄グラフを構築するために事柄グラフの冗長性を低減するのに役立つ。またさらに、テキスト分類のシナリオでは、正確なテキスト分類の達成に有利である。
【0027】
上記の利点および他の利点を理解するために、添付図面と併せて本開示の例示的な実施例を以下に説明する。
【0028】
テキスト比較の例示的なアーキテクチャ
図２は、本開示のいくつかの実施例によるテキスト比較用のアーキテクチャ２００の概略図である。アーキテクチャ２００は、電子装置１５０で実装されてもよい。以下、図１を参照してアーキテクチャ２００を説明する。図２に示すように、アーキテクチャ２００は、目標テキスト１１０と比較するための参照テキスト１２０を取得するように構成された参照テキスト取得モジュール２１０を含む。例えば、事柄グラフのシナリオでは、参照テキスト取得モジュール２１０は事柄グラフ中の既存イベントを記述するテキストを参照テキストとして取得することができる。
図２は、本開示のいくつかの実施例によるテキスト比較用のアーキテクチャ２００の概略図である。アーキテクチャ２００は、電子装置１５０で実装されてもよい。以下、図１を参照してアーキテクチャ２００を説明する。図２に示すように、アーキテクチャ２００は、目標テキスト１１０と比較するための参照テキスト１２０を取得するように構成された参照テキスト取得モジュール２１０を含む。例えば、事柄グラフのシナリオでは、参照テキスト取得モジュール２１０は事柄グラフ中の既存イベントを記述するテキストを参照テキストとして取得することができる。
【0029】
いくつかの実施例では、参照テキスト取得モジュール２１０は、複数の候補テキストから参照テキストを選択することができる。例えば、事柄グラフに大量の既存イベントが存在する可能性があり、これらのイベント中のいくつかは目標テキスト１１０に記述されたイベントとは大きく異なる可能性があるため、これらのイベントを記述するテキストを濾過することができる。すなわち、このような実施例では、大量の候補テキストを粗くスクリーニングすることができる。比較のための参照テキストを選択するために、より効率的なテキスト類似度計算方法を使用してもよい。例えば、Ｊａｃｃａｒｄ類似度または単語ベクトルに基づくテキスト類似度を使用することができる。
【0030】
いくつかの実施例では、参照テキスト取得モジュール２１０は、単語ベクトルに基づくテキスト類似度を採用することができる。各候補テキストについて、目標テキスト１１０から得られた各単語の定量化表現（例えば、単語ベクトル）および候補テキスト中の各単語の定量化表現に基づいて、候補テキストと目標テキスト間の類似度を決定する。例えば、各単語の定量化表現の平均は対応テキストの定量化表現と見なされる。その後、目標テキスト１１０の定量化表現および候補テキストの定量化表現を用いて、目標テキスト１１０と候補テキスト間の類似度を決定することができる。なお、ここで決定された類似度は中間結果であり、参照テキストの選択にのみ使用されることを理解されたい。該類似度が閾値類似度（第１閾値類似度とも呼ばれる）よりも大きい候補テキストは参照テキストとして決定され得る。
【0031】
一例として、ｗｏｒｄ２ｖｅｃモデルを利用してテキスト類似度を計算してもよい。まず、ｗｏｒｄ２ｖｅｃモデルを利用して、目標テキスト１１０と候補テキストをそれぞれエンコードすることができる。ｗｏｒｄ２ｖｅｃモデルを利用して、テキストを構成する各単語の単語ベクトルを生成することができる。これらの単語ベクトルの平均値はテキストを表すテキストベクトルとして使用され得る。その後、目標テキスト１１０のテキストベクトルと候補テキストのテキストベクトルの余弦値を類似度として計算することができる。該類似度が第１閾値類似度よりも大きい場合、これらの２つのテキストが類似している可能性があることを意味する。したがって、該候補テキストは参照テキスト１２０として選択され得る。
【0032】
いくつかの実施例では、テキストスクリーニングの効率を向上させるために、各候補テキストの定量化表現を事前に生成し、バックアップのためにデータベースに記憶することができる。これにより、テキストのスクリーニング過程中、各候補テキストの定量化表現をデータベースから直接読み出し、目標テキストの定量化表現と比較することができる。
【0033】
このような実施例では、高い計算効率のアルゴリズムを採用して、より多数の候補テキストを粗くスクリーニングすることにより、非類似のテキスト対のほとんどを濾過することができる。このように、後続処理の負荷を大幅に軽減することができる。
【0034】
アーキテクチャ２００は、参照テキスト１２０と目標テキスト１１０の中の各単語に対応する品詞に基づいて、単語類似度を決定するように構成された単語類似度決定モジュール２３０を含む。単語類似度は、同じ品詞の単語の観点から、目標テキスト１１０と参照テキスト１２０の類似度を指示することができる。言い換えれば、単語類似度は、目標テキスト１１０がある品詞の単語を含むか、参照テキスト１２０が該品詞の単語を含むか、または目標テキスト１１０に含まれる該品詞の単語と参照テキスト１２０に含まれる該品詞の単語の類似程度を指示することができる。単語類似度決定モジュール２３０は、任意の適切なアルゴリズムを採用して目標テキスト１１０および参照テキスト１２０の単語分割と品詞決定を実行することができる。この点で、本開示の範囲が限定されない。
【0035】
任意の適切な方法で単語類似度を決定することができる。いくつかの実施例では、ある品詞について、目標テキスト１１０と参照テキスト１２０中の１つのテキストが該品詞の単語を含み、別のテキストが該品詞の単語を含まない場合、該品詞の類似度は、非類似を示す第１値、例えば０と決定されてもよい。目標テキスト１１０と参照テキスト１２０のいずれも該品詞の単語を含まない場合、該品詞の類似度は類似を示す第２値、例えば１と決定されてもよい。目標テキスト１１０と参照テキスト１２０はすべて該品詞の単語を含む場合、目標テキスト１１０に含まれる該品詞の単語と参照テキスト１２０に含まれる該品詞の単語間の類似度に基づいて、該品詞の類似度を決定することができる。一例として、目標テキスト１１０に含まれる該品詞の単語の定量化表現（例えば、ｗｏｒｄ２ｖｅｃモデルを用いて得られたベクトル）、および参照テキスト１２０に含まれる該品詞の単語の定量化表現（例えば、ｗｏｒｄ２ｖｅｃモデルを用いて得られたベクトル）間の余弦値を、該品詞の類似度として決定してもよい。
【0036】
単語類似度決定モジュール２３０は、対応の品詞の類似度を決定するために、１つまたは複数のモジュールを含んでもよい。図２に示すように、動詞類似度決定モジュール２３１は、目標テキスト１１０と参照テキスト１２０中の単語の対応の品詞に基づいて、動詞類似度を決定するように構成される。動詞類似度は、目標テキスト１１０と参照テキスト１２０の動詞に関する類似度を指示することができる。言い換えれば、動詞類似度は、目標テキスト１１０が動詞を含むか、参照テキスト１２０が動詞を含むか、または目標テキスト１１０に含まれる動詞と参照テキスト１２０に含まれる動詞の類似程度を指示することができる。
【0037】
任意の適切な方法で動詞類似度を決定することができる。いくつかの実施例では、目標テキスト１１０と参照テキスト１２０中の一方のテキストが動詞を含み、別のテキストが動詞を含まない場合、動詞類似度は非類似を示す第１値、例えば０と決定されてもよい。目標テキスト１１０と参照テキスト１２０がすべて動詞を含まない場合、動詞類似度は類似を示す第２値、例えば１と決定されてもよい。目標テキスト１１０と参照テキスト１２０がすべて動詞を含む場合、目標テキスト１１０に含まれる動詞と参照テキスト１２０に含まれる動詞間の語義類似度を動詞類似度として決定してもよい。一例として、目標テキスト１１０に含まれる動詞の定量化表現および参照テキスト１２０に含まれる動詞の定量化表現に基づいて、動詞類似度を決定する。
【0038】
例えば、ｗｏｒｄ２ｖｅｃモデルを用いて目標テキスト１１０と参照テキスト１２０中の動詞をそれぞれエンコードし、定量化表現ｖ１verbとｖ２verbを得ることができる。定量化表現ｖ１verbとｖ２verbの余弦値cos(ｖ１verb、ｖ２verb)は動詞類似度として決定され得る。テキストに複数の動詞が存在する場合、テキスト動詞の定量化表現はこれらの動詞の定量化表現の平均であってもよく、または各対の動詞ごとに類似度を決定し、その後複数対の動詞の平均類似度を計算してもよい。
【0039】
なお、上記した動詞類似度を決定する方式は単なる例示であり、本開示の範囲を限定することを意図するものではない。他の適切な方式を用いて動詞類似度を決定してもよい。例えば、さらに動詞の数を考慮してもよい。また、動詞の意味論を分析し、意味論に基づいて類似度を決定してもよい。
【0040】
いくつかの実施例では、単語類似度決定モジュール２３０は、目標テキスト１１０と参照テキスト１２０の中の単語に対応する品詞に基づいて、名詞類似度を決定するように構成される名詞類似度決定モジュール２３２をさらに含む。名詞類似度は、目標テキスト１１０と参照テキスト１２０の名詞の類似度を指示することができる。言い換えれば、名詞類似度は、目標テキスト１１０が名詞を含むか、と参照テキスト１２０が名詞を含むか、または目標テキスト１１０に含まれる名詞と参照テキスト１２０に含まれる名詞の類似程度を指示することができる。
【0041】
任意の適切な方法で名詞類似度を決定してもよい。いくつかの実施例では、目標テキスト１１０と参照テキスト１２０中の一方のテキストが名詞を含み、別のテキストが名詞を含まない場合、名詞類似度は非類似を示す第１値、例えば０と決定されてもよい。目標テキスト１１０と参照テキスト１２０がすべて名詞を含まない場合、名詞類似度は類似を示す第２値、例えば１と決定されてもよい。目標テキスト１１０と参照テキスト１２０がすべて名詞を含む場合、目標テキスト１１０に含まれる名詞と参照テキスト１２０に含まれる名詞間の意味論類似度を名詞類似度として決定してもよい。一例として、目標テキスト１１０に含まれる名詞の定量化表現および参照テキスト１２０に含まれる名詞の定量化表現に基づいて、名詞類似度を決定してもよい。
【0042】
例えば、ｗｏｒｄ２ｖｅｃモデルを用いて目標テキスト１１０と参照テキスト１２０中の名詞をそれぞれエンコードし、名詞の定量化表現ｖ１nounとｖ２nounを得ることができる。定量化表現ｖ１nounとｖ２nounの余弦値cos(ｖ１noun、ｖ２noun)は名詞類似度として決定され得る。テキストに複数の名詞が存在する場合、テキスト動詞の定量化表現は、これらの名詞の定量化表現の平均であってもよく、または各対の名詞ごとに類似度を決定し、その後複数対の名詞の平均類似度を計算してもよい。
【0043】
以上のように動詞類似度と名詞類似度を説明した。別のいくつかの実施例では、他の品詞（例えば、形容詞）の類似度を考慮してもよい。例えば、応用シナリオに応じて他の品詞の類似度を考慮してもよい。
【0044】
いくつかの実施例では、アーキテクチャ２００は、目標テキスト１１０と参照テキスト１２０の文脈に基づいて、目標テキスト１１０と参照テキスト１２０間の類似度（第２類似度またはテキスト類似度とも呼ばれる）を決定するように構成されるテキスト類似度決定モジュール２４０をさらに含んでもよい。なお、ここで決定された類似度は中間結果であり、他のタイプの類似度（例えば、動詞類似度、名詞類似度）と組み合わせてテキストの比較結果を提供することができることを理解されたい。
【0045】
テキスト類似度決定モジュール２４０は、目標テキスト１１０の文脈に基づいて生成された目標テキスト１１０の定量化表現、および参照テキスト１２０の文脈に基づいて生成された参照テキスト１２０の定量化表現を取得することができる。その後、テキスト類似度決定モジュール２４０は、目標テキスト１１０の定量化表現および参照テキスト１２０の定量化表現に基づいて、目標テキスト１１０と参照テキスト１２０間のテキスト類似度を決定することができる。
【0046】
例えば、深層学習の言語モデル（例えば、ＢＥＲＴモデル）を使用してそれぞれ目標テキスト１１０と参照テキスト１２０をエンコードし、テキストの定量化表現V１senとV２senを得る。定量化表現V１senの余弦値はテキスト類似度として決定されてもよい。
【0047】
テキストは通常、肯定、否定または中立などの感情極性を有する。いくつかの場合、動詞と名詞の類似度が高いテキストは、反対の感情極性を有することがある。例えば、テキスト「価格上昇」と「価格上昇しにくい」の感情極性は反対である。これを鑑み、いくつかの実施例では、テキストが類似しているかどうかを決定するために、目標テキスト１１０と参照テキスト１２０の感情極性を考慮してもよい。
【0048】
図２に示すように、アーキテクチャ２００は、目標テキスト１１０と参照テキスト１２０の対応極性を決定するように構成された感情極性決定モジュール２２０をさらに含んでもよい。感情極性決定モジュール２２０は任意の適切なアルゴリズムで感情極性を決定することができる。いくつかの実施例では、古典的な機器学習アルゴリズム、例えばプレーンベイズ、サポートベクターマシンなどを採用してもよい。いくつかの実施例では、深層学習アルゴリズム、例えば循環神経ネットワークモデルなどを採用してもよい。
【0049】
いくつかの実施例では、感情辞書を利用して目標テキスト１１０と参照テキスト１２０の対応感情極性を決定してもよい。任意のテキストについて、各種の適切な辞書（例えば、感情辞書、否定語辞書、程度副詞辞書）を利用してテキスト中の感情語、否定語および程度副詞を抽出してもよい。その後、該テキスト中の感情語の感情値、該テキストが感情語に関連する否定語を含むかどうか、または該テキスト中の感情語に関連する程度副詞の程度値に基づいて、テキストの感情極性を決定することができる。
【0050】
一例として、次式に従って目標テキスト１１０または参照テキスト１２０の感情極性を計算することができ：
（１）
【0051】
ここで、Ｓｅは感情極性スコアを示し、iはテキスト中の第iの感情語群を示す。２つの感情語間のすべての否定語および程度副詞は、２つの感情語中の後の感情語とともに感情語群を構成する。例えば、「あまり友好ではない」は感情語群を構成し、「ではない」は否定語であり、「あまり」は程度副詞であり、「友好」は感情語である。Nの値は０または１であり、１は第iの感情語群に否定語が含まれることを示し、０は第iの感情語群に否定語が含まないことを示す。Wadv(i)は第iの感情語群中の程度副詞の程度値または重みを示し、程度副詞が示す強さの度合いに関連する。Wword(i)は第iの感情語群中の感情語の感情値を示し、感情値が０より大きい場合肯定感情を表し、０未満の場合否定感情を表し、０に等しい場合中立感情を表す。
【0052】
アーキテクチャ２００は、目標テキスト１１０と参照テキスト１２０が類似しているかどうかの比較結果を生成するように構成された比較結果生成モジュール２５０をさらに含んでもよい。いくつかの実施例では、比較結果生成モジュール２５０は、感情極性、動詞類似度、名詞類似度およびテキスト類似度に基づいて、目標テキスト１１０と参照テキスト１２０が類似しているかどうかを決定することができる。例えば、感情極性、動詞類似度、名詞類似度およびテキスト類似度の加重和を行う場合がある。加重和の結果が閾値よりも大きい場合、目標テキスト１１０と参照テキスト１２０が類似していると判定することができる。
【0053】
いくつかの実施例では、まず感情極性の一致性判定を実行してもよい。目標テキスト１１０と参照テキスト１２０の感情極性が反対ではない場合、動詞類似度、名詞類似度およびテキスト類似度に基づいて目標テキスト１１０と参照テキスト１２０間の類似度（最終類似度）を決定する。例えば、最終類似度は、動詞類似度、名詞類似度およびテキスト類似度の加重平均であってもよく、次の式に示すように：
（２）
【0054】
ここで、Ｓｃｏｒｅは目標テキスト１１０と参照テキスト１２０間の最終類似度を示し、α、βとγはそれぞれ動詞類似度、名詞類似度およびテキスト類似度の重みを示す。
【0055】
以下、図３を参照して過程３００の一例を説明する。過程３００はテキストＡとテキストＢが類似しているかどうかを比較するために使用され、例えばテキストＡは目標テキスト１１０の例と見なされ、テキストＢは参照テキスト１２０の例と見なされ得る。
【0056】
ブロック３０５では、単語ベクトルに基づいてテキストの類似度を決定する。例えば、図２を参照して上述したように、ｗｏｒｄ２ｖｅｃモデルに基づいて単語ベクトルを生成し、その後単語ベクトル平均に基づくテキストベクトルを決定する。次に、テキストＡとテキストＢのベクトルの余弦値を用いてテキストの類似度（単語ベクトルに基づく類似度とも呼ばれる）を決定してもよい。ブロック３０５では、単語ベクトルに基づく類似度が閾値よりも大きいかどうかを判定する。
【0057】
単語ベクトルに基づく類似度が閾値以下である場合、過程３００は終了し、すなわちテキストＢはさらなる詳細比較のために参照テキストとして使用されない。単語ベクトルに基づく類似度が閾値よりも大きい場合、過程３００はブロック３１５に移行する。ブロック３１５では、テキストＡとテキストＢ中の各単語の品詞を決定する。例えば、任意の適切な方法を用いてそれぞれテキストＡとテキストＢの単語分割を行い、各単語の品詞を決定することができる。
【0058】
次に、感情極性の一致性判定を実行する。ブロック３２０では、辞書を用いて感情語、否定語および程度副詞を照合する。例えば、感情辞書、否定語辞書、程度副詞辞書を用いて、それぞれテキストＡとテキストＢ中の感情語、否定語、程度副詞を決定する。ブロック３２５では、それぞれテキストＡとテキストＢの感情極性を決定する。例えば、それぞれ式（１）に従ってテキストＡの感情極性スコアＳｅＡおよびテキストＢの感情極性スコアＳｅＢを生成する。
【0059】
ブロック３３０では、テキストＡとテキストＢの感情極性が反対であるかどうかを判定する。感情極性が反対の場合、テキストＡとテキストＢが非類似であると見なされ、それに応じて、過程３００は終了する。テキストＡとテキストＢの感情極性が反対ではない場合、２つのテキストが類似している可能性がある。したがって、過程３００はブロック３３５に移行する。
【0060】
ブロック３３５では、それぞれテキストＡとテキストＢ中の名詞の単語ベクトルを決定する。例えば、あるテキストが複数の名詞を含む場合、各名詞の単語ベクトルの和を求めてもよい。ブロック３４０では、テキストＡとテキストＢの名詞類似度を決定する。例えば、テキストＡの名詞集合とテキストＢの名詞集合の単語ベクトル間の余弦値を名詞類似度として計算してもよい。
【0061】
ブロック３４５では、それぞれテキストＡとテキストＢ中の動詞の単語ベクトルを決定する。例えば、あるテキストが複数の動詞を含む場合、各動詞の単語ベクトルの和を求めてもよい。ブロック３５０では、テキストＡとテキストＢの動詞類似度を決定する。例えば、テキストＡの動詞集合とテキストＢの動詞集合の単語ベクトル間の余弦値を動詞類似度として計算してもよい。
【0062】
ブロック３６０では、深層学習モデルに基づいて、それぞれテキストＡとテキストＢのテキストベクトルを取得する。例えば、ＢＥＲＴモデルを用いてテキストＡのテキストベクトルＡとテキストＢのテキストベクトルＢを生成してもよい。ブロック３６５では、深層学習モデルに基づくテキスト類似度を決定する。例えば、テキストベクトルＡとテキストベクトルＢの余弦値は深層学習モデルに基づくテキスト類似度として決定されてもよい。
【0063】
ブロック３７０では、名詞類似度、動詞類似度、深層学習モデルに基づくテキスト類似度の加重和を求め、最終類似度を得る。例えば、式（２）に従って最終類似度を計算してもよい。ブロック３７５では、閾値に基づいて比較結果を生成する。ブロック３７０で決定された最終類似度が閾値以下である場合、テキストＡとテキストＢが非類似であると判定する。
【0064】
ブロック３７０で決定された最終類似度が閾値よりも大きい場合、テキストＡとテキストＢが類似していると判定する。したがって、ＮＬＰタスクの処理結果を得ることができる。例えば、事柄グラフのシナリオでは、テキストＡによって記述されたイベントとテキストＢによって記述されたイベントは類似イベントであると判定することができる。テキスト分類のシナリオでは、テキストＡとテキストＢは同じカテゴリに分類されると判定することができる。
【0065】
なお、過程３００はテキスト類似度決定の例示的な態様に過ぎず、本開示の範囲を限定するものではないことを理解されたい。過程３００に様々な適切な変形を加えてもよい。
【0066】
一例として、表１は例示的な過程３００における主なステップにかかる時間を示す。
【表1】
【0067】
表１から分かるように、テキストをスクリーニングするステップの実行効率が高く、ほとんどの非類似テキストを濾過することができる。洗練されたランキング（感情極性計算、テキスト類似度計算、動詞類似度計算および名詞類似度計算）を用いて残りのテキストをスクリーニングすることにより、類似テキスト対のスクリーニング効率を効果的に向上させることができる。
【0068】
表２は、本開示の実施例の類似度決定方法の性能例を示し、性能パラメータＦ１は精密率とリコール率に関連し、精密率とリコール率を総合的に反映することができる。表２の性能は、３１５個の類似テキスト対および７００個の非類似テキスト対を測定することによって得られたものである。
【表2】
【0069】
いくつかの従来の解決策と比較すると、本開示の実施例の解決策のＦ１値は約１８％～２８％改善され、かかる時間が短い（例えば数秒）。したがって、本開示の実施例によれば、性能の全体的な向上を達成することができる。
【0070】
【0071】
ブロック４１０では、電子装置１５０は目標テキストと比較するための参照テキストを取得する。例えば、事柄グラフシナリオでは、参照テキストは事柄グラフ中の既存イベントを記述するために使用される。
【0072】
いくつかの実施例では、参照テキストを取得するために、電子装置１５０は複数の候補テキスト中の各候補テキストについて、目標テキスト中の各単語の定量化表現および候補テキスト中の各単語の定量化表現に基づいて、候補テキストと目標テキスト間の第３類似度を決定し、第３類似度が第１閾値類似度よりも大きい候補テキストを参照テキストとして決定する。
【0073】
ブロック４２０では、電子装置１５０は目標テキストと参照テキストの中の単語に対応する品詞に基づいて、動詞類似度を決定する。動詞類似度は、目標テキストが動詞を含むか否か、および参照テキストが動詞を含むか否か、または目標テキストに含まれる動詞と参照テキストに含まれる動詞の類似度を指示する。
【0074】
いくつかの実施例では、動詞類似度を決定するために、電子装置１５０は対応の品詞に基づいて、目標テキストが動詞を含むか、および参照テキストが動詞を含むかを決定し、目標テキストが動詞を含み、参照テキストが動詞を含むと決定することに応答して、目標テキスト中の動詞の定量化表現および参照テキスト中の動詞の定量化表現に基づいて、動詞類似度を決定する。
【0075】
ブロック４３０では、電子装置１５０は少なくとも動詞類似度に基づいて、目標テキストと参照テキスト間の第１類似度を決定する。
【0076】
いくつかの実施例では、第１類似度を決定するために、電子装置１５０は対応の品詞に基づいて、目標テキストが名詞を含むか、参照テキストが名詞を含むかを決定し、目標テキストが名詞を含み、参照テキストが名詞を含むと決定することに応答して、目標テキスト中の名詞の定量化表現および参照テキスト中の名詞の定量化表現に基づいて、名詞類似度を決定し、少なくとも動詞類似度および名詞類似度に基づいて、第１類似度を決定する。
【0077】
いくつかの実施例では、第１類似度を決定するために、電子装置１５０は目標テキストの文脈に基づいて生成された目標テキストの定量化表現、および参照テキストの文脈に基づいて生成された参照テキストの定量化表現を決定し、目標テキストの定量化表現および参照テキストの定量化表現に基づいて、目標テキストと参照テキスト間の第２類似度を決定し、動詞類似度、名詞類似度および第２類似度に基づいて、第１類似度を決定する。
【0078】
いくつかの実施例では、第１類似度を決定するために、電子装置１５０は目標テキストと参照テキストの感情極性が互いに反対であるか否かを決定し、感情極性が互いに反対でないことに応答して、少なくとも動詞類似度に基づいて第１類似度を決定する。
【0079】
いくつかの実施例では、目標テキストと参照テキスト中の対応テキストの感情極性は、対応テキスト中の感情語の感情値、対応テキストが感情語に関連する否定語を含むか否か、または対応テキスト中の感情語に関連する程度副詞の程度値のうちの少なくとも１つに基づいて決定される。
【0080】
いくつかの実施例では、目標テキストは第１イベントを記述するために使用され、参照テキストは第２イベントを記述するために使用され、電子装置１５０は、さらに、第１類似度が第２閾値類似度よりも大きいことに応答して、第１イベントと第２イベントが類似関係を有すると決定する。
【0081】
例示装置
図５は、本開示を実施可能な１つまたは複数の実施例の電子装置５００のブロック図である。なお、図５に示す電子装置５００は単なる例示であり、本明細書に記載の実施例の機能および範囲を何らか限定するものではないことを理解されたい。図５に示す電子装置５００は図１の電子装置１５０を実現するために使用されてもよい。
図５は、本開示を実施可能な１つまたは複数の実施例の電子装置５００のブロック図である。なお、図５に示す電子装置５００は単なる例示であり、本明細書に記載の実施例の機能および範囲を何らか限定するものではないことを理解されたい。図５に示す電子装置５００は図１の電子装置１５０を実現するために使用されてもよい。
【0082】
図５に示すように、電子装置５００は汎用電子装置の形態である。電子装置５００の構成要素は、１つまたは複数のプロセッサまたは処理ユニット５１０、メモリ５２０、記憶装置５３０、１つまたは複数の通信ユニット５４０、１つまたは複数の入力装置５５０および１つまたは複数の出力装置５６０を含むが、これらに限定されない。処理ユニット５１０は実際または仮想プロセッサであってもよく、メモリ５２０に記憶されたプログラムに従って各種処理を実行する。マルチプロセッサシステムでは、複数の処理ユニットはコンピュータ実行可能指令を並列に実行して、電子装置５００の並列処理能力を高める。
【0083】
電子装置５００は通常複数のコンピュータ記憶媒体を含む。このような媒体は、電子装置５００がアクセス可能な任意に入手可能な媒体であり得、揮発性および不揮発性媒体、取り外し可能および取り外し不可能な媒体を含むが、これらに限定されない。メモリ５２０は揮発性メモリ（例えばレジスタ、キャッシュ、ランダムアクセスメモリ（ＲＡＭ））、不揮発性メモリ（例えば、読み取り専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ）またはそれらの組み合わせであってもよい。記憶装置５３０は、取り外し可能または取り外し不可能な媒体であってもよく、機器可読媒体、例えばフラッシュメモリドライブ、磁気ディスクまたは任意の他の媒体であってもよく、情報および／またはデータ（例えば訓練用の訓練データ）を記憶して電子装置５００内でアクセス可能である。
【0084】
電子装置５００は、別の取り外し可能／取り外し不可能な、揮発性／不揮発性記憶媒体をさらに含んでもよい。図５には図示されていないが、取り外し可能な不揮発性磁気ディスク（例えば「フロッピーディスク」）から読み取りまたは書き込み可能な磁気ディスクドライブ、および取り外し可能な不揮発性光ディスクから読み取りまたは書き込み可能な光ディスクドライブが提供されてもよい。これらの形態では、各ドライブは１つまたは複数のデータ媒体インタフェースを介してバス（図示せず）に接続される。メモリ５２０は、１つまたは複数のプログラムモジュールを有するコンピュータプログラム製品５２５を含んでもよく、これらのプログラムモジュールは、本開示の各種実施例の各種方法または動作を実行するように構成される。
【0085】
通信ユニット５４０は通信媒体を介して他の電子装置と通信することができる。さらに、電子装置５００の構成要素の機能は単一の計算クラスタまたは複数のコンピューティングマシンとして実装され得、これらのコンピューティングマシンは通信接続を介して通信することができる。したがって、電子装置５００は、１つまたは複数の他のサーバー、ネットワークパーソナルコンピュータ（ＰＣ）または別のネットワークノードの論理接続を介してネットワーク化環境で動作することができる。
【0086】
入力装置５５０は、１つまたは複数の入力装置、例えばマウス、キーボード、トラッキングボールなどであってもよい。出力装置５６０は、１つまたは複数の出力装置、例えばディスプレイ、スピーカ、プリンターなどであってもよい。電子装置５００は、必要に応じて、通信ユニット５４０を介して記憶装置、表示装置などの１つまたは複数の外部装置（図示せず）、ユーザと電子装置５００の相互作用のための１つまたは複数の装置、または電子装置５００と１つまたは複数の他の電子装置との通信のための任意装置（例えば、ネットワークカード、モデムなど）と通信してもよい。このような通信は入力／出力（Ｉ／Ｏ）インタフェース（図示せず）を介して実行されてもよい。
【0087】
本開示の例示的な実施態様によれば、コンピュータ可読記憶媒体を提供し、コンピュータ実行可能指令が記憶され、コンピュータ実行可能指令がプロセッサによって実行されると上記した方法が実施される。本開示の例示的な実施態様によれば、コンピュータプログラム製品をさらに提供し、コンピュータプログラム製品は非一時的なコンピュータ可読媒体に有形に記憶され、コンピュータ実行可能指令を含み、コンピュータ実行可能指令がプロセッサによって実行されると上記した方法が実施される。
【0088】
ここで、本開示に従って実施される方法、装置、デバイスおよびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して本開示の各態様を説明する。なお、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図中の各ブロックの組み合わせは、すべてコンピュータ可読プログラム指令によって実施され得る。
【0089】
これらのコンピュータ可読プログラム指令は汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置の処理ユニットに提供されて機器を製造し、これらの指令がコンピュータまたは他のプログラマブルデータ処理装置の処理ユニットによって実行されると、フローチャートおよび／またはブロック図中の１つまたは複数のブロックで指定された機能／動作の装置を実現する。これらのコンピュータ可読プログラム指令をコンピュータ可読記憶媒体に記憶してもよく、これらの指令によりコンピュータ、プログラマブルデータ処理装置および／または他の装置が特定の方法で動作し、指令が記憶されたコンピュータ可読媒体は、フローチャートおよび／またはブロック図中の１つまたは複数のブロックで指定された機能／動作を実現するための様々な指令を有する製造品を含む。
【0090】
コンピュータ可読プログラム指令がコンピュータ、他のプログラマブルデータ処理装置、または他の装置にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の装置で一連の操作ステップが実行され、コンピュータの実装過程を生成し、コンピュータ、他のプログラマブルデータ処理装置、または他の装置で実行される指令は、フローチャートおよび／またはブロック図中の１つまたは複数のブロックで指定された機能／動作を実現する。
【0091】
添付図面におけるフローチャートおよびブロック図は、本開示の複数の態様に従って実施され得るシステム、方法およびコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を示す。この点で、フローチャートまたはブロック図中の各ブロックはモジュール、プログラムセグメントまたは指令の一部を示し、モジュール、プログラムセグメントまたは指令の一部は、指定された論理機能を実現するための１つまたは複数の実行可能指令を含む。いくつかの代替可能な態様では、ブロックに付けられた機能は添付図面に示す順序と異なる順序で発生することもある。例えば、連続的な２つのブロックは実質的に並列に実行され、かかる機能によって、逆の順序で実行されてもよい。また、ブロック図および／またはフローチャート中の各ブロック、およびブロック図および／またはフローチャート中のブロックの組み合わせは、指定された機能または動作を実行する専用ハードウェアに基づくシステムによって実現されてもよく、または専用ハードウェアとコンピュータ指令の組み合わせによって実現されてもよい。
【0092】
以上、本開示の各態様を説明したが、上記説明は例示的なものであり、網羅的なものではなく、開示された各態様に限定されない。説明された各態様の範囲および精神から逸脱しない限り、多くの修正および変更が当業者には明らかであろう。本明細書で使用される用語の選択は、各態様の原理、実際応用または市場における技術の改良を最もよく説明するため、または当業者が本明細書で開示された各実施態様を理解できるように選択される。
【図1】
【図2】
【図3】
【図4】
【図5】
【外国語明細書】