特開 2023-93346 テキスト処理方法、テキスト処理装置、テキスト処理デバイス、及びコンピュータ読み取り可能な記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023093346

(43)【公開日】2023-07-04

(54)【発明の名称】テキスト処理方法、テキスト処理装置、テキスト処理デバイス、及びコンピュータ読み取り可能な記憶媒体

(51)【国際特許分類】

   G06F 40/279 20200101AFI20230627BHJP

【ＦＩ】

G06F40/279

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022191690

(22)【出願日】2022-11-30

(31)【優先権主張番号】202111579819.4

(32)【優先日】2021-12-22

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100158528

【弁理士】

【氏名又は名称】守屋 芳隆

(74)【代理人】

【識別番号】100137903

【弁理士】

【氏名又は名称】菅野 亨

(72)【発明者】

【氏名】グオ シーホン

(72)【発明者】

【氏名】中村 一成

(72)【発明者】

【氏名】リ アンシン

(72)【発明者】

【氏名】藤本 拓

【テーマコード（参考）】

5B091

【Ｆターム（参考）】

5B091CA21

(57)【要約】

【課題】圧縮結果のテキスト流暢性、冗長性などの問題を回避する、テキスト処理方法、テキスト処理装置、テキスト処理デバイス、及びコンピュータ読み取り可能な記憶媒体を提供する。
【解決手段】テキスト処理方法は、複数の入力語句を受信するステップと、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得するステップと、複数の選択対象語句間の第１の相関性に基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップと、を含む。
【選択図】図４

【特許請求の範囲】

【請求項1】

複数の入力語句を受信するステップと、
前記複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得するステップと、
前記複数の選択対象語句間の第１の相関性に基づいて、前記複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップと、を含む、
ことを特徴とするテキスト処理方法。

【請求項2】

前記複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得するステップは、
前記複数の入力語句における各入力語句の長さが第１の所定の長さより長いか否かを判断するステップと、
前記入力語句の長さが第１の所定の長さ以下である場合、前記入力語句を分割せず、分割されていない入力語句をそのまま前記分割されていない入力語句自体の上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得するステップ、又は
前記入力語句の長さが前記第１の所定の長さより長い場合、前記入力語句を異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得するステップと、を含む、
ことを特徴とする請求項１に記載のテキスト処理方法。

【請求項3】

前記複数の選択対象語句間の第１の相関性に基づいて、前記複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップは、
前記複数の入力語句の配列順序である第１の順序に基づいて、各入力語句の下部のサブ文とその後に配列された他の入力語句の上部のサブ文との間の相対距離を取得するステップと、
前記相対距離と前記第１の相関性とに基づいて、前記複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップと、を含む、
ことを特徴とする請求項２に記載のテキスト処理方法。

【請求項4】

前記複数の選択対象語句間の第１の相関性に基づいて、前記複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップは、
予め指定された第１の特定単語又は第１の特定文と、前記第１の相関性とに基づいて、前記複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップを含む、
ことを特徴とする請求項１に記載のテキスト処理方法。

【請求項5】

前記複数の選択対象語句間の第１の相関性に基づいて、前記複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップは、
第１の所定の圧縮長さと前記第１の相関性とに基づいて、前記複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップを含む、
ことを特徴とする請求項１に記載のテキスト処理方法。

【請求項6】

前記複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割するステップは、
トレーニング済みの第１の分割モデルによって、前記複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割するステップを含み、
前記第１の分割モデルは、前記複数の入力語句のうちの１つ又は複数の入力語句のそれぞれの複数の読点又はカンマ又はセミコロンのうち、第１の読点又はカンマ又はセミコロンの前に含まれるすべての単語間の組み合わせ確率と、前記第１の読点又はカンマ又はセミコロンの後に含まれるすべての単語間の組み合わせ確率とを算出して、前記各入力語句を異なる２つの部分に分割し、
前記入力語句に複数の読点又はカンマ又はセミコロンが含まれていない場合、前記第１の分割モデルは、入力語句に含まれるすべての単語間の組み合わせ確率を算出して、前記各入力語句を異なる２つの部分に分割する、
ことを特徴とする請求項１から４のいずれかに記載のテキスト処理方法。

【請求項7】

前記複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割するステップは、
トレーニング済みの第２の分割モデルによって、前記複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割するステップを含み、
前記第２の分割モデルは、前記複数の入力語句のうちの１つ又は複数の入力語句のそれぞれの第１の所定の分割位置の前に含まれるすべての単語間の組み合わせ確率と、前記第１の所定の分割位置の後に含まれるすべての単語間の組み合わせ確率とを算出して、前記各入力語句を異なる２つの部分に分割する、
ことを特徴とする請求項１から４のいずれかに記載のテキスト処理方法。

【請求項8】

前記複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割するステップは、
トレーニング済みの第３の分割モデルによって、前記複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割するステップを含み、
前記第３の分割モデルは、完全な新規語句につなぎ合わせた正のサンプルデータ及び負のサンプルデータを使用してトレーニングして得られたもので、前記正のサンプルデータ及び前記負のサンプルデータは、それぞれ１つ又は複数の完全な語句を含む、
ことを特徴とする請求項１から４のいずれかに記載のテキスト処理方法。

【請求項9】

前記複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割するステップは、
前記複数の入力語句のうちの１つ又は複数の入力語句のそれぞれに対する総文字数、名詞が占める中位、句読点、ランダム分割のうちの１つに基づいて、前記複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割するステップを含む、
ことを特徴とする請求項１から４のいずれかに記載のテキスト処理方法。

【請求項10】

複数の入力語句を受信する受信部と、
前記複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得する分割部と、
前記複数の選択対象語句間の第１の相関性に基づいて、前記複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成する選択部と、を含む、
ことを特徴とするテキスト処理装置。

【請求項11】

前記分割部は、さらに、
前記複数の入力語句における各入力語句の長さが第１の所定の長さより長いか否かを判断し、
前記入力語句の長さが第１の所定の長さ以下である場合、前記入力語句を分割せず、分割されていない入力語句をそのまま前記分割されていない入力語句自体の上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得し、又は
前記入力語句の長さが前記第１の所定の長さより長い場合、前記入力語句を異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得する、
ことを特徴とする請求項１０に記載のテキスト処理装置。

【請求項12】

前記選択部は、
前記複数の入力語句の配列順序である第１の順序に基づいて、各入力語句の下部のサブ文とその後に配列された他の入力語句の上部のサブ文との間の相対距離を取得し、
前記相対距離と前記第１の相関性とに基づいて、前記複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成する、
ことを特徴とする請求項１１に記載のテキスト処理装置。

【請求項13】

前記選択部は、
予め指定された第１の特定単語又は第１の特定文と、前記第１の相関性とに基づいて、前記複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成する、
ことを特徴とする請求項１０に記載のテキスト処理装置。

【請求項14】

プロセッサと、
コンピュータ読み取り可能な命令を記憶するメモリと、を含み、
前記コンピュータ読み取り可能な命令が前記プロセッサによって実行される場合、テキスト処理方法が実行され、前記テキスト処理方法は、
複数の入力語句を受信するステップと、
前記複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得するステップと、
前記複数の選択対象語句間の第１の相関性に基づいて、前記複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップと、を含む、
ことを特徴とするテキスト処理デバイス。

【請求項15】

コンピュータ読み取り可能なプログラムを記憶するコンピュータ読み取り可能な記憶媒体であって、
前記プログラムによりコンピュータにテキスト処理方法が実行され、前記テキスト処理方法は、
複数の入力語句を受信するステップと、
前記複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得するステップと、
前記複数の選択対象語句間の第１の相関性に基づいて、前記複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップと、を含む、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、テキスト処理の分野に関し、具体的には、テキスト処理装置、テキスト処理方法、テキスト処理デバイス、及びコンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0002】

近年、コンピュータ処理技術の急速な発展に伴い、テキスト中の重要な情報をより精練かつ迅速にキャプチャすることが可能になっている。文の圧縮は、冗長な文を洗練された簡潔な文に変換する方法である。当該技術は、主題の自動的な取得、要約の生成、質疑応答システムなどの技術に広く用いられている。

【0003】

既存の文圧縮方法は、文に関する文法ツリーを構築し、文法ツリーの分岐全体を削減することで圧縮文を生成するか、又はニューラルネットワークに基づく圧縮モデルをトレーニングすることで文を圧縮する方法がある。比較的長いテキストに対して、圧縮時に直接的に圧縮すると、流暢性が悪くなる、テキストが冗長的になる、などの問題が発生する可能性がある。したがって、比較的長いテキストについては、初期圧縮を行ってストーリーラインを取り出してから、そのストーリーラインを圧縮することで、流暢性、冗長性などの問題を回避することができる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

以上の問題に鑑みて、本開示は、テキスト処理方法、テキスト処理装置、テキスト処理デバイス、及びコンピュータ読み取り可能な記憶媒体を提供する。

【課題を解決するための手段】

【0005】

本開示の一態様によれば、複数の入力語句を受信するステップと、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得するステップと、複数の選択対象語句間の第１の相関性に基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップと、を含むテキスト処理方法を提供する。

【0006】

一例では、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得するステップは、複数の入力語句における各入力語句の長さが第１の所定の長さより長いか否かを判断するステップと、入力語句の長さが第１の所定の長さ以下である場合、入力語句を分割せず、分割されていない入力語句をそのまま分割されていない入力語句自体の上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得するステップ、又は、入力語句の長さが第１の所定の長さより長い場合、入力語句を異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得するステップと、を含む。

【0007】

一例では、複数の選択対象語句間の第１の相関性に基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップは、第１の順序に基づいて、各入力語句の下部のサブ文とその後に配列された他の入力語句の上部のサブ文との間の相対距離を取得するステップであって、第１の順序は、複数の入力語句の配列順序であるステップと、相対距離と第１の相関性とに基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップと、を含む。

【0008】

一例では、複数の選択対象語句間の第１の相関性に基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップは、予め指定された第１の特定単語又は第１の特定文と、第１の相関性とに基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップを含む。

【0009】

一例では、複数の選択対象語句間の第１の相関性に基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップは、第１の所定の圧縮長さと第１の相関性とに基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップを含む。

【0010】

一例では、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割するステップは、トレーニング済みの第１の分割モデルによって複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割するステップを含み、第１の分割モデルは、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれの複数の読点又はカンマ又はセミコロンのうち、第１の読点又はカンマ又はセミコロンの前に含まれるすべての単語間の組み合わせ確率と、第１の読点又はカンマ又はセミコロンの後に含まれるすべての単語間の組み合わせ確率とを算出して、各入力語句を異なる２つの部分に分割し、入力語句に複数の読点又はカンマ又はセミコロンが含まれていない場合、第１の分割モデルは、入力語句に含まれるすべての単語間の組み合わせ確率を算出することによって、各入力語句を異なる２つの部分に分割する。

【0011】

一例では、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割するステップは、トレーニング済みの第２の分割モデルによって複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割するステップを含み、第２の分割モデルは、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれの第１の所定の分割位置の前に含まれるすべての単語間の組み合わせ確率と、第１の所定の分割位置の後に含まれるすべての単語間の組み合わせ確率とを算出して、各入力語句を異なる２つの部分に分割する。

【0012】

一例では、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割するステップは、トレーニング済みの第３の分割モデルによって複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割するステップを含み、第３の分割モデルは、完全な新規語句につなぎ合わせた正のサンプルデータ及び負のサンプルデータを使用してトレーニングして得られたものであり、正のサンプルデータ及び負のサンプルデータは、それぞれ１つ又は複数の完全な語句を含む。

【0013】

一例では、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割するステップは、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれに対する総文字数、名詞が占める中位（中央位置、Median）、句読点、ランダム分割のうちの１つに基づいて、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割するステップを含む。

【0014】

本開示の一態様によれば、複数の入力語句を受信する受信部と、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得する分割部と、複数の選択対象語句間の第１の相関性に基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成する選択部と、を含むテキスト処理装置を提供する。

【0015】

一例では、分割部は、さらに、複数の入力語句における各入力語句の長さが第１の所定の長さより長いか否かを判断し、入力語句の長さが第１の所定の長さ以下である場合、入力語句を分割せず、分割されていない入力語句をそのまま分割されていない入力語句自体の上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得し、又は、入力語句の長さが第１の所定の長さより長い場合、入力語句を異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得する。

【0016】

一例では、選択部は、複数の入力語句の配列順序である第１の順序に基づいて、各入力語句の下部のサブ文とその後に配列された他の入力語句の上部のサブ文との間の相対距離を取得し、相対距離と第１の相関性とに基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成する。

【0017】

一例では、選択部は、予め指定された第１の特定単語又は第１の特定文と、第１の相関性とに基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成する。

【0018】

一例では、選択部は、予め指定された第１の特定単語又は第１の特定文と、第１の相関性とに基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成する。

【0019】

一例では、選択部は、第１の所定の圧縮長さと第１の相関性とに基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成する。

【0020】

一例では、分割部は、トレーニング済みの第１の分割モデルによって複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割し、第１の分割モデルは、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれの複数の読点又はカンマ又はセミコロンのうち、第１の読点又はカンマ又はセミコロンの前に含まれるすべての単語間の組み合わせ確率と、第１の読点又はカンマ又はセミコロンの後に含まれるすべての単語間の組み合わせ確率とを算出して、各入力語句を異なる２つの部分に分割し、入力語句に複数の読点又はカンマ又はセミコロンが含まれていない場合、第１の分割モデルは、入力語句に含まれるすべての単語間の組み合わせ確率を算出して、各入力語句を異なる２つの部分に分割する。

【0021】

一例では、分割部は、トレーニング済みの第２の分割モデルによって複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割し、第２の分割モデルは、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれの第１の所定の分割位置の前に含まれるすべての単語間の組み合わせ確率と、第１の所定の分割位置の後に含まれるすべての単語間の組み合わせ確率とを算出して、各入力語句を異なる２つの部分に分割する。

【0022】

一例では、分割部は、トレーニング済みの第３の分割モデルによって複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割し、第３の分割モデルは、完全な新規語句につなぎ合わせた正のサンプルデータ及び負のサンプルデータを使用してトレーニングして得られたもので、正のサンプルデータ及び負のサンプルデータは、それぞれ１つ又は複数の完全な語句を含む。

【0023】

一例では、分割部は、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれに対する総文字数、名詞が占める中位（中央位置、Median）、句読点、ランダム分割のうちの１つに基づいて、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割する。

【0024】

本開示の一態様によれば、テキスト処理デバイスを提供し、プロセッサと、コンピュータ読み取り可能な命令を記憶するメモリと、を含み、コンピュータ読み取り可能な命令がプロセッサによって実行される場合、テキスト処理方法が実行され、テキスト処理方法は、複数の入力語句を受信し、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得し、複数の選択対象語句間の第１の相関性に基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成する。

【0025】

本開示の一態様によれば、コンピュータ読み取り可能なプログラムを記憶するコンピュータ読み取り可能な記憶媒体を提供し、プログラムによりコンピュータにテキスト処理方法が実行され、テキスト処理方法は、複数の入力語句を受信するステップと、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得し、複数の選択対象語句間の第１の相関性に基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成する。

【0026】

本開示から提供するテキスト処理方法により、まず、テキストにおける長文に対して分割し、次に、分割後の文間の相関性に基づいてストーリーラインを圧縮結果として抽出することができる。次に、当該圧縮結果をそのまま所望の最終圧縮結果とすることができ、当該圧縮結果をさらに圧縮して、最終圧縮結果を取得して、最終圧縮結果のテキスト流暢性、冗長性などの問題を回避することもできる。

【0027】

本開示の上記及び他の目的、特徴、及び利点は、図面を組み合わせて本開示の実施例をより詳細に説明することにより、より明らかになる。図面は、本開示の実施例のさらなる理解を提供するために使用され、本開示の説明の一部を構成し、本開示の実施例とともに本開示を説明するために使用され、本開示の制限を構成するものではない。図面では、同じ参照符号は、通常、同じ部品又はステップを表す。

【図面の簡単な説明】

【0028】

【図1】本開示の実施例によるテキスト処理方法のフローチャートを示す。

【図2】本開示の実施例による語句を分割する方法のフローチャートを示す。

【図3】本開示の実施例による圧縮結果を取得する方法のフローチャートを示す。

【図4】本開示の実施例によるテキスト処理方法のフローチャートを示す。

【図5】本開示の実施例による第１の類似度モデルをトレーニングする概略図を示す。

【図6】本開示の実施例による圧縮結果を取得する方法のフローチャートを示す。

【図7】本開示の実施例によるテキスト処理方法のフローチャートを示す。

【図8】本開示の実施例によるテキスト処理装置の概略図を示す。

【図9】本開示の実施例によるテキスト処理装置の概略図を示す。

【図10】本開示の実施例によるテキスト処理装置の概略図を示す。

【図11】本開示の実施例によるテキスト処理デバイスの概略図を示す。

【図12】本開示の実施例に係る電子機器のハードウェア構造の一例の図である。

【発明を実施するための形態】

【0029】

以下、本開示の実施例における図面を組み合わせて、本開示の実施例における技術的解決手段を明確かつ完全に説明する。明らかに、説明された実施例は、すべての実施例ではなく、本開示の一部の実施例にすぎない。本開示における実施例に基づいて、当業者が創造的な労力を必要とせずに取得した他のすべての実施例は、すべて本開示の保護の範囲に属する。

【0030】

本願では、本願の実施形態による方法のステップを説明するためのフローチャートが使用される。前又は後のステップが必ずしも順序に従って正確に行われるとは限らないことを理解すべきである。逆に、様々なステップは、順序を逆にして、又は同時に処理することができる。また、他の操作をこれらのプロセスに追加したり、又は１ステップ又は数ステップを除去したりすることもできる。

【0031】

本開示テキスト処理方法を提供し、比較的長いテキストについて、まず、圧縮して圧縮結果（すなわちストーリーライン）を抽出し、その後、当該圧縮結果をなおさら圧縮して最終的な圧縮結果を取得して、比較的長いテキストを直接に最終的な圧縮結果に圧縮することによる流暢性、冗長性などの問題を回避することができる。

【0032】

図１は本開示の実施例によるテキスト処理方法１００のフローチャートを示す。例えば、比較的長いテキストについて、まず、テキストにおける長文を分割し、その後、分割された文間の相関性に基づいてストーリーラインを圧縮結果として抽出することができる。次に、当該圧縮結果をそのまま所望の最終圧縮結果としてもよく、当該圧縮結果をさらに圧縮して、最終圧縮結果を取得してもよい。

【0033】

例えば、要約を抽出するには、比較的長いテキストを圧縮してストーリーラインを圧縮結果として抽出することができ、その後、継続的に当該圧縮結果に対して要約を抽出して所望の要約を取得してもよく、又は当該圧縮結果をそのまま所望の要約としてもよい。本開示のテキスト処理方法により、テキスト流暢性、冗長性などの問題を回避することができる。

【0034】

図１に示すテキスト処理方法１００は、コンピュータなどによって自動的に完了できる。例えば、当該方法は、テキストを圧縮することができる。例えば、当該方法は、ソフトウェア、ハードウェア、ファームウェア又はそれらを任意に組み合わせる方式で実現することができ、例えば、携帯電話、タブレット、ノートパソコン、デスクトップパソコン、ネットワークサーバなどの機器におけるプロセッサによってロードされて実行される。

【0035】

図１に示すように、当該テキスト処理方法１００は、以下のステップＳ１０１からＳ１０３を含む。テキスト処理方法１００は、テキストに含まれるストーリーラインを圧縮結果として抽出することができる。

【0036】

ステップＳ１０１では、複数の入力語句を受信する。

【0037】

ステップＳ１０２では、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得する。

【0038】

ステップＳ１０３では、複数の選択対象語句間の第１の相関性に基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成する。

【0039】

例えば、ステップＳ１０１について、複数の入力語句は、１つのテキストに含まれる全部の入力語句、又は要約を抽出するために選択された一部の入力語句であってもよい。

【0040】

次に、図２を参照して、ステップＳ１０２を説明する。図２は、本開示の実施例による語句を分割する方法２００のフローチャートを示す。

【0041】

図２に示すように、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得するステップは、複数の入力語句における各入力語句の長さが第１の所定の長さより長いか否かを判断するステップと（Ｓ２０１）、入力語句の長さが第１の所定の長さ以下である場合、入力語句を分割せず、分割されていない入力語句をそのまま分割されていない入力語句自体の上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得するステップ（Ｓ２０３）と、又は入力語句の長さが第１の所定の長さより長い場合、入力語句を異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得するステップ（Ｓ２０２）と、を含むことができる。なお、第１の所定の長さはニーズに応じて予め設定することができ、ここでは制限しない。

【0042】

なお、ステップＳ２０２及びＳ２０３は、並列処理してもよいし（例えばＳ２０２及びＳ２０３を同時に処理する）、直列処理してもよいが（例えば、まずＳ２０２を処理し、次にＳ２０３を処理するか、又は、まずＳ２０３を処理し、次に、Ｓ２０２を処理することができる）、ここでは制限しない。

【0043】

以下では、６つの実施形態で複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割することを説明する。

【0044】

第１の実施形態では、各入力語句の総文字数に基づいて入力語句を異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文としてもよい。

【0045】

【表1】

【0046】

第２の実施形態では、各入力語句のうち名詞が占める中位に基づいて入力語句を異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文としてもよい。

【0047】

【表2】

【0048】

第３の実施形態では、句読点に基づいて入力語句を異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文としてもよい。例えば、入力語句に含まれる中国語読点又は中国語カンマ（ｃｏｍｍａ）又はセミコロン（ｓｅｍｉｃｏｌｏｎ）に基づいて入力語句を異なる２つの部分に分割することができる。

【0049】

一例として、入力語句に１つの中国語読点又は中国語カンマ又はセミコロンのみ含まれている場合、読点又はカンマ又はセミコロンの前の語句を当該入力語句の上部のサブ文とし、読点又はカンマ又はセミコロンの後の語句を当該入力語句の下部のサブ文としてもよい。別の例として、入力語句に複数の読点又はカンマ又はセミコロンが含まれている場合、中位に位置する読点又はカンマ又はセミコロンを分割線とし、中位に位置する読点又はカンマ又はセミコロンの前の語句を当該入力語句の上部のサブ文とし、中位に位置する読点又はカンマ又はセミコロンの後の語句を当該入力語句の下部のサブ文としてもよい。

【0050】

第４の実施形態では、トレーニング済みの第１の分割モデルによって複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文としてもよい。第１の分割モデルは、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれの複数の読点又はカンマ又はセミコロンのうち、第１の読点又はカンマ又はセミコロンの前に含まれるすべての単語間の組み合わせ確率と、第１の読点又はカンマ又はセミコロンの後に含まれるすべての単語間の組み合わせ確率とを算出して、各入力語句を異なる２つの部分に分割することができる。また、入力語句に複数の読点又はカンマ又はセミコロンが含まれていない場合、第１の分割モデルは、入力語句に含まれるすべての単語間の組み合わせ確率を算出することによって各入力語句を異なる２つの部分に分割することができる。

【0051】

【表3】

【0052】

第５の実施形態では、トレーニング済みの第２の分割モデルによって複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文としてもよい。第２の分割モデルは、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれの第１の所定の分割位置の前に含まれるすべての単語間の組み合わせ確率と、第１の所定の分割位置の後に含まれるすべての単語間の組み合わせ確率とを算出して、各入力語句を異なる２つの部分に分割することができる。

【0053】

【表4】

【0054】

第６の実施形態では、トレーニング済みの第３の分割モデルによって複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割することができる。当該第３の分割モデルは、１つの完全な新規語句の正のサンプルデータを負のサンプルデータにつなぎ合わせてトレーニングして取得することができ、正のサンプルデータ及び負のサンプルデータは、それぞれ１つ又は複数の完全な語句を含む。

【0055】

【表5】

【0056】

以上、６つの実施形態について、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれをどのように異なる２つの部分に分割するかを説明した。なお、本開示は、上記の６つの実施形態のうちの１つの又はその組み合わせを使用して入力語句を分割することができる。上記の６つの実施形態は単なる例として説明したものであり、本開示は、既存（例えば、ランダム分割）又は将来の他の分割方式を使用して入力語句を分割することもでき、ここでは制限しない。

【0057】

図１に戻り、ステップＳ１０３について、上部（上半部）のサブ文と下部（下半部）のサブ文とする複数の選択対象語句を取得してから、複数の選択対象語句間の第１の相関性に基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成することができる。

【0058】

例えば、複数の選択対象語句間の第１の相関性は、上記の第１の分割モデルを使用して各入力語句の下部のサブ文とその後に配列された他の入力語句の上部のサブ文との間の組み合わせ確率を算出することによって体現することができ、その組み合わせ確率が高いほど、第１の相関性が強くなる。

【0059】

以下では、４つの実施形態で複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成することを説明する。

【0060】

第１の実施形態では、各入力語句の下部のサブ文とその後に配列された他の入力語句の上部のサブ文との間の組み合わせ確率のうち、確率の高い組み合わせに対応する選択対象語句を直接選択して圧縮結果を構成することができる。

【0061】

本開示では、各入力語句の下部のサブ文とその後に配列された他の入力語句の上部のサブ文との間の第１の相関性が強いほど、この２つの入力語句がリンク文である確率が高く、すなわちストーリーラインを構成する確率が高くなるとみなす。

【0062】

表１は、各入力語句の下部のサブ文とその後に配列された他の入力語句の上部のサブ文との間の組み合わせ確率（第１の相関性）を示す。表２は、１つ又は複数の選択対象語句で構成される候補経路の経路確率を示す。

【0063】

【表6】

表１に示すように、垂直の第１の列は、各入力語句の下部のサブ文を表し、水平の第１の行は、各入力語句の上部のサブ文を表す。表１から分かるように、入力語句が第１の順序(1)(2)(3)(4)(5)で配列された５つの文である場合、第(1)の入力語句の下部のサブ文とその後に配列された第(2)の入力語句の上部のサブ文との間の組み合わせ確率は０．０８であり、第(1)の入力語句の下部のサブ文とその後に配列された第(3)の入力語句の上部のサブ文との間の組み合わせ確率は０．２であり、第(2)の入力語句の下部のサブ文とその後に配列された第(4)の入力語句の上部のサブ文との間の組み合わせ確率は０．４であり、このように類推する。本開示では各入力語句の下部のサブ文とその後に配列された他の入力語句の上部のサブ文との間の組み合わせ確率のみを取得する必要があるため、各入力語句の下部のサブ文とその前に配列された他の入力語句の上部のサブ文と、及びそれ自体間の組み合わせ確率は、表においてグレースケールで充填される。

【0064】

【表7】

表２に示すように、各候補経路をトラバーサルして、各候補経路の経路確率を取得することができる。表１から分かるように、候補経路(1)(3)(5)を選択する経路確率は０．００４であり（すなわち、第(1)の入力語句の下部のサブ文と第(3)の入力語句の上部のサブ文の組み合わせ確率×第(3)の入力語句の下部のサブ文と第(5)の入力語句の上部のサブ文の組み合わせ確率＝０．００４）、それに対応する複数の選択対象語句が(1)(3)(5)＝（第(1)の入力語句の下部のサブ文、第(3)の入力語句の上部のサブ文）＋（第(3)の入力語句の下部のサブ文、第(5)の入力語句の上部のサブ文）であり、候補経路(1)(2)(4)(5)を選択する経路確率は０．０２２４であり（すなわち、第(1)の入力語句の下部のサブ文と第(2)の入力語句の上部のサブ文の組み合わせ確率×第(2)の入力語句の下部のサブ文と第(4)の入力語句の上部のサブ文の組み合わせ確率×第(4)の入力語句の下部のサブ文と第(5)の入力語句の上部のサブ文の組み合わせ確率＝０．０２２４）、それに対応する複数の選択対象語句が(1)(2)(4)(5)＝（第(1)の入力語句の下部のサブ文、第(2)の入力語句の上部のサブ文）＋（第(2)の入力語句の下部のサブ文、第(4)の入力語句の上部のサブ文）＋（第(4)の入力語句の下部のサブ文、第(5)の入力語句の上部のサブ文）であり、このように類推する。

【0065】

例えば、表２から経路確率の最も高い候補経路に対応する複数の選択対象語句を圧縮結果として選択することができる。

【0066】

また、図１のステップＳ２０２で入力語句を分割しない場合について、分割されていない入力語句をそのまま分割されていない入力語句自体の上部のサブ文と下部のサブ文とするため、複数の選択対象語句を選択してからに選択された選択対象語句に対して冗長性検査を行って、重複する語句を除去することができる。例えば、入力語句(3)が分割されていない場合、候補経路(1)(3)(5)に対応する複数の選択対象語句が(1)(3)(5)＝（第(1)の入力語句の下部のサブ文、第(3)の入力語句）＋（第(3)の入力語句、第(5)の入力語句の上部のサブ文）であり、この時２つの「第(3)の入力語句」が存在し、当該候補経路(1)(3)(5)に対応する複数の選択対象語句に対して冗長性検査を行って、重複する語句を除去して、複数の選択対象語句（例えば、（第(1)の入力語句の下部のサブ文、第(3)の入力語句）＋（第(5)の入力語句の上部のサブ文））を圧縮結果として取得することができる。

【0067】

第２の実施形態では、図３によって説明された方法に基づいて圧縮結果を取得することができる。図３は本開示の実施例による圧縮結果を取得する方法３００のフローチャートを示す。

【0068】

図３に示すように、複数の選択対象語句間の第１の相関性に基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップは、第１の順序に基づいて、各入力語句の下部のサブ文と、その後に配列された他の入力語句の上部のサブ文との間の相対距離を取得するステップであって、第１の順序は、複数の入力語句の配列順序であるステップと（Ｓ３０１）、相対距離と第１の相関性とに基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成する（Ｓ３０２）ステップと、を含むことができる。

【0069】

例えば、ｉ番目の入力語句の下部のサブ文とその後に配列されたｊ番目の入力語句の上部のサブ文との間の相対距離がＨ_ｉ，ｊであると仮定すると、上記の第１の分割モデルを使用して取得されたｉ番目の入力語句の下部のサブ文とその後に配列されたｊ番目の入力語句の上部のサブ文との間の第１の相関性がＣ_ｉ，ｊである場合、相対距離Ｈ_ｉ，ｊと第１の相関性Ｃ_ｉ，ｊに基づく第１の重み付け相関性Ｗ_ｉ，ｊは、以下に表すことができ、

【数1】

次に、当該第１の重み付け相関性Ｗ_ｉ，ｊを使用して候補経路の経路確率を取得し、経路確率の高い候補経路に対応する１つ又は複数の選択対象語句を選択して圧縮結果を構成することができる。

【0070】

第３の実施形態では、予め指定された第１の特定単語又は第１の特定文及び第１の相関性に基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成することができる。

【0071】

例えば、ｉ番目の入力語句の下部のサブ文又はその後に配列されたｊ番目の入力語句の上部のサブ文が第１の特定単語又は第１の特定文を含む場合、重みＴ_ｉ，ｊ（Ｔ_ｉ，ｊ＞１）に付与されると、予め指定された第１の特定単語又は第１の特定文と第１の相関性Ｃ_ｉ，ｊに基づく第２の重み付け相関性Ｅ_ｉ，ｊは、以下に表すことができ、

【数2】

表３は第１の特定単語又は第１の特定文に基づく各入力語句の下部のサブ文とその後に配列された他の入力語句の上部のサブ文との間の組み合わせ確率を示す。

【0072】

【表8】

表３に示すように、第(3)の入力語句の上部のサブ文が第１の特定単語又は第１の特定文を含む場合、重み２が付与されると、第(1)の入力語句の下部のサブ文とその後に配列された第(3)の入力語句の上部のサブ文との間の組み合わせ確率が０．２×２であり、第(2)の入力語句の下部のサブ文とその後に配列された第(3)の入力語句の上部のサブ文との間の組み合わせ確率が０．０３×２である。

【0073】

次に、当該第２の重み付け相関性Ｅ_ｉ，ｊを使用して候補経路の経路確率を取得し、経路確率の高い候補経路に対応する１つ又は複数の選択対象語句を選択して圧縮結果を構成することができる。

【0074】

第４の実施形態では、第１の所定の圧縮長さ及び第１の相関性に基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成することができる。

【0075】

例えば、所望の最終圧縮結果を表す第１の所定の圧縮長さがｘ_１であり、現在の候補経路のテキスト長さがｘ₂である場合、第３の重み付け相関性Ｆ（圧縮長さペナルティとも呼ばれる）は、以下に表すことができ、

【数3】

表４は、第１の所定の圧縮長さに基づく候補経路の経路確率を示す。

【0076】

【表9】

表４に示すように、第１の所定の圧縮長さが１２０である場合、経路長さが第１の所定の圧縮長さ以上である場合、圧縮長さペナルティがペナルティ力を増加し、経路長さが第１の所定の圧縮長さより短い場合、圧縮長さペナルティは、経路長さと第１の所定の圧縮長さの差に基づいてペナルティ力を緩慢に増加させる。

【0077】

次に、当該第３の重み付け相関性又は圧縮長さペナルティＦを使用して候補経路の経路確率を取得し、経路確率の高い候補経路に対応する１つ又は複数の選択対象語句を選択して圧縮結果を構成することができる。

【0078】

また、一例では、直接に入力語句の最初の文から開始し、現在の入力語句の下部のサブ文とその後に配列された他の入力語句の上部のサブ文との組み合わせ確率の最も高い１つの組み合わせ確率に対応する入力語句を、毎回選択して、圧縮経路を構成し、その後、すべての候補経路をトラバーサルすることなく、選択された入力語句を圧縮結果としてもよい。

【0079】

別の例では、直接に入力語句の最初の文から開始し、現在の入力語句の下部のサブ文とその後に配列された他の入力語句の上部のサブ文との組み合わせ確率の最も高い２つの組み合わせ確率に対応する入力語句を、毎回選択して、候補経路を構成し、その後、すべての候補経路をトラバーサルすることなく、経路確率の最も高い候補経路に対応する１つ又は複数の選択対象語句を選択して圧縮結果を構成することができる。

【0080】

なお、上記の第１の重み付け相関性と、第２の重み付け相関性と、第３の重み付け相関性を使用して候補経路の経路確率を取得することは単なる例であり、他の方式を使用して第１の重み付け相関性と、第２の重み付け相関性と、第３の重み付け相関性とに基づいて候補経路の経路確率を取得することもできるが、ここでは詳しく説明しない。

【0081】

本開示の実施例のテキスト処理方法により、まず、テキストにおける長文を分割し、その後、分割された文間の相関性に基づいてストーリーラインを圧縮結果として抽出することができる。次に、当該圧縮結果をそのまま所望の最終圧縮結果とすることができ、当該圧縮結果をさらに圧縮して、最終圧縮結果を取得して、最終圧縮結果のテキスト流暢性、冗長性などの問題を回避することもできる。

【0082】

図４は、本開示の実施例によるテキスト処理方法４００のフローチャートをさらに示す。

【0083】

例えば、比較的長いテキストについて、まず、入力語句間の類似性／連続性に基づいてストーリーラインを圧縮結果として抽出する。次に、当該圧縮結果をそのまま所望の最終圧縮結果とすることができ、当該圧縮結果をさらに圧縮して、最終圧縮結果を取得することもできる。

【0084】

例えば、要約を抽出するには、比較的長いテキストを圧縮してストーリーラインを圧縮結果として抽出することができ、その後、継続的に当該圧縮結果に対して要約を抽出して所望の要約を取得することができ、又は当該圧縮結果をそのまま所望の要約としてもよい。本開示のテキスト処理方法により、テキスト流暢性、冗長性などの問題を回避することができる。

【0085】

図４に示すテキスト処理方法４００は、コンピュータなどによって自動的に完了できる。例えば、当該方法はテキストを圧縮することができる。例えば、当該方法は、ソフトウェア、ハードウェア、ファームウェア又はそれらを任意に組み合わせる方式で実現することができ、例えば、携帯電話、タブレット、ノートパソコン、デスクトップパソコン、ネットワークサーバなどの機器におけるプロセッサによってロードされて実行される。

【0086】

図４に示すように、当該テキスト処理方法４００は、以下のステップＳ４０１からＳ４０４を含む。

【0087】

ステップＳ４０１では、複数の入力語句を受信する。

【0088】

ステップＳ４０２では、第１の類似度モデルによって複数の入力語句間の第１の類似度を取得し、第１の類似度は、語句類似度と主題類似度の少なくとも１つを含む。

【0089】

ステップＳ４０３では、第１の連続性モデルによって複数の入力語句間の第１の連続性を取得する。

【0090】

ステップＳ４０４では、第１の類似度及び／又は第１の連続性に基づいて、複数の入力語句のうちの一部の入力語句を選択して圧縮結果を構成する。

【0091】

なお、ステップＳ４０２及びＳ４０３は、並列処理してもよいし（例えば、Ｓ４０２及びＳ４０３を同時に処理する）、直列処理してもよいが（例えば、まず、Ｓ４０２を処理し、次にＳ４０３を処理するか、又は、まずＳ４０３を処理し、次に、Ｓ４０２を処理することができる）、ここでは制限しない。

【0092】

本開示では、２つの入力語句間の第１の類似度及び／又は第１の連続性が高いほど、この２つの入力語句がリンク文である確率が高く、すなわちストーリーラインを構成する確率が高くなるとみなす。

【0093】

一例では、第１の類似度モデルは、各入力語句間の単語（例えば、名詞、動詞など）の重複度を直接判断して、複数の入力語句間の第１の類似度を取得することができる。

【0094】

別の例では、第１の類似度モデルは、各入力語句に対応する単語ベクトル（又はセマンティック空間表現）を取得し、その後、各入力語句間の単語（例えば、名詞、動詞など）ベクトルの重複度を判断して、複数の入力語句間の第１の類似度を取得することもできる。

【0095】

また、第１の類似度モデルは、セマンティック相関性、含意関係などに基づいて、入力語句からセマンティック意味が一致するが、表現が一致しない名詞及び／又は代名詞を取得して候補語集合を構成することもできる。その後、当該候補語集合に基づいて各入力語句間の単語（例えば、名詞、動詞など）ベクトルの重複度を判断して、複数の入力語句間の第１の類似度を取得する。

【0096】

もう１つの例では、第１の類似度モデルは、トレーニング済みのニューラルネットワークモデルであってもよい。例えば、第１の類似度モデルは、語句類似度の割合を出力することができる。

【0097】

例えば、以下の方法で当該第１の類似度モデルをトレーニングすることができ、１つの入力語句の異なる単語を削除して異なる語句ａ１、ａ２、ａ３…、ａｎを含むトレーニングデータＡ＝｛ａ１、ａ２、ａ３…、ａｎ｝を形成し、当該トレーニングデータＡ＝｛ａ１、ａ２、ａ３…、ａｎ｝を使用して第１の類似度モデルをトレーニングして、「語句ａ１、ａ２、ａ３…、ａｎ類似及び各語句間に対応する語句類似度の割合」の結果として出力する。トレーニング済みの第１の類似度モデルは複数の入力語句間の語句類似度を取得することができる。

【0098】

また、第１の類似度モデルは、主題類似度の割合を出力することもできる。

【0099】

例えば、以下の方法で当該第１の類似度モデルをトレーニングすることもでき、１つの入力語句の異なる単語を削除して異なる語句ａ１、ａ２、ａ３…、ａｎを含むトレーニングデータＡ＝｛ａ１、ａ２、ａ３…、ａｎ｝を形成し、１つの入力語句の異なる単語を削除して異なる語句ｂ１、ｂ２、ｂ３…、ｂｍを含むトレーニングデータＢ＝｛ｂ１、ｂ２、ｂ３…、ｂｍ｝を形成し、当該トレーニングデータＡ＝｛ａ１、ａ２、ａ３…、ａｎ｝と入力語句と異なる主題からのトレーニングデータＢ＝｛ｂ１、ｂ２、ｂ３…、ｂｍ｝を使用して第１の類似度モデルをトレーニングし、上記の語句の類似度結果を出力する以外、「語句ａ１、ａ２、ａ３…、ａｎと語句ｂ１、ｂ２、ｂ３…、ｂｍが異なる主題に属し、及び各語句間に対応する主題類似度の割合」の結果として出力することもできる。トレーニング済みの第１の類似度モデルは、複数の入力語句間の主題類似度を取得することができる。第１の類似度モデルをトレーニングするプロセスで主題情報を導入し、語句が特徴次元上で近づけたり遠ざけたりする際に、同じ主題と異なる主題を同時に考慮することができる。

【0100】

図５（ａ）及び（ｂ）は本開示の実施例による第１の類似度モデルをトレーニングする概略図である。

【0101】

図５（ａ）に示すように、語句(1)と語句(2)はいずれも同じ全文(1)に含まれているが、異なる入力語句に属しており、同じ全文からの語句(1)と語句(2)を使用して第１の類似度モデルをトレーニングして、その出力は「語句(1)と語句(2)の語句が似ていなく、語句(1)と語句(2)の主題が似ている」であってもよい。

【0102】

図５（ｂ）に示すように、語句(1)が全文(1)に含まれ、語句(2)が全文(1)と異なる全文(2)に含まれ、異なる全文からの語句(1)と語句(2)を使用して第１の類似度モデルをトレーニングして、その出力は「語句(1)と語句(2)の語句は似ていなく、語句(1)と語句(2)の主題は似ていない」であってもよい。

【0103】

ステップＳ４０３について、一例では、第１の連続性モデルは、トレーニング済みのニューラルネットワークモデルであってもよい。例えば、第１の連続性モデルは、語句連続性の割合を出力することができる。

【0104】

例えば、以下の方法で当該第１の連続性モデルをトレーニングすることができる。同じテキストの中の連続する２つの入力語句Ｃ及びＤを正のサンプルデータとし、非連続の複数の入力語句Ｅ、Ｆ、Ｇを負のサンプルデータとし、当該第１の連続性モデルをトレーニングして、「語句Ｃ及びＤは連続しており、その連続性の割合は１００％であり、入力語句Ｅ及び入力語句Ｃは非連続であり、その連続性の割合は１０％であり、入力語句Ｅ及び入力語句Ｄは非連続であり、その連続性の割合は１３％であり、入力語句Ｆ及び入力語句Ｃは非連続であり、その連続性の割合は１２％であり、入力語句Ｆ及び入力語句Ｄは非連続であり、その連続性の割合は１３％であり、入力語句Ｇ及び入力語句Ｃは非連続であり、その連続性の割合は１７％であり、入力語句Ｇ及び入力語句Ｄは非連続であり、その連続性の割合は２３％である」の結果を出力するようにする。トレーニング済みの第１の連続性モデルは、複数の入力語句間の第１の連続性を取得することができる。

【0105】

なお、上記の第１の連続性モデルは単なる例であり、他のモデルを使用して語句の連続性の割合を生成することもできるが、ここでは詳しく説明しない。

【0106】

次に、図４に戻り、ステップＳ４０４について、複数の入力語句間の第１の類似度と第１の連続性を取得してから、複数の入力語句のうちの一部の入力語句を選択して圧縮結果を構成することができる。

【0107】

以下では、５つの実施形態で、複数の入力語句のうちの一部の入力語句を選択して圧縮結果を構成することを説明する。

【0108】

本開示では、各入力語句の第１の類似度及び／又は第１の連続性が大きいほど、この２つの入力語句がリンク文である確率が高く、すなわちストーリーラインを構成する確率が高くなるとみなす。

【0109】

第１の実施形態では、第１の類似度又は第１の連続性が高い一部の入力語句を直接選択して圧縮結果を構成することができる。

【0110】

例えば、各候補経路をトラバーサルし、候補経路から第１の類似度又は第１の連続性が高い一部の入力語句を選択して圧縮結果を構成することができる。

【0111】

表５は、一部の入力語句で構成された候補経路の経路確率を示す。

【0112】

【表10】

第２の実施形態では、第１の類似度及び第１の連続性の組み合わせに基づいて複数の入力語句のうちの一部の入力語句を選択して圧縮結果を構成することができる。

【0113】

一例として、すべての入力語句間に対して同じ第１の類似度の重み及び第１の連続性の重みを設定することができ、例えば、すべての入力語句について、第１の類似度の重み及び第１の連続性の重みがそれぞれＭとＮとすると、入力語句Ａと入力語句Ｂとの間のスコアは以下であり、
Ａ－Ｂ＝Ｍ＊（ＡとＢとの間の第１の類似度）＋Ｎ＊（ＡとＢとの間の第１の連続性）
式（４）
入力語句Ａと入力語句Ｂとの間のスコアが高いほど、入力語句Ａと入力語句Ｂがリンク文である確率が大きく、すなわちストーリーラインを構成する確率が大きくなる。

【0114】

別の例として、すべての入力語句間に異なる第１の類似度の重み及び第１の連続性の重みを設定することができると、入力語句Ａと入力語句Ｂとの間のスコアは以下であり、

【数4】

ただし、Ｍは、上記で取得された類似度割合を表し、Ｎは、上記で取得された連続性の割合を表す。

【0115】

次に、各入力語句間のスコアを使用して候補経路の経路確率を取得し、経路確率の最も高い候補経路に対応する一部の入力語句を選択して圧縮結果を構成することができる。

【0116】

第３の実施形態では、図６で説明された方法に基づいて圧縮結果を取得することができる。図６は、本開示の実施例による圧縮結果を取得する方法６００のフローチャートを示す。

【0117】

図６に示すように、第１の類似度及び／又は第１の連続性に基づいて、複数の入力語句のうちの一部の入力語句を選択して圧縮結果を構成するステップは、第１の順序に基づいて、各入力語句間の相対距離を算出するステップであって、第１の順序は、複数の入力語句の配列順序であるステップ（Ｓ６０１）と、相対距離と、第１の類似度及び／又は第１の連続性とに基づいて、複数の入力語句のうちの一部の入力語句を選択して圧縮結果を構成するステップ（Ｓ６０２）と、を含むことができる。

【0118】

例えば、ｉ番目の入力語句とｊ番目の入力語句との間の相対距離がＨ_ｉ，ｊであり、上記の第１の類似度モデルと第１の連続性モデルを使用して取得されたｉ番目の入力語句の下部のサブ文とその後に配列されたｊ番目の入力語句の上部のサブ文との間の第１の類似度及び／又は第１の連続性がＣ_ｉ，ｊであると仮定すると、相対距離Ｈ_ｉ，ｊと第１の類似度及び／又は第１の連続性Ｃ_ｉ，ｊに基づく第１の重み付け相関性Ｗ_ｉ，ｊは、以下に表すことができ、

【数5】

次に、当該第１の重み付け相関性Ｗ_ｉ，ｊを使用して、候補経路の経路確率を取得し、経路確率の高い候補経路に対応する一部の入力語句を選択して圧縮結果を構成することができる。

【0119】

第４の実施形態では、予め指定された第１の特定単語又は第１の特定文と、第１の類似度及び／又は第１の連続性とに基づいて、複数の入力語句のうちの一部の入力語句を選択して圧縮結果を構成することができる。

【0120】

例えば、ｉ番目の入力語句又はｊ番目の入力語句が第１の特定単語又は第１の特定文を含む場合、重みＴ_ｉ，ｊ（Ｔ_ｉ，ｊ＞１）が付与されたと仮定すると、予め指定された第１の特定単語又は第１の特定文と、第１の類似度及び／又は第１の連続性Ｃ_ｉ，ｊとに基づく第２の重み付け相関性Ｅ_ｉ，ｊは、以下に表すことができ、

【数6】

次に、当該第２の重み付け相関性Ｅ_ｉ，ｊを使用して候補経路の経路確率を取得し、経路確率の高い候補経路に対応する一部の入力語句を選択して圧縮結果を構成することができる。

【0121】

第５の実施形態では、第１の所定の圧縮長さと、第１の類似度及び／又は第１の連続性とに基づいて、複数の入力語句のうちの一部の入力語句を選択して圧縮結果を構成することができる。

【0122】

例えば、所望の最終圧縮結果を表す第１の所定の圧縮長さがｘ_１であり、現在の候補経路のテキスト長さがｘ_２であると仮定すると、第３の重み付け相関性Ｆ（圧縮長さペナルティとも呼ばれる）は、以下に表すことができ、

【数7】

経路長さが第１の所定の圧縮長さ以上である場合、圧縮長さペナルティがペナルティ力を増加し、経路長さが第１の所定の圧縮長さより短い場合、圧縮長さペナルティは、経路長さと第１の所定の圧縮長さとの差に基づいてペナルティ力を緩慢に増加させる。

【0123】

次に、当該第３の重み付け相関性又は圧縮長さペナルティＦを使用して候補経路の経路確率を取得し、経路確率の高い候補経路に対応する一部の入力語句を選択して圧縮結果を構成することができる。

【0124】

また、一例では、直接に入力語句の最初の文から開始し、現在の入力語句とその後に配列された他の入力語句の組み合わせ確率の最も高い１つの組み合わせ確率に対応する入力語句を毎回選択して、圧縮経路を構成し、その後、すべての候補経路をトラバーサルすることなく、選択された入力語句を圧縮結果としてもよい。

【0125】

別の例では、直接に入力語句の最初の文から開始し、現在の入力語句とその後に配列された他の入力語句の組み合わせ確率の最も高い２つの組み合わせ確率に対応する入力語句を毎回選択し、候補経路を構成し、その後、すべての候補経路をトラバーサルすることなく、経路確率の最も高い候補経路に対応する１つ又は複数の入力選択語句を選択して圧縮結果を構成することができる。

【0126】

なお、上記の第１の重み付け相関性と、第２の重み付け相関性と、第３の重み付け相関性を使用して候補経路の経路確率を取得することは単なる例であり、他の方式を使用して第１の重み付け相関性と、第２の重み付け相関性と、第３の重み付け相関性とに基づいて候補経路の経路確率を取得することもできるが、ここでは詳しく説明しない。

【0127】

本開示の実施例のテキスト処理方法により、まず、入力語句間の類似性／連続性に基づいてテキストにおける長文に対してストーリーラインを圧縮結果として抽出することができる。次に、当該圧縮結果をそのまま所望の最終圧縮結果とすることができ、当該圧縮結果をさらに圧縮して、最終圧縮結果を取得して、最終圧縮結果のテキスト流暢性、冗長性などの問題を回避することもできる。

【0128】

図７は、本開示の実施例によるテキスト処理方法７００のフローチャートをさらに示す。

【0129】

例えば、比較的長いテキストについて、まず、テキストにおける長文を分割し、その後、分割された文間の相関性／類似性／連続性に基づいてストーリーラインを圧縮結果として抽出することができる。次に、当該圧縮結果をそのまま所望の最終圧縮結果とすることができ、当該圧縮結果をさらに圧縮して、最終圧縮結果を取得することもできる。

【0130】

例えば、要約を抽出するには、比較的長いテキストを圧縮してストーリーラインを圧縮結果として抽出することができ、その後、継続的に当該圧縮結果に対して要約を抽出して所望の要約を取得することができ、又は当該圧縮結果をそのまま所望の要約としてもよい。本開示のテキスト処理方法により、テキスト流暢性、冗長性などの問題を回避することができる。

【0131】

図７に示すテキスト処理方法７００は、コンピュータなどによって自動的に完了できる。例えば、当該方法は、テキストを圧縮することができる。例えば、当該方法は、ソフトウェア、ハードウェア、ファームウェア又はそれらを任意に組み合わせる方式で実現することができ、例えば、携帯電話、タブレット、ノートパソコン、デスクトップパソコン、ネットワークサーバなどの機器におけるプロセッサによってロードされて実行される。

【0132】

図７に示すように、当該テキスト処理方法７００は、以下のステップＳ７０１からＳ７０３を含む。

【0133】

ステップＳ７０１では、複数の入力語句を受信する。

【0134】

ステップＳ７０２では、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得する。

【0135】

ステップＳ７０３では、複数の選択対象語句間の第１の相関性及び／又は第１の類似度及び／又は第１の連続性に基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成する。

【0136】

ステップＳ７０２について、上記の実施例と類似する方式を使用して、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割することができるが、ここでは詳しく説明しない。

【0137】

ステップＳ７０３について、上記の実施例と類似する方式を使用して、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成することができるが、ここでは詳しく説明しない。

【0138】

本開示の実施例のテキスト処理方法により、まず、テキストにおける長文を分割し、その後、分割された文間の相関性／類似性／連続性に基づいてストーリーラインを圧縮結果として抽出することができる。次に、当該圧縮結果をそのまま所望の最終圧縮結果とすることができ、当該圧縮結果をさらに圧縮して、最終圧縮結果を取得して、最終圧縮結果のテキスト流暢性、冗長性などの問題を回避することもできる。

【0139】

表６は本開示の実施例（図７に示す方法７００）による効果の例である。本開示の実施例のアルゴリズム、ＴｅｘｔＲａｎｋアルゴリズム、及びクラスタリングアルゴリズムを比較する。ここで、ＴｅｘｔＲａｎｋは、入力語句の重要度をソートするアルゴリズムであり、その後、ソートされた入力語句の前のＮ個の語句を出力結果として抽出する。クラスタリングアルゴリズムは、入力語句に対して類似語句クラスタリングを行い、その後、語句数が最も多いカテゴリを出力結果として選択する。

【0140】

【表11】

【0141】

Ｒｏｕｇｅ－２は、アルゴリズムによって生成された結果と正解結果に共通に含まれる同じ２つの文字の数とアルゴリズムによって生成された結果に含まれるシングル文字の総数との間の割合、及びアルゴリズムによって生成された結果と正解結果に共通に含まれる同じ２つの文字の数と正解結果に含まれるシングル文字の総数との間の割合間の重み付け平均を表す。

【0142】

【表12】

【0143】

本開示は、Ｒｏｕｇｅ－１、Ｒｏｕｇｅ－２とＲｏｕｇｅ－Ｌを含むＦ値で本開示の実施例の効果を体現する。表６から分かるように、本開示の実施例のアルゴリズムはＴｅｘｔＲａｎｋアルゴリズムとクラスタリングアルゴリズムと比較し、出力結果は正解との類似度がより高い。

【0144】

本開示は、１つの入力語句の下部のサブ文とその後に配列された別の入力語句の上部のサブ文との間の相関性／類似性／連続性によって当該２つの入力語句間関係を定義し、すなわち１つの入力語句の下部のサブ文とその後に配列された別の入力語句の上部のサブ文との間の相関性／類似性／連続性が高いほど、当該２つの入力語句がリンク文である確率（又はストーリーラインを構成する確率）が高くなるとみなす。なお、本開示は、さらに、１つの入力語句の上部のサブ文とその後に配列された別の入力語句の上部のサブ文との間の相関性／類似性／連続性で当該２つの入力語句間関係を定義し、すなわち１つの入力語句の上部のサブ文とその後に配列された別の入力語句の上部のサブ文との間の相関性／類似性／連続性が高いほど、当該２つの入力語句が並列文である確率が大きくなるとみなす。例えば、リンク文の確率と並列文の確率同時に判断して、重み付け組み合わせで最終のストーリーラインを取得することができるが、ここでは詳しく説明しない。

【0145】

なお、本開示の第１の分割モデル、第２の分割モデル、第３の分割モデル、第１の類似度モデル、第１の連続性モデルは、ニューラルネットワークモデルであってもよく、畳み込みニューラルネットワーク（ＣＮＮ）（含むＧｏｏｇＬｅＮｅｔ、ＡｌｅｘＮｅｔ、ＶＧＧネットワークなどの）、畳み込みニューラルネットワークを備える領域（Ｒ－ＣＮＮ）、領域提案ネットワーク（ＲＰＮ）、循環ニューラルネットワーク（ＲＮＮ）、スタックベースの深さニューラルネットワーク（Ｓ－ＤＮＮ）、深さ信念ネットワーク（ＤＢＮ）、制限付きボルツマンマシン（ＲＢＭ）、完全畳み込みニネットワーク、長短期間記憶（ＬＳＴＭ）ネットワーク、分類ネットワークとの様々なニューラルネットワークモデルを含むが、これに限定されない。また、１つのタスクを実行するニューラルネットワークモデルは、サブニューラルネットワークを含むことができ、当該サブニューラルネットワークは、不均一なニューラルネットワークを含むことができ、不均一なニューラルネットワークモデルを使用して実現することができる。

【0146】

以下、図８を参照して、本開示の実施例によるテキスト処理装置を説明する。図８は本開示の実施例によるテキスト処理装置の概略図である。本実施例のテキスト処理装置の機能は、上述の図１を参照して説明した方法の詳細と同じであるため、ここでは簡略化のために、同じ内容の詳細な説明を省略する。

【0147】

図８に示すように、テキスト処理装置１０００は、受信部１００１と、分割部１００２と、選択部１００３と、を含む。なお、図８のテキスト処理装置１０００は、これら３つの部のみを含むように示されているが、これは単なる例示であり、テキスト処理装置１０００は１つ又は複数の他の部を含むこともできる。ただし、それらの部は発明のアイデアとは何の関係もないため、ここでは省略する。

【0148】

受信部１００１は、複数の入力語句を受信することができる。

【0149】

分割部１００２は、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得することができる。

【0150】

例えば、分割部１００２は、以下の処理で、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割する。複数の入力語句における各入力語句の長さが第１の所定の長さより長いか否かを判断し、入力語句の長さが第１の所定の長さ以下である場合、入力語句を分割せず、分割されていない入力語句をそのまま分割されていない入力語句自体の上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得し、又は入力語句の長さが第１の所定の長さより長い場合、入力語句を異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得することができる。

【0151】

例えば、分割部１００２は、各入力語句の総文字数に基づいて入力語句を異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文としてもよい。

【0152】

例えば、分割部１００２は、各入力語句のうち名詞が占める中位に基づいて入力語句を異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文としてもよい。

【0153】

例えば、分割部１００２は、句読点に基づいて入力語句を異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文としてもよい。例えば、入力語句に含まれる読点又はカンマ又はセミコロンに基づいて入力語句を異なる２つの部分に分割することができる。

【0154】

例えば、分割部１００２は、トレーニング済みの第１の分割モデルによって複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文としてもよい。第１の分割モデルは、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれの複数の読点又はカンマ又はセミコロンのうち、第１の読点又はカンマ又はセミコロンの前に含まれるすべての単語間の組み合わせ確率と、第１の読点又はカンマ又はセミコロンの後に含まれるすべての単語間の組み合わせ確率とを算出して、各入力語句を異なる２つの部分に分割することができる。また、入力語句に複数の読点又はカンマ又はセミコロンが含まれていない場合、第１の分割モデルは、入力語句に含まれるすべての単語間の組み合わせ確率を算出することによって各入力語句を異なる２つの部分に分割することができる。

【0155】

例えば、分割部１００２は、トレーニング済みの第２の分割モデルによって複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文としてもよい。第２の分割モデルは、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれの第１の所定の分割位置の前に含まれるすべての単語間の組み合わせ確率と、第１の所定の分割位置の後に含まれるすべての単語間の組み合わせ確率とを算出して、各入力語句を異なる２つの部分に分割することができる。

【0156】

例えば、分割部１００２は、トレーニング済みの第３の分割モデルによって複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割することができる。当該第３の分割モデルは、１つの完全な新規語句につなぎ合わせる正のサンプルデータ及び負のサンプルデータを使用してトレーニングして取得し、正のサンプルデータ及び負のサンプルデータは、それぞれ１つ又は複数の完全な語句を含む。

【0157】

選択部１００３は、複数の選択対象語句間の第１の相関性に基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成することができる。

【0158】

例えば、選択部１００３は、各入力語句の下部のサブ文とその後に配列された他の入力語句の上部のサブ文との間の組み合わせ確率のうち確率の高い組み合わせに対応する選択対象語句を直接選択して圧縮結果を構成することができる。

【0159】

本開示では、各入力語句の下部のサブ文とその後に配列された他の入力語句の上部のサブ文との間の第１の相関性が高いほど、この２つの入力語句がリンクされる文である確率が高く、すなわちストーリーラインを構成する確率が高くなるとみなす。

【0160】

例えば、選択部１００３は、複数の入力語句の配列順序である第１の順序に基づいて、各入力語句の下部のサブ文とその後に配列された他の入力語句の上部のサブ文との間の相対距離を取得し、その後、相対距離と第１の相関性とに基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成することができる。

【0161】

例えば、選択部１００３は、予め指定された第１の特定単語又は第１の特定文と第１の相関性とに基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成することができる。

【0162】

例えば、選択部１００３は、第１の所定の圧縮長さと第１の相関性とに基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成することができる。

【0163】

本開示の実施例のテキスト処理装置は、まず、テキストにおける長文を分割し、その後、分割された文間の相関性に基づいてストーリーラインを圧縮結果として抽出することができる。次に、当該圧縮結果をそのまま所望の最終圧縮結果とすることができ、当該圧縮結果をさらに圧縮して、最終圧縮結果を取得して、最終圧縮結果のテキスト流暢性、冗長性などの問題を回避することもできる。

【0164】

以下、図９を参照して本開示の実施例による別のテキスト処理装置を説明する。図９は本開示の実施例によるテキスト処理装置の概略図である。本実施例のテキスト処理装置の機能は上述の図４を参照して説明した方法の詳細と同じであるため、ここでは簡略化のために、同じ内容の詳細な説明を省略する。

【0165】

図９に示すように、テキスト処理装置１１００は、受信部１００４と、第１の類似度取得部１００５と、第１の連続性取得部１００６と、選択部１００７と、を含む。なお、図９のテキスト処理装置１１００は、４つの部のみを含むように示されているが、これは単なる例示であり、テキスト処理装置１１００はさらに１つ又は複数の他の部を含むことができる。ただし、それらの部は発明のアイデアとは何の関係もないため、ここでは省略する。

【0166】

受信部１００４は、複数の入力語句を受信することができる。

【0167】

第１の類似度取得部１００５は、第１の類似度モデルによって複数の入力語句間の第１の類似度を取得することができ、第１の類似度は、語句類似度と主題類似度の少なくとも１つを含む。

【0168】

一例では、第１の類似度モデルは、各入力語句間の単語（例えば、名詞、動詞など）の重複度を直接判断して、複数の入力語句間の第１の類似度を取得することができる。

【0169】

別の例では、第１の類似度モデルは、各入力語句に対応する単語ベクトル（又はセマンティック空間表現）を取得し、その後、各入力語句間の単語（例えば、名詞、動詞など）ベクトルの重複度を判断して、複数の入力語句間の第１の類似度を取得することもできる。

【0170】

また、第１の類似度モデルは、セマンティック相関性、含意関係などに基づいて、入力語句からセマンティック意味が一致するが、表現が一致しない名詞及び／又は代名詞を取得して候補語集合を構成することもできる。その後、当該候補語集合に基づいて各入力語句間の単語（例えば、名詞、動詞など）ベクトルの重複度を判断して、複数の入力語句間の第１の類似度を取得する。

【0171】

もう１つの例では、第１の類似度モデルは、トレーニング済みのニューラルネットワークモデルであってもよい。例えば、第１の類似度モデルは、語句類似度の割合と主題類似度の割合を出力することができる。

【0172】

第１の連続性取得部１００６は、第１の連続性モデルによって複数の入力語句間の第１の連続性を取得することができる。

【0173】

第１の連続性モデルは、トレーニング済みのニューラルネットワークモデルであってもよい。例えば、第１の連続性モデルは、語句連続性の割合を出力することができる。なお、上記の第１の連続性モデルは単なる例であり、他のモデルを使用して語句の連続性の割合を生成することもできるが、ここでは詳しく説明しない。

【0174】

選択部１００７は、第１の類似度及び／又は第１の連続性に基づいて、複数の入力語句のうち一部の入力語句を選択して圧縮結果を構成することができる。

【0175】

例えば、選択部１００７は、第１の類似度又は第１の連続性が高い一部の入力語句を直接選択して圧縮結果を構成することができる。

【0176】

例えば、選択部１００７は、各候補経路をトラバーサルし、候補経路から第１の類似度又は第１の連続性が高い一部の入力語句を選択して圧縮結果を構成することができる。

【0177】

例えば、選択部１００７は、第１の類似度と第１の連続性との組み合わせに基づいて複数の入力語句のうち一部の入力語句を選択して圧縮結果を構成することができる。

【0178】

例えば、選択部１００７は、複数の入力語句の配列順序である第１の順序に基づいて、各入力語句間の相対距離を算出することと、相対距離と、第１の類似度及び／又は第１の連続性とに基づいて、複数の入力語句のうち一部の入力語句を選択して圧縮結果を構成することで、複数の入力語句のうち一部の入力語句を選択して圧縮結果を構成することができる。

【0179】

例えば、選択部１００７は、予め指定された第１の特定単語又は第１の特定文と、第１の類似度及び／又は第１の連続性とに基づいて、複数の入力語句のうち一部の入力語句を選択して圧縮結果を構成することができる。

【0180】

例えば、選択部１００７は、第１の所定の圧縮長さと、第１の類似度及び／又は第１の連続性とに基づいて、複数の入力語句のうち一部の入力語句を選択して圧縮結果を構成することができる。

【0181】

本開示の実施例のテキスト処理装置は、まず、入力語句間の類似性／連続性に基づいてテキストにおける長文に対してストーリーラインを圧縮結果として抽出することができる。次に、当該圧縮結果をそのまま所望の最終圧縮結果とすることができ、当該圧縮結果をさらに圧縮して、最終圧縮結果を取得して、最終圧縮結果のテキスト流暢性、冗長性などの問題を回避することもできる。

【0182】

以下、図１０を参照して本開示の実施例によるもう１つのテキスト処理装置を説明する。図１０は本開示の実施例によるテキスト処理装置の概略図である。本実施例のテキスト処理装置の機能は上述の図７を参照して説明した方法の詳細と同じであるため、ここでは簡略化のために、同じ内容の詳細な説明を省略する。

【0183】

図１０に示すように、テキスト処理装置１２００は、受信部１００８と、分割部１００９と、選択部１０１０と、を含む。なお、図１０のテキスト処理装置１２００は３つの部のみを含むように示されているが、これは単なる例示であり、テキスト処理装置１２００は１つ又は複数の他の部を含むこともできる。ただし、それらの部は発明のアイデアとは何の関係もないため、ここでは省略する。

【0184】

受信部１００８は、複数の入力語句を受信することができる。

【0185】

分割部１００９は、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得することができる。

【0186】

選択部１０１０は、複数の選択対象語句間の第１の相関性及び／又は第１の類似度及び／又は第１の連続性に基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成することができる。

【0187】

分割部１００９の機能は上述の図８を参照して説明した分割部１００２の機能と同じであるため、ここでは簡略化のために、同じ内容の詳細な説明を省略する。

【0188】

選択部１０１０の機能は、上述の図８と図９を参照して説明した選択部１００３及び選択部１００７の機能と同じであるため、ここでは簡略化のために、同じ内容の詳細な説明を省略する。

【0189】

本開示の実施例のテキスト処理装置は、まず、テキストにおける長文を分割し、その後、分割された文間の相関性／類似性／連続性に基づいてストーリーラインを圧縮結果として抽出することができる。次に、当該圧縮結果をそのまま所望の最終圧縮結果とすることができ、当該圧縮結果をさらに圧縮して、最終圧縮結果を取得して、最終圧縮結果のテキスト流暢性、冗長性などの問題を回避することもできる。

【0190】

以下では、図１１を参照して本開示の実施例によるテキスト処理デバイスを説明する。図１１は本開示の実施例によるテキスト処理デバイス２０００の概略図である。

【0191】

図１１に示すように、テキスト処理デバイス２０００は、プロセッサ２００１とメモリ２００２を含む。なお、図１１のテキスト処理デバイス２０００は、２つの機器のみを含むように示されているが、これは単なる例示であり、テキスト処理デバイス２０００は、１つ又は複数の他のデバイス機器を含むこともでき、これらのデバイス機器は発明のアイデアとは何の関係もないため、ここでは省略する。

【0192】

本開示のテキスト処理デバイス２０００は、プロセッサ２００１と、コンピュータ読み取り可能な命令が記憶されているメモリ２００２と、を含むことができ、コンピュータ読み取り可能な命令がプロセッサ２００１によって実行される場合、テキスト処理方法が実行され、前記方法は、複数の入力語句を受信するステップと、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得するステップと、複数の選択対象語句間の第１の相関性に基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップと、を含むことができる。

【0193】

本開示のテキスト処理デバイス２０００は、プロセッサ２００１と、コンピュータ読み取り可能な命令が記憶されているメモリ２００２と、を含むことができ、コンピュータ読み取り可能な命令がプロセッサ２００１によって実行される場合、テキスト処理方法が実行され、前記方法は、さらに、複数の入力語句を受信するステップと、第１の類似度モデルによって複数の入力語句間の第１の類似度を取得するステップであって、第１の類似度は、語句類似度及び主題類似度の少なくとも１つを含むステップと、第１の連続性モデルによって複数の入力語句間の第１の連続性を取得するステップと、第１の類似度及び／又は第１の連続性に基づいて、複数の入力語句のうち一部の入力語句を選択して圧縮結果を構成するステップと、を含むことができる。

【0194】

本開示のテキスト処理デバイス２０００は、プロセッサ２００１と、コンピュータ読み取り可能な命令が記憶されているメモリ２００２と、を含むことができ、コンピュータ読み取り可能な命令がプロセッサ２００１によって実行される場合、テキスト処理方法が実行され、前記方法は、さらに、複数の入力語句を受信するステップと、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得するステップと、複数の選択対象語句間の第１の相関性及び／又は第１の類似度及び／又は第１の連続性に基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップと、を含むことができる。

【0195】

異なる実施例のテキスト処理装置１０００、１１００、１２００、及びテキスト処理デバイス２０００に対する技術的効果は、本開示の実施例により提供されるテキスト処理方法の技術的効果を参照することができるが、ここでは詳しく説明しない。

【0196】

テキスト処理装置１０００、１１００、１２００、及びテキスト処理デバイス２０００は、さまざまな適切な電子機器に用いられることができる。

【0197】

本開示は、コンピュータ読み取り可能な命令が記憶されているコンピュータ読み取り可能な記憶媒体をさらに含み、当該コンピュータ読み取り可能な命令がコンピュータによって実行される場合、コンピュータテキスト処理方法が実行され、複数の入力語句を受信するステップと、複数の入力語句のうちの１つ又は複数の入力語句のそれぞれを異なる２つの部分に分割して、それぞれ上部のサブ文と下部のサブ文とし、複数の選択対象語句を取得するステップと、複数の選択対象語句間の第１の相関性及び／又は第１の類似度及び／又は第１の連続性に基づいて、複数の選択対象語句のうちの１つ又は複数の選択対象語句を選択して圧縮結果を構成するステップと、含む。

【0198】

＜ハードウェア構造＞
また、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構造部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合された１つの装置を用いて実現されてもよいし、物理的及び／又は論理的に分離された２つ以上の装置を直接的及び／又は間接的に（例えば、有線、無線を用いて）接続して、上述の複数の装置を用いて実現されてもよい。

【0199】

例えば、本発明の一実施形態の電子機器は、本発明のテキスト処理方法の処理を行うコンピュータとして機能してもよい。図１２は、本発明の一実施形態に係る電子機器のハードウェア構造の一例を示す図である。上記の電子機器１０は、物理的には、プロセッサ３００１、メモリ３００２、ストレージ３００３、通信装置３００４、入力装置３００５、出力装置３００６、バス３００７などを含むコンピュータ装置として構成されてもよい。

【0200】

また、以下の説明では、「装置」という用語は、回路、デバイス、部（section）などに読み替えることもできる。電子機器１０のハードウェア構造は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0201】

例えば、プロセッサ３００１は１つだけ図示されているが、複数のプロセッサがあってもよい。また、処理は、１つのプロセッサによって実行されてもよく、処理が同時に、逐次、又はその他の手法を用いて、１つ以上のプロセッサによって実行されてもよい。また、プロセッサ３００１は、１つ以上のチップによって実装されてもよい。

【0202】

電子機器１０の各機能は、例えば、プロセッサ３００１、メモリ３００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ３００１が演算を行い、通信装置３００４を介する通信を制御したり、メモリ３００２及びストレージ３００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

【0203】

プロセッサ３００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ３００１は、周辺装置とのインタフェース、制御装置、演算装置、レジスタなどを含む中央プロセッサ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ））で構成されてもよい。

【0204】

また、プロセッサ３００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどをストレージ３００３及び通信装置３００４の少なくとも一方からメモリ３００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施形態おいて説明した動作の少なくとも一部のプログラムをコンピュータに実行させるプログラムが用いられる。例えば、電子機器１０の制御部は、メモリ３００２に格納され、プロセッサ３００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。

【0205】

メモリ３００２は、コンピュータ読み取り可能な記録媒体であり、例えば、読み取り専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ））、プログラマブル読み取り専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ（ＥＰＲＯＭ））、電気プログラマブル読み取り専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ（ＥＥＰＲＯＭ））、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ））、その他の適切な記憶媒体の少なくとも１つによって構成されてもよい。メモリ３００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などとも呼ばれてもよい。メモリ３００２は、本発明の一実施形態に係る無線通信方法を実施するために実行可能プログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0206】

ストレージ３００３は、コンピュータ読み取り可能な記録媒体であり、例えば、フレキシブルディスク（ｆｌｅｘｉｂｌｅ ｄｉｓｋ）、フロッピー（登録商標）ディスク（ｆｌｏｐｐｙ ｄｉｓｋ）、光磁気ディスク（例えば、コンパクトディスク（ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ ＲＯＭ）など）、デジタル多用途ディスク、ブルーレイ（Ｂｌｕ－ｒａｙ（登録商標））ディスク）、リムーバブルディスク、ハードディスクドライブ、スマートカード、フラッシュメモリデバイス（例えば、カード、スティック（ｓｔｉｃｋ）、キードライブ（ｋｅｙ ｄｒｉｖｅｒ））、磁気ストリップ、データベース、サーバ、その他の適切な記憶媒体の少なくとも１つによって構成されてもよい。ストレージ３００３は、補助記憶装置とも呼ばれてもよい。

【0207】

通信装置３００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

【0208】

入力装置３００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置３００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ（ＬＥＤ））ランプなど）である。また、入力装置３００５及び出力装置３００６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0209】

また、プロセッサ３００１、メモリ３００２などの各装置は、情報を通信するためのバス３００７によって接続される。バス３００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

【0210】

また、電子機器１０は、マイクロプロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ（ＤＳＰ））、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＡＳＩＣ））、プログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ（ＰＬＤ））、フィールドプログラマブルゲートアレイ（ＦＰＧＡ、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウェアを含んで構成されてもよく、当該ハードウェアを用いて各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ３００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

【0211】

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、又は他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0212】

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ（ＤＳＬ））など）及び無線技術（赤外線、マイクロ波など）の少なとくも一法を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

【0213】

本明細書で説明した各態様／実施形態は、単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。なお、本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾のない限り、順序を入れ替えてもよい。例えば、本明細書において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0214】

本明細書において使用する「基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」に「に少なくとも基づいて」の両方を意味する。

【0215】

本明細書において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、これらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書において使用され得る。したがって、第１及び第２の要素の参照は、２つの要素のみが採用され得ること又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

【0216】

本明細書又は請求項において「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が使用されている場合、これらの用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書又は請求項において使用されている用語「又は（ｏｒ）」は、排他的論理和ではないことが意図される。

【0217】

当業者は、本出願の様々な態様を、任意の新規かつ有用な工程、機械、製品又は物質の組み合わせ、又はそれらの任意の新規かつ有用な改良を含む特許可能性のあるいくつかの種類又は状況を説明及び説明できることを理解することができる。したがって、本願のさまざまな態様は、ハードウェアによって完全に実行されてもよく、ソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）によって完全に実行されてもよく、ハードウェアとソフトウェアの組み合わせによって実行されてもよい。これらのハードウェア又はソフトウェアは、「データブロック」、「モジュール」、「エンジン」、「ユニット」、「コンポーネント」、又は「システム」と呼ぶことができる。さらに、本願の態様は、コンピュータ読み取り可能なプログラム符号化を含む１つ又は複数のコンピュータ読み取り可能な媒体に存在するコンピュータ製品として表現されることができる。

【0218】

本願は、本願の実施形態を説明するために特定の語を使用する。例えば、「一実施例」、「一実施形態」、及び／又は「いくつかの実施形態」は、本願の少なくとも１つの実施形態に関連する特徴、構造、又は特性を意味する。したがって、本明細書において異なる位置で２回以上言及される「一実施形態」又は「一実施形態」又は「候補的な実施形態」は、必ずしも同じ実施形態を指すものではないことを強調し、留意すべきである。さらに、本願の１つ又は複数の実施形態のいくつかの特徴、構造、又は特性を適切に組み合わせることができる。

【0219】

特に定義がない限り、本明細書で使用されるすべての用語（技術及び科学用語を含む）は、本開示が属する当業者に共通して理解されるものと同じ意味を有する。通常の辞書で定義されるような用語は、本明細書で明示的にそう定義されない限り、関連技術の文脈におけるそれらの意味と一致する意味を持つと解釈されるべきであることも理解することができる。

【0220】

以上、本発明について詳細に説明したが、当業者にとっては、本発明は本明細書中に説明した実施形態に限定されないことが明らかである。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら限定的な意味をもたらさない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】