特開 2022-92849 検索装置、検索方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022092849

(43)【公開日】2022-06-23

(54)【発明の名称】検索装置、検索方法、およびプログラム

(51)【国際特許分類】

   G06F 16/33 20190101AFI20220616BHJP

【ＦＩ】

G06F16/33

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2020205794

(22)【出願日】2020-12-11

(11)【特許番号】

(45)【特許公報発行日】2022-01-28

(71)【出願人】

【識別番号】397065480

【氏名又は名称】エヌ・ティ・ティ・コムウェア株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(72)【発明者】

【氏名】川前 徳章

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA01

5B175HB03

(57)【要約】

【課題】質問に対する回答の検索効率を向上する。
【解決手段】検索システム１は、学習部１０と検索部２０を備える。学習部１０は、処理対象のテキスト群を入力し、テキスト群の各テキストの単語および品詞の重要度を表す行列Ｄ，Ｓをトピックを基底としてＮＭＦにより分解したトピックモデルとテキスト群の単語の共起に基づくスキップグラムモデルとを同時に学習して、文書または単語を入力すると分散ベクトルを出力するモデルを生成する。検索部２０は、単語または文書をモデルに入力し、得られた分散ベクトルと近い分散ベクトルを持つ単語または文書を検索結果として出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

処理対象のテキスト群を入力し、前記テキスト群の各テキストの単語の重要度を表す行列をトピックを基底として非負値行列因子分解した第１モデルと前記テキスト群の単語の共起に基づく第２モデルとを同時に学習して、文書または単語を入力すると分散ベクトルを出力するモデルを生成する学習部と、
単語または文書を前記モデルに入力し、得られた分散ベクトルと近い分散ベクトルを持つ単語または文書を検索結果として出力する検索部を備える
検索装置。

【請求項2】

請求項１に記載の検索装置であって、
前記第１モデルは、各テキストの単語の重要度を表す行列を文書－トピック行列とトピック－単語行列に分解し、各テキストの品詞の重要度を表す行列を文書－トピック行列とトピック－品詞行列に分解したモデルであり、
前記第２モデルは、前記テキスト群の単語の共起を単語の共起行列、品詞の共起行列、および単語と品詞の共起行列で表現したモデルであって、
前記学習部は、前記処理対象のテキスト群を入力し、前記文書－トピック行列、前記トピック－単語行列、前記トピック－品詞行列、前記単語の共起行列を分解して導出した単語の埋め込み行列と文脈語の埋め込み行列、前記品詞の共起行列を分解して導出した品詞の埋め込み行列と文脈に沿った品詞の埋め込み行列、前記単語と品詞の共起行列を分解して導出した品詞の埋め込み行列と文脈語の埋め込み行列、前記トピック－単語行列を分解して導出したトピックの埋め込み行列と文脈語の埋め込み行列、前記トピック－品詞行列を分解して導出したトピックの埋め込み行列と文脈に沿った品詞の埋め込み行列を求めて前記モデルを生成する
検索装置。

【請求項3】

請求項２に記載の検索装置であって、
前記学習部は、単語の頻出頻度に基づいて前記各テキストの単語の重要度を表す行列を生成し、品詞の頻出頻度に基づいて前記各テキストの品詞の重要度を表す行列を生成し、
前記学習部は、単語間の自己相互情報量に基づいて前記単語の共起行列を生成し、品詞間の自己相互情報量に基づいて前記品詞の共起行列を生成し、単語と品詞間の自己相互情報量に基づいて前記単語と品詞の共起行列を生成する
検索装置。

【請求項4】

コンピュータが、
処理対象のテキスト群を入力し、
前記テキスト群の各テキストの単語の重要度を表す行列をトピックを基底として非負値行列因子分解した第１モデルと前記テキスト群の単語の共起に基づく第２モデルとを同時に学習して、文書または単語を入力すると分散ベクトルを出力するモデルを生成し、
単語または文書を前記モデルに入力し、得られた分散ベクトルと近い分散ベクトルを持つ単語または文書を検索結果として出力する
検索方法。

【請求項5】

請求項４に記載の検索方法であって、
前記第１モデルは、各テキストの単語の重要度を表す行列を文書－トピック行列とトピック－単語行列に分解し、各テキストの品詞の重要度を表す行列を文書－トピック行列とトピック－品詞行列に分解したモデルであり、
前記第２モデルは、前記テキスト群の単語の共起を単語の共起行列、品詞の共起行列、および単語と品詞の共起行列で表現したモデルであって、
前記コンピュータは、前記処理対象のテキスト群を入力し、前記文書－トピック行列、前記トピック－単語行列、前記トピック－品詞行列、前記処理対象のテキスト群を入力し、前記単語の共起行列を分解して導出した単語の埋め込み行列と文脈語の埋め込み行列、前記品詞の共起行列を分解して導出した品詞の埋め込み行列と文脈に沿った品詞の埋め込み行列、前記単語と品詞の共起行列を分解して導出した品詞の埋め込み行列と文脈語の埋め込み行列、前記トピック－単語行列を分解して導出したトピックの埋め込み行列と文脈語の埋め込み行列、前記トピック－品詞行列を分解して導出したトピックの埋め込み行列と文脈に沿った品詞の埋め込み行列を求めて前記モデルを生成する
検索方法。

【請求項6】

請求項５に記載の検索方法であって、
前記コンピュータは、
単語の頻出頻度に基づいて前記各テキストの単語の重要度を表す行列を生成し、
品詞の頻出頻度に基づいて前記各テキストの品詞の重要度を表す行列を生成し、
単語間の自己相互情報量に基づいて前記単語の共起行列を生成し、
品詞間の自己相互情報量に基づいて前記品詞の共起行列を生成し、
単語と品詞間の自己相互情報量に基づいて前記単語と品詞の共起行列を生成する
検索方法。

【請求項7】

請求項１ないし３のいずれかに記載の検索装置の各部としてコンピュータを動作させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検索装置、検索方法、およびプログラムに関する。

【背景技術】

【0002】

既存の検索システムは、データベース検索の延長にあり、キーワード一致したものを検索する。例えば、分散埋め込み表現（分散ベクトル）を用いる検索手法では、単語あるいは文書をそれぞれ分散ベクトルで表現し、そのベクトルの近さが意味の近さになるように学習したベクトルを使って検索を実行する。これにより、単語あるいは文書に対して意味的に近い単語や文書をベクトル演算で検索できるようになる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１８／１５１１２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、既存の分散ベクトルは単語の前後情報のみを用いて学習するので、反意語でも類似した分散ベクトルを持つことがある。また、文書は単語より構成されるが、全ての単語が同様の重みをもつわけではないにもかかわらず、それらを考慮して文書の分散ベクトルを学習していないため、文書検索の精度が落ちるという課題がある。

【0005】

本発明は、上記に鑑みてなされたものであり、質問に対する回答の検索効率を向上することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様の検索装置は、処理対象のテキスト群を入力し、前記テキスト群の各テキストの単語の重要度を表す行列をトピックを基底として非負値行列因子分解した第１モデルと前記テキスト群の単語の共起に基づく第２モデルとを同時に学習して、文書または単語を入力すると分散ベクトルを出力するモデルを生成する学習部と、単語または文書を前記モデルに入力し、得られた分散ベクトルと近い分散ベクトルを持つ単語または文書を検索結果として出力する検索部を備える。

【発明の効果】

【0007】

本発明によれば、質問に対する回答の検索効率を向上することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本実施形態の検索システムの構成の一例を示す図である。

【図2】図２は、本実施形態のモデルを非負値行列因子分解により表現した図である。

【図3】図３は、本実施形態のモデルをｓｋｉｐ－ｇｒａｍにより表現した図である。

【図4】図４は、本実施形態の検索システムの学習処理の流れの一例を示すフローチャートである。

【図5】図５は、本実施形態の検索システムの検索処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

［システム構成］
以下、本発明の実施の形態について図面を用いて説明する。

【0010】

図１は、本実施形態の検索システムの構成の一例を示す図である。同図に示す検索システム１は、学習部１０、検索部２０、データ保存部３０、および計算結果記憶部４０を備える。検索システム１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは検索システム１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。

【0011】

学習部１０は、処理対象のテキスト群を入力し、トピックモデル（Ｔｏｐｉｃ ｍｏｄｅｌ）と埋め込みモデル（Ｅｍｂｅｄｄｉｎｇ ｍｏｄｅｌ）とを同時に学習して、文書集合を入力するとそれに含まれる文書及びその単語の分散ベクトルを生成する。トピックモデルとは、トピックに基づくテキスト単位のグローバルな単語の共起性を用いてテキストの生成過程をモデル化したものである。埋め込みモデルとは、各単語の周辺に出現する単語集合というローカルな情報を用いて単語の共起をモデル化したものである。トピックモデルと埋め込みモデルを結びつけることで、両モデルのメリットを享受したモデルを生成できる。

【0012】

より具体的には、学習部１０は、事前処理部１１と計算処理部１２を備えて、単語の重要度を表す行列をトピックを基底として非負値行列因子分解を用いて行列表現するとともに、単語の共起をｓｋｉｐ－ｇｒａｍを用いて行列表現したモデルを生成する。

【0013】

事前処理部１１は、処理対象のテキスト群を形態素解析により単語に分割し、単語の頻出頻度に基づいて各テキストの単語および品詞の重要度を表す行列Ｄ，Ｓを生成するとともに、単語間、品詞間、および単語と品詞間の自己相互情報量（Ｐｏｉｎｔｗｉｓｅ Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ：ＰＭＩ）に基づいて単語の共起行列Ｗ、品詞の共起行列Ｅ、および単語と品詞の共起行列Ｒを生成する。

【0014】

計算処理部１２は、行列Ｄを文書－トピック行列Θとトピック－単語行列Ｔに分解し、行列Ｓを文書－トピック行列Θとトピック－品詞行列Ｇに分解して、行列Θ、行列Ｔ、および行列Ｇを求めるとともに、単語の共起行列Ｗを分解して導出した単語の埋め込み行列Ｂと文脈語の埋め込み行列Ｃ、品詞の共起行列Ｅを分解して導出した品詞の埋め込み行列Ｑと文脈に沿った品詞の埋め込み行列Ｈ、単語と品詞の共起行列Ｒを分解して導出した品詞の埋め込み行列Ｑと文脈語の埋め込み行列Ｃを求め、トピック－単語行列Ｔを分解して導出したトピックの埋め込み行列Ａと文脈語の埋め込み行列Ｃ、トピック－品詞行列Ｇを分解して導出したトピックの埋め込み行列Ａと文脈に沿った品詞の埋め込み行列Ｈを求める。提案モデルの詳細については後述する。

【0015】

検索部２０は、ユーザ端末５から受信した単語または文書をキーとして、モデルから得られた分散ベクトルと近い分散ベクトルを計算結果記憶部４０から検索し、検索で得られた分散ベクトルを持つ単語または文書をデータ保存部３０から取得して検索結果としてユーザ端末５へ返却する。

【0016】

検索部２０は、例えば、ユーザ端末５から話し言葉で検索内容を入力されたときに、話し言葉をキーとして意味的に近い単語を検索し、検索で得られた単語を検索キーワードとしてモデルに入力して検索結果を得てもよい。

【0017】

データ保存部３０は、検索対象の文書と単語を保持する。データ保存部３０の保持する文書は処理対象のテキスト群として学習部１０のモデルの学習にも用いられる。

【0018】

計算結果記憶部４０は、文書および単語の分散ベクトルを保持する。文書および単語の分散ベクトルは、文書および単語を学習部１０の生成したモデルに入力することで得られる。計算結果記憶部４０は、文書および単語の意味空間のインデックスであり、空間内での距離の近さは意味の近さになっている。

【0019】

［提案モデル］
ここで、本実施形態で提案するモデルについて説明する。

【0020】

図２は、各テキストのグラフィカルモデルを非負値行列因子分解（Ｎｏｎ－ｎｅｇａｔｉｖｅ Ｍａｔｒｉｘ Ｆａｃｔｏｒｉｚａｔｉｏｎ：ＮＭＦ）を用いて行列表現した様子を示す図である。

【0021】

図２の左側は、各テキストのグラフィカルモデルである。グラフィカルモデルはノードとエッジから構成され、ノードは変数、エッジの方向はノード間の因果関係を示す。図２のグラフィカルモデルでは、文書ｄ_jのトークンｉにおけるトピックｚ_jiから品詞ｌ_jiが確率的にサンプリングされ、トピックｚ_jiと品詞ｌ_jiから単語ｗ_jiがサンプリングされる様子を示している。

【0022】

図２の右側は、テキスト集合（文書集合）をＮＭＦを用いて行列表現したものである。文書×単語の行列Ｄは、文書×トピックの行列Θ、トピック×単語の行列Ｔに分解される。文書×品詞の行列Ｓは、文書×トピックの行列Θ、トピック×品詞の行列Ｇに分解される。行列Ｄ，Ｓで行列Θを共有している。

【0023】

図３は、各テキストをグラフィカルモデルに出現するノード（変数）をｓｋｉｐ－ｇｒａｍ（ｗｉｎｄｏｗ ｓｉｚｅ＝２）を用いて行列表現したものである。

【0024】

図３の左側に各テキストのグラフィカルモデルを示し、右側に３つのｓｋｉｐ－ｇｒａｍを示している。左のｓｋｉｐ－ｇｒａｍは、位置ｔにある単語ｗ_tから前後２番目以内の位置にある単語ｗ_t-2，ｗ_t-1，ｗ_t+1，ｗ_t+2を予測する。真ん中のｓｋｉｐ－ｇｒａｍは、位置ｔにある品詞ｌ_tから前後２番目以内の位置にある品詞ｌ_t-2，ｌ_t-1，ｌ_t+1，ｌ_t+2を予測する。右のｓｋｉｐ－ｇｒａｍは、位置ｔにある品詞ｌ_tから前後２番目以内の位置にある単語ｗ_t-2，ｗ_t-1，ｗ_t+1，ｗ_t+2を予測する。

【0025】

ｓｋｉｐ－ｇｒａｍの学習はＰＭＩ行列の分解に等価である。モデルの学習では、共起行列Ｗ、共起行列Ｅ、および共起行列Ｒのｓｈｉｆｔｅｄ ｐｏｓｉｔｉｖｅ ＰＭＩ（ＳＰＰＭＩ）を用いて、共起行列Ｗを単語の埋め込み行列Ｂと文脈語の埋め込み行列Ｃに分解し、共起行列Ｅを品詞の埋め込み行列Ｑと文脈に沿った品詞の埋め込み行列Ｈに分解し、共起行列Ｒを品詞の埋め込み行列Ｑと文脈語の埋め込み行列Ｃに分解する。

【0026】

本実施形態では、さらに、図２で得られた行列Ｔ，ＧについてもＳＰＰＭＩを用いて、トピック×単語の行列Ｔをトピックの埋め込み行列Ａと文脈語の埋め込み行列Ｃに分解し、トピック×品詞の行列Ｇをトピックの埋め込み行列Ａと文脈に沿った品詞の埋め込み行列Ｈに分解する。

【0027】

学習部１０は、前記文書－トピック行列Θ、前記トピック－単語行列Ｔ、前記トピック－品詞行列Ｇ、トピックの埋め込み行列Ａ、単語の埋め込み行列Ｂ、文脈語の埋め込み行列Ｃ、文脈に沿った品詞の埋め込み行列Ｈ、および品詞の埋め込み行列Ｑを求めることで、トピックモデルとｓｋｉｐ－ｇｒａｍを結びつけてテキスト群に含まれる文書及び単語の分散ベクトルを学習する。

【0028】

［動作］
次に、図４のフローチャートを参照し、学習処理について説明する。説明で利用する記号とその説明を次表１に記載する。

【0029】

【表1】

【0030】

ステップＳ１１にて、学習部１０は、データ保存部３０から処理対象のテキスト群を読み出して、形態素解析によりテキスト群を単語に分割する。学習部１０は、単語の品詞も取得しておく。

【0031】

ステップＳ１２にて、学習部１０は、文書×単語の行列Ｄと文書×品詞の行列Ｓを作成する。行列ＤはＶ（単語の異なり数）×Ｎ（文書の数）からなる行列であり、行列の要素ｄ_jiは、文書ｉにおける単語ｊのｔｆ＊ｉｄｆ値を用いる。行列ＳはＯ（品詞の異なり数）×Ｎ（文書の数）からなる行列であり、行列の要素ｓ_jiは、文書ｉにおける品詞ｊのｔｆ＊ｉｄｆ値を用いる。

【0032】

ステップＳ１３にて、学習部１０は、単語の共起行列Ｗ，品詞の共起行列Ｅ，および単語と品詞の共起行列Ｒを作成する。

【0033】

単語の共起行列Ｗの（ｉ，ｊ）成分は、ＳＰＰＭＩを用いて次式で求められる。

【0034】

【数1】

【0035】

共起行列Ｅ、Ｒも共起行列Ｗと同様に作成できる。

【0036】

ステップＳ１４にて、学習部１０は、モデルのパラメタを更新する。以下、パラメタの導出について説明する。

【0037】

図２で説明したように、本実施形態では、行列Ｄ，ＳをＮＭＦを用いたトピックモデルとして解釈し、Ｄ＝Θ×Ｔ、Ｓ＝Θ×Ｇとする。行列Ｔ、Ｇ、Θは、次式の目的関数Ｌ_D、Ｌ_Sを用いて導出できる。目的関数Ｌ_D、Ｌ_Sが最小となるような行列Ｔ、Ｇ、Θを求めることで行列Ｄ，Ｓを分解できる。

【0038】

【数2】

【0039】

なお、右辺の第２項は、オーバーフィッティングを防止するための正規化項であり、λ_d、λ_sは正規化項を調整するパラメタである。以降の数式も同様である。

【0040】

図３で説明したように、ｓｋｉｐ－ｇｒａｍの学習はステップＳ１３で作成した共起行列Ｗ，Ｅ，Ｒの分解に相当し、行列Ｂ、Ｃ、Ｑ、Ｈは、次式の目的関数Ｌ_W、Ｌ_E、Ｌ_Rを用いて導出できる。

【0041】

【数3】

【0042】

また、行列Ｔ＝Ａ×Ｃ、行列Ｇ＝Ａ×Ｈと分解すると、行列Ａ、Ｃ、Ｈは、次式の目的関数Ｌ_T,Gを用いて導出できる。

【0043】

【数4】

【0044】

上記の目的関数をまとめると、モデルの目的関数は次式となる。

【0045】

【数5】

【0046】

モデルの目的関数を展開すると次式となる。

【0047】

【数6】

【0048】

学習部１０の更新するパラメタは、モデルの目的関数から導出した次式となる。

【0049】

【数7】

【0050】

続いて、図５のフローチャートを参照し、検索処理について説明する。

【0051】

ステップＳ２１にて、検索部２０は、ユーザ端末５から検索内容（クエリ）を受信する。クエリは、単語でもよいし、文書でもよい。

【0052】

ステップＳ２２にて、検索部２０は、受信したクエリをキーとして計算結果記憶部４０に問い合わせ、該当する分散ベクトルを得る。

【0053】

ステップＳ２３にて、検索部２０は、計算結果記憶部４０からステップＳ２２で得た分散ベクトルに近い分散ベクトルを検索し、検索された近い分散ベクトルに対応する文書または単語をデータ保存部３０から取得する。分散ベクトル間の距離はコサイン類似度を使って測定できる。

【0054】

ステップＳ２４にて、検索部２０は、ステップＳ２３で取得した単語または文書を検索結果としてユーザ端末５へ返却する。

【0055】

［検証］
ＱＡシステムの適合率向上に対する本実施形態の検索システムの有効性を評価するために、現行のヘルプデスクシステムと本実施形態の検索システムの検索機能を検証した。

【0056】

検索データとして、ＱＡデータを７００件程度用意し、検索内容として、質問と質問に対する正解を１５０件程度用意した。現行システムに、検索データを一括登録で登録し、質問を随時検索して、アウトプットの５番目までを取得した。本実施形態の検索システムに、検索データを学習させて、質問を随時検索して、アウトプットの５番目までを取得した。１番目から５番目までのアウトプットの中で質問に対する正解の位置に応じて５点、４点、３点、２点、１点を付与した。例えば、アウトプットの１番目が質問に対する正解であったときは５点を付与する。アウトプットの中に正解が含まれないときは０点とする。次表２に検証結果を示す。

【0057】

【表2】

【0058】

本実施形態の検索システムは、現行システムより正解合計点数が多く、適合率が高いといえる。また、本実施形態の検索システムは、現行システムより０点の数が少なく、再現率が高いといえる。適合率とは、正解データとの一致度合いを表す、正確性に関する指標である。再現率とは、正解データを網羅する度合いを表す、網羅性に関する指標である。

【0059】

以上説明したように、本実施形態の検索システム１は、学習部１０と検索部２０を備える。学習部１０は、処理対象のテキスト群を入力し、テキスト群の各テキストの単語および品詞の重要度を表す行列Ｄ，Ｓをトピックを基底としてＮＭＦにより分解したトピックモデルとテキスト群の単語の共起に基づくスキップグラムモデルとを同時に学習して、文書または単語を入力すると分散ベクトルを出力するモデルを生成する。検索部２０は、単語または文書をモデルに入力し、得られた分散ベクトルと近い分散ベクトルを持つ単語または文書を検索結果として出力する。このように、検索システム１が文書および単語の分散ベクトルを同時に学習することで、文書と単語を同じ意味空間で表現できる。その結果、キーワードが一致するだけでなく、意味が近いものまで検索でき、検索効率の向上が期待できる。また、適切なキーワードが想起できないときに、そのキーワードを表す文書（話し言葉）を入力しても適切な検索結果が得られる。

【0060】

本実施形態の検索システム１は、単語および品詞のｔｆ＊ｉｄｆ値を用いて、各テキストの単語および品詞の重要度を表す行列を生成することにより、文書を構成する単語の重みが考慮されるので、文書検索の精度の向上が期待できる。

【0061】

本実施形態の検索システム１は、トピックおよび品詞を組み合わせてモデルを学習するので、反意語が類似した分散ベクトルを持つことを抑制できる。

【符号の説明】

【0062】

１…検索システム
１０…学習部
１１…事前処理部
１２…計算処理部
２０…検索部
３０…データ保存部
４０…計算結果記憶部

【図1】

【図2】

【図3】

【図4】

【図5】