ホーム > 特許ランキング > 日本電信電話株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】類似度評価装置、類似度評価方法、およびプログラム
(51)【国際特許分類】
G06F 16/33 20190101AFI20241001BHJP
G06F 40/157 20200101ALI20241001BHJP
【ＦＩ】
G06F16/33
G06F40/157
【請求項の数】
3
(21)【出願番号】P 2021538633
(86)(22)【出願日】2019-08-07
(86)【国際出願番号】 JP2019031215
(87)【国際公開番号】W WO2021024430
(87)【国際公開日】2021-02-11
【審査請求日】2022-01-18
【審判番号】
【審判請求日】2023-10-10
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100121706
【弁理士】
【氏名又は名称】中尾 直樹
(74)【代理人】
【識別番号】100128705
【弁理士】
【氏名又は名称】中村 幸雄
(74)【代理人】
【識別番号】100147773
【弁理士】
【氏名又は名称】義村 宗洋
(72)【発明者】
【氏名】岡田 莉奈
(72)【発明者】
【氏名】長谷川 聡
【合議体】
【審判長】林 毅
【審判官】脇岡 剛
【審判官】吉田 美彦
(56)【参考文献】
【文献】特開２００３－５８５３５（ＪＰ，Ａ）
【文献】特開２０１０－５６６８２（ＪＰ，Ａ）
【文献】特開２０１８－１８１１０４（ＪＰ，Ａ）
【文献】特開２０１４－４１４５１（ＪＰ，Ａ）
【文献】特開２０１０－２３１５６４（ＪＰ，Ａ）
【文献】特開２００６－５９０８２（ＪＰ，Ａ）
【文献】米国特許出願公開第２００４／０２２０９１８（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ１６／００－１６／９５８
(57)【特許請求の範囲】
【請求項1】
第一の文字列および第二の文字列を形態素解析する形態素解析部と、上記第一の文字列の形態素解析結果と上記第二の文字列の形態素解析結果との両方に含まれる形態素の数を概念を考慮した類似度として得る類似度算出部と、
を含む類似度評価装置であって、
さらに、
概念が同一で表記が異なる複数の単語を組にした用語統一データを記憶する記憶部と、
上記形態素解析部による形態素解析実行の前に上記用語統一データを用いて上記第一の文字列および上記第二の文字列に含まれる概念が同一で表記が異なる単語を表記が同一となるよう置換する用語統一部と、
上記第一の文字列の形態素解析結果および上記第二の文字列の形態素解析結果から、類似度を測っても効果がない、あるいは、逆効果であることがわかっている、予め定められた概念を表す形態素を削除する概念削除部と、
を含む類似度評価装置。
【請求項2】
形態素解析部が、第一の文字列および第二の文字列を形態素解析し、類似度算出部が、上記第一の文字列の形態素解析結果と上記第二の文字列の形態素解析結果との両方に含まれる形態素の数を概念を考慮した類似度として得る、
類似度評価方法であって、
さらに、
記憶部が、概念が同一で表記が異なる複数の単語を組にした用語統一データを記憶し、
用語統一部が、上記形態素解析部による形態素解析実行の前に上記用語統一データを用いて上記第一の文字列および上記第二の文字列に含まれる概念が同一で表記が異なる単語を表記が同一となるよう置換し、
概念削除部が、上記第一の文字列の形態素解析結果および上記第二の文字列の形態素解析結果から、類似度を測っても効果がない、あるいは、逆効果であることがわかっている、予め定められた概念を表す形態素を削除する、
類似度評価方法。
【請求項3】
請求項１に記載の類似度評価装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自然言語処理技術に関し、特に、概念を考慮した文字列間の類似度を評価する技術に関する。
【背景技術】
【0002】
２つの文字列間の類似度を評価する方法として、「（Ａ）一致する文字の個数」と「（Ｂ）一致する文字列の長さ」と「（Ｃ）編集距離」と「（Ｄ）分散表現による距離」がある。また、これらの方法を組み合わせて最終的な２つの文字列間の類似度を評価することも可能である。
【0003】
上記で述べた（Ａ）（Ｂ）（Ｃ）（Ｄ）の４つの類似度の問題点を、例を用いながら説明する。なお、以下では{}（波括弧）は集合を表し、|{}|は集合内の要素数を表す。例として、文字列xを"NTTアドバンステクノロジ株式会社"とし、文字列集合Yを{y0="NTTデータ", y1="バアテクジスドノンロ株式会社", y2="アドバンステクノロジ(NTT)", y3="バンステクノロジ株式会社", y4="西日本電信電話株式会社"}とする。ここでは、Y内のi番目（0≦i≦|Y|-1（=4））の文字列をyiとし、xとyiの類似度をsim(x, yi)とし、xと最も類似度が高いY内の文字列の集合をY*とし、（Ａ）（Ｂ）（Ｃ）（Ｄ）の方法を用いて、式（１）を満たすY*を見つけることを考える。
【0004】
【数1】
【0005】
この例の場合、概念的にはx="NTTアドバンステクノロジ"とy2="アドバンステクノロジ(NTT)"が最も近いため、この２つの文字列の類似度が最も高いと判断されるべきである。
【0006】
「（Ａ）一致する文字の個数」で算出される類似度をsimA(・,・)とする。xとy0, …, y4それぞれについて（Ａ）の方法で算出した類似度は以下となる。
【0007】
simA(x, y0)=|{'N','T','T'}|=3
simA(x, y1)=|{'バ','ア','テ','ク','ジ','ス','ド','ノ','ン','ロ','株','式','会','社'}|=14
simA(x, y2)=|{'ア','ド','バ','ン','ス','テ','ク','ノ','ロ','ジ','N','T','T'}|=13
simA(x, y3)=|{'バ','ン','ス','テ','ク','ノ','ロ','ジ','株','式','会','社'}|=12
simA(x, y4)=|{'株','式','会','社'}|=4
simA(x, y1)=|{'バ','ア','テ','ク','ジ','ス','ド','ノ','ン','ロ','株','式','会','社'}|=14
simA(x, y2)=|{'ア','ド','バ','ン','ス','テ','ク','ノ','ロ','ジ','N','T','T'}|=13
simA(x, y3)=|{'バ','ン','ス','テ','ク','ノ','ロ','ジ','株','式','会','社'}|=12
simA(x, y4)=|{'株','式','会','社'}|=4
【0008】
したがって、式（２）となる。
【0009】
【数2】
【0010】
このように、文字の個数で見る場合、文字の並び方を一切考慮しないため、このような概念的に誤った類似度が算出されてしまう。
【0011】
「（Ｂ）一致する文字列の長さ」で算出される類似度をsimB(・,・)とする。xとy0, …, y4それぞれについて（Ｂ）の方法で算出した類似度は以下となる。
【0012】
simB(x, y0)=|'NTT'|=3
simB(x, y1)=|'株式会社'|=4
simB(x, y2)=|'アドバンステクノロジ'|=10
simB(x, y3)=|'バンステクノロジ株式会社'|=12
simB(x, y4)=|'株式会社'|=4
simB(x, y1)=|'株式会社'|=4
simB(x, y2)=|'アドバンステクノロジ'|=10
simB(x, y3)=|'バンステクノロジ株式会社'|=12
simB(x, y4)=|'株式会社'|=4
【0013】
したがって、式（３）となる。
【0014】
【数3】
【0015】
このように、文字列の長さで見る場合、文字の概念を一切考慮しないため、このような概念的に誤った類似度が算出されてしまう。
【0016】
「（Ｃ）編集距離」で算出される類似度をsimC(・,・)とする。編集距離は、ある文字列aをある文字列bに変化させるためにかかる操作（挿入・削除・置換）の回数と各操作のコストによって算出されるものである。特に、各操作のコストは場合によって変わりうる。さらに、編集距離は、操作の順番次第で異なる距離が算出される。このため、ここでは、各操作のコストを全て同じものとしたときの最小の編集距離（＝レーベンシュタイン距離）の例を確認することにする。また、「距離」は値が小さいほど類似度が高いと言えるため、ここでは簡易的にsimC(・,・)は編集距離の逆数として記す。xとy0, …, y4それぞれについて（Ｃ）の方法で算出した類似度は以下となる。
【0017】
simC(x, y0)=1/14
simC(x, y1)=1/8
simC(x, y2)=1/10
simC(x, y3)=1/5
simC(x, y4)=1/13
simC(x, y1)=1/8
simC(x, y2)=1/10
simC(x, y3)=1/5
simC(x, y4)=1/13
【0018】
したがって、式（４）となる。
【0019】
【数4】
【0020】
編集距離の場合、y1の先頭にある"NTT"と末尾付近にある"NTT"が同じ概念であるにも関わらず、位置が異なることから、先頭の"NTT"を削除し、末尾付近の"NTT"を挿入する操作となる。このような操作により距離が大きくなってしまい、結果として概念的に誤った類似度が算出されてしまう。
【0021】
「（Ｄ）分散表現による距離」で算出される類似度をsimD(・,・)とする。分散表現による距離の評価方法は、word2vec（例えば非特許文献１参照）やfastText（例えば非特許文献２参照）と呼ばれる技術が知られている。各文字列の特徴を各文字列が含まれている文書等から算出し、その特徴（＝分散表現）をベクトル形式で保持する。２つの文字列の距離（＝類似度）を評価する際には、その２つの文字列のベクトルの公知概念であるL2ノルムやコサイン類似度を用いて算出する。（Ａ）から（Ｄ）の中では、（Ｄ）が最も概念間の類似性に着目した方法となる。
【先行技術文献】
【非特許文献】
【0022】
【文献】Tomas Mikolov, Kai Chen, Greg S. Corrado, and Jeffrey Dean, "Efficient estimation of word representations in vector space," arXiv:1301.3781,2013.
【文献】Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov, "Enriching word vectors with subword information," Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2017.
【発明の概要】
【発明が解決しようとする課題】
【0023】
しかしながら、分散表現による距離では、分散表現を算出するために用いる文書等のデータ内に対象の文字列が含まれていない場合（もしくは出現頻度が非常に低い場合）、その文字列のベクトル（＝分散表現）が算出されない。そのため、場合によっては、x, y0のベクトルは存在するが、y1, y2, y3, y4のベクトルは存在しないということがあり得る。この場合、simD(x, y0)以外は評価できない。このように、分散表現による距離では、すべての文字列に対しては類似度を算出することができない場合がある。
【0024】
この発明の目的は、上記のような技術的課題を鑑みて、分散表現を用いずに、概念を考慮した文字列間の類似度を評価することである。
【課題を解決するための手段】
【0025】
上記の課題を解決するために、本発明の一態様の類似度評価装置は、第一の文字列および第二の文字列を形態素解析する形態素解析部と、第一の文字列の形態素解析結果と第二の文字列の形態素解析結果との両方に含まれる形態素の数を類似度として得る類似度算出部と、を含む。
【発明の効果】
【0026】
この発明によれば、分散表現を用いずに、概念を考慮した文字列間の類似度を評価することができる。
【図面の簡単な説明】
【0027】
【発明を実施するための形態】
【0028】
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【0029】
実施形態の類似度評価装置１は、図１に例示するように、用語統一データ記憶部１０－１、形態素解析モデル記憶部１０－２、用語統一部１１、形態素解析部１２、および類似度算出部１４を備える。類似度評価装置１は、概念削除部１３をさらに備えていてもよい。この類似度評価装置１が、図２に例示する各ステップの処理を行うことにより実施形態の類似度評価方法が実現される。
【0030】
類似度評価装置１は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。類似度評価装置１は、例えば、中央演算処理装置の制御のもとで各処理を実行する。類似度評価装置１に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。類似度評価装置１の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。類似度評価装置１が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。
【0031】
類似度評価装置１は、文字列xと文字列集合Y={y0, …, y|Y|-1}を入力とし、文字列xと文字列集合Yとの類似度集合S={simprop(x,y0), …, simprop(x,y|Y|-1)}を出力する。ただし、simprop(x,yi)は文字列xと文字列yi∈Yとの類似度を表す。
【0032】
用語統一データ記憶部１０－１には、用語統一データZ={z0, …, z|Z|-1}が記憶されている。ここで、zi∈Zは同じ概念を持ち表記が異なる文字列の集合であり、|Z|は{x}∪Y内の概念数である。
【0033】
形態素解析モデル記憶部１０－２には、形態素解析モデルmが記憶されている。形態素解析モデルmは、例えばMeCab（参考文献１参照）やJUMAN（参考文献２参照）などの形態素解析器を利用して予め準備しておく。
【0034】
〔参考文献１〕“MeCab: Yet Another Part-of-Speech and Morphological Analyzer”、［online］、［令和1年7月29日検索］、インターネット<URL: http://taku910.github.io/mecab/>
〔参考文献２〕“JUMAN - KUROHASHI-KAWAHARA LAB”、［online］、［令和1年7月29日検索］、インターネット<URL: http://nlp.ist.i.kyoto-u.ac.jp/index.php?JUMAN>
〔参考文献２〕“JUMAN - KUROHASHI-KAWAHARA LAB”、［online］、［令和1年7月29日検索］、インターネット<URL: http://nlp.ist.i.kyoto-u.ac.jp/index.php?JUMAN>
【0035】
以下、図２を参照して、実施形態の類似度評価装置１が実行する類似度評価方法について説明する。
【0036】
ステップＳ１１において、用語統一部１１は、文字列xとすべての文字列yi∈Yに表記が異なるが同じ概念である用語が含まれている場合、用語統一データ記憶部１０－１に記憶されている用語統一データZを用いて用語を統一化し、用語統一された文字列x'および文字列y'i∈Y'を生成する。なお、YおよびY'は順序付き集合（＝リスト）であり、y'i∈Y'にはyi∈Yを用語統一した後の文字列が格納される。用語統一部１１は、用語統一された文字列x'および文字列集合Y'を形態素解析部１２へ出力する。
【0037】
用語統一部１１の処理の詳細を以下に示す。ここで、z(i,0)はziの0番目の要素とする。
【0038】
Algorithm 1: 用語統一部
Input: 文字列x, 文字列集合Y, 用語統一データZ
Output: 用語統一されたx', Y'
1: for i∈[0, |Z|-1] do
2: if x∈zithen
3: x'←z(i,0)
4: end if
5: end for
6: Yと同じ大きさの要素を持つY'を作成（ただし、∀i∈[0, |Y'|-1]において、y'i∈Y'は空値であるとする）
7: for i∈[0, |Y|-1] do
8: for j∈[0, |Z|-1] do
9: if yi∈zj then
10: y'i←z(i,0)
11: end if
12: end for
13: end for
14: return x', Y'
Input: 文字列x, 文字列集合Y, 用語統一データZ
Output: 用語統一されたx', Y'
1: for i∈[0, |Z|-1] do
2: if x∈zithen
3: x'←z(i,0)
4: end if
5: end for
6: Yと同じ大きさの要素を持つY'を作成（ただし、∀i∈[0, |Y'|-1]において、y'i∈Y'は空値であるとする）
7: for i∈[0, |Y|-1] do
8: for j∈[0, |Z|-1] do
9: if yi∈zj then
10: y'i←z(i,0)
11: end if
12: end for
13: end for
14: return x', Y'
【0039】
例えば、用語統一データziがzi={"NTT","日本電信電話株式会社"}であるとする。このとき、xやyi∈Yに文字列"日本電信電話株式会社"が含まれている場合、その文字列"日本電信電話株式会社"は文字列z(i,0)="NTT"に置換される。
【0040】
ステップＳ１２において、形態素解析部１２は、文字列x'およびすべての文字列y'i∈Y'に対して、形態素解析モデル記憶部１０－２に記憶されている形態素解析モデルmを用いて形態素ごとに分解し、文字列x'の形態素解析結果x"および文字列y'i∈Y'の形態素解析結果y"i∈Y"を生成する。なお、Y'およびY"は順序付き集合（＝リスト）であり、y"i∈Y"にはy'i∈Y'を形態素解析した結果が格納される。形態素解析部１２は、形態素解析結果x"および形態素解析結果集合Y"を類似度算出部１４へ出力する。
【0041】
形態素解析部１２の処理の詳細を以下に示す。ここでは、形態素解析モデルを関数「m: 文字列→文字列集合」として表現する。
【0042】
Algorithm 2: 形態素解析部
Input: 用語統一された文字列x', 文字列集合Y', 形態素解析モデルm
Output: 形態素ごとに分解されたx", Y"
1: x"=m(x')
2: Y'と同じ大きさの要素を持つY"を作成（ただし、∀i∈[0, |Y"|-1]において、y"i∈Y"は空集合であるとする）
3: for i∈[0, |Y'|-1] do
4: y"i←m(y'i)
5: end for
6: return x", Y"
Input: 用語統一された文字列x', 文字列集合Y', 形態素解析モデルm
Output: 形態素ごとに分解されたx", Y"
1: x"=m(x')
2: Y'と同じ大きさの要素を持つY"を作成（ただし、∀i∈[0, |Y"|-1]において、y"i∈Y"は空集合であるとする）
3: for i∈[0, |Y'|-1] do
4: y"i←m(y'i)
5: end for
6: return x", Y"
【0043】
例えば、文字列xが"NTTアドバンステクノロジ株式会社"であれば、m(x)はxの形態素（≒概念）集合m(x)={"NTT","アドバンス","テクノロジ","株式会社"}のようになる。なお、形態素の分け方は、形態素解析器のアルゴリズムや形態素解析モデルを算出するために用いるデータセットに依存する。
【0044】
ステップＳ１４において、類似度算出部１４は、形態素解析結果x"と形態素解析結果y"i∈Y"のすべての組に対して類似度simprop(x,yi)∈Sを算出する。類似度算出部１４は、類似度集合Sを類似度評価装置１の出力とする。
【0045】
類似度算出部１４の処理の詳細を以下に示す。ここでx"iはx"のi番目の要素とし、y"(i,j)はy"iのj番目の要素とする。
【0046】
Algorithm 3: 類似度算出部
Input: 文字列x, 文字列集合Y, 形態素ごとに分解されたx", Y"
Output: 各要素がYの要素に対応する類似度ベクトルS
1: Yの要素と対応する要素を持つ集合Sを作成（ただし、si∈S（i∈[0, |S|-1]）の初期値は0であるとする）
2: for i∈[0, |x"|-1] do
3: for j∈[0, |Y"|-1] do
4: for k∈[0, |y"j|-1] do
5: if x"i=y"(j,k)then
6: sj=sj+1
7: end if
8: end for
9: end for
10: end for
11: return S
Input: 文字列x, 文字列集合Y, 形態素ごとに分解されたx", Y"
Output: 各要素がYの要素に対応する類似度ベクトルS
1: Yの要素と対応する要素を持つ集合Sを作成（ただし、si∈S（i∈[0, |S|-1]）の初期値は0であるとする）
2: for i∈[0, |x"|-1] do
3: for j∈[0, |Y"|-1] do
4: for k∈[0, |y"j|-1] do
5: if x"i=y"(j,k)then
6: sj=sj+1
7: end if
8: end for
9: end for
10: end for
11: return S
【0047】
例えば、x"={"NTT","アドバンス","テクノロジ","株式会社"}、y"0={"NTT","データ"}、の場合、y"0はx"の要素のうち"NTT"のみ共通である。ゆえに、この場合、x"とy"0との類似度はs0=1となる。
【0048】
〔変形例〕
例えば、類似度評価の対象とする文字列の概念が予め推測できる場合（例えば、上記の例のように「会社名」であることがわかっている場合）、その概念を表す単語（例えば、上記の例では「株式会社」）で類似度を測っても効果がない、あるいは、逆効果である。このように効果がない、あるいは、逆効果を引き起こす概念が予めわかっている場合、形態素解析結果からその概念を削除するとよい。
例えば、類似度評価の対象とする文字列の概念が予め推測できる場合（例えば、上記の例のように「会社名」であることがわかっている場合）、その概念を表す単語（例えば、上記の例では「株式会社」）で類似度を測っても効果がない、あるいは、逆効果である。このように効果がない、あるいは、逆効果を引き起こす概念が予めわかっている場合、形態素解析結果からその概念を削除するとよい。
【0049】
この場合、類似度評価装置１は概念削除部１３をさらに備える。概念削除部１３は、形態素解析部１２が出力する形態素解析結果x"および形態素解析結果y"i∈Y"から予め定めた概念（＝形態素）を削除して、類似度算出部１４へ出力する。
【0050】
〔具体例〕
上記の例を用いて処理の流れを具体的に例示する。
上記の例を用いて処理の流れを具体的に例示する。
【0051】
類似度評価装置１に入力される文字列xは"NTTアドバンステクノロジ株式会社"であり、文字列集合Yは{y0="NTTデータ", y1="バアテクジスドノンロ株式会社", y2="アドバンステクノロジ(NTT)", y3="バンステクノロジ株式会社", y4="西日本電信電話株式会社"}である。
【0052】
用語統一部１１の処理により、文字列xはx'="NTTアドバンステクノロジ株式会社"となり、文字列集合YはY'={y'0="NTTデータ", y'1="バアテクジスドノンロ株式会社", y'2="アドバンステクノロジ(NTT)", y'3="バンステクノロジ株式会社", y'4="西NTT"}となる。
【0053】
形態素解析部１２の処理により、文字列x'はx"={"NTT","アドバンス","テクノロジ","株式会社"}となり、文字列集合Y'はY"={y"0={"NTT","データ"}, y"1={"バアテクジスドノンロ","株式会社"}, y"2={"アドバンス","テクノロジ","(","NTT",")"}, y"3={"バンステクノロジ","株式会社"}, y"4={"西","NTT"}}となる。
【0054】
類似度算出部１３の処理により、xと各yi∈Yの類似度は、以下のようになる。
【0055】
simprop(x, y0)=1
simprop(x, y1)=1
simprop(x, y2)=3
simprop(x, y3)=1
simprop(x, y4)=1
simprop(x, y1)=1
simprop(x, y2)=3
simprop(x, y3)=1
simprop(x, y4)=1
【0056】
上記より、xとy2が最も類似度が高いと評価されており、分散表現を用いずに概念を考慮した文字列間の類似度評価を行うことができたと言える。
【0057】
〔応用例〕
上記の具体例では処理手順が理解しやすいように極端な例を示したが、ここでは実際のサービスに応用することで発明の効果が発揮される例を示す。ある組織Ａが、自身が扱っている商品をカテゴリ分けしたいとする。また、他の組織Ｂは、自身が扱っている商品のカテゴリ分けを既に行っているものとする。そこで、組織Ａは組織Ｂのカテゴリ分けを参考にして、自身が扱っている商品のカテゴリ分けを行うシチュエーションを考える。
上記の具体例では処理手順が理解しやすいように極端な例を示したが、ここでは実際のサービスに応用することで発明の効果が発揮される例を示す。ある組織Ａが、自身が扱っている商品をカテゴリ分けしたいとする。また、他の組織Ｂは、自身が扱っている商品のカテゴリ分けを既に行っているものとする。そこで、組織Ａは組織Ｂのカテゴリ分けを参考にして、自身が扱っている商品のカテゴリ分けを行うシチュエーションを考える。
【0058】
組織Ａが扱っている商品のデータを、表１のx1, …, x3とする。ただし、「○○○」「△△△」「◆◆◆」「◇◇◇」等はメーカー名等の固有名詞である。
【0059】
【表1】
【0060】
組織Ｂが保有するカテゴリ分け済みのデータを、表２のY11, …, Y16, Y21, …, Y25, Y31, …, Y36とする。
【0061】
【表2】
【0062】
表１に示した組織Ａのデータを文字列xとし、表２に示した組織Ｂのデータを文字列集合Yとして、本願発明により類似度を算出すると、以下のようになる。なお、sim(・,・)は本発明で算出される類似度であり、波括弧内の文字列は２つの文字列に共通して存在する形態素である。
【0063】
sim(x1, Y11)=|{}|=0
sim(x1, Y12)=|{}|=0
sim(x1, Y13)=|{}|=0
・・・
sim(x3, Y34)=|{"家具"}|=1
sim(x3, Y35)=|{"収納","ワゴン"}|=2
sim(x3, Y36)=|{"◆◆◆","◇◇◇","押入れ","収納","ラック","キャスター","付き","幅"}|=8
sim(x1, Y12)=|{}|=0
sim(x1, Y13)=|{}|=0
・・・
sim(x3, Y34)=|{"家具"}|=1
sim(x3, Y35)=|{"収納","ワゴン"}|=2
sim(x3, Y36)=|{"◆◆◆","◇◇◇","押入れ","収納","ラック","キャスター","付き","幅"}|=8
【0064】
類似度が高いx内の文字列とY内の文字列の組において、Y内の文字列をx内の文字列に置換した結果を表３に示す。例えば、組織Ａの扱うx3の商品は、組織Ｂの扱うY36の商品との類似度が高いため、Y36をx3で置き換えることで、x3に対してY31, …, Y35のカテゴリをあてはめることができた。これにより、組織Ａは、組織Ｂが保有するカテゴリ分けを参考にして、自身が扱っている商品を適切にカテゴリ分けすることができた。
【0065】
【表3】
【0066】
〔発明のポイント〕
従来の文字列間の類似度評価では、分散表現を用いなければ概念を考慮した類似度を評価することができなかった。また、特に固有名詞のように出現頻度が高くない場合、類似度を評価する対象のすべての文字列の分散表現を算出できない場合がある。このため、分散表現を用いずに概念を考慮した類似度を評価することが課題となっていた。本発明によれば、形態素解析結果から類似度を算出することができるため、分散表現を用いずに概念を考慮した類似度を評価することができる。特に、固有名詞では形態素の並びには意味がないことが多いため、出現頻度に着目した類似度を構成することにより、適切に類似度を評価することができるようにした。
従来の文字列間の類似度評価では、分散表現を用いなければ概念を考慮した類似度を評価することができなかった。また、特に固有名詞のように出現頻度が高くない場合、類似度を評価する対象のすべての文字列の分散表現を算出できない場合がある。このため、分散表現を用いずに概念を考慮した類似度を評価することが課題となっていた。本発明によれば、形態素解析結果から類似度を算出することができるため、分散表現を用いずに概念を考慮した類似度を評価することができる。特に、固有名詞では形態素の並びには意味がないことが多いため、出現頻度に着目した類似度を構成することにより、適切に類似度を評価することができるようにした。
【0067】
以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【0068】
［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図３に示すコンピュータの記憶部１０２０に読み込ませ、制御部１０１０、入力部１０３０、出力部１０４０などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図３に示すコンピュータの記憶部１０２０に読み込ませ、制御部１０１０、入力部１０３０、出力部１０４０などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【0069】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【0070】
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【0071】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【0072】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図1】
【図2】
【図3】