ホーム > 特許ランキング > ダイキン工業株式会社
▶ ダイキン工業株式会社の特許一覧 ▶ 国立大学法人 東京大学の特許一覧
特開2023-173772ベクトル表現加工装置、ベクトル表現加工方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023173772
(43)【公開日】2023-12-07
(54)【発明の名称】ベクトル表現加工装置、ベクトル表現加工方法及びプログラム
(51)【国際特許分類】
G06F 16/33 20190101AFI20231130BHJP
G06F 40/247 20200101ALI20231130BHJP
【ＦＩ】
G06F16/33
G06F40/247
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022086248
(22)【出願日】2022-05-26
(71)【出願人】
【識別番号】000002853
【氏名又は名称】ダイキン工業株式会社
(71)【出願人】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】石塚 翔也
(72)【発明者】
【氏名】清水 愛織
(72)【発明者】
【氏名】佐藤 尚弥
(72)【発明者】
【氏名】磯沼 大
(72)【発明者】
【氏名】浅谷 公威
(72)【発明者】
【氏名】坂田 一郎
【テーマコード（参考）】
5B091
5B175
【Ｆターム（参考）】
5B091AB17
5B091CA01
5B091CC04
5B175DA01
5B175HB03
5B175KA12
(57)【要約】
【課題】語句のベクトル表現を他の単語との上位下位関係を判定可能に加工する。
【解決手段】ベクトル表現加工装置が有する制御部が、語句の特徴を表すベクトル表現を入力として、上位語と下位語との組み合わせを含む辞書データに基づいた推論を行い、任意の語句を複数の単語のベクトル表現を示す分布空間に写像し、分布空間は、互いの関連性の高さに関わる成分と、互いの上位下位関係に関わる成分をもつように配置される。
【選択図】図２
【解決手段】ベクトル表現加工装置が有する制御部が、語句の特徴を表すベクトル表現を入力として、上位語と下位語との組み合わせを含む辞書データに基づいた推論を行い、任意の語句を複数の単語のベクトル表現を示す分布空間に写像し、分布空間は、互いの関連性の高さに関わる成分と、互いの上位下位関係に関わる成分をもつように配置される。
【選択図】図２
【特許請求の範囲】
【請求項1】
制御部を有するベクトル表現加工装置であって、
前記制御部は、
語句の特徴を表すベクトル表現を入力として、上位語と下位語との組み合わせを含む辞書データに基づいた推論を行い、
任意の語句を複数の単語のベクトル表現を示す分布空間に写像し、
前記分布空間は、互いの関連性の高さに関わる成分と、互いの上位下位関係に関わる成分をもつように配置される、
ベクトル表現加工装置。
前記制御部は、
語句の特徴を表すベクトル表現を入力として、上位語と下位語との組み合わせを含む辞書データに基づいた推論を行い、
任意の語句を複数の単語のベクトル表現を示す分布空間に写像し、
前記分布空間は、互いの関連性の高さに関わる成分と、互いの上位下位関係に関わる成分をもつように配置される、
ベクトル表現加工装置。
【請求項2】
前記互いの関連性に関わる成分は単語がなす角度の小ささであり、前記上位下位関係に関わる成分はノルム長である、
請求項１に記載のベクトル表現加工装置。
請求項１に記載のベクトル表現加工装置。
【請求項3】
前記分布空間は、ユークリッド空間である、
請求項１に記載のベクトル表現加工装置。
請求項１に記載のベクトル表現加工装置。
【請求項4】
前記制御部は、
複数の前記上位語と下位語との組み合わせと、前記組み合わせが表す上位下位関係とを関連付けた教師データを用いて学習した機械学習モデルによって、語句を前記分布空間に写像する、
請求項１に記載のベクトル表現加工装置。
複数の前記上位語と下位語との組み合わせと、前記組み合わせが表す上位下位関係とを関連付けた教師データを用いて学習した機械学習モデルによって、語句を前記分布空間に写像する、
請求項１に記載のベクトル表現加工装置。
【請求項5】
前記制御部は、
前記分布空間に写像された前記語句の分布を構造的に可視化する、
請求項１に記載のベクトル表現加工装置。
前記分布空間に写像された前記語句の分布を構造的に可視化する、
請求項１に記載のベクトル表現加工装置。
【請求項6】
前記制御部は、
前記語句の分布をリスト形式で表現する、
請求項５に記載のベクトル表現加工装置。
前記語句の分布をリスト形式で表現する、
請求項５に記載のベクトル表現加工装置。
【請求項7】
前記制御部は、
前記語句の分布をツリー構造で表現する、
請求項５に記載のベクトル表現加工装置。
前記語句の分布をツリー構造で表現する、
請求項５に記載のベクトル表現加工装置。
【請求項8】
前記ツリー構造は、前記語句の上位下位関係に応じて階層化されている、
請求項７に記載のベクトル表現加工装置。
請求項７に記載のベクトル表現加工装置。
【請求項9】
前記制御部は、
前記語句の分布を所定の軸を上位度とする散布図で表現する、
請求項５に記載のベクトル表現加工装置。
前記語句の分布を所定の軸を上位度とする散布図で表現する、
請求項５に記載のベクトル表現加工装置。
【請求項10】
前記制御部は、
２つの語句の入力を受け付け、
前記分布空間に写像された前記２つの語句について、
前記２つの語句がなす角度及びノルムから算出される指標に基づいて、前記２つの語句の上位下位関係を判定する、
請求項１から９のいずれかに記載のベクトル表現加工装置。
２つの語句の入力を受け付け、
前記分布空間に写像された前記２つの語句について、
前記２つの語句がなす角度及びノルムから算出される指標に基づいて、前記２つの語句の上位下位関係を判定する、
請求項１から９のいずれかに記載のベクトル表現加工装置。
【請求項11】
前記制御部は、
２つの語句の入力を受け付け、
前記分布空間に写像された前記２つの語句について、
前記２つの語句がなす角度及びノルムから算出される指標に基づいて、前記２つの語句の上位下位関係の有無を判定し、
前記上位下位関係が有り、かつ前記２つの語句のノルムの大小関係が所定の範囲内にある場合、前記２つの語句は類義語の関係にあるとして判定する、
請求項１から９のいずれかに記載のベクトル表現加工装置。
２つの語句の入力を受け付け、
前記分布空間に写像された前記２つの語句について、
前記２つの語句がなす角度及びノルムから算出される指標に基づいて、前記２つの語句の上位下位関係の有無を判定し、
前記上位下位関係が有り、かつ前記２つの語句のノルムの大小関係が所定の範囲内にある場合、前記２つの語句は類義語の関係にあるとして判定する、
請求項１から９のいずれかに記載のベクトル表現加工装置。
【請求項12】
前記制御部は、
２つの語句の入力を受け付け、
前記分布空間に写像された前記２つの語句について、
前記２つの語句がなす角度及びノルムから算出される指標に基づいて、前記２つの語句の上位下位関係の有無を判定し、
前記上位下位関係が有り、かつ前記２つの語句のノルムの大小関係が所定の範囲外にある場合、前記２つの語句は上位下位関係にあるとして判定する、
請求項１から９のいずれかに記載のベクトル表現加工装置。
２つの語句の入力を受け付け、
前記分布空間に写像された前記２つの語句について、
前記２つの語句がなす角度及びノルムから算出される指標に基づいて、前記２つの語句の上位下位関係の有無を判定し、
前記上位下位関係が有り、かつ前記２つの語句のノルムの大小関係が所定の範囲外にある場合、前記２つの語句は上位下位関係にあるとして判定する、
請求項１から９のいずれかに記載のベクトル表現加工装置。
【請求項13】
前記制御部は、
複数の語句の入力を受け付け、
前記複数の語句のうち互いに関連性の高い語句が近傍に配置される第二分布空間を生成し、
前記第二分布空間に含まれる前記複数の語句を前記分布空間に写像する、
請求項１から９のいずれかに記載のベクトル表現加工装置。
複数の語句の入力を受け付け、
前記複数の語句のうち互いに関連性の高い語句が近傍に配置される第二分布空間を生成し、
前記第二分布空間に含まれる前記複数の語句を前記分布空間に写像する、
請求項１から９のいずれかに記載のベクトル表現加工装置。
【請求項14】
ベクトル表現加工装置が有する制御部が、
語句の特徴を表すベクトル表現を入力として、上位語と下位語との組み合わせを含む辞書データに基づいた推論を行う手順と、
任意の語句を複数の単語のベクトル表現を示す分布空間に写像する手順と、
を実行し、
前記分布空間は、互いの関連性の高さに関わる成分と、互いの上位下位関係に関わる成分をもつように配置される、
ベクトル表現加工方法。
語句の特徴を表すベクトル表現を入力として、上位語と下位語との組み合わせを含む辞書データに基づいた推論を行う手順と、
任意の語句を複数の単語のベクトル表現を示す分布空間に写像する手順と、
を実行し、
前記分布空間は、互いの関連性の高さに関わる成分と、互いの上位下位関係に関わる成分をもつように配置される、
ベクトル表現加工方法。
【請求項15】
ベクトル表現加工装置が有する制御部に、
語句の特徴を表すベクトル表現を入力として、上位語と下位語との組み合わせを含む辞書データに基づいた推論を行う手順と、
任意の語句を複数の単語のベクトル表現を示す分布空間に写像する手順と、
を実行させ、
前記分布空間は、互いの関連性の高さに関わる成分と、互いの上位下位関係に関わる成分をもつように配置される、
プログラム。
語句の特徴を表すベクトル表現を入力として、上位語と下位語との組み合わせを含む辞書データに基づいた推論を行う手順と、
任意の語句を複数の単語のベクトル表現を示す分布空間に写像する手順と、
を実行させ、
前記分布空間は、互いの関連性の高さに関わる成分と、互いの上位下位関係に関わる成分をもつように配置される、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ベクトル表現加工装置、ベクトル表現加工方法及びプログラムに関する。
【背景技術】
【0002】
単語間の類義関係及び含意関係を階層構造で表現したシソーラスが利用されている。シソーラスの構築や更新を容易にするため、二単語間の類義関係又は含意関係を推定する技術が研究されている。例えば、非特許文献１には、シソーラスの階層構造に基づいて、単語のベクトル表現を上位下位関係が強調されたベクトル表現に加工する技術が開示されている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Ivan Vulic, Nikola Mrksic, "Specialising Word Vectors for Lexical Entailment," Proceedings of NAACL-HLT 2018, pages 1134-1145, 2018.
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、シソーラスに収録されていない語句に対して上位下位関係を判定することができないという課題がある。
【0005】
本開示は、語句のベクトル表現を他の単語との上位下位関係を判定可能に加工する。
【課題を解決するための手段】
【0006】
本開示の第１の態様に係るベクトル表現加工装置は、制御部を有するベクトル表現加工装置であって、前記制御部は、語句の特徴を表すベクトル表現を入力として、上位語と下位語との組み合わせを含む辞書データに基づいた推論を行い、任意の語句を複数の単語のベクトル表現を示す分布空間に写像し、前記分布空間は、互いの関連性の高さに関わる成分と、互いの上位下位関係に関わる成分をもつように配置される。
【0007】
本開示の第１の態様によれば、語句のベクトル表現が他の単語との上位下位関係を判定可能に加工される。
【0008】
本開示の第２の態様は、第１の態様に係るベクトル表現加工装置であって、前記互いの関連性に関わる成分は単語がなす角度の小ささであり、前記上位下位関係に関わる成分はノルム長である。
【0009】
本開示の第３の態様は、第１の態様及び第２の態様に係るベクトル表現加工装置であって、前記分布空間は、ユークリッド空間である。
【0010】
本開示の第４の態様は、第１の態様から第３の態様に係るベクトル表現加工装置であって、前記制御部は、複数の前記上位語と下位語との組み合わせと、前記組み合わせが表す上位下位関係とを関連付けた教師データを用いて学習した機械学習モデルによって、語句を前記分布空間に写像する。
【0011】
本開示の第５の態様は、第１の態様から第４の態様に係るベクトル表現加工装置であって、前記制御部は、前記分布空間に写像された前記語句の分布を構造的に可視化する。
【0012】
本開示の第６の態様は、第５の態様に係るベクトル表現加工装置であって、前記制御部は、前記語句の分布をリスト形式で表現する。
【0013】
本開示の第７の態様は、第５の態様に係るベクトル表現加工装置であって、前記制御部は、前記語句の分布をツリー構造で表現する。
【0014】
本開示の第８の態様は、第７の態様に係るベクトル表現加工装置であって、前記ツリー構造は、前記語句の上位下位関係に応じて階層化されている。
【0015】
本開示の第９の態様は、第５の態様に係るベクトル表現加工装置であって、前記制御部は、前記語句の分布を所定の軸を上位度とする散布図で表現する。
【0016】
本開示の第１０の態様は、第１の態様から第９の態様に係るベクトル表現加工装置であって、前記制御部は、２つの語句の入力を受け付け、前記分布空間に写像された前記２つの語句について、前記２つの語句がなす角度及びノルムから算出される指標に基づいて、前記２つの語句の上位下位関係を判定する。
【0017】
本開示の第１１の態様は、第１の態様から第９の態様に係るベクトル表現加工装置であって、前記制御部は、２つの語句の入力を受け付け、前記分布空間に写像された前記２つの語句について、前記２つの語句がなす角度及びノルムから算出される指標に基づいて、前記２つの語句の上位下位関係の有無を判定し、前記上位下位関係が有り、かつ前記２つの語句のノルムの大小関係が所定の範囲内にある場合、前記２つの語句は類義語の関係にあるとして判定する。
【0018】
本開示の第１２の態様は、第１の態様から第９の態様に係るベクトル表現加工装置であって、前記制御部は、２つの語句の入力を受け付け、前記分布空間に写像された前記２つの語句について、前記２つの語句がなす角度及びノルムから算出される指標に基づいて、前記２つの語句の上位下位関係の有無を判定し、前記上位下位関係が有り、かつ前記２つの語句のノルムの大小関係が所定の範囲外にある場合、前記２つの語句は上位下位関係にあるとして判定する。
【0019】
本開示の第１３の態様は、第１の態様から第１２の態様に係るベクトル表現加工装置であって、前記制御部は、複数の語句の入力を受け付け、前記複数の語句のうち互いに関連性の高い語句が近傍に配置される第二分布空間を生成し、前記第二分布空間に含まれる前記複数の語句を前記分布空間に写像する。
【0020】
本開示の第１４の態様に係るベクトル表現加工方法は、ベクトル表現加工装置が有する制御部が、語句の特徴を表すベクトル表現を入力として、上位語と下位語との組み合わせを含む辞書データに基づいた推論を行う手順と、任意の語句を複数の単語のベクトル表現を示す分布空間に写像する手順と、を実行し、前記分布空間は、互いの関連性の高さに関わる成分と、互いの上位下位関係に関わる成分をもつように配置される。
【0021】
本開示の第１５の態様に係るプログラムは、ベクトル表現加工装置が有する制御部に、語句の特徴を表すベクトル表現を入力として、上位語と下位語との組み合わせを含む辞書データに基づいた推論を行う手順と、任意の語句を複数の単語のベクトル表現を示す分布空間に写像する手順と、を実行させ、前記分布空間は、互いの関連性の高さに関わる成分と、互いの上位下位関係に関わる成分をもつように配置される。
【図面の簡単な説明】
【0022】
【図1】ベクトル表現加工装置のハードウェア構成の一例を示すブロック図である。
【図2】ベクトル表現加工装置の機能構成の一例を示すブロック図である。
【図3】学習処理の手順を示すフローチャートである。
【図4】辞書データの一例を示す概念図である。
【図5】単語分散表現の分布空間の一例を示す概念図である。
【図6】ベクトル表現加工処理の一例を示す概念図である。
【図7】階層構造埋め込み表現の分布空間の一例を示す概念図である。
【図8】加工処理の手順を示すフローチャートである。
【図9】階層構造埋め込み表現の分布空間の一例を示す概念図である。
【図10】判定処理の手順を示すフローチャートである。
【図11】抽出処理の手順を示すフローチャートである。
【図12】可視化処理の手順を示すフローチャートである。
【図13】可視化処理の一例を示す概念図である。
【図14】可視化処理の一例を示す概念図である。
【図15】可視化処理の一例を示す概念図である。
【図16】階層構造埋め込み表現の分布空間の変形例を示す概念図である。
【発明を実施するための形態】
【0023】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0024】
［実施形態］
＜システム構成＞
本実施形態におけるベクトル表現加工装置は、単語のベクトル表現を、単語間の上位下下位関係を判定可能なベクトル表現に加工する言語処理装置である。以下、加工前のベクトル表現を「単語分散表現」とも呼び、加工後のベクトル表現を「階層構造埋め込み表現」とも呼ぶ。
＜システム構成＞
本実施形態におけるベクトル表現加工装置は、単語のベクトル表現を、単語間の上位下下位関係を判定可能なベクトル表現に加工する言語処理装置である。以下、加工前のベクトル表現を「単語分散表現」とも呼び、加工後のベクトル表現を「階層構造埋め込み表現」とも呼ぶ。
【0025】
ベクトル表現加工装置は、学習処理、加工処理、判定処理、抽出処理及び可視化処理を実行する。学習処理では、ベクトル表現加工装置が、辞書データを用いて、単語分散表現の分布空間を階層構造埋め込み表現の分布空間に写像する加工モデルを学習する。
【0026】
加工処理では、ベクトル表現加工装置が、学習処理で学習した加工モデルを用いて、入力された１個以上の語句が配置された単語分散表現の分布空間を階層構造埋め込み表現の分布空間に写像する。
【0027】
判定処理では、ベクトル表現加工装置が、入力された２個の語句が配置された階層構造埋め込み表現の分布空間に基づいて、それらの語句の類義関係又は上位下位関係を判定する。なお、判定処理では、入力された２個の語句が上位下位関係にあるか否かのみを判定してもよいし、入力された２個の語句が上位下位関係にあるか否かを判定し、上位下位関係にある場合に、それらの語句の上位下位関係を判定してもよい。
【0028】
抽出処理では、ベクトル表現加工装置が、入力された１個の語句が配置された階層構造埋め込み表現の分布空間から、その語句と上位下位関係にある単語又は関連性が高い単語を抽出する。
【0029】
可視化処理では、ベクトル表現加工装置が、階層構造埋め込み表現の分布空間を構造的に可視化して出力する。
【0030】
＜ハードウェア構成＞
図１は、本実施形態におけるベクトル表現加工装置１０のハードウェア構成の一例を示すブロック図である。図１に示されているように、ベクトル表現加工装置１０は、プロセッサ１０１、メモリ１０２、補助記憶装置１０３、操作装置１０４、表示装置１０５、通信装置１０６、ドライブ装置１０７を有する。なお、ベクトル表現加工装置１０の各ハードウェアは、バス１０８を介して相互に接続されている。
図１は、本実施形態におけるベクトル表現加工装置１０のハードウェア構成の一例を示すブロック図である。図１に示されているように、ベクトル表現加工装置１０は、プロセッサ１０１、メモリ１０２、補助記憶装置１０３、操作装置１０４、表示装置１０５、通信装置１０６、ドライブ装置１０７を有する。なお、ベクトル表現加工装置１０の各ハードウェアは、バス１０８を介して相互に接続されている。
【0031】
プロセッサ１０１は、ＣＰＵ（Central Processing Unit）等の各種演算デバイスを有する。プロセッサ１０１は、補助記憶装置１０３にインストールされている各種プログラムをメモリ１０２上に読み出して実行する。
【0032】
メモリ１０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ１０１とメモリ１０２とは、いわゆるコンピュータ（以下、「制御部」ともいう）を形成し、プロセッサ１０１が、メモリ１０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
【0033】
補助記憶装置１０３は、各種プログラムや、各種プログラムがプロセッサ１０１によって実行される際に用いられる各種データを格納する。
【0034】
操作装置１０４は、ベクトル表現加工装置１０のユーザが各種操作を行うための操作デバイスである。表示装置１０５は、ベクトル表現加工装置１０により実行される各種処理の処理結果を表示する表示デバイスである。
【0035】
通信装置１０６は、不図示のネットワークを介して外部装置と通信を行うための通信デバイスである。
【0036】
ドライブ装置１０７は、記憶媒体１０９をセットするためのデバイスである。ここでいう記憶媒体１０９には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記憶する媒体が含まれる。また、記憶媒体１０９には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記憶する半導体メモリ等が含まれていてもよい。
【0037】
なお、補助記憶装置１０３にインストールされる各種プログラムは、例えば、配布された記憶媒体１０９がドライブ装置１０７にセットされ、記憶媒体１０９に記憶された各種プログラムがドライブ装置１０７により読み出されることでインストールされる。あるいは、補助記憶装置１０３にインストールされる各種プログラムは、通信装置１０６を介してネットワークからダウンロードされることで、インストールされてもよい。
【0038】
＜機能構成＞
図２は、本実施形態におけるベクトル表現加工装置の機能構成の一例を示すブロック図である。図２に示されているように、本実施形態におけるベクトル表現加工装置１０は、入力部１１、変換モデル記憶部１２、変換部１３、学習部１４、加工モデル記憶部１５、加工部１６、分布空間記憶部１７、判定部１８及び出力部１９を備える。
図２は、本実施形態におけるベクトル表現加工装置の機能構成の一例を示すブロック図である。図２に示されているように、本実施形態におけるベクトル表現加工装置１０は、入力部１１、変換モデル記憶部１２、変換部１３、学習部１４、加工モデル記憶部１５、加工部１６、分布空間記憶部１７、判定部１８及び出力部１９を備える。
【0039】
変換モデル記憶部１２、加工モデル記憶部１５及び分布空間記憶部１７は、図１に示されているメモリ１０２又は補助記憶装置１０３によって実現される。入力部１１、変換部１３、学習部１４、加工部１６、判定部１８及び出力部１９は、図１に示されているプロセッサ１０１がメモリ１０２上に読み出した各種のプログラムを実行することで実現される。
【0040】
入力部１１は、学習処理において、辞書データの入力を受け付ける。入力部１１は、加工処理において、１個以上の語句の入力を受け付ける。入力部１１は、判定処理において、２個の語句の入力を受け付ける。入力部１１は、抽出処理において、１個の語句の入力を受け付ける。
【0041】
変換モデル記憶部１２には、学習済みの変換モデルが記憶される。変換モデルは、単語を多次元のベクトル空間に配置することでベクトル表現に変換する機械学習モデルである。変換モデルの一例は、Bag of Words、Word2Vec、fastText等である。
【0042】
本実施形態における変換モデルはFastTextとする。FastTextについての詳細は、下記参考文献１に開示されている。
【0043】
〔参考文献１〕Bojanowski, P., Grave, E., Joulin, A., and Mikolov, T, "Enriching Word Vectors with Subword Information," TACL, Vol. 5, pp. 135-146, 2017.
【0044】
変換部１３は、変換モデル記憶部１２に記憶されている変換モデルを用いて、入力部１１が受け付けた辞書データに含まれる単語、又は入力部１１が受け付けた語句を単語分散表現に変換する。
【0045】
学習部１４は、入力部１１が受け付けた辞書データに基づいて、加工モデルを学習する。加工モデルは、単語分散表現の分布空間を階層構造埋め込み表現の分布空間に写像する機械学習モデルである。分布空間の一例は、ユークリッド空間である。加工モデルの一例は、全結合型ニューラルネットワーク（FNN: fully-connected neural network）である。
【0046】
加工モデル記憶部１５には、学習部１４により学習された加工モデルが記憶される。
【0047】
加工部１６は、加工モデル記憶部１５に記憶された加工モデルを用いた推論により、変換部１３により生成された単語分散表現を階層構造埋め込み表現に加工する。
【0048】
加工モデルを用いた推論とは、辞書データに含まれる単語間の関連性を表す情報、若しくは単語について記載される語句又は文章情報を用いて、定められたアルゴリズムに従って、分散表現を分布空間に配置あるいは再配置する方法である。推論に用いるアルゴリズムは、定められたルール、定式化された演算又は機械学習などの手法を含む。
【0049】
分布空間記憶部１７には、加工部１６により生成された階層構造埋め込み表現が配置された分布空間を表す情報が記憶される。
【0050】
判定部１８は、判定処理において、入力部１１が受け付けた２個の語句の類義関係又は上位下位関係を、分布空間記憶部１７に記憶された階層構造埋め込み表現の分布空間に基づいて判定する。判定部１８は、抽出処理において、入力部１１が受け付けた１個の語句と上位下位関係にある単語又は関連性が高い単語を、分布空間記憶部１７に記憶された階層構造埋め込み表現の分布空間から抽出する。
【0051】
出力部１９は、判定処理において、判定部１８による判定結果を出力する。出力部１９は、抽出処理において、判定部１８により抽出された単語を出力する。出力部１９は、可視化処理において、階層構造埋め込み表現の分布空間を構造的に可視化して出力する。
【0052】
＜学習処理の流れ＞
図３は、本実施形態における学習処理の流れの一例を示すフローチャートである。
図３は、本実施形態における学習処理の流れの一例を示すフローチャートである。
【0053】
ステップＳ１において、入力部１１は、辞書データの入力を受け付ける。次に、入力部１１は、受け付けた辞書データを変換部１３に送る。
【0054】
辞書データは、複数の単語を含み、単語間の類義関係及び上位下位関係が表されたデータである。辞書データの一例は、シソーラスである。辞書データの他の例は、オントロジーである。辞書データは、これらに限定されず、単語間の類義関係及び上位下位関係が表されたデータであれば、どのようなものでもよい。
【0055】
図４は、シソーラスの一例を示す概念図である。図４に示されているように、シソーラスは、単語間の類義関係及び上位下位関係が表現されたデータ構造である。シソーラスは、類義関係及び上位下位関係が階層構造で表現されたデータ構造であってもよいし、類義関係又は上位下位関係にある単語のペアが蓄積されたデータベースであってもよい。シソーラスに基づいて、類義語の関係にある単語の組み合わせ（類義関係ペア）及び上位下位関係にある単語の組み合わせ（上位下位関係ペア）を抽出することができる。なお、上位下位関係ペアのうち、シソーラスにおける階層が上にあるもの（図４の例では、右側の単語）が上位語であり、下にあるもの（図４の例では、左側の単語）が下位語である。
【0056】
図３に戻って説明する。ステップＳ２において、変換部１３は、入力部１１から辞書データを受け取る。次に、変換部１３は、変換モデル記憶部１２から変換モデルを読み出す。続いて、変換部１３は、読み出した変換モデルを用いた推論により、辞書データに含まれる各単語を単語分散表現に変換する。そして、変換部１３は、辞書データ及び各単語の単語分散表現を学習部１４に送る。また、変換部１３は、各単語の単語分散表現の分布空間を表す情報を分布空間記憶部１７に記憶する。分布空間記憶部１７に記憶される情報は、例えば、単語分散表現の分布空間の各軸を表す情報と、各単語の単語分散表現とを含む。
【0057】
【0058】
図３に戻って説明する。ステップＳ３において、学習部１４は、変換部１３から辞書データ及び各単語の単語分散表現を受け取る。次に、学習部１４は、辞書データから教師データを抽出する。教師データは、複数の上位語と下位語との組み合わせと、それらが表す上位下位関係とを関連付けたデータである。
【0059】
【0060】
続いて、学習部１４は、抽出した教師データに基づいて、加工モデルを学習する。そして、学習部１４は、学習した加工モデルを加工モデル記憶部１５に記憶する。
【0061】
階層構造埋め込み表現の分布空間は、単語の関連性の高さに関わる成分及び単語の上位下位関係に関わる成分をもつ。単語の関連性の高さに関わる成分は、例えば、２個の単語がなす角度である。単語の上位下位関係に関わる成分は、例えば、単語のノルムの大きさ（分散表現のベクトル長）である。
【0062】
本実施形態における加工モデルは、全結合型ニューラルネットワークである。本実施形態における全結合型ニューラルネットワークの入力は、単語分散表現であり、出力は階層構造埋め込み表現である。活性化関数は、最終層では恒等関数を用い、その他の層ではReLU関数を用いる。
【0063】
損失関数は、角度とノルムそれぞれに関する２つの項Langle, Lnorm及び正規化項Lregの３項から構成される。具体的には、損失関数は、ＢＡを類義関係ペアとし、ＢＬを上位下位関係ペアとして、式（１）で表される。
【0064】
【数1】
【0065】
角度に関する項Langleは、深層距離学習（RLL; Ranked List Loss）を利用する。深層距離学習に関する詳細は、下記参考文献２に開示されている。
【0066】
〔参考文献２〕Wang, X., Hua, Y., Kodirov, E., Hu, G., Garnier, R., and Robertson, N. M., "Ranked List Loss for Deep Metric Learning," in CVPR, 2019.
【0067】
角度に関する項Langleは、式（２）～（４）で表される。
【0068】
【数2】
【0069】
ノルムに関する項Lnormは、すべての上位下位関係ペアＢＬについて意味的階層間の距離Ｄを最大化する。ノルムに関する項Lnormは、式（５）～（６）で表される。
【0070】
【数3】
【0071】
正規化項Lregは、階層構造埋め込み表現のノルムの発散を防ぐことを目的とし、正規化係数λ（<<1）とともに用いる。正規化項Lregは、式（７）で表される。
【0072】
【数4】
【0073】
学習部１４は、損失関数の各項Langle, Lnorm, Lregに対して確率的勾配降下法を用いることで、全結合型ニューラルネットワークのパラメータを学習する。
【0074】
図６は、ベクトル表現加工処理の一例を示す概念図である。図６に示されているように、学習部１４は、角度の学習３０１、３０２と、ノルムの学習３０３、３０４とを行う。角度の学習では、類義関係又は上位下位関係にある単語のなす角度が小さくなり（３０１）、それらの関係にない単語のなす角度が大きくなる（３０２）ように、加工モデルを学習する。ノルムの学習では、上位語のノルムが小さくなり（３０３）、下位語のノルムが大きくなる（３０４）ように、加工モデルを学習する。ノルムの学習では、上位語のノルムが大きくなり、下位語のノルムが小さくなるように、加工モデルを学習してもよい。
【0075】
図７は、階層構造埋め込み表現の分布空間の一例を示す概念図である。図７に示されているように、階層構造埋め込み表現は、多次元の分布空間において、互いに関連性の高い単語は角度が小さく（３１１）、かつ互いに上位下位関係にある単語は上位下位関係に対応するノルムをもつ（３１２、３１３）ように配置される。図７の例では、関連性は類義関係（同義関係を含む）を有することとし、意味が近い単語のなす角度が小さくなるように配置される分布空間となっている。なお、関連性は類義関係等に限定されず、辞書データに表されている単語間の関係であればどのようなものでもよい。
【0076】
階層構造埋め込み表現の分布空間は、非特許文献１に開示されているＬＥＡＲ（Lexical Entailment Attract-Repel）により生成される分布空間としてもよい。ＬＥＡＲでは、上位語と下位語とのコサイン類似度が大きくなり、かつ、上位語のノルムは大きく下位語のノルムは小さくなるように単語ベクトルを加工する。ただし、ＬＥＡＲでは、単語及びシソーラスを入力として、シソーラスに含まれる単語についてのみ上位下位関係を推定することが可能となっている。
【0077】
＜加工処理の流れ＞
図８は、本実施形態における加工処理の流れの一例を示すフローチャートである。
図８は、本実施形態における加工処理の流れの一例を示すフローチャートである。
【0078】
ステップＳ１１において、入力部１１は、１個以上の語句の入力を受け付ける。なお、語句とは、単語又は熟語である。入力される語句は、例えば、辞書データに含まれない語句である。次に、入力部１１は、受け付けた１個以上の入力語句を変換部１３に送る。
【0079】
ステップＳ１２において、変換部１３は、入力部１１から入力語句を受け取る。次に、変換部１３は、変換モデル記憶部１２から変換モデルを読み出す。続いて、変換部１３は、読み出した変換モデルを用いた推論により、入力語句を単語分散表現に変換する。そして、変換部１３は、入力語句の単語分散表現を加工部１６に送る。
【0080】
ステップＳ１３において、加工部１６は、変換部１３から入力語句の単語分散表現を受け取る。次に、加工部１６は、分布空間記憶部１７から各単語の単語分散表現を読み出す。続いて、加工部１６は、入力語句及び各単語の単語分散表現を分布空間に配置する。
【0081】
次に、加工部１６は、加工モデル記憶部１５から加工モデルを読み出す。続いて、加工部１６は、読み出した加工モデルを用いた推論により、単語分散表現の分布空間を階層構造埋め込み表現の分布空間に写像する。
【0082】
ステップＳ１４において、加工部１６は、入力語句及び各単語が配置された階層構造埋め込み表現の分布空間を表す情報を分布空間記憶部１７に記憶する。分布空間記憶部１７に記憶される情報は、例えば、階層構造埋め込み表現の分布空間の各軸を表す情報と、入力語句及び各単語の階層構造埋め込み表現とを含む。
【0083】
図９は、階層構造埋め込み表現の分布空間の一例を示す概念図である。図９は、辞書データに含まれない語句が配置された分布空間の例である。図９では、辞書データに含まれない語句を網掛けで示している。図９に示されているように、本実施形態におけるベクトル表現加工装置によれば、辞書データに含まれない語句が、適切な位置に配置される。
【0084】
例えば、「鼠」という単語は、「哺乳類」との角度が小さく、かつ「哺乳類」よりもノルムが大きい位置に配置されている。また、例えば、「恒温動物」という単語は、「哺乳類」との角度が小さく、かつ「哺乳類」よりもノルムが小さい位置に配置されている。
【0085】
図９の例では、上位語はノルムが小さく、下位語はノルムが大きくなるように、語句を分布空間に配置しているが、上位語はノルムが大きく、下位語はノルムが小さくなるように、語句を分布空間に配置してもよい。この場合、例えば、「鼠」という単語は、「哺乳類」との角度が小さく、かつ「哺乳類」よりもノルムが小さい位置に配置される。
【0086】
＜判定処理の流れ＞
図１０は、本実施形態における判定処理の流れの一例を示すフローチャートである。
図１０は、本実施形態における判定処理の流れの一例を示すフローチャートである。
【0087】
ステップＳ２１において、入力部１１は、２個の語句の入力を受け付ける。次に、入力部１１は、受け付けた２個の入力語句を判定部１８に送る。
【0088】
ステップＳ２２において、判定部１８は、入力部１１から入力語句を受け取る。次に、判定部１８は、分布空間記憶部１７に記憶されている分布空間を表す情報を読み出す。続いて、判定部１８は、入力語句の関係を判定する。
【0089】
判定部１８は、まず、入力語句が類義関係又は上位下位関係にあるか否かを判定する。入力語句が上位下位関係にある場合、判定部１８は、それぞれの語句について上位語であるか下位語であるかを判定する。したがって、判定部１８による判定結果は、類義関係／上位語／下位語／関係なしのいずれかとなる。そして、判定部１８は、判定結果を出力部１９に送る。
【0090】
判定部１８は、具体的には、以下のようにして入力語句の関係を判定する。まず、判定部１８は、入力語句の階層構造埋め込み表現を用いて、所定の指標を算出する。所定の指標は、例えば、ハイパースコアを用いることができる。本実施形態におけるハイパースコアは、ｕｌ，ｕｒを入力語句の階層構造埋め込み表現として、式（８）で表される。
【0091】
【数5】
【0092】
なお、本実施形態におけるハイパースコアは、下記参考文献３に開示されているハイパースコアを修正したものである。具体的には、従来のハイパースコアではノルムの比を乗じているところ、ノルムの比の対数を乗じるように修正している。この修正により、ノルムの比が発散することを防ぐことができ、また、閾値を細かく設定できるようになる。
【0093】
〔参考文献３〕Nguyen, K. A., Koper, M., Walde, im S. S., and Vu, N. T., "Hierarchical Embeddings for Hypernymy Detection and Directionality," EMNLP, pp. 233-243, 2017.
【0094】
次に、判定部１８は、ハイパースコアを所定の閾値と比較し、ハイパースコアが閾値以上であれば上位下位関係にあると判定する。一方、ハイパースコアが閾値未満であれば上位下位関係にないと判定する。閾値は、辞書データに含まれる単語間のハイパースコア等に基づいて適宜設定すればよい。
【0095】
続いて、判定部１８は、入力語句が上位下位関係にあると判定された場合、入力語句それぞれのノルムを計算する。次に、判定部１８は、各語句のノルムの大小関係（例えば、ノルムの差の絶対値）が所定の範囲内にあるか否かを判定する。所定の範囲を表す閾値（例えば、ノルムの差の上限値と下限値）は、辞書データに含まれる単語間のノルムの大小関係に基づいて適宜設定すればよい。
【0096】
判定部１８は、ノルムの大小関係が所定の範囲内にある場合、入力語句が類義関係にあると判定する。一方、判定部１８は、ノルムの大小関係が所定の範囲外にある場合、入力語句が上位下位関係にあると判定する。
【0097】
判定部１８は、入力語句が上位下位関係にあると判定した場合、入力語句のノルムの大きさを比較する。判定部１８は、ノルムの小さい方の語句を上位語と判定し、ノルムの大きい方の語句を下位語と判定する。上位語はノルムが大きく、下位語はノルムが小さくなるように加工モデルを学習した場合、判定部１８は、ノルムの大きい方の語句を上位語と判定し、ノルムの小さい方の語句を下位語と判定する。
【0098】
出力部１９は、判定部１８から判定結果を受け取る。次に、出力部１９は、判定結果を表示装置１０５等に出力する。
【0099】
＜抽出処理の流れ＞
図１１は、本実施形態における抽出処理の流れの一例を示すフローチャートである。
図１１は、本実施形態における抽出処理の流れの一例を示すフローチャートである。
【0100】
ステップＳ３１において、入力部１１は、１個の語句の入力を受け付ける。次に、入力部１１は、受け付けた１個の入力語句を判定部１８に送る。
【0101】
ステップＳ３２において、判定部１８は、入力部１１から入力語句を受け取る。次に、判定部１８は、分布空間記憶部１７に記憶されている分布空間を表す情報を読み出す。続いて、判定部１８は、入力語句と上位下位関係にある単語を、階層構造埋め込み表現の分布空間から抽出する。具体的には、判定部１８は、階層構造埋め込み表現の分布空間に含まれる単語のうち、入力語句とのハイパースコアが所定の閾値以上である単語を抽出する。そして、判定部１８は、抽出された単語を出力部１９に送る。
【0102】
判定部１８は、入力語句との関連性が高い単語を、階層構造埋め込み表現の分布空間から抽出してもよい。具体的には、判定部１８は、階層構造埋め込み表現の分布空間に含まれる単語のうち、入力語句となす角度及び入力語句とのノルムの大小関係が所定の範囲内にある単語を抽出する。
【0103】
判定部１８は、まず、入力語句とのコサイン類似度が所定の閾値以下の単語を抽出する。次に、判定部１８は、抽出された各単語と入力語句とのノルムの差が所定の閾値より大きい単語を抽出する。そして、判定部１８は、抽出された単語を出力部１９に送る。
【0104】
出力部１９は、判定部１８から抽出された単語を受け取る。次に、出力部１９は、抽出された単語を表示装置１０５等に出力する。
【0105】
＜可視化処理の流れ＞
図１２は、本実施形態における可視化処理の流れの一例を示すフローチャートである。
図１２は、本実施形態における可視化処理の流れの一例を示すフローチャートである。
【0106】
ステップＳ４１において、出力部１９は、分布空間記憶部１７に記憶されている分布空間を表す情報を読み出す。
【0107】
ステップＳ４２において、出力部１９は、階層構造埋め込み表現の分布空間を構造的に可視化する。出力部１９は、例えば、上位下位関係にある単語を列挙したリスト形式で、階層構造埋め込み表現の分布空間を表現する。
【0108】
図１３は、可視化処理の一例を示す概念図である。図１３の例は、上位下位関係にある単語を列挙したリスト形式で、階層構造埋め込み表現の分布空間を表現した例である。図１３に示されているように、リスト形式で分布空間を表現する場合、上位語と下位語との組み合わせからなる一覧表を構築する。このとき、上位度の降順で並べることで、一覧表から階層構造を容易に把握できるようになる。
【0109】
なお、上位度は、２つの単語がどれだけ上位にあるか又は下位にあるかの度合いを示す使用である。例えば、上位度は、階層構造埋め込み表現のノルムの差である。ノルムの差が小さいほど上位度が高く、大きいほど上位度が低い。
【0110】
出力部１９は、例えば、単語間の上位下位関係を階層化したツリー構造（デンドログラム）で、階層構造埋め込み表現の分布空間を表現する。
【0111】
図１４は、可視化処理の一例を示す概念図である。図１４の例は、上位下位関係を階層化したツリー構造で、階層構造埋め込み表現の分布空間を表現した例である。図１４に示されているように、ツリー構造で分布空間を表現する場合、上位下位関係にある単語間を線で接続し、上位度が高いほど上の階層に、低いほど下の階層に配置されるようにツリー構造を構築する。
【0112】
出力部１９は、例えば、所定の一軸を上位度とした散布図で、階層構造埋め込み表現の分布空間を表現する。
【0113】
図１５は、可視化処理の一例を示す概念図である。図１５の例は、所定の一軸を上位度とした散布図で、階層構造埋め込み表現の分布空間を表現した例である。階層構造埋め込み表現の分布空間は多次元空間であるため、２次元の散布図で表現するために、２つの尺度で次元削減を行う必要がある。このとき、一方の尺度を上位度として定める。もう一方の尺度は任意の尺度を用いることができる。
【0114】
可視化処理は、判定処理又は抽出処理と組み合わせることも可能である。例えば、判定処理における判定結果と共に、各語句と上位下位関係にある単語をツリー構造で表現した図を出力してもよい。また、例えば、抽出処理により抽出された単語をツリー構造又は散布図で出力してもよい。
【0115】
［変形例］
上記の実施形態では、階層構造埋め込み表現の分布空間が、互いの関連性の高さに関わる成分を単語がなす角度とし、互いの上位下位関係に関わる成分をノルムの大小関係としてもつ例を説明した。変形例では、階層構造埋め込み表現の分布空間が、互いの関連性の高さに関わる成分をｘ軸とし、互いの上位下位関係に関わる成分をｙ軸としてもつ例を説明する。
上記の実施形態では、階層構造埋め込み表現の分布空間が、互いの関連性の高さに関わる成分を単語がなす角度とし、互いの上位下位関係に関わる成分をノルムの大小関係としてもつ例を説明した。変形例では、階層構造埋め込み表現の分布空間が、互いの関連性の高さに関わる成分をｘ軸とし、互いの上位下位関係に関わる成分をｙ軸としてもつ例を説明する。
【0116】
図１６は、階層構造埋め込み表現の分布空間の変形例を示す概念図である。図１６の例は、互いの関連性の高さに関わる成分（類義関係等）をｘ軸とし、互いの上位下位関係に関わる成分（上位度）をｙ軸とした散布図で、階層構造埋め込み表現の分布空間を表現している。図１６に示されているように、変形例における分布空間は、ｘ軸方向に距離が近付くほど意味が近く、ｘ軸方向に距離が離れるほど意味が遠いことを表している。また、変形例における分布空間は、ｙ軸に対して上方向に位置するほど上位度が高く、ｙ軸に対して下方向に位置するほど上位度が低いことを表している。
【0117】
なお、本変形例におけるｘ軸及びｙ軸は一例であって、階層構造埋め込み表現の分布空間が、互いの関連性の高さに関わる成分に対応する軸と、互いの上位下位関係に関わる成分に対応する軸とをもっていれば、分布空間におけるいずれの軸がそれぞれの成分に対応していてもよい。
【0118】
＜まとめ＞
以上、本開示の各実施形態によれば、語句のベクトル表現を他の単語との上位下位関係を判定可能に加工することができる。本実施形態におけるベクトル表現加工装置は、上位語と下位語との組み合わせを含む辞書データに基づいて、互いの関連性の高さに関わる成分及び互いの上位下位関係に関わる成分をもつように配置される分布空間を生成し、任意の語句を分布空間に写像する。したがって、本実施形態におけるベクトル表現加工装置によれば、語句のベクトル表現を他の単語との上位下位関係を判定可能に加工することができる。
以上、本開示の各実施形態によれば、語句のベクトル表現を他の単語との上位下位関係を判定可能に加工することができる。本実施形態におけるベクトル表現加工装置は、上位語と下位語との組み合わせを含む辞書データに基づいて、互いの関連性の高さに関わる成分及び互いの上位下位関係に関わる成分をもつように配置される分布空間を生成し、任意の語句を分布空間に写像する。したがって、本実施形態におけるベクトル表現加工装置によれば、語句のベクトル表現を他の単語との上位下位関係を判定可能に加工することができる。
【0119】
特に、本実施形態におけるベクトル表現加工装置は、分布空間に写像された語句の分布を構造的に可視化する。例えば、ベクトル表現加工装置は、上位下位関係にある単語を列挙したリスト形式で語句の分布を可視化する。また、例えば、ベクトル表現加工装置は、語句の上位下位関係に応じて階層化されたツリー構造で語句の分布を可視化する。また、例えば、ベクトル表現加工装置は、所定の軸を上位度とする散布図で語句の分布を可視化する。したがって、本実施形態におけるベクトル表現加工装置によれば、任意の語句と辞書データに含まれる単語との上位下位関係を俯瞰的かつ直感的に把握することができる。
【0120】
本実施形態におけるベクトル表現加工装置は、２個の語句を分布空間に写像することで、上位下位関係を判定する。また、本実施形態におけるベクトル表現加工装置は、１個の語句を分布空間に写像することで、上位下位関係又は関連性が高い単語を抽出する。したがって、本実施形態におけるベクトル表現加工装置によれば、任意の語句について上位下位関係にある単語又は関連性が高い単語を高精度に抽出することができる。
【0121】
以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。
【符号の説明】
【0122】
１０ ベクトル表現加工装置
１１ 入力部
１２ 変換モデル記憶部
１３ 変換部
１４ 学習部
１５ 加工モデル記憶部
１６ 加工部
１７ 分布空間記憶部
１８ 判定部
１９ 出力部
１１ 入力部
１２ 変換モデル記憶部
１３ 変換部
１４ 学習部
１５ 加工モデル記憶部
１６ 加工部
１７ 分布空間記憶部
１８ 判定部
１９ 出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】