特許第6620950号(P6620950)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電信電話株式会社の特許一覧
特許6620950単語学習装置、単語学習方法、及び単語学習プログラム
<>
  • 特許6620950-単語学習装置、単語学習方法、及び単語学習プログラム 図000063
  • 特許6620950-単語学習装置、単語学習方法、及び単語学習プログラム 図000064
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6620950
(24)【登録日】2019年11月29日
(45)【発行日】2019年12月18日
(54)【発明の名称】単語学習装置、単語学習方法、及び単語学習プログラム
(51)【国際特許分類】
   G06F 16/36 20190101AFI20191209BHJP
   G06F 17/27 20060101ALI20191209BHJP
【FI】
   G06F16/36
   G06F17/27 615
【請求項の数】5
【全頁数】17
(21)【出願番号】特願2017-39543(P2017-39543)
(22)【出願日】2017年3月2日
(65)【公開番号】特開2018-147100(P2018-147100A)
(43)【公開日】2018年9月20日
【審査請求日】2018年12月17日
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(73)【特許権者】
【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
(74)【代理人】
【識別番号】110001519
【氏名又は名称】特許業務法人太陽国際特許事務所
(72)【発明者】
【氏名】林 克彦
(72)【発明者】
【氏名】永田 昌明
(72)【発明者】
【氏名】新保 仁
【審査官】 後藤 彰
(56)【参考文献】
【文献】 特開2016−161968(JP,A)
【文献】 特開2005−182696(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 16/36
G06F 17/27
(57)【特許請求の範囲】
【請求項1】
文の集合、及び単語の集合を入力とし、前記文の集合の各々の文に含まれる対象単語と、当該対象単語の周辺の周辺単語とを含む周辺文脈付き単語を抽出する周辺文脈付き単語抽出部と、
前記周辺文脈付き単語抽出部により抽出された、全ての前記周辺文脈付き単語に対する、
前記対象単語の単語ベクトルと、前記周辺単語の各々の単語ベクトルに対して巡回畳み込み又は巡回相互相関を用いた演算を行うことにより得られるベクトルとの積で算出されるスコア値を用いて表される目的関数を最適化するように、前記対象単語の各々の単語ベクトル、及び前記周辺単語の各々の単語ベクトルを学習する単語ベクトル学習部と、
前記単語ベクトル学習部により学習された前記単語ベクトルを出力する出力部と、
を含む単語学習装置。
【請求項2】
前記単語ベクトル学習部は、前記対象単語の各々の単語ベクトル、及び前記周辺単語の各々の単語ベクトルを含む単語ベクトルの集合をθとし、周辺文脈付き単語xと正解ラベルyとのペア(x,y)の集合をXとし、前記周辺文脈付き単語xに対するスコア値をηとした場合に、下記の式で定式化されたロジスティック回帰モデルL(θ)を前記目的関数として、前記目的関数を最小化する前記単語ベクトルの集合θを、最適な単語ベクトルの集合θ^として学習する
請求項1記載の単語学習装置。
【数1】

ただし、対象単語wtの単語ベクトルを

とし、対象単語wtの左文脈の周辺単語の単語ベクトルを

とし、対象単語wtの右文脈の周辺単語の単語ベクトルを

とすると、前記スコア値ηは、以下の式で算出される。
【数2】

【請求項3】
周辺文脈付き単語抽出部、単語ベクトル学習部、及び出力部を有する単語学習装置における単語学習方法であって、
前記周辺文脈付き単語抽出部が、文の集合、及び単語の集合を入力とし、前記文の集合の各々の文に含まれる対象単語と、当該対象単語の周辺の周辺単語とを含む周辺文脈付き単語を抽出するステップと、
前記単語ベクトル学習部が、前記周辺文脈付き単語抽出部により抽出された、全ての前記周辺文脈付き単語に対する、
前記対象単語の単語ベクトルと、前記周辺単語の各々の単語ベクトルに対して巡回畳み込み又は巡回相互相関を用いた演算を行うことにより得られるベクトルとの積で算出されるスコア値を用いて表される目的関数を最適化するように、前記対象単語の各々の単語ベクトル、及び前記周辺単語の各々の単語ベクトルを学習するステップと、
前記出力部が、前記単語ベクトル学習部により学習された前記単語ベクトルを出力するステップと、
を含む単語学習方法。
【請求項4】
前記単語ベクトル学習部が学習するステップでは、前記対象単語の各々の単語ベクトル、及び前記周辺単語の各々の単語ベクトルを含む単語ベクトルの集合をθとし、周辺文脈付き単語xと正解ラベルyとのペア(x,y)の集合をXとし、前記周辺文脈付き単語xに対するスコア値をηとした場合に、下記の式で定式化されたロジスティック回帰モデルL(θ)を前記目的関数として、前記目的関数を最小化する前記単語ベクトルの集合θを、最適な単語ベクトルの集合θ^として学習する
請求項3記載の単語学習方法。
【数3】

ただし、対象単語wtの単語ベクトルを

とし、対象単語wtの左文脈の周辺単語の単語ベクトルを

とし、対象単語wtの右文脈の周辺単語の単語ベクトルを

とすると、前記スコア値ηは、以下の式で算出される。
【数4】

【請求項5】
コンピュータを、請求項1又は2記載の単語学習装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、文の集合から単語ベクトルを学習する単語学習装置、単語学習方法、及び単語学習プログラムに関する。
【背景技術】
【0002】
従来、単語の意味を単語ベクトルで表現する手法として、一般に「word2vec」と呼ばれるソフトウェアで使用されているCVOW(Countinuous Bag−of−Words)モデル、及び、Skip−gramモデルが提案されている(非特許文献2参照)。これらのモデルは、文の集合を入力として、文の集合における各文に含まれる各単語に対してd次元ベクトルを学習し、出力するモデルとなっている。
【0003】
ここでは、CBOWモデルよりも優れたSkip−gramモデルについて、その概要を説明する。
【0004】
まず、入力とした文の集合X中の文x=w,…,wに対して、
【数1】

…(1)
【0005】
という確率モデルを考える。ここで、cは単語wの周辺単語を考慮する履歴の長さを表す。t+jが1より小さくなる場合は、wt+jは<s>のような仮想先頭単語を考え、t+jがTより大きくなる場合は、wt+jは</s>のような仮想文末単語を考える。
【0006】
Skip−gramモデルでは、
【数2】

…(2)
【0007】
としてモデル化する。ここで、v及びv’は、下付き添字が表す単語の単語ベクトル、Wは、文書X中に含まれる全ての単語の集合とする。上記(1)式の確率モデルを最大化するような単語ベクトルv及びv’を学習する。
【先行技術文献】
【非特許文献】
【0008】
【非特許文献1】John Duchi, Elad Hazan, and Yoram Singer. Adaptive subgradient methods for online learning and stochastic optimization. Journal of Machine Learning Research, 12(Jul):2121-2159, 2011.
【非特許文献2】Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.
【発明の概要】
【発明が解決しようとする課題】
【0009】
Skip−gramモデル等の単語ベクトル学習モデルでは、ユークリッド空間上での積、和等を使って確率モデルを考えるため、一般に獲得される単語ベクトルの各次元要素は関連性を持たない。しかし、離散的な信号のように単語ベクトルの各次元間に関連性があり、単語ベクトルの次元の並びに意味を持たせることができれば、より多くの情報を単語ベクトルに記憶させることが可能となる。
【0010】
本発明は、以上のような事情に鑑みてなされたものであり、各次元間に関連性を持たせた単語ベクトルを学習することができる単語学習装置、単語学習方法、及び単語学習プログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
上記目的を達成するために、本発明の単語学習装置は、文の集合、及び単語の集合を入力とし、前記文の集合の各々の文に含まれる対象単語と、当該対象単語の周辺の周辺単語とを含む周辺文脈付き単語を抽出する周辺文脈付き単語抽出部と、前記周辺文脈付き単語抽出部により抽出された、全ての前記周辺文脈付き単語に対する、前記対象単語の単語ベクトルと、前記周辺単語の各々の単語ベクトルに対して巡回畳み込み又は巡回相互相関を用いた演算を行うことにより得られるベクトルとの積で算出されるスコア値を用いて表される目的関数を最適化するように、前記対象単語の各々の単語ベクトル、及び前記周辺単語の各々の単語ベクトルを学習する単語ベクトル学習部と、前記単語ベクトル学習部により学習された前記単語ベクトルを出力する出力部と、を含む。
【0012】
なお、前記単語ベクトル学習部は、前記対象単語の各々の単語ベクトル、及び前記周辺単語の各々の単語ベクトルを含む単語ベクトルの集合をθとし、周辺文脈付き単語xと正解ラベルyとのペア(x,y)の集合をXとし、前記周辺文脈付き単語xに対するスコア値をηとした場合に、下記の式で定式化されたロジスティック回帰モデルL(θ)を前記目的関数として、前記目的関数を最小化する前記単語ベクトルの集合θを、最適な単語ベクトルの集合θ^として学習するようにしても良い。
【数1】

ただし、対象単語wtの単語ベクトルを

とし、対象単語wtの左文脈の周辺単語の単語ベクトルを

とし、対象単語wtの右文脈の周辺単語の単語ベクトルを

とすると、前記スコア値ηは、以下の式で算出される。
【数2】

【0013】
上記目的を達成するために、本発明の単語学習方法は、周辺文脈付き単語抽出部、単語ベクトル学習部、及び出力部を有する単語学習装置における単語学習方法であって、前記周辺文脈付き単語抽出部が、文の集合、及び単語の集合を入力とし、前記文の集合の各々の文に含まれる対象単語と、当該対象単語の周辺の周辺単語とを含む周辺文脈付き単語を抽出するステップと、前記単語ベクトル学習部が、前記周辺文脈付き単語抽出部により抽出された、全ての前記周辺文脈付き単語に対する、前記対象単語の単語ベクトルと、前記周辺単語の各々の単語ベクトルに対して巡回畳み込み又は巡回相互相関を用いた演算を行うことにより得られるベクトルとの積で算出されるスコア値を用いて表される目的関数を最適化するように、前記対象単語の各々の単語ベクトル、及び前記周辺単語の各々の単語ベクトルを学習するステップと、前記出力部が、前記単語ベクトル学習部により学習された前記単語ベクトルを出力するステップステップと、を含む。
【0014】
なお、前記単語ベクトル学習部が学習するステップでは、前記対象単語の各々の単語ベクトル、及び前記周辺単語の各々の単語ベクトルを含む単語ベクトルの集合をθとし、周辺文脈付き単語xと正解ラベルyとのペア(x,y)の集合をXとし、前記周辺文脈付き単語xに対するスコア値をηとした場合に、下記の式で定式化されたロジスティック回帰モデルL(θ)を前記目的関数として、前記目的関数を最小化する前記単語ベクトルの集合θを、最適な単語ベクトルの集合θ^として学習するようにしても良い。
【数3】

ただし、対象単語wtの単語ベクトルを

とし、対象単語wtの左文脈の周辺単語の単語ベクトルを

とし、対象単語wtの右文脈の周辺単語の単語ベクトルを

とすると、前記スコア値ηは、以下の式で算出される。
【数4】

【0015】
上記目的を達成するために、本発明のプログラムは、コンピュータを、上記単語学習装置の各部として機能させるためのプログラムである。
【発明の効果】
【0016】
本発明によれば、各次元間に関連性を持たせた単語ベクトルを学習することが可能となる。
【図面の簡単な説明】
【0017】
図1】実施形態に係る単語学習装置の機能的な構成を示すブロック図である。
図2】実施形態に係る単語学習処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0018】
以下、本実施形態について図面を用いて説明する。
【0019】
本実施形態に係る単語学習装置は、(巡回)畳み込み、及び(巡回)相互相関と呼ばれる離散ベクトル(離散信号)間の演算を行うことにより、各次元要素の並びに意味を持たせた単語ベクトルを獲得するためのモデルを学習する。
【0020】
ここで2つのd次元の単語ベクトルv及びv’とすると、畳み込み*は下記(3)式で定義される。
【0021】
【数5】

…(3)
【0022】
また、相互相関

は、下記(4)式で定義される。
【0023】
【数6】

…(4)
【0024】
なお、畳み込みは、vv’=v’*vとなり、可換な操作であるが、相互相関は、

となり、非可換な操作となる。
【0025】
図1は、本実施形態に係る単語学習装置10の機能的な構成を示すブロック図である。図1に示すように、本実施形態に係る単語学習装置10は、入力部12、周辺文脈付き単語抽出部14、単語ベクトル学習部16、及び、出力部18を備えている。
【0026】
入力部12は、文の集合X’と、文の集合X’における各文に含まれる単語の集合W={w,…,w}と、周辺文脈の履歴長lとを入力とする。ただし、Nは、単語の数である。
【0027】
周辺文脈付き単語抽出部14は、文の集合X’に含まれる文をx’={w,…,w}とする。全ての

に対して、周辺文脈付き単語x={wt−l,…,wt−1,w,wt+1,…,wt+l}を取り出す。周辺文脈がwより左になる場合、<s>という特殊な単語を用い、周辺文脈がwより右にある場合、</s>という特殊な単語を用いる。
【0028】
周辺文脈付き単語抽出部14は、上述した周辺文脈付き単語を取り出す処理を文の集合X’に含まれる全ての文について行い、取り出された周辺文脈付き単語xと正解ラベルを表す「1」とを組み合わせたペア(x,1)とし、そのペアの集合をXと定義する。なお、ペアの集合Xは、以下で提案するモデルの学習データとして用いられる。
【0029】
また、上記非特許文献2に開示されているように、Skip−gramモデル等では、一般に、ベクトル学習を効果的に行うために、文の集合X’に含まれない周辺文脈付き単語xを用いた負例をサンプリングによって生成し、ペアの集合Xに混ぜること(Negative Smpling)を行う。
【0030】
本実施形態でも同様に、文の集合X’に現れなかった周辺文脈付き単語xと、正解ラベルを表す「−1」と組み合わせたペア(x,−1)のような負例をサンプリングによって生成し、ペアの集合Xに混ぜることにより、ペアの集合Xを作成する。
【0031】
単語ベクトル学習部16は、ある周辺文脈付き単語x={wt−l,…,wt−1,w,wt+1,…,wt+l}に対して、畳み込み及び相互相関を用いて次の計算を行う。
【0032】
まず、対象単語の周辺の周辺単語からなる周辺文脈を、左文脈c={wt−l,…,wt−1}と右文脈c={wt+1,…,wt+l}とに分け、畳み込みを行って、下記(5)式及び(6)式を用いて左文脈の単語ベクトルvcl’と、右文脈の単語ベクトルvcr’とを計算する。
【0033】
【数7】

…(5)
【数8】

…(6)
【0034】
次に、畳み込みを用いた下記(7)式、又は相互相関を用いた下記(8)式を用いて、周辺文脈付き単語における対象単語wのスコア値ηを計算する。すなわち、スコア値ηは、対象単語wの単語ベクトルvwtと、周辺単語wの各々の単語ベクトルvcl’及びvcr’に対して巡回畳み込み又は巡回相互相関を用いた演算を行うことにより得られるベクトルとの積で算出される。
【0035】
【数9】

…(7)
【数10】

…(8)
【0036】
上記(7)式では、畳み込みは可換な操作であるため、左右の周辺単語を区別せずに関連付けることができる。一方、上記(8)式では、相互相関を用いているため、左右の区別がある。上記(7)式及び(8)式のどちらでモデル化を行っても本質に差異はないため、本実施形態では、上記(7)式(巡回畳み込み)を用いた場合について説明する。
【0037】
本実施形態では、上記(7)式又は(8)式で計算されるスコア値ηに対して、ロジスティック関数σを適用し、下記(9)式で示される確率値pθを考える。
【0038】
【数11】

…(9)
【0039】
ここで、

はモデルパラメータであり、φwt(c,c)は、周辺文脈付き単語w={c,w,c}が対象とするデータ上に存在するかしないかを表す2値関数である。
【0040】
単語ベクトル学習部16は、下記(10)式に示すロジスティック回帰モデルを最小化するように定式化することで、最適なパラメータ

、すなわち対象単語wの各々の単語ベクトルvwt、及び周辺単語wの各々の単語ベクトルvcl’及びvcr’を学習する。
【0041】
【数12】

…(10)
【0042】
これは、Adagrad等の確率的勾配降下法(上記非特許文献1を参照)によって最適化することができる。最適化の手続きは、以下のようになる。
【0043】
(手順0)パラメータθは、各単語ベクトルの次元数Dを使って、

から

を区間とする一様分布から生成した乱数を用いて、単語ベクトルの各次元を初期化する。
【0044】
(手順1)繰り返し回数のカウンタiを0とし、以下の(手順2)をM(Mは任意の自然数)回繰り返す。
【0045】
(手順2)

に対して、下記(手順2−1)乃至(手順2−5)の計算を行う。ここで、x、c、cの定義は上述した通りである。
【0046】
ここで、対象単語、及び各周辺単語に対する勾配ベクトル

は、全てゼロベクトルで初期化されているものとする。
【0047】
(手順2−1)カウンタiにおける対象単語wの単語ベクトル

の勾配を、下記(11)式を用いて計算する。
【0048】
【数13】

…(11)
【0049】
(手順2−2)

に対して、カウンタiにおける周辺単語wの単語ベクトル

の勾配を、下記(12)式を用いて計算する。
【0050】
【数14】

…(12)
【0051】
ここで、

とする。
【0052】
(手順2−3)

に対しても同様に、カウンタiにおける周辺単語wの単語ベクトル

の勾配を、下記(13)式を用いて計算する。
【0053】
【数15】

…(13)
【0054】
ここで、

とする。
【0055】
(手順2−4)カウンタ(i+1)における対象単語wの単語ベクトル

の勾配を、下記(14)式として更新する。
【0056】
【数16】

…(14)
【0057】
また、

に対しても、カウンタ(i+1)における周辺単語wの単語ベクトル

の勾配を、下記(15)式として更新する。
【0058】
【数17】

…(15)
【0059】
(手順2−5)カウンタi=i+1となるようにカウンタを更新する。
【0060】
出力部18は、単語ベクトル学習部16により学習されたパラメータ(単語ベクトルの集合)θを出力する。
【0061】
なお、本実施形態に係る単語学習装置10は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)、各種プログラムを記憶するROM(Read Only Memory)を備えたコンピュータ装置で構成される。また、単語学習装置10を構成するコンピュータは、ハードディスクドライブ、不揮発性メモリ等の記憶部を備えていても良い。本実施形態では、CPUがROM、ハードディスク等の記憶部に記憶されているプログラムを読み出して実行することにより、上記のハードウェア資源とプログラムとが協働し、上述した機能が実現される。
【0062】
本実施形態に係る単語学習装置10による単語学習処理の流れを、図2に示すフローチャートを用いて説明する。本実施形態では、単語学習装置10に、単語学習処理の実行を開始するための予め定めた情報が入力されたタイミングで単語学習処理が開始されるが、単語学習処理が開始されるタイミングはこれに限らず、例えば、入力画像が入力されたタイミングで単語学習処理が開始されても良い。
【0063】
ステップS101では、入力部12が、文の集合X’、及び文の集合X’の各文に含まれる単語の集合Wを入力する。
【0064】
ステップS103では、周辺文脈付き単語抽出部14が、文の集合X’に含まれる何れかの文を選択する。
【0065】
ステップS105では、周辺文脈付き単語抽出部14が、選択した文に含まれる各単語を対象とし、右側に隣接するl個の単語を右文脈として抽出すると共に、左側に隣接するl個の単語を左文脈として抽出する。
【0066】
ステップS107では、周辺文脈付き単語抽出部14が、対象とした単語と、ステップS105で抽出した単語とを含む周辺文脈付き単語xを生成する。
【0067】
ステップS109では、周辺文脈付き単語抽出部14が、周辺文脈付き単語xと正解ラベルyとのペア(x,y)の集合Xを生成する。
【0068】
ステップS111では、周辺文脈付き単語抽出部14が、未処理の文があるか否か、すなわち文の集合X’に含まれる文のうち、ステップS103乃至S109の処理を行っていない文があるか否かを判定する。ステップS111で未処理の文があると判定した場合(S111,Y)はステップS103に戻り、未処理の文に対してステップS103乃至S111の処理を行う。また、ステップS111で未処理の文がないと判定した場合(S111,N)はステップS113に移行する。
【0069】
ステップS113では、周辺文脈付き単語抽出部14が、文の集合X’に含まれない周辺文脈付き単語xと正解ラベル「−1」とのペア(x,y)を集合Xに追加する。
【0070】
ステップS115では、単語ベクトル学習部16が、一様分布から生成した乱数を用いて、各対象単語及び各周辺単語の単語ベクトルの各次元を初期化する。
【0071】
ステップS117では、単語ベクトル学習部16が、カウンタi=0にリセットする。
【0072】
ステップS119では、単語ベクトル学習部16が、カウンタiに1を加算する。
【0073】
ステップS121では、単語ベクトル学習部16が、周辺文脈付き単語xの各々に対し、上記(11)式、上記(12)式、及び上記(13)式を用いて、対象単語及び各周辺単語の単語ベクトルの勾配を計算する。
【0074】
ステップS123では、単語ベクトル学習部16が、周辺文脈付き単語xの各々に対し、対象単語及び各周辺単語の単語ベクトルの勾配と、上記(14)式、及び上記(15)式とを用いて、対象単語及び各周辺単語の単語ベクトルを更新し、単語ベクトルの集合θを計算する。
【0075】
ステップS125では、単語ベクトル学習部16が、カウンタiがM(Mは予め定めた2以上の自然数)以上であるか否かを判定する。ステップS125でカウンタiがM以上であった場合(S125,Y)はステップS127に移行する。また、ステップS125でカウンタiがMより小さい場合(S125,N)はステップS119に戻り、ステップS119乃至S125の処理を行う。
【0076】
ステップS127では、最適な単語ベクトルの集合θを出力し、本単語学習処理のプログラムの実行を終了する。なお、本実施形態では、推定された寸法をディスプレイ等の表示手段に表示させたり、推定された寸法を示すデータを記憶手段に記憶させたりすることにより、寸法情報を出力する。
【0077】
このように、本実施形態では、文の集合、及び単語の集合を入力とし、文の集合の各々の文に含まれる対象単語と、当該対象単語の周辺の周辺単語とを含む周辺文脈付き単語を抽出する。また、抽出された、全ての前記周辺文脈付き単語に対する、対象単語の単語ベクトルと、周辺単語の各々の単語ベクトルに対して巡回畳み込み又は巡回相互相関を用いた演算を行うことにより得られるベクトルとの積で算出されるスコア値を用いて表される目的関数を最適化するように、対象単語の各々の単語ベクトル、及び周辺単語の各々の単語ベクトルを学習する。そして、学習された単語ベクトルを出力する。
【0078】
Skip−gramモデル等で学習された単語ベクトルは機械翻訳、構文解析、形態素解析、文書分類等の自然言語処理の多くの問題に応用されている。本実施形態に係る単語学習装置10により学習された単語ベクトルの集合θも、上記多くの問題に応用することが可能である。また、本実施形態に係る単語学習装置10で獲得される単語ベクトルの集合θは各次元の並びに意味を持つため、より多くの情報をベクトルに組み込むことが可能になる。
【0079】
なお、本実施形態では、対象単語wのスコア値ηを計算する際に、上記(7)式(巡回畳み込み)を用いた場合について説明したが、これに限らず、上記(8)式(巡回相互相関)を用いても良い。この場合には、上記(11)式の代わりに下記(16)式を用い、上記(12)式の代わりに下記(17)式を用い、上記(13)式の代わりに下記(18)式を用いれば良い。
【数18】

…(16)
【数19】

…(17)
【数20】

…(18)
【0080】
また、本実施形態では、図1に示す機能の構成要素の動作をプログラムとして構築し、単語学習装置10として利用されるコンピュータにインストールして実行させるが、これに限らず、ネットワークを介して流通させても良い。
【0081】
また、構築されたプログラムをハードディスク、CD−ROM等の可搬記憶媒体に格納し、コンピュータにインストールしたり、配布したりしても良い。
【符号の説明】
【0082】
10 単語学習装置
12 入力部
14 周辺文脈付き単語抽出部
16 単語ベクトル学習部
18 出力部
図1
図2