特許 6984866 単語概念可視化装置と単語概念可視化方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6984866

(24)【登録日】2021年11月29日

(45)【発行日】2021年12月22日

(54)【発明の名称】単語概念可視化装置と単語概念可視化方法

(51)【国際特許分類】

   G06F 16/248 20190101AFI20211213BHJP

   G06F 16/26 20190101ALI20211213BHJP

   G06F 16/28 20190101ALI20211213BHJP

   G06F 16/338 20190101ALI20211213BHJP

   G06F 16/34 20190101ALI20211213BHJP

   G06F 40/20 20200101ALI20211213BHJP

   G06F 40/205 20200101ALI20211213BHJP

【ＦＩ】

   G06F16/248

   G06F16/26

   G06F16/28

   G06F16/338

   G06F16/34

   G06F40/20

   G06F40/205

【請求項の数】8

【全頁数】9

(21)【出願番号】特願2017-127777(P2017-127777)

(22)【出願日】2017年6月29日

(65)【公開番号】特開2019-12346(P2019-12346A)

(43)【公開日】2019年1月24日

【審査請求日】2020年6月12日

(73)【特許権者】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】林 隆介

【審査官】 三橋 竜太郎

(56)【参考文献】

【文献】 特開２００６−１６１４０３（ＪＰ，Ａ）

【文献】 特開２００１−０９２８２４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／０１８６７８７（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００−１６／９５８

Ｇ０６Ｆ ４０／００−４０／４０

(57)【特許請求の範囲】

【請求項1】

各ユーザにおいて表象される単語概念の特徴を示す第一の単語特徴量表現を生成すると共に、前記ユーザ全体の標準的な単語概念の特徴を示す第二の単語特徴量表現を生成する単語特徴量表現生成手段と、
前記単語特徴量表現生成手段で生成された前記第一の単語特徴量表現と前記第二の単語特徴量表現との間で有意な相関の有無を調べ、前記第一の単語特徴量表現に基づいて、前記有意な相関があると認められる第三の単語特徴量表現を生成する相関解析手段と、
前記第三の単語特徴量表現を構成する単語特徴量ベクトルと前記第一の単語特徴量表現を構成する単語特徴量ベクトルの距離を前記単語毎に算出する距離算出手段と、
前記距離算出手段により算出された前記距離を表示する表示手段を備えた
単語概念可視化装置。

【請求項2】

前記相関解析手段は、正準相関解析によって前記有意な相関の有無を調べる、
請求項１に記載の単語概念可視化装置。

【請求項3】

前記相関解析手段は、
前記第一の単語特徴量表現から得られる第一の正準相関表現と、前記第二の単語特徴量表現から得られる第二の正準相関表現とを比較する比較手段と、
前記比較の結果に応じて、前記第一の正準相関表現から前記有意な相関があると判定された次元数を有する第三の正準相関表現を生成し、前記第三の正準相関表現を前記第一の単語特徴量表現が有する空間に逆変換することにより前記第三の単語特徴量表現を生成する逆変換手段とを含む、
請求項２に記載の単語概念可視化装置。

【請求項4】

前記単語特徴量表現は、テキストデータ、単語でラベル付けされた画像の類似度判定データ、若しくは前記ユーザの脳活動により得られたデータから特定される、
請求項１に記載の単語概念可視化装置。

【請求項5】

各ユーザにおいて表象される単語概念の特徴を示す第一の単語特徴量表現を生成する第一のステップと、
前記ユーザ全体の標準的な単語概念の特徴を示す第二の単語特徴量表現を生成する第二のステップと、
前記第一の単語特徴量表現と前記第二の単語特徴量表現との間で有意な相関の有無を調べる第三のステップと、
前記第一の単語特徴量表現に基づいて、前記有意な相関があると認められる第三の単語特徴量表現を生成する第四のステップと、
前記第三の単語特徴量表現を構成する単語特徴量ベクトルと前記第一の単語特徴量表現を構成する単語特徴量ベクトルの距離を前記単語毎に算出する第五のステップと、
前記第五のステップで算出された前記距離を表示する第六のステップと
をコンピュータが実行する単語概念可視化方法。

【請求項6】

前記第三のステップでは、正準相関解析により前記有意な相関の有無を調べる、
請求項５に記載の単語概念可視化方法。

【請求項7】

前記第三のステップでは、前記第一の単語特徴量表現から得られる第一の正準相関表現と、前記第二の単語特徴量表現から得られる第二の正準相関表現とを比較することにより前記有意な相関の有無を調べ、
前記第四のステップでは、前記比較の結果に応じて、前記第一の正準相関表現から前記有意な相関があると判定された次元数を有する第三の正準相関表現を生成し、前記第三の正準相関表現を前記第一の単語特徴量表現が有する空間に逆変換することにより前記第三の単語特徴量表現を生成する、
請求項６に記載の単語概念可視化方法。

【請求項8】

前記単語特徴量表現は、テキストデータ、単語でラベル付けされた画像の類似度判定データ、若しくは前記ユーザの脳活動により得られたデータから特定される、
請求項５に記載の単語概念可視化方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザが使用する単語概念の個人差を可視化する技術に関するものである。

【背景技術】

【0002】

これまでに、自然言語処理に関する考案が種々なされてきており、例えば特許文献１には、単語間の意味の類似性を測るための単語間類似度計算装置等が開示されている。

【0003】

また、非特許文献１には、ユーザ別に単語の特徴量表現を取得し、クラスタ解析を行う手法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−３８１６２号公報

【非特許文献】

【0005】

【非特許文献1】Jayant Jain著、“Project Gutenberg and Word2Vec”、［online］、２０１６年２月２３日、［２０１７年６月２１日検索］、インターネット〈URL: https://jayantj.github.io/posts/project-gutenberg-word2vec〉

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、ユーザがどのような単語概念に対して標準とは異なる個性的な表象を行っているのかを可視化する試みはなされていない。

【0007】

本発明は、このような課題に取り組むものであって、ユーザが使用する単語概念の個人差を可視化するための装置及び方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するため、本発明は、各ユーザにおいて表象される単語概念の特徴を示す第一の単語特徴量表現を生成すると共に、ユーザ全体の標準的な単語概念の特徴を示す第二の単語特徴量表現を生成する単語特徴量表現生成手段と、単語特徴量表現生成手段で生成された第一の単語特徴量表現と第二の単語特徴量表現との間で有意な相関の有無を調べ、第一の単語特徴量表現に基づいて、有意な相関があると認められる第三の単語特徴量表現を生成する相関解析手段と、第三の単語特徴量表現を構成する単語特徴量ベクトルと第一の単語特徴量表現を構成する単語特徴量ベクトルの距離を単語毎に算出する距離算出手段と、距離算出手段により算出された距離を表示する表示手段を備えた単語概念可視化装置を提供する。

【0009】

また、上記課題を解決するため、本発明は、各ユーザにおいて表象される単語概念の特徴を示す第一の単語特徴量表現を生成する第一のステップと、ユーザ全体の標準的な単語概念の特徴を示す第二の単語特徴量表現を生成する第二のステップと、第一の単語特徴量表現と第二の単語特徴量表現との間で有意な相関の有無を調べる第三のステップと、第一の単語特徴量表現に基づいて、有意な相関があると認められる第三の単語特徴量表現を生成する第四のステップと、第三の単語特徴量表現を構成する単語特徴量ベクトルと第一の単語特徴量表現を構成する単語特徴量ベクトルの距離を単語毎に算出する第五のステップと、第五のステップで算出された距離を表示する第六のステップとを有する単語概念可視化方法を提供する。

【発明の効果】

【0010】

本発明によれば、ユーザが使用する単語概念の個人差を可視化することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施の形態に係る単語概念可視化装置１の構成を示すブロック図である。

【図2】本発明の実施の形態に係る単語概念可視化方法を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下において、本発明の実施の形態を図面を参照しつつ詳しく説明する。なお、図中同一符号は同一又は相当部分を示す。

【0013】

図１は、本発明の実施の形態に係る単語概念可視化装置１の構成を示すブロック図である。図１に示されるように、単語概念可視化装置１は、入出力端子９と、入出力端子９に接続されたバス２と、それぞれバス２に接続された単語特徴量表現生成部３、相関解析部４、距離算出部５、記憶部６、表示部７、及び操作部８とを備える。なお、相関解析部４は、後述する比較部と逆変換部を含む。

【0014】

また、記憶部６は、入出力端子９から供給されたデータの他、単語特徴量表現生成部３や相関解析部４、距離算出部５により生成された各データを記憶する。また、表示部７は、操作部８においてユーザにより入力された命令に応じて、記憶部６に記憶されているデータを本装置１の内外のモニタ等（図示していない）へ表示する。

【0015】

図２は、本発明の実施の形態に係る単語概念可視化方法を示すフローチャートである。以下においては、図１に示された単語概念可視化装置１の動作により本方法を実行する場合について説明するが、本方法は単語概念可視化装置１を用いた場合に限られず広く適用することができる。

【0016】

ステップＳ１では、単語特徴量表現生成部３が、入出力端子９から供給されるデータ、又は記憶部６に記憶されたデータを対象として、各ユーザにおいて表象される単語概念の特徴を示す第一の単語特徴量表現を生成する。

【0017】

ここで、上記データには、著作物、ソーシャル・ネットワーキング・サービス（ＳＮＳ）やブログの投稿記事などのテキストデータの他、視覚実験により取得された画像の類似度判断データや、脳波計測や機能的核磁気共鳴画像（fMRI）計測等により取得したユーザの脳活動データが含まれる。

【0018】

また、上記の単語特徴量表現は、単語と対応づけられるセマンティクス（意味や表象概念）をベクトル（word embedding）で表現した構成要素からなる行列であり、上記ベクトルは、例えば、広く知られたワード・トゥ・ベック（word2vec）による自然言語処理により生成される。

【0019】

なお、上記データが画像の類似度判断データの場合は、例えば以下のような方法により、上記の単語特徴量表現を生成することができる。

【0020】

最初に、個別のユーザに様々な画像を提示し、画像間の類似度や非類似度を判定してもらう。次に、それぞれの画像に対し、内容と一致する単語でラベル付けを行うことにより、画像類似度判定結果を単語間の類似度関係に置き換える。そして、多次元尺度構成法（MDS法）を用いて単語間の類似度関係を維持した形で、各単語の多次元ベクトル表現化を行う。

【0021】

また、上記データが脳活動データの場合は、例えば以下のような方法によって、上記の単語特徴量表現を生成することができる。

【0022】

最初に、画像シーケンスや動画といった映像を観察中の各ユーザの脳活動を計測する。次に、映像の各フレームに対し、内容に対応した単語ラベルを割り当てる。次に、当該単語ラベルの出現や消失を、脳活動の時系列データを対象とした線形回帰によって予測する計算を行う。そして、得られた回帰行列の各単語に対応した重みベクトルを、脳における単語特徴量表現とする。

【0023】

次に、ステップＳ２では、単語特徴量表現生成部３が、ユーザ全体の標準的な単語概念の特徴を示す第二の単語特徴量表現を生成する。本ステップでは、全ユーザのデータを統合して、上記第一の単語特徴量表現の場合と同様な計算方法により、標準としての単語特徴量表現を生成する。

【0024】

なお、上記標準としての単語特徴量表現は、単純に単語間の類似度行列をユーザ間で平均化したのち、多次元尺度構成法（Multi-Dimensional Scaling: MDS法）によって単語特徴量ベクトルを生成してもよい。

【0025】

次に、ステップＳ３では、相関解析部４の比較部により、上記第一の単語特徴量表現と第二の単語特徴量表現との間で有意な相関の有無を調べる。本ステップでは、各ユーザと上記標準との間において単語概念同士のトポロジーは多くの場合共通であるという前提に立ち、例えば正準相関解析を用いて、統計的に有意な相関のある潜在変数空間において双方の単語特徴量表現を計算する。

【0026】

ここで例えば、相関解析部４に含まれる上記比較部が、第一の単語特徴量表現から得られる第一の正準相関表現と、第二の単語特徴量表現から得られる第二の正準相関表現とを比較することにより、上記有意な相関の有無を調べることができる。

【0027】

次に、ステップＳ４では、相関解析部４の逆変換部が、上記第一の単語特徴量表現に基づいて、上記の有意な相関があると認められる第三の単語特徴量表現を生成する。

【0028】

ここで例えば、相関解析部４に含まれる上記逆変換部が、比較部による比較結果に応じて、第一の正準相関表現から有意な相関があると判定された次元数を有する第三の正準相関表現を生成し、第三の正準相関表現を第一の単語特徴量表現が有する空間に逆変換することにより第三の単語特徴量表現を生成する。

【0029】

次に、ステップＳ５では、距離算出部５が、上記第三の単語特徴量表現を構成する単語特徴量ベクトルと上記第一の単語特徴量表現を構成する単語特徴量ベクトルの距離、具体的にはコサイン距離又はユークリッド距離等を単語毎に算出する。

【0030】

そして、ステップＳ６では、表示部７が、ステップＳ５で算出された単語毎の距離を表示する。本表示では、例えば、ワードネットなどの語彙辞書に基づくネットワークグラフのノードサイズを各単語の距離、すなわち上記標準からの誤差に応じて変える等のマッピングを行う他、単語別の上記誤差をヒストグラム等で表すようにしてもよい。

【0031】

以上のような本発明の実施の形態に係る単語概念可視化方法の具体例について以下において詳しく説明する。

【0032】

まず、次式（１）で示されるように、注目するｎ個の単語リストを設定する。

【0033】

【数1】

【0034】

次に、上式（１）の各単語ｗ_i（i＝１〜ｎ）に対応するｍ次元の単語特徴量ベクトルを、上記のテキストデータ、画像類似度判定データ、若しくは脳活動データに基づいて、ユーザｐ人から個別に取得する。

【0035】

次に、ユーザｊから取得した単語ｗ_iのｍ次元単語特徴量ベクトルを、次式（２）で表す。

【0036】

【数2】

【0037】

このとき、ユーザｊの全単語リストに対する単語特徴量表現Ｍ_jは、次式（３）で示される（ｎ×ｍ）行列となる。

【0038】

【数3】

【0039】

また、全ユーザの単語特徴量表現Ｍ_allも同様に、次式（４）で示される（ｎ×ｍ）行列となる。

【0040】

【数4】

【0041】

次に、上記の行列Ｍ_jと行列Ｍ_allとの間で、正準相関解析を行う。すなわち、正準相関表現Ｕ，Ｔを求めるための変換式（５），（６）において、ベクトル成分u_kとベクトル成分t_kの相関が最大となる変換Ｗ_jと変換Ｗ_allとを求める。

【0042】

【数5】

【0043】

【数6】

【0044】

ここで、正準相関解析では、全てのベクトル成分u_kとベクトル成分t_kのペアにおいて統計的に有意な相関を持つわけではない。そこで、既存の統計検定法に基づき、有意な相関がある次元ｑまでにおける第三の正準相関表現を生成し、この第三の正準相関表現を単語特徴量表現Ｍ_jが有する空間に逆変換する。具体的には、全体のデータと相関があるユーザｊの単語特徴量表現Ｍ’_jを次式（７）のように求める。

【0045】

【数7】

【0046】

なお、上式（７）におけるＷ^−１_j,1~qは、逆変換を表す行列であり、行列Ｗ_jの１列からｑ列までを取り出した行列の逆行列によって実装できるほか、［u₁,u₂,…,u_q］から上記行列Ｍ_ｊへの回帰によっても実装可能である。

【0047】

次に、ユーザｊの全単語リストに対する単語特徴量表現Ｍ_jと全ユーザと相関の高い単語特徴量表現Ｍ’_jを行ベクトルごと、すなわち単語ごとに比較する。ここで、単語特徴量表現Ｍ’_jを次式（８）のように置く。

【0048】

【数8】

【0049】

このとき、各単語ｗ_iに対する特徴量と、全ユーザと相関の高い単語特徴量の距離（誤差）ｌ_j,iを次式（９）により計算する。なお、距離の計算には、コサイン距離を使うことが想定されるが、ユークリッド距離など他の距離尺度を用いてもよい。

【0050】

【数9】

【0051】

ここで、このように算出された誤差が大きい場合は、その単語の表現は標準的な表現から乖離したものであり、ユーザの個性が表出されたものといえる。

【0052】

以上より、本発明の実施の形態に係る単語概念可視化装置及び単語概念可視化方法によれば、ユーザが作成したテキストデータ等において、どのような単語概念が標準から外れた独自の表象になっているかを自動的に可視化することができ、ユーザの潜在的な個性若しくは趣向を把握することができる。

【0053】

なお、以上においては、ある一人のユーザの単語概念と全ユーザデータに基づく標準の単語概念の比較により個人差を可視化する装置及び方法を説明したが、これらの装置及び方法は、異なるユーザ間における単語概念の違いを可視化する目的で使用しても良い。

【符号の説明】

【0054】

１ 単語概念可視化装置
３ 単語特徴量表現生成部
４ 相関解析部
５ 距離算出部
７ 表示部

【図1】

【図2】