知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022181714
(43)【公開日】2022-12-08
(54)【発明の名称】情報処理装置、情報処理方法、プログラム
(51)【国際特許分類】
G06F 16/28 20190101AFI20221201BHJP
【ＦＩ】
G06F16/28
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2021088805
(22)【出願日】2021-05-26
(71)【出願人】
【識別番号】000002897
【氏名又は名称】大日本印刷株式会社
(74)【代理人】
【識別番号】100122529
【弁理士】
【氏名又は名称】藤枡 裕実
(74)【代理人】
【識別番号】100135954
【弁理士】
【氏名又は名称】深町 圭子
(74)【代理人】
【識別番号】100119057
【弁理士】
【氏名又は名称】伊藤 英生
(74)【代理人】
【識別番号】100131369
【弁理士】
【氏名又は名称】後藤 直樹
(74)【代理人】
【識別番号】100171859
【弁理士】
【氏名又は名称】立石 英之
(72)【発明者】
【氏名】小林 秀章
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175DA01
5B175FB04
(57)【要約】
【課題】 関心対象とするカテゴリに属する各アイテム間の関係性を提示することが可能な情報処理装置、情報処理方法、プログラムを提供する。
【解決手段】 関心対象カテゴリに属する各アイテムに関連する集合を用いて、各アイテムをｋ次元空間に布置する座標値を算出する情報処理装置１００であって、関心対象カテゴリに属する各アイテムについて、２つのアイテムの間において、２つのアイテムに関連する集合間の関係性の指標値を算出することにより関係性行列を生成する関係性行列生成手段２２と、関係性行列における三角行列の成分の平均μを用いて単調変化する調整関数を生成し、調整関数を前記関係性行列の各成分に作用させることにより被調整行列を生成する被調整行列生成手段２３と、被調整行列に対して所定の変換を施して、各アイテムをｋ次元空間に布置する座標値を算出する座標値算出手段２４を有する。
【選択図】 図２
【解決手段】 関心対象カテゴリに属する各アイテムに関連する集合を用いて、各アイテムをｋ次元空間に布置する座標値を算出する情報処理装置１００であって、関心対象カテゴリに属する各アイテムについて、２つのアイテムの間において、２つのアイテムに関連する集合間の関係性の指標値を算出することにより関係性行列を生成する関係性行列生成手段２２と、関係性行列における三角行列の成分の平均μを用いて単調変化する調整関数を生成し、調整関数を前記関係性行列の各成分に作用させることにより被調整行列を生成する被調整行列生成手段２３と、被調整行列に対して所定の変換を施して、各アイテムをｋ次元空間に布置する座標値を算出する座標値算出手段２４を有する。
【選択図】 図２
【特許請求の範囲】
【請求項1】
関心対象カテゴリに属する各アイテムに関連する集合を用いて、各アイテムをｋ次元空間に布置する座標値を算出する情報処理装置であって、
前記関心対象カテゴリに属する各アイテムについて、２つのアイテムの間において、当該２つのアイテムに関連する集合間の関係性の指標値を算出することにより関係性行列を生成する関係性行列生成手段と、
前記関係性行列における三角行列の成分の平均μを用いて単調変化する調整関数を生成し、前記調整関数を前記関係性行列の各成分に作用させることにより被調整行列を生成する被調整行列生成手段と、
被調整行列に対して所定の変換を施して、各アイテムをｋ次元空間に布置する座標値を算出する座標値算出手段と、
を有する情報処理装置。
前記関心対象カテゴリに属する各アイテムについて、２つのアイテムの間において、当該２つのアイテムに関連する集合間の関係性の指標値を算出することにより関係性行列を生成する関係性行列生成手段と、
前記関係性行列における三角行列の成分の平均μを用いて単調変化する調整関数を生成し、前記調整関数を前記関係性行列の各成分に作用させることにより被調整行列を生成する被調整行列生成手段と、
被調整行列に対して所定の変換を施して、各アイテムをｋ次元空間に布置する座標値を算出する座標値算出手段と、
を有する情報処理装置。
【請求項2】
前記調整関数は、単調増加する関数であって、前記関係性行列Ｓ内の三角行列の成分の平均μを用いて構成される式（１）に示すシグモイド関数である、請求項１に記載の情報処理装置。
・・・（１）
【数13】
【請求項3】
前記調整関数は、単調減少する関数であって、前記関係性行列Ｓ内の三角行列の成分の平均μを用いて構成される式（２）に示すシグモイド関数である、請求項１に記載の情報処理装置。
・・・（２）
【数14】
【請求項4】
前記調整関数は、単調増加する関数であって、前記関係性行列Ｓ内の三角行列の成分の平均μと標準偏差σを用いて構成される、式（３）に示す正規分布Ｎ（μ、σ2）の累積確率密度関数である、請求項１に記載の情報処理装置。
・・・（３）
【数15】
【請求項5】
前記調整関数は、単調減少する関数であって、前記関係性行列Ｓ内の三角行列の成分の平均μと標準偏差σを用いて構成される、式（４）に示す正規分布Ｎ（μ、σ2）の累積確率密度関数である、請求項１に記載の情報処理装置。
・・・（４）
【数16】
【請求項6】
前記調整関数は、ｒ≧１を満たす係数ｒ、０≦ｓ≦１を満たす縮小係数ｓを用いて、以下の式（５）により得られる係数ａ´、μ´を、前記係数ａ、前記係数μに代えて用いる、請求項２または請求項３に記載の情報処理装置。
・・・（５）
【数17】
【請求項7】
前記調整関数は、ｒ≧１を満たす係数ｒ、０≦ｓ≦１を満たす縮小係数ｓを用いて、以下の式（６）により得られる係数σ´、μ´を、前記係数σ、前記係数μに代えて用いる、請求項４または請求項５に記載の情報処理装置。
・・・（６）
【数18】
【請求項8】
前記関係性行列生成手段は、前記関係性の指標値として、２つのアイテムに関連する集合を包含する全体集合の要素の個数、一方のアイテムに関連する集合の要素の個数、他方のアイテムに関連する集合の要素の個数、および一方のアイテムに関連する集合と他方のアイテムに関連する集合の積集合の要素の個数に基づいて生成される２変数の同時確率分布の正規化自己情報量を算出する、請求項１から請求項７のいずれか一項に記載の情報処理装置。
【請求項9】
前記関係性行列生成手段は、前記関係性の指標値として、２つのアイテムに関連する集合を包含する全体集合の要素の個数、一方のアイテムに関連する集合の要素の個数、他方のアイテムに関連する集合の要素の個数、および一方のアイテムに関連する集合と他方のアイテムに関連する集合の積集合の要素の個数に基づいて生成される２変数の同時確率分布の正規化相互情報量を算出する、請求項１から請求項７のいずれか一項に記載の情報処理装置。
【請求項10】
前記関心対象カテゴリに属する各アイテムに自然言語で記述された文章が関連付けられている場合に、前記文章に対して形態素解析を行って形態素を抽出する形態素解析手段をさらに有し、
前記関係性行列生成手段は、前記抽出された形態素の集合を用いて、前記関係性行列を生成する、請求項１から請求項９のいずれか一項に情報処理装置。
前記関係性行列生成手段は、前記抽出された形態素の集合を用いて、前記関係性行列を生成する、請求項１から請求項９のいずれか一項に情報処理装置。
【請求項11】
前記関心対象カテゴリに属する各アイテムが画像である場合に、前記画像に対して画像解析を行って単語を特定する画像解析手段をさらに有し、
前記関係性行列生成手段は、前記特定された単語の集合を用いて、前記関係性行列を生成する、請求項１から請求項９のいずれか一項に情報処理装置。
前記関係性行列生成手段は、前記特定された単語の集合を用いて、前記関係性行列を生成する、請求項１から請求項９のいずれか一項に情報処理装置。
【請求項12】
関心対象カテゴリに属する各アイテムに関連する集合を用いて、コンピュータが、各アイテムをｋ次元空間に布置する座標値を算出する情報処理方法であって、
コンピュータが、
前記関心対象カテゴリに属する各アイテムについて、２つのアイテムの間において、当該２つのアイテムに関連する集合間の関係性の指標値を算出することにより関係性行列を生成し、
前記関係性行列における三角行列の成分の平均μを用いて単調変化する調整関数を生成し、前記調整関数を前記関係性行列の各成分に作用させることにより被調整行列を生成し、
被調整行列に対して所定の変換を施して、各アイテムをｋ次元空間に布置する座標値を算出する、情報処理方法。
コンピュータが、
前記関心対象カテゴリに属する各アイテムについて、２つのアイテムの間において、当該２つのアイテムに関連する集合間の関係性の指標値を算出することにより関係性行列を生成し、
前記関係性行列における三角行列の成分の平均μを用いて単調変化する調整関数を生成し、前記調整関数を前記関係性行列の各成分に作用させることにより被調整行列を生成し、
被調整行列に対して所定の変換を施して、各アイテムをｋ次元空間に布置する座標値を算出する、情報処理方法。
【請求項13】
関心対象カテゴリに属する各アイテムに関連する集合を用いて、コンピュータに、各アイテムをｋ次元空間に布置する座標値を算出させるプログラムであって、
コンピュータを、
前記関心対象カテゴリに属する各アイテムについて、２つのアイテムの間において、当該２つのアイテムに関連する集合間の関係性の指標値を算出することにより関係性行列を生成する関係性行列生成手段、
前記関係性行列における三角行列の成分の平均μを用いて単調変化する調整関数を生成し、前記調整関数を前記関係性行列の各成分に作用させることにより被調整行列を生成する被調整行列生成手段、
被調整行列に対して所定の変換を施して、各アイテムをｋ次元空間に布置する座標値を算出する座標値算出手段、
として機能させるプログラム。
コンピュータを、
前記関心対象カテゴリに属する各アイテムについて、２つのアイテムの間において、当該２つのアイテムに関連する集合間の関係性の指標値を算出することにより関係性行列を生成する関係性行列生成手段、
前記関係性行列における三角行列の成分の平均μを用いて単調変化する調整関数を生成し、前記調整関数を前記関係性行列の各成分に作用させることにより被調整行列を生成する被調整行列生成手段、
被調整行列に対して所定の変換を施して、各アイテムをｋ次元空間に布置する座標値を算出する座標値算出手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、関心対象とするカテゴリに属する各アイテムに対して、それに関連するデータに基づいてアイテム間の関係性を抽出し、カテゴリ全体の構造を可視化する技術に関する。
【背景技術】
【0002】
近年、コンピュータネットワーク技術の発展により、膨大なデータが流通するようになってきた。これらのデータは、何らかのアイテムに関連しており、これらのデータを分析することにより、アイテム間の何らかの関係性、意味合いが導き出されることが期待される。
【0003】
このような技術の一例として、アイテムとして文書を用い、これらの文書において重要な単語を提示する技術が開発されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１８－１９５１０８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術では、文書を構成する単語を提示することはできるが、文書を構成する単語を用いて、文書どうしの関係性を分析することが難しいという問題がある。また、文書に限らず、複数のアイテム間の関係性を分析することも難しい。
【0006】
そこで、本開示は、関心対象とするカテゴリに属する各アイテム間の関係性を提示することが可能な情報処理装置、情報処理方法、プログラムを提供することを課題とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本開示は、
関心対象カテゴリに属する各アイテムに関連する集合を用いて、各アイテムをｋ次元空間に布置する座標値を算出する情報処理装置であって、
前記関心対象カテゴリに属する各アイテムについて、２つのアイテムの間において、当該２つのアイテムに関連する集合間の関係性の指標値を算出することにより関係性行列を生成する関係性行列生成手段と、
前記関係性行列における三角行列の成分の平均μを用いて単調変化する調整関数を生成し、前記調整関数を前記関係性行列の各成分に作用させることにより被調整行列を生成する被調整行列生成手段と、
被調整行列に対して所定の変換を施して、各アイテムをｋ次元空間に布置する座標値を算出する座標値算出手段と、
を有する情報処理装置を提供する。
関心対象カテゴリに属する各アイテムに関連する集合を用いて、各アイテムをｋ次元空間に布置する座標値を算出する情報処理装置であって、
前記関心対象カテゴリに属する各アイテムについて、２つのアイテムの間において、当該２つのアイテムに関連する集合間の関係性の指標値を算出することにより関係性行列を生成する関係性行列生成手段と、
前記関係性行列における三角行列の成分の平均μを用いて単調変化する調整関数を生成し、前記調整関数を前記関係性行列の各成分に作用させることにより被調整行列を生成する被調整行列生成手段と、
被調整行列に対して所定の変換を施して、各アイテムをｋ次元空間に布置する座標値を算出する座標値算出手段と、
を有する情報処理装置を提供する。
【0008】
また、本開示に係る情報処理装置は、
前記調整関数は、単調増加する関数であって、前記関係性行列Ｓ内の三角行列の成分の平均μを用いて構成される式（１）に示すシグモイド関数であってもよい。
・・・（１）
前記調整関数は、単調増加する関数であって、前記関係性行列Ｓ内の三角行列の成分の平均μを用いて構成される式（１）に示すシグモイド関数であってもよい。
【数1】
【0009】
また、本開示に係る情報処理装置は、
前記調整関数は、単調減少する関数であって、前記関係性行列Ｓ内の三角行列の成分の平均μを用いて構成される式（２）に示すシグモイド関数であってもよい。
・・・（２）
前記調整関数は、単調減少する関数であって、前記関係性行列Ｓ内の三角行列の成分の平均μを用いて構成される式（２）に示すシグモイド関数であってもよい。
【数2】
【0010】
また、本開示に係る情報処理装置は、
前記調整関数は、単調増加する関数であって、前記関係性行列Ｓ内の三角行列の成分の平均μと標準偏差σを用いて構成される、式（３）に示す正規分布Ｎ（μ、σ2）の累積確率密度関数であってもよい。
・・・（３）
前記調整関数は、単調増加する関数であって、前記関係性行列Ｓ内の三角行列の成分の平均μと標準偏差σを用いて構成される、式（３）に示す正規分布Ｎ（μ、σ2）の累積確率密度関数であってもよい。
【数3】
【0011】
また、本開示に係る情報処理装置は、
前記調整関数は、単調減少する関数であって、前記関係性行列Ｓ内の三角行列の成分の平均μと標準偏差σを用いて構成される、式（４）に示す正規分布Ｎ（μ、σ2）の累積確率密度関数であってもよい。
・・・（４）
前記調整関数は、単調減少する関数であって、前記関係性行列Ｓ内の三角行列の成分の平均μと標準偏差σを用いて構成される、式（４）に示す正規分布Ｎ（μ、σ2）の累積確率密度関数であってもよい。
【数4】
【0012】
また、本開示に係る情報処理装置は、
前記調整関数は、ｒ≧１を満たす係数ｒ、０≦ｓ≦１を満たす縮小係数ｓを用いて、以下の式（５）により得られる係数ａ´、μ´を、前記係数ａ、前記係数μに代えて用いてもよい。
・・・（５）
前記調整関数は、ｒ≧１を満たす係数ｒ、０≦ｓ≦１を満たす縮小係数ｓを用いて、以下の式（５）により得られる係数ａ´、μ´を、前記係数ａ、前記係数μに代えて用いてもよい。
【数5】
【0013】
また、本開示に係る情報処理装置は、
前記調整関数は、ｒ≧１を満たす係数ｒ、０≦ｓ≦１を満たす縮小係数ｓを用いて、以下の式（６）により得られる係数σ´、μ´を、前記係数σ、前記係数μに代えて用いてもよい。
・・・（６）
前記調整関数は、ｒ≧１を満たす係数ｒ、０≦ｓ≦１を満たす縮小係数ｓを用いて、以下の式（６）により得られる係数σ´、μ´を、前記係数σ、前記係数μに代えて用いてもよい。
【数6】
【0014】
また、本開示に係る情報処理装置は、
前記関係性行列生成手段は、前記関係性の指標値として、２つのアイテムに関連する集合を包含する全体集合の要素の個数、一方のアイテムに関連する集合の要素の個数、他方のアイテムに関連する集合の要素の個数、および一方のアイテムに関連する集合と他方のアイテムに関連する集合の積集合の要素の個数に基づいて生成される２変数の同時確率分布の正規化自己情報量を算出してもよい。
前記関係性行列生成手段は、前記関係性の指標値として、２つのアイテムに関連する集合を包含する全体集合の要素の個数、一方のアイテムに関連する集合の要素の個数、他方のアイテムに関連する集合の要素の個数、および一方のアイテムに関連する集合と他方のアイテムに関連する集合の積集合の要素の個数に基づいて生成される２変数の同時確率分布の正規化自己情報量を算出してもよい。
【0015】
また、本開示に係る情報処理装置は、
前記関係性行列生成手段は、前記関係性の指標値として、２つのアイテムに関連する集合を包含する全体集合の要素の個数、一方のアイテムに関連する集合の要素の個数、他方のアイテムに関連する集合の要素の個数、および一方のアイテムに関連する集合と他方のアイテムに関連する集合の積集合の要素の個数に基づいて生成される２変数の同時確率分布の正規化相互情報量を算出してもよい。
前記関係性行列生成手段は、前記関係性の指標値として、２つのアイテムに関連する集合を包含する全体集合の要素の個数、一方のアイテムに関連する集合の要素の個数、他方のアイテムに関連する集合の要素の個数、および一方のアイテムに関連する集合と他方のアイテムに関連する集合の積集合の要素の個数に基づいて生成される２変数の同時確率分布の正規化相互情報量を算出してもよい。
【0016】
また、本開示に係る情報処理装置は、
前記関心対象カテゴリに属する各アイテムに自然言語で記述された文章が関連付けられている場合に、前記文章に対して形態素解析を行って形態素を抽出する形態素解析手段をさらに有し、
前記関係性行列生成手段は、前記抽出された形態素の集合を用いて、前記関係性行列を生成してもよい。
前記関心対象カテゴリに属する各アイテムに自然言語で記述された文章が関連付けられている場合に、前記文章に対して形態素解析を行って形態素を抽出する形態素解析手段をさらに有し、
前記関係性行列生成手段は、前記抽出された形態素の集合を用いて、前記関係性行列を生成してもよい。
【0017】
また、本開示に係る情報処理装置は、
前記関心対象カテゴリに属する各アイテムが画像である場合に、前記画像に対して画像解析を行って単語を特定する画像解析手段をさらに有し、
前記関係性行列生成手段は、前記特定された単語の集合を用いて、前記関係性行列を生成してもよい。
前記関心対象カテゴリに属する各アイテムが画像である場合に、前記画像に対して画像解析を行って単語を特定する画像解析手段をさらに有し、
前記関係性行列生成手段は、前記特定された単語の集合を用いて、前記関係性行列を生成してもよい。
【0018】
また、本開示は、
関心対象カテゴリに属する各アイテムに関連する集合を用いて、コンピュータが、各アイテムをｋ次元空間に布置する座標値を算出する情報処理方法であって、
コンピュータが、
前記関心対象カテゴリに属する各アイテムについて、２つのアイテムの間において、当該２つのアイテムに関連する集合間の関係性の指標値を算出することにより関係性行列を生成し、
前記関係性行列における三角行列の成分の平均μを用いて単調変化する調整関数を生成し、前記調整関数を前記関係性行列の各成分に作用させることにより被調整行列を生成し、
被調整行列に対して所定の変換を施して、各アイテムをｋ次元空間に布置する座標値を算出する、情報処理方法を提供する。
関心対象カテゴリに属する各アイテムに関連する集合を用いて、コンピュータが、各アイテムをｋ次元空間に布置する座標値を算出する情報処理方法であって、
コンピュータが、
前記関心対象カテゴリに属する各アイテムについて、２つのアイテムの間において、当該２つのアイテムに関連する集合間の関係性の指標値を算出することにより関係性行列を生成し、
前記関係性行列における三角行列の成分の平均μを用いて単調変化する調整関数を生成し、前記調整関数を前記関係性行列の各成分に作用させることにより被調整行列を生成し、
被調整行列に対して所定の変換を施して、各アイテムをｋ次元空間に布置する座標値を算出する、情報処理方法を提供する。
【0019】
また、本開示は、
関心対象カテゴリに属する各アイテムに関連する集合を用いて、コンピュータに、各アイテムをｋ次元空間に布置する座標値を算出させるプログラムであって、
コンピュータを、
前記関心対象カテゴリに属する各アイテムについて、２つのアイテムの間において、当該２つのアイテムに関連する集合間の関係性の指標値を算出することにより関係性行列を生成する関係性行列生成手段、
前記関係性行列における三角行列の成分の平均μを用いて単調変化する調整関数を生成し、前記調整関数を前記関係性行列の各成分に作用させることにより被調整行列を生成する被調整行列生成手段、
被調整行列に対して所定の変換を施して、各アイテムをｋ次元空間に布置する座標値を算出する座標値算出手段、
として機能させるプログラムを提供する。
関心対象カテゴリに属する各アイテムに関連する集合を用いて、コンピュータに、各アイテムをｋ次元空間に布置する座標値を算出させるプログラムであって、
コンピュータを、
前記関心対象カテゴリに属する各アイテムについて、２つのアイテムの間において、当該２つのアイテムに関連する集合間の関係性の指標値を算出することにより関係性行列を生成する関係性行列生成手段、
前記関係性行列における三角行列の成分の平均μを用いて単調変化する調整関数を生成し、前記調整関数を前記関係性行列の各成分に作用させることにより被調整行列を生成する被調整行列生成手段、
被調整行列に対して所定の変換を施して、各アイテムをｋ次元空間に布置する座標値を算出する座標値算出手段、
として機能させるプログラムを提供する。
【発明の効果】
【0020】
本開示によれば、関心対象とするカテゴリに属する各アイテム間の関係性を可視化することが可能となる。
【図面の簡単な説明】
【0021】
【図1】本開示の一実施形態に係る情報処理装置のハードウェア構成図である。
【図2】本開示の一実施形態に係る情報処理装置の構成を示す機能ブロック図である。
【図3】本開示の一実施形態で用いる文書データベースに記憶された情報の一例を示す図である。
【図4】本開示の一実施形態で用いる単語データベースに記憶された情報の一例を示す図である。
【図5】本開示の一実施形態に係る情報処理装置の処理動作を示すフローチャートである。
【図6】関係性行列Ｓ内の三角行列の成分のヒストグラムと、調整関数ｆ（ｘ）との関係を示す図である。
【図7】縮小係数ｓと調整関数ｆ（ｘ）との関係を示す図である。
【図8】散布図を説明するための図である。
【発明を実施するための形態】
【0022】
以下、本開示の好適な実施形態について図面を参照して詳細に説明する。
＜１．装置構成＞
図１は、本開示の一実施形態に係る情報処理装置１００のハードウェア構成図である。本実施形態に係る情報処理装置１００は、汎用のコンピュータで実現することができ、図１に示すように、ＣＰＵ（Central Processing Unit）１と、コンピュータのメインメモリであるＲＡＭ（Random Access Memory）２と、ＣＰＵ１が実行するプログラムやデータを記憶するためのハードディスク、ＳＳＤ（Solid State Drive）、フラッシュメモリ等の大容量の記憶装置３と、キーボード、マウス等の指示入力Ｉ／Ｆ（インターフェース）４と、データ記憶媒体等の外部装置とデータ通信するためのデータ入出力Ｉ／Ｆ（インターフェース）５と、液晶ディスプレイ等の表示デバイスである表示部６と、グラフィックスに特化した演算処理部であるＧＰＵ（Graphics Processing Unit）７と、表示部６に表示する画像を保持するフレームメモリ８と、を備え、互いにバスを介して接続されている。ＧＰＵ７による演算結果はフレームメモリ８に書き込まれるため、ＧＰＵ７とフレームメモリ８は、表示部６へのインタフェースを備えたビデオカードに搭載されて汎用のコンピュータにバス経由で装着されていることが多い。
＜１．装置構成＞
図１は、本開示の一実施形態に係る情報処理装置１００のハードウェア構成図である。本実施形態に係る情報処理装置１００は、汎用のコンピュータで実現することができ、図１に示すように、ＣＰＵ（Central Processing Unit）１と、コンピュータのメインメモリであるＲＡＭ（Random Access Memory）２と、ＣＰＵ１が実行するプログラムやデータを記憶するためのハードディスク、ＳＳＤ（Solid State Drive）、フラッシュメモリ等の大容量の記憶装置３と、キーボード、マウス等の指示入力Ｉ／Ｆ（インターフェース）４と、データ記憶媒体等の外部装置とデータ通信するためのデータ入出力Ｉ／Ｆ（インターフェース）５と、液晶ディスプレイ等の表示デバイスである表示部６と、グラフィックスに特化した演算処理部であるＧＰＵ（Graphics Processing Unit）７と、表示部６に表示する画像を保持するフレームメモリ８と、を備え、互いにバスを介して接続されている。ＧＰＵ７による演算結果はフレームメモリ８に書き込まれるため、ＧＰＵ７とフレームメモリ８は、表示部６へのインタフェースを備えたビデオカードに搭載されて汎用のコンピュータにバス経由で装着されていることが多い。
【0023】
本実施形態において、ＣＰＵ１は、マルチコアＣＰＵであってもよい。この場合、ＣＰＵ１は、複数のＣＰＵコアを有し、並列処理が可能となっている。図１の例では、ＲＡＭ２が１つだけ示されているが、ＣＰＵ１の各ＣＰＵコアが、１つのＲＡＭ２にアクセスするように構成されている。なお、ＣＰＵ１は複数であってもよい。またマルチコアＣＰＵは、論理的に複数のＣＰＵコアを有するＣＰＵであってもよい。
【0024】
図２は、本実施形態に係る情報処理装置の構成を示す機能ブロック図である。図２において、１０は単語データベース、１１は文書データベース、２０は演算処理部、２１は共通要素数行列生成手段、２２は関係性行列生成手段、２３は被調整距離行列生成手段、２４は座標値算出手段、２７はアイテム配置手段、２５は形態素解析手段、３０は出力手段である。
【0025】
共通要素数行列生成手段２１は、文書をアイテムとしたとき、任意の２つの文書の組合せについて、それぞれの文書に含まれる単語を要素とする２つの集合に基づいて共通要素数行列Ｍを求める手段である。共通要素数行列Ｍの各成分は２つの集合の共通要素数である。関係性行列生成手段２２は、共通要素数行列Ｍから関係性行列Ｓを求める手段である。被調整行列生成手段２３は、関係性行列Ｓに調整関数を作用させて、被調整行列Ｗを求める手段である。座標値算出手段２４は、被調整行列Ｗに基づいて、各アイテムの座標値を算出する手段である。アイテム配置手段２７は、算出された各アイテムの座標値に基づいて、アイテムを配置する手段である。形態素解析手段２５は、文書データベース１１から各文書を読み込み、各文書に含まれる単語を抽出する手段である。共通要素数行列生成手段２１、関係性行列生成手段２２、被調整行列生成手段２３、座標値算出手段２４、アイテム配置手段２７、形態素解析手段２５は、演算処理部２０に含まれており、ＣＰＵ１がプログラムを実行することにより実現される。
【0026】
出力手段３０は、アイテム配置手段２７により空間内の座標値に配置されたアイテムをグラフィカルに出力する手段であり、データ入出力Ｉ／Ｆ５を介したプリンタや、表示デバイス等の表示部６により実現される。
【0027】
単語データベース１０は、単語を識別する単語ＩＤと単語を対応付けて記憶したデータベースであり、記憶装置３により実現される。文書データベース１１は、テキスト情報からなる文書を、文書を識別する文書ＩＤと対応付けて記憶したデータベースであり、記憶装置３により実現される。
【0028】
図３は文書データベース１１に記憶された情報の一例を示す図である。本実施形態では、関心対象カテゴリ（単語データベース１０、文書データベース１１等で管理される所定の文書群）に属する各アイテム（文書）に関連する集合（単語の集合）を入力データとして用いて、各アイテムをノードとする有向グラフを表示する処理を行う。ここで、文書データベース１１に記憶された情報、すなわち、文書の集合が関心対象カテゴリとなり、各文書が各アイテムとなる。そして、各文書に含まれる単語の集合が、各文書に関連する集合となる。各アイテムに関連する集合とは、各アイテムに関連付け（対応付け、ひも付け）されている集合を意味し、各アイテムに含まれる集合や、各アイテムに付随する集合を含む。各アイテムに含まれる集合とは、例えば、各アイテムが文書である場合に、その文書に含まれる単語の集合である。通常、文書は自然言語で記述された文章により構成されている。このため、各アイテムが文書である場合、各アイテムに自然言語で記述された文章が関連付けられていることになる。また、各アイテムに付随する集合とは、例えば、各アイテムが何らかのグループである場合に、そのグループに含まれる要素（通常は何らかの単語として表現可能）の集合である。
【0029】
例えば、関心対象カテゴリが映画であったとして、関心対象カテゴリに属する各アイテムが個々の映画作品であるとき、各アイテムに付随する集合として、その映画作品に出演した俳優の集合を採用することができる。また、例えば、関心対象カテゴリが俳優であったとして、関心対象カテゴリに属する各アイテムが個々の俳優であるとき、各アイテムに付随する集合として、その俳優が出演した映画作品の集合を採用することができる。この２例において、映画と俳優の関係は、一方が関心対象で、他方が付随集合であるというデータ構造から、その逆のデータ構造へと変換することが可能である。また、同じ変換をもう一度かけることにより、元の関係に戻すことができる。このような関係性を一般に双対(dual) という。文書と単語との関係性についても、双対な関係に変換することが可能である。すなわち、単語を関心対象とみなし、それぞれの単語を含む文書の集合を付随集合とみなすのである。
【0030】
また、関心対象カテゴリが画像群であったとして、関心対象カテゴリに属する各アイテムが個々の画像であるとき、各アイテムに付随する集合として、その画像に表現されている内容を示す語句の集合を採用することができる。
【0031】
図３に示すように、文書データベース１１には、文書を識別する文書識別情報である文書ＩＤに対応付けて、文書名、作者名、文書データが対応付けて記憶されている。文書データについては、文書ＩＤの特定により文書データを取得可能なように、文書データの格納アドレスが記録されていればよい。図３の例では、例えば、作者「Ａ氏」の「〇〇〇〇〇」という文書（作品）が、文書ＩＤ「Ｂ００１」として登録されていることを示している。
【0032】
図４は単語データベース１０に記憶された情報の一例を示す図である。図４に示すように、単語データベース１０には、単語を識別する単語識別情報である単語ＩＤに対応付けて、単語、その単語が出現する文書の文書ＩＤが記憶されている。図４の例では、１行目の単語ＩＤ「Ｔ０００１」として登録されている単語が、文書ＩＤ「Ｂ００１」で特定される文書に５回出現しており、文書ＩＤ「Ｂ００２」で特定される文書に３回出現することを意味している。また、２行目の単語ＩＤ「Ｔ０００２」として登録されている単語が、文書ＩＤ「Ｂ００１」で特定される文書に３回出現しており、文書ＩＤ「Ｂ００２」で特定される文書に８回出現することを意味している。
【0033】
単語データベース１０に登録された各単語は、文書ＩＤと対応付けられているため、関心対象カテゴリである文書群（文書データベース１１に登録されたもの）に属する各文書に関連する集合（単語の集合）を記憶していることになる。本実施形態では、この単語データベース１０に記録された単語の情報を入力として、各文書をノードとする有向グラフを作成することになる。単語データベース１０は、図４に示したような構成であるため、逆に文書ＩＤで参照することにより、その文書に出現する全ての単語の単語ＩＤを特定することもできる。図４の例では、単語ＩＤ「Ｔ０００１」として登録されている単語、単語ＩＤ「Ｔ０００２」として登録されている単語のいずれも、文書ＩＤ「Ｂ００１」に関連する集合にも、文書ＩＤ「Ｂ００２」に関連する集合にも含まれることになる。
【0034】
図２に示した各構成手段は、現実には図１に示したように、コンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。本実施形態においては、ＣＰＵがマルチコアＣＰＵであることが好ましい。なお、本明細書において、コンピュータとは、ＣＰＵ、ＧＰＵ等の演算処理部を有し、データ処理が可能な装置を意味し、パーソナルコンピュータなどの汎用コンピュータだけでなく、ＣＰＵを搭載するタブレットなどの携帯端末や様々な装置に組み込まれたコンピュータも含む。
【0035】
＜２．処理動作＞
本実施形態における情報処理装置は、所定の情報処理を実行することにより各アイテムを配置した散布図を生成する。次に、本実施形態に係る情報処理方法とともに、図１、図２に示した情報処理装置の処理動作について説明する。図５は、本実施形態に係る情報処理装置の処理動作を示すフローチャートである。まず、形態素解析手段２５が文書データベース１１から、各文書を読み込み、各文書に含まれる単語を抽出する（ステップＳ１０）。具体的には、形態素解析手段２５は、抽出した文書に対して形態素解析を実行し、特定の品詞の単語を抽出する。特定の品詞としては、事前に指定されたものが用いられる。例えば、品詞を「名詞」と指定すれば、名詞の単語のみを抽出する。抽出した単語は、その文書に出現した回数とともに、図４に示したように単語データベース１０に登録される。
本実施形態における情報処理装置は、所定の情報処理を実行することにより各アイテムを配置した散布図を生成する。次に、本実施形態に係る情報処理方法とともに、図１、図２に示した情報処理装置の処理動作について説明する。図５は、本実施形態に係る情報処理装置の処理動作を示すフローチャートである。まず、形態素解析手段２５が文書データベース１１から、各文書を読み込み、各文書に含まれる単語を抽出する（ステップＳ１０）。具体的には、形態素解析手段２５は、抽出した文書に対して形態素解析を実行し、特定の品詞の単語を抽出する。特定の品詞としては、事前に指定されたものが用いられる。例えば、品詞を「名詞」と指定すれば、名詞の単語のみを抽出する。抽出した単語は、その文書に出現した回数とともに、図４に示したように単語データベース１０に登録される。
【0036】
ここで、文書データベース１１に登録されている各文書の集合をＶ、各文書をｖjとする。文書の集合Ｖの要素数をｎとする。文書の集合が関心対象カテゴリであり、文書ｖjがアイテムとなる。そして、各文書ｖj∈Ｖ、すなわち各文書ｖjが集合Ｖの要素である。各文書ｖjから、形態素解析により抽出された特定の品詞の単語の集合をＴjとする。
【0037】
Ｔj＝｛ｔj1, ｔj2, ｔj3,・・・ ｝ ， ｊ＝１,２,３,・・・,ｎ
【0038】
各単語ｔji（単語データベース１０では、単語ＩＤで管理）には、それぞれに付随して、その単語が 文書ｖj（単語データベース１０では、文書ＩＤで管理） の中で出現した回数の値が取得できている（図４参照）。
【0039】
次に、関心対象カテゴリとして文書データベース１１に登録されている文書の集合のうち、任意の２つの文書の組合せについて、それぞれの文書に含まれる単語からなる２つの集合を用いて共通要素数行列Ｍを求める（ステップＳ２０）。共通要素数行列Ｍの各成分は２つの集合の共通要素数である。この共通要素数行列Ｍは、ｎ行ｎ列からなる正方行列である。また、この共通要素数行列Ｍは、対称行列、すなわち自身の転置行列と一致する行列である。共通要素数とは、２つの文書に関連する集合に共通して出現する要素（ここでは単語）の数である。文書ｖｊ、文書ｖｉの２つの文書に関連する集合に共通して出現する共通要素数はｍjiと表現される。ステップＳ２０における具体的な処理としては、まず、ｎ個の文書の中からｊ＝１,２,３,・・・,ｎの各文書ｖｊとｉ＝１,２,３,・・・,ｎの各文書ｖｉのすべての組合せについて、 共通要素数ｍjiの値を求める。共通要素数ｍjiは、以下の(数式 11)により表現される。
【0040】
ｍji＝ｎ（Ｔj∩Ｔi）（ｊ＝１,２,３,・・・,ｎ；ｉ＝１,２,３,・・・,ｎ）…… (数式 11)
ただし、ｎ（）は は集合の要素数を表す。
ただし、ｎ（）は は集合の要素数を表す。
【0041】
(数式 11)に示した処理は、単語データベース１０を用いた場合は、２つの文書ＩＤを特定し、両者に対応付けて記録された単語ＩＤの数をカウントすることにより取得される。
【0042】
共通要素数行列Ｍとは、以下の(数式 12)に示すように、共通要素数ｍjiを第ｊ行 第ｉ列成分とする行列であるとする。
【0043】
Ｍ＝［ｍji］（ｊ＝１,２,３,・・・,ｎ；ｉ＝１,２,３,・・・,ｎ）…… (数式 12)
【0044】
このような条件においては、共通要素数ｍjiと共通要素数ｍijは等しいため、共通要素数行列Ｍは、対称行列である。
【0045】
次に、共通要素数行列Ｍから関係性行列Ｓを求める（ステップＳ３０）。ここで、関係性とは、両者の関係性を示す情報であり、様々な指標で表現することができる。例えば、両者が類似している程度である類似度や、両者が離れている程度である距離を用いることができる。類似度は両者が近いほど大きくなり、距離は両者が遠いほど大きくなる。このため、類似度と距離は、所定の変換式により互いに変換することができる。関係性行列Ｓを求める処理として、具体的には、まず、各ｊ,ｉに対し、文書ｖjに出現する単語の集合である集合Ｔj、文書ｖiに出現する単語の集合である集合Ｔiとの関係性を表す指標値ｓjiを算出する。指標値ｓjiは、以下の(数式 13)に示したような関数ｆ（ｍjj,ｍii,ｍji）を用いて、ｍjj,ｍii,ｍjiの３つの共通要素数の数値から算出する。
【0046】
ｓji＝ｆ（ｍjj,ｍii,ｍji）…… (数式 13)
【0047】
(数式 13)に示したｓjiは非対称な関係性の指標値である。指標値ｓjiを算出する関数ｆ（ｍjj,ｍii,ｍji）の具体的な形については、非常に多くの選択肢がありうる。本実施形態では、後述するように、２変数の同時確率分布の非対称正規化自己情報量、２変数の同時確率分布の非対称正規化相互情報量、２変数の同時確率分布の回帰係数などを主として採用している。
【0048】
指標値ｓjiを算出するための共通要素数の数値のうち、共通要素数ｍjjは、文書ｖjにおける特定の品詞の単語の数、共通要素数ｍiiは文書ｖiにおける特定の単語の数となる。共通要素数ｍji、共通要素数ｍijは、いずれも文書ｖiと文書ｖjに共通して出現する数であるので、ｍji＝ｍijである。
【0049】
関係性行列Ｓとは、以下の(数式 14)に示すように、関係性の指標値ｓjiを第ｊ行 第ｉ列成分とする行列であるとする。
【0050】
Ｓ＝［ｓji］（ｊ＝１,２,３,・・・,ｎ；ｉ＝１,２,３,・・・,ｎ）…… (数式 14)
【0051】
関係性行列Ｓの行成分、列成分の数は、共通要素数行列Ｍと同じであり、文書数ｎに対応した非対称なｎ次正方行列である。本実施形態では、自分同士の距離が０となるように調整する。すなわち、ｓii、ｓjj等の関係性行列Ｓの対角成分は全て０となる。このステップＳ３０の処理の詳細については後述する。
【0052】
ステップＳ３０における処理により関係性行列Ｓが得られたら、次に、関係性行列Ｓに基づいて単調変化する調整関数を生成し、調整関数を作用させて、被調整行列Ｗを求める（ステップＳ４０）。具体的には、被調整行列生成手段２３が、関係性行列Ｓを構成する関係性の指標値ｓjiを用いて、対応する成分ｗjiを求めることにより、被調整行列Ｗを生成する。被調整行列Ｗの各成分ｗjiは、単調変化する調整関数として、単調増加する調整関数、単調減少する調整関数のいずれかを用いて求めることができる。単調変化する調整関数は、関係性行列生成手段２２により得られた関係性行列に基づいて生成する。
【0053】
ステップＳ３０において得られた関係性行列の成分の特性をそのまま活用する場合は、ステップＳ４０において単調増加する調整関数ｆ（ｘ）を用いる。一方、ステップＳ３０において得られた関係性行列の成分の特性を逆転させる場合は、ステップＳ４０において単調減少する調整関数ｇ（ｘ）を用いる。単調増加する調整関数ｆ（ｘ）としては、例えば、以下の(数式 15)、(数式 16)に示したものを用いることができる。また、単調減少する調整関数ｇ（ｘ）としては、例えば、以下の(数式 17)、(数式 18)に示したものを用いることができる。次の(数式 15)は単調増加する調整関数ｆ（ｘ）の一例である。
【0054】
(数式 15)
【数7】
【0055】
(数式 15)において、ｘとして関係性の指標値ｓjiを代入し、ｆ（ｘ）として成分ｗjiを得る。(数式 15)において、σは関係性行列Ｓ内の三角行列の成分の標準偏差であり、σ2は関係性行列Ｓ内の三角行列の成分の分散であり、μは関係性行列Ｓ内の三角行列の成分の平均である。ここで、三角行列とは、関係性行列Ｓのうち、対角成分を除いた上三角行列または下三角行列を示す。本実施形態では、関係性行列Ｓ内の上三角行列、下三角行列の分散σ2は、平均μの値はともに等しいため、三角行列として、上三角行列と下三角行列のどちらを用いてもよい。このように、(数式 15)に示す単調増加する調整関数ｆ（ｘ）は、関係性行列Ｓに基づいて生成される関数である。ｅｘｐ（）は、ネイピア数を底とする指数関数であり、ｅｘｐに続く（）内は指数である。(数式 15)は、正規分布Ｎ（μ、σ2）の確率密度関数をマイナス無限大からｘまで積分して得られる関数、すなわち累積確率密度関数である。現実にはマイナス無限大を設定することができないため、被調整行列生成手段２３は、十分に小さい負の値を設定して成分ｗjiを算出する。
【0056】
図６は、関係性行列Ｓ内の三角行列の成分のヒストグラムと、調整関数ｆ（ｘ）との関係を示す図である。図６の例では、０付近に三角行列の成分が集中している。このような場合、関係性行列Ｓ内の各成分ｓjiに調整関数ｆ（ｘ）を施すことにより、被調整行列Ｗの各成分ｗjiの値が正規分布に近付く。このようにして調整関数ｆ（ｘ）を施して、被調整行列Ｗを得ることにより、クラスタ分離性を強調することが可能となる。
【0057】
また、被調整行列生成手段２３は、上記(数式 15)に示した調整関数ｆ（ｘ）に代えて、以下の(数式 16)に従った処理を実行して、被調整行列Ｗの各成分ｗjiを算出してもよい。
【0058】
(数式 16)
【数8】
【0059】
(数式 16)において、ｘとして関係性の指標値ｓjiを代入し、ｆ（ｘ）として成分ｗjiを得る。(数式 16)においても、μは関係性行列Ｓ内の三角行列の成分の平均である。関係性行列Ｓ内の三角行列の成分の分散σ2は用いていない。このように、(数式 16)に示す単調増加する調整関数ｆ（ｘ）は、関係性行列Ｓに基づいて生成される関数である。ａは、２を標準偏差σで除算して得られる係数であり、ａ＝２／σである。(数式 16)は、シグモイド関数である。
【0060】
(数式 15) に示した累積確率密度関数を用いた場合と(数式 16)に示したシグモイド関数を用いた場合を比較すると、(数式 15) に示した累積確率密度関数では積分演算により演算量が増えるため、 (数式 16)に示したシグモイド関数の方が、演算量が少ない。そのため、(数式 16)に示したシグモイド関数を用いて算出した方が高速に被調整行列Ｗを得ることができる。
【0061】
また、次の(数式 17)は単調減少する調整関数ｇ（ｘ）の一例である。
【0062】
(数式 17)
【数9】
【0063】
(数式 17)において、ｘとして関係性の指標値ｓjiを代入し、ｇ（ｘ）として成分ｗjiを得る。(数式 15)と (数式 17)を比較すると明らかなように、調整関数ｇ（ｘ）は１から、(数式 15)に示した単調増加する調整関数ｆ（ｘ）を減じたものである。(数式 15)と同様、(数式 17)において、σは関係性行列Ｓ内の三角行列の成分の標準偏差であり、σ2は関係性行列Ｓ内の三角行列の成分の分散であり、μは関係性行列Ｓ内の三角行列の成分の平均である。ここで、三角行列とは、関係性行列Ｓのうち、対角成分を除いた上三角行列または下三角行列を示す。本実施形態では、関係性行列Ｓ内の上三角行列、下三角行列の分散σ2は、平均μの値はともに等しいため、三角行列として、上三角行列と下三角行列のどちらを用いてもよい。このように、(数式 17)に示す単調減少する調整関数ｇ（ｘ）は、関係性行列Ｓに基づいて生成される関数である。
【0064】
図示は省略するが、単調減少する調整関数ｇ（ｘ）を用いた場合も、図６に示した例と同様に、関係性行列Ｓ内の各成分ｓjiに調整関数ｇ（ｘ）を施すことにより、被調整行列Ｗの各成分ｗjiの値が正規分布に近付く。このようにして調整関数ｇ（ｘ）を施して、被調整行列Ｗを得ることにより、クラスタ分離性を強調することが可能となる。
【0065】
また、被調整行列生成手段２３は、上記(数式 17)に示した調整関数ｇ（ｘ）に代えて、以下の(数式 18)に示した調整関数ｇ（ｘ）に従った処理を実行して、被調整行列Ｗの各成分ｗjiを算出してもよい。
【0066】
(数式 18)
【数10】
【0067】
(数式 18)において、ａ＝２／σである。(数式 18)において、ｘとして関係性の指標値ｓjiを代入し、ｆ（ｘ）として成分ｗjiを得る。(数式 16)と (数式 18)を比較すると明らかなように、調整関数ｇ（ｘ）は１から、(数式 16)に示した単調増加する調整関数ｆ（ｘ）を減じたものである。(数式 18)においても、μは、関係性行列Ｓ内の三角行列の成分の平均である。関係性行列Ｓ内の三角行列の成分の分散σ2は用いていない。このように、(数式 18)に示す単調減少する調整関数ｇ（ｘ）は、関係性行列Ｓに基づいて生成される関数である。ａは、２を標準偏差σで除算して得られる係数であり、ａ＝２／σである。(数式 18)は、シグモイド関数である。
【0068】
(数式 15) 、(数式 16)の単調増加する調整関数ｆ（ｘ）、(数式 17) 、(数式 18)の単調減少する調整関数ｇ（ｘ）を用いることにより、関係性行列Ｓ内の関係性成分ｓjiを調整して調整後の関係性成分ｗjiを得ることができる。(数式 15) 、(数式 16) (数式 17) 、(数式 18) に示した調整関数は、いずれも関係性行列Ｓ内の三角行列の成分の標準偏差σと、関係性行列Ｓ内の三角行列の成分の平均μを用いている。
このようにして関係性成分の値を調整関数により調整することにより、各アイテムのクラスタ分離性を強調することができる。
このようにして関係性成分の値を調整関数により調整することにより、各アイテムのクラスタ分離性を強調することができる。
【0069】
本実施形態では、さらにクラスタ分離性を強調するため、被調整行列生成手段２３は、以下の(数式 19)に従った処理を実行して、変数を算出し直す。
【0070】
(数式 19)
【数11】
【0071】
(数式 19)において、ｒはｒ≧１を満たす係数であり、はｓ０≦ｓ≦１を満たす縮小係数である。ｒ、ｓはいずれも実数値である。
【0072】
(数式 19)に従った処理を実行して、算出し直した変数σ´、μ´を変数σ、μに代えて(数式 15) 、(数式 17)にそれぞれ代入して、被調整行列Ｗの各成分ｗjiを算出する。また、算出し直した変数ａ´、μ´を変数ａ、μに代えて(数式 16) 、(数式 18)に代入して、被調整行列Ｗの各成分ｗjiを算出する。このようにして、変数を算出し直すことにより、一層クラスタの分離性を強調することができる。
【0073】
図７は、縮小係数ｓと調整関数ｆ（ｘ）との関係を示す図である。図７においては、縮小係数ｓのみを変化させた場合に、対応する調整関数ｆ（ｘ）を示している。図７の例では、ｓ＝１、１／２、１／４の３種類における調整関数ｆ（ｘ）を示している。縮小係数ｓを１未満の数とすることにより、クラスタ分離性を一層強調することが可能となる。
【0074】
関係性行列Ｓの成分として距離を用いた場合、単調増加する調整関数ｆ（ｘ）を作用させることにより被調整行列Ｗの各成分ｗjiも距離となる。すなわち、この場合、被調整行列Ｗは被調整距離行列である。関係性行列Ｓの成分として類似度を用いた場合、単調増加する調整関数ｆ（ｘ）を作用させることにより被調整行列Ｗの各成分ｗjiも類似度となる。すなわち、この場合、被調整行列Ｗは被調整類似度行列である。
【0075】
関係性行列Ｓの成分として距離を用いた場合、単調減少する調整関数ｇ（ｘ）を作用させることにより被調整行列Ｗの各成分ｗjiは類似度となる。すなわち、この場合、被調整行列Ｗは被調整類似度行列である。関係性行列Ｓの成分として類似度を用いた場合、単調減少する調整関数ｇ（ｘ）を作用させることにより被調整行列Ｗの各成分ｗjiは距離となる。すなわち、この場合、被調整行列Ｗは被調整距離行列である。
【0076】
次に、被調整行列Ｗに基づいて、座標値を算出する（ステップＳ５０）。具体的には、座標値算出手段２４が、被調整行列Ｗに基づいて、各アイテムをｋ次元空間に布置するための座標値を算出する。具体的な処理手法は、被調整行列Ｗの各成分ｗjiが距離であるか類似度であるか、すなわち被調整行列Ｗが被調整距離行列であるか被調整類似度行列であるかにより異なる。
【0077】
まず、被調整行列Ｗの各成分ｗjiが距離、すなわち被調整行列Ｗが被調整距離行列である場合について説明する。被調整行列Ｗが被調整距離行列である場合、座標値算出手段２４は、被調整距離行列である被調整行列ＷにＹｏｕｎｇ－Ｈｏｕｓｅｈｏｌｄｅｒ変換を施して行列Ｙを得た後、行列ＹをＹ＝ＸＴＸの形に分解する多次元尺度構成法を適用した演算を行う。これにより、各アイテムをｋ次元空間に布置するための座標値を算出する。
【0078】
この際、まず、座標値算出手段２４は、被調整距離行列である被調整行列ＷにＹｏｕｎｇ－Ｈｏｕｓｅｈｏｌｄｅｒ変換を施す。Ｙｏｕｎｇ－Ｈｏｕｓｅｈｏｌｄｅｒ変換とは、ｎ行ｎ列の平方行列に中心化行列Ｃｎを用いて、以下の(数式 20)に従って行列Ｙを得る変換である。
【0079】
(数式 20)
Ｙ＝－１／２・ＣｎＤＣｎ
Ｙ＝－１／２・ＣｎＤＣｎ
【0080】
Ｃｎは、ｎ＝３の場合、以下の(数式 21)のようになる。
【0081】
(数式 21)
【数12】
【0082】
次に、行列ＹをＹ＝ＸTＸの形に分解して、行列Ｘを得る。この行列Ｘはｋ行ｎ列の座標列であり、ｎ個のアイテムのｋ次元座標が得られる。
【0083】
次に、被調整行列Ｗの各成分ｗjiが類似度、すなわち被調整行列Ｗが被調整類似度行列である場合について説明する。
【0084】
被調整行列Ｗが被調整類似度行列である場合、ステップＳ５０において、座標値算出手段２４が、被調整類似度行列である被調整行列Ｗからグラフ・ラプラシアン行列Ｐを生成した後、グラフ・ラプラシアン行列Ｐに基づいて、各アイテムをｋ次元空間に布置する座標値を算出する。ｎ行ｎ列の平方行列からｋ行ｎ列のグラフ・ラプラシアン行列Ｐを生成し、ｎ個のアイテムのｋ次元座標が得られる。
【0085】
上記説明のようにステップＳ３０で得られる関係性行列Ｓの成分が距離である場合、ステップＳ４０において単調増加する調整関数ｆ（ｘ）を用いると、被調整行列Ｗの成分は距離となる。逆に、関係性行列Ｓの成分が距離である場合に、ステップＳ４０において単調減少する調整関数ｇ（ｘ）を用いると、被調整行列Ｗの成分は類似度となる。一方、ステップＳ３０で得られる関係性行列Ｓの成分が類似度である場合、ステップＳ４０において単調増加する調整関数ｆ（ｘ）を用いると、被調整行列Ｗの成分は類似度となる。逆に、関係性行列Ｓの成分が類似度である場合に、ステップＳ４０において単調減少する調整関数ｇ（ｘ）を用いると、被調整行列Ｗの成分は距離となる。
【0086】
そしてステップＳ５０においては、被調整行列Ｗの各成分ｗjiが距離の場合、被調整距離行列である被調整行列ＷにＹｏｕｎｇ－Ｈｏｕｓｅｈｏｌｄｅｒ変換を施して行列Ｙを得た後、行列ＹをＹ＝ＸＴＸの形に分解する多次元尺度構成法を適用した演算を行って各アイテムをｋ次元空間に布置する座標値を算出する。一方、被調整行列Ｗの各成分ｗjiが類似度の場合、被調整類似度行列である被調整行列Ｗからグラフ・ラプラシアン行列Ｐを生成した後、グラフ・ラプラシアン行列Ｐに基づいて、各アイテムをｋ次元空間に布置する座標値を算出する。
【0087】
ステップＳ３０において算出する関係性行列の成分を距離、類似度のいずれにするか、ステップＳ４０において用いる調整関数を、単純増加する調整関数ｆ（ｘ）、単純減少する調整関数ｇ（ｘ）のいずれにするかは、扱うデータの種類や可視化する目的等に応じて適宜設定することができる。また、ステップＳ５０においてＹｏｕｎｇ－Ｈｏｕｓｅｈｏｌｄｅｒ変換、グラフ・ラプラシアン行列のいずれを用いるかについては、ステップＳ４０において得られた被調整行列Ｗの成分の種別に応じて設定される。
【0088】
＜３．ステップＳ３０の詳細＞
上述のように、本実施形態では、ステップＳ３０において共通要素数ｍjiと共通要素数ｍijから関係性の指標値ｓjiを算出する関数ｆ（ｍjj,ｍii,ｍji）として、２変数の同時確率分布の非対称正規化自己情報量、２変数の同時確率分布の非対称正規化相互情報量、２変数の同時確率分布の回帰係数などを主として採用している。これらのうち、非対称正規化自己情報量、非対称正規化相互情報量を用いて、共通要素数ｍjiと共通要素数ｍijから関係性の指標値ｓjiを求める考え方について、以下説明していく。
上述のように、本実施形態では、ステップＳ３０において共通要素数ｍjiと共通要素数ｍijから関係性の指標値ｓjiを算出する関数ｆ（ｍjj,ｍii,ｍji）として、２変数の同時確率分布の非対称正規化自己情報量、２変数の同時確率分布の非対称正規化相互情報量、２変数の同時確率分布の回帰係数などを主として採用している。これらのうち、非対称正規化自己情報量、非対称正規化相互情報量を用いて、共通要素数ｍjiと共通要素数ｍijから関係性の指標値ｓjiを求める考え方について、以下説明していく。
【0089】
本明細書では、２つの対象が似ているか似ていないかを示す性質を「関係性」と定義し、２つの対象が相互に似ている度合いを「類似度」と定義する。したがって、互いに逆の概念である「距離」と「類似度」は、２つの対象が似ているか似ていないかを示す性質を表す「関係性」の下位概念となる。まず、一般論として、与えられた ２つの有限集合Ａ,Ｂ の間の距離の指標と類似度の指標をいくつか挙げる。また、それらがどのように 導出できるかについても述べる。指標は、それが距離 (非類似度) であるか 類似度であるか、また、対称であるか 非対称であるかによって、次の６種類に分類できる。
【0090】
（Ａ１）距離の指標、対称
（Ａ２）類似度の指標、対称
（Ａ３）距離の指標、非対称 (集合Ａから集合Ｂへ)
（Ａ４）距離の指標、非対称 (集合Ｂから集合Ａへ)
（Ａ５）類似度の指標、非対称 (集合Ａから集合Ｂへ)
（Ａ６）類似度の指標、非対称 (集合Ｂから集合Ａへ)
（Ａ２）類似度の指標、対称
（Ａ３）距離の指標、非対称 (集合Ａから集合Ｂへ)
（Ａ４）距離の指標、非対称 (集合Ｂから集合Ａへ)
（Ａ５）類似度の指標、非対称 (集合Ａから集合Ｂへ)
（Ａ６）類似度の指標、非対称 (集合Ｂから集合Ａへ)
【0091】
ただし、（Ａ４）は（Ａ３）に対して集合Ａと集合Ｂを入れ替えることによって機械的に得られ、（Ａ６）は（Ａ５）から同様に得られるので、実質的に４種類とみることもできる。
【0092】
それぞれのカテゴリについて、指標は、いろいろ考えることができ、 決定版が１種類だけあるというものではない。
【0093】
（Ｂ１）自己情報量から導出される指標
（Ｂ２）相互情報量から導出される指標
（Ｂ３）その他の様々な指標
（Ｂ２）相互情報量から導出される指標
（Ｂ３）その他の様々な指標
【0094】
ここから、（Ｂ１）「自己情報量から導出される指標」および（Ｂ２）「相互情報量から導出される指標」の導出の手法について述べるが、そのための準備として、（Ｂ１）の前提となる「自己情報量」および（Ｂ２）の前提となる「エントロピー」について、それぞれ定義を述べる。両者について、それぞれ、確率変数の数が１変数のものと２変数のものについて述べる。
【0095】
全体集合Ｕ（例えば、単語データベース１０に記録された全単語） を有限集合とし、 Ｕの２つの部分集合Ａ（一方の文書に出現する単語）,Ｂ（他方の文書に出現する単語）が 与えられているとする。集合Ｕ, Ａ, Ｂ, Ａ∩Ｂ（２つの文書に共通して出現する単語）それぞれの要素数に基づいて、 確率変数 X, Y の同時確率分布を定義することができるので、それの 自己情報量から生成した正規化指標をもって、Ａと Ｂとの距離および類似度の指標とすることができる。（Ｂ２）相互情報量について、（Ｂ１）における「自己情報量」に代えて「相互情報量」を用いることで、ほぼ同様の導出過程を経て、２つの集合間の６種類の指標を作ることができる。
【0096】
ここで、集合Ａ, Ｂそれぞれに対応して、確率変数 X, Y を導入する。ある αが集合Ａの要素であるとき、確率変数 X は値１をとり、そうでないとき値 ０をとることにする。すなわち、
α ∈Ａ → X ＝１
α ∈Ａでない場合 → X ＝０
集合Ｂに対しても同様に確率変数 Y を導入する。それぞれ、とる値は０または１の二値でよいが、以下では、一般性をもたせて、それぞれｍ個、ｑ個の値をとるものとする。
自己情報量および相互情報量に基づいて それぞれ６種類ずつ作ることができるので、計１２種類の指標（後述の(指標1)～(指標12)）ができる。これら１２種類の指標は、集合間の関係性の指標となる。
α ∈Ａ → X ＝１
α ∈Ａでない場合 → X ＝０
集合Ｂに対しても同様に確率変数 Y を導入する。それぞれ、とる値は０または１の二値でよいが、以下では、一般性をもたせて、それぞれｍ個、ｑ個の値をとるものとする。
自己情報量および相互情報量に基づいて それぞれ６種類ずつ作ることができるので、計１２種類の指標（後述の(指標1)～(指標12)）ができる。これら１２種類の指標は、集合間の関係性の指標となる。
【0097】
まず、自己情報量とエントロピー(１変数)について説明する。このため、以下のように設定する。
【0098】
・有限集合Ｘがあり、その要素は ｘ１, ｘ２, ｘ３,・・・,ｘｍ であるとする。 Ｘ＝｛ｘ１, ｘ２, ｘ３,・・・,ｘｍ｝
・確率変数 X は、その値として、Ｘの要素をとるものとする。
・Ｘのひとつの要素を代表してｘと表記する。ｘ∈Ｘ
・確率変数 X の値がｘとなる確率をＰ（X＝ｘ）と表記する。
・確率変数 X は、その値として、Ｘの要素をとるものとする。
・Ｘのひとつの要素を代表してｘと表記する。ｘ∈Ｘ
・確率変数 X の値がｘとなる確率をＰ（X＝ｘ）と表記する。
【0099】
「確率変数 X が値ｘをとる事象が起きた」という情報がもつ、ある種の情報量ｈ（X＝ｘ） を下記で定義する。 ｈ（X＝ｘ）＝－ｌｏｇ（Ｐ（X＝ｘ））
【0100】
・このｈ（X＝ｘ）を「自己情報量 (self-information)」(あるいは 「選択情報量」、「自己エントロピー」) という。
・対数の底は２を用いるのが通例である。
・ｈ（X＝ｘ）は無名数だが、対数の底として２を用いる場合は、 [bit] という単位をつけてもよい。ここでは、単位を省略する。
・例えば「確率１／８の事象が起きた」という情報の自己情報量は３である。
・対数の底は２を用いるのが通例である。
・ｈ（X＝ｘ）は無名数だが、対数の底として２を用いる場合は、 [bit] という単位をつけてもよい。ここでは、単位を省略する。
・例えば「確率１／８の事象が起きた」という情報の自己情報量は３である。
【0101】
自己情報量ｈ（X＝ｘ）のあらゆるｘ∈Ｘにわたる平均値 (あるいは期待値) をＨ（X） とすると、 Ｈ（X）= Σx∈XＰ（X＝ｘ）ｈ（X＝ｘ）である。平均をとる際、それぞれの事象が起きる確率で重みづけしている。ｈ（X＝ｘ）を展開して表記すると、以下の通りとなる。
【0102】
Ｈ（X）=－Σx∈XＰ（X＝ｘ）ｌｏｇ（Ｐ（X＝ｘ））
【0103】
Ｈ（X） を X の「平均情報量」(あるいは「シャノン情報量」、 「情報量のエントロピー」) と呼ぶ。 ここまで、１変数の場合の自己情報量とエントロピーについて定義を述べた。次に、２変数の場合について述べる。
【0104】
２つの集合Ｘ,Ｙがあり、Ｘ＝｛ｘ１, ｘ２, ｘ３,・・・,ｘｍ｝、Ｙ＝｛ｙ１, ｙ２, ｙ３,・・・,ｙｑ；｝であるとき、下記で示す集合Ｚを、集合Ｘと集合Ｙとの「直積」と呼び、以下のように表す。
【0105】
Ｚ＝Ｘ×Ｙ
Ｚ＝[（ｘ，ｙ）；ｘ∈Ｘ，ｙ∈Ｙ]
Ｚ＝[（ｘ，ｙ）；ｘ∈Ｘ，ｙ∈Ｙ]
【0106】
集合Ｘと集合Ｙとの直積集合Ｚにおいて、 確率変数 X が値ｘ（∈Ｘ） をとり、なおかつ、 確率変数 Y が値ｙ（ ∈Ｙ） をとる確率をＰ（X＝ｘ，Y＝ｙ）と表記することにする。これを同時確率 (simultaneous probability)、あるいは 結合確率(joint probability) という。 もし、あらゆるｘ（∈Ｘ）とｙ（ ∈Ｙ）に対してＰ（X＝ｘ，Y＝ｙ）＝Ｐ（X＝ｘ）Ｐ（Y＝ｙ）が成り立てば、確率変数 X と Y とは互いに独立であると言うが、 以下では独立性を仮定しない。
【0107】
ここで、下記の(数式 22-1) (数式 22-2)が言える。これを「周辺化」と呼ぶ。
【0108】
Ｐ（X＝ｘ）＝Σy∈YＰ（X＝ｘ，Y＝ｙ）…… (数式 22-1)
Ｐ（Y＝ｙ）＝Σx∈XＰ（X＝ｘ，Y＝ｙ）…… (数式 22-2)
Ｐ（Y＝ｙ）＝Σx∈XＰ（X＝ｘ，Y＝ｙ）…… (数式 22-2)
【0109】
周辺化において、総和をとる各項は非負の値をとるので、「周辺化にまつわる不等式」として、以下の(数式 22-3) (数式 22-4)が成り立つ。
【0110】
０≦Ｐ（X＝ｘ，Y＝ｙ）≦Ｐ（X＝ｘ）…… (数式 22-3)
０≦Ｐ（X＝ｘ，Y＝ｙ）≦Ｐ（Y＝ｙ）…… (数式 22-4)
０≦Ｐ（X＝ｘ，Y＝ｙ）≦Ｐ（Y＝ｙ）…… (数式 22-4)
【0111】
集合Ｘと集合Ｙとの直積集合Ｚ＝Ｘ×Ｙをｍ×ｑ個の要素をもつ１次元的な集合だとみれば、自己情報量や平均情報量は自然に 定義することができる。 確率変数 X が値ｘ∈Ｘをとり、なおかつ、 確率変数 Y が値ｙ∈Ｙをとるとき、 自己情報量ｈ（X＝ｘ，Y＝ｙ） は、ｈ（X＝ｘ，Y＝ｙ）＝－ｌｏｇ（Ｐ（X＝ｘ，Y＝ｙ））と定義できる。
【0112】
自己情報量ｈ（X＝ｘ，Y＝ｙ）の、あらゆるｘ（∈Ｘ）と ｙ（∈Ｙ）に わたる平均値を Ｈ（X, Y） とすると、Ｈ（X, Y）=Σx∈XΣy∈Y Ｐ（X＝ｘ，Y＝ｙ）ｈ（X＝ｘ，Y＝ｙ）である。総和をひとまとめにして書けば、Ｈ（X, Y）=Σ(x, y)∈X×YＰ（X＝ｘ，Y＝ｙ）ｈ（X＝ｘ，Y＝ｙ）とも書ける。Ｈ（X＝ｘ，Y＝ｙ） を展開して書けば、Ｈ（X, Y）＝－Σ(x, y)∈X×YＰ（X＝ｘ，Y＝ｙ） ｌｏｇ（Ｐ（X＝ｘ，Y＝ｙ））である。これを「結合エントロピー (joint entropy)」と呼ぶ。
【0113】
ここまでで、自己情報量とエントロピーについて、それぞれ、１変数の場合と２変数の場合とについて、定義を述べた。ここから、前記（Ｂ１）～（Ｂ３）のうち（Ｂ１）にあたる、自己情報量から導出される指標について述べる。そのための準備として、まず、非負相関性仮定を導入し、その下で成り立つ、自己情報量に関する３つの不等式の導出のしかたについて述べる。
【0114】
まず、自己情報量の性質について説明する。以下の(数式 23-1) (数式 23-2)が、「自己情報量に関する第１の不等式」として成り立つ。
【0115】
ｈ（X＝ｘ，Y＝ｙ）≧ｈ（X＝ｘ）…… (数式 23-1)
ｈ（X＝ｘ，Y＝ｙ）≧ｈ（Y＝ｙ）…… (数式 23-2)
ｈ（X＝ｘ，Y＝ｙ）≧ｈ（Y＝ｙ）…… (数式 23-2)
【0116】
「自己情報量に関する第１の不等式」について証明する。上記のように、周辺化にまつわる以下の不当式が成り立つ。
【0117】
０≦Ｐ（X＝ｘ，Y＝ｙ）≦Ｐ（X＝ｘ） …… (数式 22-3)
０≦Ｐ（X＝ｘ，Y＝ｙ）≦Ｐ（Y＝ｙ）…… (数式 22-4)
０≦Ｐ（X＝ｘ，Y＝ｙ）≦Ｐ（Y＝ｙ）…… (数式 22-4)
【0118】
対数関数の単調増加性から、辺々の対数をとっても、以下のように、同じ不等号が成り立つ。
【0119】
ｌｏｇ（Ｐ（X＝ｘ，Y＝ｙ））≦ｌｏｇ（Ｐ（X＝ｘ））
ｌｏｇ（Ｐ（X＝ｘ，Y＝ｙ））≦ｌｏｇ（Ｐ（Y＝ｙ））
ｌｏｇ（Ｐ（X＝ｘ，Y＝ｙ））≦ｌｏｇ（Ｐ（Y＝ｙ））
【0120】
両辺に（－１）を掛けると不等号が反転し、以下のようになる。
【0121】
－ｌｏｇ（Ｐ（X＝ｘ，Y＝ｙ））≧－ｌｏｇ（Ｐ（X＝ｘ））
－ｌｏｇ（Ｐ（X＝ｘ，Y＝ｙ））≧－ｌｏｇ（Ｐ（Y＝ｙ））
－ｌｏｇ（Ｐ（X＝ｘ，Y＝ｙ））≧－ｌｏｇ（Ｐ（Y＝ｙ））
【0122】
証明終わり。したがって、以下のような式が成り立つ。
【0123】
ｈ（X＝ｘ，Y＝ｙ）≧ｈ（X＝ｘ）
ｈ（X＝ｘ，Y＝ｙ）≧ｈ（Y＝ｙ）
ｈ（X＝ｘ，Y＝ｙ）≧ｈ（Y＝ｙ）
【0124】
ここで、事象 X =ｘと事象 Y =ｙとの間に 非負の相関性がある場合に限定して考える（非負相関性仮定）。
Ｐ（X＝ｘ，Y＝ｙ）≧Ｐ（X＝ｘ）Ｐ（Y＝ｙ）…… (数式 23-3)
Ｐ（X＝ｘ，Y＝ｙ）≧Ｐ（X＝ｘ）Ｐ（Y＝ｙ）…… (数式 23-3)
【0125】
非負相関性仮定 (数式 23-3) の下で、 辺々、対数をとり、（－１）を掛けることによって、 不等号が逆転し、以下の(数式 23-4)が、「自己情報量に関する第２の不等式」として成り立つ。
【0126】
ｈ（X＝ｘ，Y＝ｙ）≦ｈ（X＝ｘ）＋ｈ（Y＝ｙ）…… (数式 23-4)
【0127】
自己情報量に関する関係性をまとめる。(数式 23-1)、(数式 23-2)、(数式 23-4) を再掲すると、
ｈ（X＝ｘ，Y＝ｙ）≧ｈ（X＝ｘ）…… (数式 23-1)
ｈ（X＝ｘ，Y＝ｙ）≧ｈ（Y＝ｙ）…… (数式 23-2)
ｈ（X＝ｘ，Y＝ｙ）≦ｈ（X＝ｘ）＋ｈ（Y＝ｙ）…… (数式 23-4)
である。ただし、(数式 23-4) は、 非負相関性仮定 (数式 23-3)
Ｐ（X＝ｘ，Y＝ｙ）≧Ｐ（X＝ｘ）Ｐ（Y＝ｙ）≧０の下で成り立つ。
ｈ（X＝ｘ，Y＝ｙ）≧ｈ（X＝ｘ）…… (数式 23-1)
ｈ（X＝ｘ，Y＝ｙ）≧ｈ（Y＝ｙ）…… (数式 23-2)
ｈ（X＝ｘ，Y＝ｙ）≦ｈ（X＝ｘ）＋ｈ（Y＝ｙ）…… (数式 23-4)
である。ただし、(数式 23-4) は、 非負相関性仮定 (数式 23-3)
Ｐ（X＝ｘ，Y＝ｙ）≧Ｐ（X＝ｘ）Ｐ（Y＝ｙ）≧０の下で成り立つ。
【0128】
ここまでで、非負相関性仮定の下での自己情報量に関する３つの不等式を導出した。これらを用いることによって、対称および非対称な正規化自己情報量を導出することができるが、まず、対称なものの導出のしかたについて述べる。上記の自己情報量に関する関係性 (数式 23-1)、(数式 23-2)、(数式 23-4)は、自己情報量 ｈ（X＝ｘ, Y＝ｙ） のとりうる値の 下限と上限とを示している。 ひとつにまとめて、次のように記載できる。
【0129】
ｍａｘ（ｈ（X＝ｘ，Y＝ｙ））≦ｈ（X＝ｘ，Y＝ｙ）≦ｈ（X＝ｘ）＋ｈ（Y＝ｙ）
【0130】
１つにまとめるに際して、次のようなまとめ方もできる。
【0131】
ｍｉｎ（ｈ（X＝ｘ，Y＝ｙ））≦ｈ（X＝ｘ，Y＝ｙ）≦ｈ（X＝ｘ）＋ｈ（Y＝ｙ）
【0132】
しかし、ｍｉｎ（ｈ（X＝ｘ，Y＝ｙ））のまとめ方は、下限値に余裕を持たせすぎた「幅の広過ぎる」不等式である。以下では、ｍａｘ（ｈ（X＝ｘ，Y＝ｙ））のほうを採用する。ただし、後者を用いると、下記の非特許文献に述べられているGoogle Distance を導出することができる。言い換えると、これから述べる（Ｂ１）自己情報量から導出される指標は、それとは別物である。
【0133】
非特許文献:
Rudi L. Cilibrasi and Paul M. B. Vitanyi.
"The google similarity distance."
IEEE Transactions on Knowledge and Data Engineering,
Vol. 19, pp.370-383, 2007.
Rudi L. Cilibrasi and Paul M. B. Vitanyi.
"The google similarity distance."
IEEE Transactions on Knowledge and Data Engineering,
Vol. 19, pp.370-383, 2007.
【0134】
ｈ（X＝ｘ，Y＝ｙ）は、下限と上限とを ｒ: １－ｒに 内分する点であるとみることにより、ｒを定義する ことができる。あるいは、内分比を逆にみて、ｈ（X＝ｘ，Y＝ｙ）は、下限と上限とを１－ｒ´：ｒ´ に 内分する点であるとみることにより、ｒ´を定義する ことができる。 すると、明らかに、ｒとｒ´は以下の式を満たす。
【0135】
０≦ｒ≦１，０≦ｒ′≦１，ｒ＋ｒ´＝１
【0136】
上記の式を書き替えると、以下のようになる。
【0137】
ｒ＝（ｈ（X＝ｘ，Y＝ｙ）－ｍａｘ（ｈ（X＝ｘ，Y＝ｙ）））／ｍｉｎ（ｈ（X＝ｘ，Y＝ｙ））
ｒ´＝（ｈ（X＝ｘ）＋ｈ（Y＝ｙ）－ｈ（X＝ｘ，Y＝ｙ））／ｍｉｎ（ｈ（X＝ｘ，Y＝ｙ））
ｒ´＝（ｈ（X＝ｘ）＋ｈ（Y＝ｙ）－ｈ（X＝ｘ，Y＝ｙ））／ｍｉｎ（ｈ（X＝ｘ，Y＝ｙ））
【0138】
ｒは距離を、ｒ´は類似度を表す。
非負相関性仮定の下で、ｒもｒ´も０以上１以下の値をとるが、 負の相関性があるときは、ｒ´＞１、 ｒ´＜０となる。同時確率を限りなく０に近づけていけば、 いくらでも大きく、又は、 小さくなりうる。ｒおよび ｒ´をここでは「正規化自己情報量 (normalized self-information)」と呼ぶことにして、それぞれ、ｄNSI（X＝ｘ，Y＝ｙ）、ｓｉｍNSI（X＝ｘ，Y＝ｙ）と表すことにする。
非負相関性仮定の下で、ｒもｒ´も０以上１以下の値をとるが、 負の相関性があるときは、ｒ´＞１、 ｒ´＜０となる。同時確率を限りなく０に近づけていけば、 いくらでも大きく、又は、 小さくなりうる。ｒおよび ｒ´をここでは「正規化自己情報量 (normalized self-information)」と呼ぶことにして、それぞれ、ｄNSI（X＝ｘ，Y＝ｙ）、ｓｉｍNSI（X＝ｘ，Y＝ｙ）と表すことにする。
【0139】
正規化自己情報量 (対称)について、まとめると、ｄ NSI（X＝ｘ，Y＝ｙ）、ｓｉｍ NSI（X＝ｘ，Y＝ｙ）は、それぞれ、以下のように表現できる。
【0140】
ｄNSI（X＝ｘ，Y＝ｙ）＝（ｈ（X＝ｘ，Y＝ｙ）－ｍａｘ（ｈ（X＝ｘ，Y＝ｙ）））／ｍｉｎ（ｈ（X＝ｘ），ｈ（Y＝ｙ））
ｓｉｍNSI（X＝ｘ，Y＝ｙ）＝（ｈ（X＝ｘ）＋ｈ（Y＝ｙ）－ｈ（X＝ｘ，Y＝ｙ））／ｍｉｎ（ｈ（X＝ｘ，Y＝ｙ））
ｓｉｍNSI（X＝ｘ，Y＝ｙ）＝（ｈ（X＝ｘ）＋ｈ（Y＝ｙ）－ｈ（X＝ｘ，Y＝ｙ））／ｍｉｎ（ｈ（X＝ｘ，Y＝ｙ））
【0141】
ここで、ｄNSIは距離を、ｓｉｍNSIは類似度を表す。 上記非負相関性仮定 (数式 23-3)
Ｐ（X＝ｘ，Y＝ｙ）≧Ｐ（X＝ｘ）Ｐ（Y＝ｙ）≧０の下で、以下のようになる。
Ｐ（X＝ｘ，Y＝ｙ）≧Ｐ（X＝ｘ）Ｐ（Y＝ｙ）≧０の下で、以下のようになる。
【0142】
０≦ｄNSI（X＝ｘ，Y＝ｙ）≦１
０≦ｓｉｍNSI（X＝ｘ，Y＝ｙ）≦１
０≦ｓｉｍNSI（X＝ｘ，Y＝ｙ）≦１
【0143】
負の相関性があるときは、以下のようになる。
【0144】
ｄNSI（X＝ｘ，Y＝ｙ）＞１
ｓｉｍNSI（X＝ｘ，Y＝ｙ）＜０
ｓｉｍNSI（X＝ｘ，Y＝ｙ）＜０
【0145】
ここまでで、（Ｂ１）自己情報量から導出される指標のうちでも対称なものについて述べた。次に、非対称なものについて述べる。上記(数式 23-1)、(数式 23-2)、(数式 23-4)における自己情報量に関する関係性は、ｈ（X＝ｘ，Y＝ｙ）のとりうる値の下限と上限とを 示している。上記の例ではｍａｘ（）を用いてひとつにまとめることで、 対称性が保たれていたが、ここでは、別々に扱う。
【0146】
ｈ（X＝ｘ）≦ｈ（X＝ｘ，Y＝ｙ）≦ｈ（X＝ｘ）＋ｈ（Y＝ｙ）
ｈ（Y＝ｙ）≦ｈ（X＝ｘ，Y＝ｙ）≦ｈ（X＝ｘ）＋ｈ（Y＝ｙ）
ｈ（Y＝ｙ）≦ｈ（X＝ｘ，Y＝ｙ）≦ｈ（X＝ｘ）＋ｈ（Y＝ｙ）
【0147】
ここから、対称な場合と同様に、内分比によって正規化指標を作ると、非対称な正規化自己情報量として、以下のような非対称な式が得られる。
【0148】
ｄNSI（X＝ｘ→Y＝ｙ）＝ｈ（X＝ｘ，Y＝ｙ）－ｈ（X＝ｘ）／ｈ（Y＝ｙ）
ｄNSI（Y＝ｙ→X＝ｘ）＝ｈ（X＝ｘ，Y＝ｙ）－ｈ（Y＝ｙ）／ｈ（X＝ｘ）
ｓｉｍNSI（X＝ｘ→Y＝ｙ）＝（ｈ（X＝ｘ）＋ｈ（Y＝ｙ）－ｈ（X＝ｘ，Y＝ｙ））／ｈ（Y＝ｙ）
ｓｉｍNSI（Y＝ｙ→X＝ｘ）＝（ｈ（X＝ｘ）＋ｈ（Y＝ｙ）－ｈ（X＝ｘ，Y＝ｙ））／ｈ（X＝ｘ）
ｄNSI（Y＝ｙ→X＝ｘ）＝ｈ（X＝ｘ，Y＝ｙ）－ｈ（Y＝ｙ）／ｈ（X＝ｘ）
ｓｉｍNSI（X＝ｘ→Y＝ｙ）＝（ｈ（X＝ｘ）＋ｈ（Y＝ｙ）－ｈ（X＝ｘ，Y＝ｙ））／ｈ（Y＝ｙ）
ｓｉｍNSI（Y＝ｙ→X＝ｘ）＝（ｈ（X＝ｘ）＋ｈ（Y＝ｙ）－ｈ（X＝ｘ，Y＝ｙ））／ｈ（X＝ｘ）
【0149】
ここで、dNSI は距離を、simNSI は類似度を表す。 上記非負相関性仮定 (数式 23-3) Ｐ（X＝ｘ，Y＝ｙ）≧Ｐ（X＝ｘ）Ｐ（Y＝ｙ）≧０の下で、以下が成り立つ。
【0150】
０≦ｄNSI（X＝ｘ→Y＝ｙ）≦１
０≦ｄNSI（Y＝ｙ→X＝ｘ）≦
０≦ｓｉｍNSI（X＝ｘ→Y＝ｙ）≦１
０≦ｓｉｍNSI（Y＝ｙ→X＝ｘ）≦１
０≦ｄNSI（Y＝ｙ→X＝ｘ）≦
０≦ｓｉｍNSI（X＝ｘ→Y＝ｙ）≦１
０≦ｓｉｍNSI（Y＝ｙ→X＝ｘ）≦１
【0151】
ここまでで、前述した（Ｂ１）～（Ｂ３）の（Ｂ１）にあたる、自己情報量から導出される指標について、その導出のしかたを述べた。次に、（Ｂ２）にあたる、相互情報量から導出される指標について、その導出のしかたを述べる。これは、（Ｂ１）における自己情報量に代えて、エントロピーを用いることで、ほぼ同等の道筋をとることができる。準備として、まず、エントロピーに関する３つの不等式の導出のしかたについて述べる。結合エントロピーについて、(数式24-1) (数式24-2)に示す「結合エントロピーに関する第１の不等式」が成り立つ。
【0152】
Ｈ（X, Y）≧ Ｈ（X）…… (数式24-1)
Ｈ（X, Y）≧ Ｈ（Y）…… (数式24-2)
Ｈ（X, Y）≧ Ｈ（Y）…… (数式24-2)
【0153】
「結合エントロピーに関する第 1 の不等式」について証明する。(数式24-1) において、左辺から右辺を引いた値が非負であることを証明する。
【0154】
Ｈ（X, Y）－Ｈ（X）＝－Σ(x,y)∈X×YＰ（X＝ｘ，Y＝ｙ）ｌｏｇ（Ｐ（X＝ｘ，Y＝ｙ））＋Σx∈XＰ（X＝ｘ）ｌｏｇ（X＝ｘ）
【0155】
ここで周辺化 (数式 22-1) より、Ｐ（X＝ｘ）＝Σy∈YＰ（X＝ｘ，Y＝ｙ）であるから、以下の式が成り立つ。
【0156】
Ｈ（X, Y）－Ｈ（X）
＝－Σ(x,y)∈X×YＰ（X＝ｘ，Y＝ｙ）ｌｏｇ（Ｐ（X＝ｘ，Y＝ｙ））＋Σx∈X[Σy∈YＰ（X＝ｘ，Y＝ｙ）]ｌｏｇ（Ｐ（X＝ｘ））
＝－Σ(x,y)∈X×YＰ（X＝ｘ，Y＝ｙ）ｌｏｇ（Ｐ（X＝ｘ，Y＝ｙ））＋Σ(x,y)∈X×YＰ（X＝ｘ，Y＝ｙ）ｌｏｇ（Ｐ（X＝ｘ））
＝－Σ(x,y)∈X×YＰ（X＝ｘ，Y＝ｙ）ｌｏｇ（Ｐ（X＝ｘ，Y＝ｙ）／Ｐ（X＝ｘ））＋Σx∈X[Σy∈YＰ（X＝ｘ，Y＝ｙ）]ｌｏｇ（Ｐ（X＝ｘ））
＝－Σ(x,y)∈X×YＰ（X＝ｘ，Y＝ｙ）ｌｏｇ（Ｐ（X＝ｘ，Y＝ｙ））＋Σx∈X[Σy∈YＰ（X＝ｘ，Y＝ｙ）]ｌｏｇ（Ｐ（X＝ｘ））
＝－Σ(x,y)∈X×YＰ（X＝ｘ，Y＝ｙ）ｌｏｇ（Ｐ（X＝ｘ，Y＝ｙ））＋Σ(x,y)∈X×YＰ（X＝ｘ，Y＝ｙ）ｌｏｇ（Ｐ（X＝ｘ））
＝－Σ(x,y)∈X×YＰ（X＝ｘ，Y＝ｙ）ｌｏｇ（Ｐ（X＝ｘ，Y＝ｙ）／Ｐ（X＝ｘ））＋Σx∈X[Σy∈YＰ（X＝ｘ，Y＝ｙ）]ｌｏｇ（Ｐ（X＝ｘ））
【0157】
ここで、周辺化 (数式 22-3) より、０≦Ｐ（X＝ｘ，Y＝ｙ）≦Ｐ（X＝ｘ）である。よって全項が非負値をとる。よって、以下の式が成り立つ。
【0158】
Ｈ（X, Y）－Ｈ（X）≧０
【0159】
(数式24-2) についても、X と Y とを入れ替えて同様である。以上で証明は終わりである。結合エントロピーについて、(数式24-3)に示す「結合エントロピーに関する第 ２ の不等式」が成り立つ。
【0160】
Ｈ（X, Y）≦Ｈ（X）＋Ｈ（Y）…… (数式24-3)
【0161】
等号が成り立つのは、X と Y とが互いに独立な 確率変数である場合、すなわち、Ｐ（X＝ｘ，Y＝ｙ）＝Ｐ（X＝ｘ）Ｐ（Y＝ｙ）である場合であって、かつ、そのときに限る。 次にこれを証明する。
【0162】
周辺化 (数式 22-1)、(数式 22-2) より、
Ｐ（X＝ｘ）＝Σy∈YＰ（X＝ｘ，Y＝ｙ）…… (数式 22-1)
Ｐ（Y＝ｙ）＝Σx∈XＰ（X＝ｘ，Y＝ｙ）…… (数式 22-2)
であるから、以下の式が成り立つ。
Ｐ（X＝ｘ）＝Σy∈YＰ（X＝ｘ，Y＝ｙ）…… (数式 22-1)
Ｐ（Y＝ｙ）＝Σx∈XＰ（X＝ｘ，Y＝ｙ）…… (数式 22-2)
であるから、以下の式が成り立つ。
【0163】
Ｈ（X）＝－Σ(x,y)∈X×YＰ（X＝ｘ，Y＝ｙ）ｌｏｇ（Ｐ（X＝ｘ））
Ｈ（Y）＝－Σ(x,y)∈X×YＰ（X＝ｘ，Y＝ｙ）ｌｏｇ（Ｐ（Y＝ｙ））
Ｈ（Y）＝－Σ(x,y)∈X×YＰ（X＝ｘ，Y＝ｙ）ｌｏｇ（Ｐ（Y＝ｙ））
【0164】
したがって、さらに以下の式が成り立つ。
【0165】
Ｈ（X）＋Ｈ（Y）－Ｈ（X, Y）＝－Σ(x,y)∈X×YＰ（X＝ｘ，Y＝ｙ）ｌｏｇ（（Ｐ（X＝ｘ）Ｐ（Y＝ｙ）／Ｐ（X＝ｘ，Y＝ｙ））
【0166】
ここで、任意のｕ＞０に対して、ｌｏｇ（ｕ）≦ｕ－１すなわち、－ｌｏｇ（ｕ）≧１－ｕであるから、以下の式が成り立つ。
【0167】
Ｈ（X）＋Ｈ（Y）－Ｈ（X, Y）≧
Σ(x,y)∈X×YＰ（X＝ｘ，Y＝ｙ）（１－Ｐ（X＝ｘ）Ｐ（Y＝ｙ）／Ｐ（X＝ｘ，Y＝ｙ））＝０
Σ(x,y)∈X×YＰ（X＝ｘ，Y＝ｙ）（１－Ｐ（X＝ｘ）Ｐ（Y＝ｙ）／Ｐ（X＝ｘ，Y＝ｙ））＝０
【0168】
以上で証明は終わりである。「相互情報量」について説明する。確率変数 X と Y とが互いに独立でない場合、 Ｈ（X, Y）とＨ（X）＋Ｈ（Y）とは一致しない。上記 (数式24-3)に示したように、Ｈ（X, Y）≦Ｈ（X）＋Ｈ（Y）…… (数式24-3) である。 (数式24-3)の両者の情報量の差 ((右辺) － (左辺)) を 「相互情報量」と呼び、以下のように表す。相互情報量は常に非負の値になる。
【0169】
Ｉ（X, Y）＝Ｈ（X）＋Ｈ（Y）－Ｈ（X, Y） …… (数式24-4)
【0170】
「条件つきエントロピー」について説明する。事象Ｂが生じているという条件下における、 事象Ａの条件つき自己情報量 ｈ(Ａ|Ｂ) を以下のように定める。
【0171】
ｈ(Ａ|Ｂ)＝－ｌｏｇ（Ｐ(Ａ|Ｂ)）
【0172】
確率変数 X が与えられたとき、事象Ｂの下での 事象 X = x の条件つき自己情報量ｈ(X ＝ｘ|Ｂ)＝－ｌｏｇ（Ｐ(X ＝ｘ|Ｂ)）の ｘに関する期待値を「条件つきエントロピー」と呼び、以下のように表す。
【0173】
Ｈ(X |Ｂ)＝－Σx∈XＰ(X ＝ｘ|Ｂ)ｌｏｇ（Ｐ(X ＝ｘ|Ｂ)）
【0174】
さらに、確率変数 Y が与えられたとき、事象 Y = ｙが 生じているという条件下における、事象 X =ｘの条件つきエントロピー Ｈ(X | Y＝ｙ)のｙに関する期待値は、以下のように表現できる。これもやはり「条件つきエントロピー」と呼ぶ。
【0175】
Ｈ(X | Y)＝Σy∈YＰ（Y＝ｙ) Ｈ(X | Y＝ｙ)
【0176】
以下の(数式24-5) (数式24-6)が、条件つきエントロピーについて成り立つ等式として、成り立つ。
【0177】
Ｈ(X | Y)＝Ｈ(X，Y)－Ｈ(Y)…… (数式24-5)
Ｈ(Y | X)＝Ｈ(X，Y)－Ｈ(X)…… (数式24-6)
Ｈ(Y | X)＝Ｈ(X，Y)－Ｈ(X)…… (数式24-6)
【0178】
ここまでの平均情報量H、相互情報量Iの関係性をまとめると以下のようになる。
【0179】
Ｈ(X，Y) ≧Ｈ(Y) …… (数式24-1)
Ｈ(X,Y) ≧Ｈ(Y) …… (数式24-2)
Ｈ(X,Y) ≦ Ｈ(X)＋Ｈ(Y) …… (数式24-3)
Ｉ(X,Y) ＝Ｈ(X) ＋Ｈ(Y)－Ｈ(X,Y) …… (数式24-4)
Ｈ(X|Y) ＝Ｈ(X,Y) －Ｈ(Y) …… (数式24-5)
Ｈ(Y|X) ＝Ｈ(X,Y) －Ｈ(X) …… (数式24-6)
Ｈ(X,Y) ≧Ｈ(Y) …… (数式24-2)
Ｈ(X,Y) ≦ Ｈ(X)＋Ｈ(Y) …… (数式24-3)
Ｉ(X,Y) ＝Ｈ(X) ＋Ｈ(Y)－Ｈ(X,Y) …… (数式24-4)
Ｈ(X|Y) ＝Ｈ(X,Y) －Ｈ(Y) …… (数式24-5)
Ｈ(Y|X) ＝Ｈ(X,Y) －Ｈ(X) …… (数式24-6)
【0180】
ここまでで、エントロピーに関する３つの不等式を導出した。これらを用いることによって、対称および非対称な正規化相互情報量を導出することができるが、まず、対称なものの導出のしかたについて述べる。 (数式24-1) ～ (数式24-3) を再掲する。
Ｈ（X, Y）≧Ｈ（X） …… (数式24-1)
Ｈ（X, Y）≧Ｈ（Y） …… (数式24-2)
Ｈ（X, Y）≦Ｈ（X）＋Ｈ（Y） …… (数式24-3)
Ｈ（X, Y）≧Ｈ（X） …… (数式24-1)
Ｈ（X, Y）≧Ｈ（Y） …… (数式24-2)
Ｈ（X, Y）≦Ｈ（X）＋Ｈ（Y） …… (数式24-3)
【0181】
(数式24-1) ～ (数式24-3)は、Ｈ（X, Y） のとりうる値の下限と上限とを示している。ひとつにまとめて、次のように書ける。
【0182】
ｍａｘ（Ｈ（X）, Ｈ（Y））≦Ｈ（X, Y）≦Ｈ（X）＋Ｈ（Y）
【0183】
Ｈ（X, Y）は、下限と上限とを ｒ：１－ｒに 内分する点であるとみることにより、ｒを定義する ことができる。 あるいは、内分比をひっくり返しにみて、Ｈ（X, Y）は、下限と上限とを１－ｒ´：ｒ´に 内分する点であるとみることにより、ｒ´ を定義する ことができる。すると、明らかに、０≦ｒ≦１、０≦ｒ´≦１、ｒ＋ｒ´＝１である。 上記の式を書き換えると、以下のようになる。
【0184】
ｒ＝[Ｈ（X, Y）－ｍａｘ（Ｈ（X）, Ｈ（Y））]／ｍｉｎ（Ｈ（X），Ｈ（Y））
ｒ´＝[Ｈ（X）＋Ｈ（Y）－Ｈ（X, Y）]／ｍｉｎ（Ｈ（X），Ｈ（Y））
ｒ´＝[Ｈ（X）＋Ｈ（Y）－Ｈ（X, Y）]／ｍｉｎ（Ｈ（X），Ｈ（Y））
【0185】
ｒ´の分子は相互情報量 Ｉ（X, Y ）であるが、分母があることによって、正規化できている。 ここで、ｒは距離を、ｒ´は類似度を表す。 自己情報量の正規化指標とよく似ているが、相互情報量の場合は、 非負相関性仮定が要らない。ｒおよび ｒ´を一般的に「正規化相互情報量 (normalized mutual information)」と呼び、それぞれ、 ｄNMI（X, Y）、ｓｉｍNMI（X, Y） と表す。
【0186】
対称な正規化相互情報量についてまとめると、「正規化相互情報量 (normalized mutual information)」ｄNMI（X, Y）、ｓｉｍNMI（X, Y） は、それぞれ、以下のように表現できる。この場合、非負相関性仮定は必要としない。
【0187】
ｄNMI＝[Ｈ（X, Y）－ｍａｘ（Ｈ（X）, Ｈ（Y））／ｍｉｎ（Ｈ（X）, Ｈ（Y））
ｓｉｍNMI＝（Ｈ（X）＋Ｈ（Y ）－Ｈ（X, Y））／ｍｉｎ（Ｈ（X）, Ｈ（Y））
ｓｉｍNMI＝（Ｈ（X）＋Ｈ（Y ）－Ｈ（X, Y））／ｍｉｎ（Ｈ（X）, Ｈ（Y））
【0188】
上記のｄNMI（X, Y）、ｓｉｍNMI（X, Y）については、０≦ｄNMI（X, Y）≦１、０≦ｓｉｍNMI（X, Y）≦１が成り立つ。 ここで、ｄNMIは距離を、ｓｉｍNMIは類似度を表す。 ただし、X と Y とが無相関のときに、 ｄNMIは最大値 1 をとり、ｓｉｍNMIは最小値 0 をとり、 負の相関があるときは、再び下降および上昇に転じる。 つまり、ｄNMIおよびｓｉｍNMIは、X の情報がいかによく Y に 伝達されたかを表しており、無相関なときにまったく伝達されておらず、負の相関のときには伝達されているとみている。ここまでで、（Ｂ２）エントロピー（相互情報量）から導出される指標のうちでも対称なものについて述べた。次に、非対称なものについて述べる。
【0189】
(数式24-1) ～ (数式24-3) を再掲する。
Ｈ（X, Y）≧Ｈ（X） …… (数式24-1)
Ｈ（X, Y）≧Ｈ（Y） …… (数式24-2)
Ｈ（X, Y）≦Ｈ（X）＋Ｈ（Y） …… (数式24-3)
Ｈ（X, Y）≧Ｈ（X） …… (数式24-1)
Ｈ（X, Y）≧Ｈ（Y） …… (数式24-2)
Ｈ（X, Y）≦Ｈ（X）＋Ｈ（Y） …… (数式24-3)
【0190】
これは、Ｈ（X, Y）のとりうる値の下限と上限とを 示している。上記の例ではｍａｘ（）を用いてひとつにまとめることで、 対称性が保たれていたが、ここでは、別々に扱う。
【0191】
Ｈ（X）≦Ｈ（X, Y）≦Ｈ（X）＋Ｈ（Y）
Ｈ（Y）≦Ｈ（X, Y）≦Ｈ（X）＋Ｈ（Y）
Ｈ（Y）≦Ｈ（X, Y）≦Ｈ（X）＋Ｈ（Y）
【0192】
ここから、上記の例と同様に、内分比によって正規化指標を作ると、非対称な正規化相互情報量として、以下の非対称な式が得られる。
【0193】
ｄNMI（X→Y）＝（Ｈ（X, Y）－Ｈ（X））／Ｈ（Y）
ｄNMI（Y→X）＝（Ｈ（X, Y）－Ｈ（Y））／Ｈ（X）
ｓｉｍNMI（X→Y）＝（Ｈ（X）＋Ｈ（Y）－Ｈ（X, Y））／Ｈ（Y）
ｓｉｍNMI（Y→X）＝（Ｈ（X）＋Ｈ（Y）－Ｈ（X, Y））／Ｈ（X）
ｄNMI（Y→X）＝（Ｈ（X, Y）－Ｈ（Y））／Ｈ（X）
ｓｉｍNMI（X→Y）＝（Ｈ（X）＋Ｈ（Y）－Ｈ（X, Y））／Ｈ（Y）
ｓｉｍNMI（Y→X）＝（Ｈ（X）＋Ｈ（Y）－Ｈ（X, Y））／Ｈ（X）
【0194】
ここで、非負相関性仮定は必要としないため、以下が成り立つ。ｄNMIは距離を、ｓｉｍNMIは類似度を表す。
【0195】
０≦ｄNMI（X→Y）≦１
０≦ｄNMI（Y→X）≦１
０≦ｓｉｍNMI（X→Y）≦１
０≦ｓｉｍNMI（Y→X）≦１
０≦ｄNMI（Y→X）≦１
０≦ｓｉｍNMI（X→Y）≦１
０≦ｓｉｍNMI（Y→X）≦１
【0196】
ここまでで、前述した（Ｂ１）～（Ｂ３）の（Ｂ２）にあたる、エントロピーから導出される指標について、その導出のしかたを述べた。ここまでで、前述した（Ｂ１）～（Ｂ３）の（Ｂ１）と（Ｂ２）について、一般の確率変数 X, Y を用いて定義したが、最終的に２つの集合間の指標に落とし込むためには、次のようにする。
【0197】
全体集合Ｕは有限集合で、その２つの部分集合として、 集合Ａと集合Ｂとがあるものとする（Ａ⊂Ｕ、Ｂ⊂Ｕ ）。ここで、集合にまつわる確率分布を定義する。集合Ｘおよび集合Ｙを以下のように定義する。
【0198】
Ｘ＝｛０，１｝
Ｙ＝｛０，１｝
Ｙ＝｛０，１｝
【0199】
確率変数 X のとりうる値 x の集合がＸであり、 確率変数 Y のとりうる値 y の集合がＹであるとする。
【0200】
X＝ｘ（x∈Ｘ）
Y＝ｙ（y∈Ｙ）
Y＝ｙ（y∈Ｙ）
【0201】
いま、確率へ変数 X, Y の同時確率分布が下記のようであるとする。
【0202】
Ｐ（X＝０，Y＝０）＝[ｎ（Ｕ）－ｎ（Ａ）－ｎ（Ｂ）＋ｎ（Ａ∩Ｂ）]／ｎ（Ｕ）
Ｐ（X＝１，Y＝０）＝[ｎ（Ａ）－ｎ（Ａ∩Ｂ）]／ｎ（Ｕ）
Ｐ（X＝０，Y＝１）＝[ｎ（Ｂ）－ｎ（Ａ∩Ｂ）]／ｎ（Ｕ）
Ｐ（X＝１，Y＝１）＝ｎ（Ａ∩Ｂ]／ｎ（Ｕ）
Ｐ（X＝１，Y＝０）＝[ｎ（Ａ）－ｎ（Ａ∩Ｂ）]／ｎ（Ｕ）
Ｐ（X＝０，Y＝１）＝[ｎ（Ｂ）－ｎ（Ａ∩Ｂ）]／ｎ（Ｕ）
Ｐ（X＝１，Y＝１）＝ｎ（Ａ∩Ｂ]／ｎ（Ｕ）
【0203】
これで、集合Ａ, Ｂから確率変数 X, Y の同時分布Ｐ（X, Y） が 自然に定義できたことになる。集合Ａと集合Ｂとの間の距離および類似度を、確率変数 X, Y の同時確率分布Ｐ（X, Y）から導出された X と Y との間の距離および類似度をもって、以下の(指標1)～(指標12)として定義することができる。
【0204】
(指標1) ｄNSI（Ａ，Ｂ）＝ｄNSI（X＝１，Y＝１）
(指標2) ｓｉｍNSI（Ａ，Ｂ）＝ｓｉｍNSI（X＝１，Y＝１）
(指標3) ｄNSI（Ａ→Ｂ）＝ｄNSI（X＝１→Y＝１）
(指標4) ｄNSI（Ｂ→Ａ）＝ｄNSI（Y＝１→X＝１）
(指標5) ｓｉｍNSI（Ａ→Ｂ）＝ｓｉｍNSI（X＝１→Y＝１）
(指標6) ｓｉｍNSI（Ｂ→Ａ）＝ｓｉｍNSI（Y＝１→X＝１）
(指標7) ｄNMI（Ａ，Ｂ）＝ｄNMI（X，Y）
(指標8) ｓｉｍNMI（Ａ，Ｂ）＝ｓｉｍNMI（X，Y）
(指標9) ｄNMI（Ａ→Ｂ）＝ｄNMI（X→Y）
(指標10) ｄNMI（Ｂ→Ａ）＝ｄNMI（Y→X）
(指標11) ｓｉｍNMI（Ａ→Ｂ）＝ｓｉｍNMI（X→Y）
(指標12) ｓｉｍNMI（Ｂ→Ａ）＝ｓｉｍNMI（Y→X）
(指標2) ｓｉｍNSI（Ａ，Ｂ）＝ｓｉｍNSI（X＝１，Y＝１）
(指標3) ｄNSI（Ａ→Ｂ）＝ｄNSI（X＝１→Y＝１）
(指標4) ｄNSI（Ｂ→Ａ）＝ｄNSI（Y＝１→X＝１）
(指標5) ｓｉｍNSI（Ａ→Ｂ）＝ｓｉｍNSI（X＝１→Y＝１）
(指標6) ｓｉｍNSI（Ｂ→Ａ）＝ｓｉｍNSI（Y＝１→X＝１）
(指標7) ｄNMI（Ａ，Ｂ）＝ｄNMI（X，Y）
(指標8) ｓｉｍNMI（Ａ，Ｂ）＝ｓｉｍNMI（X，Y）
(指標9) ｄNMI（Ａ→Ｂ）＝ｄNMI（X→Y）
(指標10) ｄNMI（Ｂ→Ａ）＝ｄNMI（Y→X）
(指標11) ｓｉｍNMI（Ａ→Ｂ）＝ｓｉｍNMI（X→Y）
(指標12) ｓｉｍNMI（Ｂ→Ａ）＝ｓｉｍNMI（Y→X）
【0205】
上述のように、ｄNSI 、ｄNMIは距離を、ｓｉｍNSI、ｓｉｍNMIは類似度を表す。したがって、上記(指標1) ～(指標12)のうち、 (指標1) (指標3) (指標4) (指標7) (指標9) (指標10)は、２つの集合間の距離の指標であり、(指標2) (指標5) (指標6) (指標8) (指標11) (指標12)は、２つの集合間の類似度の指標である。距離の指標は、その値が大きくなる程、相違が大きく、その値が小さくなる程、相違が小さいことを示し、類似度の指標は、その値が大きくなる程、相違が小さく、その値が小さくなる程、相違が大きいことを示す。すなわち、距離の指標も類似度の指標も、大きな概念としての関係性の指標となる。例えば、距離の指標の値が小さい場合、類似度が高いと判断することもできるため、距離の指標も関係性の指標として用いることができる。ここで、(指標1) (指標2)について書き換えを行い、その詳細を示す。(指標1)については、以下のように書き換えることができる。
【0206】
(指標1)
ｄNSI（Ａ，Ｂ）＝ｄNSI（X＝１，Y＝１）
＝（（ｈ（X＝１，Y＝１）－ｍａｘ（ｈ（X＝１，Y＝１）））／ｍｉｎ（ｈ（X＝１），ｈ（Y＝１））
＝（－ｌｏｇ（Ｐ（X＝１，Y＝１））－ｍａｘ（－ｌｏｇ（Ｐ（X＝１）），－ｌｏｇ（Ｐ（Y＝１）））／ｍｉｎ（－ｌｏｇ（Ｐ（X＝１）），－ｌｏｇ（Ｐ（Y＝１）））＝（－ｌｏｇ（ｎ（Ａ∩Ｂ））＋ｌｏｇ（ｍｉｎ（ｎ（Ａ），ｎ（Ｂ））））／（－ｌｏｇ（ｍａｘ（ｎ（Ａ），ｎ（Ｂ）））＋ｌｏｇ（ｎ（Ｕ）））
ｄNSI（Ａ，Ｂ）＝ｄNSI（X＝１，Y＝１）
＝（（ｈ（X＝１，Y＝１）－ｍａｘ（ｈ（X＝１，Y＝１）））／ｍｉｎ（ｈ（X＝１），ｈ（Y＝１））
＝（－ｌｏｇ（Ｐ（X＝１，Y＝１））－ｍａｘ（－ｌｏｇ（Ｐ（X＝１）），－ｌｏｇ（Ｐ（Y＝１）））／ｍｉｎ（－ｌｏｇ（Ｐ（X＝１）），－ｌｏｇ（Ｐ（Y＝１）））＝（－ｌｏｇ（ｎ（Ａ∩Ｂ））＋ｌｏｇ（ｍｉｎ（ｎ（Ａ），ｎ（Ｂ））））／（－ｌｏｇ（ｍａｘ（ｎ（Ａ），ｎ（Ｂ）））＋ｌｏｇ（ｎ（Ｕ）））
【0207】
また、(指標2) については、以下のように書き換えることができる。
【0208】
(指標2)
ｓｉｍNSI（Ａ，Ｂ）＝ｓｉｍNSI（X＝１，Y＝１）
＝（（ｈ（X＝１＋ｈ（Y＝１）－ｈ（X＝１，Y＝１））／ｍｉｎ（ｈ（X＝１），ｈ（Y＝１））
＝（－ｌｏｇ（Ｐ（X＝１）－ｌｏｇ（Ｐ（Y＝１））＋ｌｏｇ（Ｐ（X＝１，Y＝１）））／ｍｉｎ（－ｌｏｇ（Ｐ（X＝１）），－ｌｏｇ（Ｐ（Y＝１）））
＝（－ｌｏｇ（ｎ（Ａ））－ｌｏｇ（ｎ（Ｂ））＋ｌｏｇ（ｎ（Ａ∩Ｂ））＋ｌｏｇ（ｎ（Ｕ）））／（－ｌｏｇ（ｍａｘ（ｎ（Ａ），ｎ（Ｂ）））＋ｌｏｇ（ｎ（Ｕ）））
ｓｉｍNSI（Ａ，Ｂ）＝ｓｉｍNSI（X＝１，Y＝１）
＝（（ｈ（X＝１＋ｈ（Y＝１）－ｈ（X＝１，Y＝１））／ｍｉｎ（ｈ（X＝１），ｈ（Y＝１））
＝（－ｌｏｇ（Ｐ（X＝１）－ｌｏｇ（Ｐ（Y＝１））＋ｌｏｇ（Ｐ（X＝１，Y＝１）））／ｍｉｎ（－ｌｏｇ（Ｐ（X＝１）），－ｌｏｇ（Ｐ（Y＝１）））
＝（－ｌｏｇ（ｎ（Ａ））－ｌｏｇ（ｎ（Ｂ））＋ｌｏｇ（ｎ（Ａ∩Ｂ））＋ｌｏｇ（ｎ（Ｕ）））／（－ｌｏｇ（ｍａｘ（ｎ（Ａ），ｎ（Ｂ）））＋ｌｏｇ（ｎ（Ｕ）））
【0209】
結果として、(指標1)～(指標6)については、以下のように導き出すことができる。
【0210】
(指標1) ｄNSI（Ａ，Ｂ）
＝（－ｌｏｇ（ｎ（Ａ∩Ｂ））＋ｌｏｇ（ｍｉｎ（ｎ（Ａ），ｎ（Ｂ））））／（－ｌｏｇ（ｍａｘ（ｎ（Ａ），ｎ（Ｂ）））＋ｌｏｇ（ｎ（Ｕ）））
(指標2) ｓｉｍNSI（Ａ，Ｂ）
＝（－ｌｏｇ（ｎ（Ａ））－ｌｏｇ（ｎ（Ｂ））＋ｌｏｇ（ｎ（Ａ∩Ｂ））＋ｌｏｇ（ｎ（Ｕ）））／（－ｌｏｇ（ｍａｘ（ｎ（Ａ），ｎ（Ｂ）））＋ｌｏｇ（ｎ（Ｕ）））
(指標3) ｄNSI（Ａ→Ｂ）
＝（－ｌｏｇ（ｎ（Ａ∩Ｂ））＋ｌｏｇ（ｎ（Ａ）））／（－ｌｏｇ（ｎ（Ｂ）））＋ｌｏｇ（ｎ（Ｕ）））
(指標4) ｄNSI（Ｂ→Ａ）
＝（－ｌｏｇ（ｎ（Ａ∩Ｂ））＋ｌｏｇ（ｎ（Ｂ）））／（－ｌｏｇ（ｎ（Ａ）））＋ｌｏｇ（ｎ（Ｕ）））
(指標5) ｓｉｍNSI（Ａ→Ｂ）
＝（－ｌｏｇ（ｎ（Ａ））－ｌｏｇ（ｎ（Ｂ））＋ｌｏｇ（ｎ（Ａ∩Ｂ））＋ｌｏｇ（ｎ（Ｕ）））／（－ｌｏｇ（ｎ（Ｂ））＋ｌｏｇ（ｎ（Ｕ）））
(指標6) ｓｉｍNSI（Ｂ→Ａ）
＝（－ｌｏｇ（ｎ（Ａ））－ｌｏｇ（ｎ（Ｂ））＋ｌｏｇ（ｎ（Ａ∩Ｂ））＋ｌｏｇ（ｎ（Ｕ）））／（－ｌｏｇ（ｎ（Ａ））＋ｌｏｇ（ｎ（Ｕ）））
＝（－ｌｏｇ（ｎ（Ａ∩Ｂ））＋ｌｏｇ（ｍｉｎ（ｎ（Ａ），ｎ（Ｂ））））／（－ｌｏｇ（ｍａｘ（ｎ（Ａ），ｎ（Ｂ）））＋ｌｏｇ（ｎ（Ｕ）））
(指標2) ｓｉｍNSI（Ａ，Ｂ）
＝（－ｌｏｇ（ｎ（Ａ））－ｌｏｇ（ｎ（Ｂ））＋ｌｏｇ（ｎ（Ａ∩Ｂ））＋ｌｏｇ（ｎ（Ｕ）））／（－ｌｏｇ（ｍａｘ（ｎ（Ａ），ｎ（Ｂ）））＋ｌｏｇ（ｎ（Ｕ）））
(指標3) ｄNSI（Ａ→Ｂ）
＝（－ｌｏｇ（ｎ（Ａ∩Ｂ））＋ｌｏｇ（ｎ（Ａ）））／（－ｌｏｇ（ｎ（Ｂ）））＋ｌｏｇ（ｎ（Ｕ）））
(指標4) ｄNSI（Ｂ→Ａ）
＝（－ｌｏｇ（ｎ（Ａ∩Ｂ））＋ｌｏｇ（ｎ（Ｂ）））／（－ｌｏｇ（ｎ（Ａ）））＋ｌｏｇ（ｎ（Ｕ）））
(指標5) ｓｉｍNSI（Ａ→Ｂ）
＝（－ｌｏｇ（ｎ（Ａ））－ｌｏｇ（ｎ（Ｂ））＋ｌｏｇ（ｎ（Ａ∩Ｂ））＋ｌｏｇ（ｎ（Ｕ）））／（－ｌｏｇ（ｎ（Ｂ））＋ｌｏｇ（ｎ（Ｕ）））
(指標6) ｓｉｍNSI（Ｂ→Ａ）
＝（－ｌｏｇ（ｎ（Ａ））－ｌｏｇ（ｎ（Ｂ））＋ｌｏｇ（ｎ（Ａ∩Ｂ））＋ｌｏｇ（ｎ（Ｕ）））／（－ｌｏｇ（ｎ（Ａ））＋ｌｏｇ（ｎ（Ｕ）））
【0211】
上記(指標1)～(指標6)は、２変数の同時確率分布の正規化自己情報量である。このうち、(指標1)、(指標2)は、対称な関係性の指標であり、(指標3)～(指標6)は、非対称な関係性の指標である。したがって、２変数の同時確率分布の非対称正規化自己情報量である(指標3)～(指標6)のいずれかを２つの集合間の非対称な関係性の指標として用いることができる。
【0212】
(指標7)～(指標12)については、複雑になるため、間接的に表記する。まず、確率について、以下のように定義する。なおＡ´はＡの補集合であり、Ｂ´はＢの補集合である。
【0213】
Ｐ（Ａ）＝ｎ（Ａ）／ｎ（Ｕ）
Ｐ（Ｂ）＝ｎ（Ｂ）／ｎ（Ｕ）
Ｐ（Ａ´）＝（ｎ（Ｕ）－ｎ（Ａ））／ｎ（Ｕ）
Ｐ（Ｂ´）＝（ｎ（Ｕ）－ｎ（Ｂ））／ｎ（Ｕ）
Ｐ（Ａ´∩Ｂ´）＝（ｎ（Ｕ）－ｎ（Ａ）－ｎ（Ｂ）＋ｎ（Ａ∩Ｂ））／ｎ（Ｕ）
Ｐ（Ａ∩Ｂ´）＝（ｎ（Ａ）－ｎ（Ａ∩Ｂ））／ｎ（Ｕ）
Ｐ（Ａ´∩Ｂ）＝（ｎ（Ｂ）－ｎ（Ａ∩Ｂ））／ｎ（Ｕ）
Ｐ（Ａ∩Ｂ）＝ｎ（Ａ∩Ｂ）／ｎ（Ｕ）
Ｐ（Ｂ）＝ｎ（Ｂ）／ｎ（Ｕ）
Ｐ（Ａ´）＝（ｎ（Ｕ）－ｎ（Ａ））／ｎ（Ｕ）
Ｐ（Ｂ´）＝（ｎ（Ｕ）－ｎ（Ｂ））／ｎ（Ｕ）
Ｐ（Ａ´∩Ｂ´）＝（ｎ（Ｕ）－ｎ（Ａ）－ｎ（Ｂ）＋ｎ（Ａ∩Ｂ））／ｎ（Ｕ）
Ｐ（Ａ∩Ｂ´）＝（ｎ（Ａ）－ｎ（Ａ∩Ｂ））／ｎ（Ｕ）
Ｐ（Ａ´∩Ｂ）＝（ｎ（Ｂ）－ｎ（Ａ∩Ｂ））／ｎ（Ｕ）
Ｐ（Ａ∩Ｂ）＝ｎ（Ａ∩Ｂ）／ｎ（Ｕ）
【0214】
また、エントロピーについて、以下のように定義する。
Ｈ（Ａ）＝－Ｐ（Ａ´）ｌｏｇ（Ｐ（Ａ´））－Ｐ（Ａ）ｌｏｇ（Ｐ（Ａ））
Ｈ（Ｂ）＝－Ｐ（Ｂ´）ｌｏｇ（Ｐ（Ｂ´））－Ｐ（Ｂ）ｌｏｇ（Ｐ（Ｂ））
Ｈ（Ａ，Ｂ）＝－Ｐ（Ａ´∩Ｂ´）ｌｏｇ（Ｐ（Ａ´∩Ｂ´））－Ｐ（Ａ∩Ｂ´）ｌｏｇ（Ｐ（Ａ∩Ｂ´））－Ｐ（Ａ´∩Ｂ）ｌｏｇ（Ｐ（Ａ´∩Ｂ））－Ｐ（Ａ∩Ｂ）ｌｏｇ（Ｐ（Ａ∩Ｂ））
Ｈ（Ａ）＝－Ｐ（Ａ´）ｌｏｇ（Ｐ（Ａ´））－Ｐ（Ａ）ｌｏｇ（Ｐ（Ａ））
Ｈ（Ｂ）＝－Ｐ（Ｂ´）ｌｏｇ（Ｐ（Ｂ´））－Ｐ（Ｂ）ｌｏｇ（Ｐ（Ｂ））
Ｈ（Ａ，Ｂ）＝－Ｐ（Ａ´∩Ｂ´）ｌｏｇ（Ｐ（Ａ´∩Ｂ´））－Ｐ（Ａ∩Ｂ´）ｌｏｇ（Ｐ（Ａ∩Ｂ´））－Ｐ（Ａ´∩Ｂ）ｌｏｇ（Ｐ（Ａ´∩Ｂ））－Ｐ（Ａ∩Ｂ）ｌｏｇ（Ｐ（Ａ∩Ｂ））
【0215】
(指標7)～(指標12)については、平均情報量を用いて以下のように定義することができる。
【0216】
(指標7) ｄNSI（Ａ，Ｂ）
＝（Ｈ（Ａ，Ｂ）－ｍａｘ（Ｈ（Ａ），（Ｈ（Ｂ）））／ｍｉｎ（Ｈ（Ａ），（Ｈ（Ｂ））
(指標8) ｓｉｍNMI（Ａ，Ｂ）
＝（Ｈ（Ａ）＋Ｈ（Ｂ）－Ｈ（Ａ，Ｂ））／ｍｉｎ（Ｈ（Ａ），（Ｈ（Ｂ））
(指標9) ｄNMI（Ａ→Ｂ）
＝（Ｈ（Ａ，Ｂ）－Ｈ（Ａ））／Ｈ（Ｂ）
(指標10) ｄNMI（Ｂ→Ａ）
＝（Ｈ（Ａ，Ｂ）－Ｈ（Ｂ））／Ｈ（Ａ）
(指標11) ｓｉｍNMI（Ａ→Ｂ）
＝（Ｈ（Ａ）＋Ｈ（Ｂ）－Ｈ（Ａ，Ｂ））／Ｈ（Ｂ）
(指標12) ｓｉｍNMI（Ｂ→Ａ）
＝（Ｈ（Ａ）＋Ｈ（Ｂ）－Ｈ（Ａ，Ｂ））／Ｈ（Ａ）
＝（Ｈ（Ａ，Ｂ）－ｍａｘ（Ｈ（Ａ），（Ｈ（Ｂ）））／ｍｉｎ（Ｈ（Ａ），（Ｈ（Ｂ））
(指標8) ｓｉｍNMI（Ａ，Ｂ）
＝（Ｈ（Ａ）＋Ｈ（Ｂ）－Ｈ（Ａ，Ｂ））／ｍｉｎ（Ｈ（Ａ），（Ｈ（Ｂ））
(指標9) ｄNMI（Ａ→Ｂ）
＝（Ｈ（Ａ，Ｂ）－Ｈ（Ａ））／Ｈ（Ｂ）
(指標10) ｄNMI（Ｂ→Ａ）
＝（Ｈ（Ａ，Ｂ）－Ｈ（Ｂ））／Ｈ（Ａ）
(指標11) ｓｉｍNMI（Ａ→Ｂ）
＝（Ｈ（Ａ）＋Ｈ（Ｂ）－Ｈ（Ａ，Ｂ））／Ｈ（Ｂ）
(指標12) ｓｉｍNMI（Ｂ→Ａ）
＝（Ｈ（Ａ）＋Ｈ（Ｂ）－Ｈ（Ａ，Ｂ））／Ｈ（Ａ）
【0217】
上記(指標7)～(指標12)は、２変数の同時確率分布の正規化相互情報量である。このうち、(指標7)、(指標8)は、対称な関係性の指標であり、(指標9)～(指標12)は、非対称な関係性の指標である。したがって、２変数の同時確率分布の非対称正規化相互情報量である(指標9)～(指標12)のいずれかを２つの集合間の非対称な関係性の指標として用いることができる。
【0218】
ここまでで、前述した （Ｂ１）～（Ｂ３）の （Ｂ１）と（Ｂ２）について、集合Ａ,Ｂを用いて定義した。次に、（Ｂ３）その他の様々な指標の１つとして、Pearson 係数と回帰係数について述べる。
【0219】
関係性
ｓｉｍP（Ａ，Ｂ）＝（ｎ（Ａ∩Ｂ）ｎ（Ｕ）－ｎ（Ａ）ｎ（Ｂ））／（ｎ（Ａ）（ｎ（Ｕ）－ｎ（Ａ））ｎ（Ｂ）（ｎ（Ｕ）－ｎ（Ｂ）））1/2
ｓｉｍP（Ａ，Ｂ）＝（ｎ（Ａ∩Ｂ）ｎ（Ｕ）－ｎ（Ａ）ｎ（Ｂ））／（ｎ（Ａ）（ｎ（Ｕ）－ｎ（Ａ））ｎ（Ｂ）（ｎ（Ｕ）－ｎ（Ｂ）））1/2
【0220】
Pearson 係数は、全体集合Ｕの要素の個数ｎ（Ｕ）を用いている。また、Pearson 係数は、確率変数 X, Y の直積の確率分布の相関係数 ρ である。また、Pearson 係数は、－１以上１以下の実数値をとる。また、Pearson 係数は、無相関 (独立) のときに値０をとる。Pearson 係数には非対称版がある。非対称版は、回帰係数(Regression Coefficient) であり、以下のように定義される。
【0221】
(指標13) ｓｉｍRC（Ａ→Ｂ）
＝（ｎ（Ａ∩Ｂ）ｎ（Ｕ）－ｎ（Ａ）ｎ（Ｂ））／（ｎ（Ａ）（ｎ（Ｕ）－ｎ（Ａ））
(指標14) ｓｉｍRC（Ｂ→Ａ）
＝（ｎ（Ａ∩Ｂ）ｎ（Ｕ）－ｎ（Ａ）ｎ（Ｂ））／（ｎ（Ｂ）（ｎ（Ｕ）－ｎ（Ｂ））
＝（ｎ（Ａ∩Ｂ）ｎ（Ｕ）－ｎ（Ａ）ｎ（Ｂ））／（ｎ（Ａ）（ｎ（Ｕ）－ｎ（Ａ））
(指標14) ｓｉｍRC（Ｂ→Ａ）
＝（ｎ（Ａ∩Ｂ）ｎ（Ｕ）－ｎ（Ａ）ｎ（Ｂ））／（ｎ（Ｂ）（ｎ（Ｕ）－ｎ（Ｂ））
【0222】
Pearson 係数の非対称版である上記(指標13)、(指標14)は、２変数の同時確率分布の正規化相互情報量である。したがって、２変数の同時確率分布の回帰係数であるPearson 係数の非対称版を２つの集合間の非対称な関係性の指標として用いることができる。
【0223】
以上のように、２つの集合間の非対称な関係性の指標について説明してきたが、本実施形態では、２変数の同時確率分布の非対称正規化自己情報量である(指標3)～(指標6)、２変数の同時確率分布の非対称正規化相互情報量である(指標9)～(指標12)、２変数の同時確率分布の正規化相互情報量である(指標13)、(指標14)のうちのいずれかを、２つの集合間の非対称な関係性の指標として用いることができる。特に、（Ａ→Ｂ）（Ｂ→Ａ）の各集合の向きを逆にしたものをペアとして用いると、２つのアイテムの相互の依存関係が明確になる。
【0224】
２つの集合間の非対称な関係性の指標としては、上記のようにして求められる指標はもちろんのこと、その他の指標も用いることができる。本実施形態では、すべてのアイテムに関連する集合を包含する全体集合の要素の個数をｎ（Ｕ）、一方のアイテムに関連する集合の要素の個数をｎ（Ａ）、他方のアイテムに関連する集合の要素の個数をｎ（Ｂ）、これらの ２つの集合の積集合の要素の個数をｎ（Ａ∩Ｂ）としたときに、生成される３つのタイプの指標を用いている。
【0225】
１つ目のタイプは、(指標3)～(指標6)のような、集合の要素の個数ｎ（Ｕ）、ｎ（Ａ）、ｎ（Ｂ）、ｎ（Ａ∩Ｂ）により生成される ２変数の同時確率分布の非対称正規化自己情報量である。２つ目のタイプは、(指標9)～(指標12)のような、集合の要素の個数ｎ（Ｕ）、ｎ（Ａ）、ｎ（Ｂ）、ｎ（Ａ∩Ｂ）により生成される２変数の同時確率分布の非対称正規化相互情報量である。３つ目のタイプは、(指標13)(指標14)のような、集合の要素の個数ｎ（Ｕ）、ｎ（Ａ）、ｎ（Ｂ）、ｎ（Ａ∩Ｂ）により生成される２変数の同時確率分布の回帰係数である。
【0226】
１つ目のタイプの同時確率分布の非対称正規化自己情報量としては、 (指標5) (指標6)（または(指標3) (指標4)）を用いることができる。例えば、(指標5) (指標6)を用いる場合、関係性行列生成手段２２が、ステップＳ３０において上記(指標5) (指標6)に従った処理を実行する。具体的には、単語データベース１０から抽出した単語に基づいて、共通要素数ｍjjをｎ（Ａ）、共通要素数ｍiiをｎ（Ｂ）、共通要素数ｍji（＝ｍij）をｎ（Ａ∩Ｂ）とし、単語データベース１０において設定されている全単語数をｎ（Ｕ）として、上記(指標5) (指標6)に従った処理を実行する。そして、(指標5) (指標6)に従って算出されたｓｉｍNSI（Ａ→Ｂ）、ｓｉｍNSI（Ｂ→Ａ）を関係性の指標値ｓji、ｓijとして求める。これにより、関係性行列Ｓ＝［ｓji］（ｊ＝１,２,３,・・・,ｎ；ｉ＝１,２,３,・・・,ｎ）が算出される。
【0227】
２つ目のタイプの同時確率分布の非対称正規化相互情報量としては、 (指標11) (指標12)（または(指標9) (指標10)）を用いることができる。例えば、(指標11) (指標12)を用いる場合、関係性行列生成手段２２が、ステップＳ３０において上記(指標11) (指標12)に従った処理を実行する。具体的には、単語データベース１０から抽出した単語に基づいて、共通要素数ｍjjをｎ（Ａ）、共通要素数ｍiiをｎ（Ｂ）、共通要素数ｍji（＝ｍij）をｎ（Ａ∩Ｂ）とし、単語データベース１０において設定されている全単語数をｎ（Ｕ）として、上記(指標11) (指標12)に従った処理を実行する。ただし、(指標11) (指標12)は、実際は、平均情報量Ｈ（Ａ）、Ｈ（Ｂ）Ｈ（Ａ，Ｂ）を用いた式であるので、前ページの確率定義の式、エントロピー定義の式を用いて、要素の個数ｎ（Ｕ）、ｎ（Ａ）、ｎ（Ｂ）、ｎ（Ａ∩Ｂ）を用いた式を用いる。すなわち、関係性行列生成手段２２は、要素の個数ｎ（Ｕ）、ｎ（Ａ）、ｎ（Ｂ）、ｎ（Ａ∩Ｂ）を用いた同時確率分布の非対称正規化相互情報量算出のための式に従った処理を実行して、算出されたｓｉｍNMI（Ａ→Ｂ）、ｓｉｍNMI（Ｂ→Ａ）を関係性の指標値ｓji、ｓijとして求める。これにより、類似度行列Ｓ＝［ｓji］（ｊ＝１,２,３,・・・,ｎ；ｉ＝１,２,３,・・・,ｎ）が算出される。
【0228】
３つ目のタイプの同時確率分布の回帰係数としては、(指標13)(指標14)を用いることができる。この場合、関係性行列生成手段２２が、ステップＳ３０において上記、(指標13)(指標14)に従った処理を実行する。具体的には、単語データベース１０から抽出した単語に基づいて、共通要素数ｍjjをｎ（Ａ）、共通要素数ｍiiをｎ（Ｂ）、共通要素数ｍji（＝ｍij）をｎ（Ａ∩Ｂ）とし、単語データベース１０において設定されている全単語数をｎ（Ｕ）として、上記、(指標13)(指標14)に従った処理を実行する。そして、(指標13)(指標14)に従って算出されたｓｉｍRC（Ａ→Ｂ）、ｓｉｍRC（Ｂ→Ａ）を関係性の指標値ｓji、ｓijとして求める。これにより、関係性行列Ｓ＝［ｓji］（ｊ＝１,２,３,・・・,ｎ；ｉ＝１,２,３,・・・,ｎ）が生成される。
【0229】
ステップＳ３０にて関係性行列生成手段２２が関係性行列Ｓを生成した後、ステップＳ４０にて被調整行列生成手段２３が被調整行列Ｗを生成し、ステップＳ５０にて、被調整行列Ｗに基づいて、座標値算出手段２４が座標値を算出する。そして、ステップＳ６０にて、アイテム配置手段２７が、算出された座標値に対応するアイテムを配置する。実際には、アイテムの名称等を含むノードを所定の座標値に割り当てて、表示デバイス等の出力手段用のデータを生成して、表示部６等の出力手段３０から出力した。
【0230】
＜４．具体的な例＞
次に、具体的なデータを用いた例で説明する。文書として、３６編の小説を用いた。このような３６編の文書を、文書を識別する文書ＩＤと対応付けて文書データベース１１に登録しておく。ステップＳ１０において、形態素解析手段２５は、形態素解析を実行し、単語を抽出する。この状態で、抽出した単語を、単語を識別する単語ＩＤと出現した文書の文書ＩＤと対応付けて単語データベース１０に登録する。
次に、具体的なデータを用いた例で説明する。文書として、３６編の小説を用いた。このような３６編の文書を、文書を識別する文書ＩＤと対応付けて文書データベース１１に登録しておく。ステップＳ１０において、形態素解析手段２５は、形態素解析を実行し、単語を抽出する。この状態で、抽出した単語を、単語を識別する単語ＩＤと出現した文書の文書ＩＤと対応付けて単語データベース１０に登録する。
【0231】
この単語データベース１０が記憶する情報から、文書ＩＤを特定することにより、その文書ＩＤの文書に出現する単語を特定することができる。ステップＳ２０において、関係性行列生成手段２２は、３６の文書の中から２つの文書を抽出し、２つの文書が共通に有する単語の数を共通要素数として算出する。これは、単語データベース１０を、２つの文書ＩＤで参照し、２つの文書ＩＤに共通に対応付けて記憶されている単語ＩＤの数を特定することにより算出される。３６の文書の中から全ての２つの文書の組み合わせについて算出することにより、共通要素数を成分とする３６×３６の共通要素数行列が得られる。
【0232】
そして、ステップＳ３０にて関係性行列生成手段２２が関係性行列Ｓを生成した後、ステップＳ４０にて被調整行列生成手段２３が被調整行列Ｗを生成し、ステップＳ５０にて、被調整行列Ｗに基づいて、座標値算出手段２４が座標値を算出する。
【0233】
ステップＳ６０において、アイテム配置手段２７は、３次元空間を２次元平面に投影した空間斜視図と、３次元のうち、全ての２次元の組み合わせを投影した３つの２次元投影図を、散布図の形態で生成する。空間斜視図においては、省スペース化のため、各アイテムを小さな円で表示し、２次元投影図では、アイテムに作者名と作品名を表示する。このような散布図の様子を図８に示す。
【0234】
図８に示すような散布図を作成することにより、作品間の関係性を示す位置関係が一目瞭然となる。どの作品がどの作品に近いか、また全作品の関係性を示す全体構造の把握が可能となる。
【0235】
図８に示したように、関心対象カテゴリに属する各アイテムに対して、それに関連するデータに基づいてアイテム間の関係性を抽出し、各アイテムをノードとする散布図を表示することで、関心対象カテゴリに属するアイテムの分布の全体像を俯瞰的に眺めることができ、そのカテゴリの構造を把握することができる。類似したアイテムに対応するグラフ上のノードどうしは、それらが互いに近い位置に配置される。
【0236】
１つのアイテムに注目すれば、それの近くに配置された単数または複数の他のアイテムを抽出することで、概念的に近いアイテムを見つけることができる。また、全体像を眺めることで、カテゴリにおいて中心的なアイテム群と周辺的なアイテム群とを判別することができる。また、全体構造が複数のクラスタからなる場合、クラスタの構成が視覚的に把握できるという利点もある。
【0237】
以上、本開示の好適な実施形態について説明したが、本開示は上記実施形態に限定されず、種々の変形が可能である。例えば、２つのアイテムに関連する集合間の関係性の指標として、２変数の同時確率分布の非対称正規化自己情報量、２変数の同時確率分布の非対称正規化相互情報量、２変数の同時確率分布の回帰係数を用いたが、関係性の指標であれば、様々な指標を用いることができる。
【0238】
また、上記実施形態では、関心対象カテゴリに属する各アイテムとして自然言語で記述された文書を用い、この文書を入力データとして、各アイテムである文書を形態素解析することによって、形態素を抽出し、抽出された形態素からなる集合をもって、各アイテムに関連する集合としたが、事前に、各アイテムに関連する集合を用意しておいてもよい。例えば、上記実施形態において、文書データベース１１を用いずに、予め単語データベース１０だけを用意しておき、単語データベース１０に記録された情報だけを用いて、散布図等の作成に用いて有効な座標値を算出することも可能である。
【0239】
また、上記実施形態では、関心対象カテゴリを複数の文書群、各アイテムとして自然言語で記述された文書、入力データとして文書に含まれる単語の集合を用いたが、これ以外にも様々な用途を用いることができる。例えば、複数の会社に関する記事群を収集し、これらの記事群を関心対称カテゴリとして、各会社の月別の記事をアイテムとし、各記事に含まれる単語の集合を入力データとし、異なる会社の記事間の関係性を表示することもできる。また、例えば、複数の商品に関する説明文を収集し、これらの説明文群を関心対称カテゴリとして、各商品をアイテムとし、各商品の説明文に含まれる単語の集合を入力データとし、異なる商品間の関係性を表示することもできる。
【0240】
また、関心対象カテゴリに属する各アイテムとして絵画作品等を撮影して得た画像を用い、この画像を入力データとして、各アイテムである画像を画像解析することによって、画像の内容を表現する単語を特定し、特定された単語からなる集合をもって、各アイテムに関連する集合としてもよい。この場合、情報処理装置は、文書データベース１１に代えて画像データベースを備え、形態素解析手段２５に代えて画像解析手段を備えた構成とする。
【0241】
画像解析手段は、形態素解析手段２５と同様、演算処理部２０に含まれ、ＣＰＵ１が、プログラムを実行することにより実現される。そして、画像解析手段は、各画像に対して画像解析を実行し、画像を表現する内容としてタグ付けする単語を特定する。画像解析手段が実行する画像解析手法としては、公知の様々な手法を用いることができる。例えば、画像解析ソフトウェアとして米国 Clarifai 社の「Clarifai」という画像タグづけソフトウェアを用いることができる。特定された単語は、その画像の画像ＩＤと対応付けて、単語データベースに登録される。この単語データベースは、単語を識別する単語識別情報である単語ＩＤに対応付けて、単語、その単語が内容を表現するタグとして付与された画像の画像ＩＤが記憶されたものとなっている。この単語データベースは、上記実施形態における単語データベース１０と同様に扱われる。そして、情報処理装置は、単語データベースに登録された情報に基づいて、各アイテム（画像）に対応する座標値を算出して散布図を作成する。
【符号の説明】
【0242】
１・・・ＣＰＵ（Central Processing Unit）
２・・・ＲＡＭ（Random Access Memory）
３・・・記憶装置
４・・・指示入力Ｉ／Ｆ
５・・・データ入出力Ｉ／Ｆ
６・・・表示部
７・・・ＧＰＵ
８・・・フレームメモリ
１０・・・単語データベース
１１・・・文書データベース
２０・・・演算処理部
２１・・・共通要素数行列生成手段
２２・・・関係性行列生成手段
２３・・・被調整行列生成手段
２４・・・座標値算出手段
２５・・・形態素解析手段
２７・・・アイテム配置手段
３０・・・出力手段
１００・・・情報処理装置
２・・・ＲＡＭ（Random Access Memory）
３・・・記憶装置
４・・・指示入力Ｉ／Ｆ
５・・・データ入出力Ｉ／Ｆ
６・・・表示部
７・・・ＧＰＵ
８・・・フレームメモリ
１０・・・単語データベース
１１・・・文書データベース
２０・・・演算処理部
２１・・・共通要素数行列生成手段
２２・・・関係性行列生成手段
２３・・・被調整行列生成手段
２４・・・座標値算出手段
２５・・・形態素解析手段
２７・・・アイテム配置手段
３０・・・出力手段
１００・・・情報処理装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
