ホーム > 特許ランキング > 国立大学法人岩手大学
知財求人 - 知財ポータルサイト「IP Force」
特許7485354統計的距離行列の計算方法、統計的距離行列の可視化方法及び装置及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-08
(45)【発行日】2024-05-16
(54)【発明の名称】統計的距離行列の計算方法、統計的距離行列の可視化方法及び装置及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240509BHJP
【ＦＩ】
G06T7/00 300F
【請求項の数】
12
(21)【出願番号】P 2020158384
(22)【出願日】2020-09-23
(65)【公開番号】P2022052171
(43)【公開日】2022-04-04
【審査請求日】2023-05-31
【新規性喪失の例外の表示】特許法第３０条第２項適用 １．令和２年６月７日に公開された米国コーネル大学図書館が運営する研究文献の電子アーカイブ「ａｒＸｉｖ」上のウェブサイトアドレス ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２００６．０４０１７ｖ１．ｐｄｆ、 ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２００６．０４０１７ｖ１、及び、 ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２００６．０４０１７を通じて、「ａｒＸｉｖ：２００６．０４０１７ｖ１」、「ａｒＸｉｖ：２００６．０４０１７」で発表（表題：Ｉｎｆｏｒｍａｔｉｏｎ Ｍａｎｄａｌａ： Ｓｔａｔｉｓｔｉｃａｌ Ｄｉｓｔａｎｃｅ Ｍａｔｒｉｘ ｗｉｔｈ Ｉｔｓ Ｃｌｕｓｔｅｒｉｎｇ） ２．令和２年６月２２日に公開された米国コーネル大学図書館が運営する研究文献の電子アーカイブ「ａｒＸｉｖ」上のウェブサイトアドレス ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２００６．０４０１７ｖ２．ｐｄｆ、 ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２００６．０４０１７ｖ２、及び、 ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２００６．０４０１７を通じて、「ａｒＸｉｖ：２００６．０４０１７ｖ２」、「ａｒＸｉｖ：２００６．０４０１７」で発表（表題：Ｉｎｆｏｒｍａｔｉｏｎ Ｍａｎｄａｌａ： Ｓｔａｔｉｓｔｉｃａｌ Ｄｉｓｔａｎｃｅ Ｍａｔｒｉｘ ｗｉｔｈ Ｃｌｕｓｔｅｒｉｎｇ）
(73)【特許権者】
【識別番号】504165591
【氏名又は名称】国立大学法人岩手大学
(74)【代理人】
【識別番号】100107010
【弁理士】
【氏名又は名称】橋爪 健
(72)【発明者】
【氏名】盧 忻
【審査官】久保 光宏
(56)【参考文献】
【文献】Xin Lu，"Information Mandala: Statistical Distance Matrix with Clustering"，arXiv:2006.04017v2，version v2，[online], arXiv (Cornell University)，2020年06月22日，Pages 1-16，[令和3年12月6日検索], インターネット, <URL: https://arxiv.org/abs/2006.04017v2>.
【文献】Lalitha Madhavi K.S., et al.，"Multivariate Deep Causal Network for Time series Forecasting in Interdependent Networks"，Proceedings of 2018 IEEE Conference on Decision and Control (CDC)，2018年12月19日，Pages 6476-6481，ISBN: 978-1-5386-1395-5, <DOI: 10.1109/CDC.2018.8619668>.
【文献】XIN LU，"Information Mandala: Statistical Distance Matrix With Clustering"，IEEE Access，2021年04月09日，Vol.9，Pages 56563-56577，ISSN: 2169-3536, <DOI: 10.1109/ACCESS.2021.3072237>.
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ７／００
Ｇ０６Ｖ１０／００－２０／９０
Ｇ０６Ｎ３／００－９９／００
ＣＳＤＢ（日本国特許庁）
学術文献等データベース（日本国特許庁）
ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）
(57)【特許請求の範囲】
【請求項1】
統計的距離行列の計算方法であって、処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１のベクトルデータａａ及び第２のベクトルデータｂｂを入力し、又は、前記処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１の行列又は画像又は集合データＡＡ及び第２の行列又は画像又は集合データＢＢを入力して前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂにベクトル化し、
前記処理部は、前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂから、それぞれ、第１の平均ベクトルμμ１と第２の平均ベクトルμμ２、及び、第１の共分散行列ΣΣ１と第２の共分散行列ΣΣ２を計算し、
前記処理部は、第１の平均ベクトルμμ１、第２の平均ベクトルμμ２、第１の共分散行列ΣΣ１、第２の共分散行列ΣΣ２により定義される統計的距離Ｄの脱トレースである統計的距離行列ＤＤ（ここで、Ｄ＝ｔｒ ＤＤ）を求め、
前記処理部は、統計的距離行列ＤＤを前記記憶部に記憶し又は表示部に表示させ又は出力部により出力させる、
統計的距離行列の計算方法。
【請求項2】
請求項１に記載の統計的距離行列の計算方法において、統計的距離はバタチャリア距離ＤＢ（＝ｔｒ ＤＤＢ）であり、統計的距離行列はバタチャリア距離行列ＤＤＢであること、
統計的距離はチャーノフ距離ＤＣ（＝ｔｒ ＤＤＣ）であり、統計的距離行列はチャーノフ距離行列ＤＤＣであること、
統計的距離はカルバック・ライブラーダイバージェンス距離ＤＫＬ（＝ｔｒ ＤＤＫＬ）であり、統計的距離行列はカルバック・ライブラーダイバージェンス距離行列ＤＤＫＬであること、
統計的距離はマハラノビス距離ＤＭ（＝ｔｒ ＤＤＭ）であり、統計的距離行列はマハラノビス距離行列ＤＤＭであること、
統計的距離は、トレース形式で表現できる統計的距離Ｄ（＝ｔｒ ＤＤ）であり、統計的距離行列はＤＤであること、
のいずれかひとつ又は複数であることを特徴とする統計的距離行列の計算方法。
【請求項3】
統計的距離行列の可視化方法であって、処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１のベクトルデータａａ及び第２のベクトルデータｂｂを入力し、又は、前記処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１の行列又は画像又は集合データＡＡ及び第２の行列又は画像又は集合データＢＢを入力して前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂにベクトル化し、
前記処理部は、前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂから、それぞれ、第１の平均ベクトルμμ１と第２の平均ベクトルμμ２、及び、第１の共分散行列ΣΣ１と第２の共分散行列ΣΣ２を計算し、
前記処理部は、第１の平均ベクトルμμ１、第２の平均ベクトルμμ２、第１の共分散行列ΣΣ１、第２の共分散行列ΣΣ２により定義される統計的距離Ｄの脱トレースである統計的距離行列ＤＤ（ここで、Ｄ＝ｔｒ ＤＤ）を求め、
前記処理部は、統計的距離行列ＤＤの各対角成分に対して対角成分を含む行及び列の距離成分を累積して距離累積ベクトルφφを求め、
前記処理部は、距離累積ベクトルφφを距離累積行列ΦΦに行列化し、
前記処理部は、距離累積行列ΦΦ又は距離累積行列ΦΦによる画像を前記記憶部に記憶し又は表示部に表示させ又は出力部により出力させる、
統計的距離行列の可視化方法。
【請求項4】
請求項３に記載の統計的距離行列の可視化方法において、前記処理部は、前記統計的距離行列ＤＤに対してクラスタリング処理を実行して、各行番号若しくは列番号に対するクラスタラベル、又は、各行番号若しくは列番号に対応する要素ＩＤに対するクラスタラベルを要素とするクラスタラベルベクトル若しくは集合又は要素ラベル集合を求め、
前記処理部は、クラスタラベルベクトル若しくは集合又は要素ラベル集合を行列化したときの行及び列に対応する距離累積行列ΦΦの行および列の各成分に、さらにクラスタラベルを付ける、
ことを特徴とする統計的距離行列の可視化方法。
【請求項5】
請求項３又は４に記載の統計的距離行列の可視化方法において、前記処理部は、距離累積行列ΦΦのパターンにより第１のベクトルデータａａと第２のベクトルデータｂｂとの類似性を判定し、
前記処理部は、類似性を表すデータを前記記憶部に記憶し又は前記表示部に表示させ又は前記出力部により出力させる、
ことを特徴とする統計的距離行列の可視化方法。
【請求項6】
統計的距離行列の可視化方法であって、処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１のベクトルデータａａ及び第２のベクトルデータｂｂを入力し、又は、前記処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１の行列又は画像又は集合データＡＡ及び第２の行列又は画像又は集合データＢＢを入力して前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂにベクトル化し、
前記処理部は、前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂから、それぞれ、第１の平均ベクトルμμ１と第２の平均ベクトルμμ２、及び、第１の共分散行列ΣΣ１と第２の共分散行列ΣΣ２を計算し、
前記処理部は、第１の平均ベクトルμμ１、第２の平均ベクトルμμ２、第１の共分散行列ΣΣ１、第２の共分散行列ΣΣ２により定義される統計的距離Ｄの脱トレースである統計的距離行列ＤＤ（ここで、Ｄ＝ｔｒ ＤＤ）を求め、
前記処理部は、前記統計的距離行列ＤＤに対してクラスタリング処理を実行して、各行に対応する番号若しくはＩＤ、又は、各列に対応する番号若しくはＩＤ、に対するクラスタラベルを要素とするクラスタラベルベクトル若しくは集合を求め、
前記処理部は、前記クラスタラベルベクトル若しくは集合をクラスタラベル行列に行列化し、
前記処理部は、前記クラスタラベル行列又はクラスタラベル行列による画像を前記記憶部に記憶し又は表示部に表示させ又は出力部により出力させる、
統計的距離行列の可視化方法。
【請求項7】
請求項６に記載の統計的距離行列の可視化方法において、前記処理部は、クラスタ行列のパターンにより第１のベクトルデータａａと第２のベクトルデータｂｂとの類似性を判定し、
前記処理部は、類似性を表すデータを前記記憶部に記憶し又は前記表示部に表示させ又は前記出力部により出力させる、
ことを特徴とする統計的距離行列の可視化方法。
【請求項8】
請求項３乃至７のいずれかに記載の統計的距離行列の可視化方法において、統計的距離はバタチャリア距離ＤＢ（＝ｔｒ ＤＤＢ）であり、統計的距離行列はバタチャリア距離行列ＤＤＢであること、
統計的距離はチャーノフ距離ＤＣ（＝ｔｒ ＤＤＣ）であり、統計的距離行列はチャーノフ距離行列ＤＤＣであること、
統計的距離はカルバック・ライブラーダイバージェンス距離ＤＫＬ（＝ｔｒ ＤＤＫＬ）であり、統計的距離行列はカルバック・ライブラーダイバージェンス距離行列ＤＤＫＬであること、
統計的距離はマハラノビス距離ＤＭ（＝ｔｒ ＤＤＭ）であり、統計的距離行列はマハラノビス距離行列ＤＤＭであること、
統計的距離は、トレース形式で表現できる統計的距離Ｄ（＝ｔｒ ＤＤ）であり、統計的距離行列はＤＤであること、
のいずれかひとつ又は複数であることを特徴とする統計的距離行列の可視化方法。
【請求項9】
請求項５又は７に記載の統計的距離行列の可視化方法において、前記処理部は、距離累積行列ΦΦの各要素に対して予め定められた複数の閾値でセグメンテーションを行い、複数種類の要素領域を切り出し、予め定められた各要素領域に基づく面積比ρにより類似性を判定することを特徴とする統計的距離行列の可視化方法。
【請求項10】
請求項５又は７に記載の統計的距離行列の可視化方法において、前記処理部は、前記パターンが、円形、楕円形、正方形又は長方形の形状で中心から放射状に広がるマンダラ状の画像であるマンダラパターンにより類似性を判定することを特徴とする統計的距離行列の可視化方法。
【請求項11】
統計的距離行列の可視化装置であって、処理部
を備え、
前記処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１のベクトルデータａａ及び第２のベクトルデータｂｂを入力し、又は、前記処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１の行列又は画像又は集合データＡＡ及び第２の行列又は画像又は集合データＢＢを入力して前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂにベクトル化し、
前記処理部は、前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂから、それぞれ、第１の平均ベクトルμμ１と第２の平均ベクトルμμ２、及び、第１の共分散行列ΣΣ１と第２の共分散行列ΣΣ２を計算し、
前記処理部は、第１の平均ベクトルμμ１、第２の平均ベクトルμμ２、第１の共分散行列ΣΣ１、第２の共分散行列ΣΣ２により定義される統計的距離Ｄの脱トレースである統計的距離行列ＤＤ（ここで、Ｄ＝ｔｒ ＤＤ）を求め、
前記処理部は、統計的距離行列ＤＤの各対角成分に対して対角成分を含む行及び列の距離成分を累積して距離累積ベクトルφφを求め、
前記処理部は、距離累積ベクトルφφを距離累積行列ΦΦに行列化し、
前記処理部は、距離累積行列ΦΦ又は距離累積行列ΦΦによる画像を前記記憶部に記憶し又は表示部に表示させ又は出力部により出力させる、
統計的距離行列の可視化装置。
【請求項12】
統計的距離行列の可視化プログラムであって、処理部が、入力部又は他の装置又は記憶部から、比較対象となる第１のベクトルデータａａ及び第２のベクトルデータｂｂを入力し、又は、前記処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１の行列又は画像又は集合データＡＡ及び第２の行列又は画像又は集合データＢＢを入力して前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂにベクトル化するステップと、
前記処理部が、前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂから、それぞれ、第１の平均ベクトルμμ１と第２の平均ベクトルμμ２、及び、第１の共分散行列ΣΣ１と第２の共分散行列ΣΣ２を計算するステップと、
前記処理部が、第１の平均ベクトルμμ１、第２の平均ベクトルμμ２、第１の共分散行列ΣΣ１、第２の共分散行列ΣΣ２により定義される統計的距離Ｄの脱トレースである統計的距離行列ＤＤ（ここで、Ｄ＝ｔｒ ＤＤ）を求めるステップと、、
前記処理部が、統計的距離行列ＤＤの各対角成分に対して対角成分を含む行及び列の距離成分を累積して距離累積ベクトルφφを求めるステップと、
前記処理部が、距離累積ベクトルφφを距離累積行列ΦΦに行列化するステップと、
前記処理部が、距離累積行列ΦΦ又は距離累積行列ΦΦによる画像を前記記憶部に記憶し又は表示部に表示させ又は出力部により出力させるステップ、
をコンピュータに実行させるための統計的距離行列の可視化プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、統計的距離行列の計算方法、統計的距離行列の可視化方法及び装置及びプログラムに係り、特に、統計的距離行列の精密化・表現・クラスタリングを用いた統計的距離行列の計算方法及、統計的距離行列の可視化方法及び装置及びプログラムに関する。
【背景技術】
【0002】
機械学習は、教師あり学習、教師なし学習、および強化学習という三種類に分けられる。具体的な目的として、分類、回帰、クラスタリング、次元削減、異常検知などの事例があり、解を求める方法として、サポートベクターマシーン、Ｋ平均法、決定木など多くのアルゴリズムがある。しかし、どのアルゴリズムに対しても観測値の特徴に関する距離関数の設計および最適化をしなければならない。例えば、分類におけるサポートベクターマシンは、最も効率的なカーネル関数を使用し、二つの観測値カテゴリ間の特徴距離を測定する必要がある。クラスタリングにおけるＫ平均法は、ユークリッド空間またはマハラノビス空間において、観測値をクラスターに分割し、各観測値クラスター内の特徴の平方和距離を最小化することを目的としている。
統計的距離は、二つの確率分布に従って独立に生成された標本（観測値）集合を用いて、その二つの確率分布間の距離と定義される。一般的な距離が持つわけではない数学的特性を有するため、機械学習に対して、その測定がより効果的かつ適切になり、小さな外れ値に対して、よりロバストである（頑健性がある）。今まで使用されたマハラノビス距離（Ｍａｈａｌａｎｏｂｉｓ Ｄｉｓｔａｎｃｅ）[9]、バタチャリヤ距離（Ｍａｈａｌａｎｏｂｉｓ Ｄｉｓｔａｎｃｅ）[1]、ヘリンガー距離（Ｈｅｌｌｉｎｇｅｒ Ｄｉｓｔａｎｃｅ）[4]、カルバック・ライブラーダイバージェンス（Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ Ｄｉｖｅｒｇｅｎｃｅ）[7]、チャーノフ距離（Ｃｈｅｒｎｏｆｆ Ｄｉｓｔａｎｃｅ）[2]などのいくつかの重要な統計的距離は、画像セグメンテーション、テクスチャのセグメンテーション、色とテクスチャのマッチング、特徴抽出、音声認識、動作認識などを含む人工知能の分野に広く適用されている。
統計的距離は、二つの確率分布に従って独立に生成された標本（観測値）集合を用いて、その二つの確率分布間の距離と定義される。一般的な距離が持つわけではない数学的特性を有するため、機械学習に対して、その測定がより効果的かつ適切になり、小さな外れ値に対して、よりロバストである（頑健性がある）。今まで使用されたマハラノビス距離（Ｍａｈａｌａｎｏｂｉｓ Ｄｉｓｔａｎｃｅ）[9]、バタチャリヤ距離（Ｍａｈａｌａｎｏｂｉｓ Ｄｉｓｔａｎｃｅ）[1]、ヘリンガー距離（Ｈｅｌｌｉｎｇｅｒ Ｄｉｓｔａｎｃｅ）[4]、カルバック・ライブラーダイバージェンス（Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ Ｄｉｖｅｒｇｅｎｃｅ）[7]、チャーノフ距離（Ｃｈｅｒｎｏｆｆ Ｄｉｓｔａｎｃｅ）[2]などのいくつかの重要な統計的距離は、画像セグメンテーション、テクスチャのセグメンテーション、色とテクスチャのマッチング、特徴抽出、音声認識、動作認識などを含む人工知能の分野に広く適用されている。
【0003】
従来技術としては、例えば、以下の文献が挙げられる。
特許文献１には、「畳み込み処理を含む学習器の判定制度を向上できる機械学習プログラム、機械学習方法および機械学習装置」（要約）が開示されている。
特許文献２には、「３つ以上の画像間の関連性を利用することで画像検索の精を向上させることができる」（要約）ようにした判定装置および判定方法が開示されている。
特許文献３には、「マハラノビス距離測定部を使用して、データベース内の複数の画像の中から問合せ画像を識別する」（アブストラクト）ようにした距離測定法を用いる画像検索について開示されている。
特許文献４には、「特徴の教師なし学習または半教師あり学習を実現するために、量子プロセッサが1つ以上のデータセットに階層型深層学習（HDLと呼ばれる）を実現するようにプログラムされる」(アブストラクト)ようにしたデータの量子プロセシングのためのシステム及び方法が開示されている。
特許文献１には、「畳み込み処理を含む学習器の判定制度を向上できる機械学習プログラム、機械学習方法および機械学習装置」（要約）が開示されている。
特許文献２には、「３つ以上の画像間の関連性を利用することで画像検索の精を向上させることができる」（要約）ようにした判定装置および判定方法が開示されている。
特許文献３には、「マハラノビス距離測定部を使用して、データベース内の複数の画像の中から問合せ画像を識別する」（アブストラクト）ようにした距離測定法を用いる画像検索について開示されている。
特許文献４には、「特徴の教師なし学習または半教師あり学習を実現するために、量子プロセッサが1つ以上のデータセットに階層型深層学習（HDLと呼ばれる）を実現するようにプログラムされる」(アブストラクト)ようにしたデータの量子プロセシングのためのシステム及び方法が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１９－１８５４８３号公報
【文献】特開２０１７－１６７９８７号公報
【文献】米国特許第６，６８１，０６０号公報
【文献】米国特許第１０，３１８，８８１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、今まで使用されたマハラノビス距離（Ｍａｈａｌａｎｏｂｉｓ Ｄｉｓｔａｎｃｅ）[9]、バタチャリヤ距離（Ｍａｈａｌａｎｏｂｉｓ Ｄｉｓｔａｎｃｅ）[1]、ヘリンガー距離（Ｈｅｌｌｉｎｇｅｒ Ｄｉｓｔａｎｃｅ）[4]、カルバック・ライブラーダイバージェンス（Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ Ｄｉｖｅｒｇｅｎｃｅ）[7]、チャーノフ距離（Ｃｈｅｒｎｏｆｆ Ｄｉｓｔａｎｃｅ）[2]などの従来の統計的距離は、観測値の特徴要素のサイズに関係なく、二つの観測値集合間のグローバル距離を表す、スカラー値の出力しか提供しないため、観測値内においてすべての特徴要素間のローカル距離を詳しく表現できない場合が想定されるという明らかな課題がある。したがって、スカラー値の統計的距離を距離行列に変換し、距離の精密化を実現する方法が、非常に重要になる。
一方、距離行列の概念は既にグラフ理論[3]に導入されている。例えば、有向グラフの距離行列は、重み付き隣接行列によって定義されている。各辺に重みが割り当てられている場合、二つの頂点間の距離は、二つの頂点を接続する最短パスの重みの和として測定できる。パスが方向付けられているため、その距離行列は非対称であり、対称性を持つ数学的に厳密な意味での距離ではない。各頂点の標本が十分に多い場合、相関行列または相互相関行列を使用して、隣接行列の要素の重みを同定し、距離行列として定量化する。ただし、相関行列は、すべてのデータが確率空間に従うことを前提とすれば、情報が失われるため、機械学習のいくつかの高い要件を満たさない。
また、上述の特許文献１～４には、本件発明のような、統計的距離を行列に変換する工程及び／又はその要素クラスタリングに関する手法については開示も示唆もされていない。
一方、距離行列の概念は既にグラフ理論[3]に導入されている。例えば、有向グラフの距離行列は、重み付き隣接行列によって定義されている。各辺に重みが割り当てられている場合、二つの頂点間の距離は、二つの頂点を接続する最短パスの重みの和として測定できる。パスが方向付けられているため、その距離行列は非対称であり、対称性を持つ数学的に厳密な意味での距離ではない。各頂点の標本が十分に多い場合、相関行列または相互相関行列を使用して、隣接行列の要素の重みを同定し、距離行列として定量化する。ただし、相関行列は、すべてのデータが確率空間に従うことを前提とすれば、情報が失われるため、機械学習のいくつかの高い要件を満たさない。
また、上述の特許文献１～４には、本件発明のような、統計的距離を行列に変換する工程及び／又はその要素クラスタリングに関する手法については開示も示唆もされていない。
【0006】
上述の課題を解決するために、本発明では、例えば、単純な脱トレース（ｄｅ－ｔｒａｃｅ）操作によって、従来の統計的距離を行列形式に変換し、今までにない高いパフォーマンスを持つ統計的距離行列を提案した。機械学習の分野に最も有名な画像データセットＣＩＦＡＲ－１０ [6]に関する実験を行い、複雑な場合でも統計的距離行列の効果があることを確認した。
本発明は、以上の点に鑑み、スカラー値の統計的距離を統計的距離行列に変換することで距離の精密化を実現することを目的とする。
本発明は、以上の点に鑑み、スカラー値の統計的距離を統計的距離行列に変換することで距離の精密化を実現することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第１の解決手段によると、
統計的距離行列の計算方法であって、
処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１のベクトルデータａａ及び第２のベクトルデータｂｂを入力し、又は、前記処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１の行列又は画像又は集合データＡＡ及び第２の行列又は画像又は集合データＢＢを入力して前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂにベクトル化し、
前記処理部は、前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂから、それぞれ、第１の平均ベクトルμμ１と第２の平均ベクトルμμ２、及び、第１の共分散行列ΣΣ１と第２の共分散行列ΣΣ２を計算し、
前記処理部は、第１の平均ベクトルμμ１、第２の平均ベクトルμμ２、第１の共分散行列ΣΣ１、第２の共分散行列ΣΣ２により定義される統計的距離Ｄの脱トレースである統計的距離行列ＤＤ（ここで、Ｄ＝ｔｒ ＤＤ）を求め、
前記処理部は、統計的距離行列ＤＤを前記記憶部に記憶し又は表示部に表示させ又は出力部により出力させる、
統計的距離行列の計算方法が提供される。
統計的距離行列の計算方法であって、
処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１のベクトルデータａａ及び第２のベクトルデータｂｂを入力し、又は、前記処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１の行列又は画像又は集合データＡＡ及び第２の行列又は画像又は集合データＢＢを入力して前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂにベクトル化し、
前記処理部は、前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂから、それぞれ、第１の平均ベクトルμμ１と第２の平均ベクトルμμ２、及び、第１の共分散行列ΣΣ１と第２の共分散行列ΣΣ２を計算し、
前記処理部は、第１の平均ベクトルμμ１、第２の平均ベクトルμμ２、第１の共分散行列ΣΣ１、第２の共分散行列ΣΣ２により定義される統計的距離Ｄの脱トレースである統計的距離行列ＤＤ（ここで、Ｄ＝ｔｒ ＤＤ）を求め、
前記処理部は、統計的距離行列ＤＤを前記記憶部に記憶し又は表示部に表示させ又は出力部により出力させる、
統計的距離行列の計算方法が提供される。
【0008】
本発明の第２の解決手段によると、
統計的距離行列の可視化方法であって、
処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１のベクトルデータａａ及び第２のベクトルデータｂｂを入力し、又は、前記処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１の行列又は画像又は集合データＡＡ及び第２の行列又は画像又は集合データＢＢを入力して前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂにベクトル化し、
前記処理部は、前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂから、それぞれ、第１の平均ベクトルμμ１と第２の平均ベクトルμμ２、及び、第１の共分散行列ΣΣ１と第２の共分散行列ΣΣ２を計算し、
前記処理部は、第１の平均ベクトルμμ１、第２の平均ベクトルμμ２、第１の共分散行列ΣΣ１、第２の共分散行列ΣΣ２により定義される統計的距離Ｄの脱トレースである統計的距離行列ＤＤ（ここで、Ｄ＝ｔｒ ＤＤ）を求め、
前記処理部は、統計的距離行列ＤＤの各対角成分に対して対角成分を含む行及び列の距離成分を累積して距離累積ベクトルφφを求め、
前記処理部は、距離累積ベクトルφφを距離累積行列ΦΦに行列化し、
前記処理部は、距離累積行列ΦΦ又は距離累積行列ΦΦによる画像を前記記憶部に記憶し又は表示部に表示させ又は出力部により出力させる、
統計的距離行列の可視化方法が提供される。
統計的距離行列の可視化方法であって、
処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１のベクトルデータａａ及び第２のベクトルデータｂｂを入力し、又は、前記処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１の行列又は画像又は集合データＡＡ及び第２の行列又は画像又は集合データＢＢを入力して前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂにベクトル化し、
前記処理部は、前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂから、それぞれ、第１の平均ベクトルμμ１と第２の平均ベクトルμμ２、及び、第１の共分散行列ΣΣ１と第２の共分散行列ΣΣ２を計算し、
前記処理部は、第１の平均ベクトルμμ１、第２の平均ベクトルμμ２、第１の共分散行列ΣΣ１、第２の共分散行列ΣΣ２により定義される統計的距離Ｄの脱トレースである統計的距離行列ＤＤ（ここで、Ｄ＝ｔｒ ＤＤ）を求め、
前記処理部は、統計的距離行列ＤＤの各対角成分に対して対角成分を含む行及び列の距離成分を累積して距離累積ベクトルφφを求め、
前記処理部は、距離累積ベクトルφφを距離累積行列ΦΦに行列化し、
前記処理部は、距離累積行列ΦΦ又は距離累積行列ΦΦによる画像を前記記憶部に記憶し又は表示部に表示させ又は出力部により出力させる、
統計的距離行列の可視化方法が提供される。
【0009】
本発明の第３の解決手段によると、
統計的距離行列の可視化方法であって、
処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１のベクトルデータａａ及び第２のベクトルデータｂｂを入力し、又は、前記処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１の行列又は画像又は集合データＡＡ及び第２の行列又は画像又は集合データＢＢを入力して前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂにベクトル化し、
前記処理部は、前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂから、それぞれ、第１の平均ベクトルμμ１と第２の平均ベクトルμμ２、及び、第１の共分散行列ΣΣ１と第２の共分散行列ΣΣ２を計算し、
前記処理部は、第１の平均ベクトルμμ１、第２の平均ベクトルμμ２、第１の共分散行列ΣΣ１、第２の共分散行列ΣΣ２により定義される統計的距離Ｄの脱トレースである統計的距離行列ＤＤ（ここで、Ｄ＝ｔｒ ＤＤ）を求め、
前記処理部は、前記統計的距離行列ＤＤに対してクラスタリング処理を実行して、各行に対応する番号若しくはＩＤ、又は、各列に対応する番号若しくはＩＤ、に対するクラスタラベルを要素とするクラスタラベルベクトル若しくは集合を求め、
前記処理部は、前記クラスタラベルベクトル若しくは集合をクラスタラベル行列に行列化し、
前記処理部は、前記クラスタラベル行列又はクラスタラベル行列による画像を前記記憶部に記憶し又は表示部に表示させ又は出力部により出力させる、
統計的距離行列の可視化方法が提供される。
統計的距離行列の可視化方法であって、
処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１のベクトルデータａａ及び第２のベクトルデータｂｂを入力し、又は、前記処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１の行列又は画像又は集合データＡＡ及び第２の行列又は画像又は集合データＢＢを入力して前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂにベクトル化し、
前記処理部は、前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂから、それぞれ、第１の平均ベクトルμμ１と第２の平均ベクトルμμ２、及び、第１の共分散行列ΣΣ１と第２の共分散行列ΣΣ２を計算し、
前記処理部は、第１の平均ベクトルμμ１、第２の平均ベクトルμμ２、第１の共分散行列ΣΣ１、第２の共分散行列ΣΣ２により定義される統計的距離Ｄの脱トレースである統計的距離行列ＤＤ（ここで、Ｄ＝ｔｒ ＤＤ）を求め、
前記処理部は、前記統計的距離行列ＤＤに対してクラスタリング処理を実行して、各行に対応する番号若しくはＩＤ、又は、各列に対応する番号若しくはＩＤ、に対するクラスタラベルを要素とするクラスタラベルベクトル若しくは集合を求め、
前記処理部は、前記クラスタラベルベクトル若しくは集合をクラスタラベル行列に行列化し、
前記処理部は、前記クラスタラベル行列又はクラスタラベル行列による画像を前記記憶部に記憶し又は表示部に表示させ又は出力部により出力させる、
統計的距離行列の可視化方法が提供される。
【0010】
本発明の第４の解決手段によると、
統計的距離行列の可視化装置であって、
処理部
を備え、
前記処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１のベクトルデータａａ及び第２のベクトルデータｂｂを入力し、又は、前記処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１の行列又は画像又は集合データＡＡ及び第２の行列又は画像又は集合データＢＢを入力して前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂにベクトル化し、
前記処理部は、前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂから、それぞれ、第１の平均ベクトルμμ１と第２の平均ベクトルμμ２、及び、第１の共分散行列ΣΣ１と第２の共分散行列ΣΣ２を計算し、
前記処理部は、第１の平均ベクトルμμ１、第２の平均ベクトルμμ２、第１の共分散行列ΣΣ１、第２の共分散行列ΣΣ２により定義される統計的距離Ｄの脱トレースである統計的距離行列ＤＤ（ここで、Ｄ＝ｔｒ ＤＤ）を求め、
前記処理部は、統計的距離行列ＤＤの各対角成分に対して対角成分を含む行及び列の距離成分を累積して距離累積ベクトルφφを求め、
前記処理部は、距離累積ベクトルφφを距離累積行列ΦΦに行列化し、
前記処理部は、距離累積行列ΦΦ又は距離累積行列ΦΦによる画像を前記記憶部に記憶し又は表示部に表示させ又は出力部により出力させる、
統計的距離行列の可視化装置が提供される。
統計的距離行列の可視化装置であって、
処理部
を備え、
前記処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１のベクトルデータａａ及び第２のベクトルデータｂｂを入力し、又は、前記処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１の行列又は画像又は集合データＡＡ及び第２の行列又は画像又は集合データＢＢを入力して前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂにベクトル化し、
前記処理部は、前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂから、それぞれ、第１の平均ベクトルμμ１と第２の平均ベクトルμμ２、及び、第１の共分散行列ΣΣ１と第２の共分散行列ΣΣ２を計算し、
前記処理部は、第１の平均ベクトルμμ１、第２の平均ベクトルμμ２、第１の共分散行列ΣΣ１、第２の共分散行列ΣΣ２により定義される統計的距離Ｄの脱トレースである統計的距離行列ＤＤ（ここで、Ｄ＝ｔｒ ＤＤ）を求め、
前記処理部は、統計的距離行列ＤＤの各対角成分に対して対角成分を含む行及び列の距離成分を累積して距離累積ベクトルφφを求め、
前記処理部は、距離累積ベクトルφφを距離累積行列ΦΦに行列化し、
前記処理部は、距離累積行列ΦΦ又は距離累積行列ΦΦによる画像を前記記憶部に記憶し又は表示部に表示させ又は出力部により出力させる、
統計的距離行列の可視化装置が提供される。
【0011】
本発明の第５の解決手段によると、
統計的距離行列の可視化プログラムであって、
処理部が、入力部又は他の装置又は記憶部から、比較対象となる第１のベクトルデータａａ及び第２のベクトルデータｂｂを入力し、又は、前記処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１の行列又は画像又は集合データＡＡ及び第２の行列又は画像又は集合データＢＢを入力して前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂにベクトル化するステップと、
前記処理部が、前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂから、それぞれ、第１の平均ベクトルμμ１と第２の平均ベクトルμμ２、及び、第１の共分散行列ΣΣ１と第２の共分散行列ΣΣ２を計算するステップと、
前記処理部が、第１の平均ベクトルμμ１、第２の平均ベクトルμμ２、第１の共分散行列ΣΣ１、第２の共分散行列ΣΣ２により定義される統計的距離Ｄの脱トレースである統計的距離行列ＤＤ（ここで、Ｄ＝ｔｒ ＤＤ）を求めるステップと、、
前記処理部が、統計的距離行列ＤＤの各対角成分に対して対角成分を含む行及び列の距離成分を累積して距離累積ベクトルφφを求めるステップと、
前記処理部が、距離累積ベクトルφφを距離累積行列ΦΦに行列化するステップと、
前記処理部が、距離累積行列ΦΦ又は距離累積行列ΦΦによる画像を前記記憶部に記憶し又は表示部に表示させ又は出力部により出力させるステップ、
をコンピュータに実行させるための統計的距離行列の可視化プログラムが提供される。
統計的距離行列の可視化プログラムであって、
処理部が、入力部又は他の装置又は記憶部から、比較対象となる第１のベクトルデータａａ及び第２のベクトルデータｂｂを入力し、又は、前記処理部は、入力部又は他の装置又は記憶部から、比較対象となる第１の行列又は画像又は集合データＡＡ及び第２の行列又は画像又は集合データＢＢを入力して前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂにベクトル化するステップと、
前記処理部が、前記第１のベクトルデータａａ及び前記第２のベクトルデータｂｂから、それぞれ、第１の平均ベクトルμμ１と第２の平均ベクトルμμ２、及び、第１の共分散行列ΣΣ１と第２の共分散行列ΣΣ２を計算するステップと、
前記処理部が、第１の平均ベクトルμμ１、第２の平均ベクトルμμ２、第１の共分散行列ΣΣ１、第２の共分散行列ΣΣ２により定義される統計的距離Ｄの脱トレースである統計的距離行列ＤＤ（ここで、Ｄ＝ｔｒ ＤＤ）を求めるステップと、、
前記処理部が、統計的距離行列ＤＤの各対角成分に対して対角成分を含む行及び列の距離成分を累積して距離累積ベクトルφφを求めるステップと、
前記処理部が、距離累積ベクトルφφを距離累積行列ΦΦに行列化するステップと、
前記処理部が、距離累積行列ΦΦ又は距離累積行列ΦΦによる画像を前記記憶部に記憶し又は表示部に表示させ又は出力部により出力させるステップ、
をコンピュータに実行させるための統計的距離行列の可視化プログラムが提供される。
【発明の効果】
【0012】
本発明によると、スカラー値の統計的距離を統計的距離行列に変換することで距離の精密化を実現することができる。
【図面の簡単な説明】
【0013】
【図1】「１．行列に関する記号」についての説明図。
【図2】「２．確率論に関する記号」及び「３．階層的クラスタリングに関する記号」についての説明図。
【図3】本実施の形態に関するハードウェアの構成図。
【図4】第１の実施の形態の統計的距離行列の可視化方法に関する技術についての説明図。
【図5】第１の実施の形態の統計的距離行列の可視化方法に関するフローチャート。
【図6】ＣＩＦＡＲ－１０データセット[6]における飛行機、鳥、猫、および犬の画像の例を示す図。
【図7】飛行機と犬、鳥と犬、および猫と犬のケースに対する統計距離行列ＤＤＭ、ＤＤＫＬ、ＤＤＢ、およびＤＤＣを示す図。
【図8】飛行機と犬、鳥と犬、および猫と犬のケースに対する距離累積画像ΦΦＭ、ΦΦＫＬ、ΦΦＢ、およびΦΦＣを示す図。
【図9】階層的クラスタリングの処理についての説明図。
【図10】飛行機と犬のケースに対して、統計的距離行列ＤＤＢを使用した階層的クラスタリング結果を示す図。
【図11】鳥と犬のケースに対して、統計的距離行列ＤＤＢを使用した階層的クラスタリング結果を示す図。
【図12】猫と犬のケースに対して、統計的距離行列ＤＤＢを使用した階層的クラスタリング結果を示す図。
【図13】飛行機と犬のケースに対して、距離累積画像ΦΦＢから値の低い、普通、高い、合計３種類の要素領域を切り出した結果を示す図。
【図14】鳥と犬のケースに対して、距離累積画像ΦΦＢから値の低い、普通、高い、合計３種類の要素領域を切り出した結果を示す図。
【図15】猫と犬のケースに対して、距離累積画像ΦΦＢから値の低い、普通、高い、合計３種類の要素領域を切り出した結果を示す図。
【図16】ρの計算結果の例を示す図。
【図17】統計的距離に関する関連技術１についての説明図。
【図18】相互相関行列に関する関連技術２についての説明図。
【図19】階層的クラスタリングのフローチャート。
【図20】第２の実施の形態の統計的距離行列の可視化方法に関するフローチャート
【図21】第３の実施の形態の統計的距離行列の可視化方法に関するフローチャート
【発明を実施するための形態】
【0014】
１．記号の説明
まず、本明細書中で使用される記号について説明する。
図１に、「１．行列に関する記号」についての説明図を示す。
図２に、「２．確率論に関する記号」及び「３．階層的クラスタリングに関する記号」についての説明図を示す。
なお、記号の上に付される”＾”の記号は、電子出願ソフトで使用できる文字・記号の制約・都合上、文字の右上に記載するが、数式で示すように、文字の真上に記載されたものと同一である。また、数式等で示すように、太文字のａ等はベクトル、太文字のＡ、Ｄ、μ、Σ等は行列であるが、同制約・都合上、それぞれ、ａａ等と記載してベクトルを表し、ＡＡ、ＤＤ、μμ、ΣΣ等と記載して行列を表す。また、数式等で示すように、黒板文字のＲ、Ｅ等は、同制約・都合上、Ｒ、Ｅ等と記載する。また、[1]、[2]、・・・等は、参考文献の番号を表し、後述する（「１１．参考文献」参照）。
まず、本明細書中で使用される記号について説明する。
図１に、「１．行列に関する記号」についての説明図を示す。
図２に、「２．確率論に関する記号」及び「３．階層的クラスタリングに関する記号」についての説明図を示す。
なお、記号の上に付される”＾”の記号は、電子出願ソフトで使用できる文字・記号の制約・都合上、文字の右上に記載するが、数式で示すように、文字の真上に記載されたものと同一である。また、数式等で示すように、太文字のａ等はベクトル、太文字のＡ、Ｄ、μ、Σ等は行列であるが、同制約・都合上、それぞれ、ａａ等と記載してベクトルを表し、ＡＡ、ＤＤ、μμ、ΣΣ等と記載して行列を表す。また、数式等で示すように、黒板文字のＲ、Ｅ等は、同制約・都合上、Ｒ、Ｅ等と記載する。また、[1]、[2]、・・・等は、参考文献の番号を表し、後述する（「１１．参考文献」参照）。
【0015】
２．統計的距離
定義１：
一般に、確率空間（Ω、Ｆ、Ｐ）が与えられた場合、可測空間（Ｒｄ、Ｂ（Ｒｄ））に分布Ｐｘを持つｄ－次元のランダムベクトルＸ１に対して、その累積分布関数はＦ１（ｘｘ）：＝Ｐ（Ｘ１≦ｘｘ）＝Ｐｘ（（－∞、ｘｘ］）、ｘ∈Ｒｄとする（「：＝」は、定義することを表す。）。Ｆ１（ｘｘ）が変数ｘｘに関して連続である場合、ｐＸ（ｘｘ）：＝ｄＦ１（ｘｘ）／ｄｘｘは、Ｘ１の確率密度関数と呼ばれる。同様に、別の確率空間（Ω、Ｆ、Ｑ）が与えられた場合、可測空間（Ｒｄ、Ｂ（Ｒｄ））に分布Ｑｘを持つｄ－次元のランダムベクトルＸ２に対して、その累積分布関数はＦ２（ｘｘ）：＝Ｑ（Ｘ２≦ｘｘ）＝Ｑｘ（（－∞、ｘｘ］）とする。Ｆ２（ｘｘ）が連続ならば、Ｘ２の確率密度関数ｑＸ（ｘｘ）：＝ｄＦ２（ｘｘ）／ｄｘｘが得られる。通常に、ｐＸ（ｘｘ）およびｑＸ（ｘｘ）は、それぞれｐ（ｘｘ）およびｑ（ｘｘ）と省略される。
上述の定義に基づいて、２つの確率密度関数ｐ（ｘｘ）とｑ（ｘｘ）の間の非類似度を表すために、いくつかの測度が統計学に導入された。
定義１：
一般に、確率空間（Ω、Ｆ、Ｐ）が与えられた場合、可測空間（Ｒｄ、Ｂ（Ｒｄ））に分布Ｐｘを持つｄ－次元のランダムベクトルＸ１に対して、その累積分布関数はＦ１（ｘｘ）：＝Ｐ（Ｘ１≦ｘｘ）＝Ｐｘ（（－∞、ｘｘ］）、ｘ∈Ｒｄとする（「：＝」は、定義することを表す。）。Ｆ１（ｘｘ）が変数ｘｘに関して連続である場合、ｐＸ（ｘｘ）：＝ｄＦ１（ｘｘ）／ｄｘｘは、Ｘ１の確率密度関数と呼ばれる。同様に、別の確率空間（Ω、Ｆ、Ｑ）が与えられた場合、可測空間（Ｒｄ、Ｂ（Ｒｄ））に分布Ｑｘを持つｄ－次元のランダムベクトルＸ２に対して、その累積分布関数はＦ２（ｘｘ）：＝Ｑ（Ｘ２≦ｘｘ）＝Ｑｘ（（－∞、ｘｘ］）とする。Ｆ２（ｘｘ）が連続ならば、Ｘ２の確率密度関数ｑＸ（ｘｘ）：＝ｄＦ２（ｘｘ）／ｄｘｘが得られる。通常に、ｐＸ（ｘｘ）およびｑＸ（ｘｘ）は、それぞれｐ（ｘｘ）およびｑ（ｘｘ）と省略される。
上述の定義に基づいて、２つの確率密度関数ｐ（ｘｘ）とｑ（ｘｘ）の間の非類似度を表すために、いくつかの測度が統計学に導入された。
【0016】
バタチャリヤ距離ＤＢは、非類似度を定量化するために最初の計量として[1]に提案された（式（１））。そして、ＤＢを拡張したチャーノフ距離Ｄｃは、[2]で導入された。ここで、平方根演算子は指数係数ｓに置き換えられた（式（２））。次式（３）のように定式化されたカルバックライブラーダイバージェンスＤＫＬは、[7]で提案された。計量の公理を満たしていないため、計量ではないことに注意を要する。また、[4]で紹介されているヘリンガー距離ＤＨは、ヘリンガー積分によって次式（４）のように定義される、若しくは、次式（５）のように与えられる。
これらの測度はすべて、対応するランダムベクトルの次元ｄに関係なく、２つの確率密度関数ｐ（ｘｘ）とｑ（ｘｘ）の間にあるスカラーの非類似度のみを与える。
【数1】
これらの測度はすべて、対応するランダムベクトルの次元ｄに関係なく、２つの確率密度関数ｐ（ｘｘ）とｑ（ｘｘ）の間にあるスカラーの非類似度のみを与える。
【0017】
３．統計的距離行列
最初に、従来の距離行列として広く使用されている、相互相関行列ＲＲについて説明する。正規分布Ｎ（μμ１，ΣΣ１）とＮ（μμ２，ΣΣ２）にそれぞれ従い、ｄ－次元のランダムベクトルＸ１とＸ２を持つ２つの母集団（ベクトルの集合）｛ａａｋ｝と｛ｂｂｋ｝、ｋ＝１，…，Ｎが与えられると、Ｘ１とＸ２の平均ベクトルμμ１，μμ２∈Ｒｄ、および共分散行列ΣΣ１，ΣΣ２∈Ｒｄ×ｄは、式（１９）と（３７）により得られる。
最初に、従来の距離行列として広く使用されている、相互相関行列ＲＲについて説明する。正規分布Ｎ（μμ１，ΣΣ１）とＮ（μμ２，ΣΣ２）にそれぞれ従い、ｄ－次元のランダムベクトルＸ１とＸ２を持つ２つの母集団（ベクトルの集合）｛ａａｋ｝と｛ｂｂｋ｝、ｋ＝１，…，Ｎが与えられると、Ｘ１とＸ２の平均ベクトルμμ１，μμ２∈Ｒｄ、および共分散行列ΣΣ１，ΣΣ２∈Ｒｄ×ｄは、式（１９）と（３７）により得られる。
【数2】
【0018】
上式に基づいて、相互相関行列ＲＲは、式（３８）で計算される。ここで、ΣΣ１、２はＸ１とＸ２の相互共分散行列、ｄｉａｇ（ΣΣ）は行列ΣΣの対角行列とする。
ここで、ｄｉａｇ（ΣΣ１）とｄｉａｇ（ΣΣ２）にΣΣ１とΣΣ２の対角成分しかないため、情報が失われることに注意すべきである。
【数3】
ここで、ｄｉａｇ（ΣΣ１）とｄｉａｇ（ΣΣ２）にΣΣ１とΣΣ２の対角成分しかないため、情報が失われることに注意すべきである。
【0019】
一方、本発明及び／又は本実施の形態は、脱トレース（ｄｅ－ｔｒａｃｅ）操作により、スカラー値の統計的距離を変換して得た、新たな統計的距離行列を提案する。脱トレース操作をわかりやすくするために、まず、バタチャリヤ距離ＤＢの特定ケースと見なすマハラノビス距離ＤＭ[9]を紹介する。相互相関行列と同様に、平均ベクトルμμ１，μμ２∈Ｒｄと共分散行列ΣΣ１，ΣΣ２∈Ｒｄ×ｄをそれぞれ持つ２つの母集団｛ａａｋ｝と｛ｂｂｋ｝があれば、母集団の間のマハラノビス距離ＤＭを次の二次形式で表す。
【数4】
【0020】
ここで、ΣΣ＝ΣΣ１＝ΣΣ２とする。この二次形式は、式（６）の２行目で述べたように、トレース形式に変換できる。行列のトレースを脱ぐこと（ｒｅｍｏｖｉｎｇ ｔｈｅ ｔｒａｃｅ）により、マハラノビス距離行列ＤＤＭを式（１４）で得られる。
【数5】
【0021】
対照的に、バタチャリヤ距離行列ＤＤＢに対応するバタチャリヤ距離ＤＢは、定義１に従って連続的な可測空間で定義される必要である。本発明及び／又は本実施の形態では、２つの母集団（ベクトルの集合）｛ａａｋ｝と｛ｂｂｋ｝からのｄ－次元ランダムベクトルＸ１とＸ２は、それぞれ２つの正規分布Ｎ（μμ１，ΣΣ１）とＮ（μμ２，ΣΣ２）に従うと仮定し、Ｘ１とＸ２の間のＤＢは次式のように定義される。なお、後述の「１０．付録 バタチャリヤ距離ＤＢの導出（式（７））」に詳細な証明を示した。
【数6】
【0022】
式（７）の第１項が式（６）に似ているので、式（６）と同様にトレース形式に変換できる。さらに、次式に基づいて、行列式の自然対数関数である式（７）の第２項もトレース形式に変更できる。
【数7】
【0023】
ここで、ＡＡとＢＢがＲｄ×ｄにおける２つの正定行列である場合、上記のすべての数式が成り立つ。次に、トレースを脱ぐこと（ｄｉｓｓｏｌｖｉｎｇ ｔｈｅ ｔｒａｃｅ）により、バタチャリヤ距離行列ＤＤＢを式（１５）で表す。
【数8】
【0024】
２つの正規分布Ｎ（μμ１，ΣΣ１）とＮ（μμ２，ΣΣ２）の間のチャーノフ距離ＤＣは、次式として定義される。これを後述の「１０．付録 バタチャリヤ距離ＤＢの導出（式（７））」に示す方法で同様に導出できる。
【数9】
【0025】
トレース形式への変換後に、トレースを脱ぐことにより、対応する距離行列ＤＤＣは式（１６）として得られる。
チャーノフ距離ＤＣとその距離行列ＤＤＣは、ＤＢとＤＤＢから拡張されたものと考え、計算要求に応じて指数係数ｓを調整できるため、複雑なデータに対して柔軟に適応する能力を持つと考えられる。
【数10】
チャーノフ距離ＤＣとその距離行列ＤＤＣは、ＤＢとＤＤＢから拡張されたものと考え、計算要求に応じて指数係数ｓを調整できるため、複雑なデータに対して柔軟に適応する能力を持つと考えられる。
【0026】
２つの正規分布Ｎ（μμ１，ΣΣ１）とＮ（μμ２，ΣΣ２）の間のカルバック・ライブラーダイバージェンスＤＫＬは次式のように定義される。
【数11】
【0027】
ここで、ＩＩｄはｄ－次元の単位行列である。式（１２）のようにトレース形式を記述した上で、式（１７）のようにトレースを脱ぐことにより、対応する距離行列ＤＤＫＬを得る。式（１７）第２項に対数演算はないことに注意すべきである。
【数12】
【0028】
２つの正規分布Ｎ（μμ１，ΣΣ１）とＮ（μμ２，ΣΣ２）の間のヘリンジャー距離行列ＤＤＨを次式のように求めてみる。
しかし、式（１３）は、ＤＤＢに関する関数と見なすことができるが、完全なトレース形式に変換できないため、ヘリンジャー距離ＤＨに対して距離行列ＤＤＨがないことが分かった。ここで、各統計的距離行列は、ＤＤ：＝［δｕｖ］∈Ｕｄ×ｄ，ｕ，ｖ＝１，…，ｄで定義される。
【数13】
しかし、式（１３）は、ＤＤＢに関する関数と見なすことができるが、完全なトレース形式に変換できないため、ヘリンジャー距離ＤＨに対して距離行列ＤＤＨがないことが分かった。ここで、各統計的距離行列は、ＤＤ：＝［δｕｖ］∈Ｕｄ×ｄ，ｕ，ｖ＝１，…，ｄで定義される。
【0029】
４．ハードウェア及びプログラム
図３は、本実施の形態に関するハードウェアの構成図である。
このハードウェアは、中央処理装置（ＣＰＵ）である処理部１１、入力部１２、出力部１３、表示部１４、記憶部１５、インタフェース部（Ｉ／Ｆ）１６を有する。また、処理部１１、入力部１２、出力部１３、表示部１４、記憶部１５、インタフェース部（Ｉ／Ｆ）１６は、スター又はバス等の適宜の接続手段で接続されている。記憶部１５は、入力データファイル１５１、統計的距離行列ファイル１５２、距離行列ファイル１５３、クラスタ行列ファイル１５４、出力ファイル１５５等の各種ファイルを含む。
記憶部１５の各ファイルに、「１．記号の説明」で示したデータ及びその他の適宜のデータが必要に応じて記憶することができる。処理部１１は、記憶部１５に記憶されたデータを必要に応じて読み出し及び／又はそこに書き込むことができる。処理部１１は、必要に応じて、入力部１２、Ｉ／Ｆ１６からデータを入力することができる。処理部１０１は、入出力データに基づいて、本実施の形態の各処理を実行し、例えば、各種の統計的距離行列の計算、階層的クラスタリング処理、類似性判定等を実行することができる。また、処理部１１は、必要に応じて、出力部１３に出力し、Ｉ／Ｆ１６を介して他の装置・部等へデータを出力し、表示部１４にデータを出力することができる。
図３は、本実施の形態に関するハードウェアの構成図である。
このハードウェアは、中央処理装置（ＣＰＵ）である処理部１１、入力部１２、出力部１３、表示部１４、記憶部１５、インタフェース部（Ｉ／Ｆ）１６を有する。また、処理部１１、入力部１２、出力部１３、表示部１４、記憶部１５、インタフェース部（Ｉ／Ｆ）１６は、スター又はバス等の適宜の接続手段で接続されている。記憶部１５は、入力データファイル１５１、統計的距離行列ファイル１５２、距離行列ファイル１５３、クラスタ行列ファイル１５４、出力ファイル１５５等の各種ファイルを含む。
記憶部１５の各ファイルに、「１．記号の説明」で示したデータ及びその他の適宜のデータが必要に応じて記憶することができる。処理部１１は、記憶部１５に記憶されたデータを必要に応じて読み出し及び／又はそこに書き込むことができる。処理部１１は、必要に応じて、入力部１２、Ｉ／Ｆ１６からデータを入力することができる。処理部１０１は、入出力データに基づいて、本実施の形態の各処理を実行し、例えば、各種の統計的距離行列の計算、階層的クラスタリング処理、類似性判定等を実行することができる。また、処理部１１は、必要に応じて、出力部１３に出力し、Ｉ／Ｆ１６を介して他の装置・部等へデータを出力し、表示部１４にデータを出力することができる。
【0030】
本発明及び／又は実施の形態の統計的距離行列の計算方法又は装置・システムは、その各手順をコンピュータに実行させるため統計的距離行列の計算プログラム、計算プログラムを記録したコンピュータ読み取り可能な記録媒体、統計的距離行列の計算プログラムを含みコンピュータの内部メモリにロード可能なプログラム製品、そのプログラムを含むサーバ等のコンピュータ、等により提供されることができる。
また、本発明及び／又は実施の形態の統計的距離行列の可視化方法又は装置・システムは、その各手順をコンピュータに実行させるため統計的距離行列の可視化プログラム、可視化プログラムを記録したコンピュータ読み取り可能な記録媒体、統計的距離行列の可視化プログラムを含みコンピュータの内部メモリにロード可能なプログラム製品、そのプログラムを含むサーバ等のコンピュータ、等により提供されることができる。
また、本発明及び／又は実施の形態の統計的距離行列の可視化方法又は装置・システムは、その各手順をコンピュータに実行させるため統計的距離行列の可視化プログラム、可視化プログラムを記録したコンピュータ読み取り可能な記録媒体、統計的距離行列の可視化プログラムを含みコンピュータの内部メモリにロード可能なプログラム製品、そのプログラムを含むサーバ等のコンピュータ、等により提供されることができる。
【0031】
５．統計的距離行列の計算・可視化及び応用例
５．１．第１の実施の形態
図４に、第１の実施の形態の統計的距離行列の計算・可視化方法に関する技術についての説明図を示す。
図５に、第１の実施の形態の統計的距離行列の計算・可視化方法に関するフローチャートを示す。
５．１．第１の実施の形態
図４に、第１の実施の形態の統計的距離行列の計算・可視化方法に関する技術についての説明図を示す。
図５に、第１の実施の形態の統計的距離行列の計算・可視化方法に関するフローチャートを示す。
【0032】
以下に、処理部１１が実行する各ステップでの処理について説明する。
（ステップＳ１０１）
処理部１１は、入力部１２、記憶部１５（入力データファイル１５１）、又は、Ｉ／Ｆ１６を介して他の装置から、比較対象となるデータを入力する。
入力０及び出力０は、ｄ個の要素で構成された特徴の２つの母集団（データ）である。
ここで、入力された母集団（データ）の特徴の形は、特徴ベクトル、特徴行列、あるいは特徴集合のうちいずれであってもよい。
（ステップＳ１０２）
処理部１１は、入力データの特徴がベクトルである場合（条件１）、ステップＳ１０５に移行する。
ここで、
入力１：特徴ベクトルの２つの母集団｛ａａｋ｝と｛ｂｂｋ｝
出力１：特徴ベクトルの２つの母集団｛ａａｋ｝と｛ｂｂｋ｝
となる。
ここで、
ａａ：＝{ａ’ｔ}， ｔ＝１，．．．，ｄ
{ａａｋ}， ｋ＝１，．．．，Ｎ
ｂｂ：＝{ｂ’ｔ}， ｔ＝１，．．．，ｄ
{ｂｂｋ}， ｋ＝１，．．．，Ｎ
処理部１１は、入力データの特徴が行列である場合（条件２）、ステップＳ１０３に移行する。
処理部１１は、入力データの特徴が集合である場合（条件３）、ステップＳ１０４に移行する。
（ステップＳ１０１）
処理部１１は、入力部１２、記憶部１５（入力データファイル１５１）、又は、Ｉ／Ｆ１６を介して他の装置から、比較対象となるデータを入力する。
入力０及び出力０は、ｄ個の要素で構成された特徴の２つの母集団（データ）である。
ここで、入力された母集団（データ）の特徴の形は、特徴ベクトル、特徴行列、あるいは特徴集合のうちいずれであってもよい。
（ステップＳ１０２）
処理部１１は、入力データの特徴がベクトルである場合（条件１）、ステップＳ１０５に移行する。
ここで、
入力１：特徴ベクトルの２つの母集団｛ａａｋ｝と｛ｂｂｋ｝
出力１：特徴ベクトルの２つの母集団｛ａａｋ｝と｛ｂｂｋ｝
となる。
ここで、
ａａ：＝{ａ’ｔ}， ｔ＝１，．．．，ｄ
{ａａｋ}， ｋ＝１，．．．，Ｎ
ｂｂ：＝{ｂ’ｔ}， ｔ＝１，．．．，ｄ
{ｂｂｋ}， ｋ＝１，．．．，Ｎ
処理部１１は、入力データの特徴が行列である場合（条件２）、ステップＳ１０３に移行する。
処理部１１は、入力データの特徴が集合である場合（条件３）、ステップＳ１０４に移行する。
【0033】
（ステップＳ１０３）
処理部１１は、入力データの特徴が行列である場合（条件２）、行列をｖｅｃ（・）によりベクトル化する。
ここで、
入力２：特徴行列の２つの母集団｛ＡＡｋ｝と｛ＢＢｋ｝
出力１：特徴ベクトルの２つの母集団｛ａａｋ｝と｛ｂｂｋ｝
となる。
ここで、
ＡＡ：＝{ａｉｊ}， ｉ＝１，．．．，ｍ， ｊ＝１，．．．，ｎ，
{ＡＡｋ}， ｋ＝１，．．．，Ｎ
ＢＢ：＝{ｂｉｊ}， ｉ＝１，．．．，ｍ， ｊ＝１，．．．，ｎ，
{ＢＢｋ}， ｋ＝１，．．．，Ｎ
処理部１１は、関数ｖｅｃ（・）より、入力された特徴行列｛ＡＡｋ｝、｛ＢＢｋ｝をベクトル化して特徴ベクトル｛ａａｋ｝、｛ｂｂｋ｝とする。すなわち、ｍ行ｎ列の行列を順次並べて、ｄ個（ｄ＝ｍ×ｎ）の要素のベクトルを形成する。例えば、１列目を１～ｍ番目、２列目をｍ＋１～２ｍ番目、３列目を２ｍ＋１～３ｍ番目、・・・・、というように並べて行列化する。なお、行ごとに順番に並べるようにしても良い。
処理部１１は、入力データの特徴が行列である場合（条件２）、行列をｖｅｃ（・）によりベクトル化する。
ここで、
入力２：特徴行列の２つの母集団｛ＡＡｋ｝と｛ＢＢｋ｝
出力１：特徴ベクトルの２つの母集団｛ａａｋ｝と｛ｂｂｋ｝
となる。
ここで、
ＡＡ：＝{ａｉｊ}， ｉ＝１，．．．，ｍ， ｊ＝１，．．．，ｎ，
{ＡＡｋ}， ｋ＝１，．．．，Ｎ
ＢＢ：＝{ｂｉｊ}， ｉ＝１，．．．，ｍ， ｊ＝１，．．．，ｎ，
{ＢＢｋ}， ｋ＝１，．．．，Ｎ
処理部１１は、関数ｖｅｃ（・）より、入力された特徴行列｛ＡＡｋ｝、｛ＢＢｋ｝をベクトル化して特徴ベクトル｛ａａｋ｝、｛ｂｂｋ｝とする。すなわち、ｍ行ｎ列の行列を順次並べて、ｄ個（ｄ＝ｍ×ｎ）の要素のベクトルを形成する。例えば、１列目を１～ｍ番目、２列目をｍ＋１～２ｍ番目、３列目を２ｍ＋１～３ｍ番目、・・・・、というように並べて行列化する。なお、行ごとに順番に並べるようにしても良い。
【0034】
（ステップＳ１０４）
処理部１１は、入力データの特徴が集合である場合（条件３）、集合の要素をベクトルで並べる。
ここで、
入力３：特徴集合の２つの母集団｛ＡＡ’ｋ｝と｛ＢＢ’ｋ｝
出力１：特徴ベクトルの２つの母集団｛ａａｋ｝と｛ｂｂｋ｝
となる。
ここで、｛ＡＡ’ｋ｝、｛ＢＢ’ｋ｝は集合を表す。
ＡＡ’：＝{ａ’ｔ}， ｔ＝１，．．．，ｄ
{ＡＡ’ｋ}， ｋ＝１，．．．，Ｎ
ＢＢ’：＝{ｂ’ｔ}， ｔ＝１，．．．，ｄ
{ＢＢ’ｋ}， ｋ＝１，．．．，Ｎ
なお、例えば、後述の例のように、入力データが画像である場合、特徴行列が入力され、ステップＳ１０３が実行される。また、入力データの特徴を予め定めて限定することにより、定められた特徴によりステップＳ１０２，Ｓ１０３，Ｓ１０４のいずれかひとつ又は２つの処理を省略するようにしてもよい。
処理部１１は、入力データの特徴が集合である場合（条件３）、集合の要素をベクトルで並べる。
ここで、
入力３：特徴集合の２つの母集団｛ＡＡ’ｋ｝と｛ＢＢ’ｋ｝
出力１：特徴ベクトルの２つの母集団｛ａａｋ｝と｛ｂｂｋ｝
となる。
ここで、｛ＡＡ’ｋ｝、｛ＢＢ’ｋ｝は集合を表す。
ＡＡ’：＝{ａ’ｔ}， ｔ＝１，．．．，ｄ
{ＡＡ’ｋ}， ｋ＝１，．．．，Ｎ
ＢＢ’：＝{ｂ’ｔ}， ｔ＝１，．．．，ｄ
{ＢＢ’ｋ}， ｋ＝１，．．．，Ｎ
なお、例えば、後述の例のように、入力データが画像である場合、特徴行列が入力され、ステップＳ１０３が実行される。また、入力データの特徴を予め定めて限定することにより、定められた特徴によりステップＳ１０２，Ｓ１０３，Ｓ１０４のいずれかひとつ又は２つの処理を省略するようにしてもよい。
【0035】
一例として、ＣＩＦＡＲ－１０データセット[6]を使用し、統計的距離行列の効果テストを行った。このデータセットには、ＲＧＢ画像サイズは３２×３２ピクセル；１０クラスの画像がそれぞれ６、０００枚、計６０、０００枚の画像が含まれている。この例では、処理部１１は、ステップＳ１０１で画像ＡＡとＢＢを入力し、ステップＳ１０２で特徴行列と判定し、ステップＳ１０３を実行する。
図６は、ＣＩＦＡＲ－１０データセット[6]における飛行機、鳥、猫、および犬の画像の例を示す図である。
図に示すように、計算を簡略化して区別可能な結果を得るために、２クラスの類似度は、弱いものから昇順で、飛行機と犬、鳥と犬、および猫と犬の間の距離行列を計算した。すべての画像ＡＡ：＝［ａｉｊ］∈Ｕｍ×ｎ，ｉ＝１，…，ｍ，ｊ＝１，…，ｎに対して、画像ピクセルの値域がＵ＝［０、１］に指定され、画像の形が、ベクトル化する関数ｖｅｃ（・）により、特徴要素のベクトルａａ：＝［ａ´ｔ］＝ｖｅｃＡＡ∈Ｒｄ×１，ｔ＝１，…，ｄのように再構成される。ここで、ｄ＝ｍ×ｎ。そして、２クラスの再構成された画像セット｛ａａｋ｝と｛ｂｂｋ｝，ｋ＝１，…，Ｎは、それぞれ正規分布Ｎ（μμ１，ΣΣ１）とＮ（μμ２，ΣΣ２）に従い、ｄ－次元のランダムベクトルＸ１とＸ２を持つ２つの母集団と考えられる。ここで、Ｘ１とＸ２の平均ベクトルμμ１，μμ２∈Ｒｄ，および共分散行列ΣΣ１，ΣΣ２∈Ｒｄ×ｄは、式（１９）と（３７）により得られる。
この例では、画像セット｛ａａｋ｝と｛ｂｂｋ｝が、飛行機と犬、鳥と犬、および猫と犬の順に設定された。各クラスにおいて、トレーニング画像のみが使用されるため、Ｎは５０００とした。
図６は、ＣＩＦＡＲ－１０データセット[6]における飛行機、鳥、猫、および犬の画像の例を示す図である。
図に示すように、計算を簡略化して区別可能な結果を得るために、２クラスの類似度は、弱いものから昇順で、飛行機と犬、鳥と犬、および猫と犬の間の距離行列を計算した。すべての画像ＡＡ：＝［ａｉｊ］∈Ｕｍ×ｎ，ｉ＝１，…，ｍ，ｊ＝１，…，ｎに対して、画像ピクセルの値域がＵ＝［０、１］に指定され、画像の形が、ベクトル化する関数ｖｅｃ（・）により、特徴要素のベクトルａａ：＝［ａ´ｔ］＝ｖｅｃＡＡ∈Ｒｄ×１，ｔ＝１，…，ｄのように再構成される。ここで、ｄ＝ｍ×ｎ。そして、２クラスの再構成された画像セット｛ａａｋ｝と｛ｂｂｋ｝，ｋ＝１，…，Ｎは、それぞれ正規分布Ｎ（μμ１，ΣΣ１）とＮ（μμ２，ΣΣ２）に従い、ｄ－次元のランダムベクトルＸ１とＸ２を持つ２つの母集団と考えられる。ここで、Ｘ１とＸ２の平均ベクトルμμ１，μμ２∈Ｒｄ，および共分散行列ΣΣ１，ΣΣ２∈Ｒｄ×ｄは、式（１９）と（３７）により得られる。
この例では、画像セット｛ａａｋ｝と｛ｂｂｋ｝が、飛行機と犬、鳥と犬、および猫と犬の順に設定された。各クラスにおいて、トレーニング画像のみが使用されるため、Ｎは５０００とした。
【0036】
（ステップＳ１０５）
処理部１１は、式（１９）、（３７）より母集団の平均ベクトルと共分散行列を算出する。
ここで、
入力：ステップＳ１０２、Ｓ１０３、Ｓ１０４のいずれかの出力１
出力２：特徴ベクトルの２組の平均ベクトルと共分散行列μμ１、ΣΣ１とμμ２、ΣΣ２
となる。
本発明及び／又は本実施の形態では、統計的距離行列の計算に、一例として、２組の平均ベクトルと共分散行列μμ１、ΣΣ１とμμ２、ΣΣ２を用いた。しかし、これらのパラメータは限定されるものではなく、データのサイズ等に合わせて適宜定めることができるものとする。
処理部１１は、式（１９）、（３７）より母集団の平均ベクトルと共分散行列を算出する。
ここで、
入力：ステップＳ１０２、Ｓ１０３、Ｓ１０４のいずれかの出力１
出力２：特徴ベクトルの２組の平均ベクトルと共分散行列μμ１、ΣΣ１とμμ２、ΣΣ２
となる。
本発明及び／又は本実施の形態では、統計的距離行列の計算に、一例として、２組の平均ベクトルと共分散行列μμ１、ΣΣ１とμμ２、ΣΣ２を用いた。しかし、これらのパラメータは限定されるものではなく、データのサイズ等に合わせて適宜定めることができるものとする。
【0037】
（ステップＳ１０６）
処理部１１は、：式（１４）、（１５）、（１６）、（１７）の予め定められたいずれかひとつ又は複数より統計的距離行列を算出する。
ここで、
入力：ステップＳ１０５の出力２
出力３：統計的距離行列ＤＤ
となる。
ここで、
ＤＤ：＝{δｕｖ}， ｕ，ｖ＝１，．．．，ｄ
式（１４）、（１５）、（１６）、（１７）のうち統計的距離行列ＤＤとしてどの式を使用するかは、適宜の段階で入力部１２等から設定しても良いし、デフォルトで設定されていても良い。また、複数の式を設定した場合、以下の処理は各式に対応してそれぞれ実行する。
また、統計的距離については、上述の式（１４）、（１５）、（１６）、（１７）等の例の他にも、二次形式、行列式の自然対数関数などの項で構成された、周知、公知又は任意のトレース形式で表現できる統計的距離を用いることができ、その周知、公知又は任意の統計的距離を脱トレース操作により統計的距離行列を算出することができる。
処理部１１は、：式（１４）、（１５）、（１６）、（１７）の予め定められたいずれかひとつ又は複数より統計的距離行列を算出する。
ここで、
入力：ステップＳ１０５の出力２
出力３：統計的距離行列ＤＤ
となる。
ここで、
ＤＤ：＝{δｕｖ}， ｕ，ｖ＝１，．．．，ｄ
式（１４）、（１５）、（１６）、（１７）のうち統計的距離行列ＤＤとしてどの式を使用するかは、適宜の段階で入力部１２等から設定しても良いし、デフォルトで設定されていても良い。また、複数の式を設定した場合、以下の処理は各式に対応してそれぞれ実行する。
また、統計的距離については、上述の式（１４）、（１５）、（１６）、（１７）等の例の他にも、二次形式、行列式の自然対数関数などの項で構成された、周知、公知又は任意のトレース形式で表現できる統計的距離を用いることができ、その周知、公知又は任意の統計的距離を脱トレース操作により統計的距離行列を算出することができる。
【0038】
図７は、飛行機と犬、鳥と犬、および猫と犬のケースに対する統計距離行列ＤＤＭ、ＤＤＫＬ、ＤＤＢ、およびＤＤＣを示す図である。
各ケースについて、式（１９）と（３７）で計算された平均ベクトルμμ１とμμ２、および共分散行列ΣΣ１とΣΣ２を、式（１４）－（１７）にそれぞれ代入し、３つのケースに対して、４つの統計距離行列ＤＤＭ、ＤＤＫＬ、ＤＤＢ、およびＤＤＣを計算した。
図に示すように、この例では、３つのケースに対して、すべてのＤＤＭとＤＤＫＬは無秩序かつ情報量が少ないように見えた。対照的に、ＤＤＢと指数係数ｓが０．３に設定されたＤＤＣの中央にある、高い値を持つローカル距離δｕｖは、グリッドのようなパターンで表された。画像ａａｋおよびｂｂｋのピクセルａ´ｔおよびｂ´ｔが、それぞれ可測空間内のランダムベクトルＸ１およびＸ２の対応する要素と見なされると、これらの高い値を持つローカル距離は、ａａｋとｂｂｋの区別に、効果的に使用できる。ＤＤＢは、ｓが１／２に設定されているＤＤＣの特定のケースだとしたら、ＤＤＣのような統計的距離行列が有効であると考えられる。
各ケースについて、式（１９）と（３７）で計算された平均ベクトルμμ１とμμ２、および共分散行列ΣΣ１とΣΣ２を、式（１４）－（１７）にそれぞれ代入し、３つのケースに対して、４つの統計距離行列ＤＤＭ、ＤＤＫＬ、ＤＤＢ、およびＤＤＣを計算した。
図に示すように、この例では、３つのケースに対して、すべてのＤＤＭとＤＤＫＬは無秩序かつ情報量が少ないように見えた。対照的に、ＤＤＢと指数係数ｓが０．３に設定されたＤＤＣの中央にある、高い値を持つローカル距離δｕｖは、グリッドのようなパターンで表された。画像ａａｋおよびｂｂｋのピクセルａ´ｔおよびｂ´ｔが、それぞれ可測空間内のランダムベクトルＸ１およびＸ２の対応する要素と見なされると、これらの高い値を持つローカル距離は、ａａｋとｂｂｋの区別に、効果的に使用できる。ＤＤＢは、ｓが１／２に設定されているＤＤＣの特定のケースだとしたら、ＤＤＣのような統計的距離行列が有効であると考えられる。
【0039】
（ステップＳ１０７）
処理部１１は、式（２０）より距離累積ベクトルを算出する。
ここで、
入力：ステップＳ１０６の出力３
出力４：距離累積ベクトルφφ
となる。
すなわち処理部１１は、各画像ピクセルａ´ｔとｂ´ｔに対して、式（２０）のように、関連するすべての又は予め定められたローカル距離を累積し、得られた値を新たなピクセルに割り当てて、距離累積ベクトルφφ：＝［φ´ｔ］∈Ｒｄ×１，ｔ＝１，…，ｄを作る。
（ステップＳ１０８）
処理部１１は、：関数ｖｅｃ＾（・）より距離累積ベクトルを順次並べて行列化して統計的距離行列とする。すなわち、ｄ個の要素のベクトルを順次並べて、ｍ×ｎ＝ｄを満たすｍ行ｎ列の行列を形成する。
ここで、
入力：ステップＳ１０７の出力４
出力５：距離累積行列ΦΦ
となる。
ここで、距離累積行列（距離累積画像）ΦΦ：＝［φｉｊ］＝ｖｅｃ＾（φφ），ｉ＝１，…，ｍ，ｊ＝１，…，ｎは、距離累積ベクトルφφにより構成され、距離行列を表現する方法として使用する。ここで、ｖｅｃ＾（・）は、ｖｅｃ（・）の逆のプロセスとした。
処理部１１は、関数ｖｅｃ＾（・）より、入力された距離累積ベクトルφφ：＝［φ´ｔ］，ｔ＝１，…，ｄのｄ個の要素のベクトルを順次並べて、ｍ×ｎ＝ｄを満たすｍ行ｎ列の行列を形成することで行列化を行い距離累積行列ΦΦとする。すなわち、φ´１～φ´ｍを１列目、φ´ｍ＋１～φ´２ｍを２列目、φ´２ｍ＋１～φ´３ｍを３列目、・・・・、というように並べて行列化する。なお、行ごとに順番に並べるようにしても良い。
処理部１１は、式（２０）より距離累積ベクトルを算出する。
ここで、
入力：ステップＳ１０６の出力３
出力４：距離累積ベクトルφφ
となる。
【数14】
すなわち処理部１１は、各画像ピクセルａ´ｔとｂ´ｔに対して、式（２０）のように、関連するすべての又は予め定められたローカル距離を累積し、得られた値を新たなピクセルに割り当てて、距離累積ベクトルφφ：＝［φ´ｔ］∈Ｒｄ×１，ｔ＝１，…，ｄを作る。
（ステップＳ１０８）
処理部１１は、：関数ｖｅｃ＾（・）より距離累積ベクトルを順次並べて行列化して統計的距離行列とする。すなわち、ｄ個の要素のベクトルを順次並べて、ｍ×ｎ＝ｄを満たすｍ行ｎ列の行列を形成する。
ここで、
入力：ステップＳ１０７の出力４
出力５：距離累積行列ΦΦ
となる。
ここで、距離累積行列（距離累積画像）ΦΦ：＝［φｉｊ］＝ｖｅｃ＾（φφ），ｉ＝１，…，ｍ，ｊ＝１，…，ｎは、距離累積ベクトルφφにより構成され、距離行列を表現する方法として使用する。ここで、ｖｅｃ＾（・）は、ｖｅｃ（・）の逆のプロセスとした。
処理部１１は、関数ｖｅｃ＾（・）より、入力された距離累積ベクトルφφ：＝［φ´ｔ］，ｔ＝１，…，ｄのｄ個の要素のベクトルを順次並べて、ｍ×ｎ＝ｄを満たすｍ行ｎ列の行列を形成することで行列化を行い距離累積行列ΦΦとする。すなわち、φ´１～φ´ｍを１列目、φ´ｍ＋１～φ´２ｍを２列目、φ´２ｍ＋１～φ´３ｍを３列目、・・・・、というように並べて行列化する。なお、行ごとに順番に並べるようにしても良い。
【0040】
図８は、飛行機と犬、鳥と犬、および猫と犬のケースに対する距離累積画像ΦΦＭ、ΦΦＫＬ、ΦΦＢ、およびΦΦＣを示す図である。
統計的距離行列の効果に対して、それ自体よりも、距離累積画像は、もっと明瞭に反映できる。図に示すように、ＤＤＭとＤＤＫＬの距離累積画像ΦΦＭとΦΦＫＬは無秩序であり、ＤＤＢとＤＤＣの距離累積画像ΦΦＢとΦΦＣは規則的なパターンを示した。主な表現は、高値のピクセルがすべて距離累積画像の中心に集中し、円または楕円に似た分布を示すことである。飛行機や犬などの類似性が低いクラスの場合、高値のピクセルの数が多くなり、それらの位置が画像の中心により集中している。対照的に、猫や犬などの類似性が高いクラス間では、高値のピクセルは少なく、中値のピクセルと一緒に画像の中心に広く集中している。したがって、距離行列イメージング法は、２クラスに対して画像ピクセル間の差異の大きさと位置を同時に定量化できる。
統計的距離行列の効果に対して、それ自体よりも、距離累積画像は、もっと明瞭に反映できる。図に示すように、ＤＤＭとＤＤＫＬの距離累積画像ΦΦＭとΦΦＫＬは無秩序であり、ＤＤＢとＤＤＣの距離累積画像ΦΦＢとΦΦＣは規則的なパターンを示した。主な表現は、高値のピクセルがすべて距離累積画像の中心に集中し、円または楕円に似た分布を示すことである。飛行機や犬などの類似性が低いクラスの場合、高値のピクセルの数が多くなり、それらの位置が画像の中心により集中している。対照的に、猫や犬などの類似性が高いクラス間では、高値のピクセルは少なく、中値のピクセルと一緒に画像の中心に広く集中している。したがって、距離行列イメージング法は、２クラスに対して画像ピクセル間の差異の大きさと位置を同時に定量化できる。
【0041】
（ステップＳ１０９）
ステップＳ１０６の後、一方で、処理部１１は、統計的距離行列ＤＤに対して階層的クラスタリングにより特徴要素のクラスタを算出し、クラスタラベル集合を求める。すなわち、処理部１１は、ｄ行×ｄ列の統計的距離行列ＤＤに基づいて、ｄ個の要素ＩＤに付けられたクラスタラベルの集合を求める。
ここで、
入力：ステップＳ１０６の出力３
出力６：ｊ個の要素クラスタを表すクラスタラベル集合Ｓｄ－ｊ
となる。
処理部１１は、関数ｖｅｃ＾（・）より、入力されたクラスタラベル集合にあるｄ個の要素のクラスタラベルを、ベクトルのように要素ＩＤ順に並べて、ｍ×ｎ＝ｄを満たすｍ行ｎ列の行列を形成することで行列化してクラスタ行列とする。すなわち、１番目～ｍ番目の要素を１列目、ｍ＋１番目～２ｍ番目の要素を２列目、２ｍ＋１番目～３ｍ番目の要素を３列目、・・・・、というように並べて行列化する。なお、行ごとに順番に並べるようにしても良い。
ステップＳ１０６の後、一方で、処理部１１は、統計的距離行列ＤＤに対して階層的クラスタリングにより特徴要素のクラスタを算出し、クラスタラベル集合を求める。すなわち、処理部１１は、ｄ行×ｄ列の統計的距離行列ＤＤに基づいて、ｄ個の要素ＩＤに付けられたクラスタラベルの集合を求める。
ここで、
入力：ステップＳ１０６の出力３
出力６：ｊ個の要素クラスタを表すクラスタラベル集合Ｓｄ－ｊ
となる。
処理部１１は、関数ｖｅｃ＾（・）より、入力されたクラスタラベル集合にあるｄ個の要素のクラスタラベルを、ベクトルのように要素ＩＤ順に並べて、ｍ×ｎ＝ｄを満たすｍ行ｎ列の行列を形成することで行列化してクラスタ行列とする。すなわち、１番目～ｍ番目の要素を１列目、ｍ＋１番目～２ｍ番目の要素を２列目、２ｍ＋１番目～３ｍ番目の要素を３列目、・・・・、というように並べて行列化する。なお、行ごとに順番に並べるようにしても良い。
【0042】
図９に、階層的クラスタリングの処理についての説明図を示す。
この例では、図９（Ａ）のように、処理部１１は、統計的距離行列ＤＤは９行×９列であり、行番号又は列番号に対応する９個の要素ＩＤ（Ｃ１，Ｃ２，．．．，Ｃ９）に付けられたクラスタラベルの集合を求める。
ここでは一例として、図９（Ｂ）のように樹形図が求められ、さらに、図９（Ｃ）のように、各要素ＩＤに対してクラスタラベルが付与されている。
Ｃ１：“１”、 Ｃ２：“３”、 Ｃ３：“１”、
Ｃ４：“３”、 Ｃ５：“２”、 Ｃ６：“３”、
Ｃ７：“１”、 Ｃ８：“３”、 Ｃ９：“１”，
この例では、図９（Ａ）のように、処理部１１は、統計的距離行列ＤＤは９行×９列であり、行番号又は列番号に対応する９個の要素ＩＤ（Ｃ１，Ｃ２，．．．，Ｃ９）に付けられたクラスタラベルの集合を求める。
ここでは一例として、図９（Ｂ）のように樹形図が求められ、さらに、図９（Ｃ）のように、各要素ＩＤに対してクラスタラベルが付与されている。
Ｃ１：“１”、 Ｃ２：“３”、 Ｃ３：“１”、
Ｃ４：“３”、 Ｃ５：“２”、 Ｃ６：“３”、
Ｃ７：“１”、 Ｃ８：“３”、 Ｃ９：“１”，
【0043】
階層的クラスタリングの処理は、周知又は公知又は適宜の処理を用いることができる。
例えば、階層的クラスタリングについて、以下のサイトにわかりやすい例が示される。
http://www.snap-tck.com/room04/c01/stat/stat20/stat2002.html
以下に、これを参照して概要を説明する。
統計的距離行列ＤＤに対して、行番号又は列番号に対応する要素ＩＤを有する。最初に、各要素に違うクラスタラベルを付けるため、各クラスタは１つの要素のみを含む。処理部１１は、入力した統計的距離行列ＤＤにおいて距離δｕｖが最も近い２つのクラスタを融合する。融合された２つのクラスタと他のクラスタとの距離を比較し、長いものは、融合後に生成した新たなクラスタと他のクラスタとの距離として、統計的距離行列ＤＤを更新する。さらに処理部１１は、更新した統計的距離行列ＤＤにさらに距離δｕｖが最も近い２つのクラスタを融合し、長い方の距離でクラスタを更新し統計的距離行列ＤＤを更新するという処理を、１つのクラスタになるまで繰り返す。これにより、処理部１１は、クラスタラベルの樹形図を形成し、樹形図に従い予め設定されクラスタ数に応じてグループ分けをして要素ＩＤに対するクラスタラベルを付する。この結果をクラスタラベル集合として形成する。処理部１１は、さらにクラスタラベル集合を最初の要素ＩＤ順に並べ、行列化してクラスタ行列を形成することができる。処理部１１は、クラスタ行列を記憶部１５（クラスタ行列ファイル１５４）に記憶することができる。
また、階層的クラスタリングに関する処理の一例として、後述の「９．距離行列のクラスタリング」で説明する。
さらに、階層的クラスタリングに限らず、周知又は公知又は適宜のクラスタリングの処理を用いてもよい。
例えば、階層的クラスタリングについて、以下のサイトにわかりやすい例が示される。
http://www.snap-tck.com/room04/c01/stat/stat20/stat2002.html
以下に、これを参照して概要を説明する。
統計的距離行列ＤＤに対して、行番号又は列番号に対応する要素ＩＤを有する。最初に、各要素に違うクラスタラベルを付けるため、各クラスタは１つの要素のみを含む。処理部１１は、入力した統計的距離行列ＤＤにおいて距離δｕｖが最も近い２つのクラスタを融合する。融合された２つのクラスタと他のクラスタとの距離を比較し、長いものは、融合後に生成した新たなクラスタと他のクラスタとの距離として、統計的距離行列ＤＤを更新する。さらに処理部１１は、更新した統計的距離行列ＤＤにさらに距離δｕｖが最も近い２つのクラスタを融合し、長い方の距離でクラスタを更新し統計的距離行列ＤＤを更新するという処理を、１つのクラスタになるまで繰り返す。これにより、処理部１１は、クラスタラベルの樹形図を形成し、樹形図に従い予め設定されクラスタ数に応じてグループ分けをして要素ＩＤに対するクラスタラベルを付する。この結果をクラスタラベル集合として形成する。処理部１１は、さらにクラスタラベル集合を最初の要素ＩＤ順に並べ、行列化してクラスタ行列を形成することができる。処理部１１は、クラスタ行列を記憶部１５（クラスタ行列ファイル１５４）に記憶することができる。
また、階層的クラスタリングに関する処理の一例として、後述の「９．距離行列のクラスタリング」で説明する。
さらに、階層的クラスタリングに限らず、周知又は公知又は適宜のクラスタリングの処理を用いてもよい。
【0044】
図１０は、飛行機と犬のケースに対して、統計的距離行列ＤＤＢを使用した階層的クラスタリング結果を示す図である（ラベル付き距離累積画像ΦΦＢ。（ａ）：３つのクラスタ； （ｂ）：１０つのクラスタ）。
図１１は、鳥と犬のケースに対して、統計的距離行列ＤＤＢを使用した階層的クラスタリング結果を示す図である（ラベル付き距離累積画像ΦΦＢ。（ａ）：３つのクラスタ； （ｂ）：１０つのクラスタ）。
図１２は、猫と犬のケースに対して、統計的距離行列ＤＤＢを使用した階層的クラスタリング結果を示す図である（ラベル付き距離累積画像ΦΦＢ。（ａ）：３つのクラスタ； （ｂ）：１０つのクラスタ）。
ここで、処理部１１は、統計的距離行列ＤＤＢに基づいて、「９．距離行列のクラスタリング」で後述するような階層的クラスタリングアルゴリズムを使用し、その距離累積画像ΦΦＢのピクセル（特徴要素）をクラスタリングした。これらの図に示すように、飛行機と犬、鳥と犬、および猫と犬の３つのケースに対して、それぞれのΦΦＢのピクセルを３つおよび１０つのクラスタに分離し、ラベルを付けた。得られたクラスタパターンは、すべて円形または正方形（又は、楕円形、長方形等）で対称であり、中心点から放射状に広がる。このようなクラスタパターンはマンダラと見なすことができる。したがって、統計的距離行列のクラスタリング結果を直観的に説明するために、「情報マンダラ」という用語を確立した。（なお、マンダラという言葉は、「聖なる円」を意味するサンスクリット語の用語である。ヒンズー教、仏教、ジャイナ教、神道などのさまざまな宗教的伝統において、マンダラは、楽園、神々、または実際の神社を表すための図として使用されている。マンダラは円形または正方形であり、中心点から放射状に広がる色、形、およびパターンで設計されている。マンダラは正確に測定されると、幾何学的な対称性を持つ。）
図１１は、鳥と犬のケースに対して、統計的距離行列ＤＤＢを使用した階層的クラスタリング結果を示す図である（ラベル付き距離累積画像ΦΦＢ。（ａ）：３つのクラスタ； （ｂ）：１０つのクラスタ）。
図１２は、猫と犬のケースに対して、統計的距離行列ＤＤＢを使用した階層的クラスタリング結果を示す図である（ラベル付き距離累積画像ΦΦＢ。（ａ）：３つのクラスタ； （ｂ）：１０つのクラスタ）。
ここで、処理部１１は、統計的距離行列ＤＤＢに基づいて、「９．距離行列のクラスタリング」で後述するような階層的クラスタリングアルゴリズムを使用し、その距離累積画像ΦΦＢのピクセル（特徴要素）をクラスタリングした。これらの図に示すように、飛行機と犬、鳥と犬、および猫と犬の３つのケースに対して、それぞれのΦΦＢのピクセルを３つおよび１０つのクラスタに分離し、ラベルを付けた。得られたクラスタパターンは、すべて円形または正方形（又は、楕円形、長方形等）で対称であり、中心点から放射状に広がる。このようなクラスタパターンはマンダラと見なすことができる。したがって、統計的距離行列のクラスタリング結果を直観的に説明するために、「情報マンダラ」という用語を確立した。（なお、マンダラという言葉は、「聖なる円」を意味するサンスクリット語の用語である。ヒンズー教、仏教、ジャイナ教、神道などのさまざまな宗教的伝統において、マンダラは、楽園、神々、または実際の神社を表すための図として使用されている。マンダラは円形または正方形であり、中心点から放射状に広がる色、形、およびパターンで設計されている。マンダラは正確に測定されると、幾何学的な対称性を持つ。）
【0045】
（ステップＳ１１０）
処理部１１は、：行列要素にクラスタラベル（要素ラベル）を付ける。
ここで、
入力：ステップＳ１０９の出力６、Ｓ１０８の出力５
出力７：類似性によりマンダラパターン
となる。
処理部１１は、このステップで、関数ｖｅｃ＾（・）よりクラスタ集合を行列化してクラスタ行列としてもよい。すなわち、ｄ個の要素のクラスタラベルを、ベクトルのように要素ＩＤ順に並べて、ｍ×ｎ＝ｄを満たすｍ行ｎ列の行列を形成することができる。あるいは、処理部１１は、ステップＳ１０９又はＳ１１０で、実際にクラスタ行列を形成しなくても、クラスタ集合を距離累積行列ΦΦと対応付けるようにしてもよい。
例えば、図９の例では、処理部１１は、図９（Ｄ）に示したように、クラスタラベル集合はベクトル化されると、９行であり、これをｖｅｃ＾（・）の処理により３行×３列のクラスタ行列として、統計的距離行列ＤＤは３行×３列に対応したクラスタラベルを付ける。
処理部１１は、：行列要素にクラスタラベル（要素ラベル）を付ける。
ここで、
入力：ステップＳ１０９の出力６、Ｓ１０８の出力５
出力７：類似性によりマンダラパターン
となる。
処理部１１は、このステップで、関数ｖｅｃ＾（・）よりクラスタ集合を行列化してクラスタ行列としてもよい。すなわち、ｄ個の要素のクラスタラベルを、ベクトルのように要素ＩＤ順に並べて、ｍ×ｎ＝ｄを満たすｍ行ｎ列の行列を形成することができる。あるいは、処理部１１は、ステップＳ１０９又はＳ１１０で、実際にクラスタ行列を形成しなくても、クラスタ集合を距離累積行列ΦΦと対応付けるようにしてもよい。
例えば、図９の例では、処理部１１は、図９（Ｄ）に示したように、クラスタラベル集合はベクトル化されると、９行であり、これをｖｅｃ＾（・）の処理により３行×３列のクラスタ行列として、統計的距離行列ＤＤは３行×３列に対応したクラスタラベルを付ける。
【0046】
（ステップＳ１１１）
処理部１１は、クラスタラベル付きの距離累積行列ΦΦを記憶部１５（距離累積行列ファイル１５３）に記憶することができる。また処理部１１は、距離累積行列ΦΦを、例えば画像として、表示部１４に表示させ、及び／又は、出力部１３若しくはＩ／Ｆ１６により結果を出力することができる。
ここで、
入力：Ｓ１１０の出力７
出力：Ｓ１１０の出力７
となる。
（ステップＳ１１２）
処理部１１は、距離累積行列ΦΦのパターンによりａａとｂｂとの類似性を判定する。処理部１１は、判定結果を、出力ファイルに１５４記憶することができる。類似性の判定の具体的処理については、「６．距離累積画像におけるマンダラパターンの定量化」で後述する。
なお、処理部１１は、各ステップＳ１０１～Ｓ１１２等で計算・求めた各データ・出力結果等のいずれか又は複数を、適宜記憶部１５又は記憶部１５内の各ファイル（入力データファイル１５１、統計的距離行列ファイル１５２、距離行列ファイル１５３、クラスタ行列ファイル１５４、出力ファイル１５５等）に記憶してもよく、そこから必要に応じて読み出すことができる。また、処理部１１は、各ステップＳ１０１～Ｓ１１２等で計算・求めた各データ・出力結果等のいずれか又は複数を、表示部１４に表示させ、及び／又は、出力部１３若しくはＩ／Ｆ１６により結果を出力してもよい。
処理部１１は、クラスタラベル付きの距離累積行列ΦΦを記憶部１５（距離累積行列ファイル１５３）に記憶することができる。また処理部１１は、距離累積行列ΦΦを、例えば画像として、表示部１４に表示させ、及び／又は、出力部１３若しくはＩ／Ｆ１６により結果を出力することができる。
ここで、
入力：Ｓ１１０の出力７
出力：Ｓ１１０の出力７
となる。
（ステップＳ１１２）
処理部１１は、距離累積行列ΦΦのパターンによりａａとｂｂとの類似性を判定する。処理部１１は、判定結果を、出力ファイルに１５４記憶することができる。類似性の判定の具体的処理については、「６．距離累積画像におけるマンダラパターンの定量化」で後述する。
なお、処理部１１は、各ステップＳ１０１～Ｓ１１２等で計算・求めた各データ・出力結果等のいずれか又は複数を、適宜記憶部１５又は記憶部１５内の各ファイル（入力データファイル１５１、統計的距離行列ファイル１５２、距離行列ファイル１５３、クラスタ行列ファイル１５４、出力ファイル１５５等）に記憶してもよく、そこから必要に応じて読み出すことができる。また、処理部１１は、各ステップＳ１０１～Ｓ１１２等で計算・求めた各データ・出力結果等のいずれか又は複数を、表示部１４に表示させ、及び／又は、出力部１３若しくはＩ／Ｆ１６により結果を出力してもよい。
【0047】
５．２．第２の実施の形態
図２０に、第２の実施の形態の統計的距離行列の可視化方法に関するフローチャートを示す。
第２の実施の形態は、第１の実施の形態におけるステップＳ１０９及びＳ１１０を省略したものである。
（ステップＳ１０１）～（ステップＳ１０８）
処理部１１は、第１の実施の形態と同様の処理を実行する。
（ステップＳ１１１）
処理部１１は、距離累積行列ΦΦを、例えば画像として、表示部１４に表示させ、及び／又は、出力部１３若しくはＩ／Ｆ１６により結果を出力することができる。（なお、クラスタラベルは付されていない。）
（ステップＳ１１２）
処理部１１は、第１の実施の形態と同様の処理を実行する。
その他、処理の詳細は、第１の実施の形態と同様である。
図２０に、第２の実施の形態の統計的距離行列の可視化方法に関するフローチャートを示す。
第２の実施の形態は、第１の実施の形態におけるステップＳ１０９及びＳ１１０を省略したものである。
（ステップＳ１０１）～（ステップＳ１０８）
処理部１１は、第１の実施の形態と同様の処理を実行する。
（ステップＳ１１１）
処理部１１は、距離累積行列ΦΦを、例えば画像として、表示部１４に表示させ、及び／又は、出力部１３若しくはＩ／Ｆ１６により結果を出力することができる。（なお、クラスタラベルは付されていない。）
（ステップＳ１１２）
処理部１１は、第１の実施の形態と同様の処理を実行する。
その他、処理の詳細は、第１の実施の形態と同様である。
【0048】
５．３．第３の実施の形態
図２１に、第３の実施の形態の統計的距離行列の可視化方法に関するフローチャートを示す。
第３の実施の形態は、第１の実施の形態におけるステップＳ１０７及びＳ１０８を省略し、ステップＳ１１０をステップＳ１１０－２に置き換えたものである。
（ステップＳ１０１）～（ステップＳ１０６）、（ステップＳ１０９）
処理部１１は、は第１の実施の形態と同様の処理を実行する。
（ステップＳ１１０－２）
処理部１１は、関数ｖｅｃ＾（・）よりクラスタラベル集合を行列化して統計的距離行列とする。すなわち、ｄ個のクラスタラベル集合を順次並べて、ｍ×ｎ＝ｄを満たすｍ行ｎ列の行列を形成する。
ここで、
入力：ステップＳ１０９の出力４
出力５：クラスタ行列
となる。
（ステップＳ１１１）
処理部１１は、クラスタラベル行列を出力する。
（ステップＳ１１２）
処理部１１は、第１の実施の形態と同様の処理を実行する。
その他、処理の詳細は、第１の実施の形態と同様である。
図２１に、第３の実施の形態の統計的距離行列の可視化方法に関するフローチャートを示す。
第３の実施の形態は、第１の実施の形態におけるステップＳ１０７及びＳ１０８を省略し、ステップＳ１１０をステップＳ１１０－２に置き換えたものである。
（ステップＳ１０１）～（ステップＳ１０６）、（ステップＳ１０９）
処理部１１は、は第１の実施の形態と同様の処理を実行する。
（ステップＳ１１０－２）
処理部１１は、関数ｖｅｃ＾（・）よりクラスタラベル集合を行列化して統計的距離行列とする。すなわち、ｄ個のクラスタラベル集合を順次並べて、ｍ×ｎ＝ｄを満たすｍ行ｎ列の行列を形成する。
ここで、
入力：ステップＳ１０９の出力４
出力５：クラスタ行列
となる。
（ステップＳ１１１）
処理部１１は、クラスタラベル行列を出力する。
（ステップＳ１１２）
処理部１１は、第１の実施の形態と同様の処理を実行する。
その他、処理の詳細は、第１の実施の形態と同様である。
【0049】
５．４．第３の実施の形態の効果補足
距離累積行列ΦΦにおける各要素の値は、距離行列にある、その要素とすべての要素のローカル距離を累積した値である。したがって、距離累積行列ΦΦは、距離行列を圧縮して得たものと考えられ、距離行列より情報量は少ない。距離累積行列ΦΦの中に、ローカル距離の形跡も存在していないので、距離累積行列ΦΦから、距離行列を復元できない。
一方、クラスタリング結果としての樹形図は、距離行列にあるローカル距離の大きさによって、要素同士を階層的に並べたものなので、各要素の間の相対的な距離関係をすべて含んでいる。したがって、樹形図から、元の絶対的な距離行列でなく、相対的な距離行列を復元することができる。樹形図は、距離累積行列ΦΦとの関係は薄い。また、樹形図の計算に生成されたｄ個の各ｊ個の要素クラスタを表すクラスタラベル集合｛Ｓｄ－ｊ｝，ｊ＝ｄ－ｉ，ｉ＝１，…，ｄ は、マンダラ模様を表すのに使用することができる。
距離累積行列ΦΦとクラスタリング結果は両方ともマンダラ模様を表しているが、それらの模様は異なる。例えば、図１２の（ｂ）に示すように、クラスタ２と８のラベルを付けたΦの要素は、近い値を持っているので、簡単な閾値の設定によっては、区別ができないかもしれないが、１０個の要素クラスタを表す、クラスタラベル集合（要素ラベル集合）Ｓｄ－ｊ（ｄ＝３２ｘ３２，ｊ＝１０）により区別することができる。
第１の実施の形態では、結果の見え方を一層わかりやすくするために、２種類のマンダラ模様を統合したが、第２の実施の形態又は第３の実施の形態のように、統合をしなくても構わない。
距離累積行列ΦΦにおける各要素の値は、距離行列にある、その要素とすべての要素のローカル距離を累積した値である。したがって、距離累積行列ΦΦは、距離行列を圧縮して得たものと考えられ、距離行列より情報量は少ない。距離累積行列ΦΦの中に、ローカル距離の形跡も存在していないので、距離累積行列ΦΦから、距離行列を復元できない。
一方、クラスタリング結果としての樹形図は、距離行列にあるローカル距離の大きさによって、要素同士を階層的に並べたものなので、各要素の間の相対的な距離関係をすべて含んでいる。したがって、樹形図から、元の絶対的な距離行列でなく、相対的な距離行列を復元することができる。樹形図は、距離累積行列ΦΦとの関係は薄い。また、樹形図の計算に生成されたｄ個の各ｊ個の要素クラスタを表すクラスタラベル集合｛Ｓｄ－ｊ｝，ｊ＝ｄ－ｉ，ｉ＝１，…，ｄ は、マンダラ模様を表すのに使用することができる。
距離累積行列ΦΦとクラスタリング結果は両方ともマンダラ模様を表しているが、それらの模様は異なる。例えば、図１２の（ｂ）に示すように、クラスタ２と８のラベルを付けたΦの要素は、近い値を持っているので、簡単な閾値の設定によっては、区別ができないかもしれないが、１０個の要素クラスタを表す、クラスタラベル集合（要素ラベル集合）Ｓｄ－ｊ（ｄ＝３２ｘ３２，ｊ＝１０）により区別することができる。
第１の実施の形態では、結果の見え方を一層わかりやすくするために、２種類のマンダラ模様を統合したが、第２の実施の形態又は第３の実施の形態のように、統合をしなくても構わない。
【0050】
６．距離累積画像におけるマンダラパターンの定量化
（距離累積画像のセグメンテーションによる非類似度（マンダラパターンの強さ）の測定）
処理部１１は、以下の処理を実行することで距離累積行列（距離累積画像）におけるマンダラパターンの定量化（距離累積画像のセグメンテーションによる非類似度（マンダラパターンの強さ）の測定）を実現することができる。
距離累積行列（距離累積画像）ΦΦ：＝［φｉｊ］＝ｖｅｃ＾（φφ），ｉ＝１，…，ｍ，ｊ＝１，…，ｎのすべての要素に対しては、二つのしきい値で累積画像のセグメンテーションを行い、画像から値の低い、普通、および高い、合計３種類の要素領域を切り出す。値の高い要素領域と普通の要素領域を結合して得た領域は、多くの情報を持っているため、有効要素領域と呼ばれている。値の高い要素領域と有効要素領域の面積比（値の高い要素領域の要素数に対する有効要素領域の要素数の割合）を計算して求めた数値は、２クラスの非類似度、すなわち、マンダラパターンの強さと考えられる。
値の低い要素と普通の要素のしきい値θ１、および普通の要素と高い要素のしきい値θ２は、それぞれ次式によって得られる。
θ１：＝（１／３）φｍａｘ ，θ２：＝（２／３）φｍａｘ （４２）
ここで、φｍａｘは、距離累積画像ΦΦにおいて、要素の最大値とする。それらのしきい値に基づいて、値の低い、普通、および高い、合計３種類の要素領域Ｒｌｏｗ、Ｒｍｅｄｉｕｍ、およびＲｉｇｈは、それぞれ次式で定義される。
Ｒｌｏｗ：＝{（ｉ，ｊ）｜φ（ｉ，ｊ）≦θ１，
ｉ＝１，．．．，ｍ，ｊ＝１，．．．，ｎ} （４３）
Ｒｍｅｄｉｕｍ：＝{（ｉ，ｊ）｜φ（ｉ，ｊ）≦θ２，
ｉ＝１，．．．，ｍ，ｊ＝１，．．．，ｎ} （４４）
Ｒｈｉｇｈ：＝{（ｉ，ｊ）｜θ２≦φ（ｉ，ｊ），
ｉ＝１，．．．，ｍ，ｊ＝１，．．．，ｎ} （４５）
そして、値の高い要素領域Ｒｈｉｇｈと有効要素領域Ｒｍｅｄｉｕｍ＋Ｒｈｉｇｈの面積比ρは、ＲｈｉｇｈとＲｍｅｄｉｕｍ＋Ｒｈｉｇｈの要素数としたＮｈｉｇｈとＮｍｅｄｉｕｍ＋Ｎｈｉｇｈの比率：
ρ：＝Ｎｈｉｇｈ／（Ｎｍｅｄｉｕｍ＋Ｎｈｉｇｈ） （４６）
で表される。
（距離累積画像のセグメンテーションによる非類似度（マンダラパターンの強さ）の測定）
処理部１１は、以下の処理を実行することで距離累積行列（距離累積画像）におけるマンダラパターンの定量化（距離累積画像のセグメンテーションによる非類似度（マンダラパターンの強さ）の測定）を実現することができる。
距離累積行列（距離累積画像）ΦΦ：＝［φｉｊ］＝ｖｅｃ＾（φφ），ｉ＝１，…，ｍ，ｊ＝１，…，ｎのすべての要素に対しては、二つのしきい値で累積画像のセグメンテーションを行い、画像から値の低い、普通、および高い、合計３種類の要素領域を切り出す。値の高い要素領域と普通の要素領域を結合して得た領域は、多くの情報を持っているため、有効要素領域と呼ばれている。値の高い要素領域と有効要素領域の面積比（値の高い要素領域の要素数に対する有効要素領域の要素数の割合）を計算して求めた数値は、２クラスの非類似度、すなわち、マンダラパターンの強さと考えられる。
値の低い要素と普通の要素のしきい値θ１、および普通の要素と高い要素のしきい値θ２は、それぞれ次式によって得られる。
θ１：＝（１／３）φｍａｘ ，θ２：＝（２／３）φｍａｘ （４２）
ここで、φｍａｘは、距離累積画像ΦΦにおいて、要素の最大値とする。それらのしきい値に基づいて、値の低い、普通、および高い、合計３種類の要素領域Ｒｌｏｗ、Ｒｍｅｄｉｕｍ、およびＲｉｇｈは、それぞれ次式で定義される。
Ｒｌｏｗ：＝{（ｉ，ｊ）｜φ（ｉ，ｊ）≦θ１，
ｉ＝１，．．．，ｍ，ｊ＝１，．．．，ｎ} （４３）
Ｒｍｅｄｉｕｍ：＝{（ｉ，ｊ）｜φ（ｉ，ｊ）≦θ２，
ｉ＝１，．．．，ｍ，ｊ＝１，．．．，ｎ} （４４）
Ｒｈｉｇｈ：＝{（ｉ，ｊ）｜θ２≦φ（ｉ，ｊ），
ｉ＝１，．．．，ｍ，ｊ＝１，．．．，ｎ} （４５）
そして、値の高い要素領域Ｒｈｉｇｈと有効要素領域Ｒｍｅｄｉｕｍ＋Ｒｈｉｇｈの面積比ρは、ＲｈｉｇｈとＲｍｅｄｉｕｍ＋Ｒｈｉｇｈの要素数としたＮｈｉｇｈとＮｍｅｄｉｕｍ＋Ｎｈｉｇｈの比率：
ρ：＝Ｎｈｉｇｈ／（Ｎｍｅｄｉｕｍ＋Ｎｈｉｇｈ） （４６）
で表される。
【0051】
図１３は、飛行機と犬のケースに対して、距離累積画像ΦΦＢから値の低い、普通、高い、合計３種類の要素領域を切り出した結果を示す図である（黒色：値の低い要素領域Ｒｌｏｗ；灰色：値が普通の要素領域Ｒｍｅｄｉｕｍ；白色：値の高い要素領域Ｒｈｉｇｈ）。
図１４は、鳥と犬のケースに対して、距離累積画像ΦΦＢから値の低い、普通、高い、合計３種類の要素領域を切り出した結果を示す図である（黒色：値の低い要素領域Ｒｌｏｗ；灰色：値が普通の要素領域Ｒｍｅｄｉｕｍ；白色：値の高い要素領域Ｒｈｉｇｈ）。
図１５は、猫と犬のケースに対して、距離累積画像ΦΦＢから値の低い、普通、高い、合計３種類の要素領域を切り出した結果を示す図である（。黒色：値の低い要素領域Ｒｌｏｗ；灰色：値が普通の要素領域Ｒｍｅｄｉｕｍ；白色：値の高い要素領域Ｒｈｉｇｈ）。
これらの図に示すように、飛行機と犬、鳥と犬、および猫と犬のケースに対して、式（４３）－（４５）でそれぞれＮｌｏｗ、Ｎｍｅｄｉｕｍ、Ｎｈｉｇｈ、およびＮｍｅｄｉｕｍ＋Ｎｈｉｇｈを求めてから、式（４６）で面積を算出する。その結果は、以下の図＃＃の通りである。
図１４は、鳥と犬のケースに対して、距離累積画像ΦΦＢから値の低い、普通、高い、合計３種類の要素領域を切り出した結果を示す図である（黒色：値の低い要素領域Ｒｌｏｗ；灰色：値が普通の要素領域Ｒｍｅｄｉｕｍ；白色：値の高い要素領域Ｒｈｉｇｈ）。
図１５は、猫と犬のケースに対して、距離累積画像ΦΦＢから値の低い、普通、高い、合計３種類の要素領域を切り出した結果を示す図である（。黒色：値の低い要素領域Ｒｌｏｗ；灰色：値が普通の要素領域Ｒｍｅｄｉｕｍ；白色：値の高い要素領域Ｒｈｉｇｈ）。
これらの図に示すように、飛行機と犬、鳥と犬、および猫と犬のケースに対して、式（４３）－（４５）でそれぞれＮｌｏｗ、Ｎｍｅｄｉｕｍ、Ｎｈｉｇｈ、およびＮｍｅｄｉｕｍ＋Ｎｈｉｇｈを求めてから、式（４６）で面積を算出する。その結果は、以下の図＃＃の通りである。
【0052】
図１６は、ρの計算結果の例を示す図である。
飛行機と犬、鳥と犬、および猫と犬のケースρは、値を高い方から低い順に並べており、人間の目と脳で２クラスの差異を認識する感覚と同じなので、２クラスの非類似度を表す尺度と考えられる。
（まとめ）
したがって、距離行列イメージング法で得られた距離累積画像ΦΦに対して、この「距離累積画像におけるマンダラパターンの定量化（距離累積画像のセグメンテーションによる非類似度（マンダラパターンの強さ）の測定）」の手法を使用すると、画像ピクセル間の差異の強さ（非類似度）や、位置、サイズおよび対称性（非類似性）等を同時に定量化することができた。その差異は、マンダラパターンのように、例えば、楕円形で対称であり、中心点から放射状に広がることが確認できた。
飛行機と犬、鳥と犬、および猫と犬のケースρは、値を高い方から低い順に並べており、人間の目と脳で２クラスの差異を認識する感覚と同じなので、２クラスの非類似度を表す尺度と考えられる。
（まとめ）
したがって、距離行列イメージング法で得られた距離累積画像ΦΦに対して、この「距離累積画像におけるマンダラパターンの定量化（距離累積画像のセグメンテーションによる非類似度（マンダラパターンの強さ）の測定）」の手法を使用すると、画像ピクセル間の差異の強さ（非類似度）や、位置、サイズおよび対称性（非類似性）等を同時に定量化することができた。その差異は、マンダラパターンのように、例えば、楕円形で対称であり、中心点から放射状に広がることが確認できた。
【0053】
７．関連技術との比較
図１７に、統計的距離に関する関連技術１についての説明図を示す。
以下に、本発明の実施の形態と関連技術１とを比較する。この関連技術１では、処理部１１は、入力された特徴ベクトルの２つの母集団｛ａａｋ｝と｛ｂｂｋ｝に対して、式（１９）、（３７）より、特徴ベクトルの２組の平均ベクトルと共分散行列μμ１、ΣΣ１とμ２、ΣΣ２とを求める。つぎに、処理部１１は、２組の平均ベクトルと共分散行列μμ１、ΣΣ１とμμ２、ΣΣ２を用いて、式（６）、（７）、（１１）又は（１２）より統計的距離Ｄを計算する。
これに対して、例えば、本発明の実施の形態では、関連技術１のようなスカラー値である統計的距離Ｄではなく、画像等を表現可能な行列である統計的距離行列ＤＤを計算する点で、両者は異なる。
図１７に、統計的距離に関する関連技術１についての説明図を示す。
以下に、本発明の実施の形態と関連技術１とを比較する。この関連技術１では、処理部１１は、入力された特徴ベクトルの２つの母集団｛ａａｋ｝と｛ｂｂｋ｝に対して、式（１９）、（３７）より、特徴ベクトルの２組の平均ベクトルと共分散行列μμ１、ΣΣ１とμ２、ΣΣ２とを求める。つぎに、処理部１１は、２組の平均ベクトルと共分散行列μμ１、ΣΣ１とμμ２、ΣΣ２を用いて、式（６）、（７）、（１１）又は（１２）より統計的距離Ｄを計算する。
これに対して、例えば、本発明の実施の形態では、関連技術１のようなスカラー値である統計的距離Ｄではなく、画像等を表現可能な行列である統計的距離行列ＤＤを計算する点で、両者は異なる。
【0054】
図１８に、相互相関行列に関する関連技術２についての説明図を示す。
以下に、本発明の実施の形態と関連技術２とを比較する。この関連技術２では、処理部１１は、入力された特徴ベクトルの２つの母集団｛ａａｋ｝と｛ｂｂｋ｝に対して、式（１９）、（３７）より、特徴ベクトルの２組の平均ベクトルと共分散行列μμ１、ΣΣ１とμμ２、ΣΣ２とを求める。つぎに、処理部１１は、２組の平均ベクトルと共分散行列μμ１、ΣΣ１とμμ２、ΣΣ２を用いて、式（３８）より相互相関行列ＲＲを計算する。
これに対して、例えば、本発明の実施の形態では、関連技術２のような相互相関行列ＲＲではなく、画像等を表現可能な行列である統計的距離行列ＤＤを計算する点で、両者は異なる。
以下に、本発明の実施の形態と関連技術２とを比較する。この関連技術２では、処理部１１は、入力された特徴ベクトルの２つの母集団｛ａａｋ｝と｛ｂｂｋ｝に対して、式（１９）、（３７）より、特徴ベクトルの２組の平均ベクトルと共分散行列μμ１、ΣΣ１とμμ２、ΣΣ２とを求める。つぎに、処理部１１は、２組の平均ベクトルと共分散行列μμ１、ΣΣ１とμμ２、ΣΣ２を用いて、式（３８）より相互相関行列ＲＲを計算する。
これに対して、例えば、本発明の実施の形態では、関連技術２のような相互相関行列ＲＲではなく、画像等を表現可能な行列である統計的距離行列ＤＤを計算する点で、両者は異なる。
【0055】
８．検討
まず、統計的距離行列ＤＤＢおよびＤＤＣが特徴距離測定に有効である理由について説明する。ＤＤＢとＤＤＣには、平均ベクトルμμ１とμμ２、および共分散行列ΣΣ１とΣΣ２に関する２次項がある。このような２次項は、ＤＤＭおよびＤＤＫＬにも存在する。一方、ＤＤＢとＤＤＣには、共分散比の対数のみを含み、平均ベクトルを含まない項もある。ＤＤＭには、共分散行列を含む項がなく、ＤＤＫＬには、共分散比を含む項があるが、対数的に計算されていない。２つの平均ベクトルが等しい、もしくは近似する場合、２次項の値はゼロになる傾向がある。つまり、２つの確率分布が大きく重なり合う場合、共分散比の項は２次項よりも重要な役割を果たす。これがＤＤＢとＤＤＣが有効な理由と考えられる。
次に、クラスタリングが必要な理由を説明する。クラスタリングの前に、統計的距離行列ＤＤは、ランダムベクトルＸの要素間のすべてのローカル距離を表している。多数のローカル距離がゼロに非常に近いため、ＤＤはスパースになりやすい。一方、グラフ理論において、ＤＤは、頂点がＸの要素として定義され、辺がローカル距離δに割り当てられている、有向グラフに射影できる。ただし、このような疎グラフに対して、多くのアプリケーションでは、小さい値を持つ辺を処理すると、計算が複雑になることが想定される。したがって、例えば、グラフ内の重要でない辺の数を減らし、値を再割り当てした重要な辺に従って、頂点を階層的に再配置する必要がある。このような変形で得た木構造により、データのアクセス速度が大幅に向上し、コンピューターのメモリ領域を節約できるようになるだろう。
最後に、統計距離行列と、[5]で提案されたニューラルネットワークの新しい便利なモデルである、カプセルニューラルネットワーク（ＣａｐｓＮｅｔ）の重み行列との関係を検討する。本発明及び／又は本実施の形態で提案された統計距離行列は、視点不変性を持っている。したがって、ターゲットの傾きが画像内でどれだけ変化しても、ターゲットの区別に影響を与えないので、統計距離行列をそのままに使用できる。ただし、ＣａｐｓＮｅｔの重み行列と比べると、統計的距離行列は、距離累積画像に基づいてより直感的であり、階層的クラスタリング手法を使用することでより解釈できるようになってきた。したがって、統計的距離行列と、「情報マンダラ」として表されるそのクラスタリング結果は、重み行列より優れていると考えられる。
まず、統計的距離行列ＤＤＢおよびＤＤＣが特徴距離測定に有効である理由について説明する。ＤＤＢとＤＤＣには、平均ベクトルμμ１とμμ２、および共分散行列ΣΣ１とΣΣ２に関する２次項がある。このような２次項は、ＤＤＭおよびＤＤＫＬにも存在する。一方、ＤＤＢとＤＤＣには、共分散比の対数のみを含み、平均ベクトルを含まない項もある。ＤＤＭには、共分散行列を含む項がなく、ＤＤＫＬには、共分散比を含む項があるが、対数的に計算されていない。２つの平均ベクトルが等しい、もしくは近似する場合、２次項の値はゼロになる傾向がある。つまり、２つの確率分布が大きく重なり合う場合、共分散比の項は２次項よりも重要な役割を果たす。これがＤＤＢとＤＤＣが有効な理由と考えられる。
次に、クラスタリングが必要な理由を説明する。クラスタリングの前に、統計的距離行列ＤＤは、ランダムベクトルＸの要素間のすべてのローカル距離を表している。多数のローカル距離がゼロに非常に近いため、ＤＤはスパースになりやすい。一方、グラフ理論において、ＤＤは、頂点がＸの要素として定義され、辺がローカル距離δに割り当てられている、有向グラフに射影できる。ただし、このような疎グラフに対して、多くのアプリケーションでは、小さい値を持つ辺を処理すると、計算が複雑になることが想定される。したがって、例えば、グラフ内の重要でない辺の数を減らし、値を再割り当てした重要な辺に従って、頂点を階層的に再配置する必要がある。このような変形で得た木構造により、データのアクセス速度が大幅に向上し、コンピューターのメモリ領域を節約できるようになるだろう。
最後に、統計距離行列と、[5]で提案されたニューラルネットワークの新しい便利なモデルである、カプセルニューラルネットワーク（ＣａｐｓＮｅｔ）の重み行列との関係を検討する。本発明及び／又は本実施の形態で提案された統計距離行列は、視点不変性を持っている。したがって、ターゲットの傾きが画像内でどれだけ変化しても、ターゲットの区別に影響を与えないので、統計距離行列をそのままに使用できる。ただし、ＣａｐｓＮｅｔの重み行列と比べると、統計的距離行列は、距離累積画像に基づいてより直感的であり、階層的クラスタリング手法を使用することでより解釈できるようになってきた。したがって、統計的距離行列と、「情報マンダラ」として表されるそのクラスタリング結果は、重み行列より優れていると考えられる。
【0056】
（まとめ）
以上のように、まず、画像の比較実験を通じて、ＤＤＣのような統計的距離行列が、ピクセルの画素値が特徴要素として直接に計算され、他の距離と比べて、より効果的にターゲットを区別できることを明らかにした。次に、新たに提案された、統計的距離行列の表現方法としての距離蓄積画像は、価値の高いピクセルが画像の中央に集中していることを示した。さらに、統計的距離行列を階層的クラスタリングすると、すべて又はほとんどのピクセルクラスターは基本的に画像の中心を囲み、距離値に従って内側から外側に放射状のように配置されることを発見した。これらのパターンはマンダラに非常に似ているため、統計的距離行列とそのクラスタリング結果を「情報マンダラ」と呼ぶ。「情報マンダラ」は新たなエントロピーであり、畳み込みニューラルネットワークを理解するための重要な手段と考えられる。
以上のように、まず、画像の比較実験を通じて、ＤＤＣのような統計的距離行列が、ピクセルの画素値が特徴要素として直接に計算され、他の距離と比べて、より効果的にターゲットを区別できることを明らかにした。次に、新たに提案された、統計的距離行列の表現方法としての距離蓄積画像は、価値の高いピクセルが画像の中央に集中していることを示した。さらに、統計的距離行列を階層的クラスタリングすると、すべて又はほとんどのピクセルクラスターは基本的に画像の中心を囲み、距離値に従って内側から外側に放射状のように配置されることを発見した。これらのパターンはマンダラに非常に似ているため、統計的距離行列とそのクラスタリング結果を「情報マンダラ」と呼ぶ。「情報マンダラ」は新たなエントロピーであり、畳み込みニューラルネットワークを理解するための重要な手段と考えられる。
【0057】
９．距離行列のクラスタリング
距離行列の処理を加速するために、通常の階層的クラスタリング[10]を導入し、統計的距離行列に基づいてランダムベクトルの要素をクラスタリングする。
階層的クラスタリングアルゴリズムへの入力は、統計的距離行列ＤＤ、すなわち、クラスタラベル集合ＳＳおよび距離関数δと考えられる。クラスタラベル集合Ｓ：＝｛１、…、ｄ｝は、ランダムベクトルＸ（特徴ベクトル）の次元数ｄによって与られる。さらに、Ｓに含まれるクラスタラベルを、特徴ベクトルの要素に順番に付ける．距離行列ＤＤにおいて、要素δｕｖの位置を表す添字ｕ，ｖ∈Ｓを変数として扱い、δｕｖを関数化して得た距離関数δの写像は、δ：Ｓ×Ｓ→Ｒとする。δ（ｕ，ｖ）には、δｕｖの値が割り当てられる。ここで、δ（ｕ，ｕ）は０に設定される。集合Ｓにｄ個の要素があれば、組み合わせの数（ｄ ２）個の距離が存在する。
階層的クラスタリングアルゴリズムの出力は、樹形図Ｌとクラスタラベル集合（要素ラベル集合）によって定義される。樹形図は、データ構造と見なすことができ、数学的なグラフとして表現される。本発明及び／又は本実施の形態では、樹形図を使用している。基数ｄ＝｜Ｓ０｜を持つクラスタラベル集合Ｓ０が与えられた場合、すなわち、Ｓ０：＝｛１，…，ｄ｝、樹形図Ｌは、クラスタラベルｎｉに対応する順序組＜ｕｉ，ｖｉ，δ（ｕｉ，ｖｉ）＞，ｉ＝０，…，ｄ－２のリストで構成される。ここで、ｕｉ，ｖｉ∈Ｓｉ。クラスタラベル集合Ｓ０は、初期クラスタラベル集合であり、ステップｉ＋１におけるクラスタラベル集合Ｓｉ＋１は、（Ｓｉ＼｛ｕｉ，ｖｉ｝）∪ｎｉとして再帰的に定義される。各ステップで、ｎｉというラベルを付いた新しいクラスタは、距離δ（ｕｉ，ｖｉ）を持つ、ｕｉとｖｉというラベルを付いたクラスタを結合することによって構成される。手順には、ｄ－１ステップが含まれているため、最終状態では、ｄ個のすべての初期クラスタが一つのクラスタに含まれる。なお、要素クラスタの数をｊ＝ｄ－ｉ，i＝０，…，ｄ－１とすれば，クラスタラベル集合Ｓｄ－ｊに、ｊ個の要素クラスタに関するクラスタリング結果が含まれている。
距離行列の処理を加速するために、通常の階層的クラスタリング[10]を導入し、統計的距離行列に基づいてランダムベクトルの要素をクラスタリングする。
階層的クラスタリングアルゴリズムへの入力は、統計的距離行列ＤＤ、すなわち、クラスタラベル集合ＳＳおよび距離関数δと考えられる。クラスタラベル集合Ｓ：＝｛１、…、ｄ｝は、ランダムベクトルＸ（特徴ベクトル）の次元数ｄによって与られる。さらに、Ｓに含まれるクラスタラベルを、特徴ベクトルの要素に順番に付ける．距離行列ＤＤにおいて、要素δｕｖの位置を表す添字ｕ，ｖ∈Ｓを変数として扱い、δｕｖを関数化して得た距離関数δの写像は、δ：Ｓ×Ｓ→Ｒとする。δ（ｕ，ｖ）には、δｕｖの値が割り当てられる。ここで、δ（ｕ，ｕ）は０に設定される。集合Ｓにｄ個の要素があれば、組み合わせの数（ｄ ２）個の距離が存在する。
階層的クラスタリングアルゴリズムの出力は、樹形図Ｌとクラスタラベル集合（要素ラベル集合）によって定義される。樹形図は、データ構造と見なすことができ、数学的なグラフとして表現される。本発明及び／又は本実施の形態では、樹形図を使用している。基数ｄ＝｜Ｓ０｜を持つクラスタラベル集合Ｓ０が与えられた場合、すなわち、Ｓ０：＝｛１，…，ｄ｝、樹形図Ｌは、クラスタラベルｎｉに対応する順序組＜ｕｉ，ｖｉ，δ（ｕｉ，ｖｉ）＞，ｉ＝０，…，ｄ－２のリストで構成される。ここで、ｕｉ，ｖｉ∈Ｓｉ。クラスタラベル集合Ｓ０は、初期クラスタラベル集合であり、ステップｉ＋１におけるクラスタラベル集合Ｓｉ＋１は、（Ｓｉ＼｛ｕｉ，ｖｉ｝）∪ｎｉとして再帰的に定義される。各ステップで、ｎｉというラベルを付いた新しいクラスタは、距離δ（ｕｉ，ｖｉ）を持つ、ｕｉとｖｉというラベルを付いたクラスタを結合することによって構成される。手順には、ｄ－１ステップが含まれているため、最終状態では、ｄ個のすべての初期クラスタが一つのクラスタに含まれる。なお、要素クラスタの数をｊ＝ｄ－ｉ，i＝０，…，ｄ－１とすれば，クラスタラベル集合Ｓｄ－ｊに、ｊ個の要素クラスタに関するクラスタリング結果が含まれている。
【0058】
図１９に、階層的クラスタリングのフローチャートを示す。
以下に、提案されている階層的クラスタリングアルゴリズムが示されている。
処理部１１は、以下のように、フローチャートの沿ったアルゴリズムの各ステップ処理を実行することで、階層的クラスタリングを実現することができる。
（ステップＳ２０１） 入力
処理部１１は、統計的距離行列ＤＤを入力する。
すなわち、
クラスタラベル集合：Ｓ０
距離関数： δ
（ステップＳ２０２）
処理部１１は、初期化をする。
クラスタラベルの数： ｄ←｜Ｓ０｜
樹形図： Ｌ←（空きの樹形図）
以下に、提案されている階層的クラスタリングアルゴリズムが示されている。
処理部１１は、以下のように、フローチャートの沿ったアルゴリズムの各ステップ処理を実行することで、階層的クラスタリングを実現することができる。
（ステップＳ２０１） 入力
処理部１１は、統計的距離行列ＤＤを入力する。
すなわち、
クラスタラベル集合：Ｓ０
距離関数： δ
（ステップＳ２０２）
処理部１１は、初期化をする。
クラスタラベルの数： ｄ←｜Ｓ０｜
樹形図： Ｌ←（空きの樹形図）
【0059】
（ステップＳ２０３）
処理部１１は、ｆｏｒ ｉ＝０からｄ－２まで、以下のステップＳ２０３～Ｓ２１０までの処理を繰り返す。
（ステップＳ２０４）
処理部１１は、（ｕｉ，ｖｉ）←ａｒｇｍｉｎＳｉ×Ｓｉ＼Δｉδ、 を実行する。
ΔｉはＳｉ×Ｓｉの対角成分
（ここで、「ａｒｇ ｍｉｎ」は，区間Ｓｉ×Ｓｉ＼Δｉにおいて，目的函数δを最小化する引数（ｕｉ，ｖｉ）の値を与えることを表す。また、区間Ｓｉ×Ｓｉ＼Δｉは、Δｉを除くＳｉ×Ｓｉを表す。）
（ステップＳ２０５）
処理部１１は、Ｌへトリプル（順序組）＜ｕｉ，ｖｉ，δ（ｕｉ，ｖｉ）＞を追加する。
（ステップＳ２０６）
処理部１１は、Ｓｉ←Ｓｉ＼｛ｕｉ，ｖｉ｝ を実行する。
（この式は、｛ｕｉ，ｖｉ｝を除く集合ＳｉをＳｉに代入することを表す。）
（ステップＳ２０７）
処理部１１は、新しいクラスタラベルｎｉ（Ｓｉに属さない）を作成する。
（ステップＳ２０８）
処理部１１は、次式を使ってすべてのｘ∈Ｓｉに対してδを更新する。
δ（ｎｉ，ｘ）＝δ（ｘ，ｎｉ）：＝ｆ（δ（ｕｉ，ｘ），δ（ｖｉ，ｘ））
（ステップＳ２０９）
処理部１１は、 Ｓｉ←Ｓｉ∪｛ｎｉ｝ を実行する。
（ステップＳ２１０）
処理部１１は、ｆｏｒ ｉ＝０からｄ－２まで、以下のステップＳ２０３～Ｓ２１０までの処理を繰り返す（ｅｎｄ ｆｏｒ）。
処理部１１は、ｆｏｒ ｉ＝０からｄ－２まで、以下のステップＳ２０３～Ｓ２１０までの処理を繰り返す。
（ステップＳ２０４）
処理部１１は、（ｕｉ，ｖｉ）←ａｒｇｍｉｎＳｉ×Ｓｉ＼Δｉδ、 を実行する。
ΔｉはＳｉ×Ｓｉの対角成分
（ここで、「ａｒｇ ｍｉｎ」は，区間Ｓｉ×Ｓｉ＼Δｉにおいて，目的函数δを最小化する引数（ｕｉ，ｖｉ）の値を与えることを表す。また、区間Ｓｉ×Ｓｉ＼Δｉは、Δｉを除くＳｉ×Ｓｉを表す。）
（ステップＳ２０５）
処理部１１は、Ｌへトリプル（順序組）＜ｕｉ，ｖｉ，δ（ｕｉ，ｖｉ）＞を追加する。
（ステップＳ２０６）
処理部１１は、Ｓｉ←Ｓｉ＼｛ｕｉ，ｖｉ｝ を実行する。
（この式は、｛ｕｉ，ｖｉ｝を除く集合ＳｉをＳｉに代入することを表す。）
（ステップＳ２０７）
処理部１１は、新しいクラスタラベルｎｉ（Ｓｉに属さない）を作成する。
（ステップＳ２０８）
処理部１１は、次式を使ってすべてのｘ∈Ｓｉに対してδを更新する。
δ（ｎｉ，ｘ）＝δ（ｘ，ｎｉ）：＝ｆ（δ（ｕｉ，ｘ），δ（ｖｉ，ｘ））
（ステップＳ２０９）
処理部１１は、 Ｓｉ←Ｓｉ∪｛ｎｉ｝ を実行する。
（ステップＳ２１０）
処理部１１は、ｆｏｒ ｉ＝０からｄ－２まで、以下のステップＳ２０３～Ｓ２１０までの処理を繰り返す（ｅｎｄ ｆｏｒ）。
【0060】
（ステップＳ２１１）
処理部１１は、次の結果を、表示部１４に表示させ、及び／又は、出力部１３若しくはＩ／Ｆ１６により結果を出力する。
樹形図： Ｌ
各ステップｉにおけるクラスタラベル集合：Ｓｉ，ｉ＝０，…，ｄ－１
すなわち、
各ｊ個の要素クラスタを表すクラスタラベル集合：Ｓｄ－ｊ，ｊ＝ｄ－ｉ，ｉ＝０，…，ｄ－１
ここで、δを更新するための凝集公式は、次式のように定義される。
ｆ（δ（ｕｉ，ｘ），δ（ｖｉ，ｘ））：＝ｍａｘ（δ（ｕｉ，ｘ），δ（ｖｉ，ｘ）） （１８）
適当なカットオフ閾値が指定されているとき、このアルゴリズムは、ランダムベクトル（特徴ベクトル）の要素に対して安定したクラスタリング結果を提供できる。
処理部１１は、次の結果を、表示部１４に表示させ、及び／又は、出力部１３若しくはＩ／Ｆ１６により結果を出力する。
樹形図： Ｌ
各ステップｉにおけるクラスタラベル集合：Ｓｉ，ｉ＝０，…，ｄ－１
すなわち、
各ｊ個の要素クラスタを表すクラスタラベル集合：Ｓｄ－ｊ，ｊ＝ｄ－ｉ，ｉ＝０，…，ｄ－１
ここで、δを更新するための凝集公式は、次式のように定義される。
ｆ（δ（ｕｉ，ｘ），δ（ｖｉ，ｘ））：＝ｍａｘ（δ（ｕｉ，ｘ），δ（ｖｉ，ｘ）） （１８）
適当なカットオフ閾値が指定されているとき、このアルゴリズムは、ランダムベクトル（特徴ベクトル）の要素に対して安定したクラスタリング結果を提供できる。
【0061】
１０．付録 バタチャリヤ距離ＤＢの導出（式（７））
ｄ－次元のランダムベクトルＸ１とＸ２は、２つの正規分布Ｎ（μμ１，ΣΣ１）とＮ（μμ２，ΣΣ２）にそれぞれ従い、それらに対応する確率密度関数ｐ（ｘｘ）およびｑ（ｘｘ）が、式（２１）のように定義される。また、これらの平方根の積を式（２２）で表す。
ｄ－次元のランダムベクトルＸ１とＸ２は、２つの正規分布Ｎ（μμ１，ΣΣ１）とＮ（μμ２，ΣΣ２）にそれぞれ従い、それらに対応する確率密度関数ｐ（ｘｘ）およびｑ（ｘｘ）が、式（２１）のように定義される。また、これらの平方根の積を式（２２）で表す。
【数15】
【0062】
実数空間Ｒｄにおいて、ｄ－次元の変数ベクトルｘｘに対して式（２２）を積分すると、次式を得る。
【数16】
【0063】
この式に、因数式（２３）、（２４）、および（２５）をまとめて簡略化するために、まず、式（２６）を準備する。式（２６）の導出に、式（２７）と（２８）を使用した。
【数17】
【0064】
また、式（２７）は、式（２９）より成り立つことに注意しておく。ここで、ＡＡ、ＢＢ、ＣＣはすべて正定行列とする。また、ΣΣは式（３０）より定義される。
【数18】
【0065】
次に、以下のように、式（２５）を式（３１）に変換する。ここで、ｄ－次元の変数ベクトルｙｙは、式（３２）より定義される。
【数19】
【0066】
そして、式（２４）と式（３１）の１番目の因数式を掛けて、式（３３）を得る。
【数20】
【0067】
一方、変数変換法によって、式（３１）の２番目の因数式を式（３４）のように変換できる。さらに、式（２３）に式（３４）を掛けて、式（３５）を得られる。
【数21】
【0068】
したがって、式（３６）のように、式（３３）と式（３５）の掛け算に関する対数の負数は、バタチャリヤ距離ＤＢとする。
【数22】
【0069】
１１．参考文献
なお、ウムラウト等のドイツ語のアルファベットは、電子出願ソフトで使用できる文字・記号の制約・都合上、英語のアルファベットで記載する。
[1] A. Bhattacharyya. On a measure of divergence between two statistical populations defined by their probability distributions. Bulletin of the Calcutta Mathematical Society，35:99-109，1943.
[2] H. Chernoff. A measure of asymptotic efficiency for tests of a hypothesis based on the sums of observations. Annals of Mathematical Statistics，23:409-507，1952.
[3] Frank Harary，Robert Z. Norman，and Dorwin Cartwright. Structural models: an introduction to the theory of directed graphs. Wiley，New York，1965.
[4] E. Hellinger. Neue begrundung der theorie quadratischer formen von unendlichvielen veranderlichen. Journal fur die reine und angewandte Mathematik，1909(136):210{271，1909.
[5] G. E Hinton，S. Sabour，and N. Frosst. Matrix capsules with EM routing. In International Conference on Learning Representations，2018.
WO2019083553A1、US20200285934A1
[6] A. Krizhevsky，V. Nair，and G. E Hinton. CIFAR-10 (Canadian Institute for Advanced Research).
Alex Krizhevsky，Vinod Nair，and Geoffrey Hinton. 'Learning multiple layers of features from tiny images'，Alex Krizhevsky，2009. “The CIFAR-10 dataset”，April 8，2009
URL： https://www.cs.toronto.edu/~kriz/cifar.html」
[7] S. Kullback and R. A. Leibler. On information and sufficiency. The Annals of Mathematical Statistics，22(1):79-86，1951.
[8] J. B. MacQueen. Some methods for classification and analysis of multivariate observations. In L. M. Le Cam and J. Neyman，editors，Proc. of the fifth Berkeley Symposium on Mathematical Statistics and Probability，volume 1，pages 281{297，1967.
[9] P. C. Mahalanobis. On the generalized distance in statistics. In Proceedings of the National Institute of Sciences (Calcutta)，2:49-55，1936.
[10] D. Mullner. Modern hierarchical，agglomerative clustering algorithms. arXiv e-prints，page arXiv:1109.2378，September 2011.
なお、ウムラウト等のドイツ語のアルファベットは、電子出願ソフトで使用できる文字・記号の制約・都合上、英語のアルファベットで記載する。
[1] A. Bhattacharyya. On a measure of divergence between two statistical populations defined by their probability distributions. Bulletin of the Calcutta Mathematical Society，35:99-109，1943.
[2] H. Chernoff. A measure of asymptotic efficiency for tests of a hypothesis based on the sums of observations. Annals of Mathematical Statistics，23:409-507，1952.
[3] Frank Harary，Robert Z. Norman，and Dorwin Cartwright. Structural models: an introduction to the theory of directed graphs. Wiley，New York，1965.
[4] E. Hellinger. Neue begrundung der theorie quadratischer formen von unendlichvielen veranderlichen. Journal fur die reine und angewandte Mathematik，1909(136):210{271，1909.
[5] G. E Hinton，S. Sabour，and N. Frosst. Matrix capsules with EM routing. In International Conference on Learning Representations，2018.
WO2019083553A1、US20200285934A1
[6] A. Krizhevsky，V. Nair，and G. E Hinton. CIFAR-10 (Canadian Institute for Advanced Research).
Alex Krizhevsky，Vinod Nair，and Geoffrey Hinton. 'Learning multiple layers of features from tiny images'，Alex Krizhevsky，2009. “The CIFAR-10 dataset”，April 8，2009
URL： https://www.cs.toronto.edu/~kriz/cifar.html」
[7] S. Kullback and R. A. Leibler. On information and sufficiency. The Annals of Mathematical Statistics，22(1):79-86，1951.
[8] J. B. MacQueen. Some methods for classification and analysis of multivariate observations. In L. M. Le Cam and J. Neyman，editors，Proc. of the fifth Berkeley Symposium on Mathematical Statistics and Probability，volume 1，pages 281{297，1967.
[9] P. C. Mahalanobis. On the generalized distance in statistics. In Proceedings of the National Institute of Sciences (Calcutta)，2:49-55，1936.
[10] D. Mullner. Modern hierarchical，agglomerative clustering algorithms. arXiv e-prints，page arXiv:1109.2378，September 2011.
【符号の説明】
【0070】
１００ ＰＣ
１１ 処理部
１２ 入力部
１３ 出力部
１４ 表示部
１５ 記憶部
１６ インタフェース部（Ｉ／Ｆ）
１５１ 入力データファイル
１５２ 統計悌距離行列ファイル
１５３ 距離行列ファイル
１５４ クラスタ行列ファイル
１５５ 出力ファイル
１１ 処理部
１２ 入力部
１３ 出力部
１４ 表示部
１５ 記憶部
１６ インタフェース部（Ｉ／Ｆ）
１５１ 入力データファイル
１５２ 統計悌距離行列ファイル
１５３ 距離行列ファイル
１５４ クラスタ行列ファイル
１５５ 出力ファイル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】