特開 2023-183848 クラスタリング装置、クラスタリング方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023183848

(43)【公開日】2023-12-28

(54)【発明の名称】クラスタリング装置、クラスタリング方法及びプログラム

(51)【国際特許分類】

   G06F 17/16 20060101AFI20231221BHJP

   G06F 17/18 20060101ALI20231221BHJP

   G06F 16/35 20190101ALI20231221BHJP

【ＦＩ】

G06F17/16 P

G06F17/18 Z

G06F16/35

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022097621

(22)【出願日】2022-06-16

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】592218300

【氏名又は名称】学校法人神奈川大学

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】青山 一生

(72)【発明者】

【氏名】斉藤 和巳

【テーマコード（参考）】

5B056

5B175

【Ｆターム（参考）】

5B056BB38

5B056BB62

5B056BB64

5B175DA01

5B175FA03

5B175HB03

(57)【要約】      （修正有）

【課題】疎データを効率的にクラスタリングする装置、方法及びプログラムを提供する。
【解決手段】オブジェクトを表す１以上の特徴とその特徴量で構成されるオブジェクト特徴ベクトルを複数のクラスタにクラスタリングするクラスタリング装置は、特徴を識別する特徴識別子毎に、クラスタを識別するクラスタ識別子と該クラスタに属するオブジェクト特徴ベクトルの平均を表すｍｅａｎ特徴ベクトルの特徴識別子に関する第１の非零特徴量とを対応付けた組を格納する配列要素で構成されるデータを記憶し、データに基づいて、オブジェクト特徴ベクトルの第２の非零特徴量と第２の非零特徴量の特徴識別子とを対応付けた組でオブジェクト特徴ベクトルを表したスパース表現のオブジェクト特徴ベクトルと、各クラスタのｍｅａｎ特徴ベクトルとの類似度を計算し、類似度に基づいて、オブジェクト特徴ベクトルを、複数のクラスタのうちの一のクラスタに割り当てる。
【選択図】図７

【特許請求の範囲】

【請求項1】

オブジェクトを表す１以上の特徴と前記１以上の特徴の各々の値である１以上の特徴量とで構成されるオブジェクト特徴ベクトルを複数のクラスタにクラスタリングするクラスタリング装置であって、
前記特徴を識別する特徴識別子毎に、前記クラスタを識別するクラスタ識別子と該クラスタに属するオブジェクト特徴ベクトルの平均を表すｍｅａｎ特徴ベクトルの前記特徴識別子に関する第１の非零特徴量とを対応付けた組を格納する配列要素で構成されたデータを記憶部に記憶させるように構成されている記憶制御部と、
前記データに基づいて、前記オブジェクト特徴ベクトルの第２の非零特徴量と該第２の非零特徴量の特徴識別子とを対応付けた組で前記オブジェクト特徴ベクトルを表したスパース表現のオブジェクト特徴ベクトルと、各クラスタの前記ｍｅａｎ特徴ベクトルとの類似度を計算するように構成されている類似度計算部と、
前記類似度に基づいて、前記オブジェクト特徴ベクトルを、前記複数のクラスタのうちの一のクラスタに割り当てるように構成されている割当部と、
を有し、
前記データは、
前記特徴識別子が第１の閾値未満の前記配列要素を表す第１の配列要素と、前記特徴識別子が前記第１の閾値以上かつ前記第１の非零特徴量が第２の閾値以上の前記配列要素を表す第２の配列要素と、前記特徴識別子が前記第１の閾値以上かつ前記第１の非零特徴量が第２の閾値未満の前記配列要素を表す第３の配列要素とで構成されている、クラスタリング装置。

【請求項2】

前記データは、
前記特徴識別子が第１の閾値未満の前記配列要素を表す第１の配列要素と、前記特徴識別子が前記第１の閾値以上かつ前記第１の非零特徴量が第２の閾値以上の前記配列要素を表す第２の配列要素と、前記特徴識別子が前記第１の閾値以上かつ前記第１の非零特徴量が第２の閾値未満の前記配列要素を表す第３の配列要素とが転置ファイルで構成されている、請求項１に記載のクラスタリング装置。

【請求項3】

前記データは、
前記特徴識別子が第１の閾値未満の前記配列要素を表す第１の配列要素と、前記特徴識別子が前記第１の閾値以上かつ前記第１の非零特徴量が第２の閾値以上の前記配列要素を表す第２の配列要素とが転置ファイルで構成されており、
前記特徴識別子が前記第１の閾値以上かつ前記第１の非零特徴量が第２の閾値未満の前記配列要素を表す第３の配列要素が標準的な転置ファイルで構成されている、請求項１に記載のクラスタリング装置。

【請求項4】

前記類似度計算部は、
前記スパース表現のオブジェクト特徴ベクトルに含まれる第２の非零特徴量の特徴識別子が前記第１の閾値未満である場合、前記第２の非零特徴量と、前記データを構成する配列要素のうち、前記特徴識別子に対応する配列要素に格納されている第１の非零特徴量と積を計算することで、前記類似度を計算し、
前記スパース表現のオブジェクト特徴ベクトルに含まれる第２の非零特徴量の特徴識別子が前記第１の閾値以上、かつ、前記第２の非零特徴量との類似度の計算対象となる第１の非零特徴量が前記第２の閾値以上である場合、前記第２の非零特徴量と前記第１の非零特徴量との積を計算することで、前記類似度を計算すると共に、前記スパース表現のオブジェクト特徴ベクトルの部分的なノルムを計算し、
前記スパース表現のオブジェクト特徴ベクトルに含まれる第２の非零特徴量の特徴識別子が前記第１の閾値以上、かつ、前記第２の非零特徴量との類似度の計算対象となる第１の非零特徴量が前記第２の閾値未満である場合、前記スパース表現のオブジェクト特徴ベクトルと該オブジェクト特徴ベクトルが現在属しているクラスタのｍｅａｎ特徴ベクトルとの類似度が、前記ノルムから計算される類似度上限値以下であるときに、前記第２の非零特徴量と前記第１の非零特徴量との積を計算することで、前記類似度を計算するように構成されている、請求項１に記載のクラスタリング装置。

【請求項5】

前記データは、
前記第１の配列要素及び前記第２の配列要素のそれぞれにおいて、前記割当部による割り当ての前後でクラスタに属するオブジェクト特徴ベクトルに変更あったクラスタを示す変更クラスタに対応するｍｅａｎ特徴ベクトルの第１の非零要素が含まれる組が格納される配列要素と、前記割当部による割り当ての前後でクラスタに属するオブジェクト特徴ベクトルが不変であったクラスタを示す不変クラスタに対応するｍｅａｎ特徴ベクトルの第１の非零要素が含まれる組が格納される配列要素とが区別可能に存在し、
前記類似度計算部は、
前記スパース表現のオブジェクト特徴ベクトルが属するクラスタが不変クラスタである場合、前記スパース表現のオブジェクト特徴ベクトルに含まれる第２の非零特徴量と、前記変更クラスタに対応するｍｅａｎ特徴ベクトルの第１の非零要素との積を計算することで、前記類似度を計算するように構成されている、請求項１乃至３の何れか一項に記載のクラスタリング装置。

【請求項6】

１つ前のイテレーションにおける前記類似度計算部による類似度の計算結果と前記割当部による割当結果とに基づいて、前記第２の閾値を最適化するように構成されている最適化部を更に有する請求項１に記載のクラスタリング装置。

【請求項7】

オブジェクトを表す１以上の特徴と前記１以上の特徴の各々の値である１以上の特徴量とで構成されるオブジェクト特徴ベクトルを複数のクラスタにクラスタリングするクラスタリング装置が、
前記特徴を識別する特徴識別子毎に、前記クラスタを識別するクラスタ識別子と該クラスタに属するオブジェクト特徴ベクトルの平均を表すｍｅａｎ特徴ベクトルの前記特徴識別子に関する第１の非零特徴量とを対応付けた組を格納する配列要素で構成されたデータを記憶部に記憶させる記憶制御手順と、
前記データに基づいて、前記オブジェクト特徴ベクトルの第２の非零特徴量と該第２の非零特徴量の特徴識別子とを対応付けた組で前記オブジェクト特徴ベクトルを表したスパース表現のオブジェクト特徴ベクトルと、各クラスタの前記ｍｅａｎ特徴ベクトルとの類似度を計算する類似度計算手順と、
前記類似度に基づいて、前記オブジェクト特徴ベクトルを、前記複数のクラスタのうちの一のクラスタに割り当てる割当手順と、
を実行し、
前記データは、
前記特徴識別子が第１の閾値未満の前記配列要素を表す第１の配列要素と、前記特徴識別子が前記第１の閾値以上かつ前記第１の非零特徴量が第２の閾値以上の前記配列要素を表す第２の配列要素と、前記特徴識別子が前記第１の閾値以上かつ前記第１の非零特徴量が第２の閾値未満の前記配列要素を表す第３の配列要素とで構成されている、クラスタリング方法。

【請求項8】

コンピュータを、請求項１に記載のクラスタリング装置として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、クラスタリング装置、クラスタリング方法及びプログラムに関する。

【背景技術】

【0002】

膨大な量の情報を効率的に処理するための方法の１つとして、ｋ－ｍｅａｎｓ法に代表されるクラスタリング手法が知られている。クラスタリング手法では、各々の情報の間の関係性（類似度、非類似度、距離等）を表す尺度により、複数の情報を１つにまとめたり、与えられた情報群を複数の集合に分割したりできる。以下、クラスタリングの対象となる「情報」を「オブジェクト」と呼ぶ。

【0003】

ｋ－ｍｅａｎｓ法は、例えば、オブジェクトの特徴を表すベクトルデータ（以下、オブジェクト特徴ベクトルという。）をｘ_ｉとして、データ集合Ｘ＝｛ｘ_０，ｘ_１，・・・，ｘ_Ｎ－１｝とクラスタ数Ｋとが与えられたときに、データ集合ＸをＫ個のクラスタに分割する手法である。ｋ－ｍｅａｎｓ法では、例えば、クラスタＣ_ｊに属する各オブジェクト特徴ベクトルｘ_ｉの平均を表すベクトルμ_ｊ（以下、ｍｅａｎ特徴ベクトルという。）との内積を目的関数として、その目的関数を最大化するように、各オブジェクト特徴ベクトルｘ_ｉが割り当てられるクラスタＣ_ｊが決定される。一方で、ｋ－ｍｅａｎｓ法の厳密解を計算するには多くの計算量を要するため、Ｌｌｏｙｄ法と呼ばれる発見的手法が良く用いられる。

【0004】

ところで、近年では、オブジェクト特徴ベクトルが高次元かつ疎（スパース）なデータで表されることが多い。例えば、文書、購入者（又はユーザ）と購入品（又はアイテム）との関係を表す購買履歴、ｂａｇ－ｏｆ－ｖｉｓｕａｌ ｗｏｒｄｓで表される画像等をオブジェクトとした場合、これらのオブジェクトは高次元かつ疎なオブジェクト特徴ベクトルで表現されることが多い。以下、大量の高次元かつ疎なデータの集合を大規模高次元疎データ集合と呼ぶ。

【0005】

Ｌｌｏｙｄ法は初期状態設定ステップ、割当ステップ、更新ステップ及び終了判定ステップで構成されるが、割当ステップでは各オブジェクト特徴ベクトルｘ_ｉと各ｍｅａｎ特徴ベクトルμ_ｊとの内積を計算する必要があるため、割当ステップの時間計算量が支配的である。このため、割当ステップの時間計算量を削減することが求められている。

【0006】

Ｌｌｏｙｄ法の割当ステップは、オブジェクト特徴ベクトルの集合をクエリオブジェクト集合、ｍｅａｎ特徴ベクトルの集合を被探索データオブジェクト集合と見做せば、最類似探索問題と等価である。大規模高次元疎データ集合の最類似探索問題を高速に解くことが可能な代表的な手法の１つに、データ構造として転置ファイル（inverted file）（又は、転置インデックス（inverted index）とも呼ばれる。）を使用する方法が知られている。例えば、非特許文献１及び２では、転置ファイルを効率的に利用した高速化手法が提案されている。また、非特許文献３では、ｍｅａｎ特徴ベクトル集合の転置ファイルで表現した高速化手法が提案されている。なお、転置ファイルを利用した手法ではないが、非特許文献４では、類似度の上限値（又は、距離の下限値）を用いて、Ｌｌｏｙｄ法を加速する手法（Ｄｉｎｇ法と呼ぶ。）が提案されている。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】M. Fontoura, V. Josifovski, J. Liu, S. Venkatesan, X. Zhu, and J. Zien, "Evaluation strategies for top-k queries over memory-resident inverted indexes," Proc. VLDB Endowment, vol. 5, no. 12, 2011.

【非特許文献2】Y. Li, J. Wang, B. Pullman, N. Bandeira, and Y. Papakonstantinou, "Index-based, high-dimensional, cosine threshold querying with optimality guarantees," Proc. Int. Conf. Database Theory (ICDT), 2019.

【非特許文献3】Kazuo Aoyama and Kazumi Saito, "Structured inverted-file k-means clustering for high-dimensional sparse data," arXiv: 2103.16141, https://arxiv.org/abs/2103.16141.

【非特許文献4】Y. Ding, Y. Zhao, X. Shen, M. Musuvathi, and T. Mykowicz, "Yinyang K-means: A drop-in replacement of the classic K-means with consistent speedup," Proc. Int. Conf. Machine Learning (ICML), 2015.

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、大規模高次元疎データ集合に対するクラスタリング手法の更なる高速化が望まれている。

【0009】

本開示は、上記の点に鑑みてなされたもので、疎データを効率的にクラスタリングする技術を提供する。

【課題を解決するための手段】

【0010】

本開示の一態様によるクラスタリング装置は、オブジェクトを表す１以上の特徴と前記１以上の特徴の各々の値である１以上の特徴量とで構成されるオブジェクト特徴ベクトルを複数のクラスタにクラスタリングするクラスタリング装置であって、前記特徴を識別する特徴識別子毎に、前記クラスタを識別するクラスタ識別子と該クラスタに属するオブジェクト特徴ベクトルの平均を表すｍｅａｎ特徴ベクトルの前記特徴識別子に関する第１の非零特徴量とを対応付けた組を格納する配列要素で構成されたデータを記憶部に記憶させるように構成されている記憶制御部と、前記データに基づいて、前記オブジェクト特徴ベクトルの第２の非零特徴量と該第２の非零特徴量の特徴識別子とを対応付けた組で前記オブジェクト特徴ベクトルを表したスパース表現のオブジェクト特徴ベクトルと、各クラスタの前記ｍｅａｎ特徴ベクトルとの類似度を計算するように構成されている類似度計算部と、前記類似度に基づいて、前記オブジェクト特徴ベクトルを、前記複数のクラスタのうちの一のクラスタに割り当てるように構成されている割当部と、を有し、前記データは、前記特徴識別子が第１の閾値未満の前記配列要素を表す第１の配列要素と、前記特徴識別子が前記第１の閾値以上かつ前記第１の非零特徴量が第２の閾値以上の前記配列要素を表す第２の配列要素と、前記特徴識別子が前記第１の閾値以上かつ前記第１の非零特徴量が第２の閾値未満の前記配列要素を表す第３の配列要素とで構成されている。

【発明の効果】

【0011】

疎データを効率的にクラスタリングする技術が提供される。

【図面の簡単な説明】

【0012】

【図1】ｄｆとそのｄｆを持つ単語の数との関係の一例を模式的に示す図である。

【図2】ｄｆとそのｄｆを持つ単語の数との関係の一例を示す図（その１）である。

【図3】ｄｆとそのｄｆを持つ単語の数との関係の一例を示す図（その２）である。

【図4】ｄｆとそのｄｆを持つ単語の数との関係の一例を示す図（その３）である。

【図5】或る単語に関するｄｆとその単語に関する特徴量を含むｍｅａｎ特徴ベクトル数との関係の一例を示す図である。

【図6】ｋ－ｍｅａｎｓ法の１イテレーションの類似度計算における乗算回数の一例を模式的に示す図である。

【図7】実施例１における転置ファイル表現のｍｅａｎ特徴ベクトル集合の一例を模式的に示す図である。

【図8】実施例１におけるクラスタリング装置のハードウェア構成の一例を示す図である。

【図9】実施例１におけるクラスタリング装置の機能構成の一例を示す図である。

【図10】実施例１におけるクラスタリング処理の一例を示すフローチャートである。

【図11】実施例１における割当ステップの一例を示すアルゴリズムである。

【図12】近似乗算回数の評価の一例を示す図である。

【図13】実施例１の実験結果の一例を示す図（その１）である。

【図14】実施例１の実験結果の一例を示す図（その２）である。

【図15】実施例１の実験結果の一例を示す図（その３）である。

【図16】実施例２における転置ファイル表現のｍｅａｎ特徴ベクトル集合の一例を模式的に示す図である。

【図17】実施例２における割当ステップの一例を示すアルゴリズムである。

【図18】実施例２の実験結果の一例を示す図（その１）である。

【図19】実施例２の実験結果の一例を示す図（その２）である。

【発明を実施するための形態】

【0013】

以下、本発明の一実施形態について説明する。以下では、疎データを効率的にクラスタリングすることができるクラスタリング装置１０について説明する。

【0014】

［準備］
まず、本実施形態の準備として、クラスタリングの対象となるデータ、ｋ－ｍｅａｎｓ法及びＬｌｏｙｄ法について説明する。

【0015】

・クラスタリングの対象となるデータ
以下では、大量の高次元かつ疎なデータの集合（大規模高次元疎データ集合）をクラスタリングの対象とする。このようなデータの一例としては、文書をオブジェクトとして大量の文書をクラスタリングする場合に、文書の特徴を表すオブジェクト特徴ベクトル等が挙げられる。

【0016】

オブジェクトが文書である場合は、ｂａｇ－ｏｆ－ｗｏｒｄｓモデル（以降、「ＢｏＷ」と表す。）を用いて、オブジェクトを特徴空間であるユークリッド空間における点として扱うことがよく行われている。なお、文書はテキストやドキュメント等とも称されるが、これらを総称して「文書」と表す。

【0017】

ＢｏＷでは、文書をその中に出現する単語（word）に代表される一塊の文字列に分割し、各々の単語を文書の特徴の１つとする。そして、特徴に対応する或る量を特徴量として、文書をこれらの特徴量を要素するベクトルで表現する。なお、単語は語彙（vocabulary）やターム（term）等とも称されるが、以降では、単語、語彙及びタームを総称して、「単語」と表すことにする。

【0018】

特徴量は、文書中に或る単語が出現する頻度（term frequency）と、オブジェクト集合（文書集合）の各文書に当該単語が出現する頻度（document frequency）とを入力変数とする関数の値で表される。当該関数としては、例えば、ｔｆ－ｉｄｆ（term-frequency-inverse document frequency）であることが多く、一般的な関数は以下である。

【0019】

ｔｆ（ｔ_ｈ，ｘ_ｉ；Ｘ）：Ｘが与えられた場合に、ｘ_ｉに出現するｔ_ｈの頻度
ｄｆ（ｔ_ｈ，Ｘ）：Ｘが与えられた場合に、ｔ_ｈを含む文書（オブジェクト）の数ｎ_ｈ
ｉｄｆ（ｔ_ｈ；Ｘ）＝ｌｏｇ（Ｎ／ｎ_ｈ）
ｔｆ－ｉｄｆ（ｔ_ｈ，ｘ_ｉ；Ｘ）＝ｔｆ（ｔ_ｈ，ｘ_ｉ；Ｘ）×ｉｄｆ（ｔ_ｈ；Ｘ）
ここで、Ｘはオブジェクト集合（文書集合）に対応するオブジェクト特徴ベクトル集合Ｘ＝｛ｘ_０，ｘ_１，・・・，ｘ_Ｎ－１｝であり、ｘ_ｉ（ｉ＝０，１，・・・，Ｎ－１）はオブジェクト特徴ベクトルである。ｘ_ｉの次元数（つまり、特徴数）はＤであるものとする。また、オブジェクト数｜Ｘ｜は｜Ｘ｜＝Ｎであり、ｎ_ｈは単語ｔ_ｈを含む文書の数である。なお、ｉｄｆを表す関数のｌｏｇの底は限定されない。また、ｈの最大値はオブジェクト集合中の異なり単語数である。なお、ｉ等の添え字（インデックス）は１から開始してもよいが、後述する配列のインデックスと整合させるため、本実施形態ではインデックスは０から開始するものとする。

【0020】

このとき、オブジェクトに出現する１単語を１次元とした場合、特徴空間の次元数は、オブジェクト集合に含まれる全オブジェクトの異なり単語数であり、非常に大きくなる。すなわち、特徴空間は高次元空間となる。

【0021】

一方で、或るオブジェクト（文書）に出現する単語数が限られているため、オブジェクト特徴ベクトルｘ_ｉは、疎（スパース）なベクトルとなる。すなわち、オブジェクト特徴ベクトルｘ_ｉは、非零要素の数が非常に少ないベクトルとなる。

【0022】

このように、大量の文書をクラスタリングする場合、クラスタリング対象のデータ（オブジェクト特徴ベクトル）集合は大規模な集合となり、かつ、各オブジェクト特徴ベクトルは高次元で疎なベクトルとなる。

【0023】

なお、文書以外にも、例えば、購入者（又はユーザ）と購入品（又はアイテム）との関係を表す購買履歴、抽出される特徴がｂａｇ－ｏｆ－ｖｉｓｕａｌ ｗｏｒｄｓで表される画像等もオブジェクトとして、文書と同様に扱うことができる。すなわち、大量の購買履歴の特徴ベクトルやｂａｇ－ｏｆ－ｖｉｓｕａｌ ｗｏｒｄｓで表される大量の画像の特徴ベクトル等も大規模高次元疎データ集合となる。以下では、一例として、オブジェクトは文書であるものとして説明する。

【0024】

また、以下では、説明を簡単にするため、オブジェクト特徴ベクトル間の関係性は、正規化されたオブジェクト特徴ベクトルを用いたコサイン類似度とする。この場合、２つの特徴ベクトル（オブジェクト特徴ベクトル、ｍｅａｎ特徴ベクトル）間の類似度はそれらの内積となる。

【0025】

・ｋ－ｍｅａｎｓ法
ｋ－ｍｅａｎｓ法（ｋ平均法）は、オブジェクト特徴ベクトル集合Ｘ＝｛ｘ_０，ｘ_１，・・・，ｘ_Ｎ－１｝とクラスタ数Ｋとが与えられたときに、オブジェクト特徴ベクトル集合ＸをＫ個のクラスタに分割する手法である。上記の内積を類似度とするｋ－ｍｅａｎｓ法はｓｐｈｅｒｉｃａｌ ｋ－ｍｅａｎｓ法（超球ｋ平均法）と呼ばれることもある。以下、ｋ－ｍｅａｎｓ法とｓｐｈｅｒｉｃａｌ ｋ－ｍｅａｎｓ法とを同一視する。

【0026】

ｋ－ｍｅａｎｓ法では、オブジェクト特徴ベクトル集合ＸをＫ個のクラスタに分割する際に、各オブジェクト特徴ベクトルｘ_ｉと各クラスタＣ_ｊのｍｅａｎ特徴ベクトルμ_ｊとの内積を目的関数として、その目的関数を最大化するように、各オブジェクト特徴ベクトルｘ_ｉを割り当てるクラスタＣ_ｊを決定する。すなわち、以下の式（１）に示す目的関数Ｊ（Ｃ；Ｘ，Ｋ）を最大化するように、各オブジェクト特徴ベクトルｘ_ｉを割り当てるクラスタＣ_ｊを決定する。ただし、Ｃ＝｛Ｃ_０，Ｃ_１，・・・，Ｃ_Ｋ－１｝である。

【0027】

【数1】

ここで、ｘ_ｉ及びμ_ｊは列ベクトルであり、Ｔは転置を表す。また、ｘ_ｉ ^Ｔμ_ｊは、ｘ_ｉとμ_ｊの内積（dot product又はinner product）を表す。

【0028】

・Ｌｌｏｙｄ法
上記の式（１）を厳密に解くには多くの計算量を要するため、Ｌｌｏｙｄ法と呼ばれる発見的方法である反復法が用いられることが多々ある。以下、ｋ－ｍｅａｎｓ法に利用されるＬｌｏｙｄ法の概略について説明する。Ｌｌｏｙｄ法は、以下の初期状態設定ステップ、割当ステップ、更新ステップ及び終了判定ステップで構成される。

【0029】

Ｓ１：（初期状態設定ステップ）Ｋ個のｍｅａｎ特徴ベクトルμ_ｊ（ｊ＝０，１，・・・，Ｋ－１）を適当な値に初期化する。

【0030】

Ｓ２：（割当ステップ）オブジェクト特徴ベクトルｘ_ｉの各々について、現在のイテレーションのｍｅａｎ特徴ベクトルμ_ｊと、当該オブジェクト特徴ベクトルｘ_ｉとの内積（式（１））を計算し、その内積が最大となるｍｅａｎ特徴ベクトルμ_ｊに対応するクラスタＣ_ｊに当該オブジェクト特徴ベクトルｘ_ｉを割り当てる。

【0031】

Ｓ３：（更新ステップ）全てのオブジェクト特徴ベクトルｘ_ｉの割り当てが終了した後、各クラスタＣ_ｊに属するオブジェクト特徴ベクトルｘ_ｉによりｍｅａｎ特徴ベクトルμ_ｊを計算及び更新する。

【0032】

Ｓ４：（終了判定ステップ）所定の終了条件を満たすか否かを判定し、所定の終了条件を満たすと判定された場合は処理を終了する一方で、所定の終了条件を満たさないと判定された場合は上記のＳ２の割当ステップに戻る。これにより、所定の終了条件を満たすまで、Ｓ２及びＳ３が繰り返し実行される。この繰り返しはイテレーションとも称され、現在実行中の繰り返しを「現在のイテレーション」、現在のイテレーションの１つ前に実行した繰り返しを「１つ前のイテレーション」等と表す。なお、所定の終了条件としては、例えば、全てのオブジェクト特徴ベクトルｘ_ｉが属するクラスタＣ_ｊが不変になった場合等が挙げられる。

【0033】

ここで、Ｌｌｏｙｄ法は、上記のＳ２の割当ステップに多くの時間計算量を要する。このため、Ｌｌｏｙｄ法の高速化を図るためには、割当ステップに要する時間、すなわち、全てのオブジェクト特徴ベクトルｘ_ｉと全てのｍｅａｎ特徴ベクトルμ_ｊとの内積計算に要する時間を低減させることが必要になる。そこで、以下では、この内積計算に要する時間を低減させる手法を提案し、この提案手法を用いて、クラスタリング装置１０により大規模高次元疎データ集合をクラスタリングする。

【0034】

［実施例１］
以下、実施例１について説明する。

【0035】

＜提案手法＞
高次元かつ疎なオブジェクト特徴ベクトルを扱う際には、このオブジェクト特徴ベクトルをスパース表現する手法がよく用いられる（非特許文献３、参考文献１）。スパース表現のオブジェクト特徴ベクトルは、そのオブジェクト特徴ベクトルの非零要素の位置を示す特徴ＩＤ（例えば、文書の場合は単語ＩＤ等）と、その非零要素の値を示す特徴量（例えば、文書の場合はｔｆ－ｉｄｆ等）との組（タプル）で表される。具体的には、オブジェクトが文書である場合、単語のＩＤを単語ＩＤ、その単語ＩＤの単語に関する特徴量をｎｏｎ－ｚｅｒｏ ｖａｌｕｅとすれば、（単語ＩＤ，ｎｏｎ－ｚｅｒｏ ｖａｌｕｅ）という組で表される。このようなスパース表現を採用することにより、オブジェクト特徴ベクトル集合が使用するメモリサイズを抑制することができる。特に、オブジェクト集合が大規模である場合、スパース表現することは空間計算量に相当するメモリの効率的利用の観点から必須である。なお、特徴ＩＤは、例えば、特徴識別子等と呼ばれてもよい。

【0036】

以下、非特許文献３や参考文献１と同様に、オブジェクト特徴ベクトルｘ_ｉはスパース表現されているものとする。また、スパース表現のオブジェクト特徴ベクトルｘ_ｉは、そのオブジェクト特徴ベクトルｘ_ｉに含まれる非零要素の数をｎｕｍ＿ｔｅｒｍｓ［ｉ］として、２次元配列Ｏｂｊ［ｉ］［ｔ］（ｔ＝０，１，・・・，ｎｕｍ＿ｔｅｒｍｓ［ｉ］－１）で実現されており、Ｏｂｊ［ｉ］［ｔ］．ｔｅｒｍＩＤでｘ_ｉのｔ番目の特徴ＩＤ（ｔｅｒｍＩＤ）、Ｏｂｊ［ｉ］［ｔ］．Ｆｅａｔｕｒｅでｘ_ｉのｔ番目の特徴量にそれぞれアクセスできるものとする。また、特徴ＩＤは、０≦Ｏｂｊ［ｉ］［０］．ｔｅｒｍＩＤ＜Ｏｂｊ［ｉ］［１］．ｔｅｒｍＩＤ＜・・・＜Ｏｂｊ［ｉ］［ｎｕｍ＿ｔｅｒｍｓ［ｉ］－１］．ｔｅｒｍＩＤ≦Ｄ－１となるようにソートされているものとする。なお、２次元配列Ｏｂｊ［ｉ］［ｔ］はｔｅｒｍＩＤとＦｅａｔｕｒｅを持つ構造体配列であるものとしたが、これは一例であって、これに限られるものではない。例えば、ｔｅｒｍＩＤの２次元配列とＦｅａｔｕｒｅの２次元配列とでオブジェクト特徴ベクトルｘ_ｉが実現されてもよい。

【0037】

一方で、ｍｅａｎ特徴ベクトルμ_ｊも内積計算に使用されるため、ｍｅａｎ特徴ベクトルμ_ｊの表現方法又はデータ構造もＬｌｏｙｄ法を効率的に実行するために重要な点である。非特許文献１及び２には、ｍｅａｎ特徴ベクトル集合を転置ファイルで表現した素朴な方法（ｎａｉｖｅ ＩＶＦと呼ぶ）が記載されている。また、非特許文献３及び参考文献１には、ｎａｉｖｅ ＩＶＦに対してＩＣＰ（invariant centroid-pair skipping filter）を導入した方法（ＳＩＶＦと呼ぶ）が記載されている。ここで、転置ファイルで表現したｍｅａｎ特徴ベクトル集合は、特徴ＩＤ（ｔｅｒｍＩＤ）毎に、その特徴ＩＤの特徴量が含まれるｍｅａｎ特徴ベクトルのＩＤ（以下、ｍｅａｎＩＤという。このｍｅａｎＩＤはクラスタＩＤのことである。）と、その特徴量との組（タプル）で表される。例えば、転置ファイル表現のｍｅａｎ特徴ベクトル集合は、特徴ＩＤ（ｔｅｒｍＩＤ）の総数をＤ、ｔ番目の特徴ＩＤの特徴量が含まれるｍｅａｎ特徴ベクトルの数をＭＦ［ｔ］として、２次元配列ＩＮＶ'［ｔ］［ｈ］（ｔ＝０，１，・・・，Ｄ－１，ｈ＝０，１，・・・，ＭＦ［ｔ］－１）で実現できる。このとき、ＩＮＶ'［ｔ］［ｈ］．ｍｅａｎＩＤでｔ番目の特徴ＩＤの特徴量が含まれるｍｅａｎ特徴ベクトルμ_ｊのうち、ｈ番目のｍｅａｎ特徴ベクトルμ_ｊのｍｅａｎＩＤにアクセスできるものとする。また、ＩＮＶ'［ｔ］［ｈ］．Ｆｅａｔｕｒｅでそのｍｅａｎ特徴ベクトルμ_ｊの当該特徴量にアクセスできるものとする。なお、２次元配列ＩＮＶ'［ｔ］［ｈ］はｍｅａｎＩＤとＦｅａｔｕｒｅを持つ構造体配列であるものとしたが、これは一例であって、これに限られるものではない。例えば、ｔｅｒｍＩＤの２次元配列とＦｅａｔｕｒｅの２次元配列とでｍｅａｎ特徴ベクトル集合が実現されてもよい。

【0038】

なお、以下では、転置ファイルで表現したｍｅａｎ特徴ベクトル集合ＩＮＶ'［ｔ］［ｈ］の各列（つまり、ＩＮＶ'［ｔ］［０］，・・・，ＩＮＶ'［ｔ］［ＭＦ［ｔ］－１］）のことをｉｎｖｅｒｔｅｄ－ｆｉｌｅ ａｒｒａｙと呼ぶ。また、簡単のため、ｔ番目の特徴ＩＤはｔであるものとする。

【0039】

本提案手法では、ｍｅａｎ特徴ベクトル集合を転置ファイルで表現すると共に、オブジェクト特徴ベクトルとの内積計算に要する時間計算量に応じてその転置ファイルを３つの領域に分割する。また、それら３つの領域のうち、時間計算量が多い領域に関しては、類似度上限によって内積（類似度）を厳密計算する部分を抽出し、その時間計算量を削減する。以下、本提案手法における転置ファイルのデータ構造について説明する。

【0040】

文書に含まれる単語に関するｄｆ（document frequency）とそのｄｆを持つ単語の数は、図１に示すように、或る係数をａ，ｂとして、ｆ（ｘ）＝ａｘ^－ｂという関係で概ね表現できる。ここで、ｘはｄｆ、ｆ（ｘ）は単語数である。すなわち、大規模高次元疎データ集合の普遍的な性質の１つとして、ｄｆと単語数との間でべき乗則がほぼ成り立つ。なお、図１に示すグラフでは、縦軸は単語数の対数スケール、横軸はｄｆの対数スケールをそれぞれ表している。

【0041】

具体例を図２～図４に示す。図２に示す例は、或るサイズのＰｕｂＭｅｄに含まれる単語に関するｄｆとそのｄｆを持つ単語の数との関係を表している。図３に示す例は、図２に示す例よりも大きなサイズのＰｕｂＭｅｄに含まれる単語に関するｄｆとそのｄｆを持つ単語の数との関係を表している。図４に示す例は、或るサイズの新聞記事に含まれる単語に関するｄｆとそのｄｆを持つ単語の数との関係を表している。図２～図４のいずれの例でもべき乗則がほぼ成り立っていることがわかる。なお、図２～図４はいずれも縦軸は単語数の対数スケール、横軸はｄｆの対数スケールをそれぞれ表している。

【0042】

次に、ｋ－ｍｅａｎｓ法でクラスタリングする場合、単語に関するｄｆとその単語に関する特徴量を含むｍｅａｎ特徴ベクトルの数（ｍｆ：mean frequency）は正の相関を持ち、その傾きはほぼ１となる。ただし、ｍｆの最大値は最大クラスタ数Ｋであるため、ｄｆが大きい領域では傾きが緩やかになりｍｆはＫに漸近し、Ｋとなる場合もある。具体例を図５に示す。図５に示す例は、図２で用いたのと同じＰｕｂＭｅｄに含まれる単語に関するｄｆとその単語に関する特徴量を含むｍｅａｎ特徴ベクトルの数（ｍｆ）との関係であり、ｄｆとｍｆは正の相関を持ち、その傾きはほぼ１であることがわかる。なお、図５に示す例では、縦軸はｍｆの対数スケール、横軸はｄｆの対数スケールをそれぞれ表している。

【0043】

上記の２つの関係を考慮すると、ｋ－ｍｅａｎｓ法でクラスタリングする際の１イテレーションの類似度計算における乗算回数は、図６に示すような直方体中の曲線で囲まれた領域の体積に相当する。すなわち、転置ファイル表現のｍｅａｎ特徴ベクトル集合ＩＮＶ'［ｔ］［ｈ］を考えると、ｔが或る程度大きくなるとｄｆも増えるため、オブジェクト特徴ベクトルｘ_ｉとの乗算回数が増える。

【0044】

そこで、本実施例では、転置ファイルで表現したｍｅａｎ特徴ベクトル集合ＩＮＶ'［ｔ］［ｈ］から以下の（ａ）～（ｃ）により新たな転置ファイルで表現したｍｅａｎ特徴ベクトル集合ＩＮＶ［ｔ］［ｈ］を構成する。

【0045】

（ａ）各特徴ＩＤとＩＮＶ'［ｔ］［ｈ］でその特徴ＩＤに対応するｉｎｖｅｒｔｅｄ－ｆｉｌｅ ａｒｒａｙとを当該特徴ＩＤに関する単語のｄｆの昇順にソートする。また、ソート後の特徴ＩＤには新たに先頭から特徴ＩＤを順に振り直す。ここで、新たに先頭から特徴ＩＤを順に振り直すとは、例えば、特徴ＩＤの列｛０，・・・，Ｄ－１｝がｄｆの昇順にソートされた結果｛ｍ_０，・・・，ｍ_Ｄ－１｝となった場合に、ｍ_０，・・・，ｍ_Ｄ－１に対してそれぞれ０，・・・，Ｄ－１と特徴ＩＤを振り直すことである。

【0046】

（ｂ）ｔ番目の特徴ＩＤを表すインデックスｔに対して閾値ＴｈＴｅｒｍを設定し、ＩＮＶ'［ｔ］［ｈ］（ｔ＜ＴｈＴｅｒｍ）を満たす部分を領域Ｒ１とする。

【0047】

（ｃ）ｔ≧ＴｈＴｅｒｍを満たす各ｔに対してＩＮＶ'［ｔ］［ｈ］．Ｆｅａｔｕｒｅの降順にソートした上で、ＩＮＶ'［ｔ］［ｈ］．Ｆｅａｔｕｒｅに対して閾値ＴｈＶａｌを設定し、ｔ≧ＴｈＴｅｒｍかつＩＮＶ'［ｔ］［ｈ］．Ｆｅａｔｕｒｅ≧ＴｈＶａｌを満たす部分を領域Ｒ２、ｔ≧ＴｈＴｅｒｍかつＩＮＶ'［ｔ］［ｈ］．Ｆｅａｔｕｒｅ＜ＴｈＶａｌを満たす部分を領域Ｒ３とする。

【0048】

ただし、上記の（ｃ）では、例えば、ｔ≧ＴｈＴｅｒｍを満たす各ｔに対してＩＮＶ'［ｔ］［ｈ］．Ｆｅａｔｕｒｅと、ＩＮＶ'［ｔ］［ｈ］．Ｆｅａｔｕｒｅに対して設定された閾値ＴｈＶａｌとを比較し、ＩＮＶ'［ｔ］［ｈ］．Ｆｅａｔｕｒｅ≧ＴｈＶａｌを満たす組（ＩＮＶ'［ｔ］［ｈ］．ｍｅａｎＩＤ，ＩＮＶ'［ｔ］［ｈ］．Ｆｅａｔｕｒｅ）に対して局所番号としてｈ＝０から順に番号を割り当て、その番号が割り当てられた転置ファイル部分を領域Ｒ２とし、残りの組を領域Ｒ３としてもよい。この場合、ＩＮＶ'［ｔ］［ｈ］．Ｆｅａｔｕｒｅをソートする必要がなく、また領域Ｒ３は転置ファイルとして表現されていなくてもよい（つまり領域Ｒは標準的なファイルで表現されていてもよい。）。

【0049】

以上の（ａ）～（ｃ）により構成されたＩＮＶ［ｔ］［ｈ］を図７に示す。図７に示す例では、ｔｅｒｍ－ｍｆ平面でＩＮＶ［ｔ］［ｈ］を表現している。このように、本実施例では、３分割構造の転置ファイルで表現されたｍｅａｎ特徴ベクトル集合を用いる。これにより、領域Ｒ１ではｎａｉｖｅ ＩＶＦと同様の手法により類似度計算を行う一方で、特に乗算回数が多く時間計算量が大きい領域Ｒ３では類似度上限によって内積（類似度）を厳密計算する部分を抽出することでその時間計算量を削減することができる。なお、領域Ｒ２では類似度計算を行うと共に、類似度上限の算出に必要な計算も行われる。以下では、上記の（ａ）～（ｃ）により構成されたＩＮＶ［ｔ］［ｈ］を「転置ファイル表現のｍｅａｎ特徴ベクトル集合」又は「３分割構造転置ファイル表現のｍｅａｎ特徴ベクトル集合」と呼ぶことにする。

【0050】

＜クラスタリング装置１０のハードウェア構成例＞
実施例１におけるクラスタリング装置１０のハードウェア構成例を図８に示す。図８に示すように、実施例１におけるクラスタリング装置１０は、入力装置１０１と、表示装置１０２と、外部Ｉ／Ｆ１０３と、通信Ｉ／Ｆ１０４と、ＲＡＭ（Random Access Memory）１０５と、ＲＯＭ（Read Only Memory）１０６と、補助記憶装置１０７と、プロセッサ１０８とを有する。これらの各ハードウェアは、それぞれがバス１０９を介して通信可能に接続されている。

【0051】

入力装置１０１は、例えば、キーボード、マウス、タッチパネル、物理ボタン等である。表示装置１０２は、例えば、ディスプレイ、表示パネル等である。なお、クラスタリング装置１０は、例えば、入力装置１０１及び表示装置１０２の少なくとも一方を有していなくてもよい。

【0052】

外部Ｉ／Ｆ１０３は、記録媒体１０３ａ等の外部装置とのインタフェースである。クラスタリング装置１０は、外部Ｉ／Ｆ１０３を介して、記録媒体１０３ａの読み取りや書き込み等を行うことができる。記録媒体１０３ａとしては、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等が挙げられる。

【0053】

通信Ｉ／Ｆ１０４は、クラスタリング装置１０を通信ネットワークに接続するためのインタフェースである。ＲＡＭ１０５は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。ＲＯＭ１０６は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）である。補助記憶装置１０７は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等のストレージ装置（記憶装置）である。プロセッサ１０８は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の演算装置である。

【0054】

実施例１におけるクラスタリング装置１０は、図８に示すハードウェア構成を有することにより、後述するクラスタリング処理を実現することができる。なお、図８に示すハードウェア構成は一例であって、クラスタリング装置１０のハードウェア構成はこれに限られるものではない。例えば、クラスタリング装置１０は、複数の補助記憶装置１０７や複数のプロセッサ１０８を有していてもよいし、図示したハードウェアの一部を有していなくてもよいし、図示したハードウェア以外の様々なハードウェアを有していてもよい。

【0055】

＜クラスタリング装置１０の機能構成例＞
実施例１におけるクラスタリング装置１０の機能構成例を図９に示す。図９に示すように、実施例１におけるクラスタリング装置１０は、前処理部１１０と、クラスタリング処理部１２０とを有する。これら各部は、例えば、クラスタリング装置１０にインストールされた１以上のプログラムが、プロセッサ１０８に実行させる処理により実現される。また、実施例１におけるクラスタリング装置１０は、記憶部１３０を有する。記憶部１３０は、例えば、ＲＡＭ１０５や補助記憶装置１０７により実現される。なお、例えば、前処理部１１０とクラスタリング処理部１２０は、それぞれ異なるプログラムがプロセッサ１０８に実行させる処理により実現されていてもよい。

【0056】

前処理部１１０は、与えられたオブジェクト特徴ベクトル集合Ｘ＝｛ｘ_０，ｘ_１，・・・，ｘ_Ｎ－１｝に含まれる各オブジェクト特徴ベクトルｘ_ｉの各々を、スパース表現のオブジェクト特徴ベクトルにする。スパース表現のオブジェクト特徴ベクトルは、例えば、非特許文献３や参考文献１に記載されている方法により作成すればよい。以下では、スパース表現のオブジェクト特徴ベクトルもｘ_ｉ（ｉ＝０，１，・・・，Ｎ－１）で表し、またその集合もＸで表す。スパース表現のオブジェクト特徴ベクトルｘ_ｉの集合Ｘは、例えば、記憶部１３０に格納される。なお、与えられたオブジェクト特徴ベクトルｘ_ｉが既にスパース表現である場合は、前処理部１１０は、このオブジェクト特徴ベクトルｘ_ｉをスパース表現にする必要はない。

【0057】

また、前処理部１１０は、クラスタリング処理が実行される前の前処理として、閾値ＴｈＴｅｒｍを計算する。閾値ＴｈＴｅｒｍは、例えば、記憶部１３０に格納される。

【0058】

クラスタリング処理部１２０は、スパース表現のオブジェクト特徴ベクトルｘ_ｉの集合Ｘと、クラスタ数Ｋと、閾値ＴｈＴｅｒｍ及びＴｈＶａｌとを入力として、スパース表現のオブジェクト特徴ベクトルｘ_ｉをＫ個のクラスタにクラスタリング（又は分割）する。ここで、クラスタリング処理部１２０には、入力部１２１と、初期設定部１２２と、割当部１２３と、更新部１２４と、終了判定部１２５と、出力部１２６とが含まれる。

【0059】

入力部１２１は、スパース表現のオブジェクト特徴ベクトルｘ_ｉの集合Ｘと、クラスタ数Ｋとを入力する。なお、入力部１２１は、例えば、記憶部１３０から集合Ｘ及びクラスタ数Ｋを入力する。ただし、入力部１２１は、例えば、他の装置や他のプログラム等から出力された集合Ｘやクラスタ数Ｋを入力してもよい。

【0060】

初期設定部１２２は、上述した初期状態設定ステップに相当する処理を行う。このとき、初期設定部１２２は、３分割構造転置ファイル表現のｍｅａｎ特徴ベクトル集合ＩＮＶ［ｔ］［ｈ］を作成する。

【0061】

割当部１２３は、上述した割当ステップに相当する処理を行う。このとき、割当部１２３は、３分割構造転置ファイル表現のｍｅａｎ特徴ベクトル集合ＩＮＶ［ｔ］［ｈ］の領域Ｒ１ではｎａｉｖｅ ＩＶＦと同様の手法により類似度計算を行う一方で、領域Ｒ２ではｎａｉｖｅ ＩＶＦと同様の手法により類似度計算を行いつつ類似度上限の算出に必要な計算も行い、領域Ｒ３では類似度上限によって内積（類似度）を厳密計算する部分を抽出した上でその抽出した部分に関してのみ類似度計算を行う。

【0062】

更新部１２４は、上述した更新ステップに相当する処理を行う。また、更新部１２４は、イテレーション数が２以上のイテレーション（好ましくは、イテレーション数が２のイテレーション）で閾値ＴｈＶａｌを最適化する。なお、更新部１２４によって閾値ＴｈＶａｌが最適化される前は、閾値ＴｈＶａｌとしてその初期値が用いられる。閾値ＴｈＶａｌは記憶部１３０に格納されている。

【0063】

終了判定部１２５は、上述した終了判定ステップに相当する処理を行う。出力部１２６は、例えば、スパース表現のオブジェクト特徴ベクトルｘ_ｉのクラスタＣ_ｊへの割当結果（これは、オブジェクトのクラスタリング結果と同一視できる。）を出力する。なお、出力部１２６は、各クラスタＣ_ｊのｍｅａｎ特徴ベクトルμ_ｊを出力してもよい。また、出力部１２６による出力先は、限定されない。出力先の具体例としては、例えば、ディスプレイ等の表示装置１０２、補助記憶装置１０７、記録媒体１０３ａ、通信ネットワークを介して接続される他の装置等が挙げられる。

【0064】

なお、図９に示すクラスタリング装置１０の機能構成は一例であって、これに限られるものではない。例えば、クラスタリング装置１０が前処理部１１０を有さずに、他の装置が前処理部１１０を有していてもよい。この場合、クラスタリング装置１０のクラスタリング処理部１２０は、当該他の装置の前処理部１１０によって作成されたスパース表現のオブジェクトベクトルｘ_ｉの集合Ｘと閾値ＴｈＴｅｒｍとを入力すればよい。

【0065】

＜クラスタリング処理＞
以下、実施例１におけるクラスタリング処理について、図１０を参照しながら説明する。なお、以下では、前処理部１１０によって計算された閾値ＴｈＴｅｒｍが記憶部１３０に記憶されているものとする。また、以下では、１イテレーション目では所定の初期値を持つ閾値ＴｈＴｅｒｍが記憶部１３０に記憶されており、２イテレーション目以降では更新部１２４によって最適化された値を持つ閾値ＴｈＶａｌが記憶部１３０に記憶されているものとする。なお、閾値ＴｈＴｅｒｍの計算方法と閾値ＴｈＶａｌの最適化方法については後述する。

【0066】

ステップＳ１０１：まず、クラスタリング処理部１２０の入力部１２１は、スパース表現のオブジェクト特徴ベクトルｘ_ｉの集合Ｘと、クラスタ数Ｋと、閾値ＴｈＴｅｒｍ及びＴｈＶａｌとを入力する。なお、｜Ｘ｜＝Ｎであり、Ｋは整数かつ１＜Ｋ＜Ｎであるものとする。以下、スパース表現のオブジェクト特徴ベクトル集合Ｘは２次元配列Ｏｂｊ［ｉ］［ｔ］（ｉ＝０，１，・・・，Ｎ－１，ｔ＝０，１，・・・，ｎｕｍ＿ｔｅｒｍｓ［ｉ］－１）で実現されているものとする。

【0067】

ステップＳ１０２：次に、クラスタリング処理部１２０の初期設定部１２２は、各ｍｅａｎ特徴ベクトルμ_ｊ（ｊ＝０，１，・・・，Ｋ－１）を適当な値に初期化した上で、これらのｍｅａｎ特徴ベクトルμ_ｊの集合を３分割構造転置ファイルで表現する。すなわち、初期設定部１２２は、初期化後のｍｅａｎ特徴ベクトルμ_ｊ（ｊ＝０，１，・・・，Ｋ－１）と閾値ＴｈＴｅｒｍ及びＴｈＶａｌとを用いて、３分割構造転置ファイル表現のｍｅａｎ特徴ベクトル集合を作成する。ただし、３分割構造転置ファイルは同一の転置ファイルでなくてもよい。なお、３分割構造転置ファイル表現のｍｅａｎ特徴ベクトル集合は、例えば、記憶部１３０に格納される。以下、３分割構造転置ファイル表現のｍｅａｎ特徴ベクトル集合は２次元配列ＩＮＶ［ｔ］［ｈ］（ｔ＝０，１，・・・，Ｄ－１，ｈ＝０，１，・・・，ＭＦ［ｔ］－１）で実現されているものとする。

【0068】

なお、ｍｅａｎ特徴ベクトルμ_ｊの初期化方法は任意の方法を用いればよい。例えば、各ｍｅａｎ特徴ベクトルμ_ｊをランダムな値に初期化してもよいし、互いに異なる任意のＫ個のオブジェクト特徴ベクトルｘ_ｉをそれぞれｍｅａｎ特徴ベクトルμ_ｊとしてもよいし、スパース表現の各オブジェクト特徴ベクトルｘ_ｉをランダムにクラスタＣ_ｊに割り当てた上で、各クラスタＣ_ｊに属するｘ_ｉからｍｅａｎ特徴ベクトルμ_ｊを計算することで初期化してもよい。

【0069】

ステップＳ１０３：次に、クラスタリング処理部１２０の割当部１２３は、３分割構造転置ファイル表現のｍｅａｎ特徴ベクトル集合を用いて、スパース表現のオブジェクト特徴ベクトルｘ_ｉの各々について、現在のイテレーションにおけるｍｅａｎ特徴ベクトルμ_ｊとの類似度を計算し、その類似度によりいずれかのクラスタＣ_ｊに割り当てる。本割当ステップの詳細については後述する。なお、スパース表現のオブジェクト特徴ベクトルｘ_ｉのクラスタＣ_ｊへの割当結果は、例えば、記憶部１３０に格納される。

【0070】

ステップＳ１０４：クラスタリング処理部１２０の更新部１２４は、各クラスタＣ_ｊに属するスパース表現のオブジェクト特徴ベクトルｘ_ｉにより、３分割構造転置ファイル表現のｍｅａｎ特徴ベクトル集合を更新する。例えば、更新部１２４は、各クラスタＣ_ｊに属するスパース表現のオブジェクト特徴ベクトルｘ_ｉによりそのクラスタＣ_ｊのｍｅａｎ特徴ベクトルμ_ｊを計算した上で、これらのｍｅａｎ特徴ベクトルμ_ｊにより３分割構造転置ファイルを更新してもよいし、これらのｍｅａｎ特徴ベクトルμ_ｊから３分割構造転置ファイルを再作成してもよい。

【0071】

また、クラスタリング処理部１２０の更新部１２４は、例えば、現在のイテレーションが２イテレーション目である場合、閾値ＴｈＶａｌを最適化する。これにより、最適化後の閾値ＴｈＶａｌによって、記憶部１３０に記憶されている閾値ＴｈＶａｌが更新される。ただし、閾値ＴｈＶａｌの最適化が実行されるのは２イテレーション目に限定されるものではない。閾値ＴｈＶａｌの最適化に要する計算量の削減のためには、或る程度クラスタリング結果が安定した後できるだけ早いイテレーションで最適化を実行することが望ましい。なお、閾値ＴｈＶａｌの最適化方法の詳細については後述する。

【0072】

ステップＳ１０５：クラスタリング処理部１２０の終了判定部１２５は、所定の終了条件を満たすか否かを判定する。そして、所定の終了条件を満たすと判定した場合、クラスタリング処理部１２０は、ステップＳ１０６に進む。一方で、所定の終了条件を満たさないと判定された場合、クラスタリング処理部１２０は、イテレーションに１を加算した上で、ステップＳ１０３に戻る。

【0073】

ステップＳ１０６：最後に、クラスタリング処理部１２０の出力部１２６は、例えば、スパース表現のオブジェクト特徴ベクトルｘ_ｉのクラスタＣ_ｊへの割当結果等を出力する。

【0074】

・実施例１における割当ステップのアルゴリズム
実施例１における割当ステップ（図１０のステップＳ１０３）のアルゴリズムについて、図１１を参照しながら説明する。

【0075】

割当部１２３は、ｉ＝０，・・・，Ｎ－１に対して２行目～１９行目を繰り返し実行する（１行目）。以下、或るｉに関する２行目～１９行目の繰り返しについて説明する。

【0076】

割当部１２３は、ｔ＝０，・・・，Ｌｏｃａｌ＿ＴｈＴｅｒｍ［ｉ］－１に対して３行目～５行目を繰り返し実行する（２行目）。ここで、Ｌｏｃａｌ＿ＴｈＴｅｒｍ［ｉ］とは、Ｏｂｊ［ｉ］［ｔ］．ｔｅｒｍＩＤ≧ＴｈＴｅｒｍを満たす最小のｔのことである。例えば、ｎｕｍ＿ｔｅｒｍｓ［ｉ］＝３であり、Ｏｂｊ［ｉ］［０］．ｔｅｒｍＩＤ～Ｏｂｊ［ｉ］［１］．ｔｅｒｍＩＤまでがＴｈＴｅｒｍよりも小さい場合、Ｌｏｃａｌ＿ＴｈＴｅｒｍ［ｉ］＝２となる。以下、或るｔに関する３行目～５行目の繰り返しについて説明する。

【0077】

割当部１２３は、ｔｉｄに対してＯｂｊ［ｉ］［ｔ］．ｔｅｒｍＩＤを設定する（３行目）。なお、Ｏｂｊ［ｉ］［ｔ］．ｔｅｒｍＩＤは｛０，・・・，Ｄ－１｝を取り得ることに留意されたい。次に、割当部１２３は、ｈ＝０，・・・，ＭＦ［ｔｉｄ］－１に対して５行目を繰り返し実行する。なお、ＭＦ［ｔｉｄ］は特徴ＩＤ「ｔｉｄ」の特徴量が含まれるｍｅａｎ特徴ベクトルの数（言い換えれば、特徴ＩＤ「ｔｉｄ」に対応するｉｎｖｅｒｔｅｄ－ｆｉｌｅ ａｒｒａｙに含まれるタプル数）を表すことに留意されたい。以下、或るｈに関する５行目の繰り返しについて説明する。

【0078】

割当部１２３は、ｋ＝ＩＮＶ［ｔ］［ｈ］．ｍｅａｎＩＤとして、Ｏｂｊ［ｉ］［ｔ］．ＦｅａｔｕｒｅとＩＮＶ［ｔ］［ｈ］．Ｆｅａｔｕｒｅとの積をＳｉｍ［ｋ］に加算する（５行目）。ここで、Ｓｉｍ［ｋ］は、オブジェクト特徴ベクトルｘ_ｉとｍｅａｎ特徴ベクトルμ_ｋとの類似度（内積）が格納される変数である。なお、ｋ＝０，・・・，Ｋ－１であることに留意されたい。

【0079】

以上の２行目～５行目により、３分割構造転置ファイル表現のｍｅａｎ特徴ベクトル集合の領域Ｒ１に属する特徴量との内積が計算されたことになる。

【0080】

次に、割当部１２３は、ｔ＝Ｌｏｃａｌ＿ＴｈＴｅｒｍ［ｉ］，・・・，ｎｕｍ＿ｔｅｒｍｓ［ｉ］－１に対して７行目～１０行目を繰り返し実行する（６行目）。以下、或るｔに関する７行目～１０行目の繰り返しについて説明する。

【0081】

割当部１２３は、ｔｉｄに対してＯｂｊ［ｉ］［ｔ］．ｔｅｒｍＩＤを設定する（７行目）。次に、割当部１２３は、ｈ＝０，・・・，ＭＦ＿ＴｈＶａｌ［ｔｉｄ］－１に対して９行目~１０行目を繰り返し実行する（８行目）。ここで、ＭＦ＿ＴｈＶａｌ［ｔｉｄ］は、ＩＮＶ［ｔ］［ｈ］．Ｆｅａｔｕｒｅ＜ＴｈＶａｌを満たす最小のｈのことである。例えば、ＭＦ［ｔｉｄ］＝５であり、ＩＮＶ［ｔ］［０］．Ｆｅａｔｕｒｅ～ＩＮＶ［ｔ］［３］．ＦｅａｔｕｒｅまでがＴｈＶａｌ以上である場合、ＭＦ＿ＴｈＶａｌ［ｔｉｄ］＝４となる。以下、或るｈに関する９行目～１０行目の繰り返しについて説明する。

【0082】

割当部１２３は、ｋ＝ＩＮＶ［ｔ］［ｈ］．ｍｅａｎＩＤとして、Ｏｂｊ［ｉ］［ｔ］．ＦｅａｔｕｒｅとＩＮＶ［ｔ］［ｈ］．Ｆｅａｔｕｒｅとの積をＳｉｍ［ｋ］に加算する（９行目）。次に、割当部１２３は、ｋ＝ＩＮＶ［ｔ］［ｈ］．ｍｅａｎＩＤとして、Ｏｂｊ＿Ｐａｒｔｉａｌ＿Ｌ１ｎｏｒｍ［ｉ］［ｋ］からＯｂｊ［ｉ］［ｔ］．Ｆｅａｔｕｒｅを減算する（１０行目）。ここで、Ｏｂｊ＿Ｐａｒｔｉａｌ＿Ｌ１ｎｏｒｍ［ｉ］［ｋ］（ｋ＝０，・・・，Ｋ－１）は部分Ｌ１ノルムと呼ぶものであり、例えば、割当ステップの開始時（又は、それよりも前であればいつでもよい。）において、ｋ＝０，・・・，Ｋ－１及びｉ＝０，・・・，Ｎ－１に対して、Ｏｂｊ［ｉ］［ｔ］．Ｆｅａｔｕｒｅのｔ＝Ｌｏｃａｌ＿ＴｈＴｅｒｍ［ｉ］からｔ＝ｎｕｍ＿ｔｅｒｍｓ［ｉ］までの和として予め計算される。この部分Ｌ１ノルムＯｂｊ＿Ｐａｒｔｉａｌ＿Ｌ１ｎｏｒｍ［ｉ］［ｋ］は類似度上限を計算する際（後述する１２行目）に用いられる。

【0083】

以上の６行目～１０行目により、３分割構造転置ファイル表現のｍｅａｎ特徴ベクトル集合の領域Ｒ２に属する特徴量との内積が計算されたことになる。

【0084】

次に、割当部１２３は、ｋ＝０，・・・，Ｋに対して１２行目～１４行目を繰り返し実行する（１１行目）。以下、或るｋに関する１２行目～１４行目の繰り返しについて説明する。

【0085】

割当部１２３は、Ｓｉｍ［ｋ］＋ＴｈＶａｌ×Ｏｂｊ＿Ｐａｒｔｉａｌ＿Ｌ１ｎｏｒｍ［ｉ］［ｋ］をＵｐｐｅｒＢｏｕｎｄ［ｋ］に設定する（１２行目）。ここで、ＵｐｐｅｒＢｏｕｎｄ［ｋ］は、クラスタＣ_ｋに関する類似度上限を表す。

【0086】

次に、割当部１２３は、ＵｐｐｅｒＢｏｕｎｄ［ｋ］＜Ｐｒｅｖ＿Ｓｉｍ［ｉ］を満たすか否かを判定し（１３行目）、ＵｐｐｅｒＢｏｕｎｄ［ｋ］＜Ｐｒｅｖ＿Ｓｉｍ［ｉ］を満たす場合は１４行目をスキップする。ここで、Ｐｒｅｖ＿Ｓｉｍ［ｉ］は、オブジェクト特徴ベクトルｘ_ｉが現在のイテレーションで属しているクラスタのｍｅａｎ特徴ベクトルとの類似度を表す。この１３行目は、オブジェクト特徴ベクトルｘ_ｉが現在属しているクラスタのｍｅａｎ特徴ベクトルとの類似度よりも、クラスタｋの類似度上限が小さい場合は、そのクラスタｋに関する類似度の厳密計算をスキップすることを意味している。

【0087】

ＵｐｐｅｒＢｏｕｎｄ［ｋ］＜Ｐｒｅｖ＿Ｓｉｍ［ｉ］を満たすと判定されなかった場合、割当部１２３は、Ｃａｎｄｉｄａｔｅ［ｃａｎｄＭｅａｎｓ］にｋを設定すると共にＣａｎｄｉｄａｔｅＳｉｍ［ｃａｎｄＭｅａｎｓ］にＳｉｍ［ｋ］を設定した後、ｃａｎｄＭｅａｎｓに１を加算する（１４行目）。なお、ｃａｎｄＭｅａｎｓの初期値は０であるものとする。これにより、類似度を厳密計算する対象のクラスタのインデックスｋとそのＳｉｍ［ｋ］とがそれぞれＣａｎｄｉｄａｔｅ［ｃａｎｄＭｅａｎｓ］とＣａｎｄｉｄａｔｅＳｉｍ［ｃａｎｄＭｅａｎｓ］に設定される。

【0088】

次に、割当部１２３は、ｔ＝Ｌｏｃａｌ＿ＴｈＴｅｒｍ［ｉ］，・・・，ｎｕｍ＿ｔｅｒｍｓ［ｉ］－１に対して１６行目～１８行目を繰り返し実行する（１５行目）。以下、或るｔに関する１６行目～１８行目の繰り返しについて説明する。

【0089】

割当部１２３は、ｓ＝０，・・・，ｃａｎｄＭｅａｎｓ－１に対して１７行目~１８行目を繰り返し実行する（１６行目）。以下、或るｓに関する１７行目～１８行目の繰り返しについて説明する。

【0090】

割当部１２３は、ｋにＣａｎｄｉｄａｔｅ［ｓ］を設定する（１７行目）。次に、割当部１２３は、ＩＮＶ［ｔ］［ｈ］．ｍｅａｎＩＤ＝ｋを満たすｈを用いて、Ｏｂｊ［ｉ］［ｔ］．Ｆｅａｔｕｒｅ×ＩＮＶ［ｔ］［ｈ］．ＦｅａｔｕｒｅをＣａｎｄｉｄａｔｅＳｉｍ［ｓ］に加算する（１８行目）。

【0091】

そして、割当部１２３は、ＣａｎｄｉｄａｔｅＳｉｍ［ｓ］（ｓ＝０，・・・，ｃａｎｄＭｅａｎｓ－１）が最大となるＣａｎｄｉｄａｔｅ［ｓ］に対応するクラスタにオブジェクト特徴ベクトルｘ_ｉを割り当てる（１９行目）。なお、オブジェクト特徴ベクトルｘ_ｉの割当は、オブジェクトの割当と同一視できる。

【0092】

以上により、割当ステップにてオブジェクトがクラスタに割り当てられる。このとき、実施例１では、１２行目～１８行目で現在属しているクラスタのｍｅａｎ特徴ベクトルとの類似度が、類似度上限によりも大きいクラスタに関しては、類似度の厳密計算をスキップしている。これにより、特に時間計算量が大きい領域Ｒ３における乗算回数を削減することが可能となり、時間計算量を削減させることが可能となる。

【0093】

なお、１２行目の「ＴｈＶａｌ×Ｏｂｊ＿Ｐａｒｔｉａｌ＿Ｌ１ｎｏｒｍ［ｉ］［ｋ］」は、Ｃａｕｃｈｙ－Ｓｃｈｗａｒｚの不等式に置換可能である。例えば、ＩＮＶ［ｔ］［ｈ］．ｍｅａｎＩＤ＝ｋを満たすｈを用いて、ｔ≧ＴｈＴｅｒｍのｔに関するＩＮＶ［ｔ］［ｈ］．ＦｅａｔｕｒｅのＬ２ノルムを計算したものをＭｅａｎ＿Ｐａｒｔｉａｌ＿Ｌ２ｎｏｒｍ［ｋ］とする。また、例えば、ｋ＝０，・・・，Ｋ－１及びｉ＝０，・・・，Ｎ－１に対して、Ｏｂｊ［ｉ］［ｔ］．Ｆｅａｔｕｒｅのｔ＝Ｌｏｃａｌ＿ＴｈＴｅｒｍ［ｉ］からｔ＝ｎｕｍ＿ｔｅｒｍｓ［ｉ］までの２乗和を予め計算しておき、この２乗和から１０行目の各Ｏｂｊ［ｉ］［ｔ］．Ｆｅａｔｕｒｅの２乗を減算し、最後に平方根を取ったものをＯｂｊ＿Ｐａｒｔｉａｌ＿Ｌ２ｎｏｒｍ［ｉ］［ｋ］とする。このとき、Ｃａｕｃｈｙ－Ｓｃｈｗａｒｚの不等式により、内積の上限値はＭｅａｎ＿Ｐａｒｔｉａｌ＿Ｌ２ｎｏｒｍ［ｋ］＋Ｏｂｊ＿Ｐａｒｔｉａｌ＿Ｌ２ｎｏｒｍ［ｉ］［ｋ］となるため、この内積の上限値とＳｉｍ［ｋ］との和をＵｐｐｅｒＢｏｕｎｄ［ｋ］としてもよい。

【0094】

＜閾値ＴｈＴｅｒｍの計算方法と閾値ＴｈＶａｌの最適化方法＞
以下、閾値ＴｈＴｅｒｍの計算方法と閾値ＴｈＶａｌの最適化方法について説明する。

【0095】

・閾値ＴｈＴｅｒｍの計算方法
前処理部１１０は、クラスタリング処理が実行される前の前処理にて以下の手順１１～手順１２により閾値ＴｈＴｅｒｍを計算する。

【0096】

手順１１：図１に示すように、文書に含まれる単語に関するｄｆとそのｄｆを持つ単語数の間にはべき乗則がほぼ成り立つ。つまり、ｘをｄｆ、ｆ（ｘ）を単語数として或る係数ａ，ｂによりｆ（ｘ）＝ａｘ^－ｂと表せる。そこで、このｆ（ｘ）＝ａｘ^－ｂという関係に対して外挿を行って、単語数が１となるｄｆ（つまり、ｆ（ｘ）＝１となるｘ）を求める。

【0097】

手順１２：上記の手順１１により求めたｘに対応する特徴ＩＤ（単語ＩＤ）をＴｈＴｅｒｍとする。

【0098】

・閾値ＴｈＶａｌの最適化方法
更新部１２４は、イテレーション数が２以上のイテレーション（イテレーション数が２のイテレーションであることが好ましい。）における更新ステップにて以下の手順２１～手順２２により閾値ＴｈＶａｌを最適化する。

【0099】

手順２１：ＴｈＶａｌを変数とした近似乗算回数を求める。なお、近似乗算回数の計算方法については後述する。

【0100】

手順２２：上記の手順２１により求めた近似乗算回数が最小となる閾値をＴｈＶａｌとする。このＴｈＶａｌが最適化されたＴｈＶａｌである。

【0101】

・近似乗算回数の計算方法
以下、近似乗算回数の計算方法について説明する。

【0102】

或るオブジェクト特徴ベクトルｘ_ｉとｍｅａｎ特徴ベクトルとの類似度分布をｐ（ｘ）とする。ただし、ｘは連続値緩和である。また、当該オブジェクト特徴ベクトルｘ_ｉと各ｍｅａｎ特徴ベクトルμ_ｊとの類似度の平均値をμ（ｉ）、当該オブジェクト特徴ベクトルｘ_ｉが現在所属しているクラスタのｍｅａｎ特徴ベクトルとの類似度をｓ（ｉ）とする。なお、ｍｅａｎ特徴ベクトルと、或るオブジェクト特徴ベクトルと各ｍｅａｎ特徴ベクトルとの類似度の平均値とでいずれも記号「μ」を使用しているが、以下では、下付き文字が付与された「μ」がｍｅａｎ特徴ベクトルを表し、下付き文字が付与されていない「μ」が上記の類似度の平均値を表していることに留意されたい。後述する「μ'」も同様であり、類似度の平均値を表している。

【0103】

また、類似度上限値分布をｐ'（ｘ）とする。更に、ｕをＴｈＴｅｒｍ、ｖをＴｈＶａｌとして、当該オブジェクト特徴ベクトルｘ_ｉと各ｍｅａｎ特徴ベクトルとの類似度上限値の平均値をμ'（ｎ）＝μ（ｉ；ｕ，ｖ）とする。

【0104】

このとき、以下の３つを仮定する。

【0105】

仮定１：類似度分布関数を次式で表現する。

【0106】

ｐ（ｘ｜ｘ≧μ（ｉ））＝ａ・ｅ^{－ｂ（ｘ－μ（ｉ））}
ここで、

【0107】

【数2】

である。ただし、Ｔは特徴ＩＤの集合である。α（ｉ，ｔ）は、オブジェクト特徴ベクトルｘ_ｉに含まれる特徴量のうち、特徴ＩＤ「ｔ」の特徴量（つまり、Ｏｂｊ［ｉ］［ｔ］．Ｆｅａｔｕｒｅ）である。また、β（ｋ，ｔ）は、ｍｅａｎ特徴ベクトルμ_ｋの特徴量のうち、特徴ＩＤが「ｔ」の特徴量（つまり、ｋ＝ＩＮＶ［ｔ］［ｈ］．ｍｅａｎＩＤとなるｈに関するＩＮＶ［ｔ］［ｈ］．Ｆｅａｔｕｒｅ）である。

【0108】

仮定２：分布関数の中央値と平均値がほぼ一致する。すなわち、

【0109】

【数3】

である。

【0110】

仮定３：類似度上限値分布ｐ'（ｘ）は類似度分布ｐ（ｘ）の平行移動である。すなわち、ｐ'（ｘ－Δμ）＝ｐ（ｘ）、Δμ＝μ（ｉ；ｕ，ｖ）－μ（ｉ）＝μ'－μと表すことができる。

【0111】

以上の仮定の下、以下の手順３１～手順３３により近似乗算回数ｃ（ｕ，ｖ）を求める。

【0112】

手順３１：上記の仮定１～仮定３を用いて分布関数を求める。すなわち、

【0113】

【数4】

であるため、

【0114】

【数5】

と類似度分布の分布関数ｐ（ｘ｜ｘ≧μ（ｉ））が求まる。

【0115】

手順３２；類似度上限値がｓ（ｉ）以上となる確率（つまり、類似度の厳密計算をスキップできない確率）を求める。これは以下により求めることができる。

【0116】

【数6】

ここで、ｓ（ｉ，ｋ；ｕ，ｖ）はオブジェクト特徴ベクトルｘ_ｉとｍｅａｎ特徴ベクトルμ_ｋとの間の部分類似度であり、図１１に示すアルゴリズムの１２行目におけるＳｉｍ［ｋ］に該当する。また、ｑ（ｉ，ｋ；ｕ，ｖ）はオブジェクト特徴ベクトルｘ_ｉとの部分Ｌ１ノルムであり、図１１に示すアルゴリズムの１２行目におけるＯｂｊ＿Ｐａｒｔｉａｌ＿Ｌ１ｎｏｒｍ［ｉ］［ｋ］に該当する。

【0117】

手順３３：以下の式（２）及び（３）の和を近似乗算回数ｃ（ｕ，ｖ）とする。

【0118】

【数7】

ここで、Ｔ（ｕ）はｕ＝ＴｈＴｅｒｍ以上の特徴ＩＤの集合である。また、ｄｆ（ｔ）は特徴ＩＤ（単語ＩＤ）がｔの単語に関するｄｆである。ｍｆ（ｔ）は特徴ＩＤ（単語ＩＤ）がｔの単語に関するｍｆである。ｍｆ（ｔ；ｖ）は特徴ＩＤ（単語ＩＤ）がｔの単語に関して、特徴量がｖ＝ＴｈＶａｌ以上のｍｆである。

【0119】

【数8】

ここで、

【0120】

【数9】

である。なお、Ｉは指示関数を表す。

【0121】

すなわち、以下を近似乗算回数ｃ（ｕ，ｖ）とする。

【0122】

【数10】

ここで、上記の第１項及び第２項はｖ＝ＴｈＶａｌが与えられたときに或るイテレーション時に計算可能である。第３項に関しては、その指数部分のμ（ｉ）及びμ（ｉ；ｕ，ｖ）を以下により計算できる。

【0123】

【数11】

ただし、上述したように、α（ｉ，ｔ）は、オブジェクト特徴ベクトルｘ_ｉに含まれる特徴量のうち、特徴ＩＤ「ｔ」の特徴量（Ｏｂｊ［ｉ］［ｔ］．Ｆｅａｔｕｒｅ）であり、β（ｋ，ｔ）は、ｍｅａｎ特徴ベクトルμ_ｋの特徴量のうち、特徴ＩＤが「ｔ」の特徴量（ｋ＝ＩＮＶ［ｔ］［ｈ］．ｍｅａｎＩＤとなるｈに関するＩＮＶ［ｔ］［ｈ］．Ｆｅａｔｕｒｅ）である。

【0124】

以上により近似乗算回数ｃ（ｕ，ｖ）を計算することができる。ここで、一例として、図３に示す例と同じＰｕｂＭｅｄを用いて上記の近似乗算回数ｃ（ｕ，ｖ）を評価した結果を図１２に示す。図１２において、Ａｃｔｕａｌが実際の乗算回数、Ａｐｐｒｏｘｉｍａｔｅが近似乗算回数ｃ（ｕ，ｖ）を表している。図１２に示すように、近似乗算回数ｃ（ｕ，ｖ）は実際の乗算回数を精度良く近似できていることがわかる。

【0125】

＜実施例１の実験結果＞
以下、実施例１におけるクラスタリング装置１０を評価するために行った実験結果について説明する。本実験では、クラスタリング装置１０を一般的なＰＣで実現した上で、文書としては図３に示す例と同じＰｕｂＭｅｄを用いて、既存手法と比較した。

【0126】

１イテレーションあたりの類似度計算における乗算回数を図１３に示す。図１３において、Ｐｒｏｐｏｓｅｄが実施例１におけるクラスタリング装置１０であり、ｎａｉｖｅ ＩＶＦ及びＳＩＶＦは既存手法である。図１３に示すように、実施例１におけるクラスタリング装置１０は、既存手法によりも乗算回数が低減できていることがわかる。特に、ｎａｉｖｅ ＩＶＦと比較した場合、乗算回数がおよそ１／３４に低減できていることがわかる。

【0127】

次に、１イテレーションあたりの平均経過時間を図１４に示す。図１４に示すように、実施例１におけるクラスタリング装置１０は、既存手法によりも平均経過時間が削減できていることがわかる。特に、Ｄｉｎｇ法と比較した場合、平均経過時間がおよそ１／２８に低減できていることがわかる。

【0128】

次に、メモリ使用量を図１５に示す。図１５に示すように、実施例１におけるクラスタリング装置１０は、Ｄｉｎｇ法と比較した場合、メモリ使用量がおよそ１／７に低減できていることがわかる。

【0129】

以上のように、実施例１におけるクラスタリング装置１０によれば、ｋ－ｍｅａｎｓ法における類似度計算の乗算回数を低減することが可能となり、その結果、１イテレーションあたりの平均経過時間を削減することができる。また、メモリ使用量も、Ｄｉｎｇ法と比較して削減することができる。

【0130】

［実施例２］
以下、実施例２について説明する。なお、実施例２では、実施例１と同様の構成要素についてはその説明を省略する。

【0131】

＜提案手法＞
実施例２では、３分割構造転置ファイル表現のｍｅａｎ特徴ベクトル集合に対してＩＣＰ（invariant centroid-pair skipping filter）を導入する。ＩＣＰとは、或るオブジェクト特徴ベクトルｘ_ｉに関して、Ｃ_ｊ及びＣ_ｊ´が不変クラスタであり、（ｘ_ｉ∈Ｃ_ｊ）∧（Ｃ_ｊ≠Ｃ_ｊ´）であるならば、オブジェクト特徴ベクトルｘ_ｉと、ｍｅａｎ特徴ベクトルμ_ｊ´との類似度計算は不要であるというものである。これは、或るオブジェクト特徴ベクトルｘ_ｉが属するクラスタＣ_ｊが不変クラスタである場合、現在のイテレーションで、当該オブジェクト特徴ベクトルｘ_ｉが他の不変クラスタＣ_ｊ´（ｊ´≠ｊ）に新たに属することはないためである。なお、不変クラスタとは、１つ前のイテレーションでクラスタに属するメンバ（オブジェクト特徴ベクトルｘ_ｉ）に変更がなかったクラスタＣ_ｊのことである。

【0132】

そこで、実施例２における３分割構造転置ファイルでは、各領域においてｉｎｖｅｒｔｅｄ－ｆｉｌｅ ａｒｒａｙを前半部分と後半部分に分けて、前半部分には不変クラスタでないｍｅａｎ特徴ベクトルのタプルを格納し、後半部分には不変クラスタのｍｅａｎ特徴ベクトルのタプルを格納する。このように構成された３分割構造転置ファイルのｍｅａｎ特徴ベクトルを図１６に示す。図１６に示すように、領域Ｒ１では、ｉｎｖｅｒｔｅｄ－ｆｉｌｅ ａｒｒａｙの前半部分に不変クラスタでないｍｅａｎ特徴ベクトルのタプルが格納され、後半部分に不変クラスタのｍｅａｎ特徴ベクトルのタプルが格納される。一方で、領域Ｒ２及びＲ３では、ｉｎｖｅｒｔｅｄ－ｆｉｌｅ ａｒｒａｙの領域Ｒ２に属する部分と領域Ｒ３に属する部分とをそれぞれ前半部分と後半部分に分ける。すなわち、ｉｎｖｅｒｔｅｄ－ｆｉｌｅ ａｒｒａｙの領域Ｒ２に属する部分は、不変クラスタでなく、かつ、特徴量がＴｈＶａｌ以上のｍｅａｎ特徴ベクトルのタプルが前半に、不変クラスタであり、かつ、特徴量がＴｈＶａｌ以上のｍｅａｎ特徴ベクトルのタプルが後半に格納される。同様に、ｉｎｖｅｒｔｅｄ－ｆｉｌｅ ａｒｒａｙの領域Ｒ３に属する部分は、不変クラスタでなく、かつ、特徴量がＴｈＶａｌ未満のｍｅａｎ特徴ベクトルのタプルが前半に、不変クラスタであり、かつ、特徴量がＴｈＶａｌ未満のｍｅａｎ特徴ベクトルのタプルが後半に格納される。ただし、領域Ｒ３に属する部分は実施例１と同様の構成としてもよい。

【0133】

なお、クラスタＣ_ｊが不変クラスタであるか否かは、参考文献１と同様にフラグｆ［ｊ］により管理する。以下では、ｆ［ｊ］＝０のときクラスタＣ_ｊは不変クラスタ、ｆ［ｊ］＝１のときクラスタＣ_ｊは不変クラスタでないものとする。

【0134】

・実施例２における割当ステップのアルゴリズム
実施例２における割当ステップ（図１０のステップＳ１０３）のアルゴリズムについて、図１７を参照しながら説明する。

【0135】

割当部１２３は、ｉ＝０，・・・，Ｎ－１に対して２行目～２０行目を繰り返し実行する（１行目）。以下、或るｉに関する２行目～２０行目の繰り返しについて説明する。

【0136】

割当部１２３は、オブジェクト特徴ベクトルｘ_ｉが属するクラスタＣ_ｊが不変クラスタであるか否かを判定（つまり、ｆ［ｊ］＝０又は１のいずれであるかを判定）する（２行目）。割当部１２３は、ｆ［ｊ］＝０の場合は３行目～１８行目を実行し、ｆ［ｊ］＝１の場合は２０行目を実行する。

【0137】

ｆ［ｊ］＝０の場合（３行目）、割当部１２３は、ｔ＝０，・・・，Ｌｏｃａｌ＿ＴｈＴｅｒｍ［ｉ］－１に対して５行目～７行目を繰り返し実行する（４行目）。以下、或るｔに関する５行目～７行目の繰り返しについて説明する。

【0138】

割当部１２３は、ｔｉｄに対してＯｂｊ［ｉ］［ｔ］．ｔｅｒｍＩＤを設定する（５行目）。次に、割当部１２３は、ｈ＝０，・・・，ｅｎｄ０［ｔｉｄ］－１に対して７行目を繰り返し実行する（６行目）。ここでのｅｎｄ０［ｔｉｄ］は、特徴ＩＤ「ｔｉｄ」に対応するｉｎｖｅｒｔｅｄ－ｆｉｌｅ ａｒｒａｙにおいて、不変クラスタのｍｅａｎ特徴ベクトルのタプルＩＮＶ［ｔｉｄ］［ｈ］の中で最小のｈを表す。例えば、ＩＮＶ［ｔｉｄ］［０］～ＩＮＶ［ｔｉｄ］［ｈ'－１］までが不変クラスタでないｍｅａｎ特徴ベクトルのタプル、ＩＮＶ［ｔｉｄ］［ｈ'］～ＩＮＶ［ｔｉｄ］［ＭＦ［ｔｉｄ］－１］までが不変クラスタのｍｅａｎ特徴ベクトルのタプルである場合、ｅｎｄ０［ｔｉｄ］＝ｈ'である。

【0139】

割当部１２３は、図１１の５行目と同様の処理を行う（７行目）。割当部１２３は、ｔ＝Ｌｏｃａｌ＿ＴｈＴｅｒｍ［ｉ］，・・・，ｎｕｍ＿ｔｅｒｍｓ［ｉ］－１に対して９行目～１１行目を繰り返し実行する（８行目）。以下、或るｔに関する９行目～１１行目の繰り返しについて説明する。

【0140】

割当部１２３は、ｔｉｄに対してＯｂｊ［ｉ］［ｔ］．ｔｅｒｍＩＤを設定する（９行目）。次に、割当部１２３は、ｈ＝０，・・・，ｅｎｄ０［ｔｉｄ］－１に対して１１行目を繰り返し実行する（１０行目）。ここでのｅｎｄ０［ｔｉｄ］は、特徴ＩＤ「ｔｉｄ」に対応するｉｎｖｅｒｔｅｄ－ｆｉｌｅ ａｒｒａｙのうちの領域Ｒ２の部分において、不変クラスタのｍｅａｎ特徴ベクトルのタプルＩＮＶ［ｔｉｄ］［ｈ］の中で最小のｈを表す。例えば、ＩＮＶ［ｔｉｄ］［０］～ＩＮＶ［ｔｉｄ］［ｈ'－１］までが不変クラスタでないｍｅａｎ特徴ベクトルのタプル、ＩＮＶ［ｔｉｄ］［ｈ'］～ＩＮＶ［ｔｉｄ］［ＭＦ＿ＴｈＶａｌ［ｔｉｄ］－１］までが不変クラスタのｍｅａｎ特徴ベクトルのタプルである場合、ｅｎｄ１［ｔｉｄ］＝ｈ'である。

【0141】

割当部１２３は、図１１の９行目～１０行目と同様の処理を行う（１１行目）。次に、割当部１２３は、図１１の１１行目～１４行目と同様の処理を行った後（１２行目）、ｔ＝Ｌｏｃａｌ＿ＴｈＴｅｒｍ［ｉ］，・・・，ｎｕｍ＿ｔｅｒｍｓ［ｉ］－１に対して１４行目～１７行目を繰り返し実行する（１３行目）。以下、或るｔに関する１４行目～１７行目の繰り返しについて説明する。

【0142】

割当部１２３は、ｔｉｄに対してＯｂｊ［ｉ］［ｔ］．ｔｅｒｍＩＤを設定する（１４行目）。次に、割当部１２３は、ｓ＝０，・・・，ｃａｎｄＭｅａｎｓ－１に対して１６行目~１７行目を繰り返し実行する（１５行目）。以下、或るｓに関する１６行目～１７行目の繰り返しについて説明する。

【0143】

割当部１２３は、ｋにＣａｎｄｉｄａｔｅ［ｓ］を設定する（１６行目）。次に、割当部１２３は、ＰａｒｔｉａｌＭｅａｎＩＶＦＭＶ［ｔｉｄ－ＴｈＴｅｒｍ］［ｋ］を用いて、Ｏｂｊ［ｉ］［ｔ］．Ｆｅａｔｕｒｅ×ＰａｒｔｉａｌＭｅａｎＩＶＦＭＶ［ｔｉｄ－ＴｈＴｅｒｍ］［ｋ］をＣａｎｄｉｄａｔｅＳｉｍ［ｓ］に加算する（１７行目）。ここで、ＰａｒｔｉａｌＭｅａｎＩＶＦＭＶは、領域Ｒ３に属する特徴量のうち、不変クラスタでないクラスタのｍｅａｎ特徴ベクトルの特徴量が格納された配列である。この配列では、クラスタｋのｍｅａｎ特徴ベクトルに含まれる、特徴ＩＤ「ｔｉｄ」の特徴量が、配列要素ＰａｒｔｉａｌＭｅａｎＩＶＦＭＶ［ｔｉｄ－ＴｈＴｅｒｍ］［ｋ］に格納されている。そして、割当部１２３は、図１１の１９行目と同様の処理を行う（１８行目）。

【0144】

ｆ［ｊ］＝１の場合（２０行目）、割当部１２３は、図１１の２行目～１９行目と同様の処理を行う（２０行目）。

【0145】

以上により、割当ステップにてオブジェクトがクラスタに割り当てられる。このとき、実施例２では、オブジェクト特徴ベクトルｘ_ｉが不変クラスタに属している場合に、不変クラスタのｍｅａｎ特徴ベクトルとの類似度計算をスキップできる。これにより、実施例１と比較して更に乗算回数を削減させることが可能となり、時間計算量を更に削減させることが可能となる。

【0146】

＜実施例２の実験結果＞
以下、実施例２におけるクラスタリング装置１０を評価するために行った実験結果について説明する。本実験の設定は実施例１と同様とした。

【0147】

１イテレーションあたりの類似度計算における乗算回数を図１８に示す。図１８において、Ｐｒｏｐｏｓｅｄが実施例１におけるクラスタリング装置１０、Ａｄｖａｎｃｅｄが実施例２におけるクラスタリング装置１０である。図１８に示すように、実施例２におけるクラスタリング装置１０は、実施例１よりも更に乗算回数が低減できていることがわかる。

【0148】

次に、１イテレーションあたりの平均経過時間を図１９に示す。図１９に示すように、実施例２におけるクラスタリング装置１０は、実施例１よりも更に平均経過時間を削減できていることがわかる。

【0149】

以上のように、実施例２におけるクラスタリング装置１０によれば、ｋ－ｍｅａｎｓ法における類似度計算の乗算回数を更に低減することが可能となり、その結果、１イテレーションあたりの平均経過時間を更に削減することができる。

【0150】

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。

【0151】

［参考文献］
参考文献１：特開２０１９－２０４４３６号公報

【符号の説明】

【0152】

１０ クラスタリング装置
１０１ 入力装置
１０２ 表示装置
１０３ 外部Ｉ／Ｆ
１０３ａ 記録媒体
１０４ 通信Ｉ／Ｆ
１０５ ＲＡＭ
１０６ ＲＯＭ
１０７ 補助記憶装置
１０８ プロセッサ
１０９ バス
１１０ 前処理部
１２０ クラスタリング処理部
１２１ 入力部
１２２ 初期設定部
１２３ 割当部
１２４ 更新部
１２５ 終了判定部
１２６ 出力部
１３０ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】