特開 2022-71929 クラスタリング装置、クラスタリング方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022071929

(43)【公開日】2022-05-17

(54)【発明の名称】クラスタリング装置、クラスタリング方法、及びプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20220510BHJP

   G06F 16/906 20190101ALI20220510BHJP

【ＦＩ】

G06N20/00 160

G06F16/906

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2020181066

(22)【出願日】2020-10-29

(71)【出願人】

【識別番号】397072639

【氏名又は名称】株式会社デジタルガレージ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】エナジ ヤシン

(72)【発明者】

【氏名】田 智秀

(72)【発明者】

【氏名】菊地 弘晶

(72)【発明者】

【氏名】渋谷 直正

(72)【発明者】

【氏名】川本 卓馬

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175FA03

(57)【要約】

【課題】クラスタ数の最適化を効率的に行う。
【解決手段】第１のアルゴリズムによるクラスタリングを実施する第１のクラスタリング実行部と、第１のアルゴリズムによるクラスタリングの結果に基づいて、１以上のクラスタ数の候補を決定するクラスタ数候補決定部と、クラスタ数の候補を用いて、第２のアルゴリズムによるクラスタリングを実施する第２のクラスタリング実行部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

第１のアルゴリズムによるクラスタリングを実施する第１のクラスタリング実行部と、
前記第１のアルゴリズムによるクラスタリングの結果に基づいて、１以上のクラスタ数の候補を決定するクラスタ数候補決定部と、
前記クラスタ数の候補を用いて、第２のアルゴリズムによるクラスタリングを実施する第２のクラスタリング実行部と、を備えたクラスタリング装置。

【請求項2】

前記第２のアルゴリズムは、前記第１のアルゴリズムよりも１回のクラスタリングの実行に要する計算量が多い、請求項１に記載のクラスタリング装置。

【請求項3】

前記第２のアルゴリズムによるクラスタリングは、深層学習を利用する手法である、請求項２に記載のクラスタリング装置。

【請求項4】

前記クラスタ数候補決定部は、
生成されたクラスタの凝集度に基づいて、１以上のクラスタ数の候補を決定する、請求項１から３のいずれか１項に記載のクラスタリング装置。

【請求項5】

前記第２のアルゴリズムによるクラスタリングの結果に基づいて、クラスタ数を調整するクラスタ数調整部と、
調整後のクラスタ数を用いて第２のアルゴリズムによるクラスタリングを実施し、クラスタリングの結果を提示するクラスタリング結果提示部と、を備えた請求項１から４のいずれか１項に記載のクラスタリング装置。

【請求項6】

前記クラスタ数調整部は、
生成されたクラスタの凝集度に基づいて、クラスタ数を調整する請求項５に記載のクラスタリング装置。

【請求項7】

前記提示されたクラスタリングの結果に対する、クラスタ数の再調整の要否を受け付ける再調整要否受付部を備え、
前記クラスタリング結果提示部は、
再調整したクラスタ数を用いて第２のアルゴリズムによるクラスタリングを実施し、クラスタリングの結果を提示する、請求項１から６のいずれか１項に記載のクラスタリング装置。

【請求項8】

コンピュータが、第１のアルゴリズムによるクラスタリングを実施する工程と、
コンピュータが、前記第１のアルゴリズムによるクラスタリングの結果に基づいて、１以上のクラスタ数の候補を決定する工程と、
コンピュータが、前記クラスタ数の候補を用いて、第２のアルゴリズムによるクラスタリングを実施する工程と、を有するクラスタリング方法。

【請求項9】

コンピュータを、
第１のアルゴリズムによるクラスタリングを実施する第１のクラスタリング実行部と、
前記第１のアルゴリズムによるクラスタリングの結果に基づいて、１以上のクラスタ数の候補を決定するクラスタ数候補決定部と、
前記クラスタ数の候補を用いて、第２のアルゴリズムによるクラスタリングを実施する第２のクラスタリング実行部として、機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、クラスタリング装置、クラスタリング方法、及びプログラムに関する。

【背景技術】

【0002】

データを類似度に基づいてグループ分けするクラスタリングは、データの特性を直感的に把握できる分析手法として様々な場面で活用されている。クラスタリングによるデータ分析で良い結果を得るためには、クラスタリングのパラメータであるクラスタ数を適切な値に設定する必要がある。

【0003】

例えば、特許文献１には、原水に注入する薬剤の量を予測するモデルのパラメータの最適化にクラスタリングを利用することが記載されており、クラスタ数は、予測モデルの評価に基づいて決定することが記載されている。また、特許文献２には、クラスタリングを最適化する方法に関し、クラスタ数を変動させながらクラスタリングを行い、クラスタリング結果の評価に基づいて、最適なクラスタ数を決めることが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６６３７２０６号公報

【特許文献2】特開２０１８－１９５０８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来は、最適なクラスタ数を求めるために、クラスタ数を変えながらクラスタリングを行い、結果の評価に基づいてクラスタ数を調整している。近年、深層学習などの高度なクラスタリング技術により、クラスタリングの性能は高くなっているが、高性能なクラスタリングは計算に数日を要することもある。このため、高性能なクラスタリングでの最適なクラスタ数を決定するためにクラスタリングの試行を行うのは効率が悪かった。

【0006】

本発明は、以上説明した事情を鑑みてなされたものであり、クラスタ数の最適化を効率的に行うことを目的の一つとする。

【課題を解決するための手段】

【0007】

本発明の一実施形態に係るクラスタリング装置は、第１のアルゴリズムによるクラスタリングを実施する第１のクラスタリング実行部と、前記第１のアルゴリズムによるクラスタリングの結果に基づいて、１以上のクラスタ数の候補を決定するクラスタ数候補決定部と、前記クラスタ数の候補を用いて、第２のアルゴリズムによるクラスタリングを実施する第２のクラスタリング実行部と、を備えたものである。

【0008】

本発明の一実施形態に係るクラスタリング方法は、コンピュータが、第１のアルゴリズムによるクラスタリングを実施する工程と、コンピュータが、前記第１のアルゴリズムによるクラスタリングの結果に基づいて、１以上のクラスタ数の候補を決定する工程と、コンピュータが、前記クラスタ数の候補を用いて、第２のアルゴリズムによるクラスタリングを実施する工程と、を有するものである。

【0009】

本発明の一実施形態に係るプログラムは、コンピュータを、第１のアルゴリズムによるクラスタリングを実施する第１のクラスタリング実行部と、前記第１のアルゴリズムによるクラスタリングの結果に基づいて、１以上のクラスタ数の候補を決定するクラスタ数候補決定部と、前記クラスタ数の候補を用いて、第２のアルゴリズムによるクラスタリングを実施する第２のクラスタリング実行部として、機能させるものである。

【発明の効果】

【0010】

本発明によれば、クラスタ数の最適化を効率的に行うことができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態に係るクラスタリング装置１０の概略構成を示すブロック図。

【図2】本発明の実施形態に係るクラスタリング装置１０の機能構成を示すブロック図。

【図3】本発明の実施形態に係るクラスタリング装置１０によるクラスタリング手順のフ ローチャート。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について図面を参照しつつ詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。

【0013】

実施の形態
図１は、本実施形態に係るクラスタリング装置１０の概略構成を示す図である。図１に示すように、クラスタリング装置１０は、制御装置１１（第１のクラスタリング実行部、クラスタ数候補決定部、第２のクラスタリング実行部、クラスタ数調整部、クラスタリング結果提示部、再調整要否受付部）、記憶装置１２、液晶ディスプレイ等の表示装置１３、キーボード、マウス、タッチパネル等の入力装置１４を備えている。制御装置１１は、ハードウェアとして、ＣＰＵやＧＰＵ等のプロセッサ、ＲＯＭやＲＡＭ等のメモリ、入力インタフェース、出力インタフェース、通信インタフェース及びこれらを結ぶバス等を備えている。制御装置１１は、プロセッサがＲＯＭ等に格納されたプログラムを実行することにより、後述する第１のクラスタリング実行処理、クラスタ数候補決定処理、第２のクラスタリング実行処理、クラスタ数調整処理、クラスタリング結果提示処理及び再調整要否受付処理を実現する。

【0014】

図２は、制御装置１１のプロセッサによって実現される機能モジュールを示すブロック図である。図２に示すように、プロセッサによって実現される機能モジュールには、第１のクラスタリング実行部１１１、クラスタ数候補決定部１１２、第２のクラスタリング実行部１１３、クラスタ数調整部１１４、クラスタリング結果提示部１１５、再調整要否受付部１１６が含まれる。

【0015】

第１のクラスタリング実行部１１１は、第１のクラスタリング実行処理を実現するモジュールである。第１のクラスタリング実行部１１１は、第１のアルゴリズムによるクラスタリングを実施する。第１のアルゴリズムは、計算量が比較的軽いクラスタリング手法であり、本実施形態では、一例としてｋ平均法を用いる。本実施形態では、第１のクラスタリング実行部１１１は、複数の初期値（クラスタ数）のそれぞれをパラメータとして複数回のクラスタリングを実行する。

【0016】

クラスタ数候補決定部１１２は、クラスタ数候補決定処理を実現するモジュールである。クラスタ数候補決定部１１２は、第１のクラスタリング実行部１１１において実行された、複数のクラスタ数をパラメータとしたクラスタリングの結果に基づいて、１以上のクラスタ数の候補を決定する。本実施形態では、クラスタリングで得られたクラスタの凝集度に基づいてクラスタ数の候補を決定する。

【0017】

第２のクラスタリング実行部１１３は、第２のクラスタリング実行処理を実現するモジュールである。第２のクラスタリング実行部１１３は、第２のアルゴリズムによるクラスタリングを実施する。第２のアルゴリズムは、第１のアルゴリズムよりも計算量が多いクラスタリング手法であり、本実施形態では、一例としてＤＥＣ（Deep Embedding Clustering）を用いる。本実施形態では、第２のクラスタリング実行部１１３は、クラスタ数候補決定部１１２で決定された１以上のクラスタ数の候補のそれぞれをパラメータとしてクラスタリングを実行する。

【0018】

クラスタ数調整部１１４は、クラスタ数調整処理を実現するモジュールである。クラスタ数調整部１１４は、第２のアルゴリズムによるクラスタリングの結果に基づいてクラスタ数を調整する。クラスタ数調整部１１４は、一定の条件を満たすクラスタが得られるまで、クラスタ数を調整する。本実施形態では、クラスタリングによって生成されたクラスタ数の凝集度が一定値以上になるように、クラスタ数を調整する。

【0019】

クラスタリング結果提示部１１５は、クラスタリング結果提示処理を実現するモジュールである。クラスタリング結果提示部１１５は、クラスタ数調整部１１４によって調整されたクラスタ数を用いて実行された第２のアルゴリズムによるクラスタリングの結果を、表示装置１３に表示する。また、表示したクラスタリングの結果に対するユーザのフィードバックに応じてクラスタ数の再調整を行った場合には、再調整したクラスタ数を用いて実行されたクラスタリングの結果を表示装置１３に表示する。

【0020】

再調整要否受付部１１６は、再調整要否受付処理を実現するモジュールである。再調整要否受付部１１６は、クラスタリング結果提示部１１５によって表示されたクラスタリングの結果に対する、ユーザのフィードバック情報を、入力装置１４を介して受け付ける。具体的には、クラスタ数の再調整の要否等の情報を受け付ける。

【0021】

記憶装置１２は、ハードディスクドライブ等であり、各種プログラムや、解析対象となるデータやクラスタリングの結果等が記憶されている。

【0022】

本実施形態では、クラスタリング装置１０は、まずｋ平均法（第１のアルゴリズム）によるクラスタリングを、クラスタ数を変化させて複数回実行する。さらに、それぞれのクラスタリング結果の評価に基づいて、１つ以上のクラスタ数の候補を決定する。さらに、決定したクラスタ数の候補をハイパーパラメータとしてＤＥＣ（第２のアルゴリズム）によるクラスタリングを実行する。

【0023】

次に、図３のフローチャートを用いて、本実施形態によるクラスタリング装置１０によるクラスタリングの手順について説明する。

【0024】

まず、クラスタリング装置１０は、複数のクラスタ数の初期値を設定する（ステップＳ１０１）。クラスタ数の初期値は、任意の値を設定することができる。

【0025】

次に、クラスタリング装置１０は、設定した複数の初期値のそれぞれをパラメータとして、第１のアルゴリズム（本実施形態ではｋ平均法）によるクラスタリングを複数回実施する（ステップＳ１０２）。例えば、ステップＳ１０１で、クラスタ数の初期値として２から１０までの数が設定されたとき、ステップＳ１０２において、クラスタ数が２個から１０個までのそれぞれについて、第１のアルゴリズムによるクラスタリングを実施する。複数の初期値のそれぞれをクラスタ数とするクラスタリングを、１つずつ順番に実行してもよいし、並行に実行してもよい。

【0026】

次に、クラスタリング装置１０は、ステップＳ１０２で実行したクラスタリング結果の評価を行う（ステップＳ１０３）。具体的には、複数の初期値のそれぞれについて実施したクラスタリングによって得られたクラスタの凝集度を評価する。例えば、上述の例では、クラスタ数を２個としたときに得られたクラスタの凝集度から、クラスタ数を１０個としたときに得られたクラスタの凝集度までを、それぞれ評価する。

【0027】

クラスタ内の凝集度（クラスタ内のデータサンプルの密度）は、例えばシルエット分析によって評価することができる。シルエット分析では、クラスタ内の全てのデータサンプルのシルエット係数（クラスタ内の他のデータサンプルとの平均距離）の平均によって凝集度を表す。また、シルエット分析以外にも、エルボー法などの他の手法を利用して凝集度を評価してもよい。

【0028】

次に、クラスタリング装置１０は、ステップＳ１０３で行った評価の結果に基づいて、１つ以上のクラスタ数の候補を決定する（ステップＳ１０４）。具体的には、例えば、最も高い凝集度が得られたクラスタ数、または一定値以上の凝集度が得られたクラスタ数を候補として決定する。上述の例において、例えば、クラスタ数が５個の場合と６個の場合の凝集度が所定の条件を満たしていたとき、５個と６個とがクラスタ数の候補として決定される。

【0029】

次に、クラスタリング装置１０は、ステップＳ１０４で決定した１つ以上のクラスタ数の候補をパラメータとして、第２のアルゴリズム（本実施形態ではＤＥＣ）によるクラスタリングを実施する（ステップＳ１０５）。例えば、ステップＳ１０４において、５個と６個がクラスタ数の候補として決定された場合には、クラスタ数が５個と６個のそれぞれについて、第２のアルゴリズムによるクラスタリングを実施する。それぞれのクラスタ数をパラメータとしたクラスタリングを、１つずつ順番に実行してもよいし、並行に実行してもよい。

【0030】

次に、クラスタリング装置１０は、ステップＳ１０５で実行したクラスタリングの結果、一定の条件を満たすクラスタが得られたか否かを判断する（ステップＳ１０６）。一定の条件を満たすクラスタとは、例えば、凝集度が一定値以上のクラスタである。クラスタの凝集度は、ステップＳ１０３と同様に、例えばシルエット分析により計算することができる。例えば、上述の例では、クラスタ数を５個としたときに得られたクラスタの凝集度と、クラスタ数を６個としたときに得られたクラスタの凝集度が、それぞれ一定値以上となったか否かを判断する。

【0031】

ステップＳ１０６で一定の条件を満たすクラスタが得られなかったと判断された場合（ＮＯ）、クラスタリング装置１０は、クラスタ数を変更し（ステップＳ１０７）、再度ＤＥＣによるクラスタリングを実施する（ステップＳ１０５）。上述の例では、クラスタ数を５個としたときのクラスタの凝集度と、６個としたときのクラスタの凝集度のいずれも一定値未満であれば、例えば、クラスタ数を７個に変更し、再度ＤＥＣによるクラスタリングを実施する。以後、ステップＳ１０６で一定の条件を満たすクラスタが得られたと判断されるまで、クラスタ数の調整とクラスタリングの実行を繰り返す（ステップＳ１０５～ステップＳ１０７）。なお、ステップＳ１０６で一定の条件を満たすクラスタが得られなかったと判断された場合に、クラスタ数を変更し、ステップＳ１０２に戻って、再度ｋ平均法によるクラスタリングを実施し、クラスタ数を絞り込んでから、ＤＥＣによるクラスタリングを実施するようにしてもよい。

【0032】

ステップＳ１０６で、一定の条件を満たすクラスタが得られたと判断された場合には（ＹＥＳ）、クラスタリング装置１０は、一定の条件を満たすと判断された１以上のクラスタリング結果を表示装置１３に表示する（ステップＳ１０８）。例えば、クラスタ数を７個としたときのクラスタの凝集度が一定値以上となった場合には、クラスタ数７個のクラスタリング結果を表示する。ユーザは、表示装置１３に表示されたクラスタリング結果を確認し、入力装置１４を介して、有用なクラスタが得られたか否かを入力する。

【0033】

クラスタリング装置１０は、ユーザによる入力情報に基づいて有用なクラスタが得られたか否かを判断し（ステップＳ１０９）、有用なクラスタが得られた場合には（ステップＳ１０９：ＹＥＳ）、処理を終了する。

【0034】

一方、有用なクラスタが得られていない場合には（ステップＳ１０９：ＮＯ）、ユーザから入力装置１４を介して、クラスタ数の調整についての指示情報を取得する（ステップＳ１１０）。次に、クラスタリング装置１０は、指示情報に基づいて、クラスタ数を変更し（ステップＳ１１１）、変更後のクラスタ数を用いてＤＥＣによるクラスタリングを実施する（ステップＳ１１２）。具体的には、例えば、クラスタ数の増加を指示する情報が入力された場合には、クラスタ数を増やして（例えば、１つ増やして８個）ＤＥＣによるクラスタリングを実施する。なお、ここでも、複数のクラスタ数を用いて複数のクラスタリングを順番に、または並行に実行してもよい。例えば、上述の例では、クラスタ数を１つ増やした８個と、２つ増やした９個のそれぞれについてクラスタリングを実施してもよい。

【0035】

クラスタリング装置１０は、クラスタリングの結果を表示装置１３に表示し（ステップＳ１０８）、ステップＳ１０９で有用なクラスタが得られたと判断されるまで、ステップＳ１０８～Ｓ１１２を繰り返す。なお、有用なクラスタが得られたと判断されるまで、ＤＥＣによるクラスタリングを実施するだけでなく、再度ｋ平均法によるクラスタリングを実施してクラスタ数の候補を絞り込み、その後、絞り込んだクラスタ数を用いてＤＥＣによるクラスタリングを実施してもよい。例えば、変更後のクラスタ数である８個と９個のそれぞれについてｋ平均法によるクラスタリングを実施し、その結果、クラスタ数が９個に絞り込まれたら、クラスタ数を９個にしてＤＥＣによるクラスタリングを実施するようにしてもよい。

【0036】

以上のように、本実施形態によれば、初めに比較的計算量が軽量なクラスタリング（例えば、ｋ平均法）を行って、クラスタ数を絞り込んでから、計算量がより多いクラスタリング（例えば、ＤＥＣ）を行い、最適なクラスタ数を決めるようにした。これにより、計算量の多いクラスタリングのパラメータを予め適切な値に絞り込んでおくことができるので、クラスタリングの試行に要する時間を削減し、クラスタ数の最適化を効率的に行うことができる。これにより、最適なクラスタ数に到達するまでの時間を大幅に短縮することができる。

【0037】

また、クラスタ数の絞り込みは、クラスタリングの結果得られたクラスタの凝集度に基づいて行うようにした。これにより、アルゴリズムの種類に依存せず、クラスタリング結果の評価を適切に行うことができる。

【0038】

また、計算量がより多いクラスタリングにおいて十分な凝集度が得られたら、クラスタリング結果をユーザに提示し、ユーザのフィードバックに基づいて、クラスタ数の再調整を行うようにした。これにより、最終的には、人間の判断により、データを意味的な観点から適切に分類するのに有効なクラスタ数を見出すことができる。

【0039】

なお、ユーザがクラスタリング結果の評価をする代わりに、クラスタ内のデータの内容（語句の出現回数等）に基づいて、評価を行うプログラムを用いてフィードバックを行うようにしてもよい。

【0040】

なお、本実施形態では、計算量が軽いクラスタリングと重いクラスタリングの組み合わせとして、ｋ平均法とＤＥＣを用いているが、クラスタリング手法の組み合わせはこれに限られない。ただし、クラスタリング手法の組み合わせによっては、軽いクラスタリングによって絞り込んだクラスタ数が、重いクラスタリングのパラメータとしては適切ではない場合もある。具体的には、例えば、クラスタリングを行う際のデータのベクトル化の方法が一致しないものを組み合わせると、クラスタ数の引き継ぎがうまくいかない場合がある。

【0041】

また、本実施形態では、クラスタリング結果の評価基準として、シルエット分析によるクラスタの凝集度を用いているが、他の分析手法によってクラスタの凝集度を計算してもよい。また、凝集度以外の基準によって評価を行ってもよい。

【0042】

なお、本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、上述した各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更し、または並列に実行することができる。

【符号の説明】

【0043】

１０…画像処理装置
１１…制御装置
１２…記憶装置
１３…表示装置
１４…入力装置
１１１…第１のクラスタリング実行部
１１２…クラスタ数候補決定部
１１３…第２のクラスタリング実行部
１１４…クラスタ数調整部
１１５…クラスタリング結果提示部
１１６…再調整要否受付部

【図1】

【図2】

【図3】