知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023175098
(43)【公開日】2023-12-12
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231205BHJP
G06V 40/16 20220101ALI20231205BHJP
【ＦＩ】
G06T7/00 660A
G06T7/00 510F
G06V40/16 A
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2022087373
(22)【出願日】2022-05-30
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】田中 頌二
(72)【発明者】
【氏名】牧田 孝嗣
【テーマコード（参考）】
5B043
5L096
【Ｆターム（参考）】
5B043AA09
5B043BA04
5B043EA05
5B043FA07
5B043GA03
5L096AA06
5L096BA08
5L096DA01
5L096HA09
5L096HA11
5L096JA11
5L096JA18
5L096KA04
5L096MA07
(57)【要約】
【課題】クラスタリングの結果を確認しやすくする。
【解決手段】データ群を各データの特徴量に基づいてクラスタリングするクラスタリング手段と、前記クラスタリング手段で生成されたクラスタの中から、代表クラスタを決定する決定手段と、前記クラスタリング手段で生成された各クラスタと前記代表クラスタとの類似度に基づいて、第一のクラスタを特定する第一の特定手段と、前記クラスタリング手段で生成された各クラスタと前記代表クラスタとの類似度である第一の類似度、及び前記クラスタリング手段で生成された各クラスタと前記第一のクラスタとの類似度である第二の類似度に基づいて、第二のクラスタを特定する第二の特定手段と、前記代表クラスタ、前記第一のクラスタ、及び前記第二のクラスタの各クラスタから、表示用のデータを選択する選択手段と、を有する。
【選択図】図３
【解決手段】データ群を各データの特徴量に基づいてクラスタリングするクラスタリング手段と、前記クラスタリング手段で生成されたクラスタの中から、代表クラスタを決定する決定手段と、前記クラスタリング手段で生成された各クラスタと前記代表クラスタとの類似度に基づいて、第一のクラスタを特定する第一の特定手段と、前記クラスタリング手段で生成された各クラスタと前記代表クラスタとの類似度である第一の類似度、及び前記クラスタリング手段で生成された各クラスタと前記第一のクラスタとの類似度である第二の類似度に基づいて、第二のクラスタを特定する第二の特定手段と、前記代表クラスタ、前記第一のクラスタ、及び前記第二のクラスタの各クラスタから、表示用のデータを選択する選択手段と、を有する。
【選択図】図３
【特許請求の範囲】
【請求項1】
データ群を各データの特徴量に基づいてクラスタリングするクラスタリング手段と、
前記クラスタリング手段で生成されたクラスタの中から、代表クラスタを決定する決定手段と、
前記クラスタリング手段で生成された各クラスタと前記代表クラスタとの類似度に基づいて、第一のクラスタを特定する第一の特定手段と、
前記クラスタリング手段で生成された各クラスタと前記代表クラスタとの類似度である第一の類似度、及び前記クラスタリング手段で生成された各クラスタと前記第一のクラスタとの類似度である第二の類似度に基づいて、第二のクラスタを特定する第二の特定手段と、
前記代表クラスタ、前記第一のクラスタ、及び前記第二のクラスタの各クラスタから、表示用のデータを選択する選択手段と、
を有することを特徴とする情報処理装置。
前記クラスタリング手段で生成されたクラスタの中から、代表クラスタを決定する決定手段と、
前記クラスタリング手段で生成された各クラスタと前記代表クラスタとの類似度に基づいて、第一のクラスタを特定する第一の特定手段と、
前記クラスタリング手段で生成された各クラスタと前記代表クラスタとの類似度である第一の類似度、及び前記クラスタリング手段で生成された各クラスタと前記第一のクラスタとの類似度である第二の類似度に基づいて、第二のクラスタを特定する第二の特定手段と、
前記代表クラスタ、前記第一のクラスタ、及び前記第二のクラスタの各クラスタから、表示用のデータを選択する選択手段と、
を有することを特徴とする情報処理装置。
【請求項2】
前記第二の特定手段は、前記第一の類似度が類似度の最小値と最大値の間の所定領域の値であって、且つ前記第二の類似度が類似度の最小値と最大値の間の所定領域の値であるクラスタを、前記第二のクラスタとして特定することを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記所定領域が、中間領域であることを特徴とする請求項２に記載の情報処理装置。
【請求項4】
前記第一の特定手段は、前記代表クラスタとの類似度が最も低いクラスタを、前記第一のクラスタとして特定することを特徴とする請求項１に記載の情報処理装置。
【請求項5】
前記第一の特定手段は、前記代表クラスタとの類似度が低い所定数又は所定割合のクラスタを除外した中から、前記第一のクラスタを特定することを特徴とする請求項４に記載の情報処理装置。
【請求項6】
前記表示用のデータを、属するクラスタごとに並べて表示するよう制御する表示制御手段をさらに有することを特徴とする請求項１に記載の情報処理装置。
【請求項7】
前記表示制御手段は、前記代表クラスタ、前記第二のクラスタ、前記第一のクラスタの順に前記表示用のデータを表示するよう制御することを特徴とする請求項６に記載の情報処理装置。
【請求項8】
前記表示制御手段は、前記表示用のデータが同種で構成されるか否かを入力させるためのＵＩを表示することを特徴とする請求項６に記載の情報処理装置。
【請求項9】
前記表示制御手段は、前記表示用のデータごとに対象の種類のデータであるか否かを入力させるためのＵＩを表示することを特徴とする請求項６に記載の情報処理装置。
【請求項10】
前記決定手段は、クラスタに含まれるデータの特徴量同士の類似度が高いクラスタを、前記代表クラスタとして決定することを特徴とする請求項１に記載の情報処理装置。
【請求項11】
前記決定手段は、クラスタに含まれるデータの数が多いクラスタを、前記代表クラスタとして決定することを特徴とする請求項１に記載の情報処理装置。
【請求項12】
対象のデータ群を取得する取得手段をさらに有し、
前記取得された各データには、対象らしさの順位を表す順位情報が対応付けられており、
前記決定手段は、若い番号の前記順位情報をもつデータが多く含まれるクラスタを、前記代表クラスタとして決定することを特徴とする請求項１に記載の情報処理装置。
前記取得された各データには、対象らしさの順位を表す順位情報が対応付けられており、
前記決定手段は、若い番号の前記順位情報をもつデータが多く含まれるクラスタを、前記代表クラスタとして決定することを特徴とする請求項１に記載の情報処理装置。
【請求項13】
前記第二のクラスタが特定されなかった場合に、前記クラスタリング手段がデータ群をクラスタリングし直すことを特徴とする請求項１に記載の情報処理装置。
【請求項14】
前記第二のクラスタが特定されなかった場合に、前記第一の特定手段が、前記代表クラスタとの類似度が低い所定数又は所定割合のクラスタを除外した中から、前記第一のクラスタを特定し直すことを特徴とする請求項１に記載の情報処理装置。
【請求項15】
第一の特定手段及び前記第二の特定手段の少なくとも一方が、前記クラスタリング手段によりクラスタリングした結果として得られるクラスタ間の類似度を用いることを特徴とする請求項１に記載の情報処理装置。
【請求項16】
前記クラスタリング手段が処理の対象とするデータ群は、画像群であることを特徴とする請求項１に記載の情報処理装置。
【請求項17】
データ群を各データの特徴量に基づいてクラスタリングするクラスタリング工程と、
前記クラスタリング工程で生成されたクラスタの中から、代表クラスタを決定する決定工程と、
前記クラスタリング工程で生成された各クラスタと前記代表クラスタとの類似度に基づいて、第一のクラスタを特定する第一の特定工程と、
前記クラスタリング工程で生成された各クラスタと前記代表クラスタとの類似度である第一の類似度、及び前記クラスタリング工程で生成された各クラスタと前記第一のクラスタとの類似度である第二の類似度に基づいて、第二のクラスタを特定する第二の特定工程と、
前記代表クラスタ、前記第一のクラスタ、及び前記第二のクラスタの各クラスタから、表示用のデータを選択する選択工程と、
を含むことを特徴とする情報処理方法。
前記クラスタリング工程で生成されたクラスタの中から、代表クラスタを決定する決定工程と、
前記クラスタリング工程で生成された各クラスタと前記代表クラスタとの類似度に基づいて、第一のクラスタを特定する第一の特定工程と、
前記クラスタリング工程で生成された各クラスタと前記代表クラスタとの類似度である第一の類似度、及び前記クラスタリング工程で生成された各クラスタと前記第一のクラスタとの類似度である第二の類似度に基づいて、第二のクラスタを特定する第二の特定工程と、
前記代表クラスタ、前記第一のクラスタ、及び前記第二のクラスタの各クラスタから、表示用のデータを選択する選択工程と、
を含むことを特徴とする情報処理方法。
【請求項18】
コンピュータを、
データ群を各データの特徴量に基づいてクラスタリングするクラスタリング手段と、
前記クラスタリング手段で生成されたクラスタの中から、代表クラスタを決定する決定手段と、
前記クラスタリング手段で生成された各クラスタと前記代表クラスタとの類似度に基づいて、第一のクラスタを特定する第一の特定手段と、
前記クラスタリング手段で生成された各クラスタと前記代表クラスタとの類似度である第一の類似度、及び前記クラスタリング手段で生成された各クラスタと前記第一のクラスタとの類似度である第二の類似度に基づいて、第二のクラスタを特定する第二の特定手段と、
前記代表クラスタ、前記第一のクラスタ、及び前記第二のクラスタの各クラスタから、表示用のデータを選択する選択手段
として機能させるためのプログラム。
データ群を各データの特徴量に基づいてクラスタリングするクラスタリング手段と、
前記クラスタリング手段で生成されたクラスタの中から、代表クラスタを決定する決定手段と、
前記クラスタリング手段で生成された各クラスタと前記代表クラスタとの類似度に基づいて、第一のクラスタを特定する第一の特定手段と、
前記クラスタリング手段で生成された各クラスタと前記代表クラスタとの類似度である第一の類似度、及び前記クラスタリング手段で生成された各クラスタと前記第一のクラスタとの類似度である第二の類似度に基づいて、第二のクラスタを特定する第二の特定手段と、
前記代表クラスタ、前記第一のクラスタ、及び前記第二のクラスタの各クラスタから、表示用のデータを選択する選択手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データ解析の技術に関する。
【背景技術】
【0002】
深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）を用いた顔認証技術では、同一人物の異なる顔画像を学習データとして学習された認証システムが利用されている。当該学習データの作成方法として、顔画像から抽出された特徴量に基づき、クラスタリング等の手法で特定された同一人物の顔画像群に対して自動でアノテーションを行うという方法が知られている。クラスタリング等による自動アノテーションでは、同一人物の顔画像同士が別クラスタに分類されてしまうケースや、別人物の顔画像同士が同一クラスタに分類されてしまうケースがある。特許文献１には、クラスタリング結果の尤度に基づいて表示対象の画像を含むクラスタを選択し、選択されたクラスタとそのクラスタに属する画像を表示して、作業者にクラスタリング結果の修正を行わせる方法が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１０／０４１３７７号
【非特許文献】
【0004】
【非特許文献1】Kaiming He, et. Al., Deep Residual Learning for Image Recognition 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１に記載の方法では、まずクラスタリング尤度の最も高いクラスタを表示対象として選択し、次にクラスタリング尤度の最も低いクラスタから尤度の低い順に表示対象として選択している。クラスタリング尤度の高いクラスタと尤度の低いクラスタとの類似度は低いため、互いに類似度の低いクラスタに属する顔画像が同一画面内に表示されることになる。そのため、表示される顔画像が実際には同一人物でも、一瞥して別人であると判断されやすく、クラスタリング結果を確認して修正を行う際に誤りが生じやすくなるという課題があった。
【0006】
そこで、本発明は、クラスタリングの結果を確認しやすくすることを目的とする。
【課題を解決するための手段】
【0007】
本発明の情報処理装置は、データ群を各データの特徴量に基づいてクラスタリングするクラスタリング手段と、前記クラスタリング手段で生成されたクラスタの中から、代表クラスタを決定する決定手段と、前記クラスタリング手段で生成された各クラスタと前記代表クラスタとの類似度に基づいて、第一のクラスタを特定する第一の特定手段と、前記クラスタリング手段で生成された各クラスタと前記代表クラスタとの類似度である第一の類似度、及び前記クラスタリング手段で生成された各クラスタと前記第一のクラスタとの類似度である第二の類似度に基づいて、第二のクラスタを特定する第二の特定手段と、前記代表クラスタ、前記第一のクラスタ、及び前記第二のクラスタの各クラスタから、表示用のデータを選択する選択手段と、を有することを特徴とする。
【発明の効果】
【0008】
本発明によれば、クラスタリングの結果を確認しやすくすることができる。
【図面の簡単な説明】
【0009】
【図1】実施形態１に係る情報処理装置のハードウェア構成例を示す図である。
【図2】実施形態１に係る情報処理装置の機能構成例を示す図である。
【図3】実施形態１に係る表示制御処理を示すフローチャートである。
【図4】クラスタリングの結果を示す図である。
【図5】クラスタ間の類似度を示す図である。
【図6】表示画面の例を示す図である。
【図7】表示画面の例を示す図である。
【発明を実施するための形態】
【0010】
以下、添付の図面を参照して、本発明の実施形態について説明する。
【0011】
［実施形態１］
図１は、本実施形態に係る情報処装置のハードウェア構成例を示す図である。情報処理装置１００は、システム制御部１１１、ＲＯＭ１１２、ＲＡＭ１１３、ＨＤＤ１１４、表示装置１１５、及び入力装置１１６を有する。これらの各部は、バスを介して相互に接続されている。システム制御部１１１は、情報処理装置１００の全体を統括的に制御する。システム制御部１１１は、ＣＰＵ、ＧＰＵ等により構成され、ＲＯＭ１１２又はＨＤＤ１１４に記憶されたプログラムを読み出して各種の処理を実行する。ＲＡＭ１１３は、システム制御部１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＲＯＭ１１２は、各種のデータや各種のプログラムを記憶する。ＨＤＤ１１４は、クラスタリングを行う際に必要なデータや各種のプログラムを記憶する二次記憶領域である。なお、後述する情報処理装置１００の機能や処理は、システム制御部１１１がＲＯＭ１１２又はＨＤＤ１１４に記憶されているプログラムを実行することにより実現される。
図１は、本実施形態に係る情報処装置のハードウェア構成例を示す図である。情報処理装置１００は、システム制御部１１１、ＲＯＭ１１２、ＲＡＭ１１３、ＨＤＤ１１４、表示装置１１５、及び入力装置１１６を有する。これらの各部は、バスを介して相互に接続されている。システム制御部１１１は、情報処理装置１００の全体を統括的に制御する。システム制御部１１１は、ＣＰＵ、ＧＰＵ等により構成され、ＲＯＭ１１２又はＨＤＤ１１４に記憶されたプログラムを読み出して各種の処理を実行する。ＲＡＭ１１３は、システム制御部１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＲＯＭ１１２は、各種のデータや各種のプログラムを記憶する。ＨＤＤ１１４は、クラスタリングを行う際に必要なデータや各種のプログラムを記憶する二次記憶領域である。なお、後述する情報処理装置１００の機能や処理は、システム制御部１１１がＲＯＭ１１２又はＨＤＤ１１４に記憶されているプログラムを実行することにより実現される。
【0012】
表示装置１１５は、ディスプレイ等により構成され、各種の情報を表示する。入力装置１１６は、キーボードやマウス等により構成され、ユーザによる各種の操作を受け付ける。なお、表示装置１１５と入力装置１１６は、タッチパネルディスプレイのように一体的に設けられてもよい。また、表示装置１１５は、プロジェクタによる投影を行うものであってもよく、入力装置１１６は、投影された画像に対する指先の位置を、カメラで認識するものであってもよい。
なお、図１に示すように、情報処理装置１００の筐体の中に、ＨＤＤ１１４、表示装置１１５、及び入力装置１１６が配置されている構成に限られない。表示装置１１５及び入力装置１１６は、通信Ｉ／Ｆ（不図示）を介して接続される外部装置によって実現されてもよい。この外部装置は、ユーザのスマートフォン等のモバイル端末であってもよい。また、情報処理装置１００自体が、モバイル端末であってもよい。例えば、表示装置１１５及び入力装置１１６は、スマートフォンのタッチパネルディスプレイで構成されてもよい。同様に、ＨＤＤ１１４は、通信Ｉ／Ｆを介して接続される外部の記憶装置によって実現されてもよい。
なお、図１に示すように、情報処理装置１００の筐体の中に、ＨＤＤ１１４、表示装置１１５、及び入力装置１１６が配置されている構成に限られない。表示装置１１５及び入力装置１１６は、通信Ｉ／Ｆ（不図示）を介して接続される外部装置によって実現されてもよい。この外部装置は、ユーザのスマートフォン等のモバイル端末であってもよい。また、情報処理装置１００自体が、モバイル端末であってもよい。例えば、表示装置１１５及び入力装置１１６は、スマートフォンのタッチパネルディスプレイで構成されてもよい。同様に、ＨＤＤ１１４は、通信Ｉ／Ｆを介して接続される外部の記憶装置によって実現されてもよい。
【0013】
図２は、本実施形態に係る情報処理装置の機能構成例を示す図である。情報処理装置１００は、取得部２０１、抽出部２０２、クラスタリング部２０３、決定部２０４、第一の特定部２０５、第二の特定部２０６、選択部２０７、及び表示制御部２０８の機能を有する。
取得部２０１は、処理対象となるデータ群を取得する。本実施形態において、処理対象となるデータは、顔画像である。取得部２０１は、処理対象となる顔画像群として、例えば、監視カメラで録画された画像から特定の人物を検索するシステムや、特定の人物名を検索クエリとしたＷＥＢ検索により、同一人物と推定される顔画像群を収集する。なお処理対象のデータは、顔画像に限定されるものではない。同種と推定されるデータ群としては、特定の文字について収集された印刷データや手書きの画像データや、特定の物体（特定の車種の自動車）について収集された画像データ等がある。以下、取得部２０１で取得された同一人物と推定される顔画像群が、人物「Ａ」の顔画像を収集したいという前提に従って収集された画像群であるとする。
取得部２０１は、処理対象となるデータ群を取得する。本実施形態において、処理対象となるデータは、顔画像である。取得部２０１は、処理対象となる顔画像群として、例えば、監視カメラで録画された画像から特定の人物を検索するシステムや、特定の人物名を検索クエリとしたＷＥＢ検索により、同一人物と推定される顔画像群を収集する。なお処理対象のデータは、顔画像に限定されるものではない。同種と推定されるデータ群としては、特定の文字について収集された印刷データや手書きの画像データや、特定の物体（特定の車種の自動車）について収集された画像データ等がある。以下、取得部２０１で取得された同一人物と推定される顔画像群が、人物「Ａ」の顔画像を収集したいという前提に従って収集された画像群であるとする。
【0014】
抽出部２０２は、取得部２０１で取得された処理対象となるデータ群から特徴量を抽出する。特徴量抽出方法の詳細については後述する。
クラスタリング部２０３は、抽出部２０２で抽出された特徴量に基づいて、複数のデータ（ここでは、顔画像群）のクラスタリングを行う。クラスタリング方法の詳細については後述する。
決定部２０４は、クラスタリング部２０３によるクラスタリングにより生成されたクラスタの中から、コアクラスタ、つまり取得部２０１で取得された画像群を代表する画像群で構成されるクラスタを決定する。ここでのコアクラスタは、最も人物「Ａ」らしい顔画像群で構成されるクラスタである。コアクラスタは、代表クラスタの一例である。コアクラスタの決定方法の詳細については後述する。
クラスタリング部２０３は、抽出部２０２で抽出された特徴量に基づいて、複数のデータ（ここでは、顔画像群）のクラスタリングを行う。クラスタリング方法の詳細については後述する。
決定部２０４は、クラスタリング部２０３によるクラスタリングにより生成されたクラスタの中から、コアクラスタ、つまり取得部２０１で取得された画像群を代表する画像群で構成されるクラスタを決定する。ここでのコアクラスタは、最も人物「Ａ」らしい顔画像群で構成されるクラスタである。コアクラスタは、代表クラスタの一例である。コアクラスタの決定方法の詳細については後述する。
【0015】
第一の特定部２０５は、クラスタリング部２０３によるクラスタリングにより生成された各クラスタと決定部２０４で決定されたコアクラスタとの類似度に基づいて、第一のクラスタを特定する。本実施形態では、クラスタリング部２０３によるクラスタリングにより生成されたクラスタの中から、コアクラスタを構成する画像群との類似度が最も低い画像群で構成されるクラスタを、第一のクラスタとして特定する。つまり第一の特定部２０５は、最も人物「Ａ」らしくない顔画像群で構成されるクラスタを特定する。第一のクラスタの特定方法の詳細については後述する。
【0016】
第二の特定部２０６は、クラスタリング部２０３によるクラスタリングにより生成されたクラスタの中から、コアクラスとの類似度との類似度（第一の類似度）、及び第一のクラスタとの類似度（第二の類似度）に基づいて、第二のクラスタを特定する。本実施形態では、クラスタリング部２０３により生成されたクラスタの中から、コアクラスタを構成する画像群からの類似度が中間領域で、第一のクラスタを構成する画像群からの類似度が中間領域の画像群で構成されるクラスタを、第二のクラスタとして特定する。つまり第二の特定部２０６は、取得部２０１で取得された顔画像群の中で、「Ａ」らしさが中間の値である顔画像群で構成されるクラスタを特定する。第二のクラスタの特定方法の詳細については後述する。
【0017】
選択部２０７は、決定部２０４で決定されたコアクラスタ、第一の特定部２０５で特定された第一のクラスタ、及び第二の特定部２０６で特定された第二のクラスタの各クラスタから、表示対象となる顔画像を選択する。選択方法の詳細については後述する。ここで選択された顔画像は、表示用のデータの一例である。
表示制御部２０８は、選択部２０７で選択された顔画像を表示装置１１５に表示するよう制御する。表示制御方法の詳細については後述する。
表示制御部２０８は、選択部２０７で選択された顔画像を表示装置１１５に表示するよう制御する。表示制御方法の詳細については後述する。
【0018】
図３は、本情報処理装置の処理手順を示したフローチャートである。
続いて、本実施形態に係る情報処理装置による処理の全体工程について説明する。図３は、本実施形態に係る情報処理装置による処理の全体工程を示すフローチャートである。以下のフローチャートの説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。
続いて、本実施形態に係る情報処理装置による処理の全体工程について説明する。図３は、本実施形態に係る情報処理装置による処理の全体工程を示すフローチャートである。以下のフローチャートの説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。
【0019】
まずＳ３０１において、取得部２０１が、処理対象の画像群を取得する。本ステップでは、各画像についての関連情報も併せて取得してもよい。関連情報は、例えば取得の対象らしさを表す順位情報である。具体的には、人物「Ａ」の顔画像を取得の対象とした場合、順位情報は、最も人物「Ａ」らしい顔画像から順に１、２、・・・と振られた番号である。順位情報は、画像群の取得元から出力される。例えば人物を検索するシステムから特定の人物の顔画像群を取得する場合、当該特定の人物の顔画像との類似度合が順位情報となる。類似度合は、検索クエリである特定の人物の顔画像に対するマッチングの際に得られる尤度等である。また、類似度合が高いものから順に顔画像が出力されるのであれば、出力される順序が順位情報となる。例えば、ＷＥＢ検索により顔画像群を収集する場合、検索結果としての顔画像の出力順序が尤度を反映しているならば、出力順序が順位情報となる。また順位情報は、必ずしも一意である必要はなく、同じ値を持つ画像が重複しても構わない。
【0020】
Ｓ３０２において、抽出部２０２が、まず特徴抽出において良好な特徴が得られるように、Ｓ３０１で取得された各画像に対して前処理を行う。処理対象が顔画像の場合、前処理とは例えば、顔画像の正規化である。具体的には、処理対象の顔画像に対して、顔検出処理を行って目、鼻、口等の顔器官点の位置を推定し、推定された器官点の位置に基づいて顔が画像の中心に位置するような幾何学変換を施して、顔を画像中心に移動させる処理である。その他の前処理としては、画像に重畳するノイズ除去、トリミング等がある。
【0021】
次にＳ３０３において、抽出部２０２が、Ｓ３０１で取得された各画像から特徴量を抽出する。特徴量抽出には、非特許文献１に記載のように、ディープニューラルネットワークのＲｅｓＮｅｔを用いて学習した特徴抽出モデルを用いて行う方法がある。当該特徴抽出モデルは、予め大量の画像を学習用データとして用いて、同一人物と推定される画像ほど似たような特徴量が出力されるよう学習されている。本ステップでは、特徴量として、例えば数百次元の０～１の範囲に正規化された値を持つデータが得られる。
【0022】
次にＳ３０４において、クラスタリング部２０３が、Ｓ３０３で抽出された特徴量を用いてＳ３０１で取得された画像群のクラスタリングを行う。本実施形態では、階層的クラスタリングを用いる。クラスタリングの距離関数（ユークリッド距離、コサイン類似度等）及びクラスタ間の距離測定方法（群平均法、ウォード法等）は、限定しない。本実施形態では、距離関数として顔画像の特徴量の距離関数としてコサイン類似度（以降、類似度）を用いた場合について説明する。
【0023】
図４は、クラスタリング部２０３によるクラスタリングの結果の例を示す。図４では、クラスタリングの結果として、クラスタ１～４の４つのクラスタが生成された場合を示す。図４では、Ｓ３０３で抽出された特徴量の一部である特徴量Ｘ及び特徴量Ｙを各軸とする２次元の特徴量空間上に、各画像から抽出された特徴量（要素）を、〇印、ダイヤ印、△印、×印で表している。〇印は、クラスタ１に含まれる要素を表し、ダイヤ印はクラスタ２に含まれる要素を表し、△印は、クラスタ３に含まれる要素を表し、×印はクラスタ４に含まれる要素を表す。なお、２次元の特徴量空間上に特徴量を表す方法として、公知の次元削減手段を用いてもよい。
【0024】
一般的に、階層的クラスタリングの過程では、クラスタ間の類似度が算出され、当該類似度と異なるクラスタ同士を同一のクラスタとみなすか否かを判断するための閾値との比較によって、生成されるクラスタ数が変化する。クラスタリングで用いる距離関数が前述の通り類似度の場合、閾値が高いとクラスタ同士が異なるクラスタとみなされ易くなり、生成されるクラスタ数は増加する。一方で閾値が低いとより多くのクラスタが同一クラスタとみなされ易くなり、生成されるクラスタ数は減少する。本実施形態では、コアクラスタ、第一のクラスタ、及び第二のクラスタの最低３クラスタを特定しなければならないため、少なくとも３クラスタが生成されるような閾値が予め設定されている。図４では、閾値を０．７とした際のクラスタリングの結果を示す。すなわち、各クラスタ１～４間の類似度は０．７より小さい値である。クラスタリング部２０３は、クラスタリングの結果として得られたクラスタ間の類似度を、ＲＯＭ１１２に記憶する。図５は、図４のクラスタ間の類似度を示す図である。図５からも、各クラスタ１～４間の類似度が０．７より小さい値であることがわかる。なお、図４の各要素を指す矢印の数字は、取得部２０１で取得された順位情報を示す。なお、簡単のため、順位１～９以外の要素はすべて順位を１０として、これらに関しては順位情報を省略している。
【0025】
Ｓ３０５において、決定部２０４が、コアクラスタを決定する。コアクラスタは、Ｓ３０４の結果生成された複数のクラスタの中で、Ｓ３０１で取得された処理対象の画像群を最も代表するクラスタである。具体的には、最も本人らしい顔画像の集合（ここでは、明らかに人物Ａを表す顔画像の集合）からなるクラスタである。以下に、決定部２０４がコアクラスタを決定する際に用いる条件を示す。
・条件１：クラスタに含まれる要素同士（特徴量同士）の類似度が高い
・条件２：クラスタに含まれる要素数が多い
・条件３：若い番号の順位情報をもつ要素が多く含まれる
・条件１：クラスタに含まれる要素同士（特徴量同士）の類似度が高い
・条件２：クラスタに含まれる要素数が多い
・条件３：若い番号の順位情報をもつ要素が多く含まれる
【0026】
本実施形態において、決定部２０４は、上記条件１～３に沿って各クラスタのコアクラスタ確信度を算出する。コアクラスタ確信度は、例えば０～１の範囲の値をとり、値が大きいほど、明らかに人物Ａであることを示す。具体的には、下記の式１～４を用いて、各クラスタのコアクラスタ確信度ＣＣを算出する。
【0027】
【数1】
【数2】
【数3】
【数4】
ｉ，ｊ：要素を表す要素番号
α1，β1，γ1：α1＋β1＋γ1＝１を満たす定数
Ｓele：当該クラスタに含まれる要素番号の集合
Ｓall：全要素番号の集合
ｓｉｍij：要素ｉと要素ｊの類似度
ｎ（Ｓ）：集合Ｓの要素数
ｎ（Ｓele）：当該クラスタに含まれる要素の数
ｎ（Ｓall）：全要素の数
nＰk：ｎ個からｋ個を選んで得られる順列の総数
ｒi：要素ｉの順位番号
【0028】
上記の式１を用いることで、条件１に合致するほど値が高くなるようなコアクラスタ確信度ＣＣ1が算出される。また、上記の式２を用いることで、条件２に合致するほど値が高くなるようなコアクラスタ確信度ＣＣ2が算出される。また、上記の式３を用いることで、条件３に合致するほど値が高くなるようなコアクラスタ確信度ＣＣ3が算出される。以上のように算出されたコアクラスタ確信度ＣＣ1～ＣＣ3の値を、上記の式４に代入することで、総合的なコアクラスタ確信度ＣＣが算出される。上記のように、条件１～３に基づくＣＣ1～ＣＣ3の値を用いたが、他の条件に基づいて算出されたコアクラスタ確信度の評価値を更に用いても構わない。また、ＣＣ1～ＣＣ3のうちの何れかの値を選択的に用いても構わない。上記の式１～３は例であって、条件１～３に基づくコアクラスタ確信度の評価値を表すものであれば具体的な式は問わない。
【0029】
続いて、図４に示すクラスタ１～４の中から、コアクラスタを決定する具体的な手順を以下に説明する。
まず、決定部２０４が、各クラスタに関して、上記の式１～４を用いてコアクラスタ確信度ＣＣを算出する。ここで、各要素同士の類似度の平均値に関して、クラスタ１は０．９、クラスタ２は０．９、クラスタ３は０．８、クラスタ４は０．８であるとする。また、α１＝０．３、β１＝０．１、γ１＝０．６であるとする。図４に示すとおり、クラスタ１に含まれる要素数は９であり、クラスタ２に含まれる要素数は７であり、クラスタ３に含まれる要素数は５であり、クラスタ４に含まれる要素数は３である。全要素数は、２４である。
まず、決定部２０４が、各クラスタに関して、上記の式１～４を用いてコアクラスタ確信度ＣＣを算出する。ここで、各要素同士の類似度の平均値に関して、クラスタ１は０．９、クラスタ２は０．９、クラスタ３は０．８、クラスタ４は０．８であるとする。また、α１＝０．３、β１＝０．１、γ１＝０．６であるとする。図４に示すとおり、クラスタ１に含まれる要素数は９であり、クラスタ２に含まれる要素数は７であり、クラスタ３に含まれる要素数は５であり、クラスタ４に含まれる要素数は３である。全要素数は、２４である。
【0030】
以下、クラスタ１に関するコアクラスタ確信度ＣＣの算出例について説明する。
コアクラスタ確信度ＣＣ1は、各要素同士の類似度の和を全組み合わせで割った値であるので、クラスタ内の各要素同士の類似度の平均値に等しい。クラスタ１ではＣＣ1＝０．９である。また、コアクラスタ確信度ＣＣ2は、全体の要素数に対するクラスタ内の要素数である。つまりクラスタ内の要素数が多ければ多いほどコアクラスタ確信度ＣＣ2が大きくなる。クラスタ１ではＣＣ2＝９／（９＋７＋５＋３）＝０．３７５である。また、コアクラスタ確信度ＣＣ3は、順位情報に基づいて算出される確信度である。順位の値が小さい要素を含むほど、コアクラスタ確信度ＣＣ3は大きくなる。クラスタ１では、（１／１＋１／２＋１／３＋１／５＋１／８＋１／１０×４）／（１／１＋１／２＋１／３＋１／４＋１／５＋１／６＋１／７＋１／８＋１／９＋１／１０×（２４－９））＝０．５９である。最後に、コアクラスタ確信度ＣＣは、上記のように算出されたＣＣ1～ＣＣ3を用いて、ＣＣ＝０．３×０．９＋０．１×０．３７５＋０．６×０．５９＝０．６６２である。
コアクラスタ確信度ＣＣ1は、各要素同士の類似度の和を全組み合わせで割った値であるので、クラスタ内の各要素同士の類似度の平均値に等しい。クラスタ１ではＣＣ1＝０．９である。また、コアクラスタ確信度ＣＣ2は、全体の要素数に対するクラスタ内の要素数である。つまりクラスタ内の要素数が多ければ多いほどコアクラスタ確信度ＣＣ2が大きくなる。クラスタ１ではＣＣ2＝９／（９＋７＋５＋３）＝０．３７５である。また、コアクラスタ確信度ＣＣ3は、順位情報に基づいて算出される確信度である。順位の値が小さい要素を含むほど、コアクラスタ確信度ＣＣ3は大きくなる。クラスタ１では、（１／１＋１／２＋１／３＋１／５＋１／８＋１／１０×４）／（１／１＋１／２＋１／３＋１／４＋１／５＋１／６＋１／７＋１／８＋１／９＋１／１０×（２４－９））＝０．５９である。最後に、コアクラスタ確信度ＣＣは、上記のように算出されたＣＣ1～ＣＣ3を用いて、ＣＣ＝０．３×０．９＋０．１×０．３７５＋０．６×０．５９＝０．６６２である。
【0031】
クラスタ２～４のコアクラスタ確信度ＣＣについても同様に算出される。算出の結果、クラスタ２ではＣＣ＝０．４１９が得られ、クラスタ３ではＣＣ＝０．３３９が得られ、クラスタ４ではＣＣ＝０．３０が得られたとすると、コアクラスタ確信度が最も高いのはクラスタ１となる。以上から、コアクラスタとしてクラスタ１が決定される。
【0032】
続いて、Ｓ３０６において、第一の特定部２０５が、Ｓ３０５で決定されたコアクラスタに対する類似度が最も低いクラスタを、第一のクラスタとして特定する。以下、第一のクラスタをクラスタＸと呼ぶことがある。なお、クラスタ間の類似度は、Ｓ３０４におけるクラスタリングで算出済みである。第一の特定部２０５は、ＲＯＭ１１２に記憶されているクラスタ間の類似度を参照し、コアクラスタと最も類似度が低いクラスタを特定する。図５の例では、コアクラスタであるクラスタ１との類似度が最も低いのはクラスタ４であるから、クラスタＸはクラスタ４であると特定される。クラスタＸは、コアクラスタに最も類似しない画像群から構成されるクラスタである。ここでは、最も人物「Ａ」らしくない顔画像群から構成されるクラスタが特定されることになる。
【0033】
次に、Ｓ３０７において、第二の特定部２０６は、Ｓ３０５で特定されたコアクラスタからの類似度が中間領域であって、Ｓ３０６で特定されたクラスタＸからの類似度が中間領域であるクラスタを、第二のクラスタとして特定する。以下、第二のクラスタをクラスタＹと呼ぶことがある。中間領域とは、類似度が最小値０と最大値１．０の範囲で定義されている場合において、０～１．０の所定領域であり、例えば０．４５～０．５５のような領域である。すなわち、コアクラスタ及びクラスタＸに対する類似度が中間の画像群で構成されるクラスタを特定するということである。図５の場合では、クラスタ２はクラスタ１に対して類似度が０．５で、クラスタ４に対しても類似度が０．５であるから、コアクラスタに対してもクラスタＸに対しても類似度が中間のクラスタとして、クラスタ２が特定される。クラスタＹは、最も「Ａ」らしい顔画像群から構成されるクラスタ（コアクラスタ）と、最も人物「Ａ」らしくない顔画像群から構成されるクラスタ（クラスタＸ）に対して、類似度が中間である。ここでは、人物「Ａ」らしさが中間である顔画像群からなるクラスタが特定されることになる。なお、クラスタＹに該当するクラスタは一つ以上でも構わない。また類似度が０．４５～０．５５となるクラスタが存在しなかった場合に、０．４５～０．５５に最も近いクラスタをクラスタＹとして特定しても構わない。
【0034】
Ｓ３０８において、クラスタリング部２０３は、Ｓ３０７でクラスタＹが特定されたか否かを判定する。クラスタリング部２０３によってクラスタＹが特定されたと判定された場合（Ｓ３０８でＹＥＳ）、Ｓ３１１へ進む。クラスタリング部２０３によりクラスタＹが特定されなかったと判定した場合（Ｓ３０８でＮＯ）、Ｓ３０９へ進む。Ｓ３０９において、クラスタリング部２０３は、クラスタリング回数を表すクラスタリングカウンタｉをインクリメントして、Ｓ３０４に戻り再クラスタリングを行う。再クラスタリングでは、クラスタＹとなりうる候補のクラスタを生成するため、クラスタ数が増加するようにクラスタリング時の閾値を前回よりも大きくする。その後情報処理装置１００がＳ３０５～Ｓ３０７の処理を再度行って、クラスタＹに該当するクラスタを特定する。但し、再クラスタリングを繰り返し行ってもクラスタＹに該当するクラスタが存在しない可能性があるため、クラスタリングの回数は所定の回数（例えば３回）を上限に行う。ここでは、再クラスタリングを行うステップに入るたび、クラスタリングカウンタｉをインクリメントすることで（Ｓ３０９）、Ｓ３１０において、クラスタリング部２０３は、クラスタリングカウンタｉが所定の回数を超えたか否かを判定する。クラスタリングカウンタｉが所定の回数を超えるまで再クラスタリングを繰り返し、クラスタリング部２０３によってクラスタリングカウンタｉが所定の回数を超えたと判定された場合（Ｓ３１０でＹＥＳ）、処理はＳ３１１に移行する。
【0035】
Ｓ３１１において、選択部２０７が、各クラスタから表示用の画像を選択する。各クラスタとはこれまでの処理によって特定された、コアクラスタ、クラスタＸ、クラスタＹである。選択部２０７は、特定のクラスタから多くの画像が表示されないように、各クラスタに属する画像群から同数ずつ画像を選択する。例えば、選択部２０７が、コアクラスタであるクラスタ１から３つ、クラスタＸであるクラスタ４から３つ、クラスタＹであるク
ラスタ２から３つ顔画像を表示用の画像として選択する。また、選択部２０７は、各クラスタを代表する画像が表示されるように、クラスタ中心に近い方の要素に対応する画像を選択する。
ラスタ２から３つ顔画像を表示用の画像として選択する。また、選択部２０７は、各クラスタを代表する画像が表示されるように、クラスタ中心に近い方の要素に対応する画像を選択する。
【0036】
最後に、Ｓ３１２において、表示制御部２０８は、Ｓ３１１で選択した表示用の画像を表示装置１１５に表示するよう制御する。その後、本フローチャートの処理は終了する。
図６は、表示用の画像として選択された顔画像が表示された表示画面例を示す。図６の表示画面７００は、表示装置１１５に表示される。図６の表示画面７００には、表示用の画像として選択された顔画像が配置されたウインドウ７０１と、Ｓ３０１で収集の対象とした人物名７０６と、ウインドウ７０１に表示された顔画像が同一人物であるかの判断を入力するための各種のＵＩが表示される。ウインドウ７０１に表示される顔画像は、Ｓ３０２での画像の前処理にて正規化された顔画像である。ユーザはウインドウ７０１内の顔画像を目視し、これらの顔画像がすべて同一人物であるかを判断する。表示画面７００には、ユーザによる判断を入力するためのチェックボックス７０２、７０３と次へボタン７０４が表示されている。ユーザは表示される顔画像がすべて同一人物であると判断した場合、チェックボックス７０２にチェックを入れ、別人物が含まれていると判断した場合、チェックボックス７０３にチェックを入れる。チェックボックス７０２、７０３は、表示されるデータが同種で構成されるか否かをユーザに選択させるためのＵＩの一例である。次へボタン７０４が押下されると、次の人物の顔画像の判断へ移行する処理が開始する。なお、上記のＵＩは一例であり、他の手段でユーザの操作入力を行っても構わない。例えば、ユーザの作業効率を考慮し、キーボード操作のみですべての顔画像が同一人物であるかの判断を入力できるようにしてもよい。
図６は、表示用の画像として選択された顔画像が表示された表示画面例を示す。図６の表示画面７００は、表示装置１１５に表示される。図６の表示画面７００には、表示用の画像として選択された顔画像が配置されたウインドウ７０１と、Ｓ３０１で収集の対象とした人物名７０６と、ウインドウ７０１に表示された顔画像が同一人物であるかの判断を入力するための各種のＵＩが表示される。ウインドウ７０１に表示される顔画像は、Ｓ３０２での画像の前処理にて正規化された顔画像である。ユーザはウインドウ７０１内の顔画像を目視し、これらの顔画像がすべて同一人物であるかを判断する。表示画面７００には、ユーザによる判断を入力するためのチェックボックス７０２、７０３と次へボタン７０４が表示されている。ユーザは表示される顔画像がすべて同一人物であると判断した場合、チェックボックス７０２にチェックを入れ、別人物が含まれていると判断した場合、チェックボックス７０３にチェックを入れる。チェックボックス７０２、７０３は、表示されるデータが同種で構成されるか否かをユーザに選択させるためのＵＩの一例である。次へボタン７０４が押下されると、次の人物の顔画像の判断へ移行する処理が開始する。なお、上記のＵＩは一例であり、他の手段でユーザの操作入力を行っても構わない。例えば、ユーザの作業効率を考慮し、キーボード操作のみですべての顔画像が同一人物であるかの判断を入力できるようにしてもよい。
【0037】
図６に示すように、ウインドウ７０１には、表示用の画像として選択された顔画像が、当該顔画像が属していたクラスタごとにまとまった状態で表示される。更に、属していたクラスタがコアクラスタ、クラスタＹ、クラスタＸの順に並ぶように表示される。図６では、ウインドウ７０１の上段にはコアクラスタから選択された３つの顔画像が表示され、ウインドウ７０１の中段にはクラスタＹから選択された３つの顔画像が表示され、ウインドウ７０１の下段にはクラスタＸから選択された３つの顔画像が表示されている。これによりユーザには、最も特定の人物らしい画像群、特定の人物らしさが中間の画像群、最も特定の人物らしくない画像群の順に顔画像が提示されることになる。本実施形態では、全クラスタ内で特定の人物らしさが中間にあるクラスタを構成する顔画像、つまり中間顔が表示される。そのため、最も特定の人物らしい画像群と最も特定の人物らしくない画像群との対比によって、これらの画像群が表す人物を別人物と誤って判断してしまうことを抑制することができる。なお、図６に示す顔画像の表示様態は、一例であり、例えば、属していたクラスタごとに画像を枠で囲って表示するようにしてもよい。これにより、ユーザがどの画像が似ている顔画像であるかを判断しやすくなる。
【0038】
また、表示画面７００には、上下ボタン７０５が表示されている。ユーザが上下ボタン７０５の上ボタン（△）又は下ボタン（▽）を押下すると、表示制御部２０８が、ウインドウ７０１に表示される画像枚数を増減させる。具体的には、ユーザが上（△）ボタンを押下すると、選択部２０７が、各クラスタから表示用として選択する画像枚数を増加させて、表示制御部２０８が、追加で選択された画像をウインドウ７０１に新たに表示させる。例えば、各クラスタから３つずつ表示用の画像が選択されていた場合に、ユーザにより上（△）ボタンが押下されると、各クラスタから選択される表示用の画像が４つに変更される。本実施形態では、クラスタＸとしてクラスタ４が特定されているが、クラスタ４に含まれる要素数は３なので、クラスタＸから表示用として選択する画像枚数は３つのままとする。結果的に、ウインドウ７０１に表示される画像枚数は９枚から１１枚に変化することとなる。
【0039】
以上のような本実施形態によれば、クラスタリングの結果に基づいて生成された各クラスタに属する画像群を表示する際に、最も対象の人物らしい画像群と、最も対象の人物らしくない画像群と共に、それらの画像群との類似度が中間にあたる画像群を表示する。最も対象の人物らしい画像群と、最も対象の人物らしくない画像群との比較において、類似度が中間である画像群が表示されることにより、それらが同一人物であるか否かの判断がしやすくなる。つまり、クラスタリングの結果の確認作業の効率化が図れる。
【0040】
本実施形態の変形例として、図３のフローチャートにおいて、Ｓ３０８でクラスタＹが特定されなかった場合（Ｓ３０８でＮＯ）、クラスタリング部が再クラスタリングを行うことに代えて、第一の特定部２０５がクラスタＸを特定し直してもよい。クラスタＸとして明らかにノイズのようなクラスタが特定されていた場合、類似度が中間となるクラスタＹが特定されにくくなるおそれがあるからである。クラスタＸを特定し直す場合には、第一の特定部２０５は、コアクラスタとの類似度が低い所定数又は所定割合のクラスタを除外した中で最も類似度が低いクラスタを、クラスタＸとして特定し直す。なお、類似度が所定の閾値以下のクラスタを除外してもよい。これにより、コアクラスタとクラスタＸの特徴量空間上の距離が近づき、クラスタＹに該当するクラスタが特定されやすくなる。
【0041】
［実施形態２］
実施形態１では、表示される顔画像について、表示される顔画像の全体が対象の人物であるか否かを判断させる際の表示方法について説明したが、実施形態２では、クラスタごと、もしくは画像ごとに対象の人物かを判断させる際の表示方法について説明する。以下、実施形態１と共通する箇所は説明を省略し、実施形態１との差分を中心に説明する。
実施形態１では、表示される顔画像について、表示される顔画像の全体が対象の人物であるか否かを判断させる際の表示方法について説明したが、実施形態２では、クラスタごと、もしくは画像ごとに対象の人物かを判断させる際の表示方法について説明する。以下、実施形態１と共通する箇所は説明を省略し、実施形態１との差分を中心に説明する。
【0042】
図７は、画像ごとに人物「Ａ」であるか否かをユーザに判断させるための表示画面例を示す。図７の表示画面８００は、例えばスマートフォンに代表されるモバイル端末等で撮影した画像のうち人物「Ａ」と推定される画像について、図３のフローチャートにおける処理を実行した結果として表示される。図７の表示画面８００は、表示装置１１５に表示される。表示画面８００には、図６のウインドウ７０１と同様に、上から順にコアクラスタ、クラスタＹ、クラスタＸから選択された顔画像が並べて表示されている。また、表示される各顔画像に対応付けて、チェックボックス８０１が表示されている。ユーザには人物「Ａ」と思われる画像を選択させる。なお、チェックボックスがクラスタごとに表示され、人物「Ａ」の画像からなるクラスタを選択させるよう設けられてもよい。チェックボックス８０１は、表示されるデータごとに対象の種類のデータであるか否かをユーザに選択させるためのＵＩの一例である。選択された画像は人物「Ａ」の画像として登録され、選択されなかった画像は人物「Ａ」以外の画像として登録される。本実施形態では、選択後の登録方法について詳細は言及しないが、情報処理装置１００は、選択された画像とその画像が属するクラスタ内の分布に基づいて、選択されなかったその他の画像についても人物「Ａ」の画像として登録してもよい。完了ボタン８０２が押下されると、表示画面８００が閉じられる。
【0043】
以上のように、本実施形態によれば、表示される顔画像について、クラスタごと、もしくは画像ごとに、対象の人物であるか否かをユーザに判断させることができる。この場合にも、実施形態１と同様に、最も対象の人物らしい画像群と、最も対象の人物らしくない画像群と共に、それらの画像群との類似度が中間にあたる画像群が表示されるため、対象の人物であるかの確認作業の効率化が図れる。
【0044】
［その他の実施形態］
尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図示したフローチャートに対応したコンピュータ読み取り可能なプログラムである。また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等との協働で実施形態の機能が実現されてもよい。この場合、ＯＳ等が、実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される。
尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図示したフローチャートに対応したコンピュータ読み取り可能なプログラムである。また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等との協働で実施形態の機能が実現されてもよい。この場合、ＯＳ等が、実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される。
【0045】
上述の各実施形態の開示は、以下の構成及び方法を含む。
（構成１）
データ群を各データの特徴量に基づいてクラスタリングするクラスタリング手段と、
前記クラスタリング手段で生成されたクラスタの中から、代表クラスタを決定する決定手段と、
前記クラスタリング手段で生成された各クラスタと前記代表クラスタとの類似度に基づいて、第一のクラスタを特定する第一の特定手段と、
前記クラスタリング手段で生成された各クラスタと前記代表クラスタとの類似度である第一の類似度、及び前記クラスタリング手段で生成された各クラスタと前記第一のクラスタとの類似度である第二の類似度に基づいて、第二のクラスタを特定する第二の特定手段と、
前記代表クラスタ、前記第一のクラスタ、及び前記第二のクラスタの各クラスタから、表示用のデータを選択する選択手段と、
を有することを特徴とする情報処理装置。
（構成２）
前記第二の特定手段は、前記第一の類似度が類似度の最小値と最大値の間の所定領域の値であって、且つ前記第二の類似度が類似度の最小値と最大値の間の所定領域の値であるクラスタを、前記第二のクラスタとして特定することを特徴とする構成１に記載の情報処理装置。
（構成３）
前記所定領域が、中間領域であることを特徴とする構成２に記載の情報処理装置。
（構成４）
前記第一の特定手段は、前記代表クラスタとの類似度が最も低いクラスタを、前記第一のクラスタとして特定することを特徴とする構成１乃至３の何れか１項に記載の情報処理装置。
（構成５）
前記第一の特定手段は、前記代表クラスタとの類似度が低い所定数又は所定割合のクラスタを除外した中から、前記第一のクラスタを特定することを特徴とする構成４に記載の情報処理装置。
（構成６）
前記表示用のデータを、属するクラスタごとに並べて表示するよう制御する表示制御手段をさらに有することを特徴とする構成１乃至５の何れか１項に記載の情報処理装置。
（構成７）
前記表示制御手段は、前記代表クラスタ、前記第二のクラスタ、前記第一のクラスタの順に前記表示用のデータを表示するよう制御することを特徴とする構成６に記載の情報処理装置。
（構成８）
前記表示制御手段は、前記表示用のデータが同種で構成されるか否かを入力させるためのＵＩを表示することを特徴とする構成６又は７に記載の情報処理装置。
（構成９）
前記表示制御手段は、前記表示用のデータごとに対象の種類のデータであるか否かを入力させるためのＵＩを表示することを特徴とする構成６又は７に記載の情報処理装置。
（構成１０）
前記決定手段は、クラスタに含まれるデータの特徴量同士の類似度が高いクラスタを、前記代表クラスタとして決定することを特徴とする構成１乃至９の何れか１項に記載の情報処理装置。
（構成１１）
前記決定手段は、クラスタに含まれるデータの数が多いクラスタを、前記代表クラスタとして決定することを特徴とする構成１乃至１０の何れか１項に記載の情報処理装置。
（構成１２）
対象のデータ群を取得する取得手段をさらに有し、
前記取得された各データには、対象らしさの順位を表す順位情報が対応付けられており、
前記決定手段は、若い番号の前記順位情報をもつデータが多く含まれるクラスタを、前記代表クラスタとして決定することを特徴とする構成１乃至１１の何れか１項に記載の情報処理装置。
（構成１３）
前記第二のクラスタが特定されなかった場合に、前記クラスタリング手段がデータ群をクラスタリングし直すことを特徴とする構成１乃至１２の何れか１項に記載の情報処理装置。
（構成１４）
前記第二のクラスタが特定されなかった場合に、前記第一の特定手段が、前記代表クラスタとの類似度が低い所定数又は所定割合のクラスタを除外した中から、前記第一のクラスタを特定し直すことを特徴とする構成１乃至１３の何れか１項に記載の情報処理装置。
（構成１５）
第一の特定手段及び前記第二の特定手段の少なくとも一方が、前記クラスタリング手段によりクラスタリングした結果として得られるクラスタ間の類似度を用いることを特徴とする構成１乃至１４の何れか１項に記載の情報処理装置。
（構成１６）
前記クラスタリング手段が処理の対象とするデータ群は、画像群であることを特徴とする構成１乃至１５の何れか１項に記載の情報処理装置。
（構成１７）
構成１乃至１６の何れか１項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。
（方法１）
データ群を各データの特徴量に基づいてクラスタリングするクラスタリング工程と、
前記クラスタリング工程で生成されたクラスタの中から、代表クラスタを決定する決定工程と、
前記クラスタリング工程で生成された各クラスタと前記代表クラスタとの類似度に基づいて、第一のクラスタを特定する第一の特定工程と、
前記クラスタリング工程で生成された各クラスタと前記代表クラスタとの類似度である第一の類似度、及び前記クラスタリング工程で生成された各クラスタと前記第一のクラスタとの類似度である第二の類似度に基づいて、第二のクラスタを特定する第二の特定工程と、
前記代表クラスタ、前記第一のクラスタ、及び前記第二のクラスタの各クラスタから、表示用のデータを選択する選択工程と、
を含むことを特徴とする情報処理方法。
（構成１）
データ群を各データの特徴量に基づいてクラスタリングするクラスタリング手段と、
前記クラスタリング手段で生成されたクラスタの中から、代表クラスタを決定する決定手段と、
前記クラスタリング手段で生成された各クラスタと前記代表クラスタとの類似度に基づいて、第一のクラスタを特定する第一の特定手段と、
前記クラスタリング手段で生成された各クラスタと前記代表クラスタとの類似度である第一の類似度、及び前記クラスタリング手段で生成された各クラスタと前記第一のクラスタとの類似度である第二の類似度に基づいて、第二のクラスタを特定する第二の特定手段と、
前記代表クラスタ、前記第一のクラスタ、及び前記第二のクラスタの各クラスタから、表示用のデータを選択する選択手段と、
を有することを特徴とする情報処理装置。
（構成２）
前記第二の特定手段は、前記第一の類似度が類似度の最小値と最大値の間の所定領域の値であって、且つ前記第二の類似度が類似度の最小値と最大値の間の所定領域の値であるクラスタを、前記第二のクラスタとして特定することを特徴とする構成１に記載の情報処理装置。
（構成３）
前記所定領域が、中間領域であることを特徴とする構成２に記載の情報処理装置。
（構成４）
前記第一の特定手段は、前記代表クラスタとの類似度が最も低いクラスタを、前記第一のクラスタとして特定することを特徴とする構成１乃至３の何れか１項に記載の情報処理装置。
（構成５）
前記第一の特定手段は、前記代表クラスタとの類似度が低い所定数又は所定割合のクラスタを除外した中から、前記第一のクラスタを特定することを特徴とする構成４に記載の情報処理装置。
（構成６）
前記表示用のデータを、属するクラスタごとに並べて表示するよう制御する表示制御手段をさらに有することを特徴とする構成１乃至５の何れか１項に記載の情報処理装置。
（構成７）
前記表示制御手段は、前記代表クラスタ、前記第二のクラスタ、前記第一のクラスタの順に前記表示用のデータを表示するよう制御することを特徴とする構成６に記載の情報処理装置。
（構成８）
前記表示制御手段は、前記表示用のデータが同種で構成されるか否かを入力させるためのＵＩを表示することを特徴とする構成６又は７に記載の情報処理装置。
（構成９）
前記表示制御手段は、前記表示用のデータごとに対象の種類のデータであるか否かを入力させるためのＵＩを表示することを特徴とする構成６又は７に記載の情報処理装置。
（構成１０）
前記決定手段は、クラスタに含まれるデータの特徴量同士の類似度が高いクラスタを、前記代表クラスタとして決定することを特徴とする構成１乃至９の何れか１項に記載の情報処理装置。
（構成１１）
前記決定手段は、クラスタに含まれるデータの数が多いクラスタを、前記代表クラスタとして決定することを特徴とする構成１乃至１０の何れか１項に記載の情報処理装置。
（構成１２）
対象のデータ群を取得する取得手段をさらに有し、
前記取得された各データには、対象らしさの順位を表す順位情報が対応付けられており、
前記決定手段は、若い番号の前記順位情報をもつデータが多く含まれるクラスタを、前記代表クラスタとして決定することを特徴とする構成１乃至１１の何れか１項に記載の情報処理装置。
（構成１３）
前記第二のクラスタが特定されなかった場合に、前記クラスタリング手段がデータ群をクラスタリングし直すことを特徴とする構成１乃至１２の何れか１項に記載の情報処理装置。
（構成１４）
前記第二のクラスタが特定されなかった場合に、前記第一の特定手段が、前記代表クラスタとの類似度が低い所定数又は所定割合のクラスタを除外した中から、前記第一のクラスタを特定し直すことを特徴とする構成１乃至１３の何れか１項に記載の情報処理装置。
（構成１５）
第一の特定手段及び前記第二の特定手段の少なくとも一方が、前記クラスタリング手段によりクラスタリングした結果として得られるクラスタ間の類似度を用いることを特徴とする構成１乃至１４の何れか１項に記載の情報処理装置。
（構成１６）
前記クラスタリング手段が処理の対象とするデータ群は、画像群であることを特徴とする構成１乃至１５の何れか１項に記載の情報処理装置。
（構成１７）
構成１乃至１６の何れか１項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。
（方法１）
データ群を各データの特徴量に基づいてクラスタリングするクラスタリング工程と、
前記クラスタリング工程で生成されたクラスタの中から、代表クラスタを決定する決定工程と、
前記クラスタリング工程で生成された各クラスタと前記代表クラスタとの類似度に基づいて、第一のクラスタを特定する第一の特定工程と、
前記クラスタリング工程で生成された各クラスタと前記代表クラスタとの類似度である第一の類似度、及び前記クラスタリング工程で生成された各クラスタと前記第一のクラスタとの類似度である第二の類似度に基づいて、第二のクラスタを特定する第二の特定工程と、
前記代表クラスタ、前記第一のクラスタ、及び前記第二のクラスタの各クラスタから、表示用のデータを選択する選択工程と、
を含むことを特徴とする情報処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】