ホーム > 特許ランキング > 株式会社グルーヴノーツ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-01
(45)【発行日】2024-11-12
(54)【発明の名称】画像分類装置、画像分類方法及びプログラム
(51)【国際特許分類】
G06T 1/00 20060101AFI20241105BHJP
G06T 7/00 20170101ALI20241105BHJP
G06F 16/55 20190101ALI20241105BHJP
G06F 16/56 20190101ALI20241105BHJP
【ＦＩ】
G06T1/00 200D
G06T7/00 300F
G06F16/55
G06F16/56
【請求項の数】
7
(21)【出願番号】P 2020158880
(22)【出願日】2020-09-23
(65)【公開番号】P2022052464
(43)【公開日】2022-04-04
【審査請求日】2023-09-14
(73)【特許権者】
【識別番号】512079738
【氏名又は名称】株式会社グルーヴノーツ
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】最首 英裕
【審査官】鈴木 明
(56)【参考文献】
【文献】国際公開第２０１０／０４１３７７（ＷＯ，Ａ１）
【文献】特開２０１１－１３４１１５（ＪＰ，Ａ）
【文献】特開２０１３－２４２８１０（ＪＰ，Ａ）
【文献】国際公開第２０１５／１４６１０１（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ７／００
Ｇ０６Ｆ １６／５５
Ｇ０６Ｆ １６／５６
(57)【特許請求の範囲】
【請求項1】
対象物画像の特徴ベクトルを算出する算出部と、前記対象物画像の特徴ベクトルをクラスタリングすることで、新規の前記対象物画像の特徴ベクトルと所属クラスタとを対応づけた新規クラスタ情報を生成する分類部と、
既存の前記対象物画像の特徴ベクトルと所属クラスタとを対応付けたマスタ・クラスタ情報を記憶する記憶部と、
前記新規クラスタ情報と、前記マスタ・クラスタ情報とを統合し、前記マスタ・クラスタ情報を更新する統合部と、
更新後の前記マスタ・クラスタ情報に基づき、クラスタリングの結果を出力する出力部と
を具備する画像分類装置。
【請求項2】
前記統合部は、新規の前記対象物画像の特徴ベクトルが、既存の前記対象物画像の特徴ベクトルに類似しているか否かを判断し、類似していると判断した場合には、前記マスタ・クラスタ情報に含まれる既存の前記対象物画像の特徴ベクトルを、新規の前記対象物画像の特徴ベクトルに更新する一方、類似していないと判断した場合には、新規の前記対象物画像の特徴ベクトルを、前記マスタ・クラスタ情報に追加する、請求項１に記載の画像分類装置。
【請求項3】
前記出力部は、前記クラスタリングの結果を、ユーザの端末に出力し、前記ユーザから、前記所属クラスタを識別するためのクラスタ識別情報を受け付ける受付部をさらに具備する、請求項１または２に記載の画像分類装置。
【請求項4】
前記出力部は、前記クラスタリングの結果として、分割画像に示される前記対象物画像と、前記対象物画像の所属クラスタに関するクラスタ関連情報とを、前記ユーザの端末の表示装置に表示する、請求項３に記載の画像分類装置。
【請求項5】
前記対象物画像に基づいて、対象物の向きを変更した向き変更画像を生成する生成部をさらに備え、前記算出部は、前記向き変更画像の特徴ベクトルを算出する、請求項１から４のいずれか一項に記載の画像分類装置。
【請求項6】
対象物画像の特徴ベクトルを算出する算出ステップと、前記対象物画像の特徴ベクトルをクラスタリングすることで、新規の前記対象物画像の特徴ベクトルと所属クラスタとを対応づけた新規クラスタ情報を生成する分類ステップと、
前記新規クラスタ情報と、既存の前記対象物画像の特徴ベクトルと所属クラスタとを対応付けたマスタ・クラスタ情報とを統合し、前記マスタ・クラスタ情報を更新する統合ステップと、
更新後の前記マスタ・クラスタ情報に基づき、クラスタリングの結果を出力する出力ステップと
を含む画像分類方法。
【請求項7】
コンピュータに、対象物画像の特徴ベクトルを算出する算出ステップと、
前記対象物画像の特徴ベクトルをクラスタリングすることで、新規の前記対象物画像の特徴ベクトルと所属クラスタとを対応づけた新規クラスタ情報を生成する分類ステップと、
前記新規クラスタ情報と、既存の前記対象物画像の特徴ベクトルと所属クラスタとを対応付けたマスタ・クラスタ情報とを統合し、前記マスタ・クラスタ情報を更新する統合ステップと、
更新後の前記マスタ・クラスタ情報に基づき、クラスタリングの結果を出力する出力ステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像分類装置、画像分類方法及びプログラムに関する。
【背景技術】
【0002】
番組に登場する各人物（タレントなど）を特定するために、当該番組の映像から各人物の顔画像を取得する技術が知られている（例えば、非特許文献１参照）。
かかる技術によれば、映像の主要な人物の顔画像一覧を自動で生成してユーザに提示することができるため、ユーザは、提示された顔画像一覧を参考にして視聴する番組を選択することができる。
かかる技術によれば、映像の主要な人物の顔画像一覧を自動で生成してユーザに提示することができるため、ユーザは、提示された顔画像一覧を参考にして視聴する番組を選択することができる。
【先行技術文献】
【非特許文献】
【0003】
【文献】“人物の顔を検出・表示して映像一覧を自動生成する技術を開発”，[online]，平成２０年１月１０日，日本電気株式会社，[令和２年７月２９日検索]，インターネット＜http://www.nec.co.jp/press/ja/0801/1004.html＞
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、非特許文献１の開示技術では、例えば特定の人物（対象物）がどの映像に映っているかを確認するためには、テレビ番組の制作スタッフなどが全ての映像ファイルをチェックし、目視確認する必要があり、膨大な時間がかかるとともに煩雑な作業を強いられるという問題があった。
【0005】
本発明は、以上説明した事情を鑑みてなされたものであり、映像ファイルに含まれる膨大な画像の中から、対象物が映っている画像を迅速かつ容易に確認することが可能な技術を提供することを目的の１つとする。
【課題を解決するための手段】
【0006】
本開示の一態様に係る画像分類装置は、対象物画像の特徴ベクトルを算出する算出部と、対象物画像の特徴ベクトルをクラスタリングすることで、新規の対象物画像の特徴ベクトルと所属クラスタとを対応づけた新規クラスタ情報を生成する分類部と、既存の対象物画像の特徴ベクトルと所属クラスタとを対応付けたマスタ・クラスタ情報を記憶する記憶部と、新規クラスタ情報と、マスタ・クラスタ情報とを統合し、マスタ・クラスタ情報を更新する統合部と、更新後のマスタ・クラスタ情報に基づき、クラスタリングの結果を出力する出力部とを具備することを要旨とする。
【発明の効果】
【0007】
本発明の所定の態様によれば、映像ファイルに含まれる膨大な画像の中から、対象物が映っている画像を迅速かつ容易に確認することが可能となる。
【図面の簡単な説明】
【0008】
【図1】本実施形態に係るクラスタリングシステムの構成の一例を示す図である。
【図2】ユーザ端末、画像分類装置のハードウェア構成の一例を示す図である。
【図3】画像分類装置の機能構成を示すブロック図である。
【図4】画像分類装置の機能概要を説明するための模式図である。
【図5】画像分類装置の機能概要を説明するための模式図である。
【図6】画像分類装置の機能概要を説明するための模式図である。
【図7】ラベル名設定画面を例示した図である。
【図8】クラスタリング結果画面を例示した図である。
【図9】再クラスタリング前後のマスタ・クラスタ結果テーブルを例示した図である。
【図10】再クラスタリング前後のマスタ・クラスタテーブルを例示した図である。
【発明を実施するための形態】
【0009】
添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【0010】
Ａ．本実施形態
＜システム構成＞
図１は、本実施形態に係るクラスタリングシステム１０００の構成の一例を示す図である。
クラスタリングシステム１０００は、ユーザが操作するユーザ端末１００と、画像分類装置２００とを含んで構成される。ユーザ端末１００と画像分類装置２００とは、ネットワークＮを介して相互通信可能となっている。
＜システム構成＞
図１は、本実施形態に係るクラスタリングシステム１０００の構成の一例を示す図である。
クラスタリングシステム１０００は、ユーザが操作するユーザ端末１００と、画像分類装置２００とを含んで構成される。ユーザ端末１００と画像分類装置２００とは、ネットワークＮを介して相互通信可能となっている。
【0011】
ネットワークＮのうちの１つまたは複数の部分は、有線ネットワークや無線ネットワークであってもよい。ネットワークＮは、限定でなく例として、アドホック・ネットワーク（Ad Hoc Network）、イントラネット、エクストラネット、仮想プライベート・ネットワーク（Virtual Private Network：ＶＰＮ）、ローカル・エリア・ネットワーク（Local Area Network：ＬＡＮ）、ワイヤレスＬＡＮ（Wireless LAN：ＷＬＡＮ）、広域ネットワーク（Wide Area Network：ＷＡＮ）、ワイヤレスＷＡＮ（Wireless WAN：ＷＷＡＮ）、大都市圏ネットワーク（Metropolitan Area Network：ＭＡＮ）、インターネットの一部、公衆交換電話網（Public Switched Telephone Network：ＰＳＴＮ）の一部、携帯電話網、ＩＳＤＮｓ（Integrated Service Digital Networks）、無線ＬＡＮｓ、ＬＴＥ（Long Term Evolution）、ＣＤＭＡ（Code Division Multiple Access）、ブルートゥース（Bluetooth（登録商標））、衛星通信など、または、これらの２つ以上の組合せを含むことができる。
【0012】
＜クラスタリングシステム１０００の概要＞
本実施形態に係るクラスタリングシステム１０００において、画像分類装置２００は、映像ファイルから多数の分割画像を取得し、取得した分割画像ごとに、顔画像を検出する。画像分類装置２００は、検出した顔画像ごとに、顔特徴ベクトルを算出し、顔特徴ベクトルをクラスタリングする。画像分類装置２００は、クラスタリングした結果をユーザ端末１００に出力する。ユーザは、ユーザ端末１００に表示されるクラスタリング結果を確認することで、例えば特定の人物（タレントなど）の顔画像が、どの分割画像に含まれるのかを、速やかに把握することが可能となる。なお、本実施形態では、顔画像をクラスタリング対象とするが、映像ファイルに含まれるあらゆる対象物の画像（例えば、車、バイク、飛行機、船、鳥、魚などの画像）をクラスタリング対象とすることができる。
本実施形態に係るクラスタリングシステム１０００において、画像分類装置２００は、映像ファイルから多数の分割画像を取得し、取得した分割画像ごとに、顔画像を検出する。画像分類装置２００は、検出した顔画像ごとに、顔特徴ベクトルを算出し、顔特徴ベクトルをクラスタリングする。画像分類装置２００は、クラスタリングした結果をユーザ端末１００に出力する。ユーザは、ユーザ端末１００に表示されるクラスタリング結果を確認することで、例えば特定の人物（タレントなど）の顔画像が、どの分割画像に含まれるのかを、速やかに把握することが可能となる。なお、本実施形態では、顔画像をクラスタリング対象とするが、映像ファイルに含まれるあらゆる対象物の画像（例えば、車、バイク、飛行機、船、鳥、魚などの画像）をクラスタリング対象とすることができる。
【0013】
ユーザ端末１００は、ユーザ（例えば、番組制作スタッフなど）が操作する端末であり、パーソナルコンピュータ、ハンドヘルドコンピュータデバイス、スマートフォン、携帯電話、ウェアラブル端末などによって構成されている。ユーザは、ユーザ端末１００を適宜操作することで、クラスタリングの実行指示などを入力する。
【0014】
画像分類装置２００は、例えばサーバコンピュータにより構成され、顔画像のクラスタリングなどを実行する（詳細は後述）。なお、ユーザ端末１００や画像分類装置２００を構成するコンピュータは、必ずしも１台である必要はなく、ネットワークＮ上に分散する複数のコンピュータやストレージから構成されてもよい。
【0015】
＜ハードウェア構成＞
図２は、ユーザ端末１００、画像分類装置２００のハードウェア構成の一例を示す図である。ユーザ端末１００及び画像分類装置２００は、それぞれ、ＣＰＵ（Central Processing Unit）１、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の記憶装置２、有線又は無線通信を行う通信ＩＦ（Interface）３、入力操作を受け付ける入力デバイス４、及び情報の出力を行う出力デバイス５を有する。入力デバイス４は、例えばキーボード、マウス、タッチパネル、マイク等である。出力デバイス５は、例えば、ディスプレイ（画面）及び／又はスピーカ等である。
図２は、ユーザ端末１００、画像分類装置２００のハードウェア構成の一例を示す図である。ユーザ端末１００及び画像分類装置２００は、それぞれ、ＣＰＵ（Central Processing Unit）１、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の記憶装置２、有線又は無線通信を行う通信ＩＦ（Interface）３、入力操作を受け付ける入力デバイス４、及び情報の出力を行う出力デバイス５を有する。入力デバイス４は、例えばキーボード、マウス、タッチパネル、マイク等である。出力デバイス５は、例えば、ディスプレイ（画面）及び／又はスピーカ等である。
【0016】
【0017】
【0018】
画像分類装置２００は、記憶部２１０と、受付部２２０と、分割部２３０と、検出部２４０と、生成部２５０と、算出部２６０と、分類部２７０と、統合部２８０と、出力部２９０とを含む。
受付部２２０と、分割部２３０と、検出部２４０と、生成部２５０と、算出部２６０と、分類部２７０と、統合部２８０と、出力部２９０は、画像分類装置２００のＣＰＵ１が記憶装置２に記憶された各種プログラムを実行することによって実現される。なお、プログラムは、ＵＳＢメモリやＣＤ－ＲＯＭ等の記憶媒体に格納することができる。
受付部２２０と、分割部２３０と、検出部２４０と、生成部２５０と、算出部２６０と、分類部２７０と、統合部２８０と、出力部２９０は、画像分類装置２００のＣＰＵ１が記憶装置２に記憶された各種プログラムを実行することによって実現される。なお、プログラムは、ＵＳＢメモリやＣＤ－ＲＯＭ等の記憶媒体に格納することができる。
【0019】
記憶部２１０は、記憶装置２によって実現され、顔画像のクラスタリングを実現するための制御プログラムＰ１のほか、様々な映像ファイル、クラスタリングに関わる各種データなどを記憶する。
【0020】
受付部２２０は、ユーザによるユーザ端末１００の操作に応じて、顔画像のクラスタリングに関わる様々な指示を受け付ける。
【0021】
分割部２３０は、ユーザによって指定された映像ファイル（動画ファイルなど）を記憶部２１０から取得し、映像ファイルから多数の静止画像を特定し、これを分割画像として順次出力する（図４に示すＳ１参照）。
【0022】
検出部２４０は、分割画像ごとに、顔及び顔の各パーツ（例えば眉、目、鼻、口など）を検出し、これを顔画像として特定するとともに（図４に示すＳ２参照）、顔及び顔の各パーツの座標（以下、「顔座標」と総称する。）を取得する。検出部２４０は、顔画像及び顔座標を生成部２５０に出力する。
【0023】
生成部２５０は、検出部２４０から供給される顔画像及び顔座標に基づき、顔を正面に向けた画像（以下、「正面化顔画像」ともいう。）を生成し、算出部２６０に出力する（図４に示すＳ３参照）。顔を正面に向けることで顔の認識精度などを向上することが可能となる。なお、正面化顔画像（向き変更画像）を生成するために、例えば顔の各パーツを元に補正する方法や、ＧＡＮ（Generative Adversarial Networks）などを利用する方法を採用することができる。
【0024】
算出部２６０は、生成部２５０から供給されるすべての正面化顔画像について、正面化顔画像ごとに、顔特徴ベクトルを算出し、顔特徴ベクトルテーブルＴＡ１を生成する（図４に示すＳ４参照）。
【0025】
顔特徴ベクトルテーブルＴＡ１には、特徴ベクトルＩＤと、画像ＩＤと、顔座標と、顔特徴ベクトルが対応づけて登録される。特徴ベクトルＩＤは、顔特徴ベクトルを識別するための識別情報であり、画像ＩＤは、顔画像を含む分割画像を識別するための識別情報である。顔座標は、検出部２４０によって取得された顔画像である。顔特徴ベクトルは、正面化顔画像の５１２次元の特徴ベクトルである。なお、図４に示す顔特徴ベクトルテーブルＴＡ１の例では、画像ＩＤ（＝「１０」）が同一で、特徴ベクトルＩＤ（＝「３０」、「３１」）が異なる２つの特徴ベクトルが示されている。これは、１枚の分割画像の中に複数（ここでは２つ）の顔が存在していることを意味する。
【0026】
算出部２６０は、顔特徴ベクトルテーブルＴＡ１を生成すると、これを記憶部２１０に記憶するとともに、特徴ベクトルＩＤが付加された各顔特徴ベクトルを分類部２７０に出力する。
【0027】
分類部２７０は、算出部２６０から供給されるすべての正面化顔画像の顔特徴ベクトルをクラスタリングする（図５に示すＳ５参照）。ここで、「クラスタリング」とは、顔特徴ベクトルのデータセットをクラスタと呼ばれるグループに分類する処理をいい、ＤＢＳＣＡＮ（Density-based spatial clustering of applications with noise）、ＯＰＴＩＣＳ（Ordering Points To Identify the Clustering Structure）、ｘ－ｍｅａｎｓ、Ｇ－ｍｅａｎｓなどのクラスタリングアルゴリズムを利用ことができる。もっとも、事前にクラス数を決定する必要のない他のクラスタリングアルゴリズムを採用してもよい。
【0028】
分類部２７０は、クラスタリングによって、各顔特徴ベクトルに対して暫定的な仮クラスタラベル（所属クラスタ）を付与し、仮クラスタ結果テーブルＴＡ２と、仮クラスタテーブルＴＡ３を生成し、統合部２８０に出力する。仮クラスタ結果テーブルＴＡ２には、特徴ベクトルＩＤと仮クラスタラベルが対応づけて登録される。なお、マイナスの仮クラスタラベル（＝「－１」）が付与された顔特徴ベクトル（例えば、顔ではなく人の後頭部が映っている画像の特徴ベクトルなど）は、ノイズとして取り扱われる。
【0029】
一方、仮クラスタテーブルＴＡ３には、仮クラスタラベルと、今回、クラスタリングを行った新規の正面化顔画像の顔特徴ベクトル（新規のクラスタの重心）が対応づけて登録される。
【0030】
統合部２８０は、分類部２７０から仮クラスタ結果テーブルＴＡ２と、仮クラスタテーブルＴＡ３を受け取ると、記憶部２１０にアクセスし、マスタ・クラスタ結果テーブルＴＡ４と、マスタ・クラスタテーブルＴＡ５を読み出す（図５に示すＳ６参照）。マスタ・クラスタ結果テーブルＴＡ４には、既存の特徴ベクトルＩＤとクラスタラベル（所属クラスタ）が対応づけて登録されている。一方、マスタ・クラスタテーブルＴＡ５には、クラスタラベルと、既存の正面化顔画像の顔特徴ベクトルが対応づけて登録されている。マスタ・クラスタ結果テーブルＴＡ４及びマスタ・クラスタテーブルＴＡ５は、分類部２７０が前回以前に行ったクラスタリングで生成・登録したテーブルである。
【0031】
統合部２８０は、仮クラスタ結果テーブルＴＡ２及び仮クラスタテーブル（新規クラスタ情報）ＴＡ３と、マスタ・クラスタ結果テーブルＴＡ４及びマスタ・クラスタテーブル（既存クラスタ情報）ＴＡ５とを比較し、統合（クラスタリング）することで、マスタ・クラスタ結果テーブルＴＡ４及びマスタ・クラスタテーブルＴＡ５の登録内容を更新する（図６に示すＳ７）。
なお、以下では便宜上、更新後のマスタ・クラスタ結果テーブルＴＡ４及びマスタ・クラスタテーブルＴＡ５を、それぞれマスタ・クラスタ結果テーブル（最新）ＴＡ４及びマスタ・クラスタテーブル（最新）ＴＡ５と呼ぶ。
なお、以下では便宜上、更新後のマスタ・クラスタ結果テーブルＴＡ４及びマスタ・クラスタテーブルＴＡ５を、それぞれマスタ・クラスタ結果テーブル（最新）ＴＡ４及びマスタ・クラスタテーブル（最新）ＴＡ５と呼ぶ。
【0032】
マスタ・クラスタ結果テーブル（最新）ＴＡ４に示すように、仮クラスタラベル「１」は、クラスタラベル「５」に更新され、仮クラスタラベル「－１」は、ノイズのため登録されず、・・・仮クラスタラベル「３２」は、対応するクラスタラベルが存在しないため、新たに追加される。
【0033】
また、マスタ・クラスタテーブル（最新）ＴＡ５に示すように、既存のクラスタの重心（すなわち、既存の顔特徴ベクトル）は適宜更新される。具体的には、新規の顔特徴ベクトルが既存の顔特徴ベクトルに類似する場合、統合部２８０は、既存の顔特徴ベクトルを新規の顔特徴ベクトルに更新する。一方、新規の顔特徴ベクトルが既存の顔特徴ベクトルに類似していない場合には、統合部２８０は、マスタ・クラスタテーブルＴＡ５に新規の顔特徴ベクトルを追加する。
【0034】
なお、新規の顔特徴ベクトルが既存の顔特徴ベクトルに類似するか否かは、例えば類似度に基づいて判断する。類似度が設定された閾値を超えている場合、統合部２８０は、類似していると判断する一方、類似度が設定された閾値を超えていない場合には、類似していないと判断する。
【0035】
統合部２８０は、マスタ・クラスタ結果テーブル（最新）ＴＡ４及びマスタ・クラスタテーブル（最新）ＴＡ５を記憶部に記憶するとともに、統合（クラスタリング）が終了した旨を出力部２９０に通知する。
【0036】
出力部２９０は、ユーザ端末１００からクラスタリングの結果確認の要求を受け取ると、かかる要求に応じてクラスタリングの結果をユーザ端末１００に送信する。
具体的には、出力部２９０は、顔特徴ベクトルテーブルＴＡ１や、マスタ・クラスタ結果テーブル（最新）ＴＡ４、マスタ・クラスタテーブル（最新）ＴＡ５、分割画像を記憶部２１０から読み出し、ラベル名設定画面及びクラスタリング結果画面をユーザ端末１００のディスプレイに表示する。
具体的には、出力部２９０は、顔特徴ベクトルテーブルＴＡ１や、マスタ・クラスタ結果テーブル（最新）ＴＡ４、マスタ・クラスタテーブル（最新）ＴＡ５、分割画像を記憶部２１０から読み出し、ラベル名設定画面及びクラスタリング結果画面をユーザ端末１００のディスプレイに表示する。
【0037】
＜ラベル名設定画面＞
図７は、ラベル名設定画面Ｇ１を例示した図である。
各クラスタラベルは、画像分類装置２００によってランダムに付与されるものであるから、どの人物の顔に、どのクラスタラベルが設定されているのかをユーザが覚えておくのは難しい。そこで、本実施形態では、ユーザが各クラスタを検索しやすいように、各クラスタラベルにわかりやすい名前（クラスタ識別情報）を登録できるようにしている。
図７は、ラベル名設定画面Ｇ１を例示した図である。
各クラスタラベルは、画像分類装置２００によってランダムに付与されるものであるから、どの人物の顔に、どのクラスタラベルが設定されているのかをユーザが覚えておくのは難しい。そこで、本実施形態では、ユーザが各クラスタを検索しやすいように、各クラスタラベルにわかりやすい名前（クラスタ識別情報）を登録できるようにしている。
【0038】
図７に示すように、ラベル名設定画面Ｇ１には、クラスタラベル、顔画像と並んでラベル名の登録欄が設けられている。
ユーザは、クラスタラベルと顔画像を確認しながら、ラベル名を順次登録していく。例えば人物が芸能人であれば、ユーザはその芸能人の芸名（「ＡＮＤＹ」や「ＪＡＣＫ」など）を、ラベル名として登録する。受付部２２０は、ユーザによるラベル名の入力を受け付けると、これを統合部２８０に出力する。統合部２８０は、受付部２２０からラベル名を受け取ると、クラスタラベルと、ラベル名とが対応付けられたマスタ・クラスタ名テーブルＴＡ６を記憶部２１０に格納する（図６に示すＳ８）。
ユーザは、クラスタラベルと顔画像を確認しながら、ラベル名を順次登録していく。例えば人物が芸能人であれば、ユーザはその芸能人の芸名（「ＡＮＤＹ」や「ＪＡＣＫ」など）を、ラベル名として登録する。受付部２２０は、ユーザによるラベル名の入力を受け付けると、これを統合部２８０に出力する。統合部２８０は、受付部２２０からラベル名を受け取ると、クラスタラベルと、ラベル名とが対応付けられたマスタ・クラスタ名テーブルＴＡ６を記憶部２１０に格納する（図６に示すＳ８）。
【0039】
図６に示すマスタ・クラスタ名テーブルＴＡ６では、クラスタラベル「３９」及び「４０」に、同じラベル名「ＪＪ」が登録されている。これは、同一人物であっても、例えば“メイク有り”の場合と、“メイク無し”の場合などがあるためである。なお、単純に、人物を検索したい場合であれば、メイクの有無の情報は不要であるため、図６に示すように「ＪＪ」といった名前のみ登録すればよい。もっとも、メイクの有無で区別して検索したい場合（例えば、メイク有りの「ＪＪ」を検索したい場合など）には、「ＪＪ（メイク有り）」、「ＪＪ（メイク無し）」という形でマスタ・クラスタ名テーブルＴＡ６に登録してもよい。
【0040】
＜クラスタリング結果画面＞
図８は、クラスタリング結果画面Ｇ２を例示した図である。
クラスタリング結果画面Ｇ２には、クラスタ名と、検出した分割画像の画像ＩＤと、サムネイル形式の分割画像と、分割画像のＵＲＬが対応付けて表示される。
図８は、クラスタリング結果画面Ｇ２を例示した図である。
クラスタリング結果画面Ｇ２には、クラスタ名と、検出した分割画像の画像ＩＤと、サムネイル形式の分割画像と、分割画像のＵＲＬが対応付けて表示される。
【0041】
図８に示すように、分割画像上の顔画像について、検出した顔ごとに、顔を縁取る枠Ｆと、その顔のクラスタ関連情報Ｃが表示される。ここで、「クラスタ関連情報」とは、例えば特徴ベクトルＩＤや、クラスタラベルなど、クラスタに関連する情報である。なお、クラスタ関連情報は、顔画像の上に直接表示されると顔画像の確認が難しくなるため、例えばマウスオーバーなどによって吹き出し表示する。図８に示す例では、１枚の分割画像に複数の顔画像が存在する場合を例示しているが、単数の顔画像が存在する場合もあり得る。
【0042】
（特定の人物を検索する場合）
ユーザは、図８に示すプルダウン表示される複数のラベル名ＮＭの中から、特定の人物のラベル名（例えば、「ＪＡＣＫ」）を選択する。
ユーザは、図８に示すプルダウン表示される複数のラベル名ＮＭの中から、特定の人物のラベル名（例えば、「ＪＡＣＫ」）を選択する。
【0043】
かかる選択操作が行われると、特定の人物「ＪＡＣＫ」の顔画像を含む分割画像が、クラスタリング結果画面Ｇ２に表示される。このように、ユーザは、ラベル名を選択するという簡単な操作を行うことで、所望の人物の顔が映っている分割画像を、迅速に確認することができる。
【0044】
なお、上記例では、ユーザが設定したラベル名を利用して、所望の人物の顔が映っている分割画像を検索する場合を想定したが、ラベル名の代わりにクラスタラベルを利用して検索してもよい。
【0045】
さらに、画像を利用して、所望の人物の顔が映っている分割画像を検索できるようにしてもよい。例えば、ユーザは、ユーザ端末１００などに格納されている所望の人物の顔画像（例えば、「ＴＡＲＯ」）を選択し、この顔と一致する顔を含む分割画像を検索するよう、画像分類装置２００に指示してもよい。
【0046】
次に、ユーザがクラスタリング結果画面の確認後、再クラスタリングを指示する場合について説明する。なお、以下では、クラスタに属する顔を確認した結果、双子の兄弟（「ＩＣＨＩＲＯ」と「ＪＩＲＯ」）の顔が似ていたことから、同一のクラスタに分類されていた場合を想定する。
【0047】
図９は、再クラスタリング前後のマスタ・クラスタ結果テーブルＴＡ４を例示した図である。
図９のＡに示すように、再クラスタリング前のマスタ・クラスタ結果テーブルＴＡ４では、特徴ベクトルＩＤ＝「３６」（「ＩＣＨＩＲＯ」）と、特徴ベクトルＩＤ＝「３７」（「ＪＩＲＯ」）において、同一のクラスタ（クラスタラベル＝「２５」）が設定されている。ユーザは、「ＩＣＨＩＲＯ」と「ＪＩＲＯ」が同一のクラスタに設定されていることから、ユーザ端末１００を操作してクラスタラベル＝「２５」を対象に、閾値をより厳しく設定し、再クラスタリングの実行を指示する。この「閾値」は、既存のクラスタ（ここでは、クラスタラベル＝「２５」）に類似しているか否かを判断するための閾値であり、クラスタごとに、ユーザがユーザ端末１００を操作することで適宜設定・変更可能となっている。
図９のＡに示すように、再クラスタリング前のマスタ・クラスタ結果テーブルＴＡ４では、特徴ベクトルＩＤ＝「３６」（「ＩＣＨＩＲＯ」）と、特徴ベクトルＩＤ＝「３７」（「ＪＩＲＯ」）において、同一のクラスタ（クラスタラベル＝「２５」）が設定されている。ユーザは、「ＩＣＨＩＲＯ」と「ＪＩＲＯ」が同一のクラスタに設定されていることから、ユーザ端末１００を操作してクラスタラベル＝「２５」を対象に、閾値をより厳しく設定し、再クラスタリングの実行を指示する。この「閾値」は、既存のクラスタ（ここでは、クラスタラベル＝「２５」）に類似しているか否かを判断するための閾値であり、クラスタごとに、ユーザがユーザ端末１００を操作することで適宜設定・変更可能となっている。
【0048】
画像分類装置２００の分類部２７０は、ユーザ端末１００から再クラスタリングの実行指示を受け取ると、クラスタラベル＝「２５」に対応する顔特徴ベクトルに対して再クラスタリングを行う。なお、分類部２７０による再クラスタリングの後の動作については、上述したＳ５～Ｓ８の動作と同様であるため、説明を割愛する。
【0049】
再クラスタリングの結果、分類部２７０によって「ＩＣＨＩＲＯ」と「ＪＩＲＯ」は、別クラスタであると判断されると、統合部２８０は、「ＪＩＲＯ」に対して、新たなクラスタラベル（＝「２６」）を設定する。この結果、図９のＢに示すように、再クラスタリング後のマスタ・クラスタ結果テーブル（最新）ＴＡ４には、特徴ベクトルＩＤ＝「３７」（「ＪＩＲＯ」）に対して新たなクラスタラベル＝「２６」が設定される。一方、特徴ベクトルＩＤ＝「３６」（「ＩＣＨＩＲＯ」）のクラスタラベル＝「２５」は、維持される。
【0050】
図１０は、再クラスタリング前後のマスタ・クラスタテーブルＴＡ５を例示した図である。
図１０のＡと図１０のＢを比較して明らかなように、再クラスタリングが行われることで、マスタ・クラスタテーブル（最新）ＴＡ５には、新たなクラスタラベル＝「２６」に対して、「ＪＩＲＯ」（特徴ベクトルＩＤ＝「３７」）の５１２次元の特徴ベクトルが登録される。一方、クラスタラベル＝「２５」については、登録済みの「ＩＣＨＩＲＯ」（特徴ベクトルＩＤ＝「３６」）の５１２次元の特徴ベクトルが維持される。
図１０のＡと図１０のＢを比較して明らかなように、再クラスタリングが行われることで、マスタ・クラスタテーブル（最新）ＴＡ５には、新たなクラスタラベル＝「２６」に対して、「ＪＩＲＯ」（特徴ベクトルＩＤ＝「３７」）の５１２次元の特徴ベクトルが登録される。一方、クラスタラベル＝「２５」については、登録済みの「ＩＣＨＩＲＯ」（特徴ベクトルＩＤ＝「３６」）の５１２次元の特徴ベクトルが維持される。
【0051】
以上説明したように、本実施形態によれば、ユーザは自身が設定したラベル名を選択するといった簡単な操作で、映像ファイルに含まれる膨大な分割画像の中から、所望の人物の顔が映っている分割画像を、迅速かつ容易に確認することが可能となる。
【0052】
Ｂ．変形例
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。
【0053】
例えば、画像処理によるオブジェクト・トラッキング技術を利用することで、ユーザが指定した人物の顔など（対象物）を追跡できるようにしてもよい。また、分割画像に含まれる背景やシーン（場面）を学習させ、背景やシーンなどから検索できるようにしてもよい。
また、本実施形態では、顔（対象物）の認識精度を上げるために、顔を正面に向けた正面化顔画像を生成したが、これに限る趣旨ではない。例えば顔を右向きに向けた右向き顔画像や、左に向けた左向き顔画像などを生成し、特徴ベクトルを算出してもよい。もちろん、１姿勢の顔画像を利用して特徴ベクトルを算出するだけでなく、複数姿勢の顔画像（例えば、正面、右向き、左向きの３姿勢の顔画像）を利用して特徴ベクトルを算出してもよい。これにより、顔の認識精度をより高めることが可能となる。
また、本実施形態では、顔（対象物）の認識精度を上げるために、顔を正面に向けた正面化顔画像を生成したが、これに限る趣旨ではない。例えば顔を右向きに向けた右向き顔画像や、左に向けた左向き顔画像などを生成し、特徴ベクトルを算出してもよい。もちろん、１姿勢の顔画像を利用して特徴ベクトルを算出するだけでなく、複数姿勢の顔画像（例えば、正面、右向き、左向きの３姿勢の顔画像）を利用して特徴ベクトルを算出してもよい。これにより、顔の認識精度をより高めることが可能となる。
【0054】
Ｃ．その他
本明細書において、「部」とは、単に物理的構成を意味するものではなく、その「部」が実行する処理をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が実行する処理を２つ以上の物理的構成や装置により実現されても、２つ以上の「部」や装置が実行する処理を１つの物理的手段や装置により実現されてもよい。
本明細書において、「部」とは、単に物理的構成を意味するものではなく、その「部」が実行する処理をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が実行する処理を２つ以上の物理的構成や装置により実現されても、２つ以上の「部」や装置が実行する処理を１つの物理的手段や装置により実現されてもよい。
【0055】
本明細書において上述した各処理におけるステップは、処理内容に矛盾を生じない範囲で任意に順番を変更し、または並列に実行することができる。
【符号の説明】
【0056】
１０００…クラスタリングシステム、１００…ユーザ端末、２００…画像分類装置、２１０…記憶部、２２０…受付部、２３０…分割部、２４０…検出部、２５０…生成部、２６０…算出部、２７０…分類部、２８０…統合部、２９０…出力部、Ｐ１…制御プログラム、ＴＡ１…顔特徴ベクトルテーブル、ＴＡ２…仮クラスタ結果テーブル、ＴＡ３…仮クラスタテーブル、ＴＡ４…マスタ・クラスタ結果テーブル、ＴＡ５…マスタ・クラスタテーブル、ＴＡ６…マスタ・クラスタ名テーブル、Ｇ１…ラベル名設定画面、Ｇ２…クラスタリング結果画面。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】