特許 7540500 グループ特定装置、グループ特定方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-19

(45)【発行日】2024-08-27

(54)【発明の名称】グループ特定装置、グループ特定方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240820BHJP

【ＦＩ】

G06T7/00 660B

【請求項の数】 9

(21)【出願番号】P 2022556761

(86)(22)【出願日】2020-10-14

(86)【国際出願番号】 JP2020038817

(87)【国際公開番号】W WO2022079841

(87)【国際公開日】2022-04-21

【審査請求日】2023-04-06

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】110002044

【氏名又は名称】弁理士法人ブライタス

(72)【発明者】

【氏名】池田 浩雄

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１７－１３００６１（ＪＰ，Ａ）

【文献】特開２０１４－１４２８１０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

(57)【特許請求の範囲】

【請求項1】

撮影画像からグループを特定するための装置であって、
第１の撮影画像において、その中の複数の人物の中から人物を選択し、選択した人物を基準にして、他の人物の位置を規定する空間的条件及び前記他の人物の状態を規定する状態条件に基づいて、第１のグループ候補を設定する、第１のグループ候補設定部と、
前記第１の撮影画像とは撮影時刻が異なる第２の撮影画像において、その中の複数の人物の中から、前記第１のグループ候補設定部によって選択された前記人物の属性を用いて、人物を選択し、選択した人物を基準にして、前記空間的条件及び前記状態条件に基づいて、第２のグループ候補を設定する、第２のグループ候補設定部と、
前記第１のグループ候補を構成する人物それぞれの属性を含む第１の属性構成情報と、前記第２のグループ候補を構成する人物それぞれの属性を含む第２の属性構成情報とを対比し、前記第１のグループ候補と前記第２のグループ候補との類似度を算出する、類似度算出部と、
算出された前記類似度が設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定する、グループ特定部と、
を備え、
前記第１の属性構成情報は、前記第１のグループ候補を構成する人物それぞれの属性を表すラベルデータで構成され、
前記第２の属性構成情報は、前記第２のグループ候補を構成する人物それぞれの属性を表すラベルデータで構成され、
前記類似度算出部が、前記類似度として、前記第１のグループ候補及び前記第２のグループ候補を合わせた全人物の数に対する、同じ属性を持つ人物の割合を算出する、
ことを特徴とするグループ特定装置。

【請求項2】

請求項１に記載のグループ特定装置であって、
前記第２のグループ候補設定部が、撮影時刻が互いに異なる複数の前記第２の撮影画像それぞれ毎に、前記第２のグループ候補を設定し、
前記類似度算出部が、複数の前記第２の撮影画像それぞれ毎に、前記第１の属性構成情報に含まれる、前記第１のグループ候補を構成する人物それぞれの属性と、前記第２の属性構成情報に含まれる、当該第２のグループ候補を構成する人物それぞれの属性とを対比し、前記類似度を算出し、
前記グループ特定部が、複数の前記第２の撮影画像それぞれ毎に算出された前記類似度それぞれを用いて、前記設定条件を満たすかどうかを判定し、前記設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定する、
ことを特徴とするグループ特定装置。

【請求項3】

請求項１または２に記載のグループ特定装置であって、
前記空間的条件は、前記他の人物が選択された人物を中心とした設定範囲内に存在していることを含み、
前記状態条件は、前記他の人物が、選択された人物と向き合っていること、又は選択された人物と同一の方向を向いていることを含む、
ことを特徴とするグループ特定装置。

【請求項4】

請求項３に記載のグループ特定装置であって、
前記状態条件は、更に、前記他の人物の大きさが、選択された人物の大きさを基準とした設定範囲内にあることを含む、
ことを特徴とするグループ特定装置。

【請求項5】

請求項１に記載のグループ特定装置であって、
前記グループ特定部は、前記第１のグループ候補を構成する人物を１つのグループとして特定する場合に、前記第１のグループ候補を構成する人物それぞれにおける、位置、大きさ、向き、属性、及び前記第１の属性構成情報のうち、少なくとも１つを出力する、
ことを特徴とするグループ特定装置。

【請求項6】

請求項１に記載のグループ特定装置であって、
前記第２の撮影画像の撮影時刻が、前記第１の撮影画像の撮影時刻よりも過去であり、
前記第１の撮影画像及び前記第２の撮影画像は、同一の撮像装置によって撮影されている、
ことを特徴とするグループ特定装置。

【請求項7】

撮影画像からグループを特定するための装置であって、
第１の撮影画像において、その中の複数の人物の中から人物を選択し、選択した人物を基準にして、他の人物の位置を規定する空間的条件及び前記他の人物の状態を規定する状態条件に基づいて、第１のグループ候補を設定する、第１のグループ候補設定部と、
前記第１の撮影画像とは撮影時刻が異なる第２の撮影画像において、その中の複数の人物の中から、前記第１のグループ候補設定部によって選択された前記人物の属性を用いて、人物を選択し、選択した人物を基準にして、前記空間的条件及び前記状態条件に基づいて、第２のグループ候補を設定する、第２のグループ候補設定部と、
前記第１のグループ候補を構成する人物それぞれの属性を含む第１の属性構成情報と、前記第２のグループ候補を構成する人物それぞれの属性を含む第２の属性構成情報とを対比し、前記第１のグループ候補と前記第２のグループ候補との類似度を算出する、類似度算出部と、
算出された前記類似度が設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定する、グループ特定部と、
を備え、
前記第１の属性構成情報が、前記第１のグループ候補を構成する人物それぞれの属性を、属性に対する人物の数で整理した形で構成され、
前記第２の属性構成情報が、前記第２のグループ候補を構成する人物それぞれの属性を、属性に対する人物の数で整理した形で構成され、
前記類似度算出部が、前記類似度として、前記第１の属性構成情報と前記第２の属性構成情報との内積、又は両者間のユークリッド距離を算出する、
ている、ことを特徴とするグループ特定装置。

【請求項8】

撮影画像からグループを特定するための方法であって、
第１の撮影画像において、その中の複数の人物の中から人物を選択し、選択した人物を基準にして、他の人物の位置を規定する空間的条件及び前記他の人物の状態を規定する状態条件に基づいて、第１のグループ候補を設定し、
前記第１の撮影画像とは撮影時刻が異なる第２の撮影画像において、その中の複数の人物の中から、前記第１のグループ候補の設定の際に選択された前記人物の属性を用いて、人物を選択し、選択した人物を基準にして、前記空間的条件及び前記状態条件に基づいて、第２のグループ候補を設定し、
前記第１のグループ候補を構成する人物それぞれの属性を含む第１の属性構成情報と、前記第２のグループ候補を構成する人物それぞれの属性を含む第２の属性構成情報とを対比し、前記第１のグループ候補と前記第２のグループ候補との類似度を算出し、
算出された前記類似度が設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定し、
前記第１の属性構成情報は、前記第１のグループ候補を構成する人物それぞれの属性を表すラベルデータで構成され、
前記第２の属性構成情報は、前記第２のグループ候補を構成する人物それぞれの属性を表すラベルデータで構成され、
前記類似度として、前記第１のグループ候補及び前記第２のグループ候補を合わせた全人物の数に対する、同じ属性を持つ人物の割合を算出する、
ことを特徴とするグループ特定方法。

【請求項9】

コンピュータによって撮影画像からグループを特定するためのプログラムであって、
前記コンピュータに、
第１の撮影画像において、その中の複数の人物の中から人物を選択し、選択した人物を基準にして、他の人物の位置を規定する空間的条件及び前記他の人物の状態を規定する状態条件に基づいて、第１のグループ候補を設定させ、
前記第１の撮影画像とは撮影時刻が異なる第２の撮影画像において、その中の複数の人物の中から、前記第１のグループ候補の設定の際に選択された前記人物の属性を用いて、人物を選択し、選択した人物を基準にして、前記空間的条件及び前記状態条件に基づいて、第２のグループ候補を設定させ、
前記第１のグループ候補を構成する人物それぞれの属性を含む第１の属性構成情報と、前記第２のグループ候補を構成する人物それぞれの属性を含む第２の属性構成情報とを対比し、前記第１のグループ候補と前記第２のグループ候補との類似度を算出させ、
算出された前記類似度が設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定させ、
前記第１の属性構成情報は、前記第１のグループ候補を構成する人物それぞれの属性を表すラベルデータで構成され、
前記第２の属性構成情報は、前記第２のグループ候補を構成する人物それぞれの属性を表すラベルデータで構成され、
前記類似度として、前記第１のグループ候補及び前記第２のグループ候補を合わせた全人物の数に対する、同じ属性を持つ人物の割合を算出させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影された画像から人物のグループを特定するための、グループ特定装置、及びグループ特定方法に関し、更には、これらを実現するためのプログラムに関する。

【背景技術】

【0002】

公共施設等で撮影された画像の中からグループ（行動を共にする複数の人物）を特定し、そのグループの属性を認識することは、サービスの向上、及びマーケティングにおいて有用である。このため、従来から、撮影画像に基づいてグループを特定する装置が提案されている（例えば、特許文献１及び２参照）。

【0003】

具体的には、特許文献１に開示された装置は、撮影画像から人物の領域を抽出し、抽出された人物の領域間の距離及び領域間の重なりの状態に基づいて、領域が抽出された各人物が同一のグループに属しているかどうかを判定して、人物のグループを特定する。

【0004】

更に、特許文献１に開示された装置は、撮影画像から抽出された人物の領域それぞれを、フレーム単位で追跡し、人物の領域間の距離の近さが継続されている場合に、該当する各領域の人物を同一のグループとして特定することもできる。つまり、特許文献１に開示された装置は、人物間の距離の時間変化に基づいて、グループを特定することもできる。

【0005】

また、特許文献２に開示された装置は、まず、撮影画像から人物を検出し、検出した人物をフレーム単位で追跡し、各人物の位置情報を時系列に沿って取得する。そして、特許文献２に開示された装置は、取得された各人物の時系列の位置情報に基づいて、人物同士の相対距離及び相対速度を算出し、算出した相対距離及び相対速度が設定範囲内にある状態が一定時間以上継続している場合に、各人物は同一のグループに属していると判定する。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００４－５４３７６号公報

【文献】特開２００６－９２３９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、上述の特許文献１に開示された装置には、人物同士が近い混雑した環境下で撮影が行われた場合、又はカメラの俯角が浅い状態（即ち、撮影方向が水平方向に近い状態）で撮影が行われた場合において、グループの特定が難しいという問題がある。これは、このような撮影が行われた場合、撮影画像にはグループの手前又は奥にグループに関係ない人物が重なって映り込みやすく、人物の領域間の距離及び領域間の重なりの状態による判定では、グループに関係のない人物を切り分けることが困難だからである。

【0008】

これに対して、上述の特許文献１に開示された装置であっても、追跡処理を行う場合であれば、上記の問題を解消することは可能であると考えられる。同様に、上述の特許文献２に開示された装置でも、追跡処理が行われるので、上記の問題を解消することは可能であると考えられる。

【0009】

しかしながら、追跡処理には、追跡精度を高く維持することが難しいという問題、撮影画像に現れる人物の存在時間が短いと追跡ができなくなるという問題がある。上述の特許文献１に開示された装置及び上述の特許文献２に開示された装置では、追跡処理によって得られた時系列の情報に基づいてグループを特定するため、このような問題が生じると、いずれにおいても、グループの特定は困難となる。このため、人物の追跡に依存しないで、グループを特定することが求められている。

【0010】

本発明の目的の一例は、上記問題を解消し、人物の追跡処理を必要とすることなく、グループを特定し得る、グループ特定装置、グループ特定方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0011】

上記目的を達成するため、本発明の一側面におけるグループ特定装置は、撮影画像からグループを特定するための装置であって、
第１の撮影画像において、その中の複数の人物の中から人物を選択し、選択した人物を基準にして、他の人物の位置を規定する空間的条件及び前記他の人物の状態を規定する状態条件に基づいて、第１のグループ候補を設定する、第１のグループ候補設定部と、
前記第１の撮影画像とは撮影時刻が異なる第２の撮影画像において、その中の複数の人物の中から、前記第１のグループ候補設定部によって選択された前記人物の属性を用いて、人物を選択し、選択した人物を基準にして、前記空間的条件及び前記状態条件に基づいて、第２のグループ候補を設定する、第２のグループ候補設定部と、
前記第１のグループ候補を構成する人物それぞれの属性を含む第１の属性構成情報と、前記第２のグループ候補を構成する人物それぞれの属性を含む第２の属性構成情報とを対比し、前記第１のグループ候補と前記第２のグループ候補との類似度を算出する、類似度算出部と、
算出された前記類似度が設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定する、グループ特定部と、
を備えている、ことを特徴とする。

【0012】

また、上記目的を達成するため、本発明の一側面におけるグループ特定方法は、撮影画像からグループを特定するための方法であって、
第１の撮影画像において、その中の複数の人物の中から人物を選択し、選択した人物を基準にして、他の人物の位置を規定する空間的条件及び前記他の人物の状態を規定する状態条件に基づいて、第１のグループ候補を設定する、第１のグループ候補設定ステップと、
前記第１の撮影画像とは撮影時刻が異なる第２の撮影画像において、その中の複数の人物の中から、前記第１のグループ候補設定ステップによって選択された前記人物の属性を用いて、人物を選択し、選択した人物を基準にして、前記空間的条件及び前記状態条件に基づいて、第２のグループ候補を設定する、第２のグループ候補設定ステップと、
前記第１のグループ候補を構成する人物それぞれの属性を含む第１の属性構成情報と、前記第２のグループ候補を構成する人物それぞれの属性を含む第２の属性構成情報とを対比し、前記第１のグループ候補と前記第２のグループ候補との類似度を算出する、類似度算出ステップと、
算出された前記類似度が設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定する、グループ特定ステップと、
を備えている、ことを特徴とする。

【0013】

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータによって撮影画像からグループを特定するためのプログラムであって、
前記コンピュータに、
第１の撮影画像において、その中の複数の人物の中から人物を選択し、選択した人物を基準にして、他の人物の位置を規定する空間的条件及び前記他の人物の状態を規定する状態条件に基づいて、第１のグループ候補を設定する、第１のグループ候補設定ステップと、
前記第１の撮影画像とは撮影時刻が異なる第２の撮影画像において、その中の複数の人物の中から、前記第１のグループ候補設定ステップによって選択された前記人物の属性を用いて、人物を選択し、選択した人物を基準にして、前記空間的条件及び前記状態条件に基づいて、第２のグループ候補を設定する、第２のグループ候補設定ステップと、
前記第１のグループ候補を構成する人物それぞれの属性を含む第１の属性構成情報と、前記第２のグループ候補を構成する人物それぞれの属性を含む第２の属性構成情報とを対比し、前記第１のグループ候補と前記第２のグループ候補との類似度を算出する、類似度算出ステップと、
算出された前記類似度が設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定する、グループ特定ステップと、
を実行させる、
ことを特徴とする。

【発明の効果】

【0014】

以上のように本発明によれば、人物の追跡処理を必要とすることなく、グループを特定することができる。

【図面の簡単な説明】

【0015】

【図1】図１は、実施の形態におけるグループ特定装置の概略構成を示す構成図である。

【図2】図２は、実施の形態におけるグループ特定の構成を具体的に示す構成図である。

【図3】図３は、実施の形態における類似度の算出処理の第１例を示す図である。

【図4】図４は、実施の形態における類似度の算出処理の第２例を示す図である。

【図5】図５は、実施の形態におけるグループ特定装置の動作を示すフロー図である。

【図6】図６は、実施の形態におけるグループ特定装置を実現するコンピュータの一例を示すブロック図である。

【発明を実施するための形態】

【0016】

（実施の形態）
以下、実施の形態における、グループ特定装置、グループ特定方法、及びプログラムについて、図１～図５を参照しながら説明する。

【0017】

［装置構成］
最初に、実施の形態におけるグループ特定装置の概略構成について図１を用いて説明する。図１は、実施の形態におけるグループ特定装置の概略構成を示す構成図である。

【0018】

図１に示す実施の形態におけるグループ特定装置１０は、撮影画像からグループを特定する装置である。図１に示すように、グループ特定装置１０は、第１のグループ候補設定部１１と、第２のグループ候補設定部１２と、類似度算出部１３と、グループ特定部１４とを備えている。

【0019】

第１のグループ候補設定部１１は、第１の撮影画像において、その中の複数の人物の中から人物を選択し、選択した人物を基準にして、他の人物の位置を規定する空間的条件及び他の人物の状態を規定する状態条件に基づいて、第１のグループ候補を設定する。

【0020】

第２のグループ候補設定部１２は、第１の撮影画像とは撮影時刻が異なる第２の撮影画像において、その中の複数の人物の中から、第１のグループ候補設定部１１によって選択された人物の属性を用いて、人物を選択する。また、第２のグループ候補設定部１２は、選択した人物を基準にして、空間的条件及び状態条件に基づいて、第２のグループ候補を設定する。

【0021】

類似度算出部１３は、第１のグループ候補を構成する人物それぞれの属性を含む第１の属性構成情報と、第２のグループ候補を構成する人物それぞれの属性を含む第２の属性構成情報とを対比し、第１のグループ候補と第２のグループ候補との類似度を算出する。

【0022】

グループ特定部１４は、類似度算出部１３によって算出された類似度が設定条件を満たす場合に、第１のグループ候補を構成する人物を１つのグループとして特定する。

【0023】

このように、実施の形態では、撮影日時の異なる２つの撮影画像それぞれから、グループ候補が設定され、更に、設定された２つのグループ候補間の類似度が算出される。そして、この類似度を用いることで、グループ候補を構成する人物が１つのグループであるかどうかが判定される。つまり、実施の形態によれば、人物の追跡処理を必要とすることなく、グループを特定することができる。

【0024】

続いて、図２～図４を用いて、実施の形態におけるグループ特定装置の構成及び機能について具体的に説明する。図２は、実施の形態におけるグループ特定の構成を具体的に示す構成図である。

【0025】

図２に示すように、実施の形態では、グループ特定装置１０は、撮像装置２０と、管理装置３０とに接続されている。撮像装置２０は、例えば、公共の施設等に設置されており、設定された間隔で、撮影対象となっている領域を撮影し、撮影画像の画像データを出力する。図２において、２１は、撮影対象となっている領域に存在している人を示している。管理装置３０は、グループ特定装置１０によって特定される

【0026】

また、図２に示すように、実施の形態では、グループ特定装置１０は、第１のグループ候補設定部１１、第２のグループ候補設定部１２、類似度算出部１３、及びグループ特定部１４に加えて、画像データ取得部１５と、画像データ格納部１６とを備えている。画像データ取得部１５は、撮像装置（カメラ）２０から出力されてきた撮影画像の画像データを取得し、取得した画像データを、時系列に沿って、画像データ格納部１６に格納する。

【0027】

第１のグループ候補設定部１１は、実施の形態では、まず、画像データ格納部１６から、任意の画像データを第１の撮影画像の画像データ（以下「第１の画像データ」）として取得し、取得した第１の画像データから複数の人物を検出し、更に、検出した複数の人物それぞれの属性を推定する。なお、取得した第１の画像データから複数の人物を検出できなかった場合は、第１のグループ候補設定部１１は、別の画像データを第１の画像データとして取得して、再度、人物検出及び属性推定を行う。

【0028】

具体的には、第１のグループ候補設定部１１は、人（人の顔）を表す特徴量を用いて、第１の画像データから、人が存在する領域を特定し、特定した領域を人物として抽出する。また、第１のグループ候補設定部１１は、人物の抽出において、人の顔の向き、又は人の向き（上半身又は下半身の向き）を検出することもできる。続いて、第１のグループ候補設定部１１は、特定した領域における特徴量を求め、求めた特徴量を、分類器に入力して、特定した領域の人物の属性（性別、年齢、服飾（色、柄）、身長、体積、体重等）を推定する。分類器は、各種属性と特徴量との関係を機械学習することによって、予め作成されている。

【0029】

続いて、第１のグループ候補設定部１１は、検出された複数の人物のうち任意の１人を基準人物として選択する。そして、第１のグループ候補設定部１１は、基準人物を基準にして、基準人物以外の他の人物についての空間的条件及び状態条件に基づいて、第１の画像データから検出された人物で構成された第１のグループ候補を設定する。

【0030】

ここで、実施の形態では、空間的条件としては、他の人物が基準人物を中心とした設定範囲内に存在していることが挙げられる。状態条件としては、他の人物が基準人物と向き合っていること、他の人物が基準人物と同一の方向を向いていること、他の人物の大きさが基準人物の大きさを基準とした設定範囲内にあること、及びこれらの組合せ等が挙げられる。

【0031】

第２のグループ候補設定部１２は、実施の形態では、画像データ格納部１６から、第１の撮影画像とは撮影時刻が異なる第２の撮影画像の画像データ（以下、「第２の画像データ」を複数取得する。第２の撮影画像としては、例えば、撮影時刻が第１の撮影画像の撮影時刻よりも過去となっている撮影画像が挙げられる。

【0032】

第２のグループ候補設定部１２は、取得した複数の第２の画像データそれぞれ毎に、複数の人物を検出し、更に、検出した複数の人物それぞれの属性を推定する。具体的には、第２のグループ候補設定部１２は、第１のグループ候補設定部１１と同様に、人（人の顔）を表す特徴量を用いて、各第２の画像データから、人が存在する領域を特定し、特定した領域を人物として抽出する。また、第２のグループ候補設定部１２は、第１のグループ候補設定部１１と同様に、人物の抽出において、人の顔の向き、又は人の向き（上半身又は下半身の向き）を検出することもできる。続いて、第２のグループ候補設定部１２は、第１のグループ候補設定部１１と同様に、特定した領域における特徴量を求め、求めた特徴量を、分類器に入力して、特定した領域の人物の属性（性別、年齢、服飾（色、柄）、身長、体積、体重等）を推定する。

【0033】

続いて、第２のグループ候補設定部１２は、複数の第２の画像データそれぞれ毎に、第１のグループ候補設定部１１によって選択された基準人物の属性に基づいて、抽出した人物の中から、基準人物に対応する人物（以下「対応人物」と表記する。）を選択する。なお、対応人物に該当するかどうかの判断基準としては、一致する属性の数が所定数以上であること、特定の幾つかの属性が一致していること、等が挙げられる。

【0034】

そして、第２のグループ候補設定部１２は、対応人物を基準にして、対応人物以外の他の人物についての空間的条件及び状態条件に基づいて、第２の画像データから検出された人物で構成された第２のグループ候補を設定する。なお、ここでの空間的条件及び状態条件としても、第１のグループ候補設定部１１の説明で例示したものが挙げられる。

【0035】

また、実施の形態では、第２のグループ候補設定部１２は、複数の第２の撮影画像、即ち、第２の画像データを取得することができる。この場合は、第２のグループ候補設定部１２は、第２の画像データ毎に、人物の検出、属性の推定、対応人物の選択、及び第２のグループ候補の設定を行う。

【0036】

更に、実施の形態では、第２のグループ候補設定部１２は、第１の撮影画像の撮影時刻、第２の撮影画像の撮影時刻、及び第１のグループ候補設定部１１によって選択された基準人物の位置に基づいて、第２の撮影画像の一部の領域を探索範囲に設定することもできる。この場合、第２のグループ候補設定部１２は、設定した探索範囲の中から、対応人物を選択することができる。

【0037】

また、図２の例では、第１の撮影画像及び第２の撮影画像は、同一の撮像装置２０から出力されているが、実施の形態では、第１の撮影画像を撮影した撮像装置と、第２の撮影画像を撮影した撮像装置とは、異なっていても良い。但し、両者が異なる場合、各撮像装置は、所定の時間範囲内で同一の被写体を撮影できるように配置されている必要がある。

【0038】

類似度算出部１３は、実施の形態では、まず、第１のグループ候補設定部１１によって推定された人物の属性を用いて、第１のグループ候補を構成する各人物の属性を含む第１の属性構成情報を作成する。また、類似度算出部１３は、第２のグループ候補設定部１２によって推定された人物の属性を用いて、第２のグループ候補を構成する各人物の属性を含む第２の属性構成情報を作成する。

【0039】

続いて、類似度算出部１３は、複数の第２の撮影画像（第２の画像データ）それぞれ毎に、第１の属性構成情報に含まれる各人物の属性と、第２の属性構成情報に含まれる各人物の属性とを対比し、対比の結果に基づいて、類似度を算出する。図３及び図４を用いて、類似度の算出処理について詳細に説明する。図３は、実施の形態における類似度の算出処理の第１例を示す図である。図４は、実施の形態における類似度の算出処理の第２例を示す図である。

【0040】

図３に示す例では、第１の属性構成情報及び第２の属性構成情報は、グループ候補を構成する人物それぞれの属性を表すラベルデータで構成されている。そして、図３に示す例では、類似度算出部１３は、類似度として、第１のグループ候補及び第２のグループ候補を合わせた全人物の数に対する、同じ属性を持つ人物の割合を算出する。

【0041】

図４に示す例では、第１の属性構成情報及び第２の属性構成情報は、グループ候補を構成する人物それぞれの属性をその属性に対する人物の数で整理した形で構成されている。そして、図４に示す例では、類似度算出部１３は、まず、第１の属性構成情報及び第２の属性構成情報を、それぞれベクトル化する。続いて、類似度算出部１３は、類似度として、ベクトル化した第１の属性構成情報とベクトル化した第２の属性構成情報との内積を算出する。また、類似度算出部１３は、ベクトル化した第１の属性構成情報とベクトル化した第２の属性構成情報との間のユークリッド距離ｄを算出し、ユークリッド距離ｄから類似度（＝１／（１＋ｄ））を算出することもできる。

【0042】

グループ特定部１４が、実施の形態では、複数の第２の撮影画像（第２の画像データ）それぞれ毎に算出された各類似度を用いて、設定条件を満たすかどうかを判定し、設定条件を満たす場合に、第１のグループ候補を構成する人物を１つのグループとして特定する。設定条件としては、例えば、類似度が閾値以上となった第２の画像データの数が設定数以上であることが挙げられる。

【0043】

また、グループ特定部１４は、第１のグループ候補を構成する人物を１つのグループとして特定する場合に、１つのグループとして特定した第１のグループ候補に関する情報を、管理装置３０に出力する。グループ特定部１４は、例えば、第１のグループ候補に関する情報として、第１のグループ候補を構成する人物それぞれにおける、位置、大きさ、向き、属性、及び第１の属性構成情報のうち、少なくとも１つを出力することができる。

【0044】

また、複数のサンプルとなるグループ（以下「サンプルグループ」と表記する。）とその属性構成情報とが予め登録されているデータベース（以下「サンプルデータベース」と表記する。）が用意されているとする。サンプルグループの例としては、カップル、家族連れ、旅行団体、会社同僚、学生グループ、等が挙げられる。

【0045】

このような態様では、グループ特定部１４は、第１のグループ候補を構成する人物を１つのグループとして特定する場合に、第１のグループ候補の第１の属性構成情報をデータベースに照合して、第１のグループ候補に適合するサンプルグループも特定する。グループ特定部１４は、サンプルグループの情報も、管理装置３０に出力することができる。

【0046】

更に、グループ特定部１４は、１つのグループとして特定した第１のグループ候補が複数存在する場合は、１つのグループとして特定された複数の第１のグループ候補それぞれに共通の人物が存在しているかどうかを判定する。そして、グループ特定部１４は、共通の人物が存在していると判定した第１のグループ候補については、これらを統合して１つのグループとすることができる。この態様によれば、グループの特定がより正確なものとなる。

【0047】

［装置動作］
次に、実施の形態におけるグループ特定装置の動作について図５を用いて説明する。図５は、実施の形態におけるグループ特定装置の動作を示すフロー図である。以下の説明においては、適宜図１～図４を参照する。また、実施の形態では、グループ特定装置１０を動作させることによって、グループ特定方法が実施される。よって、実施の形態におけるグループ特定方法の説明は、以下のグループ特定装置１０の動作説明に代える。

【0048】

まず、前提として、画像データ取得部１５が、撮像装置（カメラ）２０から出力されてきた一定期間分の画像データを取得し、取得した画像データを、時系列に沿って、画像データ格納部１６に格納しているとする。

【0049】

図５に示すように、最初に、第１のグループ候補設定部１１は、画像データ格納部１６から、任意の画像データを第１の画像データとして取得する（ステップＡ１）。

【0050】

次に、第１のグループ候補設定部１１は、ステップＡ１で取得した第１の画像データから複数の人物を検出し、更に、検出した複数の人物それぞれの属性を推定する（ステップＡ２）。なお、ステップＡ２において、第１の画像データから複数の人物を検出できなかった場合は、第１のグループ候補設定部１１は、別の画像データを第１の画像データとして取得して、再度、人物検出及び属性推定を行う。

【0051】

次に、第１のグループ候補設定部１１は、ステップＡ２で検出された複数の人物のうち任意の１人を基準人物として選択する（ステップＡ３）。基準人物の選択基準は特に限定されず、ランダムに選択される態様であっても良いし、画像の所定の位置にいる人物が選択される態様であっても良い。

【0052】

次に、第１のグループ候補設定部１１は、ステップＡ３で選択した基準人物を基準にして、基準人物以外の他の人物についての空間的条件及び状態条件に基づいて、第１の画像データから検出された人物で構成された第１のグループ候補を設定する（ステップＡ４）。

【0053】

次に、第２のグループ候補設定部１２は、画像データ格納部１６から、第１の画像データの撮影画像の撮影時刻よりも過去に撮影された撮影画像の画像データ（第２の画像データ）を取得する（ステップＡ５）。

【0054】

次に、第２のグループ候補設定部１２は、ステップＡ５で取得した第２の画像データから、複数の人物を検出し、更に、検出した複数の人物それぞれの属性を推定する（ステップＡ６）。また、ステップＡ６でも、ステップＡ２と同様に、第２の画像データから複数の人物を検出できなかった場合は、第２のグループ候補設定部１２は、別の画像データを第２の画像データとして取得して、再度、人物検出及び属性推定を行う。

【0055】

次に、第２のグループ候補設定部１２は、ステップＡ３で第１のグループ候補設定部１１によって選択された基準人物の属性に基づいて、ステップＡ６で抽出した人物の中から、基準人物に対応する対応人物を選択する（ステップＡ７）。

【0056】

次に、第２のグループ候補設定部１２は、対応人物を基準にして、対応人物以外の他の人物についての空間的条件及び状態条件に基づいて、第２の画像データから検出された人物で構成された第２のグループ候補を設定する（ステップＡ８）。なお、ここでの空間的条件及び状態条件は、ステップＡ４で用いられる空間的条件及び状態条件と同じものである。

【0057】

次に、類似度算出部１３は、ステップＡ２推定された人物の属性を用いて、第１のグループ候補を構成する各人物の属性を含む第１の属性構成情報を作成し、ステップＡ６で推定された人物の属性を用いて、第２のグループ候補を構成する各人物の属性を含む第２の属性構成情報を作成する（ステップＡ９）。

【0058】

次に、類似度算出部１３は、ステップＡ９で作成した第１の属性構成情報に含まれる各人物の属性と、同じくステップＡ９で作成した第２の属性構成情報に含まれる各人物の属性とを対比し、対比の結果に基づいて、類似度を算出する（ステップＡ１０）。類似度の算出は、図３又は図４に示された通りである。

【0059】

次に、類似度算出部１３は、第２の画像データとして未だ処理されていない画像データが、画像データ格納部１６に存在しているかどうかを判定する（ステップＡ１１）。ステップＡ１１の判定の結果、未だ処理されていない画像データが画像データ格納部１６に存在している場合（ステップＡ１１：Ｙｅｓ）は、再度ステップＡ５が実行される。一方、ステップＡ１１の判定の結果、未だ処理されていない画像データが画像データ格納部１６に存在していない場合（ステップＡ１１：Ｎｏ）は、ステップＡ１２が実行される。

【0060】

ステップＡ１２では、グループ特定部１４は、第２の画像データ毎に算出された各類似度を用いて、設定条件を満たすかどうかを判定し、設定条件を満たす場合に、第１のグループ候補を構成する人物を１つのグループとして特定する（ステップＡ１２）。

【0061】

ステップＡ１２では、グループ特定部１４は、更に、１つのグループとして特定した第１のグループ候補に関する情報（人物それぞれにおける、位置、大きさ、向き、属性、及び第１の属性構成情報）を、管理装置３０に出力する。

【0062】

更に、ステップＡ１２では、グループ特定部１４は、第１のグループ候補の第１の属性構成情報をデータベースに照合して、第１のグループ候補に適合するサンプルグループを特定し、サンプルグループの情報も、管理装置３０に出力することができる。

【0063】

また、グループ特定部１４は、過去に実行したステップＡ１２によって、１つのグループとして特定した第１のグループ候補が複数存在する場合は、１つのグループとして特定された複数の第１のグループ候補それぞれに共通の人物が存在しているかどうかを判定する。そして、グループ特定部１４は、共通の人物が存在していると判定した第１のグループ候補については、これらを統合して１つのグループとすることができる。

【0064】

また、ステップＡ１２において、グループ特定部１４が、第１のグループ候補を構成する人物を１つのグループとして特定しなかった場合は、第１のグループ候補設定部１１は、第１の撮影画像中の複数の人物の中から、未だ選択されていない人物を基準人物として選択する。そして、第１のグループ候補設定部１１は、再度ステップＡ４を実行して、新たに第１のグループ候補を設定する。

【0065】

第１のグループ候補が新たに設定されると、第２のグループ候補設定部１２は、再度ステップＡ７及びＡ８を実行して、第２のグループ候補を新たに設定する。また、類似度算出部１３は、第１のグループ候補及び第２のグループ候補が新たに設定されると、再度ステップＡ９及びＡ１０を実行して、類似度を新たに算出する。その後、グループ特定部１４は、再度ステップＡ１２を実行して、新たに算出された類似度を用いて、グループを特定する。

【0066】

［実施の形態における効果］
以上のように、実施の形態では、撮影日時が異なる第１の撮影画像及び第２の撮影画像を用いて、画像毎にグループ候補が設定され、設定されたグループ候補間の類似度が求められる。また、類似度は、１つの第１の撮影画像と複数の第２の撮影画像との間で求められ、求められた幾つかの類似度から最終的なグループが特定される。このため、実施の形態では、人物同士が近い混雑した環境下であったり、カメラの俯角が浅い状態（即ち、撮影方向が水平方向に近い状態）であったりしても、人物の追跡処理を必要とすることなく、精度良くグループを特定できる。

【0067】

［プログラム］
実施の形態におけるプログラムとしては、コンピュータに、図５に示すステップＡ１～Ａ１２を実行させるプログラムが挙げられる。このプログラムをコンピュータにインストールし、実行することによって、実施の形態におけるグループ特定装置１０とグループ特定方法とを実現することができる。この場合、コンピュータのプロセッサは、第１のグループ候補設定部１１、第２のグループ候補設定部１２、類似度算出部１３、グループ特定部１４、及び画像データ取得部１５として機能し、処理を行なう。

【0068】

また、実施の形態では、画像データ格納部１６は、コンピュータに備えられたハードディスク等の記憶装置に、これらを構成するデータファイルを格納することによって実現されていても良いし、別のコンピュータの記憶装置によって実現されていても良い。

【0069】

また、コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。更に、コンピュータは、管理装置３０を構成するコンピュータであっても良く、この場合は、実施の形態におけるグループ特定装置１０は、管理装置３０のオペレーティングシステム上に構築されることになる。

【0070】

また、実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、第１のグループ候補設定部１１、第２のグループ候補設定部１２、類似度算出部１３、グループ特定部１４、及び画像データ取得部１５のいずれかとして機能しても良い。

【0071】

［物理構成］
ここで、実施の形態におけるプログラムを実行することによって、グループ特定装置１０を実現するコンピュータについて図６を用いて説明する。図６は、実施の形態におけるグループ特定装置を実現するコンピュータの一例を示すブロック図である。

【0072】

図６に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。

【0073】

また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。

【0074】

ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成された実施の形態におけるプログラムをメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。

【0075】

また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

【0076】

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

【0077】

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

【0078】

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。

【0079】

実施の形態におけるグループ特定装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェア、例えば、回路を用いることによっても実現可能である。更に、グループ特定装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

【0080】

上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記３９）によって表現することができるが、以下の記載に限定されるものではない。

【0081】

（付記１）
撮影画像からグループを特定するための装置であって、
第１の撮影画像において、その中の複数の人物の中から人物を選択し、選択した人物を基準にして、他の人物の位置を規定する空間的条件及び前記他の人物の状態を規定する状態条件に基づいて、第１のグループ候補を設定する、第１のグループ候補設定部と、
前記第１の撮影画像とは撮影時刻が異なる第２の撮影画像において、その中の複数の人物の中から、前記第１のグループ候補設定部によって選択された前記人物の属性を用いて、人物を選択し、選択した人物を基準にして、前記空間的条件及び前記状態条件に基づいて、第２のグループ候補を設定する、第２のグループ候補設定部と、
前記第１のグループ候補を構成する人物それぞれの属性を含む第１の属性構成情報と、前記第２のグループ候補を構成する人物それぞれの属性を含む第２の属性構成情報とを対比し、前記第１のグループ候補と前記第２のグループ候補との類似度を算出する、類似度算出部と、
算出された前記類似度が設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定する、グループ特定部と、
を備えている、ことを特徴とするグループ特定装置。

【0082】

（付記２）
付記１に記載のグループ特定装置であって、
前記第２のグループ候補設定部が、撮影時刻が互いに異なる複数の前記第２の撮影画像それぞれ毎に、前記第２のグループ候補を設定し、
前記類似度算出部が、複数の前記第２の撮影画像それぞれ毎に、前記第１の属性構成情報に含まれる、前記第１のグループ候補を構成する人物それぞれの属性と、前記第２の属性構成情報に含まれる、当該第２のグループ候補を構成する人物それぞれの属性とを対比し、前記類似度を算出し、
前記グループ特定部が、複数の前記第２の撮影画像それぞれ毎に算出された前記類似度それぞれを用いて、前記設定条件を満たすかどうかを判定し、前記設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定する、
ことを特徴とするグループ特定装置。

【0083】

（付記３）
付記１または２に記載のグループ特定装置であって、
前記空間的条件は、前記他の人物が選択された人物を中心とした設定範囲内に存在していることを含み、
前記状態条件は、前記他の人物が、選択された人物と向き合っていること、又は選択された人物と同一の方向を向いていることを含む、
ことを特徴とするグループ特定装置。

【0084】

（付記４）
付記３に記載のグループ特定装置であって、
前記状態条件は、更に、前記他の人物の大きさが、選択された人物の大きさを基準とした設定範囲内にあることを含む、
ことを特徴とするグループ特定装置。

【0085】

（付記５）
付記１～４のいずれかに記載のグループ特定装置であって、
前記第１の属性構成情報が、前記第１のグループ候補を構成する人物それぞれの属性を表すラベルデータで構成され、
前記第２の属性構成情報が、前記第２のグループ候補を構成する人物それぞれの属性を表すラベルデータで構成され、
前記類似度算出部が、前記類似度として、前記第１のグループ候補及び前記第２のグループ候補を合わせた全人物の数に対する、同じ属性を持つ人物の割合を算出する、
ことを特徴とするグループ特定装置。

【0086】

（付記６）
付記１～４のいずれかに記載のグループ特定装置であって、
前記第１の属性構成情報が、前記第１のグループ候補を構成する人物それぞれの属性を、属性に対する人物の数で整理した形で構成され、
前記第２の属性構成情報が、前記第２のグループ候補を構成する人物それぞれの属性を、属性に対する人物の数で整理した形で構成され、
前記類似度算出部が、前記類似度として、前記第１の属性構成情報と前記第２の属性構成情報との内積、又は両者間のユークリッド距離を算出する、
ことを特徴とするグループ特定装置。

【0087】

（付記７）
付記１～６のいずれかに記載のグループ特定装置であって、
前記グループ特定部は、前記第１のグループ候補を構成する人物を１つのグループとして特定する場合に、前記第１のグループ候補を構成する人物それぞれにおける、位置、大きさ、向き、属性、及び前記第１の属性構成情報のうち、少なくとも１つを出力する、
ことを特徴とするグループ特定装置。

【0088】

（付記８）
付記１～７のいずれかに記載のグループ特定装置であって、
前記第２の撮影画像の撮影時刻が、前記第１の撮影画像の撮影時刻よりも過去であり、
前記第１の撮影画像及び前記第２の撮影画像は、同一の撮像装置によって撮影されている、
ことを特徴とするグループ特定装置。

【0089】

（付記９）
付記１～７のいずれかに記載のグループ特定装置であって、
前記第１の撮影画像及び前記第２の撮影画像は、異なる撮像装置によって撮影されており、
前記第１の撮影画像を撮影した撮像装置と、前記第２の撮影画像を撮影した撮像装置とは、所定の時間範囲内で同一の被写体を撮影できるように配置されている、
ことを特徴とするグループ特定装置。

【0090】

（付記１０）
付記１～９のいずれかに記載のグループ特定装置であって、
前記第２のグループ候補設定部が、前記第１の撮影画像の撮影時刻、前記第２の撮影画像の撮影時刻、及び前記第１のグループ候補設定部によって選択された前記人物の位置に基づいて、前記第２の撮影画像の一部の領域を探索範囲に設定し、設定した前記探索範囲の中から、人物を選択する、
ことを特徴とするグループ特定装置。

【0091】

（付記１１）
付記１～１０のいずれかに記載のグループ特定装置であって、
前記グループ特定部は、前記第１のグループ候補を構成する人物を１つのグループとして特定する場合に、複数のサンプルとなるグループとその属性構成情報とが予め登録されているデータベースに、前記第１のグループ候補の前記第１の属性構成情報を照合して、前記第１のグループ候補に適合する、前記サンプルとなるグループを特定する、
ことを特徴とするグループ特定装置。

【0092】

（付記１２）
付記１～１１のいずれかに記載のグループ特定装置であって、
前記グループ特定部は、１つのグループとして特定した第１のグループ候補が複数存在する場合に、１つのグループとして特定された複数の第１のグループ候補それぞれに共通の人物が存在しているかどうかを判定し、共通の人物が存在していると判定した第１のグループ候補を統合して１つのグループとする、
ことを特徴とするグループ特定装置。

【0093】

（付記１３）
付記１～１２のいずれかに記載のグループ特定装置であって、
前記グループ特定部が、前記第１のグループ候補を構成する人物を１つのグループとして特定しなかった場合に、前記第１のグループ候補設定部は、第１の撮影画像中の複数の人物の中から、未だ選択されていない人物を新たに選択して、新たに、前記第１のグループ候補を設定し、
前記第２のグループ候補設定部は、前記第１のグループ候補が新たに設定されると、前記第２のグループ候補を新たに設定し、
前記類似度算出部は、前記第１のグループ候補及び前記第２のグループ候補が新たに設定されると、前記類似度を新たに算出し、
前記グループ特定部は、新たに算出された前記類似度を用いて、グループを特定する、
ことを特徴とするグループ特定装置。

【0094】

（付記１４）
撮影画像からグループを特定するための方法であって、
第１の撮影画像において、その中の複数の人物の中から人物を選択し、選択した人物を基準にして、他の人物の位置を規定する空間的条件及び前記他の人物の状態を規定する状態条件に基づいて、第１のグループ候補を設定する、第１のグループ候補設定ステップと、
前記第１の撮影画像とは撮影時刻が異なる第２の撮影画像において、その中の複数の人物の中から、前記第１のグループ候補設定ステップによって選択された前記人物の属性を用いて、人物を選択し、選択した人物を基準にして、前記空間的条件及び前記状態条件に基づいて、第２のグループ候補を設定する、第２のグループ候補設定ステップと、
前記第１のグループ候補を構成する人物それぞれの属性を含む第１の属性構成情報と、前記第２のグループ候補を構成する人物それぞれの属性を含む第２の属性構成情報とを対比し、前記第１のグループ候補と前記第２のグループ候補との類似度を算出する、類似度算出ステップと、
算出された前記類似度が設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定する、グループ特定ステップと、
を備えている、ことを特徴とするグループ特定方法。

【0095】

（付記１５）
付記１４に記載のグループ特定方法であって、
前記第２のグループ候補設定ステップにおいて、撮影時刻が互いに異なる複数の前記第２の撮影画像それぞれ毎に、前記第２のグループ候補を設定し、
前記類似度算出ステップにおいて、複数の前記第２の撮影画像それぞれ毎に、前記第１の属性構成情報に含まれる、前記第１のグループ候補を構成する人物それぞれの属性と、前記第２の属性構成情報に含まれる、当該第２のグループ候補を構成する人物それぞれの属性とを対比し、前記類似度を算出し、
前記グループ特定ステップにおいて、複数の前記第２の撮影画像それぞれ毎に算出された前記類似度それぞれを用いて、前記設定条件を満たすかどうかを判定し、前記設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定する、
ことを特徴とするグループ特定方法。

【0096】

（付記１６）
付記１４または１５に記載のグループ特定方法であって、
前記空間的条件は、前記他の人物が選択された人物を中心とした設定範囲内に存在していることを含み、
前記状態条件は、前記他の人物が、選択された人物と向き合っていること、又は選択された人物と同一の方向を向いていることを含む、
ことを特徴とするグループ特定方法。

【0097】

（付記１７）
付記１６に記載のグループ特定方法であって、
前記状態条件は、更に、前記他の人物の大きさが、選択された人物の大きさを基準とした設定範囲内にあることを含む、
ことを特徴とするグループ特定方法。

【0098】

（付記１８）
付記１４～１７のいずれかに記載のグループ特定方法であって、
前記第１の属性構成情報が、前記第１のグループ候補を構成する人物それぞれの属性を表すラベルデータで構成され、
前記第２の属性構成情報が、前記第２のグループ候補を構成する人物それぞれの属性を表すラベルデータで構成され、
前記類似度算出ステップにおいて、前記類似度として、前記第１のグループ候補及び前記第２のグループ候補を合わせた全人物の数に対する、同じ属性を持つ人物の割合を算出する、
ことを特徴とするグループ特定方法。

【0099】

（付記１９）
付記１４～１７のいずれかに記載のグループ特定方法であって、
前記第１の属性構成情報が、前記第１のグループ候補を構成する人物それぞれの属性を、属性に対する人物の数で整理した形で構成され、
前記第２の属性構成情報が、前記第２のグループ候補を構成する人物それぞれの属性を、属性に対する人物の数で整理した形で構成され、
前記類似度算出ステップにおいて、前記類似度として、前記第１の属性構成情報と前記第２の属性構成情報との内積、又は両者間のユークリッド距離を算出する、
ことを特徴とするグループ特定方法。

【0100】

（付記２０）
付記１４～１９のいずれかに記載のグループ特定方法であって、
前記グループ特定ステップにおいて、前記第１のグループ候補を構成する人物を１つのグループとして特定する場合に、前記第１のグループ候補を構成する人物それぞれにおける、位置、大きさ、向き、属性、及び前記第１の属性構成情報のうち、少なくとも１つを出力する、
ことを特徴とするグループ特定方法。

【0101】

（付記２１）
付記１４～２０のいずれかに記載のグループ特定方法であって、
前記第２の撮影画像の撮影時刻が、前記第１の撮影画像の撮影時刻よりも過去であり、
前記第１の撮影画像及び前記第２の撮影画像は、同一の撮像装置によって撮影されている、
ことを特徴とするグループ特定方法。

【0102】

（付記２２）
付記１４～２０のいずれかに記載のグループ特定方法であって、
前記第１の撮影画像及び前記第２の撮影画像は、異なる撮像装置によって撮影されており、
前記第１の撮影画像を撮影した撮像装置と、前記第２の撮影画像を撮影した撮像装置とは、所定の時間範囲内で同一の被写体を撮影できるように配置されている、
ことを特徴とするグループ特定方法。

【0103】

（付記２３）
付記１４～２２のいずれかに記載のグループ特定方法であって、
前記第２のグループ候補設定ステップにおいて、前記第１の撮影画像の撮影時刻、前記第２の撮影画像の撮影時刻、及び前記第１のグループ候補設定ステップによって選択された前記人物の位置に基づいて、前記第２の撮影画像の一部の領域を探索範囲に設定し、設定した前記探索範囲の中から、人物を選択する、
ことを特徴とするグループ特定方法。

【0104】

（付記２４）
付記１４～２３のいずれかに記載のグループ特定方法であって、
前記グループ特定ステップにおいて、前記第１のグループ候補を構成する人物を１つのグループとして特定する場合に、複数のサンプルとなるグループとその属性構成情報とが予め登録されているデータベースに、前記第１のグループ候補の前記第１の属性構成情報を照合して、前記第１のグループ候補に適合する、前記サンプルとなるグループを特定する、
ことを特徴とするグループ特定方法。

【0105】

（付記２５）
付記１４～２４のいずれかに記載のグループ特定方法であって、
前記グループ特定ステップにおいて、１つのグループとして特定した第１のグループ候補が複数存在する場合に、１つのグループとして特定された複数の第１のグループ候補それぞれに共通の人物が存在しているかどうかを判定し、共通の人物が存在していると判定した第１のグループ候補を統合して１つのグループとする、
ことを特徴とするグループ特定方法。

【0106】

（付記２６）
付記１４～２５のいずれかに記載のグループ特定方法であって、
前記グループ特定ステップにおいて、前記第１のグループ候補を構成する人物を１つのグループとして特定しなかった場合に、前記第１のグループ候補設定ステップは、第１の撮影画像中の複数の人物の中から、未だ選択されていない人物を新たに選択して、新たに、前記第１のグループ候補を設定し、
前記第２のグループ候補設定ステップにおいて、前記第１のグループ候補が新たに設定されると、前記第２のグループ候補を新たに設定し、
前記類似度算出ステップにおいて、前記第１のグループ候補及び前記第２のグループ候補が新たに設定されると、前記類似度を新たに算出し、
前記グループ特定ステップにおいて、新たに算出された前記類似度を用いて、グループを特定する、
ことを特徴とするグループ特定方法。

【0107】

（付記２７）
コンピュータによって撮影画像からグループを特定するためのプログラムであって、
前記コンピュータに、
第１の撮影画像において、その中の複数の人物の中から人物を選択し、選択した人物を基準にして、他の人物の位置を規定する空間的条件及び前記他の人物の状態を規定する状態条件に基づいて、第１のグループ候補を設定する、第１のグループ候補設定ステップと、
前記第１の撮影画像とは撮影時刻が異なる第２の撮影画像において、その中の複数の人物の中から、前記第１のグループ候補設定ステップによって選択された前記人物の属性を用いて、人物を選択し、選択した人物を基準にして、前記空間的条件及び前記状態条件に基づいて、第２のグループ候補を設定する、第２のグループ候補設定ステップと、
前記第１のグループ候補を構成する人物それぞれの属性を含む第１の属性構成情報と、前記第２のグループ候補を構成する人物それぞれの属性を含む第２の属性構成情報とを対比し、前記第１のグループ候補と前記第２のグループ候補との類似度を算出する、類似度算出ステップと、
算出された前記類似度が設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定する、グループ特定ステップと、
を実行させる、プログラム。

【0108】

（付記２８）
付記２７に記載のプログラムであって、
前記第２のグループ候補設定ステップにおいて、撮影時刻が互いに異なる複数の前記第２の撮影画像それぞれ毎に、前記第２のグループ候補を設定し、
前記類似度算出ステップにおいて、複数の前記第２の撮影画像それぞれ毎に、前記第１の属性構成情報に含まれる、前記第１のグループ候補を構成する人物それぞれの属性と、前記第２の属性構成情報に含まれる、当該第２のグループ候補を構成する人物それぞれの属性とを対比し、前記類似度を算出し、
前記グループ特定ステップにおいて、複数の前記第２の撮影画像それぞれ毎に算出された前記類似度それぞれを用いて、前記設定条件を満たすかどうかを判定し、前記設定条件を満たす場合に、前記第１のグループ候補を構成する人物を１つのグループとして特定する、
ことを特徴とするプログラム。

【0109】

（付記２９）
付記２７または２８に記載のプログラムであって、
前記空間的条件は、前記他の人物が選択された人物を中心とした設定範囲内に存在していることを含み、
前記状態条件は、前記他の人物が、選択された人物と向き合っていること、又は選択された人物と同一の方向を向いていることを含む、
ことを特徴とするプログラム。

【0110】

（付記３０）
付記２９に記載のプログラムであって、
前記状態条件は、更に、前記他の人物の大きさが、選択された人物の大きさを基準とした設定範囲内にあることを含む、
ことを特徴とするプログラム。

【0111】

（付記３１）
付記２７～３０のいずれかに記載のプログラムであって、
前記第１の属性構成情報が、前記第１のグループ候補を構成する人物それぞれの属性を表すラベルデータで構成され、
前記第２の属性構成情報が、前記第２のグループ候補を構成する人物それぞれの属性を表すラベルデータで構成され、
前記類似度算出ステップにおいて、前記類似度として、前記第１のグループ候補及び前記第２のグループ候補を合わせた全人物の数に対する、同じ属性を持つ人物の割合を算出する、
ことを特徴とするプログラム。

【0112】

（付記３２）
付記２７～３０のいずれかに記載のプログラムであって、
前記第１の属性構成情報が、前記第１のグループ候補を構成する人物それぞれの属性を、属性に対する人物の数で整理した形で構成され、
前記第２の属性構成情報が、前記第２のグループ候補を構成する人物それぞれの属性を、属性に対する人物の数で整理した形で構成され、
前記類似度算出ステップにおいて、前記類似度として、前記第１の属性構成情報と前記第２の属性構成情報との内積、又は両者間のユークリッド距離を算出する、
ことを特徴とするプログラム。

【0113】

（付記３３）
付記２７～３２のいずれかに記載のプログラムであって、
前記グループ特定ステップにおいて、前記第１のグループ候補を構成する人物を１つのグループとして特定する場合に、前記第１のグループ候補を構成する人物それぞれにおける、位置、大きさ、向き、属性、及び前記第１の属性構成情報のうち、少なくとも１つを出力する、
ことを特徴とするプログラム。

【0114】

（付記３４）
付記２７～３３のいずれかに記載のプログラムであって、
前記第２の撮影画像の撮影時刻が、前記第１の撮影画像の撮影時刻よりも過去であり、
前記第１の撮影画像及び前記第２の撮影画像は、同一の撮像装置によって撮影されている、
ことを特徴とするプログラム。

【0115】

（付記３５）
付記２７～３３のいずれかに記載のプログラムであって、
前記第１の撮影画像及び前記第２の撮影画像は、異なる撮像装置によって撮影されており、
前記第１の撮影画像を撮影した撮像装置と、前記第２の撮影画像を撮影した撮像装置とは、所定の時間範囲内で同一の被写体を撮影できるように配置されている、
ことを特徴とするプログラム。

【0116】

（付記３６）
付記２７～３５のいずれかに記載のプログラムであって、
前記第２のグループ候補設定ステップにおいて、前記第１の撮影画像の撮影時刻、前記第２の撮影画像の撮影時刻、及び前記第１のグループ候補設定ステップによって選択された前記人物の位置に基づいて、前記第２の撮影画像の一部の領域を探索範囲に設定し、設定した前記探索範囲の中から、人物を選択する、
ことを特徴とするプログラム。

【0117】

（付記３７）
付記２７～３６のいずれかに記載のプログラムであって、
前記グループ特定ステップにおいて、前記第１のグループ候補を構成する人物を１つのグループとして特定する場合に、複数のサンプルとなるグループとその属性構成情報とが予め登録されているデータベースに、前記第１のグループ候補の前記第１の属性構成情報を照合して、前記第１のグループ候補に適合する、前記サンプルとなるグループを特定する、
ことを特徴とするプログラム。

【0118】

（付記３８）
付記２７～３７のいずれかに記載のプログラムであって、
前記グループ特定ステップにおいて、１つのグループとして特定した第１のグループ候補が複数存在する場合に、１つのグループとして特定された複数の第１のグループ候補それぞれに共通の人物が存在しているかどうかを判定し、共通の人物が存在していると判定した第１のグループ候補を統合して１つのグループとする、
ことを特徴とするプログラム。

【0119】

（付記３９）
付記２７～３８のいずれかに記載のプログラムであって、
前記グループ特定ステップにおいて、前記第１のグループ候補を構成する人物を１つのグループとして特定しなかった場合に、前記第１のグループ候補設定ステップは、第１の撮影画像中の複数の人物の中から、未だ選択されていない人物を新たに選択して、新たに、前記第１のグループ候補を設定し、
前記第２のグループ候補設定ステップにおいて、前記第１のグループ候補が新たに設定されると、前記第２のグループ候補を新たに設定し、
前記類似度算出ステップにおいて、前記第１のグループ候補及び前記第２のグループ候補が新たに設定されると、前記類似度を新たに算出し、
前記グループ特定ステップにおいて、新たに算出された前記類似度を用いて、グループを特定する、
ことを特徴とするプログラム。

【0120】

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【産業上の利用可能性】

【0121】

以上のように本発明によれば、人物の追跡処理を必要とすることなく、グループを特定することができる。本発明は、画像からグループを特定することが求められる各種分野において有効である。

【符号の説明】

【0122】

１０ グループ特定装置
１１ 第１のグループ候補設定部
１２ 第２のグループ候補設定部
１３ 類似度算出部
１４ グループ特定部
１５ 画像データ取得部
１６ 画像データ格納部
２０ 撮像装置
３０ 管理装置
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】