特許 6570905 グラフ表示装置、グラフ表示プログラム及びグラフ表示プログラムが記憶されたコンピュータ読取可能な記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6570905

(24)【登録日】2019年8月16日

(45)【発行日】2019年9月4日

(54)【発明の名称】グラフ表示装置、グラフ表示プログラム及びグラフ表示プログラムが記憶されたコンピュータ読取可能な記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20190826BHJP

   G06T 1/00 20060101ALI20190826BHJP

   G06T 7/246 20170101ALI20190826BHJP

   G06T 7/292 20170101ALI20190826BHJP

   H04N 7/18 20060101ALI20190826BHJP

【ＦＩ】

   G06T7/00 660B

   G06T1/00 340B

   G06T7/246

   G06T7/292

   H04N7/18 D

   H04N7/18 K

【請求項の数】9

【全頁数】22

(21)【出願番号】特願2015-141316(P2015-141316)

(22)【出願日】2015年7月15日

(65)【公開番号】特開2017-21753(P2017-21753A)

(43)【公開日】2017年1月26日

【審査請求日】2018年5月30日

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２７年度、国立研究開発法人科学技術振興機構研究成果展開事業 センター・オブ・イノベーションプログラム「共進化社会システム創成拠点：ヒト／モノ・エネルギー・情報のモビリティによる多様で持続的な社会の構築」委託研究開発、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】504145342

【氏名又は名称】国立大学法人九州大学

(74)【代理人】

【識別番号】110001416

【氏名又は名称】特許業務法人 信栄特許事務所

(72)【発明者】

【氏名】堀 磨伊也

(72)【発明者】

【氏名】エチエンヌ ポット

(72)【発明者】

【氏名】島田 敬士

(72)【発明者】

【氏名】谷口 倫一郎

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 特開２００２−１５０２９７（ＪＰ，Ａ）

【文献】 特開２００８−０５２５２４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮像領域が各々異なる複数台のカメラによって撮像された複数の人物画像と当該複数の人物画像間の類似度に係る類似度情報とを取得するように構成された取得部と、
前記複数の人物画像と前記類似度情報に基づいて、各々がノードとなる複数の人物画像と当該複数の人物画像間を連結する複数のエッジからなるグラフを生成するように構成されたグラフ生成部と、
前記生成されたグラフを表示部に表示させるように構成された表示制御部と、
操作者からの入力操作に従って、前記グラフ生成部によって生成されたグラフの表示形態を変更することで前記複数の人物画像間の対応付けを変更するように構成されたグラフ変更部と、
を備え、
２つの人物画像間の類似度が所定の閾値よりも大きい場合に、前記グラフ生成部は、前記２つの人物画像間を連結するエッジを生成するように構成される、グラフ表示装置。

【請求項2】

前記グラフ変更部は、
所定のエッジに対する前記操作者からの入力操作に従って、前記所定のエッジを削除するように構成される、請求項１に記載のグラフ表示装置。

【請求項3】

前記グラフ変更部は、
所定の人物画像に対する前記操作者からの入力操作に従って、前記所定の人物画像と対応する人物画像とを連結するエッジを生成するように構成される、請求項１又は２に記載のグラフ表示装置。

【請求項4】

前記グラフ変更部は、
前記操作者によって選択されたグラフ表示アルゴリズムに応じて、前記生成されたグラフの表示形態を変更するように構成されている、請求項１から請求項３のうちいずれか一項に記載のグラフ表示装置。

【請求項5】

前記グラフ表示アルゴリズムとして、類似する人物画像を互いに近傍に配置するとともに、類似度に応じて人物画像間の前記エッジの長さを調整するアルゴリズムと、類似する人物画像を互いに近傍に配置するとともに、類似度に関わらず前記エッジの長さを均等にするアルゴリズムとが含まれる、請求項４に記載のグラフ表示装置。

【請求項6】

前記グラフ変更部は、
前記複数のエッジによって連結された複数の人物画像からなる画像クラスターに対する前記操作者からの入力操作に従って、当該画像クラスターに属する各人物画像に同一のラベルを付与するように構成されている、請求項１から請求項５のうちいずれか一項に記載のグラフ表示装置。

【請求項7】

前記同一のラベルが付与された人物画像を同一人物の画像であるとして記録するように構成された記録部をさらに備える、請求項６に記載のグラフ表示装置。

【請求項8】

撮像領域が各々異なる複数台のカメラによって撮像された複数の人物画像と当該複数の人物画像間の類似度に係る類似度情報とを取得する取得機能と、
前記人物画像と前記類似度情報に基づいて、各々がノードとなる複数の人物画像と当該複数の人物画像間を連結する複数のエッジからなるグラフを生成するグラフ生成機能と、
前記生成されたグラフを表示部に表示させる表示制御機能と、
操作者からの入力操作に従って、前記グラフ生成機能によって生成されたグラフの表示形態を変更することで前記複数の人物画像間の対応付けを変更するグラフ変更機能と、
をコンピュータに実現させるためのグラフ表示プログラムであって、
２つの人物画像間の類似度が所定の閾値よりも大きい場合に、前記グラフ生成機能は、前記２つの人物画像間を連結するエッジを生成する、グラフ表示プログラム。

【請求項9】

請求項８に記載のグラフ表示プログラムが記憶されたコンピュータ読取可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、グラフ表示装置に関する。また、本発明は、グラフ表示プログラム及びグラフ表示プログラムが記憶されたコンピュータ読取可能な記憶媒体に関する。

【背景技術】

【0002】

従来、複数のカメラ画像を用いた人物追跡では、計測精度、即ち複数のカメラで撮像された人物が同一人物か否かを判定する精度を向上させるため、一般に複数のカメラの撮像範囲をオーバラップさせることで、各カメラ間で人物の紐づけ（ＩＤの付与）が行われる。複数のカメラの撮像範囲がオーバラップしていれば、それぞれのカメラで同一人物を同時に撮影することが可能であり、各カメラで撮像された画像の空間座標が共通化（空間の連続性が担保）されることで、撮像条件（環境光の強さや撮像方向等）がある程度異なっていても、各カメラで撮像された人物が同一人物であると判定することができる。

【0003】

カメラ本体及び設置に要するコストや、カメラの設置場所が屋外である場合においては設置場所に関する規制等を考慮すると、複数のカメラの撮像範囲をオーバラップさせずに（即ち、カメラの設置台数をなるべく少なくしつつ）高精度に人物追跡が行える技術の確立が望まれる。しかしながら、複数のカメラの撮像範囲がオーバラップしない状況における人物追跡では、上述した空間座標の共通化に基づく同一人物か否かの判定は困難であり、各カメラ間で撮像性能、撮像時間、撮像領域等の撮像条件がそれぞれ異なるため、正確に人物追跡を行うことは難しい。

【0004】

なお、複数のカメラの撮像範囲がオーバラップしていたとしても、カメラ間の相互の位置関係や撮像範囲の情報等が得られないような場合（即ち、オーバラップする領域が既知ではない場合）は、複数のカメラ間で実質的に空間の連続性が担保されず、撮像条件の相違が問題となる。

【0005】

撮像条件が異なる結果、例えば、複数台のカメラで撮像された同一人物の２つの人物画像のうち、一方の人物画像と他方の人物画像との間の類似度が撮像条件によって比較的小さくなってしまう場合には、人物照合装置は、当該一方の人物画像と当該他方の人物画像にそれぞれ異なる識別（ＩＤ）を付与する可能性が高い。このように、複数のカメラの撮像範囲がオーバラップしない状況や、複数のカメラの撮像範囲がオーバラップしていても空間座標が共有化されない状況において、撮像条件が異なるカメラ間の人物追跡では、複数の人物画像間の対応付け（いわゆる、同一人物の人物画像に同一のＩＤ等を付与すること）に誤判定が発生し、これを修正するプロセスが必要となる。

【0006】

特許文献１では、撮像条件が異なる複数台のカメラから撮像された複数の人物画像間の対応付けの誤り（以下、「誤対応」という。）を各カメラ間の距離と撮像時間差に基づいて修正するプロセスが開示されている。ここで、誤対応とは、例えば、Ａ人物の人物画像とＢ人物の人物画像を同一人物の人物画像として処理することや、２つのＡ人物の人物画像を、それぞれ異なる人物の人物画像として処理することをいう。

【0007】

特に、特許文献１では、各カメラ間の距離と撮像時間差に基づいて移動速度を算出した後に、人間の平均移動速度を当該算出された移動速度で除算することで時空間尤度を求め、その後、求められた時空間尤度と所定の閾値を比較することで、人物画像間の誤対応を修正するプロセスが開示されている。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】国際公開第２０１３／１０８６８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、特許文献１に開示された技術では、人物画像間の誤対応を修正する際に、各カメラ間の距離と撮像時間差に係る情報を必要としている。しかも、これらの情報と平均移動速度から得られた時空間尤度と所定の閾値とを比較するプロセスだけでは、人物画像間の誤対応を確実に修正するには十分ではない。特に、時空間尤度が所定の閾値よりも小さい場合でも、２画像間の対応付けが誤っているケースは十分に考えられる。このように、所定のパラメータと閾値とを比較することで誤対応を修正するプロセスには限界がある。

【0010】

本発明は、人物画像間の誤対応を効率的に修正することが可能なグラフ表示装置を提供することを目的とする。
また、本発明は、当該グラフ表示装置を実現するためのグラフ表示プログラム及び当該グラフ表示プログラムが記憶されたコンピュータ読取可能な記憶媒体を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明の一態様に係るグラフ表示装置は、
撮像領域が各々異なる複数台のカメラによって撮像された複数の人物画像と当該複数の人物画像間の類似度に係る類似度情報とを取得するように構成された取得部と、
前記人物画像と前記類似度情報に基づいて、各々がノードとなる複数の人物画像と当該複数の人物画像間を連結する複数のエッジからなるグラフを生成するように構成されたグラフ生成部と、
前記生成されたグラフを表示部に表示させるように構成された表示制御部と、
操作者からの入力操作に従って、前記グラフ生成部によって生成されたグラフの表示形態を変更することで前記複数の人物画像間の対応付けを変更するように構成されたグラフ変更部と、を備える。
２つの人物画像間の類似度が所定の閾値よりも大きい場合に、前記グラフ生成部は、前記２つの人物画像間を連結するエッジを生成するように構成される。

【0012】

上記構成によれば、２つの人物画像間の類似度が所定の閾値よりも大きい場合に、当該２つの人物画像間を連結するエッジが生成されるので、人物画像間の類似度をエッジにより可視化することが可能となる。さらに、操作者からの入力操作に従って、グラフ生成部によって生成されたグラフの表示形態が変更されることで、人物画像間の対応付けが変更される。このように、複数の人物画像間の対応付けの変更を可視化することが可能となる。

【0013】

従って、人物画像間の誤対応を目視による手作業により直感的かつ効率的に修正することができるグラフ表示装置を提供することができる。

【0014】

さらに、操作者によって修正された人物画像間の対応付けデータは、人物画像データベースとして保存され機械学習に供せられる。このように、画像取得から機械学習までに要する時間を短縮できるとともに、誤った情報に基づく学習を排除し、より高精度な人物追跡が可能となる。

【0015】

また、前記グラフ変更部は、所定のエッジに対する前記操作者からの入力操作に従って、前記所定のエッジを削除するように構成されてもよい。

【0016】

上記構成によれば、操作者の入力操作によって、例えば、互いに異なる人物に属する２つの人物画像間のエッジを削除できる。このように、エッジを削除するといった比較的簡単な入力操作によって、複数の人物画像間の対応付けを変更することができる。

【0017】

また、前記グラフ変更部は、所定の人物画像に対する前記操作者からの入力操作に従って、前記所定の人物画像と対応する人物画像とを連結するエッジを生成するように構成されてもよい。

【0018】

上記構成によれば、操作者の入力操作によって、例えば、同一人物に属する２つの人物画像を連結するエッジを生成することができる。このように、エッジを生成するといった比較的簡単な入力操作によって、複数の人物画像間の対応付けを変更することができる。

【0019】

また、前記グラフ変更部は、前記操作者によって選択されたグラフ表示アルゴリズムに応じて、前記生成されたグラフの表示形態を変更するように構成されてもよい。

【0020】

上記構成によれば、グラフ表示アルゴリズムに応じて、表示部に表示されたグラフの表示形態を適宜変更することができる。このように、操作者は人物画像間の誤対応を発見しやすくなる。

【0021】

また、前記グラフ表示アルゴリズムとして、類似する人物画像を互いに近傍に配置するとともに、類似度に応じて人物画像間の前記エッジの長さを調整するアルゴリズムと、類似する人物画像を互いに近傍に配置するとともに、類似度に関わらず前記エッジの長さを均等にするアルゴリズムとを含ませてもよい。

【0022】

上記構成によれば、操作者は、類似する人物画像を互いに近傍に配置するとともに、類似度に応じて人物画像間のエッジの長さを調整するアルゴリズムによるグラフレイアウトと、類似する人物画像を互いに近傍に配置するとともに、類似度に関わらずエッジの長さを均等にするアルゴリズムによるグラフレイアウトを適宜切り替えることで、人物画像間の誤対応を発見しやすくなる。さらに、操作者が複数の人物画像間の対応付けを適宜変更した後に、類似度に応じて人物画像間のエッジの長さを調整するアルゴリズムから類似度に関わらずエッジの長さを均等にするアルゴリズムに切り替えることで、複数のエッジによって連結された複数の人物画像からなる画像クラスター（ここでは、相互に類似する複数の人物画像が近接して寄り集まった集合体をいう。）を表示部に表示させることが可能となり、各人物画像間の対応付けが明確に可視化される。

【0023】

前記グラフ変更部は、前記複数のエッジによって連結された複数の人物画像からなる画像クラスターに対する前記操作者からの入力操作に従って、当該画像クラスターに属する各人物画像に同一のラベルを付与するように構成されてもよい。

【0024】

上記構成によれば、複数のエッジによって連結された複数の人物画像からなる画像クラスターに属する各人物画像に同一のラベルを付与できる。このように、ラベルを各人物画像に付与することで、各人物画像間の対応付けを明確に可視化することができる。

【0025】

グラフ表示装置は、前記同一のラベルが付与された人物画像を同一人物の画像であるとして記録するように構成された記録部をさらに備えてもよい。

【0026】

上記構成によれば、同一のラベルが付与された人物画像が同一人物の画像であるとして記録される。例えば、Ａラベルが付与された人物画像がＡ人物の画像として記録され、Ｂラベルが付与された人物画像がＢ人物の画像として記録される。このように、記録部に記録されたデータを、人物画像データベースを用いた機械学習に役立てることができる。

【0027】

本発明の一態様に係るグラフ表示プログラムは、
撮像領域が各々異なる複数台のカメラによって撮像された複数の人物画像と当該複数の人物画像間の類似度に係る類似度情報とを取得する取得機能と、
前記人物画像と前記類似度情報に基づいて、各々がノードとなる複数の人物画像と当該複数の人物画像間を連結する複数のエッジからなるグラフを生成するグラフ生成機能と、
前記生成されたグラフを表示部に表示させる表示制御機能と、
操作者からの入力操作に従って、前記グラフ生成機能によって生成されたグラフの表示形態を変更することで前記複数の人物画像間の対応付けを変更するグラフ変更機能と、をコンピュータに実現させるためものである。
２つの人物画像間の類似度が所定の閾値よりも大きい場合に、前記グラフ生成機能は、前記２つの人物画像間を連結するエッジを生成する。

【0028】

上記構成によれば、２つの人物画像間の類似度が所定の閾値よりも大きい場合に、当該２つの人物画像間を連結するエッジが生成されるので、人物画像間の類似度をエッジにより確認することが可能となる。さらに、操作者からの入力操作に従って、グラフ生成機能に表示されたグラフの表示形態が変更されることで、人物画像間の対応付けが変更される。このように、複数の人物画像間の対応付けの変更を可視化することが可能となる。

【0029】

従って、人物画像間の誤対応を目視による手作業により直感的かつ効率的に修正することができるグラフ表示プログラムを提供することができる。

【0030】

さらに、修正者によって修正された人物画像間の対応付けデータは、人物画像データベースとして保存され機械学習に供せられる。このように、画像取得から機械学習までに要する時間を短縮できるとともに、誤った情報に基づく学習を排除し、より高精度な人物追跡が可能となる。

【0031】

また、上記グラフ表示プログラムが記憶されたコンピュータ読取可能な記憶媒体が提供される。

【発明の効果】

【0032】

本発明によれば、人物画像間の誤対応を効率的に修正することが可能なグラフ表示装置及びグラフ表示プログラムが提供される。

【図面の簡単な説明】

【0033】

【図1】本発明の一実施形態に係るグラフ表示装置と、画像処理サーバと、複数カメラとからなるシステム構成図である。

【図2】複数カメラの配置の一例を示す図である。

【図3】図１に示したグラフ表示装置と画像処理サーバのハードウェア構成を示した図である。

【図4】図１に示したグラフ表示装置の制御部の機能ブロックを示した図である。

【図5】カメラ画像データの取得から演算処理部による機械学習までの一連のプロセスを示すフローチャートである。

【図6】各人物画像間の類似度を演算する手法を説明するための図である。

【図7】本発明の一実施形態に係るグラフ表示装置の表示部に表示される表示画面の一例を示す図である。

【図8】本発明の一実施形態に係るグラフ表示装置の表示部に表示される表示画面の一例を示す図である。

【図9】本発明の一実施形態に係るグラフ表示装置の表示部に表示される表示画面の一例を示す図である。

【図10】本発明の一実施形態に係るグラフ表示装置の表示部に表示される表示画面の一例を示す図である。

【図11】本発明の一実施形態に係るグラフ表示装置の表示部に表示される表示画面の一例を示す図である。

【図12】本発明の一実施形態に係るグラフ表示装置の表示部に表示される表示画面の一例を示す図である。

【図13】本発明の一実施形態に係るグラフ表示装置の表示部に表示される表示画面の一例を示す図である。

【図14】カメラ画像データの取得から新たに取得された人物画像に対するラベルの決定までの一連のプロセスを示すフローチャートである。

【発明を実施するための形態】

【0034】

以下、本発明の実施形態について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された要素と同一の参照番号を有する要素については、説明の便宜上、その説明は省略する。

【0035】

図１は、本発明の一実施形態に係るグラフ表示装置１と、画像処理サーバ２と、カメラ３ａ〜３ｃとからなるシステム構成図を示す。グラフ表示装置１と、画像処理サーバ２と、カメラ３ａ〜３ｃのそれぞれは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はインターネット等の通信ネットワーク４を介して通信可能に接続されている。

【0036】

各カメラ３ａ〜３ｃは、各々の撮像範囲Ｓａ〜Ｓｃ内において、所定時間の間、時間的に連続する複数の静止画（複数フレーム）からなる動画を撮像するように構成されている。各カメラ３ａ〜３ｃは、撮像性能、撮像時間、撮像領域等の撮像環境が異なる。例えば、各カメラ３ａ〜３ｃは、図２に示す一室の所定の箇所に設置されている。図２に示すように、カメラ３ａ〜３ｃは、互いに異なる撮像領域Ｓａ〜Ｓｃを有しており、撮像領域Ｓａ〜Ｓｃの各々は、互いにオーバラップしていない。このため、カメラ３ａ〜３ｃによって取得されたカメラ画像によって人物追跡を実行することは一般的にかなり難しいと考えられている。

【0037】

図３は、図１に示したグラフ表示装置１と画像処理サーバ２のハードウェア構成を示している。図３に示すように、画像処理サーバ２は、人物画像データベースを格納する記憶部２１と、演算処理部２２と、ネットワークインターフェース２３と、バス２４とを備える。記憶部２１と、演算処理部２２と、ネットワークインターフェース２３はバス２４を介して互いに通信可能に接続されている。

【0038】

記憶部（ストレージ）２１は、人物画像データベースを格納するように構成されており、例えば、複数台のＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等によって構成されている。

【0039】

演算処理部２２は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)であって、ＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。

【0040】

撮像条件が異なる各カメラ３ａ〜３ｃによって撮像された複数のカメラ画像は、通信ネットワーク４を介してネットワークインターフェース２３に送信される。ネットワークインターフェース２３は、受信した複数のカメラ画像を演算処理部２２に送信し、演算処理部２２は、複数のカメラ画像に基づいて、複数の人物画像（人物画像データ）と、当該複数の人物画像間の類似度に係る類似度情報を取得する。尚、本明細書において、「人物画像」は、説明の便宜上、可視化されていない「人物画像データ」および可視化された「人物画像」の両方の意味を含むものとして定義される。

【0041】

ここで、類似度情報について簡単に説明する。例えば、３つの人物画像Ａ，Ｂ，Ｃがある場合、人物画像Ａと人物画像Ｂとの間の類似度、人物画像Ａと人物画像Ｃとの間の類似度、人物画像Ｂと人物画像Ｃとの間の類似度が類似度情報に含まれる。また、人物画像間の類似度の演算手法については後述する。

【0042】

演算処理部２２によって取得された人物画像と類似度情報は、人物画像データベースとして記憶部２１に保存される。尚、演算処理部２２は、複数の人物画像間の対応付けに係る情報を取得して、当該対応付け情報が人物画像データベースとして記憶部２１に保存されてもよい。ここで、「人物画像間の対応付けに係る情報」の具体例としては、所定の人物画像が複数の人物画像によって形成される複数の画像クラスターのうちのいずれに属するかを示す情報である。例えば、人物画像Ａと人物画像Ｂが共に同一人物の画像を表すと演算処理部２２によって決定された場合、人物画像Ａと人物画像Ｂが同一の画像クラスターに属することを示す情報が人物画像データベースとして記憶部２１に保存される。

【0043】

グラフ表示装置１は、制御部１２と、記憶部１３と、ネットワークインターフェース１４と、表示部１５と、操作入力部１６と、バス１７とを備える。制御部１２と、記憶部１３と、ネットワークインターフェース１４と、表示部１５と、操作入力部１６は、バス１７を介して互いに通信可能に接続されている。

【0044】

グラフ表示装置１は、例えば、パーソナルコンピュータ、スマートフォン、タブレットによって構成されてもよい。

【0045】

制御部１２は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)であって、ＲＯＭ又は記憶部１３に組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。

【0046】

特に、プロセッサがグラフ表示プログラムをＲＡＭ上に展開し、ＲＡＭとの協働でグラフ表示プログラムを実行することで、制御部１２は、グラフ表示装置１の各種動作を制御してもよい。制御部１２及びグラフ表示プログラムの詳細については後述する。

【0047】

記憶部（ストレージ）１３は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部１３には、グラフ表示プログラム、通信ネットワーク４を介して取得された人物画像及び類似度情報、並びに後述する記録部１２５（図４参照）によって記録されたラベル情報が格納されていてもよい。

【0048】

ネットワークインターフェース１４は、グラフ表示装置１を通信ネットワーク４に接続するように構成されている。記録部１２５によって記録されたラベル情報は、ネットワークインターフェース１４を介して通信ネットワーク４上に配置された画像処理サーバ２に送信されてもよい。また、人物画像及び類似度情報は、画像処理サーバ２から通信ネットワーク４を介してネットワークインターフェース１４に送信されてもよい。

【0049】

表示部１５は、後述するグラフ生成部１２２によって生成されたグラフ２３０（図７等参照）を表示させるように構成されている。表示部１５は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等である。

【0050】

操作入力部１６は、グラフ表示装置１を操作する操作者の入力操作を受付けると共に、当該入力操作に応じて操作信号を出力するように構成されている。操作入力部１６は、例えば、表示部１５上に重ねて配置されたタッチパネル、筐体に取り付けられた操作ボタン、マウス、キーボード等である。操作者は、表示部１５に表示されるグラフ２３０を確認しながら、操作入力部１６を通じてグラフ表示装置１に対して所定の操作を行うことができる。

【0051】

図４は、図１に示したグラフ表示装置１の制御部１２の機能ブロックを示した図である。図４に示すように、制御部１２は、取得部１２１と、グラフ生成部１２２と、表示制御部１２３と、グラフ変更部１２４と、記録部１２５とを備える。

【0052】

取得部１２１は、通信ネットワーク４及びネットワークインターフェース１４を介して、画像処理サーバ２から複数の人物画像及び類似度情報を取得するように構成される。

【0053】

グラフ生成部１２２は、後述するグラフ表示アルゴリズムに基づいて取得部１２１によって取得された人物画像及び類似度情報を処理し、グラフ２３０（図７参照）を生成するように構成されている。図７に示すように、グラフ２３０は、各々がノードとなる複数の人物画像１００ａ，１００ｂ，１００ｃ・・・と当該複数の人物画像間を連結する枝であるエッジ５ａ，５ｂ，５ｃ・・・とから構成される。

【0054】

表示制御部１２３は、グラフ生成部１２２によって生成されたグラフ２３０を表示部１５に表示させるように構成されている。また、表示制御部１２３は、操作入力部１６に対する操作者からの入力操作に対応する操作信号に従って、表示部１５に表示された表示画面２００（図７等参照）を変更するように構成される。

【0055】

グラフ変更部１２４は、操作者からの入力操作に従って、グラフ生成部１２２によって生成されたグラフ２３０の表示形態を変更することで、複数の人物画像間の対応付けを変更するように構成されている（例えば、図８，９を参照）。具体的には、グラフ変更部１２４は、操作入力部１６によって出力された操作信号に従って、グラフ２３０の表示形態を変更するための指示信号を出力する。グラフ生成部１２２は、当該指示信号に従って、表示形態が変更されたグラフを生成する。表示制御部１２３は、表示形態が変更されたグラフ２３０を表示部１５に表示させる。

【0056】

記録部１２５は、操作入力部１６に対する操作者からの入力操作により各人物画像に付与されたラベルを記録するように構成されている（例えば、図１３を参照）。特に、記録部１２５は、同一のラベルが付与された人物画像を同一人物の画像であるとして記録するように構成されている。

【0057】

次に、図５を参照してカメラ３ａ〜３ｃによるカメラ画像の取得から演算処理部２２による機械学習までの一連のプロセスについて説明する。図５は、当該一連のプロセスを示すフローチャートである。

【0058】

ステップＳ１０では、各カメラ３ａ〜３ｃによって複数のカメラ画像（カメラ画像データ）が取得される。例えば、カメラ３ａがＨ時間の間、撮像領域Ｓａをフレーム数Ｂ／秒で撮影した場合には、得られるカメラ画像の枚数は、３６００Ｂ×Ｈ枚となる。各カメラ３ａ〜３ｂによって取得されたカメラ画像は、通信ネットワーク４を介して画像処理サーバ２の演算処理部２２に送信される。

【0059】

ステップＳ１１では、演算処理部２２は、複数のカメラ画像から人物を検出する。演算処理部２２は、改善された適応ガウス混合モデルを用いて各カメラ画像の全体画像から背景差分を取得する。次に、モルフォロジー演算（ダイレーション（膨張）、エロージョン（侵食））を用いて人物の輪郭を検出する。このようにして、演算処理部２２は、各カメラ画像から人物を検出する。また、演算処理部２２は、公知のアルゴリズムであるＪｏｉｎｔ ＨＯＧ特徴を用いて人物検出を行なってもよい。

【0060】

ステップＳ１２では、演算処理部２２は、人物画像を取得する。最初に、演算処理部２２は、人物が検出された各カメラ画像から、検出された人物及びその周囲領域からなる矩形領域をトリミングすることで、人物及びその周囲領域のみを表す複数のフレームを取得する。そして、演算処理部２２は、取得された複数のフレームのうち、ユークリッド距離が近い人物が写っている５つのフレームから構成される複数の画像シーケンスを抽出する。そして、演算処理部２２は、抽出された各画像シーケンスを一つの人物画像として生成する（図６参照）。ここで、各画像シーケンスの５つのフレームに写っている人物は同一人物である。

【0061】

また、５つのフレームからなる画像シーケンスにおいて、隣接フレーム間における撮像間隔は略一定となっている。本実施形態の説明において、複数の人物画像の各々は、５つのフレームによって構成されているが、フレームの数は任意に決定することができる。例えば、演算処理部２２は、１つのフレームからなる人物画像を生成してもよい。以下では、複数の人物画像の各々は、５つのフレームを有するものとして説明する。

【0062】

次に、演算処理部２２は、各人物画像の人物サイズを正規化する。つまり、演算処理部２２は、各人物画像のサイズを拡縮することで、各人物画像の人物サイズを略一定にする。

【0063】

次に、ステップＳ１３では、演算処理部２２は、各人物画像の特徴量を抽出する。具体的には、演算処理部２２は、特徴量として、各人物画像の各フレームのＲＧＢヒストグラムを生成すると共に、ｋ平均法を用いて各フレームの主要色（例えば、代表的な７色）を抽出する。

【0064】

次に、ステップＳ１４では、演算処理部２２は、各人物画像間の類似度を演算する。各人物画像間の類似度の演算手法について図６を参照して説明する。特に、図６を参照して、人物画像１００ａと人物画像１００ｂとの間の類似度の演算手法について説明する。図６に示すように、人物画像１００ａは、５つのフレーム１００ａ−１〜１００ａ−５を有しており、各フレームに写っている人物は同一人物である。一方、人物画像１００ｂも、５つのフレーム１００ｂ−１〜１００ｂ−５を有しており、各フレームに写っている人物は同一人物である。

【0065】

演算処理部２２は、フレーム１００ａ−１〜１００ａ―５とフレーム１００ｂ−１〜１００ｂ−５との間における全ての組み合わせにおいて類似／非類似の判定をＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いて行う。ＳＶＭは、教師あり学習を用いるパターン認識モデルの一つである。人物画像１００ａと人物画像１００ｂは、それぞれ５つのフレームを有しているので、各フレーム間において合計２５回（５×５回）の類似／非類似の判定が識別器を用いて行われる。

【0066】

例えば、フレーム１００ａ−１とフレーム１００ｂ−１との間の類似／非類似の判定の際に、フレーム１００ａ―１とフレーム１００ｂ−１の特徴ベクトルが識別器に入力される。特徴ベクトルとしては、ＲＧＢヒストグラムのＢｈａｔｔａｃｈａｙｙａ距離（例えば、８ビット）や主要色のユークリッド距離（例えば、８ビット）が用いられる。

【0067】

フレーム１００ａ−１とフレーム１００ｂ−１との間の類似／非類似の判定が行われた結果、両者が類似であるならば判定値１が識別器から出力され、両者が非類似であるならば判定値０が識別器から出力される。このように、人物画像１００ａのフレームと人物画像１００ｂのフレームとの間において、合計２５回の類似度の演算が行われる。例えば、２５回の類似度の演算の結果、識別器から出力される全ての判定値が１の場合、人物画像１００ａと人物画像１００ｂとの間の類似度は１００％となる。一方、識別器から出力される全ての判定値が０の場合、人物画像１００ａと人物画像１００ｂとの間の類似度は０％となる。このように、人物画像１００ａと人物画像１００ｂとの間の類似度は、０％から１００％までの４％刻みで表すことができる。

【0068】

このように、演算処理部２２は、人物画像１００ａと人物画像１００ｂとの間の類似度を演算することができる。上記手法と同様にして、演算処理部２２は、各人物画像間における全ての組み合わせにおいて類似度の演算を行う。その後、演算処理部２２は、複数の人物画像と、複数の人物画像間の類似度に係る類似度情報と、各人物画像の特徴量を人物画像データベースとして記憶部２１に保存する。

【0069】

次に、ステップＳ１５において、グラフ表示装置１は、通信ネットワーク４を介して画像処理サーバ２から複数の人物画像と類似度情報を取得する。具体的には、図４に示す制御部１２の取得部１２１が通信ネットワーク４及びネットワークインターフェース１４を介して人物画像データベースから複数の人物画像と類似度情報を取得する。

【0070】

次に、ステップＳ１６において、グラフ生成部１２２は、取得部１２１によって取得された複数の人物画像と類似度情報に基づいてグラフ２３０を生成する。そして、表示制御部１２３は、グラフ表示アルゴリズムに基づいてグラフ生成部１２２によって生成されたグラフ２３０を表示部１５に表示する。

【0071】

表示部１５に表示されたグラフ２３０について図７を参照して説明する。図７は、グラフ表示装置１の表示部１５に表示される表示画面２００の一例を示す。図７に示すように、表示画面２００は、グラフ２３０が表示されるグラフ表示領域２１０と複数の操作ボタンが表示される操作領域２２０とを有する。グラフ２３０は、各々がノードとなる複数の人物画像１００と、複数の人物画像１００を連結するエッジ５（ノード間を連結する枝）により構成される。ここで、グラフ２３０には、各人物画像１００を構成する５つのフレームうち代表的な一のフレームが表示されている。例えば、人物画像１００が一つのフレームにより構成されている場合には、当該一のフレームがグラフ２３０に表示される。尚、エッジ５は人物画像１００をｎ次元空間上で連結しているが、操作者によって可視化されるためにエッジ５が２次元上で表示されている。勿論、グラフ２３０は３次元的に表示することも可能である。

【0072】

尚、以下の説明では、グラフ２３０に表示される複数の人物画像１００の一部を明示して説明する場合に、適宜、人物画像１００ａ，１００ｂ等と呼ぶとともに、グラフ２３０に表示される複数のエッジ５の一部を明示して説明する場合に、適宜、エッジ５ａ，５ｂ等と呼ぶこととする。

【0073】

グラフ生成部１２２は、２つの人物画像１００間の類似度が所定の閾値よりも大きい場合に、２つの人物画像１００間を連結するエッジ５を生成するように構成されている。各人物画像１００間の類似度は、取得部１２１によって取得された類似度情報中に含まれている。類似度の閾値については、操作領域２２０に表示されるスライダ２２１を操作することで変更可能である。図７に示すように、人物画像１００ａと人物画像１００ｂはエッジ５ｂによって連結されている。人物画像１００ａと人物画像１００ｃはエッジ５ｃによって連結されている。さらに、人物画像１００ａと人物画像１００ｊはエッジ５ａによって連結されている。このように、エッジ５で連結された人物画像１００間の類似度がスライダ２２１によって設定された所定の閾値よりも大きいときに、当該類似度が可視化される。一方、人物画像１００ｂと人物画像１００ｃの間はエッジにより連結されていないため、人物画像１００ｂと人物画像１００ｃとの間の類似度は所定の閾値以下である（即ち、類似関係にはない）ことが理解される。このように、エッジ５により人物画像間の類似度を可視化することができる。

【0074】

また、スライダ２２１によって所定の閾値が低い値に設定されている場合には、グラフ２３０に表示されるエッジ５の本数は多くなる。一方、スライダ２２１によって所定の閾値が高い値に設定されている場合には、グラフ２３０に表示されるエッジ５の本数は少なくなる。

【0075】

操作領域２２０には、上記したスライダ２２１と、ポインタ等で指定された人物画像１００を構成する全てのフレームが表示されるフレーム表示領域２２２と、エッジ５を削除するためのエッジ削除ボタン２２３と、表示アルゴリズムを選択するためのドロップダウンリスト２２４と、人物画像のラベル名を入力可能又は選択可能なドロップダウンリスト２２５と、所定の人物画像１００とエッジ５で連結された全ての人物画像１００を選択可能な選択ボタン２２６と、所定の人物画像１００と対応する人物画像１００とを連結するエッジ５を生成するためのエッジ生成ボタン２２７と、所定の人物画像１００に対して所定の閾値を超える類似度を有する全ての人物画像１００を選択する選択ボタン２２８と、操作者によって変更されたグラフ２３０を保存する保存ボタン２２９とがそれぞれ表示される。

【0076】

次に、図５に戻ると、ステップＳ１７において、グラフ変更部１２４は、操作者からの入力操作に従って、グラフ生成部１２２によって生成されたグラフ２３０の表示形態を変更することで、複数の人物画像間の対応付けを変更する。具体的には、グラフ変更部１２４は、操作入力部１６によって出力された操作信号に従って、グラフ２３０の表示形態を変更するための指示信号を出力する。グラフ生成部１２２は、当該指示信号に従って、表示形態が変更されたグラフ２３０を生成する。表示制御部１２３は、表示形態が変更されたグラフを表示部１５に表示させる。

【0077】

上記グラフの表示形態の変更は、エッジ５の削除・生成、グラフ表示アルゴリズムの変更がある。以下では、エッジ５の削除（類似関係の強制的な削除）について図８，９を参照して説明する。

【0078】

エッジ５が削除される場合、グラフ変更部１２４は、所定のエッジ５に対する操作者からの入力操作に従って当該所定のエッジ５を削除する。例えば、図８に示すように、
操作者がエッジ削除ボタン２２３を選択した状態で、人物画像１００ｃと人物画像１００ｄを連結するエッジ５をクリック又はダブルクリックすると、グラフ変更部１２４により当該エッジ５が削除される。同様に、人物画像１００ｃと各人物画像１００ｅ〜１００ｉを連結する複数のエッジ５をクリック又はダブルクリックすることで削除することができる。なお、エッジ５を直接指定するのみならず、二つの人物画像１００を指定することで、削除すべきエッジ５を間接的に指定してもよいし、操作入力部１６としてタッチパネルを備えるときは、操作者のタッチ動作に応じてエッジ５を削除するようにしてもよい。
そして、人物画像１００間のエッジ５が削除されたという情報は、「エッジ削除情報」として記憶部１２５に格納される。

【0079】

また、図８，９に示すように、操作者の入力操作（クリック操作）により、人物画像１００ｂと各人物画像１００ｎ，１００ｐとの間のエッジ５が削除されると共に、人物画像１００ｍと各人物画像１００ｎ，１００ｐとの間のエッジ５が削除される。このように、入力操作によりエッジ５が削除された結果、同一人物を写す人物画像１００ａ，１００ｂ，１００ｃ，１００ｊ，１００ｋ，１００ｍからなる画像クラスター３００Ａが形成される。以下の説明では、各画像クラスターを画像クラスター３００と適宜総称する。

【0080】

一方、人物画像１００ｄ〜１００ｉは、人物画像１００ｃとは異なる人物に属する人物画像である。さらに、人物画像１００ｎ，１００ｐは、人物画像１００ｂ，１００ｍとは異なる人物に属する人物画像である。このように、操作者による入力操作前では、互いに異なる人物に属する人物画像１００間がエッジ５により連結されており、人物画像１００間の対応付けに誤り（以下、誤対応という。）が存在する。本実施形態によれば、ポインタでエッジ５を直接指定することで、当該エッジ５を簡単に削除することができる。さらに、このような比較的簡単な入力操作によって複数の人物画像１００間の対応付けを変更することで、人物画像１００間の誤対応を修正できる。この結果、同一人物に属する人物画像１００のみからなる画像クラスター３００を可視化することができる。

【0081】

次に、図９，１０を参照してグラフ表示アルゴリズムの変更について説明する。
最初に、グラフ変更部１２４は、操作者によって選択されたグラフ表示アルゴリズムに応じて、表示部１５に表示されたグラフ２３０の表示形態を変更するように構成されている。具体的には、操作者がドロップダウンリスト２２４からグラフ表示アルゴリズムを選択すると、操作入力部１６から選択されたグラフ表示アルゴリズムに対応する操作信号が出力される。グラフ変更部１２４は、操作入力部１６から出力された操作信号に従って、グラフ２３０の表示形態を変更するための指示信号を出力する。グラフ生成部１２２は、当該指示信号に従って、グラフ２３０を生成する。表示制御部１２３は、当該生成されたグラフ２３０をグラフ表示領域２１０に表示させる。

【0082】

図９では、ＦＲアルゴリズム（正式には、Fruchterman-Reingold force-directed algorithm）に基づいて生成されたグラフ２３０がグラフ表示領域２１０に表示される。
ＦＲアルゴリズムは力学モデルに基づくグラフ表示（描画）アルゴリズムの一つであり、ノード（人物画像）間に張られたエッジ５をばねと仮定するとともに、ノード間に作用する引力と斥力に基づきノードの配置を決定する。ＦＲアルゴリズムを用いることで、２つの人物画像１００間の類似度に応じて、当該２つの人物画像１００間を連結するエッジ５の長さが変化する。つまり、２つの人物画像１００間の類似度が高ければ、これらを連結するエッジ５の長さが短くなると共に、２つの人物画像１００間の類似度が低ければ、これらを連結するエッジ５の長さが長くなる。例えば、図９に示すように、人物画像１００ｍと人物画像１００ｂを連結するエッジ５の長さは、人物画像１００ａと人物画像１００ｃを連結するエッジ５の長さよりも小さいため、人物画像１００ｍと人物画像１００ｂとの間の類似度は、人物画像１００ａと人物画像１００ｃとの間の類似度よりも大きいことが把握される。このように、ＦＲアルゴリズムは、エッジ５の長さにより人物画像間の類似度を把握できるといった点で有用である。
なお、以降の説明において、ＦＲアルゴリズムのように、類似する人物画像１００を互いに近傍に配置するとともに、類似度に応じて人物画像１００間のエッジの長さを調整するアルゴリズムを、「類似度優先アルゴリズム」と称することがある。

【0083】

一方、図１０〜図１３では、ＳＰＲＩＮＧアルゴリズムに基づいて生成されたグラフ２３０がグラフ表示領域２１０に表示される。ＳＰＲＩＮＧアルリズムも力学モデルに基づくグラフ表示（描画）アルゴリズムの一つであり、ノード（人物画像）間に張られたエッジをばねと仮定してノードの配置を決定する。ＳＰＲＩＮＧアルリズムを用いることで、２つの人物画像１００間の類似度を参照して、類似する人物画像１００が互いに近傍に配置されるとともに、当該２つの人物画像１００間を連結するエッジ５の長さが一定の値（自然長）に設定される。図１０に示すように、画像クラスター３００Ａを構成する各人物画像１００間のエッジ５の長さは均等となっている（尚、図１０に示す画像クラスター３００では、エッジ５が人物画像１００によって隠されている）。このように、ＳＰＲＩＮＧアルゴリズムは、画像クラスター３００を構成する各人物画像１００が一箇所に集合するので、画像クラスターをより直感的に認識しやすい点で有用である。
なお、以降の説明において、ＳＰＲＩＮＧアルゴリズムのように、類似する人物画像１００を互いに近傍に配置するとともに、類似度に関わらずエッジの長さを均等にするアルゴリズムを、「集合度優先アルゴリズム」と称することがある。

【0084】

本実施形態によれば、グラフ表示アルゴリズムに応じて、表示部１５に表示されたグラフ２３０の表示形態を適宜変更することができる。このように、操作者は人物画像１００間の誤対応を発見しやすくなる。

【0085】

また、操作者は、類似度優先アルゴリズム（ここでは、ＦＲアルゴリズム）によるグラフレイアウトと集合度優先アルゴリズム（ここでは、ＳＰＲＩＮＧアルゴリズム）によるグラフレイアウトを適宜切り替えることで、人物画像１００間の誤対応を発見しやすくなる。さらに、操作者が複数の人物画像１００間の対応付けを適宜変更した後に、ＦＲアルゴリズムからＳＰＲＩＮＧアルゴリズムに切り替えることで、複数のエッジ５によって連結された複数の人物画像１００からなる画像クラスター３００を表示部１５に効果的に表示させることが可能となり、各人物画像１００間の対応付けが明確に可視化される。

【0086】

類似度優先アルゴリズムとしては、上記したＦＲアルゴリズムの他に、ＫＫ（Kamada-Kawai）アルゴリズムやＩＳＯＭ（Inverted self-organizing maps）アルゴリズムが挙げられる。ＫＫアルゴリズムはノード（人物画像）間のパス長をグラフ的理想距離として取り扱う点に特徴があり、またＩＳＯＭアルゴリズムはノード数（即ち、人物画像の数）が増大した際に計算量を抑制できる点に特徴がある。もちろん、本実施形態において、類似度優先アルゴリズムとしてＫＫアルゴリズムやＩＳＯＭアルゴリズムを用いても構わないし、これらのアルゴリズムとＦＲアルゴリズムとを切り替え可能に構成しても構わない。

【0087】

次に、図１１〜１３を参照してエッジ５の生成（類似関係の強制的な生成）について説明する。エッジ５が生成される場合、グラフ変更部１２４は、所定の人物画像１００に対する操作者からの入力操作に従って、当該所定の人物画像１００と対応する人物画像１００とを連結するエッジ５を生成するように構成される。例えば、図１１に示すように、画像クラスター３００Ｃを構成する人物画像１００と画像クラスター３００Ｄ（ここでは、画像クラスター３００Ｄに含まれる人物画像は１つである）を構成する人物画像１００が同一人物の画像を対象としている場合、これらの画像クラスターをエッジ５によって連結する必要がある。これについて以下に説明する。

【0088】

最初に、操作者がエッジ生成ボタン２２７を選択した状態で、画像クラスター３００Ｄの人物画像１００と画像クラスター３００Ｃの人物画像１００をポインタにより指定することで、グラフ変更部１２４により画像クラスター３００Ｄの人物画像１００と画像クラスター３００Ｃの各人物画像１００とを連結するエッジ５が生成される。この状態では、図１２に示すドロップダウンリスト２２４ではＳＰＲＩＮＧアルゴリズムが選択されているため、新たに生成されたエッジ５の長さが自然長（一定の長さ）となるように徐々に縮んでいく。もちろん、画像クラスター３００Ｄ及び画像クラスター３００Ｃの人物画像１００を指定した後、直ちに１つの画像クラスター３００を表示しても構わないが、ここで、エッジ５が徐々に縮んでいく様子がアニメーションとして可視化されることで、操作者による操作とその効果とが明瞭に表現され、しかも画像クラスター３００を構成する人物画像１００を見失うこともない。この結果、図１３に示すように、画像クラスター３００Ｃと画像クラスター３００Ｄとから構成される画像クラスター３００Ｅがグラフ表示領域２１０に表示される（図１３参照）。
そして、人物画像１００間にエッジ５が付加されたという情報は、「エッジ付加情報」として記憶部１２５に格納される。

【0089】

本実施形態によれば、ポインタで人物画像１００を直接指定することで、同一人物に属する２つの人物画像１００を連結するエッジ５を簡単に生成することができる。このような比較的簡単な入力操作によって複数の人物画像１００間の対応付けを変更することで、人物画像１００間の誤対応を修正することができる。

【0090】

次に、図１１を参照して人物画像１００へのラベル付与について説明する。
最初に、グラフ変更部１２４は、複数のエッジ５によって連結された複数の人物画像１００からなる画像クラスター３００に対する操作者からの入力操作に従って、当該画像クラスター３００に属する各人物画像１００に同一のラベル（ラベル名）を付与するように構成されている。具体的には、操作者が画像クラスター３００Ｂを構成する人物画像１００の全てを選択した上で、ドロップダウンリスト２２５にラベル名（ｕｃｈｉｙａｍａ）を入力すると、操作入力部１６から入力されたラベル名に対応する操作信号が出力される。グラフ変更部１２４は、操作入力部１６から出力された操作信号に従って、指示信号を出力する。グラフ生成部１２２は、当該指示信号に従って、ラベルが付与されたグラフ２３０を生成する。表示制御部１２３は、当該生成されたグラフ２３０をグラフ表示領域２１０に表示させる。このように、図１１に示すように、画像クラスター３００Ｂを構成する各人物画像１００にラベル（ｕｃｈｉｙａｍａ）が付与される。このように、クラスターを構成する各人物画像１００にラベルを付与することで、各人物画像１００間の対応付けを明確に可視化することができる。

【0091】

また、各画像クラスター３００にラベルが付与されると、記録部１２５は、同一のラベルが付与された人物画像１００を同一人物であるとして記録するように構成されている。例えば、ラベルＡが付与された人物画像１００がＡ人物の画像として記録され、ラベルＢが付与された人物画像１００がＢ人物の画像として記録される。このように、人物画像にラベルを付与することで、人物画像１００間の対応付けを記録することが可能となる。

【0092】

図５に戻ると、ステップＳ１８では、演算処理部２２は、機械学習を実行する。具体的には、記録部１２５によって記録されたエッジ削除情報、エッジ付加情報、ラベル情報は、通信ネットワーク４を介して画像処理サーバ２の演算処理部２２に送信される。演算処理部２２は、送信されたエッジ削除情報、エッジ付加情報、ラベル情報及び記憶部２１に記憶された人物画像データベースの内容（即ち、人物画像及び各フレームの特徴量）に基づいて、機械学習を実行する。このように、修正された類似関係（すなわち、誤判定を除去した類似関係）を用いて機械学習を実行することで、識別器における類似／非類似の判定精度（すなわち、多次元空間におけるクラスタリング精度）が向上する。また、送信されたラベル情報は、人物画像データベースに追加されて記憶部２１に保存される。

【0093】

本実施形態によれば、２つの人物画像１００間の類似度が所定の閾値よりも大きい場合に、当該２つの人物画像１００間を連結するエッジ５が生成されるので、人物画像１００間の類似度をエッジ５により可視化することが可能となる。さらに、操作者からの入力操作に従って、表示部１５に表示されたグラフ２３０の表示形態が変更されることで、複数の人物画像１００間の対応付けの変更を可視化することが可能となる。従って、人物画像１００間の誤対応を目視による手作業により直感的かつ効率的に修正することができるグラフ表示装置１を提供することができる。

【0094】

さらに、操作者によって修正された人物画像１００間の対応付けデータ（エッジ削除情報、エッジ付加情報、ラベル情報）は、人物画像データベースに追加保存され機械学習に供せられる。このように、画像取得から機械学習までに要する時間を短縮できるとともに、誤った情報に基づく学習を排除し、より高精度な同一人物か否かの判定が可能となる。

【0095】

次に、図１４を参照して、カメラ画像の取得から新たに取得された人物画像に対するラベルの決定までの一連のプロセスについて説明する。本プロセスでは、グラフ表示装置１から出力されたエッジ削除情報、エッジ付加情報、ラベル情報及び人物画像１００を用いて演算処理部２２が機械学習を実行した結果、演算処理部２２の機械学習の精度が向上していることを前提としている。さらに、ラベル情報が人物画像データベースに格納されていることを前提としている。

【0096】

ステップＳ２０では、図３に示すように、各カメラ３ａ〜３ｃによって複数のカメラ画像が取得される。各カメラ３ａ〜３ｂによって取得されたカメラ画像は、通信ネットワーク４を介して画像処理サーバ２の演算処理部２２に送信される。

【0097】

ステップＳ２１では、演算処理部２２は、複数のカメラ画像から人物を検出する。
ステップＳ２２では、演算処理部２２は、人物画像を取得する。
ステップＳ２３では、演算処理部２２は、各人物画像の特徴量を抽出する。
尚、ステップＳ２１〜Ｓ２３の工程は、既に説明したとおりである。

【0098】

ステップＳ２４では、演算処理部２２は、ステップＳ２２で新たに取得された人物画像（以下、「新しい人物画像」と呼ぶ。）と人物画像データベースに格納された人物画像との間の類似度を演算する。特に、演算処理部２２は、人物画像データベースに格納された人物画像を順次取り出して、新しい人物画像と人物画像データベースに格納された各人物画像との間の類似度を演算する。

【0099】

ステップＳ２５では、演算処理部２２は、新しい人物画像との類似度が最も高い人物画像を選択し、当該選択された人物画像に付与されたラベルを出力する。ここで、新しい人物画像との類似度が最も高い人物画像が複数存在する場合がありえる。例えば、人物画像Ａと人物画像Ｂの類似度が共に、９６％の場合等が考えられる。この場合、当該人物画像Ａ（又はＢ）と同一のラベルが付与された他の人物画像と新しい人物画像との間の類似度の平均値が演算され、当該演算された平均値に基づいて出力されるラベルが決定されてもよい。

【0100】

このように、演算処理部２２によって新しい人物画像に対するラベルが決定される。本実施形態によれば、人物画像データベースに格納された各人物画像にラベルを付与することで（換言すれば、人物画像間の対応付けを決定することで）、それぞれ撮像範囲がオーバラップしない複数のカメラ間における人物追跡が可能となる。

【0101】

なお、本発明を応用した人物追跡では、人物画像データベースに人物画像が記憶されていない者を追跡することも可能である。人物画像データベースに、例えば１０００人分の人物画像（ここでは、１０００個の画像クラスターを意味する）が記憶されているとすると、演算処理部２２は、人物画像データベースに格納されていない新しい人物画像に対しても１０００個の画像クラスターの中から最も類似する画像クラスターを特定して、当該画像クラスターに付与されたラベルを出力する。従って、この特定のラベルが別のカメラでも検出されることで、人物追跡が行えることとなる。

【0102】

また、本実施形態に係るグラフ表示装置１をソフトウェアによって実現するためには、グラフ表示プログラムが記憶部１３又はＲＯＭに予め組み込まれていてもよい。または、グラフ表示プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク等）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体がグラフ表示装置１に接続されることで、当該記憶媒体に格納されたグラフ表示プログラムが、記憶部１３に組み込まれる。そして、記憶部１３に組み込まれた当該プログラムがＲＡＭにロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部１２は図４に示す各種処理を実行する。換言すれば、当該プログラムがプロセッサにより実行されることで、制御部１２は、取得部１２１、グラフ生成部１２２、表示制御部１２３、グラフ変更部１２４、記録部１２５として機能する。

【0103】

また、グラフ表示プログラムは、通信ネットワーク４上のコンピュータからネットワークインターフェース１４を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該プログラムが記憶部１３に組み込まれる。

【0104】

以上、本発明の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではないのは言うまでもない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。

【符号の説明】

【0105】

１：グラフ表示装置
２：画像処理サーバ
３ａ〜３ｃ：カメラ
４：通信ネットワーク
５，５ａ〜５ｃ：エッジ
１２：制御部
１３：記憶部
１４：ネットワークインターフェース
１５：表示部
１６：操作入力部
１７：バス
２１：記憶部
２１：記憶部
２２：演算処理部
２３：ネットワークインターフェース
２４：バス
１００，１００ａ〜１００ｋ，１００ｍ，１００ｎ，１００ｐ：人物画像
１００ａ−１〜１００ａ−５：フレーム
１００ｂ−１〜１００ｂ−５：フレーム
１２１：取得部
１２２：グラフ生成部
１２３：表示制御部
１２４：グラフ変更部
１２５：記録部
２００：表示画面
２１０：グラフ表示領域
２２０：操作領域
２２１：スライダ
２２２：フレーム表示領域
２２３：エッジ削除ボタン
２２４：ドロップダウンリスト
２２５：ドロップダウンリスト
２２６：選択ボタン
２２７：エッジ生成ボタン
２２８：選択ボタン
２２９：保存ボタン
２３０：グラフ
３００，３００Ａ〜３００Ｅ：画像クラスター

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】