特許 7521592 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-16

(45)【発行日】2024-07-24

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240717BHJP

   G06T 7/60 20170101ALI20240717BHJP

【ＦＩ】

G06T7/00 660B

G06T7/60 180

【請求項の数】 7

(21)【出願番号】P 2022558714

(86)(22)【出願日】2020-10-29

(86)【国際出願番号】 JP2020040645

(87)【国際公開番号】W WO2022091300

(87)【国際公開日】2022-05-05

【審査請求日】2023-04-07

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100124811

【弁理士】

【氏名又は名称】馬場 資博

(74)【代理人】

【識別番号】100088959

【弁理士】

【氏名又は名称】境 廣巳

(74)【代理人】

【識別番号】100097157

【弁理士】

【氏名又は名称】桂木 雄二

(74)【代理人】

【識別番号】100187724

【弁理士】

【氏名又は名称】唐鎌 睦

(72)【発明者】

【氏名】朴 君

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１７－０１６３４４（ＪＰ，Ａ）

【文献】特表２０１８－５０６７８８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

(57)【特許請求の範囲】

【請求項1】

画像処理装置において、
異なる時刻に撮影された複数の画像を取得する画像取得手段と、
前記各画像から所持品を検出する所持品検出手段と、
前記各画像から人の骨格情報を検出する骨格情報検出手段と、
前記検出された所持品と人の骨格情報とから再特定する所持品を選択する再特定所持品選択手段と、
前記複数の画像のうち、何れか１つの画像から選択された再特定する所持品と他の何れか１つの画像から選択された再特定する所持品とが同一の所持品であるか否かを判定する所持品再特定手段と、を備え、
前記再特定所持品選択手段は、前記検出された人の骨格情報を構成する複数の関節の位置が前記検出された所持品の外接矩形の中にある場合、前記外接矩形の面積に対する、前記複数の関節の位置の外接矩形の面積の割合に基づいて前記選択を行う、
画像処理装置。

【請求項2】

画像処理装置において、
異なる時刻に撮影された複数の画像を取得する画像取得手段と、
前記各画像から所持品を検出する所持品検出手段と、
前記各画像から人の骨格情報を検出する骨格情報検出手段と、
前記検出された所持品と人の骨格情報とから再特定する所持品を選択する再特定所持品選択手段と、
前記複数の画像のうち、何れか１つの画像から選択された再特定する所持品と他の何れか１つの画像から選択された再特定する所持品とが同一の所持品であるか否かを判定する所持品再特定手段と、を備え、
前記再特定所持品選択手段は、前記検出された人の骨格情報を構成する少なくとも１つの関節の位置が前記検出された所持品の外接矩形の中にある場合、前記関節の位置と前記外接矩形の中心の位置との距離に基づいて前記選択を行う、
画像処理装置。

【請求項3】

前記各画像から人物を検出する人物検出手段と、
同じ前記画像から検出された人物と所持品の所持関係の有無を判定する所持判定手段と、
前記複数の画像のうち、何れか１つの画像から検出された人物と他の何れか１つの画像から検出された人物とが同一の人物であるか否かを判定する人物再特定手段と、
前記所持判定手段と前記人物再特定手段と前記所持品再特定手段の各判定結果に基づいて、人物と所持品との間に所持関係の変化が生じたか否かを判定し、判定結果を出力するイベント判定手段と、を更に備える
請求項１または２に記載の画像処理装置。

【請求項4】

画像処理方法において、
コンピュータが、
異なる時刻に撮影された複数の画像を取得し、
前記各画像から所持品を検出し、
前記各画像から人の骨格情報を検出し、
前記検出された所持品と人の骨格情報とから再特定する所持品を選択し、
前記複数の画像のうち、何れか１つの画像から選択された再特定する所持品と他の何れか１つの画像から選択された再特定する所持品とが同一の所持品であるか否かを判定し、
前記再特定する所持品の選択では、前記検出された人の骨格情報を構成する複数の関節の位置が前記検出された所持品の外接矩形の中にある場合、前記外接矩形の面積に対する、前記複数の関節の位置の外接矩形の面積の割合に基づいて前記選択を行う、
画像処理方法。

【請求項5】

画像処理方法において、
コンピュータが、
異なる時刻に撮影された複数の画像を取得し、
前記各画像から所持品を検出し、
前記各画像から人の骨格情報を検出し、
前記検出された所持品と人の骨格情報とから再特定する所持品を選択し、
前記複数の画像のうち、何れか１つの画像から選択された再特定する所持品と他の何れか１つの画像から選択された再特定する所持品とが同一の所持品であるか否かを判定し、
前記再特定する所持品の選択では、前記検出された人の骨格情報を構成する少なくとも１つの関節の位置が前記検出された所持品の外接矩形の中にある場合、前記関節の位置と前記外接矩形の中心の位置との距離に基づいて前記選択を行う、
情報処理方法。

【請求項6】

コンピュータに、
異なる時刻に撮影された複数の画像を取得する処理と、
前記各画像から所持品を検出する処理と、
前記各画像から人の骨格情報を検出する処理と、
前記検出された所持品と人の骨格情報とから再特定する所持品を選択する処理と、
前記複数の画像のうち、何れか１つの画像から選択された再特定する所持品と他の何れか１つの画像から選択された再特定する所持品とが同一の所持品であるか否かを判定する処理と、を行わせ、
前記再特定する所持品の選択では、前記検出された人の骨格情報を構成する複数の関節の位置が前記検出された所持品の外接矩形の中にある場合、前記外接矩形の面積に対する、前記複数の関節の位置の外接矩形の面積の割合に基づいて前記選択を行わせるためのプログラム。

【請求項7】

コンピュータに、
異なる時刻に撮影された複数の画像を取得する処理と、
前記各画像から所持品を検出する処理と、
前記各画像から人の骨格情報を検出する処理と、
前記検出された所持品と人の骨格情報とから再特定する所持品を選択する処理と、
前記複数の画像のうち、何れか１つの画像から選択された再特定する所持品と他の何れか１つの画像から選択された再特定する所持品とが同一の所持品であるか否かを判定する処理と、を行わせ、
前記再特定する所持品の選択では、前記検出された人の骨格情報を構成する少なくとも１つの関節の位置が前記検出された所持品の外接矩形の中にある場合、前記関節の位置と前記外接矩形の中心の位置との距離に基づいて前記選択を行わせるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、および記録媒体に関する。

【背景技術】

【0002】

複数の画像を入力として、それらの中から、同一の物体を発見する技術は、再特定技術或いは再同定技術と呼ばれる。再特定技術を記載した文献として、例えば特許文献１がある。本明細書では、物体が人物であるときの再特定を人物再特定、物体が人物以外の物体であるときの再特定を物体再特定と呼ぶ。本発明は、主に物体再特定に関するものである。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１８－５０６７８８

【発明の概要】

【発明が解決しようとする課題】

【0004】

再特定技術を用いて異なる画像に表された人物の所持品が同じであるか否かを判定するシステムでは、例えば監視カメラで撮影された画像から物体検出技術を用いて、再特定する所持品の全体または一部分を含む画像を検出する。そして、システムは、検出した画像と上記と同様の方法で取得され保存されている、所持品の全体または一部分を含む他の画像とを再特定技術を用いて比較し、比較結果に基づいて双方の画像が同一の所持品に係る画像か否かを表す再特定結果を出力する。このとき、所持品の一部分が人物によって遮蔽されている画像から検出された所持品を無条件に再特定する所持品に選択すると、所持品の再特定誤りが頻発する。すなわち、双方の画像が表す所持品が同一であるにもかかわらず、異なっているとする間違った再特定結果を出力する頻度が増加する。あるいは、双方の画像が表す所持品が異なっているにもかかわらず、同一であるとする間違った再特定結果を出力する頻度が増加する。これは、主に物体検出と再特定との間にオクルージョンに対する頑健性の違いがあるときに生じる。

【0005】

本発明は、上述した課題、すなわち、画像から検出された所持品を無条件に再特定する所持品に選択すると所持品の再特定誤りが頻発する、という課題を解決する画像処理装置を提供することにある。

【課題を解決するための手段】

【0006】

本発明の一形態に係る画像処理装置は、
画像処理装置において、
異なる時刻に撮影された複数の画像を取得する画像取得手段と、
前記各画像から所持品を検出する所持品検出手段と、
前記各画像から人の骨格情報を検出する骨格情報検出手段と、
前記検出された所持品と人の骨格情報とから再特定する所持品を選択する再特定所持品選択手段と、
前記複数の画像のうち、何れか１つの画像から選択された再特定する所持品と他の何れか１つの画像から選択された再特定する所持品とが同一の所持品であるか否かを判定する所持品再特定手段と、を備えるように構成されている。

【0007】

また、本発明の他の形態に係る画像処理方法は、
画像処理方法において、
異なる時刻に撮影された複数の画像を取得し、
前記各画像から所持品を検出し、
前記各画像から人の骨格情報を検出し、
前記検出された所持品と人の骨格情報とから再特定する所持品を選択し、
前記複数の画像のうち、何れか１つの画像から選択された再特定する所持品と他の何れか１つの画像から選択された再特定する所持品とが同一の所持品であるか否かを判定する、
ように構成されている。

【0008】

また、本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
コンピュータに、
異なる時刻に撮影された複数の画像を取得する処理と、
前記各画像から所持品を検出する処理と、
前記各画像から人の骨格情報を検出する処理と、
前記検出された所持品と人の骨格情報とから再特定する所持品を選択する処理と、
前記複数の画像のうち、何れか１つの画像から選択された再特定する所持品と他の何れか１つの画像から選択された再特定する所持品とが同一の所持品であるか否かを判定する処理と、を行わせるためのプログラムを記録するように構成されている。

【発明の効果】

【0009】

本発明は、上述したような構成を有することにより、所持品の再特定誤りの増加を防止することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１の実施形態に係る画像処理装置のブロック図である。

【図2】本発明の第１の実施形態に係る画像処理装置における所持品検出情報のフォーマット例を示す図である。

【図3】本発明の第１の実施形態に係る画像処理装置における骨格検出情報のフォーマット例を示す図である。

【図4】本発明の第１の実施形態に係る画像処理装置における再特定所持品選択情報のフォーマット例を示す図である。

【図5】本発明の第１の実施形態に係る画像処理装置の動作例を示すフローチャートである。

【図6】本発明の第１の実施形態に係る画像処理装置における再特定所持品選択部の処理例を示すフローチャートである。

【図7】図６のステップＳ１７の詳細を示すフローチャートである。

【図8】所持品の外接矩形の内部に骨格情報の関節が１つも含まれていないという条件１が成立する画像の例を示す模式図である。

【図9】所持品の外接矩形の内部に含まれる複数の関節の外接矩形の面積が所持品の外接矩形の面積のＴ１％未満であるという条件２、または、所持品の外接矩形の内部に含まれる複数の関節と所持品の外接矩形の中心との間の距離がＴ２以上であるという条件３が成立する画像の例を示す模式図である。

【図10】条件１、条件２、および条件３の全てが成立しない画像の例を示す模式図である。

【図11】本発明の第２の実施形態に係る画像処理装置のブロック図である。

【図12】本発明の第２の実施形態に係る画像処理装置における人物検出情報のフォーマット例を示す図である。

【図13】本発明の第２の実施形態に係る画像処理装置における所持判定情報のフォーマット例を示す図である。

【図14】本発明の第２の実施形態に係る画像処理装置における同一所持品判定情報のフォーマット例を示す図である。

【図15】本発明の第２の実施形態に係る画像処理装置における同一人物判定情報のフォーマット例を示す図である。

【図16】本発明の第２の実施形態に係る画像処理装置における追跡情報のフォーマット例を示す図である。

【図17】本発明の第２の実施形態に係る画像処理装置の動作の一例を示すフローチャートである。

【図18】図１７のステップＳ３９の詳細を示すフローチャートである。

【図19】本発明の第３の実施形態に係る画像処理装置における人物検出情報のフォーマット例を示す図である。

【発明を実施するための形態】

【0011】

次に、本発明の実施の形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、本発明の第１の実施形態に係る画像処理装置１００のブロック図である。図１を参照すると、画像処理装置１００は、カメラＩ／Ｆ（インターフェース）部１１０と通信Ｉ／Ｆ部１２０と操作入力部１３０と画面表示部１４０と記憶部１５０と演算処理部１６０とを含んで構成されている。

【0012】

カメラＩ／Ｆ部１１０は、有線または無線により画像サーバ１７０に接続され、画像サーバ１７０と演算処理部１６０との間でデータの送受信を行うように構成されている。画像サーバ１７０は、有線または無線によりカメラ１７１に接続され、カメラ１７１で撮影されたそれぞれ撮影時刻が異なる複数の画像を過去一定期間分蓄積するように構成されている。カメラ１７１は、例えば、数百万画素程度の画素容量を有するＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）イメージセンサを備えたカラーカメラであってよい。カメラ１７１は、防犯・監視の目的のために多くの人や物が行きかう街頭、屋内などに設置されたカメラであってよい。またカメラ１７１は、固定された場所から固定された撮影方向で同一或いは異なる撮影領域を撮影するカメラであってよい。或いはカメラ１７１は、車などの移動体に搭載されて移動しながら同一或いは異なる撮影領域を撮影するカメラであってよい。カメラ１７１は１台に限定されず、複数台あってよい。

【0013】

通信Ｉ／Ｆ部１２０は、データ通信回路から構成され、有線または無線によって図示しない外部装置との間でデータ通信を行うように構成されている。操作入力部１３０は、キーボードやマウスなどの操作入力装置から構成され、オペレータの操作を検出して演算処理部１６０に出力するように構成されている。画面表示部１４０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの画面表示装置から構成され、演算処理部１６０からの指示に応じて、各種情報を画面表示するように構成されている。

【0014】

記憶部１５０は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部１６０における各種処理に必要な処理情報およびプログラム１５０１を記憶するように構成されている。プログラム１５０１は、演算処理部１６０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部１２０などのデータ入出力機能を介して図示しない外部装置や記録媒体から予め読み込まれて記憶部１５０に保存される。記憶部１５０に記憶される主な処理情報には、画像１５０２、所持品検出情報１５０３、骨格検出情報１５０４、および再特定所持品選択情報１５０５がある。

【0015】

画像１５０２は、カメラ１７１で撮影された画像である。画像１５０２は、カメラ１７１で撮影された動画を構成するフレーム画像であってよい。あるいは画像１５０２は、カメラ１７１で撮影された動画のフレームレートをダウンサンプリングして得られたフレーム画像であってよい。画像１５０２には、撮影時刻が付加されている。画像１５０２の撮影時刻は、画像毎に相違する。

【0016】

所持品検出情報１５０３は、画像１５０２から検出された所持品に係る情報である。所持品は、人が手に持ったり、身に付けたりする物のことである。本実施形態では、検出する種類の所持品が事前に定められている。検出する所持品は、人が実際に手に持っているか、身に付けているかは問わない。検出する種類の所持品は、例えば旅行用のスーツケース、バックパック、鞄などが例示されるが、それに限定されない。

【0017】

図２は、所持品検出情報１５０３のフォーマット例を示す。この例の所持品検出情報１５０３は、仮所持品ＩＤ１５０３１と所持品画像１５０３２と撮影時刻１５０３３と所持品位置１５０３４と所持品種別１５０３５の各項目から構成されている。仮所持品ＩＤ１５０３１は、画像１５０２から検出された所持品に対して割り当てられた識別番号である。この仮所持品ＩＤ１５０３１は、同じ画像１５０２から検出された１以上の所持品を一意に識別するＩＤである。所持品画像１５０３２は、画像１５０２から検出された所持品の像である。所持品画像１５０３２は、例えば所持品の像の外接矩形内部の画像である。撮影時刻１５０３３は、当該所持品が検出された画像１５０２の撮影時刻である。所持品位置１５０３４は、画像１５０２上における所持品画像１５０３２の位置である。所持品位置１５０３４は、例えば、所持品画像１５０３２の重心、所持品画像の外接矩形の４頂点の座標値などであってよい。所持品種別１５０３５は、スーツケース、バックパックなどの所持品の種類（クラス）である。

【0018】

骨格検出情報１５０４は、画像１５０２から検出された人の骨格情報である。人の骨格情報は、人体を構成する関節の位置を表す情報を含んでいる。関節は骨格点とも呼ぶ。関節は、首や肩などの関節のみならず、目や鼻などの顔のパーツも関節に含めてよい。人の骨格情報は、関節の位置に加えて、さらに、関節毎の信頼度（特徴認識の尤度）を含んでいてよい。

【0019】

図３は、骨格検出情報１５０４のフォーマット例を示す。この例の骨格検出情報１５０４は、仮人物ＩＤ１５０４１と撮影時刻１５０４２と関節ＩＤ１５０４３と関節位置情報１５０４４と関節信頼度１５０４５の各項目から構成されている。仮人物ＩＤ１５０４１は、画像１５０２から検出された骨格情報に係る人物に対して割り当てられた識別番号である。この仮人物ＩＤ１５０４１は、同じ画像１５０２から検出された１以上の人の骨格情報を一意に識別するＩＤである。撮影時刻１５０４２は、当該骨格情報が検出された画像１５０２の撮影時刻である。関節ＩＤ１５０４３は、複数の関節のうちから個々の関節を一意に識別するＩＤである。関節位置情報１５０４４は、当該関節ＩＤ１５０４３で識別される関節の位置を表す情報である。関節位置情報１５０４４は、例えば画像１５０２上における当該関節のＸ座標値とＹ座標値との組によって表現されてよい。関節信頼度１５０４５は、当該関節ＩＤ１５０４３で識別される関節の信頼度を表す情報である。関節ＩＤ１５０４３と関節位置情報１５０４４と関節信頼度１５０４５との組は、人の骨格情報を構成する関節毎に存在する。但し、全ての関節の位置情報が必ずしも検出されているとは限られない。例えば、対象となる人物に所持品による遮蔽がある場合、遮蔽された人物領域の関節は全く検出されないか、検出されていたとしても正しく推定されているとは限らない。そのため、遮蔽された人物領域の関節の関節信頼度１５０４５の値は事前に設定された閾値よりも小さな値となっている。

【0020】

再特定所持品選択情報１５０５は、画像１５０２から検出された１以上の所持品のうち、再特定の対象として選択された所持品に係る情報である。図４は、再特定所持品選択情報１５０５のフォーマット例を示す。この例の再特定所持品選択情報１５０５は、仮所持品ＩＤ１５０５１と所持品画像１５０５２と撮影時刻１５０５３と所持品位置１５０５４と所持品種別１５０５５の各項目から構成されている。再特定所持品選択情報１５０５における仮所持品ＩＤ１５０５１と所持品画像１５０５２と撮影時刻１５０５３と所持品位置１５０５４と所持品種別１５０５５の各項目は、再特定の対象として選択された図２に示した所持品検出情報１５０３における仮所持品ＩＤ１５０３１と所持品画像１５０３２と撮影時刻１５０３３と所持品位置１５０３４と所持品種別１５０３５の各項目のコピーである。

【0021】

演算処理部１６０は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部１５０からプログラム１５０１を読み込んで実行することにより、上記ハードウェアとプログラム１５０１とを協働させて各種処理部を実現するように構成されている。演算処理部１６０で実現される主な処理部には、画像取得部１６０１、所持品検出部１６０２、骨格情報検出部１６０３、再特定所持品選択部１６０４、および、所持品再特定部１６０５がある。

【0022】

画像取得部１６０１は、カメラＩ／Ｆ部１１０を通じて画像サーバ１７０から、カメラ１７１で撮影された複数の画像あるいはそれをダウンサンプリングした画像を取得し、画像１５０２として記憶部１５０に記憶するように構成されている。

【0023】

所持品検出部１６０２は、記憶部１５０から画像１５０２を読み出し、その画像１５０２から所持品を検出し、所持品検出情報１５０３を記憶部１５０に保存するように構成されている。所持品検出部１６０２は、例えば、カメラ画像から所持品の像（所持品画像）と物体種別（所持品の種類）を推定するための機械学習を行った学習済みの学習モデルに画像１５０２を入力することで、画像１５０２中に存在する所持品の像とその所持品の種類を当該学習モデルから取得するように構成されている。学習モデルは、例えば、様々なカメラ画像とそのカメラ画像中の様々な種類の所持品の像とを教師データとしてニューラルネットワークなどの機械学習アルゴリズムを用いた機械学習によって、事前に生成することができる。但し、画像から所持品の像とその種類を検出する方法は上記に限定されず、パターンマッチングなどの方法を使用してもよい。また所持品検出部１６０２は、検出した所持品画像と物体種別の組毎に、仮所持品ＩＤ、撮影時刻、および、所持品位置を算出し、それらをまとめて所持品検出情報１５０３として記憶部１５０に保存するように構成されている。一般的に、所持品検出部１６０２のような物体検出手段は、検出対象となる物体（本例では所持品）にある程度の遮蔽（オクルージョン）があっても画像中から所持品領域を検出することが可能である。換言すれば、所持品検出部１６０２は、概ね全体が写っている所持品のみならず、全体の一部が遮蔽されている所持品も検出することができるように構成されている。

【0024】

骨格情報検出部１６０３は、記憶部１５０から画像１５０２を読み出し、その画像１５０２から人の骨格情報を検出し、検出した人の骨格情報に係る骨格検出情報１５０４を記憶部１５０に保存するように構成されている。骨格情報検出部１６０３は、例えば、画像中の人物の骨格情報をディープラーニングで推定するシステムを用いて実現してよい。上記システムには、例えば、ＯｐｅｎＰｏｓｅ、ＨＲＮｅｔ、ＡｌｐｈａＰｏｓｅなどがある。例えば、ＯｐｅｎＰｏｓｅでは、鼻、首、右肩、右肘、右手首、左肩、左肘、左手首、右腰、右膝、右足首、左腰、左膝、左足首、右目、左目、右耳、左耳の合計１８箇所の関節の位置（ｘ、ｙ座標）と信頼度とを抽出する。

【0025】

再特定所持品選択部１６０４は、記憶部１５０から所持品検出情報１５０３と骨格検出情報１５０４とを読み出し、それらから再特定する所持品を選択し、選択した再特定する所持品に係る再特定所持品選択情報１５０５を記憶部１５０に保存するように構成されている。この再特定所持品選択部１６０４の詳細については後述する。

【0026】

所持品再特定部１６０５は、記憶部１５０から再特定所持品選択情報１５０５を読み出し、再特定所持品選択情報１５０５を用いて所持品を再特定するように構成されている。即ち、所持品再特定部１６０５は、記憶部１５０に保存されている複数の再特定所持品選択情報１５０５のうちの何れか１つの再特定所持品選択情報１５０５に係る所持品と、他の何れか１つの再特定所持品選択情報１５０５に係る所持品とが同一の所持品であるか否かを判定する。複数の再特定所持品選択情報１５０５のうちの何れの再特定所持品選択情報１５０５を使用して再特定処理を行うかは、所持品再特定部１６０５が自動的に決定してもよいし、例えば操作入力部１３０を通じてオペレータから入力される指示に従って決定してもよい。

【0027】

所持品再特定部１６０５は、例えば、２つの所持品画像が同一の所持品に係る所持品画像であるか否かを推定するための機械学習を行った学習済みの学習モデルに、一方の再特定所持品選択情報１５０５の所持品画像１５０５２と他方の再特定所持品選択情報１５０５の所持品画像１５０５２とを入力することで、同一所持品に係る所持品画像であるか否かの推定結果を当該学習モデルから取得するように構成されている。学習モデルは、例えば、様々な同一所持品に係る所持品画像ペアおよび様々な相違所持品に係る所持品画像ペアを教師データとしてニューラルネットワークなどの機械学習アルゴリズムを用いた機械学習によって、事前に生成することができる。但し、２つの所持品画像が同一所持品に係る所持品画像であるか否かを判定する方法は上記方法に限定されず、２つの所持品画像から抽出した特徴ベクトルの距離が所定距離以下か否かを判定する方法など、他の方法を使用してもよい。また、双方の再特定所持品選択情報１５０５の所持品種別１５０５５どうしを比較し、所持品種別１５０５５が同一でない場合、両者は同一所持品に係る所持品画像でないと判定し、所持品種別１５０５５が同一である場合、上記学習モデルによる同一所持品判定あるいは特徴ベクトルによる同一所持品判定を行って、同一か否かを判定するようにしてもよい。また所持品再特定部１６０５は、再特定結果を記憶部１５０に保存し、あるいは画面表示部１４０に表示し、あるいは通信Ｉ／Ｆ部１２０を通じて外部装置に出力するように構成されていてよい。

【0028】

続いて、画像処理装置１００の動作を説明する。図５は、画像処理装置１００の動作例を示すフローチャートである。図５を参照すると、先ず、画像取得部１６０１は、カメラ１７１で撮影された画像を取得し、画像１５０２として記憶部１５０に記憶する（ステップＳ１）。次に所持品検出部１６０２は、記憶部１５０から画像１５０２を読み出し、その画像１５０２から所持品を検出し、所持品検出情報１５０３を記憶部１５０に保存する（ステップＳ２）。次に骨格情報検出部１６０３は、記憶部１５０から画像１５０２を読み出し、その画像１５０２から人の骨格情報を検出し、骨格検出情報１５０４を記憶部１５０に保存する（ステップＳ３）。次に再特定所持品選択部１６０４は、記憶部１５０から所持品検出情報１５０３と骨格検出情報１５０４とを読み出し、それらから再特定する所持品を選択し、選択した再特定する所持品に係る再特定所持品選択情報１５０５を記憶部１５０に保存する（ステップＳ４）。次に所持品再特定部１６０５は、記憶部１５０から再特定所持品選択情報１５０５を読み出し、再特定所持品選択情報１５０５を用いて所持品を再特定する（ステップＳ５）。そして、画像処理装置１００は、ステップＳ１に戻り、上述した動作と同様の動作を繰り返す。

【0029】

続いて、再特定所持品選択部１６０４について詳細に説明する。

【0030】

図６は、再特定所持品選択部１６０４の処理例を示すフローチャートである。再特定所持品選択部１６０４は、画像取得部１６０１が取得した或る１つの画像１５０２に対する所持品検出部１６０２および骨格情報検出部１６０３の処理が終了すると、当該画像１５０２から検出された所持品検出情報１５０３および骨格検出情報１５０４を記憶部１５０から読み出して、図６に示す処理を開始する。

【0031】

先ず、再特定所持品選択部１６０４は、画像１５０２から検出された所持品検出情報１５０３の１つに注目する（ステップＳ１１）。若し、所持品検出情報１５０３が存在しなければ（ステップＳ１１でＹＥＳ）、再特定所持品選択部１６０４は、図６の処理を終了する。若し、所持品検出情報１５０３が存在したならば（ステップＳ１１でＮＯ）、再特定所持品選択部１６０４は、画像１５０２から検出された骨格検出情報１５０４の１つに注目する（ステップＳ１３）。若し、骨格検出情報１５０４が存在しなければ（ステップＳ１４でＹＥＳ）、再特定所持品選択部１６０４は、注目中の所持品検出情報１５０３を再特定所持品選択情報１５０５としてコピーし、記憶部１５０に保存する（ステップＳ１５）。そして、再特定所持品選択部１６０４は、画像１５０２から検出された所持品検出情報１５０３の他の１つに注目を移し（ステップＳ１６）、ステップＳ１２の処理に戻って、上述した処理と同様の処理を繰り返す。

【0032】

一方、骨格検出情報１５０４が存在すれば（ステップＳ１４でＮＯ）、再特定所持品選択部１６０４は、注目中の所持品検出情報１５０３に係る所持品が注目中の骨格検出情報１５０４に係る人物によって遮蔽されていないか否かを調べる（ステップＳ１７）。このステップＳ１７の詳細は後述する。次に、再特定所持品選択部１６０４は、注目中の所持品検出情報１５０３に係る所持品が注目中の骨格検出情報１５０４に係る人物によって遮蔽されていれば（ステップＳ１８でＮＯ）、注目中の所持品検出情報１５０３は選択しないと判断し、ステップＳ１６に戻って、上述した処理と同様の処理を繰り返す。また、再特定所持品選択部１６０４は、注目中の所持品検出情報１５０３に係る所持品が注目中の骨格検出情報１５０４に係る人物によって遮蔽されていなければ（ステップＳ１８でＹＥＳ）、画像１５０２から検出された骨格検出情報１５０４の他の１つに注目を移し（ステップＳ１９）、ステップＳ１４に戻って、上述した処理と同様の処理を繰り返す。

【0033】

続いて、図６のステップＳ１７の詳細、すなわち、注目中の所持品検出情報１５０３に係る所持品が注目中の骨格検出情報１５０４に係る人物によって遮蔽されていないか否かを調べる方法について、一例を挙げて説明する。但し、注目中の所持品検出情報１５０３に係る所持品が注目中の骨格検出情報１５０４に係る人物によって遮蔽されていないか否かを調べる方法は、以下の例に限定されるものではない。

【0034】

図７は、図６のステップＳ１７の詳細の一例を示すフローチャートである。図７を参照すると、再特定所持品選択部１６０４は、先ず、注目中の所持品の外接矩形の内部に注目中の骨格情報の関節が１つも含まれていないという条件１が成立するか否かを調べる（ステップＳ２１）。ここで、再特定所持品選択部１６０４は、条件１および後述する条件２、条件３の判定に使用する関節には、その関節信頼度が閾値以上の関節を使用する。次に、再特定所持品選択部１６０４は、条件１が成立する場合（ステップＳ２２でＮＯ）、注目中の所持品は注目中の骨格情報に係る人物によって遮蔽されていないと判断し（ステップＳ２３）、図７の処理を終了する。

【0035】

図８は、条件１が成立する画像１５０２の例を示す模式図である。図８に示す画像１５０２には、人物の像から検出された骨格情報の関節（図中の黒点）は所持品（図示の例ではスーツケース）の外接矩形（図中の破線）内に１つも存在していない。このような状況は、カメラ側から見て所持品の外接矩形と人物とに重なりが全くない場合に生じる。そのため、人物の骨格情報の関節が１つも外接矩形内に存在しない所持品は、当該人物によって遮蔽されていないと判断される。

【0036】

一方、再特定所持品選択部１６０４は、条件１が成立しない場合（ステップＳ２２でＮＯ）、ステップＳ２４とステップＳ２５とを実行する。

【0037】

再特定所持品選択部１６０４は、ステップＳ２４においては、注目中の所持品の外接矩形の内部に含まれる関節の外接矩形の面積Ａ１が、注目中の所持品の外接矩形の面積Ａ２のＴ１％未満であるという条件２が成立するか否かを調べる。ここで、Ｔ１は、許容可能な遮蔽率に応じて事前に設定された面積の閾値である。また再特定所持品選択部１６０４は、ステップＳ２５においては、注目中の所持品の外接矩形の内部に含まれる１以上の関節と注目中の所持品の外接矩形の中心との間の距離の最小値Lが、Ｔ２以上であるという条件３が成立するか否かを調べる（ステップＳ２５）。ここで、Ｔ２は、許容可能な遮蔽率に応じて事前に設定された距離の閾値である。Ｔ２は、注目中の所持品の外接矩形のサイズに応じて正規化された値であってもよい。即ち、Ｔ２は、注目中の所持品の外接矩形のサイズが小さければ小さく、反対に大きければ大きく補正される値であってもよい。また、Ｔ２は、注目中の所持品の外接矩形の短辺に所定の比率を乗じて求められる値であってもよい。

【0038】

次に再特定所持品選択部１６０４は、条件２および条件３の少なくとも一方が成立する場合（ステップＳ２６でＹＥＳ）、注目中の所持品は注目中の骨格情報に係る人物によって遮蔽されていないと判断し（ステップＳ２３）、図７の処理を終了する。一方、再特定所持品選択部１６０４は、条件２および条件３の双方とも成立しない場合（ステップＳ２６でＮＯ）、注目中の所持品は注目中の骨格情報に係る人物によって遮蔽されていると判断し（ステップＳ２７）、図７の処理を終了する。

【0039】

図９は、条件１が成立せず、条件２または条件３が成立する画像１５０２の例を示す模式図である。図９に示す画像１５０２には、人物の像から検出された骨格情報の関節（図中の黒点）の一部が所持品（図示の例ではスーツケース）の外接矩形（図中の破線）内に存在しているため、所持品の外接矩形内に存在する複数の関節どうしをつなぐ人体部分によって所持品の領域の一部が遮蔽されている可能性がある。しかし、図９に示す画像１５０２では、所持品の外接矩形の内部に含まれる関節の外接矩形（図９のハッチングを施した部分）の面積Ａ１が、所持品の外接矩形の面積Ａ２のＴ１％未満であるという条件２を満たしている。または／および、図９に示す画像１５０２では、所持品の外接矩形の内部に含まれる１以上の関節と所持品の外接矩形の中心（図９中の×）との間の距離のうちの最小値が、Ｔ２以上であるという条件３を満たしている。このような状況は、カメラ側から見て所持品が人物によって全く遮蔽されていないか、遮蔽されていたとしても遮蔽率が事前に予想される割合未満である場合に生じる。そのため、条件２および条件３の少なくとも一方を満足する所持品は、当該人物によって遮蔽されていないと判断される。

【0040】

図１０は、条件１、条件２、および条件３の全てが成立しない画像１５０２の例を示す模式図である。図１０に示す画像１５０２には、人物の像から検出された骨格情報の関節（図中の黒点）の一部が所持品（図示の例ではスーツケース）の外接矩形（図中の破線）内に存在している。また、図１０に示す画像１５０２では、所持品の外接矩形の内部に含まれる関節の外接矩形の面積Ａ１が、所持品の外接矩形の面積Ａ２のＴ１％未満であるという条件２を満たしていない。また、図１０に示す画像１５０２では、所持品の外接矩形の内部に含まれる１以上の関節と所持品の外接矩形の中心との間の距離のうちの最小値が、Ｔ２以上であるという条件３を満たしていない。このような状況は、カメラ側から見て所持品が人物によって事前に予想される割合以上に遮蔽されている場合に生じる。そのため、条件１、条件２および条件３の全てが成立しない所持品は、当該人物によって遮蔽されていると判断される。

【0041】

以上説明したように本実施形態に係る画像処理装置１００によれば、所持品の再特定誤りの増加を防止することができる。その理由は、物体検出と再特定との間にオクルージョンに対する頑健性の違いがあることを考慮し、画像１５０２から検出された所持品と同じ画像１５０２から検出された人物の骨格情報とから当該人物によって遮蔽されていない所持品を再特定する所持品に選択するためである。

【0042】

［第２の実施の形態］
図１１は、本発明の第２の実施形態に係る画像処理装置２００のブロック図であり、図１と同一符号は同一部分を示す。図１１を参照すると、画像処理装置２００は、図１に示した画像処理装置１００と比較して、プログラム１５０１Ａ、人物検出情報１５０６、所持判定情報１５０７、同一所持品判定情報１５０８、同一人物判定情報１５０９、追跡情報１５１０、人物検出部１６０６、所持判定部１６０７、人物再特定部１６０８、および、イベント判定部１６０９を更に備えている点で相違し、それ以外は画像処理装置１００と同じである。

【0043】

人物検出情報１５０６は、画像１５０２から検出された人物に係る情報である。図１２は、人物検出情報のフォーマット例を示す。この例の人物検出情報１５０６は、仮人物ＩＤ１５０６１と人物画像１５０６２と撮影時刻１５０６３と人物位置１５０６４との各項目から構成されている。仮人物ＩＤ１５０６１は、画像１５０２から検出された人物に対して割り当てられた識別番号である。この仮人物ＩＤ１５０６１は、同じ画像１５０２から検出された１以上の人物を一意に識別するＩＤである。人物画像１５０６２は、画像１５０２から検出された人物の像である。人物画像１５０６２は、例えば人物の像の外接矩形内部の画像である。撮影時刻１５０６３は、当該人物が検出された画像１５０２の撮影時刻である。人物位置１５０６４は、画像１５０２上における人物画像１５０６２の位置である。人物位置１５０６４は、例えば、人物画像１５０６２の重心とすることができるが、それに限定されず、人物画像の外接矩形の４頂点などとすることができる。

【0044】

所持判定情報１５０７は、画像１５０２から検出された人物と所持品の所持関係の有無の判定結果を表す情報である。図１３は、所持判定情報１５０７のフォーマット例を示す。この例の所持判定情報１５０７は、撮影時刻１５０７１と、行列１５０７２とから構成されている。撮影時刻１５０７１は、画像１５０２の撮影時刻である。行列１５０７２は、縦方向（列方向）に仮人物ＩＤ１５０７３を並べ、横方向（行方向）に仮所持品ＩＤ１５０７４を並べ、行と列の交点１５０７５に所持関係の有無の情報を記録するように構成されている。行列１５０７２の行数は、画像１５０２から検出された人物の数に等しい。また行列１５０７２の列数は、画像１５０２から選択された再特定する所持品の数に等しい。例えば、図１３に示す行列１５０７２は、仮人物ＩＤ１と仮所持品ＩＤ１の交点に丸印が記載されている。これは、仮人物ＩＤ１で特定される人物と仮所持品ＩＤ１で特定される所持品とは所持関係がある、即ち、仮人物ＩＤ１で特定される人物は仮所持品ＩＤ１で特定される所持品を所持していることを表している。また、図１３に示す行列１５０７２は、仮人物ＩＤ１と仮所持品ＩＤ２の交点に×印が記載されている。これは、仮人物ＩＤ１で特定される人物と仮所持品ＩＤ２で特定される所持品とは所持関係がない、即ち、仮人物ＩＤ１で特定される人物は仮所持品ＩＤ１で特定される所持品を所持していないことを表している。

【0045】

同一所持品判定情報１５０８は、撮影時刻の異なる２つの画像１５０２のうち、一方の画像から再特定所持品選択部１６０４によって選択された再特定する所持品画像と他方の画像から再特定所持品選択部１６０４によって選択された再特定する所持品画像とが同一の所持品に係る所持品画像であるか否かを判定した結果（所持品再特定部１６０５の判定結果）を表す情報である。図１４は、同一所持品判定情報１５０８のフォーマット例を示す。この例の同一所持品判定情報１５０８は、行列１５０８４から構成されている。行列１５０８４は、撮影時刻の異なる２つの画像のうち、未来側の撮影時刻ｔの画像１５０２から選択された再特定する所持品画像を特定する仮所持品ＩＤ１５０８１を縦方向（列方向）に並べ、過去側の撮影時刻ｔ－ｎの画像１５０２から選択された再特定する所持品画像を特定する仮所持品ＩＤ１５０８２を横方向（行方向）に並べ、行と列の交点１５０８３に同一所持品であるか否かを表す情報を記録するように構成されている。行列１５０８４の行数は、未来側の画像１５０２から選択された再特定する所持品の数に等しい。また行列１５０８４の列数は、過去側の画像１５０２から選択された再特定する所持品の数に等しい。例えば、図１４に示す行列１５０８４は、撮影時刻ｔの仮所持品ＩＤ１と撮影時刻ｔ－ｎの仮所持品ＩＤ１の交点に×印が記載されている。これは、撮影時刻ｔの仮所持品ＩＤ１で特定される所持品画像と撮影時刻ｔ－ｎの仮所持品ＩＤ１で特定される所持品画像とは同一所持品に係る画像でないことを表している。また、図１４に示す行列１５０８４は、撮影時刻ｔの仮所持品ＩＤ１と撮影時刻ｔ－ｎの仮所持品ＩＤ２の交点に丸印が記載されている。これは、撮影時刻ｔの仮所持品ＩＤ１で特定される所持品画像と撮影時刻ｔ－ｎの仮所持品ＩＤ２で特定される所持品画像とは同一所持品の画像であることを表している。

【0046】

同一人物判定情報１５０９は、撮影時刻の異なる２つの画像１５０２のうち、一方の画像から検出された人物画像と他方の画像から検出された人物画像とが同一人物に係る人物画像であるか否かを判定した結果を表す情報である。図１５は、同一人物判定情報１５０９のフォーマット例を示す。この例の同一人物判定情報１５０９は、行列１５０９４から構成されている。行列１５０９４は、撮影時刻の異なる２つの画像のうち、未来側の撮影時刻ｔの画像１５０２から検出された人物画像を特定する仮人物ＩＤ１５０９１を縦方向（列方向）に並べ、過去側の撮影時刻ｔ－ｎの画像１５０２から検出された人物画像を特定する仮人物ＩＤ１５０９２を横方向（行方向）に並べ、行と列の交点１５０９３に同一人物であるか否かを表す情報を記録するように構成されている。行列１５０９４の行数は、未来側の画像１５０２から検出された人物の数に等しい。また行列１５０９４の列数は、過去側の画像１５０２から検出された人物の数に等しい。例えば、図１５に示す行列１５０９４は、撮影時刻ｔの仮人物ＩＤ１と撮影時刻ｔ－ｎの仮人物ＩＤ１の交点に丸印が記載されている。これは、撮影時刻ｔの仮人物ＩＤ１で特定される人物画像と撮影時刻ｔ－ｎの仮人物ＩＤ１で特定される人物画像とは同一人物に係る画像であることを表している。また、図１５に示す行列１５０９４は、撮影時刻ｔの仮人物ＩＤ１と撮影時刻ｔ－ｎの仮人物ＩＤ２の交点に×印が記載されている。これは、撮影時刻ｔの仮人物ＩＤ１で特定される人物画像と撮影時刻ｔ－ｎの仮人物ＩＤ２で特定される人物画像とは同一人物の画像でないことを表している。

【0047】

追跡情報１５１０は、同一人物に係る人物検出情報または同一所持品に係る所持品検出情報を撮影時刻毎に対応付け、管理番号などで紐付けした情報である。図１６は、追跡情報１５１０のフォーマット例を示す。この例の追跡情報１５１０は、追跡情報種別１５１０１と追跡対象ＩＤ１５１０２と検出情報ＩＤ１５１０３と所持関係ＩＤ１５１０４の各項目から構成されている。追跡情報種別１５１０１は、当該追跡情報１５１０が、同一人物に係る人物検出情報を対応付けた人物追跡情報、または同一所持品に係る所持品検出情報を対応付けた所持品追跡情報の何れであるかを表す情報である。追跡対象ＩＤ１５１０２は、追跡対象の人物または所持品に割り当てた人物ＩＤまたは所持品ＩＤである。前述した仮人物ＩＤ、仮所持品ＩＤとは異なり、追跡対象ＩＤ１５１０２は、複数の撮影時間に亘って一意になるようなＩＤである。

【0048】

検出情報ＩＤ１５１０３と所持関係ＩＤ１５１０４の組は、同一人物に係る人物検出情報または同一所持品に係る所持品検出情報の数だけ存在する。１つの組の検出情報ＩＤ１５１０３は、同一人物または同一所持品に係る１つの人物検出情報または所持品検出情報を特定する情報である。例えば検出情報ＩＤ１５１０３は、人物検出情報１５０６の仮人物ＩＤ１５０６１と撮影時刻１５０６３との組み合わせ、または再特定所持品選択情報１５０５の仮物体ＩＤ１５０５１と撮影時刻１５０５３の組み合わせとしてよい。所持関係ＩＤ１５１０４は、同じ組の検出情報ＩＤ１５１０３で特定される人物検出情報または所持品検出情報と所持関係のある所持品検出情報または人物検出情報が検出されているか否か、検出されていれば所持関係のある所持品検出情報または人物検出情報を特定するＩＤ（例えば、再特定所持品選択情報１５０５の仮所持品ＩＤ１５０５１と撮影時刻１５０５３の組み合わせ、または人物検出情報１５０６の仮人物ＩＤ１５０６１と撮影時刻１５０６３との組み合わせ）を表す情報である。

【0049】

プログラム１５０１Ａは、演算処理部１６０に読み込まれて実行されることにより各種処理部を実現するプログラムである。演算処理部１６０で実現される処理部には、画像取得部１６０１、所持品検出部１６０２、骨格情報検出部１６０３、再特定所持品選択部１６０４、所持品再特定部１６０５、人物検出部１６０６、所持判定部１６０７、人物再特定部１６０８、および、イベント判定部１６０９がある。このうち、画像取得部１６０１、所持品検出部１６０２、骨格情報検出部１６０３、再特定所持品選択部１６０４は、第１の実施形態で既に説明したので、その詳細な説明は省略する。

【0050】

所持品再特定部１６０５は、第１の実施形態で説明した機能に加えて、再特定した結果を同一所持品判定情報１５０８として記憶部１５０に保存するように構成されている。

【0051】

人物検出部１６０６は、記憶部１５０から画像１５０２を読み出し、その画像１５０２から人物画像を検出するように構成されている。人物検出部１６０６は、例えば、カメラ画像から人物像を推定するための機械学習を行った学習済みの学習モデルに画像１５０２を入力することで、画像１５０２中に存在する人物画像を当該学習モデルから取得するように構成されている。学習モデルは、例えば、様々なカメラ画像とそのカメラ画像中の様々な人物像とを教師データとしてニューラルネットワークなどの機械学習アルゴリズムを用いた機械学習によって、事前に生成することができる。但し、画像１５０２から人物画像を検出する方法は上記に限定されず、パターンマッチングなどの方法を使用してもよい。また人物検出部１６０６は、検出した人物画像毎に、仮人物ＩＤ、撮影時刻、および、人物位置を算出し、それらをまとめて人物検出情報１５０６として記憶部１５０に保存するように構成されている。

【0052】

所持判定部１６０７は、画像１５０２から検出された人物検出情報１５０６および再特定所持品選択情報１５０５を記憶部１５０から読み出し、その画像１５０２から検出された人物画像に係る人物と所持品画像に係る所持品との間の所持関係の有無を判定し、判定結果を所持判定情報１５０７として記憶部１５０に保存するように構成されている。例えば所持判定部１６０７は、画像１５０２から検出された人物検出情報１５０６の１つに注目し、画像１５０２から選択された再特定所持品選択情報１５０５のうち、注目中の人物検出情報１５０６の人物位置１５０６４との間の画像中での距離が所定距離以下である所持品位置１５０５４を有する再特定所持品選択情報１５０５を、当該注目中の人物検出情報に係る人物と所持関係があると判断し、上記距離が所定距離を超える再特定所持品選択情報１５０５を、当該注目中の人物検出情報に係る人物と所持関係がないと判断する。所持判定部１６０７は、残りの人物検出情報１５０６についても同様の処理を行う。次に所持判定部１６０７は、上記の判断の結果を図１３に示した行列１５０７２の形式で表現し、それに画像１５０２の撮影時刻１５０７１を付加して、所持判定情報１５０７を生成し、記憶部１５０に保存する。

【0053】

人物再特定部１６０８は、最新の画像１５０２から検出された人物検出情報（以下、最新の人物検出情報と記す）１５０６および最新の画像１５０２と時間的に所定の関係を有する少なくとも１つの過去の画像１５０２から検出された人物検出情報（以下、過去の人物検出情報と記す）１５０６を記憶部１５０から読み出し、最新の人物検出情報１５０６に係る人物画像と少なくとも１つの過去の人物検出情報１５０６に係る人物画像とが同一人物に係る人物画像であるか否かを判定するように構成されている。最新の画像１５０２と時間的に所定の関係を有する少なくとも１つの過去の画像は、最新の画像１５０２のｉ個（ｉは１以上の正の整数）前の画像１５０２であってよい。或いは最新の画像１５０２と時間的に所定の関係を有する少なくとも１つの過去の画像は、最新の画像１５０２のｉ個前の画像１５０２とｊ個（ｊはｉより大きい正の整数）前の画像１５０２であってよい。ここでは、過去の画像を１つまたは２つとしたが、最新の画像１５０２と時間的に所定の関係を有する過去の画像は３つ以上あってもよい。

【0054】

人物再特定部１６０８は、例えば、２つの人物画像が同一人物に係る人物画像であるか否かを推定するための機械学習を行った学習済みの学習モデルに最新の人物検出情報１５０６の人物画像と過去の人物検出情報１５０６の人物画像とを入力することで、同一人物に係る人物画像であるか否かの推定結果を当該学習モデルから取得するように構成されている。学習モデルは、例えば、様々な同一人物に係る人物画像ペアおよび様々な相違人物に係る人物画像ペアを教師データとしてニューラルネットワークなどの機械学習アルゴリズムを用いた機械学習によって、事前に生成することができる。但し、２つの人物画像が同一人物に係る人物画像であるか否かを判定する方法は上記に限定されず、２つの人物画像から抽出した特徴ベクトルの距離が所定距離以下か否かを判定する方法など、他の方法を使用してもよい。

【0055】

また人物再特定部１６０８は、最新の人物検出情報１５０６に係る人物画像と過去の人物検出情報１５０６に係る人物画像とが同一人物に係る人物画像であるか否かの判定結果を図１５に示すような行列１５０９４の形式で表現し、記憶部１５０に保存するように構成されている。

【0056】

イベント判定部１６０９は、最新の画像１５０２についての人物検出部１６０６、再特定所持品選択部１６０４、所持判定部１６０７、人物再特定部１６０８、および、所持品再特定部１６０５の処理が完了する毎に、記憶部１５０から最新の所持判定情報１５０７、同一人物判定情報１５０９、および、同一所持品判定情報１５０８を読み出し、それらの情報に基づいて、同一人物および同一所持品に係る追跡情報１５１０を適宜生成ないし更新するように構成されている。またイベント判定部１６０９は、生成ないし更新後の追跡情報１５１０を解析することにより、人物と所持品との間の所持関係の変化を検出するように構成されている。またイベント判定部１６０９は、検出したイベントに関する情報を表すテキスト、音声、画像などを通信Ｉ／Ｆ部１２０を通じて外部装置へ出力（送信）し、または／および、画面表示部１４０に出力（表示）するように構成されている。例えば、イベント判定部１６０９は、人物と所持品との間に所持関係の変化が検出された時点の画像１５０２に対して、所持関係の変化が検出された人物像の外接矩形、所持品像の外接矩形を合成した画像を出力してよい。

【0057】

図１７は、画像処理装置２００の動作の一例を示すフローチャートである。図１７を参照すると、先ず、画像取得部１６０１は、カメラＩ／Ｆ部１１０を通じて画像サーバ１７０から、カメラ１７１で撮影された複数の画像あるいはそれをダウンサンプリングした画像を取得し、画像１５０２として記憶部１５０に記憶する（ステップＳ３１）。次に人物検出部１６０６は、記憶部１５０から最新の画像１５０２を読み出し、その画像１５０２から人物画像を検出し、人物検出情報１５０６を記憶部１５０に保存する（ステップＳ３２）。次に所持品検出部１６０２は、記憶部１５０から最新の画像１５０２を読み出し、その画像１５０２から所持品画像を検出し、所持品検出情報１５０３を記憶部１５０に保存する（ステップＳ３３）。次に骨格情報検出部１６０３は、記憶部１５０から最新の画像１５０２を読み出し、その画像１５０２から人の骨格情報を検出し、骨格検出情報１５０４を記憶部１５０に保存する（ステップＳ３４）。次に再特定所持品選択部１６０４は、最新の画像１５０２から検出された所持品検出情報１５０３と骨格検出情報１５０４とを記憶部１５０から読み出し、それらから再特定する所持品を選択し、選択した再特定する所持品に係る再特定所持品選択情報１５０５を記憶部１５０に保存する（ステップＳ３５）。

【0058】

次に所持判定部１６０７は、最新の画像１５０２から検出された人物検出情報１５０６および再特定所持品選択情報１５０５を記憶部１５０から読み出し、その画像１５０２から検出された人物画像に係る人物と所持品画像に係る所持品の所持関係の有無を判定し、判定結果を所持判定情報１５０７として記憶部１５０に保存する（ステップＳ３６）。次に人物再特定部１６０８は、最新の画像１５０２から検出された人物検出情報（最新の人物検出情報）１５０６および最新の画像１５０２と時間的に所定の関係を有する少なくとも１つの過去の画像１５０２から検出された人物検出情報（過去の人物検出情報）１５０６を記憶部１５０から読み出し、最新の人物検出情報１５０６に係る人物画像と過去の人物検出情報１５０６に係る人物画像とが同一人物に係る人物画像であるか否かを判定し、同一人物判定情報１５０９を記憶部１５０に保存する（ステップＳ３７）。次に所持品再特定部１６０５は、最新の画像１５０２から検出された再特定所持品選択情報（最新の再特定所持品選択情報）１５０５および最新の画像１５０２と時間的に所定の関係を有する少なくとも１つの過去の画像１５０２から検出された再特定所持品選択情報（過去の再特定所持品選択情報）１５０５を記憶部１５０から読み出し、最新の再特定所持品選択情報１５０５に係る所持品画像と過去の再特定所持品選択情報１５０５に係る所持品画像とが同一の所持品に係る所持品画像であるか否かを判定し、同一所持品判定情報１５０８を記憶部１５０に保存する（ステップＳ３８）。次にイベント判定部１６０９は、記憶部１５０から最新の所持判定情報１５０７、同一人物判定情報１５０９、および、同一所持品判定情報１５０８を読み出し、それらの情報に基づいて、人物と所持品との間に所持関係の変化が生じたか否かを判定し、判定結果を通信Ｉ／Ｆ部１２０を通じて外部装置へ送信し、または／および、画面表示部１４０に表示する（ステップＳ３９）。その後、画像処理装置２００は、ステップＳ３１に戻り、上述した動作と同様の動作を繰り返す。

【0059】

図１８はイベント判定部１６０９が実行するステップＳ３９の詳細を示すフローチャートである。図１８を参照すると、先ずイベント判定部１６０９は、最新の所持判定情報１５０７、同一人物判定情報１５０９、および、同一所持品判定情報１５０８に基づいて、同一人物毎に、当該同一人物に係る追跡情報１５１０を生成・更新する（ステップＳ４１）。

【0060】

上記ステップＳ４１では、イベント判定部１６０９は、最新の画像１５０２から検出された人物のうち、過去の画像から検出された何れの人物とも同一でないと人物再特定部１６０８によって判定された人物、即ち、最新の画像１５０２において初めて検出された人物については、当該人物に係る追跡情報１５１０を新規に生成する。その際、イベント判定部１６０９は、図１６に示した追跡情報種別１５１０１に人物を示す種別を、追跡対象ＩＤ１５１０２に当該人物に割り当てた人物ＩＤを、検出情報ＩＤ１５１０３に最新の画像１５０２から検出された当該人物の人物検出情報１５０６の撮影時刻および仮人物ＩＤを、所持関係ＩＤ１５１０４に所持判定部１６０７によって当該人物が所持品を所持していないと判定されていればＮＵＬＬ値、所持していると判定されていれば所持品を特定する情報（例えば再特定所持品選択情報１５０５を特定する撮影時刻と仮物体ＩＤ）を、それぞれ設定する。

【0061】

また上記ステップＳ４１では、イベント判定部１６０９は、最新の画像１５０２から検出された人物のうち、過去の画像から検出された何れかの人物と同一であると人物再特定部１６０８によって判定された人物については、その人物について既に作成されている追跡情報１５１０に最新の検出情報ＩＤ１５１０３と所持関係ＩＤ１５１０４のペアを追加する。即ち、イベント判定部１６０９は、最新の画像１５０２から検出された当該人物の人物検出情報１５０６の撮影時刻および仮人物ＩＤを設定した検出情報ＩＤ１５１０３と、最新の画像１５０２において当該人物が所持品を所持していなければＮＵＬＬ値を、所持していれば所持品を特定する情報を、それぞれ設定した所持関係ＩＤ１５１０４を追加する。

【0062】

次にイベント判定部１６０９は、最新の所持判定情報１５０７、同一人物判定情報１５０９、および、同一所持品判定情報１５０８に基づいて、同一所持品毎に、当該同一所持品に係る追跡情報１５１０を生成・更新する（ステップＳ４２）。

【0063】

上記ステップＳ４２では、イベント判定部１６０９は、最新の画像１５０２から検出された所持品のうち、過去の画像から検出された何れの所持品とも同一でないと所持品再特定部１６０５によって判定された所持品については、その所持品に係る追跡情報１５１０を新規に生成する。その際、イベント判定部１６０９は、図１６に示した追跡情報種別１５１０１に所持品を示す種別を、追跡対象ＩＤ１５１０２に当該所持品に割り当てた所持品ＩＤを、検出情報ＩＤ１５１０３に最新の画像１５０２から検出された当該所持品の再特定所持品選択情報１５０５の撮影時刻および仮物体ＩＤを、所持関係ＩＤ１５１０４に当該所持品が何れの人物にも所持されていないと所持判定部１６０７によって判定されていればＮＵＬＬ値、所持されていると判定されていれば所持者を特定する情報（例えば人物検出情報１５０６を特定する撮影時刻と仮人物ＩＤ）を、それぞれ設定する。

【0064】

また上記ステップＳ４２では、イベント判定部１６０９は、最新の画像１５０２から検出された所持品のうち、過去の画像から検出された何れかの所持品と同一であると所持品再特定部１６０５によって判定された所持品、すなわち、その所持品に係る追跡情報１５１０が既に存在する所持品については、当該所持品に係る追跡情報１５１０に最新の検出情報ＩＤ１５１０３と所持関係ＩＤ１５１０４のペアを追加する。即ち、イベント判定部１６０９は、最新の画像１５０２から検出された当該所持品の再特定所持品選択情報１５０５の撮影時刻および仮物体ＩＤを設定した検出情報ＩＤ１５１０３と、最新の画像１５０２において当該所持品が何れの人物にも所持されていなければＮＵＬＬ値を、所持されていれば所持者の人物を特定する情報（例えば、人物検出情報１５０６の撮影時刻と仮人物ＩＤ）を、それぞれ設定した所持関係ＩＤ１５１０４を追加する。

【0065】

次にイベント判定部１６０９は、ステップＳ４１で更新した同一人物に係る追跡情報１５１０毎に、当該人物と所持品との間に所持関係の変化が生じたか否かを判定する（ステップＳ４３）。具体的には、イベント判定部１６０９は、当該人物が所持品の所持状態から非所持状態に変化したか否か、または、その逆に所持品の非所持状態から所持状態に変化したか否か、または、所持品が或る所持品から別の所持品に変化したか否かを判定する。例えばイベント判定部１６０９は、当該人物が所持品の所持状態から非所持状態に変化したと判定した場合、所持状態から非所持状態に変化したことを表す変化種別と、当該人物の人物ＩＤと、変化した時刻と、変化前に所持していた所持品の所持品ＩＤとから構成される判定情報を生成する。またイベント判定部１６０９は、当該人物が所持品の非所持状態から所持状態に変化したと判定した場合、非所持状態から所持状態に変化したことを表す変化種別と、当該人物の人物ＩＤと、変化した時刻と、変化後に所持していた所持品の所持品ＩＤとから構成される判定情報を生成する。またイベント判定部１６０９は、当該人物の所持品が或る所持品から別の所持品に変化したことを判定した場合、所持品が変化したことを表す変化種別と、当該人物の人物ＩＤと、変化した時刻と、変化前に所持していた所持品の所持品ＩＤと、変化後に所持していた所持品の所持品ＩＤとから構成される判定情報を生成する。

【0066】

次にイベント判定部１６０９は、ステップＳ４２で更新した同一所持品に係る追跡情報１５１０毎に、当該所持品と人物との間に所持関係の変化が生じたか否かを判定する（ステップＳ４４）。具体的には、イベント判定部１６０９は、当該所持品が所持者のいる所持状態から所持者のいない非所持状態に変化したか否か、または、その逆に所持者のいない非所持状態から所持者のいる所持状態に変化したか否か、または、所持者が或る人物から別の人物に変化したか否かを判定する。例えばイベント判定部１６０９は、当該所持品が所持者のいる所持状態から所持者のいない非所持状態に変化したと判定した場合、所持状態から非所持状態に変化したことを表す変化種別と、当該所持品の所持品ＩＤと、変化した時刻と、変化前の所持者である人物の人物ＩＤとから構成される判定情報を生成する。またイベント判定部１６０９は、当該所持品が所持者のいない非所持状態から所持者のいる所持状態に変化したと判定した場合、非所持状態から所持状態に変化したことを表す変化種別と、当該所持品の物体ＩＤと、変化した時刻と、変化後の所持者である人物の人物ＩＤとから構成される判定情報を生成する。またイベント判定部１６０９は、当該所持品の所持者が或る人物から別の人物に変化したことを判定した場合、所持者が変化したことを表す変化種別と、当該所持品の所持品ＩＤと、変化した時刻と、変化前の所持者である人物の人物ＩＤと、変化後の所持者である人物の人物ＩＤとから構成される判定情報を生成する。

【0067】

次にイベント判定部１６０９は、ステップＳ４３による同一人物に係る追跡情報に基づく判定結果とステップＳ４４による同一所持品に係る追跡情報に基づく判定結果とを総合的に判断して、人物と所持品との間に所持関係の変化が生じたか否かを最終的に判断する（ステップＳ４５）。

【0068】

例えば、イベント判定部１６０９は、ステップＳ４３による同一人物に係る追跡情報に基づく判定結果とステップＳ４４による同一所持品に係る追跡情報に基づく判定結果とを単純に寄せ集めた結果を最終判定結果としてよい。これによって、同一人物に係る追跡情報および同一所持品に係る追跡情報の何れか一方に基づく場合に比べて、人物と所持品との間に所持関係の変化が生じたか否かを漏れなく検出することができる。その理由は、同一人物に係る追跡情報によっては検出できない人物と所持品との間の所持関係の変化が、同一物体に係る追跡情報によって検出できるケースがあり、また、その逆のケースもあるためである。

【0069】

またイベント判定部１６０９は、ステップＳ４３による同一人物に係る追跡情報に基づく判定結果とステップＳ４４による同一所持品に係る追跡情報に基づく判定結果とを突き合わせ、人物と所持品との間の論理的に同じ所持関係の変化を１つにまとめるようにしてもよい。例えば、時刻ｔ１に人物Ａが所持品Ｘの所持状態から非所持状態に変化したという同一人物に係る追跡情報に基づく判定結果と、時刻ｔ１に所持品Ｘが所持者Ａのいる所持状態から所持者のいない非所持状態に変化したという同一所持品に係る追跡情報に基づく判定結果とを１つにまとめて、時刻ｔ１に人物Ａと所持品Ｘとの所持関係が所持状態から非所持状態に変化したという判定結果を生成してよい。これによって、判定結果の精度を高めることができる。

【0070】

またイベント判定部１６０９は、ステップＳ４３による或る人物に係る追跡情報に基づく判定結果と他の人物に係る追跡情報に基づく判定結果とを突き合わせ、複数の人物と所持品との間の関連する所持関係の変化を１つにまとめるようにしてもよい。例えば、時刻ｔ１に人物Ａが所持品Ｘの所持状態から非所持状態に変化したという判定結果と、時刻ｔ１近傍の時刻に人物Ｂが非所持状態から所持品Ｘの所持状態に変化したという判定結果とを１つにまとめて、時刻ｔ１近傍の時刻に人物Ａから人物Ｂに所持品Ｘが受け渡されたという判定結果を生成してよい。或いは、時刻ｔ１に人物Ａが所持品Ｘの所持状態から所持品Ｙの所持状態に変化したという判定結果と、時刻ｔ１近傍の時刻に人物Ｂが所持品Ｙの所持状態から所持品Ｘの所持状態に変化したという判定結果とを１つにまとめて、時刻ｔ１近傍の時刻に人物Ａと人物Ｂとの間で人物Ａが所持していた所持品Ｘと人物Ｂが所持していた所持品Ｙとのすり替えが行われたという判定結果を生成してよい。

【0071】

またイベント判定部１６０９は、ステップＳ４４による或る所持品に係る追跡情報に基づく判定結果と他の所持品に係る追跡情報に基づく判定結果とを突き合わせ、複数の人物と所持品との間の関連する所持関係の変化を１つにまとめるようにしてもよい。例えば、時刻ｔ１に所持品Ｘが人物Ａに所持されている状態から非所持状態に変化したという判定結果と、時刻ｔ１近傍の時刻に所持品Ｘが非所持状態から人物Ｂに所持される状態に変化したという判定結果とを１つにまとめて、時刻ｔ１近傍の時刻に所持品Ｘが人物Ａから人物Ｂに受け渡されたという判定結果を生成してよい。或いは、時刻ｔ１に所持品Ｘが人物Ａに所持されている所持状態から人物Ｂに所持されている所持状態に変化したという判定結果と、時刻ｔ１近傍の時刻に所持品Ｙが人物Ｂに所持されている所持状態から人物Ａに所持されている所持状態に変化したという判定結果とを１つにまとめて、時刻ｔ１近傍の時刻に人物Ａと人物Ｂとの間で人物Ａに所持されていた所持品Ｘと人物Ｂに所持されていた所持品Ｙとのすり替えが行われたという判定結果を生成してよい。

【0072】

以上説明したように本実施形態に係る画像処理装置２００によれば、人物と所持品との所持関係の有無の変化を検出することができると共に、人物と所持品との間の所持関係の変化、すなわち、或る人物の所持品が或る所持品から別の所持品に変化したことを検出することができる。そして、画像処理装置２００によれば、画像から検出した所持品を無条件に再特定する所持品に選択するのではなく、人物によって遮蔽されていない所持品を再特定する所持品に選択しているため、所持品再特定部１６０５において所持品の再特定誤りの増加を防止することができる。そのため、所持品の再特定誤りが原因で同一所持品を追跡する処理が途中で破綻するといった事態を防止することができる。

【0073】

［第３の実施の形態］
次に、本発明の第３の実施形態に係る画像処理装置３００について図面を参照して説明する。図１９は、画像処理装置３００のブロック図である。図１９を参照すると、画像処理装置３００は、画像取得手段３０１と所持品検出手段３０２と骨格情報検出手段３０３と再特定所持品選択手段３０４と所持品再特定手段３０５とを備えている。

【0074】

画像取得手段３０１は、異なる時刻に撮影された複数の画像を取得するように構成されている。画像取得手段３０１は、例えば、図１の画像取得部１６０１と同様に構成することができるが、それに限定されない。

【0075】

所持品検出手段３０２は、画像取得手段３０１によって取得された各画像から所持品を検出するように構成されている。所持品検出手段３０２は、例えば、図１の所持品検出部１６０２と同様に構成することができるが、それに限定されない。

【0076】

骨格情報検出手段３０３は、画像取得手段３０１によって取得された各画像から人の骨格情報を検出するように構成されている。骨格情報検出手段３０３は、例えば、図１の骨格情報検出部１６０３と同様に構成することができるが、それに限定されない。

【0077】

再特定所持品選択手段３０４は、所持品検出手段３０２によって検出された所持品と骨格情報検出手段３０３によって検出された人の骨格情報とから、再特定する所持品を選択するように構成されている。再特定所持品選択手段３０４は、例えば、図１の再特定所持品選択部１６０４と同様に構成することができるが、それに限定されない。

【0078】

所持品再特定手段３０５は、画像取得手段３０１によって取得された複数の画像のうち、何れか１つの画像から再特定所持品選択手段３０４によって選択された再特定する所持品と、他の何れか１つの画像から再特定所持品選択手段３０４によって選択された再特定する所持品とが、同一の所持品であるか否かを判定するように構成されている。所持品再特定手段３０５は、例えば、図１の所持品再特定部１６０５と同様に構成することができるが、それに限定されない。

【0079】

このように構成された画像処理装置３００は、以下のように動作する。即ち、画像取得手段３０１は、異なる時刻に撮影された複数の画像を取得する。次に、所持品検出手段３０２は、画像取得手段３０１によって取得された各画像から所持品を検出する。次に、骨格情報検出手段３０３は、画像取得手段３０１によって取得された各画像から人の骨格情報を検出する。次に、再特定所持品選択手段３０４は、所持品検出手段３０２によって検出された所持品と骨格情報検出手段３０３によって検出された人の骨格情報とから、再特定する所持品を選択する。次に、所持品再特定手段３０５は、画像取得手段３０１によって取得された複数の画像のうち、何れか１つの画像から再特定所持品選択手段３０４によって選択された再特定する所持品と、他の何れか１つの画像から再特定所持品選択手段３０４によって選択された再特定する所持品とが、同一の所持品であるか否かを判定する。

【0080】

以上のように構成され動作する画像処理装置３００によれば、所持品の再特定誤りの増加を防止することができる。その理由は、物体検出と再特定との間にオクルージョンに対する頑健性の違いがあることを考慮し、画像取得手段３０１によって取得された画像から所持品検出手段３０２によって検出された所持品と、同じ画像から骨格情報検出手段３０３によって検出された人物の骨格情報とから、再特定所持品選択手段３０４によって当該人物によって遮蔽されていない所持品を再特定する所持品に選択するためである。

【0081】

以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。

【0082】

例えば、前述した実施形態では、所持品検出、骨格情報検出、再特定所持品検出、所持品再特定などの処理をオンラインで実施したが、オフラインで実施するようにしてもよい。

【産業上の利用可能性】

【0083】

本発明は、人の所持品の再特定に利用でき、特に人による所持品の置き去り、持ち去り、すり替えなどのイベントを検出する技術に利用できる。

【0084】

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
画像処理装置において、
異なる時刻に撮影された複数の画像を取得する画像取得手段と、
前記各画像から所持品を検出する所持品検出手段と、
前記各画像から人の骨格情報を検出する骨格情報検出手段と、
前記検出された所持品と人の骨格情報とから再特定する所持品を選択する再特定所持品選択手段と、
前記複数の画像のうち、何れか１つの画像から選択された再特定する所持品と他の何れか１つの画像から選択された再特定する所持品とが同一の所持品であるか否かを判定する所持品再特定手段と、を備える
画像処理装置。
［付記２］
前記再特定所持品選択手段は、前記検出された所持品と人の骨格情報とから前記所持品が前記人によって遮蔽されているか否かを判定し、前記判定の結果に基づいて前記選択を行う、
付記１に記載の画像処理装置。
［付記３］
前記再特定所持品選択手段は、前記検出された人の骨格情報を構成する関節の位置が前記検出された所持品の外接矩形の中にあるか否かを判定し、前記判定の結果に基づいて前記選択を行う、
付記１または２に記載の画像処理装置。
［付記４］
前記再特定所持品選択手段は、前記検出された人の骨格情報を構成する複数の関節の位置が前記検出された所持品の外接矩形の中にある場合、前記外接矩形の面積に対する、前記複数の関節の位置の外接矩形の面積の割合に基づいて前記選択を行う、
付記１乃至３の何れかに記載の画像処理装置。
［付記５］
前記再特定所持品選択手段は、前記検出された人の骨格情報を構成する少なくとも１つの関節の位置が前記検出された所持品の外接矩形の中にある場合、前記関節の位置と前記外接矩形の中心の位置との距に基づいて前記選択を行う、
付記１乃至４の何れかに記載の画像処理装置。
［付記６］
前記各画像から人物を検出する人物検出手段と、
同じ前記画像から検出された人物と所持品の所持関係の有無を判定する所持判定手段と、
前記複数の画像のうち、何れか１つの画像から検出された人物と他の何れか１つの画像から検出された人物とが同一の人物であるか否かを判定する人物再特定手段と、
前記所持判定手段と前記人物再特定手段と前記所持品再特定手段の各判定結果に基づいて、人物と所持品との間に所持関係の変化が生じたか否かを判定し、判定結果を出力するイベント判定手段と、を更に備える
付記１乃至５の何れかに記載の画像処理装置。
［付記７］
画像処理方法において、
異なる時刻に撮影された複数の画像を取得し、
前記各画像から所持品を検出し、
前記各画像から人の骨格情報を検出し、
前記検出された所持品と人の骨格情報とから再特定する所持品を選択し、
前記複数の画像のうち、何れか１つの画像から選択された再特定する所持品と他の何れか１つの画像から選択された再特定する所持品とが同一の所持品であるか否かを判定する、
画像処理方法。
［付記８］
コンピュータに、
異なる時刻に撮影された複数の画像を取得する処理と、
前記各画像から所持品を検出する処理と、
前記各画像から人の骨格情報を検出する処理と、
前記検出された所持品と人の骨格情報とから再特定する所持品を選択する処理と、
前記複数の画像のうち、何れか１つの画像から選択された再特定する所持品と他の何れか１つの画像から選択された再特定する所持品とが同一の所持品であるか否かを判定する処理と、を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

【符号の説明】

【0085】

１００ 画像処理装置
１１０ カメラＩ／Ｆ部
１２０ 通信Ｉ／Ｆ部
１３０ 操作入力部
１４０ 画面表示部
１５０ 記憶部
１６０ 演算処理部
１７０ 画像サーバ
１７１ カメラ
２００ 画像処理装置
３００ 画像処理装置
３０１ 画像取得手段
３０２ 所持品検出手段
３０３ 骨格情報検出手段
３０４ 再特定所持品選択手段
３０５ 所持品再特定手段
１５０１ プログラム
１５０１Ａ プログラム
１５０２ 画像
１５０３ 所持品検出情報
１５０４ 骨格検出情報
１５０５ 再特定所持品選択情報
１５０６ 人物検出情報
１５０７ 所持判定情報
１５０８ 同一所持品判定情報
１５０９ 同一人物判定情報
１５１０ 追跡情報
１６０１ 画像取得部
１６０２ 所持品検出部
１６０３ 骨格情報検出部
１６０４ 再特定所持品選択部
１６０５ 所持品再特定部
１６０６ 人物検出部
１６０７ 所持判定部
１６０８ 人物再特定部
１６０９ イベント判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】