▶ エヌ・ティ・ティ・コミュニケーションズ株式会社の特許一覧
特許7424939人物検出装置、人物追跡装置、人物追跡システム、人物検出方法、人物追跡方法、人物検出プログラム及び人物追跡プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-22
(45)【発行日】2024-01-30
(54)【発明の名称】人物検出装置、人物追跡装置、人物追跡システム、人物検出方法、人物追跡方法、人物検出プログラム及び人物追跡プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240123BHJP
H04N 7/18 20060101ALI20240123BHJP
G08B 25/00 20060101ALI20240123BHJP
【ＦＩ】
G06T7/00 660B
H04N7/18 D
G08B25/00 510M
【請求項の数】
12
(21)【出願番号】P 2020135146
(22)【出願日】2020-08-07
(65)【公開番号】P2022030852
(43)【公開日】2022-02-18
【審査請求日】2023-02-07
(73)【特許権者】
【識別番号】399035766
【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(72)【発明者】
【氏名】児玉 知也
(72)【発明者】
【氏名】松本 鮎美
(72)【発明者】
【氏名】塩崎 貴司
(72)【発明者】
【氏名】宮原 拓磨
(72)【発明者】
【氏名】宇田 育弘
(72)【発明者】
【氏名】根本 真一
(72)【発明者】
【氏名】佐藤 篤
(72)【発明者】
【氏名】角守 友幸
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】国際公開第２０１４／１３２８４１（ＷＯ，Ａ１）
【文献】特開２０２０－１３２９０（ＪＰ，Ａ）
【文献】特開２０１９－１６０００１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｈ０４Ｎ ７／１８
Ｇ０８Ｂ ２５／００
(57)【特許請求の範囲】
【請求項1】
互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部が算出した前記類似度のそれぞれに基づいて、前記対象画像を少なくとも一つの照合モデルのそれぞれについて、複数の段階に分類するための複数の閾値を、前記類似度算出手法毎に記憶した閾値記憶部と、複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれから抽出した前記対象画像である類似度算出対象者の画像の、前記特定画像である特定人物の画像に対する少なくとも一つの類似度を前記類似度算出部から取得し、前記類似度算出部での前記少なくとも一つの類似度の算出に用いた前記類似度算出手法に対応して前記閾値記憶部に記憶されている前記複数の閾値に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の画像の中から、前記特定人物の画像に類似する画像を検出すると共に、その検出した前記類似度算出対象者の画像が複数の注意段階の何れであるか検出する検出部と、
を具備する、人物検出装置。
【請求項2】
前記検出部が検出した前記特定人物の画像に類似する前記画像を、前記検出部が検出した前記注意段階を示す段階表示と共に提示するための出力画面を生成する出力画面生成部をさらに具備する、請求項１に記載の人物検出装置。
【請求項3】
前記複数の閾値は、前記対象画像である前記類似度算出対象者の画像が前記特定人物の画像であるか否か分類するための第１の閾値と、前記類似度算出対象者の画像が前記特定人物の画像である場合に、前記類似度算出対象者の画像を前記複数の段階に分類するための少なくとも一つの第２の閾値と、を含む、請求項１又は２に記載の人物検出装置。
【請求項4】
請求項２に記載の人物検出装置と、前記人物検出装置によって前記出力画面に前記段階表示と共に提示された前記特定人物の画像に類似する複数の前記類似度算出対象者の画像の中から、追跡を行うべき追跡対象者の画像の指定を、監視者が操作する監視端末から受け付け、その指定された画像を追跡用画像として登録し、前記登録された前記追跡を行うべき前記追跡対象者の画像である前記追跡用画像を前記特定画像として、前記類似度算出部に、少なくとも二つ以上の前記類似度算出手法を用いて前記類似度算出対象者の画像の前記類似度を少なくとも二つ抽出させる登録部と、
前記検出部が、前記類似度算出部から取得した前記少なくとも二つ以上の類似度から検出した前記追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像それぞれを、前記検出部が検出した前記注意段階を示す段階表示と共に提示するための追跡出力画面を生成する追跡出力画面生成部と、
を具備する、人物追跡装置。
【請求項5】
互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部が算出した前記類似度のそれぞれに基づいて、前記対象画像を複数の段階に分類するための複数の閾値を、前記類似度算出手法毎に記憶した閾値記憶部と、監視者が操作する監視端末から指定された追跡を行うべき追跡対象者の画像を、前記特定画像として登録する登録部と、
複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれから抽出した前記対象画像である類似度算出対象者の画像の、前記特定画像に対する少なくとも一つの類似度を前記類似度算出部から取得し、前記類似度算出部での前記少なくとも一つの類似度の算出に用いた前記類似度算出手法に対応して前記閾値記憶部に記憶されている前記複数の閾値に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の画像の中から、前記追跡対象者の画像に類似する画像を検出すると共に、その検出した前記類似度算出対象者の画像が複数の注意段階の何れであるのか検出する検出部と、
前記検出部が、前記類似度算出部から取得した前記少なくとも二つ以上の類似度から検出した前記追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像を、前記注意段階を示す段階表示と共に提示するための追跡出力画面を生成する追跡出力画面生成部と、
を具備する、人物追跡装置。
【請求項6】
前記追跡出力画面生成部は、前記監視端末からの段数指定を受けて、前記検出部が検出した前記類似度算出対象者の前記画像の内、前記指定された段階に対応する閾値以上の類似度を有する画像を、前記段階表示と共に提示する絞り込み出力画面を生成する、請求項４又は５に記載の人物追跡装置。
【請求項7】
請求項４乃至６の何れかに記載の人物追跡装置と、前記複数台の監視カメラと、
前記監視者が操作する前記監視端末と、
前記類似度算出部を備える解析部と、
を具備する人物追跡システム。
【請求項8】
複数台の監視カメラが取得した監視画像から特定人物を検出する人物検出方法であって、コンピュータが、
互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部が算出した前記類似度のそれぞれに基づいて、前記対象画像を複数の段階に分類するための複数の閾値を、前記類似度算出手法毎にメモリに記憶させておき、
複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれから抽出した前記対象画像である類似度算出対象者の画像の、前記特定画像である特定人物の画像に対する少なくとも一つの類似度を前記類似度算出部から取得し、
前記類似度算出部での前記少なくとも一つの類似度の算出に用いた前記類似度算出手法に対応して前記メモリに記憶されている前記複数の閾値に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の画像の中から、前記特定人物の画像に類似する画像を検出すると共に、その検出した前記類似度算出対象者の画像が複数の注意段階の何れであるのか検出する、
人物検出方法。
【請求項9】
複数台の監視カメラが取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、コンピュータが、
請求項８に記載の人物検出方法によって検出した前記特定人物の画像に類似する前記画像を、前記検出した前記注意段階を示す段階表示と共に提示するための出力画面を生成し、前記出力画面に前記段階表示と共に提示された前記特定人物の画像に類似する複数の類似度算出対象者の画像の中から、追跡を行うべき追跡対象者の画像の指定を、監視者が操作する監視端末から受け付け、
その指定された画像を追跡用画像として前記メモリに登録し、
前記メモリに登録された前記追跡を行うべき前記追跡対象者の画像である前記追跡用画像を前記特定画像として、前記類似度算出部に、少なくとも二つ以上の前記類似度算出手法を用いて前記類似度算出対象者の画像の前記類似度を少なくとも二つ抽出させ、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の、前記特定画像である前記追跡対象者の画像に対する前記少なくとも二つの類似度を前記類似度算出部から取得し、
前記類似度算出部での前記類似度のそれぞれの算出に用いた前記類似度算出手法に対応して前記メモリに記憶されている前記複数の閾値に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の画像の中から、前記追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像を検出すると共に、その検出した前記類似度算出対象者の画像が前記複数の注意段階の何れであるのか検出し、前記類似度算出部から取得した前記少なくとも二つ以上の類似度から検出した前記追跡対象者の画像に類似する前記二つ以上の類似度算出対象者の画像それぞれを、前記検出した前記注意段階を示す段階表示と共に提示する追跡出力画面を生成する、
人物追跡方法。
【請求項10】
複数台の監視カメラが取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、コンピュータが、
互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部が算出した前記類似度のそれぞれに基づいて、前記対象画像を複数の段階に分類するための複数の閾値を、前記類似度算出手法毎にメモリに記憶させておき、
監視者が操作する監視端末から指定された追跡を行うべき追跡対象者の画像を、前記特定画像として前記メモリに登録し、
複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれから抽出した前記対象画像である類似度算出対象者の画像の、前記特定画像に対する少なくとも一つの類似度を前記類似度算出部から取得し、
前記類似度算出部での前記類似度の算出に用いた前記類似度算出手法に対応して前記メモリに記憶されている前記複数の閾値に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の画像の中から、前記追跡対象者の画像に類似する画像を検出すると共に、その検出した前記類似度算出対象者の画像が複数の注意段階の何れであるのか検出し、前記類似度算出部から取得した前記少なくとも二つ以上の類似度から検出した前記追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像を、前記検出した前記注意段階を示す段階表示と共に提示するための追跡出力画面を生成する、
人物追跡方法。
【請求項11】
請求項１乃至３の何れかに記載の人物検出装置の各部としてコンピュータを動作させる人物検出プログラム。
【請求項12】
請求項４乃至６の何れかに記載の人物追跡装置の各部としてコンピュータを動作させる人物追跡プログラム。【発明の詳細な説明】
【技術分野】
【0001】
この発明の一態様は、人物検出装置、人物追跡装置、人物追跡システム、人物検出方法、人物追跡方法、人物検出プログラム及び人物追跡プログラムに関する。
【背景技術】
【0002】
近年、画像から抽出した人物の顔や全身の特徴量の類似度に基づいて人物認証を行う技術の発展に伴い、その認証技術の利用法が各種提案されている。例えば、特許文献１は、監視カメラによって取得した監視画像から抽出した人物の顔認証結果を、通信インタフェース部を介して監視装置等の外部の端末へ送信し、その画面表示部に表示する技術を提案している。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第６６２７８９４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
監視画像を取得する監視カメラの種類や性能により、顔認証の出力結果及び全身照合の出力結果は何れも区々である。そのため、監視装置の画面表示部に表示された認証結果から、監視者はその認証結果の確からしさを認識することが困難である。
【0005】
この発明は上記事情に着目してなされたもので、その目的とするところは、認証結果の確からしさを監視者が容易に認識できるようにすることにある。
【課題を解決するための手段】
【0006】
上記目的を達成するためにこの発明に係る人物検出装置の一態様は、互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部が算出した前記類似度のそれぞれに基づいて、前記対象画像を複数の段階に分類するための複数の閾値を、前記類似度算出手法毎に記憶した閾値記憶部と、
複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれから抽出した前記対象画像である類似度算出対象者の画像の、前記特定画像である特定人物の画像に対する少なくとも一つの類似度を前記類似度算出部から取得し、前記類似度算出部での前記少なくとも一つの類似度の算出に用いた前記類似度算出手法に対応して前記閾値記憶部に記憶されている前記複数の閾値に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の画像の中から、前記特定人物の画像に類似する画像を検出すると共に、その検出した前記類似度算出対象者の画像が複数の注意段階の何れであるのか検出する検出部と、を具備するようにしたものである。
複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれから抽出した前記対象画像である類似度算出対象者の画像の、前記特定画像である特定人物の画像に対する少なくとも一つの類似度を前記類似度算出部から取得し、前記類似度算出部での前記少なくとも一つの類似度の算出に用いた前記類似度算出手法に対応して前記閾値記憶部に記憶されている前記複数の閾値に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の画像の中から、前記特定人物の画像に類似する画像を検出すると共に、その検出した前記類似度算出対象者の画像が複数の注意段階の何れであるのか検出する検出部と、を具備するようにしたものである。
【0007】
この発明に係る人物追跡装置の一態様は、この発明に係る人物検出装置の一態様と、前記人物検出装置によって前記出力画面に前記段階表示と共に提示された前記特定人物の画像に類似する複数の前記類似度算出対象者の画像の中から、追跡を行うべき追跡対象者の顔画像の指定を、監視者が操作する監視端末から受け付け、その指定された画像を追跡用画像として登録し、前記登録された前記追跡を行うべき前記追跡対象者の画像である前記追跡用画像を前記特定画像として、前記類似度算出部に、少なくとも二つ以上の前記類似度算出手法を用いて前記類似度算出対象者の画像の前記類似度を少なくとも二つ抽出させる登録部と、前記検出部が、前記類似度算出部から取得した前記少なくとも二つ以上の類似度から検出した前記追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像それぞれを、前記検出部が検出した前記注意段階を示す段階表示と共に提示する追跡出力画面を生成する追跡出力画面生成部と、を具備するようにしたものである。
【0008】
或いは、この発明に係る人物追跡装置の一態様は、互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部が算出した前記類似度のそれぞれに基づいて、前記対象画像を複数の段階に分類するための複数の閾値を、前記類似度算出手法毎に記憶した閾値記憶部と、監視者が操作する監視端末から指定された追跡を行うべき追跡対象者の画像を、前記特定画像として登録する登録部と、複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれから抽出した前記対象画像である類似度算出対象者の画像の、前記特定画像に対する少なくとも一つの類似度を前記類似度算出部から取得し、前記類似度算出部での前記少なくとも一つの類似度の算出に用いた前記類似度算出手法に対応して前記閾値記憶部に記憶されている前記複数の閾値に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の画像の中から、前記追跡対象者の画像に類似する画像を検出すると共に、その検出した前記類似度算出対象者の画像が複数の注意段階の何れであるのか検出する検出部と、
前記検出部が、前記類似度算出部から取得した前記少なくとも二つ以上の類似度から検出した前記追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像を、前記注意段階を示す段階表示と共に提示するための追跡出力画面を生成する追跡出力画面生成部と、を具備するようにしたものである。
前記検出部が、前記類似度算出部から取得した前記少なくとも二つ以上の類似度から検出した前記追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像を、前記注意段階を示す段階表示と共に提示するための追跡出力画面を生成する追跡出力画面生成部と、を具備するようにしたものである。
【0009】
この発明に係る人物追跡システムの一態様は、この発明に係る人物追跡装置の一態様と、前記複数台の監視カメラと、前記監視者が操作する前記監視端末と、前記類似度算出部を備える解析部と、を具備するようにしたものである。
【0010】
この発明に係る人物検出方法の一態様は、複数台の監視カメラが取得した監視画像から特定人物を検出する人物検出方法であって、コンピュータが、互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部が算出した前記類似度のそれぞれに基づいて、前記対象画像を複数の段階に分類するための複数の閾値を、前記類似度算出手法毎にメモリに記憶させておき、複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれから抽出した前記対象画像である類似度算出対象者の画像の、前記特定画像である特定人物の画像に対する少なくとも一つの類似度を前記類似度算出部から取得し、前記類似度算出部での前記少なくとも一つの類似度の算出に用いた前記類似度算出手法に対応して前記メモリに記憶されている前記複数の閾値に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の画像の中から、前記特定人物の画像に類似する画像を検出すると共に、その検出した前記類似度算出対象者の画像が複数の注意段階の何れであるのか検出するようにしたものである。
【0011】
この発明に係る人物追跡方法の一態様は、複数台の監視カメラが取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、コンピュータが、この発明に係る人物検出方法の一態様によって検出した前記特定人物の画像に類似する前記画像を、前記検出した前記注意段階を示す段階表示と共に提示するための出力画面を生成し、前記出力画面に前記段階表示と共に提示された前記特定人物の画像に類似する複数の類似度算出対象者の画像の中から、追跡を行うべき追跡対象者の画像の指定を、監視者が操作する監視端末から受け付け、その指定された画像を追跡用画像として前記メモリに登録し、前記メモリに登録された前記追跡を行うべき前記追跡対象者の画像である前記追跡用画像を前記特定画像として、前記類似度算出部に、少なくとも二つ以上の前記類似度算出手法を用いて前記類似度算出対象者の画像の前記類似度を少なくとも二つ抽出させ、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の、前記特定画像である前記追跡対象者の画像に対する前記少なくとも二つの類似度を前記類似度算出部から取得し、前記類似度算出部での前記類似度のそれぞれの算出に用いた前記類似度算出手法に対応して前記メモリに記憶されている前記複数の閾値に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の画像の中から、前記追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像を検出すると共に、その検出した前記類似度算出対象者の画像が前記複数の注意段階の何れであるのか検出し、前記類似度算出部から取得した前記少なくとも二つ以上の類似度から検出した前記追跡対象者の画像に類似する前記二つ以上の類似度算出対象者の画像それぞれを、前記検出した前記注意段階を示す段階表示と共に提示する追跡出力画面を生成するようにしたものである。
【0012】
或いは、この発明に係る人物追跡方法の一態様は、複数台の監視カメラが取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、コンピュータが、互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部が算出した前記類似度のそれぞれに基づいて、前記対象画像を複数の段階に分類するための複数の閾値を、前記類似度算出手法毎にメモリに記憶させておき、監視者が操作する監視端末から指定された追跡を行うべき追跡対象者の画像を、前記特定画像として前記メモリに登録し、複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれから抽出した前記対象画像である類似度算出対象者の画像の、前記特定画像に対する少なくとも一つの類似度を前記類似度算出部から取得し、前記類似度算出部での前記類似度の算出に用いた前記類似度算出手法に対応して前記メモリに記憶されている前記複数の閾値に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の画像の中から、前記追跡対象者の画像に類似する画像を検出すると共に、その検出した前記類似度算出対象者の画像が複数の注意段階の何れであるのか検出し、前記類似度算出部から取得した前記少なくとも二つ以上の類似度から検出した前記追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像を、前記検出した前記注意段階を示す段階表示と共に提示するための追跡出力画面を生成するようにしたものである。
【0013】
この発明に係る人物検出プログラムの一態様は、この発明に係る人物検出装置の一態様の各部としてコンピュータを動作させるようにしたプログラムである。
【0014】
この発明に係る人物追跡プログラムの一態様は、この発明に係る人物追跡装置の一態様の各部としてコンピュータを動作させるようにしたプログラムである。
【発明の効果】
【0015】
この発明の各態様によれば、認証結果の確からしさを監視者が容易に認識できるようになる。
【図面の簡単な説明】
【0016】
【発明を実施するための形態】
【0017】
以下、図面を参照してこの発明に係わる実施形態を説明する。
【0018】
【0019】
人物追跡システム１は、例えば、オフィスビルや百貨店等の複数フロアを有する建物、複数店舗を含む商業施設、等の広い監視範囲を有する大型施設において、特定の人物を追跡するシステムである。
【0020】
この人物追跡システム１は、複数台の監視カメラ１０と、各監視カメラ１０に対応して設けられた映像解析機能部２０及びこの発明の一実施形態に係る人物検出装置及び人物追跡装置として機能するＷｅｂサーバ３０を備えるサーバ装置ＳＶと、監視端末４０と、を含む。各監視カメラ１０と、サーバ装置ＳＶと、監視端末４０とは、ネットワークＮＥＴを介して接続されている。
【0021】
ネットワークＮＥＴは、構内ネットワークであり、例えば、無線ＬＡＮ（Local Area Network）または有線ＬＡＮである。ネットワークＮＥＴは、インターネットのような広域ネットワークであっても良い。
【0022】
複数の監視カメラ１０は、互いの撮影範囲が重ならないように或いは一部重なるように、大型施設内に分散配置されたネットワークカメラである。監視カメラ１０は、撮影範囲内の動画像を撮影するビデオカメラであって良く、動画像を構成する各フレーム画像を撮影範囲の監視画像として取得することができる。また監視カメラ１０は、一定のタイムインターバルで静止画像を撮影することで、定期的に監視画像を取得するスチルカメラであっても良い。
【0023】
サーバ装置ＳＶ内に配置された複数の映像解析機能部２０のそれぞれは、対応する監視カメラ１０から取得した監視画像に対する様々な解析機能を有している。この映像解析機能部２０が提供する解析機能の詳細については、後述する。なお、映像解析機能部２０は、このようにサーバ装置ＳＶの内部に配置されるのではなく、専用の演算装置やクラウドなどに独立して配置し、ネットワークＮＥＴを介して対応する監視カメラ１０とサーバ装置ＳＶとの間でデータを授受することも可能である。また、映像解析機能部２０は、監視カメラ１０が演算機能を持つのであれば、そのカメラ内部に配置することも可能である。なお、本実施形態では、監視カメラ１０と映像解析機能部２０とを１対１に対応させて構成しているが、一つの映像解析機能部２０が複数台の監視カメラ１０に割り当てられていても良い。
【0024】
サーバ装置ＳＶのＷｅｂサーバ３０は、サーバコンピュータによって構成され、機能部として、ファイルサーバ３１、データベース（以下、ＤＢと略記する。）サーバ３２、Ｗｅｂアプリケーション３５、検索用人検知結果保存機能部３３、及び、検知／追跡結果判定機能部３４を含む。これら各機能部の詳細については、後述する。
【0025】
監視端末４０は、パーソナルコンピュータ等のコンピュータによって構成され、Ｗｅｂブラウザ４１のプログラムを実行することができる。Ｗｅｂブラウザ４１により、監視端末４０を操作する警備員等の監視者は、Ｗｅｂサーバ３０のＷｅｂアプリケーション３５が提供する人物追跡結果を閲覧することができる。なお、図１では、監視端末４０は、一台のみを示しているが、人物追跡システム１は、監視端末４０を複数含んでも良い。
【0026】
また、サーバ装置ＳＶが監視端末４０の機能を備えていても良い。
【0027】
（１－２）映像解析機能部２０
図２は、図１に示した映像解析機能部２０の構成の一例を示すブロック図である。映像解析機能部２０は、画像取得モジュール２１、人検知情報抽出機能部２２及び監視／追跡実行機能部２３を備える。
図２は、図１に示した映像解析機能部２０の構成の一例を示すブロック図である。映像解析機能部２０は、画像取得モジュール２１、人検知情報抽出機能部２２及び監視／追跡実行機能部２３を備える。
【0028】
画像取得モジュール２１は、ネットワークＮＥＴを介して監視カメラ１０からＲＴＳＰ（Real Time Streaming Protocol）等の所定の通信プロトコルに従って送信されてくるフレーム画像を取得する。画像取得モジュール２１は、取得したフレーム画像をサーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信し、ファイルサーバ３１に蓄積させる。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、画像取得モジュール２１は、取得したフレーム画像をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。また、画像取得モジュール２１は、取得したフレーム画像を人検知情報抽出機能部２２に送る。
【0029】
人検知情報抽出機能部２２は、入力された画像から人物の全身画像を抽出し、この全身画像からその特徴量である全身特徴量及び人物の顔画像を抽出し、さらにこの顔画像からその特徴量である顔特徴量を抽出する抽出部として機能する。具体的には、人検知情報抽出機能部２２は、全身検出モジュール２２１、領域追跡モジュール２２２、全身特徴量抽出モジュール２２３、顔検出モジュール２２４及び顔特徴量抽出モジュール２２５を備える。
【0030】
全身検出モジュール２２１は、入力画像であるフレーム画像に写っている人物それぞれの全身を検出して、全身画像を抽出する全身画像抽出部である。全身検出モジュール２２１は、例えば、深層学習（Deep Leaning）等の機械学習により事前に学習させた人物の全身画像に基づいて、人物の全身を検出することができる。全身検出モジュール２２１は、抽出した全身画像を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信し、ファイルサーバ３１に蓄積させる。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、全身検出モジュール２２１は、抽出した全身画像をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。また、全身検出モジュール２２１は、抽出した全身画像を、全身特徴量抽出モジュール２２３及び顔検出モジュール２２４にも送る。さらに、全身検出モジュール２２１は、フレーム画像と抽出した全身画像を領域追跡モジュール２２２に送る。
【0031】
領域追跡モジュール２２２は、全身検出モジュール２２１から入力されたフレーム画像中の全身画像の領域位置を検出する。
【0032】
全身特徴量抽出モジュール２２３は、入力された全身画像から全身特徴量を抽出する全身特徴量抽出部である。全身特徴量は、全身画像に含まれる人物の体の特徴を客観的に数値化したものである。例えば、全身特徴量は、画像から推定される体型、身長、性別、年代、等の人物自体の属性情報を数値化したものとすることができる。全身特徴量抽出モジュール２２３は、深層学習（例えばDeep-person-reid等）等の事前に学習したモデルを用いて、全身特徴量を抽出することができる。また、全身特徴量抽出モジュール２２３は、これら全身特徴量を、ＨＯＧ（Histogram of Oriented Gradients）やＳＩＦＴ（Scaled Invariance Feature Transform）等の局所画像特徴量として算出することも可能である。全身特徴量抽出モジュール２２３は、抽出した全身特徴量を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信し、ファイルサーバ３１に蓄積させる。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、全身特徴量抽出モジュール２２３は、抽出した全身特徴量をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。さらに、全身特徴量抽出モジュール２２３は、抽出した全身特徴量を、監視／追跡実行機能部２３に送る。
【0033】
顔検出モジュール２２４は、入力された全身画像から人物の顔を検出して、顔画像を抽出する顔画像抽出部である。顔検出モジュール２２４は、例えば、深層学習等の機械学習により事前に学習させた人物の顔画像に基づいて、人物の顔を検出することができる。顔検出モジュール２２４は、抽出した顔画像を、顔特徴量抽出モジュール２２５に送る。
【0034】
顔特徴量抽出モジュール２２５は、入力された顔画像から顔特徴量を抽出する顔特徴量抽出部である。顔特徴量は、顔画像に含まれる人物の顔の特徴を客観的に数値化したものである。顔特徴量抽出モジュール２２５は、例えば、全身特徴量を抽出する全身特徴量抽出モジュール２２３と同様に、深層学習等で事前に学習したモデルを用いて顔特徴量を抽出することができる。また、顔検出モジュール２２４は、これら顔特徴量を、ＨＯＧやＳＩＦＴ等の局所画像特徴量として算出しても良い。顔検出モジュール２２４は、抽出した顔特徴量を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信し、ファイルサーバ３１に蓄積させる。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、顔特徴量抽出モジュール２２５は、抽出した顔特徴量をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。さらに、顔検出モジュール２２４は、抽出した顔特徴量を、監視／追跡実行機能部２３に送る。
【0035】
また、監視／追跡実行機能部２３は、二つの入力画像の全身特徴量の類似度である全身画像類似度、及び、二つの入力画像の顔特徴量の類似度である顔画像類似度を算出する類似度算出部として機能する。具体的には、監視／追跡実行機能部２３は、全身照合モジュール２３１及び顔照合モジュール２３２を備える。
【0036】
全身照合モジュール２３１は、全身特徴量抽出モジュール２２３から入力された全身特徴量と、監視端末４０から指示された追跡対象の人物の全身特徴量との類似度を算出する。追跡対象の人物の全身特徴量は、例えば、全身特徴量抽出モジュール２２３によって予め抽出されて、Ｗｅｂサーバ３０のファイルサーバ３１に登録されている。全身照合モジュール２３１は、算出した類似度を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信する。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、全身照合モジュール２３１は、算出した類似度をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。
【0037】
顔照合モジュール２３２は、顔特徴量抽出モジュール２２５から入力された顔特徴量と、監視端末４０から指示された追跡対象の人物の顔特徴量との類似度を算出する。追跡対象の人物の顔特徴量は、例えば、顔特徴量抽出モジュール２２５によって予め抽出されて、Ｗｅｂサーバ３０のファイルサーバ３１に登録されている。顔照合モジュール２３２は、算出した類似度を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信する。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、顔照合モジュール２３２は、算出した類似度をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。
【0038】
（１－３）Ｗｅｂサーバ３０
図３は、Ｗｅｂサーバ３０のソフトウェア構成を示すブロック図である。前述したように、Ｗｅｂサーバ３０は、機能部として、ファイルサーバ３１、ＤＢサーバ３２、検索用人検知結果保存機能部３３、検知／追跡結果判定機能部３４、及び、Ｗｅｂアプリケーション３５を有する。
図３は、Ｗｅｂサーバ３０のソフトウェア構成を示すブロック図である。前述したように、Ｗｅｂサーバ３０は、機能部として、ファイルサーバ３１、ＤＢサーバ３２、検索用人検知結果保存機能部３３、検知／追跡結果判定機能部３４、及び、Ｗｅｂアプリケーション３５を有する。
【0039】
ファイルサーバ３１は、各種のデータファイルを蓄積する。ファイルサーバ３１は、過去検索用データ記憶部３１１、検知履歴データ記憶部３１２及び管理データ記憶部３１３を含むことができる。
【0040】
過去検索用データ記憶部３１１は、複数の映像解析機能部２０それぞれで取得したデータである過去検索用データを記憶する。図４は、この過去検索用データ記憶部３１１に記憶される過去検索用データの一例を示す図である。過去検索用データは、各映像解析機能部２０の全身検出モジュール２２１がフレーム画像から検出した全身画像毎に、過去検索用データ記憶部３１１に記憶されることができる。過去検索用データは、映像解析機能部２０の画像取得モジュール２１が取得したフレーム画像３１１１、全身検出モジュール２２１が抽出した全身画像３１１２、全身特徴量抽出モジュール２２３が抽出した全身特徴量３１１３、及び、顔特徴量抽出モジュール２２５が抽出した顔特徴量３１１４を含むことができる。これらフレーム画像３１１１、全身画像３１１２、全身特徴量３１１３及び顔特徴量３１１４は、例えば、同一のパスに記憶したり、ファイル名の一部に同一の文字列を付したりすることで、紐付けることができる。
【0041】
検知履歴データ記憶部３１２は、不審者、迷子、得意顧客といった特定の監視対象者として検知された人物それぞれに関するデータである検知履歴データを記憶する。図５は、この検知履歴データ記憶部３１２に記憶される検知された人物の検知履歴データの一例を示す図である。検知履歴データは、検知された人物の顔画像である検知顔画像３１２１と、その検知顔画像３１２１に対応する顔特徴量３１２２と、を含むことができる。これら検知顔画像３１２１と顔特徴量３１２２は、例えば、同一のパスに記憶したり、ファイル名の一部に同一の文字列を付したりすることで、紐付けることができる。
【0042】
なお、特に図示はしていないが、監視対象者に関するデータは、ファイルサーバ３１に事前に記憶されている。この監視対象者に関するデータは、例えば、監視端末４０からネットワークＮＥＴを介してＷｅｂサーバ３０に、監視対象者の顔画像を入力することで、ファイルサーバ３１に記憶させることができる。そして、Ｗｅｂサーバ３０が、その顔画像をサーバ内通信やＷｅｂｓｏｃｋｅｔ等により一つの映像解析機能部２０の顔特徴量抽出モジュール２２５に入力することで、当該顔特徴量抽出モジュール２２５から顔特徴量を取得して、ファイルサーバ３１に記憶させることができる。また、ネットワークＮＥＴを介して、過去検索用データ記憶部３１１に記憶されている複数の人物の全身画像３１１２を監視端末４０のＷｅｂブラウザ４１にて閲覧し、監視端末４０から任意の全身画像３１１２を指定することで、その人物を監視対象者として指定することも可能である。この場合、Ｗｅｂサーバ３０は、その指定された全身画像３１１２をサーバ内通信やＷｅｂｓｏｃｋｅｔ等により一つの映像解析機能部２０の顔検出モジュール２２４に入力することで、当該顔検出モジュール２２４から顔画像を取得して、ファイルサーバ３１に監視対象者の顔画像として記憶させることができる。また、Ｗｅｂサーバ３０は、過去検索用データ記憶部３１１に記憶されている、指定された全身画像３１１２を有する過去検索用データから顔特徴量３１１４を取得して、それをファイルサーバ３１に記憶させることができる。
【0043】
また、監視対象者に関するデータをファイルサーバ３１に記憶する際、当該監視対象者についての情報を記載した監視対象者テーブルもＤＢサーバ３２に記憶される。この監視対象者テーブルには、当該監視対象者を一意に識別する識別情報である不審者ＩＤ、監視対象者の名称である不審者名称、どのような理由の監視対象者であるかを示す危険度種別、当該監視対象者についての身体的特徴や行動様式、注意点等の説明文、等を記載しておくことができる。
【0044】
検知履歴データにおける検知顔画像３１２１は、Ｗｅｂサーバ３０が、例えば、何れかの監視カメラ１０の監視画像から、監視対象者に関するデータとの比較によって監視対象者を検知した時に、検知履歴データ記憶部３１２に記憶させることができる。すなわち、Ｗｅｂサーバ３０は、当該監視画像から取得されて過去検索用データ記憶部３１１に記憶されている全身画像を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等により一つの映像解析機能部２０の顔検出モジュール２２４に入力することで、当該顔検出モジュール２２４から顔画像を取得し、それを検知顔画像３１２１として検知履歴データ記憶部３１２に記憶させることができる。この一つの映像解析機能部２０は、監視対象者が検知された監視画像を取得した監視カメラ１０に対応する映像解析機能部２０であって良い。映像解析機能部２０の顔検出モジュール２２４が、抽出した顔画像をバッファリングしている場合には、Ｗｅｂサーバ３０は、当該顔検出モジュール２２４にバッファリングしている顔画像を要求することで検知顔画像３１２１を取得しても良い。
【0045】
管理データ記憶部３１３は、追跡対象者それぞれに関するデータである管理データを記憶する。図６は、この管理データ記憶部３１３に記憶される追跡対象者毎の管理データの一例を示す図である。追跡対象者毎の管理データは、監視端末４０からの指定に応じて管理データ記憶部３１３に記憶されることができる。管理データは、指定された追跡対象者の顔画像である登録顔画像３１３１と、その登録顔画像３１３１から抽出された特徴である顔特徴量３１３２と、追跡対象者の全身画像である登録全身画像３１３３と、その登録全身画像３１３３から抽出された特徴である全身特徴量３１３４と、を含むことができる。これら登録顔画像３１３１、顔特徴量３１３２、登録全身画像３１３３及び全身特徴量３１３４は、例えば、同一のパスに記憶したり、ファイル名の一部に同一の文字列を付したりすることで、紐付けることができる。
【0046】
例えば、Ｗｅｂサーバ３０は、監視対象者が検知された際に、検知履歴データ記憶部３１２に記憶したその監視対象に対する検知履歴データにおける検知顔画像３１２１を監視端末４０のＷｅｂブラウザ４１にて監視者に閲覧させる。そして、監視端末４０から当該人物を追跡対象者とする指定が行われると、Ｗｅｂサーバ３０は、検知履歴データにおける検知顔画像３１２１をこの管理データにおける登録顔画像３１３１として記憶させる。さらに、Ｗｅｂサーバ３０は、検知履歴データにおける顔特徴量３１２２を、この管理データにおける顔特徴量３１３２として記憶させることができる。また、Ｗｅｂサーバ３０は、指定された検知履歴データにおける検知顔画像３１２１の元となった全身画像を過去検索用データ記憶部３１１に記憶された過去検索用データから取得すると共に、その全身特徴量も当該過去検索用データから取得し、それらをこの管理データにおける登録全身画像３１３３及び全身特徴量３１３４として記憶させる。
【0047】
或いは、Ｗｅｂサーバ３０は、過去検索用データ記憶部３１１に記憶されている複数の人物の全身画像３１１２を監視端末４０のＷｅｂブラウザ４１にて閲覧させ、監視端末４０から任意の全身画像の指定を受けて、その人物を指定の追跡対象者とするようにしても良い。この場合、Ｗｅｂサーバ３０は、その指定された全身画像３１１２をサーバ内通信やＷｅｂｓｏｃｋｅｔ等により一つの映像解析機能部２０の顔検出モジュール２２４に入力することで、当該顔検出モジュール２２４から顔画像を取得して、管理データ記憶部３１３に登録顔画像３１３１として記憶させることができる。またこの場合、顔特徴量３１３２、登録全身画像３１３３及び全身特徴量３１３４については、過去検索用データ記憶部３１１に記憶されているものを取得して記憶させれば良い。或いは、追跡対象者の顔画像及び全身画像についても、監視対象者の顔画像と同様に、監視端末４０からネットワークＮＥＴを介してＷｅｂサーバ３０に入力することで、管理データ記憶部３１３に登録顔画像３１３１及び登録全身画像３１３３として記憶させるようにしても構わない。この場合には、Ｗｅｂサーバ３０は、その入力された顔画像及び全身画像をサーバ内通信やＷｅｂｓｏｃｋｅｔ等により映像解析機能部２０へ送って、顔特徴量３１３２及び全身特徴量３１３４を取得すれば良い。
【0048】
ＤＢサーバ３２は、各種のデータテーブルを蓄積する。ＤＢサーバ３２は、カメラ情報テーブル記憶部３２１、過去検索用データテーブル記憶部３２２、検知履歴テーブル記憶部３２３、管理テーブル記憶部３２４、追跡テーブル記憶部３２５、等を含むことができる。
【0049】
カメラ情報テーブル記憶部３２１は、複数の監視カメラ１０のそれぞれに対応して設けられ、その対応する監視カメラ１０に関する各種情報が記載されたカメラ情報テーブル３２１１を予め記憶している。図７は、このカメラ情報テーブル記憶部３２１に記憶される、監視カメラ１０毎のカメラ情報テーブル３２１１の記載内容の一例を示す図である。カメラ情報テーブル３２１１には、例えば、カメラＩＤ、カメラ名称、アスペクト比、カメラ位置Ｘ、カメラ位置Ｙ、カメラ角度、顔照合閾値１～３、全身照合閾値１～３、等々が記載されている。
【0050】
ここで、カメラＩＤは、対応する監視カメラ１０を一意に識別する識別情報である。カメラ名称は、対応する監視カメラ１０の名称である。これは、対応する監視カメラ１０の大型施設における設置位置と関連付けた名称とすることができる。アスペクト比は対応する監視カメラ１０で取得される画像のアスペクト比である。カメラ位置Ｘ及びカメラ位置Ｙは、対応する監視カメラ１０の設置位置を示す大型施設内のＸＹ座標である。カメラ角度は、対応する監視カメラ１０の設置向きを示している。
【0051】
また、顔照合閾値１～３及び全身照合閾値１～３は、映像解析機能部２０の全身照合モジュール２３１及び顔照合モジュール２３２が算出した類似度と比較するための閾値である。顔照合閾値１は、対応する監視カメラ１０の監視画像から抽出された人物の顔画像が監視対象者或いは追跡対象者の顔画像であるか否か分類するための顔画像類似度に対応する第１の閾値である。顔照合モジュール２３２が算出した顔画像類似度がこの第１の閾値である顔照合閾値１よりも大きい場合、Ｗｅｂサーバ３０は、対応する監視カメラ１０の監視画像から抽出された人物の顔画像が監視対象者或いは追跡対象者の顔画像であると判定することができる。顔照合閾値２及び３は、顔照合閾値１よりも大きい顔画像類似度に対応し、抽出された人物の顔画像が監視対象者或いは追跡対象者の顔画像である場合に、その顔画像を複数の段階に分類するための第２の閾値である。すなわち、これら閾値の大きさは、［顔照合閾値１＜顔照合閾値２＜顔照合閾値３」の関係を有する。同様に、全身照合閾値１は、対応する監視カメラ１０の監視画像から抽出された人物の全身画像が監視対象者或いは追跡対象者の全身画像であるか否か分類するための全身画像類似度に対応する第１の閾値である。全身照合モジュール２３１が算出した全身画像類似度がこの全身照合閾値１よりも大きい場合、Ｗｅｂサーバ３０は、対応する監視カメラ１０の監視画像から抽出された人物の全身画像が監視対象者或いは追跡対象者の全身画像であると判定することができる。全身照合閾値２及び３は、全身照合閾値１よりも大きい全身画像類似度に対応し、抽出された人物の全身画像が監視対象者或いは追跡対象者の全身画像である場合に、その全身画像を複数の段階に分類するための第２の閾値である。すなわち、これら閾値の大きさは、［全身照合閾値１＜全身照合閾値２＜全身照合閾値３」の関係を有する。
【0052】
各閾値の値は、概して、類似度を算出する映像解析機能部２０の監視／追跡実行機能部２３における顔照合モジュール２３２が用いる照合モデルと全身照合モジュール２３１が用いる照合モデルとによって決まる。各閾値は、監視カメラ１０自体の種類、性能、設置条件等に依存するため、監視カメラ１０を設置してから実際の運用が開始されるまでの間に、適切な値に調整されて、カメラ情報テーブル３２１１に記載される。なお、この顔照合閾値１～３及び全身照合閾値１～３は、監視対象者に対する閾値と追跡対象者に対する閾値とで異なる値として、それぞれ別個にカメラ情報テーブル３２１１に記載しても良い。また、それぞれの閾値は３段階に限定するものではないことは勿論である。すなわち、第２の閾値は、少なくとも一つあれば良い。
【0053】
過去検索用データテーブル記憶部３２２は、過去検索用データ記憶部３１１に記憶される過去検索用データのそれぞれに対応して、その過去検索用データに関する各種データが記載された過去検索用データテーブル３２２１を記憶する。Ｗｅｂサーバ３０は、過去検索用データ記憶部３１１に過去検索用データを記憶する際に、この過去検索用データテーブル３２２１を作成して、過去検索用データテーブル記憶部３２２に記憶させる。図８は、この過去検索用データテーブル記憶部３２２に記憶される過去検索用データテーブル３２２１の記載内容の一例を示す図である。過去検索用データテーブル３２２１には、例えば、検知ＩＤ、検知日時、検知カメラＩＤ、トラッキングＩＤ、フレームＩＤ、検知座標情報Ｘ、検知座標情報Ｙ、検知座標情報Ｗｉｄｔｈ、検知座標情報Ｈｅｉｇｈｔ、等々が記載される。
【0054】
ここで、検知ＩＤは、映像解析機能部２０の全身検出モジュール２２１が検出したフレーム画像３１１１中の全身画像３１１２毎に振られる識別情報である。検知日時は、全身検出モジュール２２１が当該全身画像３１１２を検出した日時である。検知カメラＩＤは、フレーム画像３１１１を取得した監視カメラ１０のカメラＩＤである。トラッキングＩＤは、複数フレーム画像間で、同一の人物の全身画像３１１２を紐付けるための識別情報である。フレームＩＤはフレーム画像３１１１を一意に識別するための識別情報である。検知座標情報Ｘ、検知座標情報Ｙ、検知座標情報Ｗｉｄｔｈ及び検知座標情報Ｈｅｉｇｈｔは、領域追跡モジュール２２２によって検出されたフレーム画像３１１１中の全身画像３１１２の領域位置を示す情報であり、全身画像３１１２の例えば左上隅のフレーム画像中のＸＹ座標と、そこからの画像幅及び画像高さを示す。
【0055】
なお、Ｗｅｂサーバ３０は、過去検索用データテーブル３２２１のトラッキングＩＤを、例えば、以下のようにして付与することができる。Ｗｅｂサーバ３０は、映像解析機能部２０の人検知情報抽出機能部２２から与えられる全身画像の領域位置と、過去検索用データテーブル記憶部３２２に記憶されている当該監視カメラ１０の前フレーム画像における過去検索用データテーブル３２２１それぞれの全身画像の領域位置とを比較して、重複領域等を考慮することで、全身画像の人物の同一性を判別する。同一人物が前フレーム画像に写っていなければ、Ｗｅｂサーバ３０は、新たなトラッキングＩＤを付与する。また、同一人物が前フレーム画像に写っていれば、当該人物の全身画像３１１２に対応する過去検索用データテーブル３２２１よりトラッキングＩＤを引き継ぐ。なお、Ｗｅｂサーバ３０は、全身画像の位置ではなくて、全身特徴量を比較することで、人物の同一性を判別し、新規トラッキングＩＤ付与の要否を決定するようにしても良い。
【0056】
検知履歴テーブル記憶部３２３は、検知履歴データ記憶部３１２に記憶される検知履歴データのそれぞれに対応して、その検知履歴データに関する各種データが記載された検知履歴テーブル３２３１を記憶する。Ｗｅｂサーバ３０は、検知履歴データ記憶部３１２に検知履歴データを記憶する際に、この検知履歴テーブル３２３１を作成して、検知履歴テーブル記憶部３２３に記憶させる。図９は、この検知履歴テーブル記憶部３２３に記憶される検知履歴テーブル３２３１の記載内容の一例を示す図である。検知履歴テーブル３２３１には、例えば、検知ＩＤ、検知日時、検知カメラＩＤ、不審者ＩＤ、顔認証スコア、顔左右角度、顔上下角度、トラッキングＩＤ、等々が記載される。
【0057】
ここで、検知ＩＤ、検知日時、検知カメラＩＤ及びトラッキングＩＤは、過去検索用データテーブル３２２１について説明した通りである。不審者ＩＤは、図示しない監視対象者テーブルに記載されている、検知された監視対象者の不審者ＩＤである。顔認証スコアは、映像解析機能部２０の顔照合モジュール２３２が算出した、その監視対象者の顔画像との類似度である。この類似度は、顔照合モジュール２３２が算出した類似度の実数値が記憶されるが、後述するようにＷｅｂブラウザ４１での検知アラート画面の表示のために、３段階の顔画像類似度ラベルＩＤに書き換えられることができる。顔左右角度及び顔上下角度は、対応する検知履歴データの検知顔画像３１２１における顔の向きを示す。
【0058】
管理テーブル記憶部３２４は、管理データ記憶部３１３に記憶される管理データのそれぞれに対応して、その管理データに関する各種データが記載された管理テーブル３２４１を記憶する。Ｗｅｂサーバ３０は、管理データ記憶部３１３に管理データを記憶する際に、この管理テーブル３２４１を作成して、管理テーブル記憶部３２４に記憶させる。図１０は、この管理テーブル記憶部３２４に記憶される管理テーブル３２４１の記載内容の一例を示す図である。管理テーブル３２４１には、例えば、不審者ＩＤ、不審者名称、危険度種別、説明文、クエリ顔画像パス、顔特徴量ファイルパス、監視ステータス、ピン留めフラグ、長期間滞在フラグ、等々が記載される。
【0059】
ここで、不審者ＩＤ、不審者名称、危険度種別及び説明文は、図示しない監視対象者テーブルに記載されている、追跡対象者として指定された監視対象者についての情報が転記される。クエリ顔画像パス及び顔特徴量ファイルパスは、管理データ記憶部３１３における、管理データの登録顔画像３１３１及び顔特徴量３１３２の保存パスを示す。監視ステータスは、危険度種別以外の、追跡対象者に対して監視端末４０から任意に設定される属性情報である。ピン留めフラグは、追跡対象者として指定された際に、そのことを示すためにセットされるフラグである。長期間滞在フラグは、追跡対象者として指定されていないが、規定の時間以上、当該施設に滞在している場合にセットされるフラグである。すなわち、Ｗｅｂサーバ３０は、監視対象以外ではないが長期間滞在している人物が存在するとき、その人物の顔画像及び顔特徴量も管理データ記憶部３１３に記憶させ、管理テーブル記憶部３２４に管理テーブルを記憶させることができる。これにより、新たな不審者や新規顧客の候補を発見できるようになる。
【0060】
追跡テーブル記憶部３２５は、映像解析機能部２０の全身照合モジュール２３１又は顔照合モジュール２３２が算出した全身画像類似度又は顔画像類似度からＷｅｂサーバ３０によって追跡対象者の全身画像又は顔画像であると判定された、何れかの監視カメラ１０の監視画像から抽出された人物の類似度が記載された追跡テーブルを記憶する。図１１は、この追跡テーブル記憶部３２５に記憶される追跡テーブル３２５１の記載内容の一例を示す図である。追跡テーブル３２５１は、追跡対象者の不審者ＩＤ毎に、検知ＩＤ、全身画像類似度及び顔画像類似度でなるレコードを含み、各レコードはＷｅｂサーバ３０が追跡対象者の全身画像又は顔画像であると判定する毎に追加されていく。全身画像類似度及び顔画像類似度は、映像解析機能部２０の全身照合モジュール２３１及び顔照合モジュール２３２が算出した類似度の実数値が記憶されるが、後述するようにＷｅｂブラウザ４１での追跡アラート画面の表示のために、３段階の全身画像類似度ラベルＩＤ及び顔画像類似度ラベルＩＤに書き換えられることができる。
【0061】
検索用人検知結果保存機能部３３及び検知／追跡結果判定機能部３４は、Ｗｅｂサーバのバックエンド機能として提供される。検索用人検知結果保存機能部３３は、映像解析機能部２０の人検知情報抽出機能部２２の各機能部の出力を受けて、過去検索用データテーブル記憶部３２２に記憶する検索用データテーブルを作成する。検知／追跡結果判定機能部３４は、映像解析機能部２０の監視／追跡実行機能部２３の各機能部の出力を受けて、事前に記憶してある監視対象者の顔画像と同一の人物が何れかの監視カメラ１０の監視画像内に現れたことを検知し、検知履歴テーブル記憶部３２３に記憶する検知履歴テーブルを作成すると共に、人検知情報抽出機能部２２の各機能部で抽出した、その人物の検知顔画像３１２１及び顔特徴量３１２２を検知履歴データ記憶部３１２へ記憶させる。検知／追跡結果判定機能部３４は、また、映像解析機能部２０の監視／追跡実行機能部２３の各機能部の出力を受けて、監視者から指定された追跡対象者の全身画像及び／又は顔画像と同一の人物が何れかの監視カメラ１０の監視画像内に現れたことを検知し、その検知に応じて、追跡テーブル記憶部３２５に記憶している当該追跡対象者の追跡テーブルにレコードを追加していく。
【0062】
Ｗｅｂアプリケーション３５は、監視端末４０のＷｅｂブラウザ４１からの要求に応じて各種処理を行い、その処理結果を示す閲覧用のデータを作成するアプリケーションプログラムである。Ｗｅｂアプリケーション３５は、Ｗｅｂサーバ３０に、ログイン機能部３５１、監視機能部３５２、追跡機能部３５３及び過去検索機能部３５４としての機能を提供する。
【0063】
ログイン機能部３５１は、Ｗｅｂブラウザ４１からのログインを受け付けて、認証を行い、正規ユーザに対して当該Ｗｅｂアプリケーション３５が提供する機能の利用を許可する。
【0064】
監視機能部３５２は、検知／追跡結果判定機能部３４が監視対象者の顔画像と同一の人物を検知した際に、アラートを発生して、Ｗｅｂブラウザ４１に提示する。そのために、監視機能部３５２は、Ｗｅｂブラウザ４１に提示するための検知アラート画面を生成する検知アラート出力機能部３５２１を含む。検知アラート画面は、監視対象者に類似すると検知された人物の画像を、類似度に基づく注意段階を示す段階表示と共に提示するための出力画面である。
【0065】
追跡機能部３５３は、検知／追跡結果判定機能部３４が検知した監視対象者の顔画像と同一の人物の顔画像及び全身画像で、複数の監視カメラ１０を跨いでリアルタイムに該当人物を追跡した追跡結果を、Ｗｅｂブラウザ４１に提示する。そのために、追跡機能部３５３は、画像登録機能部３５３１と追跡アラート出力機能部３５３２とを含む。画像登録機能部３５３１は、Ｗｅｂブラウザ４１上での監視者から指定操作による、追跡を行うべき追跡対象者の顔画像の指定を受けて、管理データ記憶部３１３に登録顔画像３１３１及び顔特徴量３１３２を記憶させると共に、管理テーブル３２４１を作成して管理テーブル記憶部３２４に記憶させる。追跡アラート出力機能部３５３２は、検知／追跡結果判定機能部３４が追跡対象者の全身画像及び／又は顔画像と同一の人物を検知した際に、追跡対象者に類似すると検知された人物の画像を、類似度に基づく注意段階を示す段階表示と共に提示するための出力画面である追跡アラート画面をＷｅｂブラウザ４１に提示する。
【0066】
過去検索機能部３５４は、Ｗｅｂブラウザ４１からの時間及び場所の指定を受けて、その指定された時間・場所に来訪した人物を一覧表示し、その中から検索する人物の指定を受け付ける。そして、過去検索機能部３５４は、検知／追跡結果判定機能部３４がその指定された人物の顔画像及び全身画像から、過去検索用データ記憶部３１１に記憶された類似人物を検索した結果をＷｅｂブラウザ４１に提示する。
【0067】
図１２は、Ｗｅｂサーバ３０のハードウェア構成を示すブロック図である。Ｗｅｂサーバ３０は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサ３０１Ａ、プログラムメモリ３０１Ｂ、記憶装置３０２及び通信インタフェース装置３０３を備える。プログラムメモリ３０１Ｂ、記憶装置３０２及び通信インタフェース装置３０３は、バス３０４を介してハードウェアプロセッサ３０１Ａに接続されている。
【0068】
通信インタフェース装置３０３は、例えば一つ以上の有線または無線の通信インタフェースユニットを含んでおり、ネットワークＮＥＴで使用される通信プロトコルに従い、映像解析機能部２０及び監視端末４０との間で各種情報の送受信を可能にする。
【0069】
プログラムメモリ３０１Ｂは、記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの随時書込み及び読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて使用したもので、ＣＰＵなどのハードウェアプロセッサ３０１Ａが実行することで、この発明の一実施形態に係る各種制御処理を実行するために必要なプログラムを記憶している。すなわち、ハードウェアプロセッサ３０１Ａは、プログラムメモリ３０１Ｂに記憶されたプログラムを読み出して実行することで、図３に示すような検索用人検知結果保存機能部３３及び検知／追跡結果判定機能部３４として機能することができる。なお、これらの処理機能部は、それぞれ別個のハードウェアプロセッサで実現されても良い。すなわち、Ｗｅｂサーバ３０は、複数のハードウェアプロセッサを備えていても良い。また、これらの処理機能部の少なくとも一部は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（field-programmable gate array）、ＧＰＵ（Graphics Processing Unit）などの集積回路を含む、他の多様なハードウェア回路の形式で実現されても良い。また、プログラムメモリ３０１Ｂに記憶されるプログラムは、図３に示すようなＷｅｂアプリケーション３５のブログラムを含むことができる。
【0070】
記憶装置３０２は、記憶媒体として、例えば、ＨＤＤまたはＳＳＤなどの随時書込み及び読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）などの揮発性メモリとを組み合わせて使用したもので、人物追跡処理を行う過程で取得及び作成された各種データを記憶するために用いられる。また、記憶装置３０２には、図３に示すようなファイルサーバ３１及びＤＢサーバ３２を構成することができる。
【0071】
（２）動作
次に、以上のように構成された人物追跡システムの動作を説明する。
次に、以上のように構成された人物追跡システムの動作を説明する。
【0072】
（２－１）監視動作
監視端末４０でＷｅｂブラウザ４１が起動されてＷｅｂサーバ３０に対するアクセス操作がなされると、Ｗｅｂサーバ３０は、Ｗｅｂアプリケーション３５が提供するログイン機能部３５１により、認証動作を実施する。そして、正規ユーザであることが確認されたならば、Ｗｅｂサーバ３０は、Ｗｅｂアプリケーション３５が提供する監視機能部３５２により、Ｗｅｂブラウザ４１での閲覧用の監視画面を生成して、Ｗｅｂブラウザ４１へ送信する。監視画面は、以下のようにして生成されることができる。
監視端末４０でＷｅｂブラウザ４１が起動されてＷｅｂサーバ３０に対するアクセス操作がなされると、Ｗｅｂサーバ３０は、Ｗｅｂアプリケーション３５が提供するログイン機能部３５１により、認証動作を実施する。そして、正規ユーザであることが確認されたならば、Ｗｅｂサーバ３０は、Ｗｅｂアプリケーション３５が提供する監視機能部３５２により、Ｗｅｂブラウザ４１での閲覧用の監視画面を生成して、Ｗｅｂブラウザ４１へ送信する。監視画面は、以下のようにして生成されることができる。
【0073】
複数台の監視カメラ１０はそれぞれ、監視画像を定期的に取得し、取得した監視画像を対応する映像解析機能部２０に入力する。映像解析機能部２０の画像取得モジュール２１は、対応する監視カメラ１０からの監視画像であるフレーム画像を取得し、人検知情報抽出機能部２２は、そのフレーム画像に写っている人物の全身画像、その全身画像の領域位置、全身特徴量及び顔特徴量を抽出する。そして、映像解析機能部２０は、それらフレーム画像、全身画像、全身画像の領域位置、全身特徴量及び顔特徴量をサーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信する。
【0074】
Ｗｅｂサーバ３０は、複数の映像解析機能部２０のそれぞれから送信されてきたフレーム画像、全身画像、全身特徴量及び顔特徴量を、過去検索用データとして、ファイルサーバ３１の過去検索用データ記憶部３１１に蓄積する。またこのとき、Ｗｅｂサーバ３０の検索用人検知結果保存機能部３３は、複数の映像解析機能部２０のそれぞれから送信されてきた全身画像の領域位置を含む過去検索用データテーブルを作成して、ＤＢサーバ３２の過去検索用データテーブル記憶部３２２に記憶させる。こうして、各監視カメラ１０での監視画像の取得毎に、過去検索用データ記憶部３１１に過去検索用データが蓄積されていくと共に、過去検索用データテーブル記憶部３２２にそれら過去検索用データに紐付いた過去検索用データテーブルが蓄積されていく。
【0075】
監視機能部３５２は、こうして過去検索用データ記憶部３１１に蓄積されていく各監視カメラ１０からのフレーム画像を、一つの画面に並べることで、監視画面を生成することができる。監視端末４０のＷｅｂブラウザ４１に表示されたこの監視画面を閲覧することで、警備員等の監視者は、施設内の各部のリアルタイムな状況を把握することが可能となる。
【0076】
また、人物追跡システムでは、この各部のリアルタイムな状況監視と並行して、監視対象者の来訪検知動作が行われる。この監視対象者来訪検知動作は、各映像解析機能部２０の監視／追跡実行機能部２３による監視処理と、検知／追跡結果判定機能部３４による検知結果判定処理と、監視機能部３５２の検知アラート出力機能部３５２１による検知アラート出力処理と、を含む。
【0077】
図１３は、監視／追跡実行機能部２３による監視処理の処理手順を示すフローチャートである。監視／追跡実行機能部２３は、例えば、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０の監視機能部３５２から監視対象者の更新が報告される毎に、このフローチャートに示す処理を実施する。
【0078】
監視／追跡実行機能部２３は、まず、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０のファイルサーバ３１にアクセスして、ファイルサーバ３１に事前に記憶されている複数の監視対象者それぞれの顔特徴量である監視用顔特徴量を取得する（ステップＳ１０１）。
【0079】
その後、監視／追跡実行機能部２３は、人検知情報抽出機能部２２から、時刻ｔの顔画像とその特徴量とを、照合用顔画像と照合用顔特徴量として取得する（ステップＳ１０２）。対応する監視カメラ１０の監視画像に複数の人物の全身画像が含まれる場合には、監視／追跡実行機能部２３は、それぞれの人物について、照合用顔画像と照合用顔特徴量を取得する。
【0080】
そして、監視／追跡実行機能部２３は、顔照合モジュール２３２により、人検知情報抽出機能部２２からの照合用顔特徴量のそれぞれについて、監視用顔特徴量との類似度である顔画像類似度を算出する（ステップＳ１０３）。
【0081】
その後、監視／追跡実行機能部２３は、算出した各監視対象者の顔画像類似度と照合用顔画像とのセットを、サーバ内通信やＷｅｂｓｏｃｋｅｔ等により、Ｗｅｂサーバ３０の検知／追跡結果判定機能部３４へ送信する（ステップＳ１０４）。
【0082】
そして、監視／追跡実行機能部２３は、時刻ｔに時間間隔ｔ１加えてから、すなわち、次の処理時刻に更新した後（ステップＳ１０５）、上記ステップＳ１０２から上記の処理を繰り返す。ここで、時間間隔ｔ１は、例えば、数秒というように、任意の時間間隔とすることができる。或いは、時間間隔ｔ１は、監視カメラ１０の監視画像の取得間隔の整数倍の時間間隔としても良い。
【0083】
図１４は、Ｗｅｂサーバ３０の検知／追跡結果判定機能部３４による検知結果判定処理の処理手順を示すフローチャートである。検知／追跡結果判定機能部３４は、定期的に、例えば映像解析機能部２０の監視／追跡実行機能部２３における時間間隔ｔ１おきに、このフローチャートに示す処理を実施することができる。
【0084】
検知／追跡結果判定機能部３４は、まず、監視／追跡実行機能部２３から類似度と照合用顔画像のセットを受信したか否か判断する（ステップＳ２０１）。類似度と照合用画像のセットを受信していないと判断した場合には、検知／追跡結果判定機能部３４は、この検知／追跡結果判定処理を終了する。
【0085】
これに対して、類似度と照合用顔画像のセットを受信したと判断した場合には、検知／追跡結果判定機能部３４は、顔照合閾値１を取得する（ステップＳ２０２）。すなわち、検知／追跡結果判定機能部３４は、カメラ情報テーブル記憶部３２１に記憶されている、それら類似度と照合用顔画像のセットの送信元である映像解析機能部２０に対応する監視カメラ１０についてのカメラ情報テーブル３２１１から、顔照合閾値１を取得する。
【0086】
そして、検知／追跡結果判定機能部３４は、受信した顔画像類似度のそれぞれについて、取得した顔照合閾値１と比較し、顔照合閾値１よりも大きい顔画像類似度が有るか否か判断する（ステップＳ２０３）。顔照合閾値１よりも大きい顔画像類似度が無いと判断した場合には、検知／追跡結果判定機能部３４は、この検知／追跡結果判定処理を終了する。
【0087】
これに対して、顔照合閾値１よりも大きい顔画像類似度が有ると判断した場合には、検知／追跡結果判定機能部３４は、その顔特徴量を有する人物は監視対象者であると判別する。よってこの場合には、検知／追跡結果判定機能部３４は、検知履歴データ記憶部３１２に検知履歴データとして検知顔画像３１２１と顔特徴量３１２２を記憶させると共に、検知履歴テーブル３２３１を生成して、それを検知履歴テーブル記憶部３２３に記憶させる（ステップＳ２０４）。この生成した検知履歴テーブル３２３１の顔認証スコアには、顔照合閾値１よりも大きい値の顔画像類似度が記載されることとなる。そしてその後、検知／追跡結果判定機能部３４は、この検知／追跡結果判定処理を終了する。
【0088】
図１５は、監視機能部３５２の検知アラート出力機能部３５２１による検知アラート出力処理の処理手順を示すフローチャートである。検知アラート出力機能部３５２１は、定期的に、例えば映像解析機能部２０の監視／追跡実行機能部２３における時間間隔ｔ１おきに、このフローチャートに示す処理を実施する。
【0089】
検知アラート出力機能部３５２１は、まず、カメラ情報テーブル記憶部３２１に記憶されている、各監視カメラ１０についてのカメラ情報テーブル３２１１から、顔照合閾値１～３を取得する（ステップＳ３０１）。
【0090】
また、検知アラート出力機能部３５２１は、検知履歴テーブル記憶部３２３から新規の検知履歴テーブル３２３１の情報を取得する（ステップＳ３０２）。すなわち、検知アラート出力機能部３５２１は、検知履歴テーブル３２３１における顔画像スコアとして、顔画像類似度ラベルＩＤではなくて顔類似度の実数が記録されているものを抽出して取得する。
【0091】
そして、検知アラート出力機能部３５２１は、取得した新規の検知履歴テーブル３２３１に顔認証スコアとして記載されている顔画像類似度の値が顔照合閾値３よりも大きいか否か判断する（ステップＳ３０３）。顔画像類似度の値が顔照合閾値３よりも大きいと判断した場合、検知アラート出力機能部３５２１は、検知履歴テーブル記憶部３２３の当該検知履歴テーブル３２３１における顔画像類似度の値を、実数から顔画像類似度ラベルＩＤ、ここではＩＤ＝３に書き換える（ステップＳ３０４）。
【0092】
これに対して、顔画像類似度の値が顔照合閾値３よりも大きくないと判断した場合、検知アラート出力機能部３５２１は、更に、顔画像類似度の値が顔照合閾値２よりも大きいか否か判断する（ステップＳ３０５）。顔画像類似度の値が顔照合閾値２よりも大きいと判断した場合、検知アラート出力機能部３５２１は、検知履歴テーブル記憶部３２３の当該検知履歴テーブル３２３１における顔画像類似度の値を、実数から顔画像類似度ラベルＩＤ、ここではＩＤ＝２に書き換える（ステップＳ３０６）。
【0093】
また、顔画像類似度の値が顔照合閾値２よりも大きくないと判断した場合には、検知アラート出力機能部３５２１は、検知履歴テーブル記憶部３２３の当該検知履歴テーブル３２３１における顔画像類似度の値を、実数から顔画像類似度ラベルＩＤ、ここではＩＤ＝１に書き換える（ステップＳ３０７）。これは、そもそも検知履歴テーブル３２３１は、顔画像類似度の値が顔照合閾値１よりも大きくないと作成されないので、顔画像類似度の値が顔照合閾値２よりも大きくなければ、顔画像類似度の値は顔照合閾値１よりも大きいことは決まっているからである。
【0094】
以上のようにして、検知履歴テーブル３２３１における顔画像類似度の値を顔画像類似度ラベルＩＤに書き換えたならば、検知アラート出力機能部３５２１は、画面画像である新規の検知人物カードを作成する（ステップＳ３０８）。この検知人物カードは、検知履歴データ記憶部３１２に検知履歴データとして記憶した検知顔画像３１２１と、それに対応する検知履歴テーブル３２３１における顔画像類似度ラベルＩＤに基づく注意段階を示す注意段階表示と、を含む画面画像である。この検知人物カードについては、詳細を後述する。
【0095】
検知アラート出力機能部３５２１は、この作成した新規の検知人物カードにより、Ｗｅｂブラウザ４１にて表示するための検知アラート画面を更新する（ステップＳ３０９）。そして、検知アラート出力機能部３５２１は、この更新した検知アラート画面を、ネットワークＮＥＴを介してＷｅｂブラウザ４１に送信して、そこに表示させる（ステップＳ３１０）。Ｗｅｂブラウザ４１では、監視画面の一部に設けられたアラート画面表示領域に、或いは、監視画面とは別のウィンドウを開いて、この検知アラート画面を表示する。そして、検知アラート出力機能部３５２１は、この検知アラート出力処理を終了する。
【0096】
図１６は、Ｗｅｂブラウザ４１に表示される検知アラート画面４２の一例を示す図である。検知アラート画面４２は、検知された人物毎の検知人物カード４２１を含む。この検知人物カード４２１は、その表示内容として、監視対象者顔画像４２１１、検知顔画像４２１２、注意喚起メッセージ４２１３、不審者ＩＤ４２１４、注意段階表示４２１５、検知情報４２１６、及び、追跡開始ボタン４２１７を含むことができる。
【0097】
ここで、監視対象者顔画像４２１１は、ファイルサーバ３１に事前に記憶されていた監視対象者の顔画像であり、検知顔画像４２１２は、その監視対象者であると検知された人物の、検知履歴データ記憶部３１２に記憶された検知顔画像３１２１である。注意喚起メッセージ４２１３は、監視者の注意を促すためのメッセージであり、点滅表示灯の識別表示を行うようにしても良い。不審者ＩＤ４２１４は、検知履歴テーブル３２３１から転記される識別情報である。
【0098】
注意段階表示４２１５は、監視対象者の顔画像と検知された人物の顔画像との類似度を示す。すなわち、類似度は、数値ではなくて、検知履歴テーブル３２３１における顔画像類似度ラベルＩＤに基づく複数段階、ここでは３段階の注意段階表示４２１５として示されている。この注意段階表示４２１５では、図１６においてハッチングにより表している識別表示された四角形の数が、顔画像類似度ラベルＩＤに対応する。例えば、不審者ＩＤ４２１４が「00098842」である人物の検知人物カード４２１では、検知履歴テーブル３２３１における顔画像類似度ラベルＩＤが「３」であったので、注意段階表示４２１５では、３個の四角形が識別表示され、不審者ＩＤ４２１４が「00059820」である人物の検知人物カード４２１では、検知履歴テーブル３２３１における顔画像類似度ラベルＩＤが「２」であったので、２個の四角形が識別表示されている。
【0099】
検知情報４２１６は、過去検索用データテーブル３２２１または検知履歴テーブル３２３１における検知カメラＩＤに基づく検出カメラ場所情報と、同じく検知日時に基づく検出日時情報と、を含む。追跡開始ボタン４２１７は、当該人物を追跡する場合に押下されるボタンである。
【0100】
なお、この検知人物カード４２１は、監視対象人物として新たに人物が検知される毎に、検知アラート画面４２の最上位に表示されるように、古い検知人物カード４２１が下方にシフトされていく。同一人物については新たな検知人物カード４２１は追加されない。一つの検知人物カード４２１を選択することで、検知履歴データ記憶部３１２及び検知履歴テーブル記憶部３２３に記憶されている当該人物の履歴が一覧表示される。
【0101】
（２－２）追跡動作
監視者が検知アラート画面４２の追跡開始ボタン４２１７の押下操作を行うと、Ｗｅｂサーバ３０は、Ｗｅｂアプリケーション３５が提供する追跡機能部３５３により、映像解析機能部２０及び検知／追跡結果判定機能部３４を利用して、当該人物を追跡した追跡結果を、Ｗｅｂブラウザ４１に提示させていく。この追跡動作は、追跡機能部３５３の画像登録機能部３５３１による画像登録処理と、映像解析機能部２０の監視／追跡実行機能部２３による追跡処理と、検知／追跡結果判定機能部３４による追跡結果判定処理と、追跡機能部３５３の追跡アラート出力機能部３５３２による追跡アラート出力処理と、を含む。
監視者が検知アラート画面４２の追跡開始ボタン４２１７の押下操作を行うと、Ｗｅｂサーバ３０は、Ｗｅｂアプリケーション３５が提供する追跡機能部３５３により、映像解析機能部２０及び検知／追跡結果判定機能部３４を利用して、当該人物を追跡した追跡結果を、Ｗｅｂブラウザ４１に提示させていく。この追跡動作は、追跡機能部３５３の画像登録機能部３５３１による画像登録処理と、映像解析機能部２０の監視／追跡実行機能部２３による追跡処理と、検知／追跡結果判定機能部３４による追跡結果判定処理と、追跡機能部３５３の追跡アラート出力機能部３５３２による追跡アラート出力処理と、を含む。
【0102】
図１７は、追跡機能部３５３の画像登録機能部３５３１による画像登録処理の処理手順を示すフローチャートである。画像登録機能部３５３１は、定期的に、例えば監視カメラ１０の監視画像の取得間隔に同期して、このフローチャートに示す処理を実施する。
【0103】
画像登録機能部３５３１は、まず、監視端末４０において、監視者によってＷｅｂブラウザ４１に表示される検知アラート画面４２における追跡開始ボタン４２１７の押下操作が行われたか否か判断する（ステップＳ４０１）。追跡開始ボタン４２１７の押下操作が行われていないと判断した場合には、画像登録機能部３５３１は、この画像登録処理を終了する。
【0104】
これに対して、追跡開始ボタン４２１７の押下操作が行われたと判断した場合には、画像登録機能部３５３１は、その人物の顔画像を追跡用顔画像として取得する（ステップＳ４０２）。すなわち、画像登録機能部３５３１は、検知アラート画面４２の不審者ＩＤを有する検知履歴テーブル記憶部３２３のトラッキングＩＤに基づいて、検知履歴データ記憶部３１２から検知顔画像３１２１を追跡用顔画像として取得する。例えば、画像登録機能部３５３１は、当該トラッキングＩＤを有する検知履歴テーブル３２３１の内、検知日時が特定時期のもの、例えば最新のものに記載された検知ＩＤで特定される検知顔画像３１２１を取得することができる。特定時期としては、最新に限らず、最古、指定期間の間での最新又は最古、季節（春夏秋冬など）であって良い。或いは、画像登録機能部３５３１は、当該トラッキングＩＤを有する検知履歴テーブル３２３１のそれぞれに記載された検知ＩＤで特定される検知顔画像３１２１を一覧形式で含む選択画面を生成し、それをＷｅｂブラウザ４１に表示させて、監視者に追跡用顔画像とする検知顔画像３１２１を選択させるようにしても良い。そして、画像登録機能部３５３１は、取得した追跡用顔画像を、管理データ記憶部３１３に登録顔画像３１３１として記憶させる。また、画像登録機能部３５３１は、ＤＢサーバ３２に事前に記憶されている図示しない監視対象者テーブルに記載された該当の監視対象者に関する情報に基づいて管理テーブル３２４１を作成し、それを管理テーブル記憶部３２４に記憶させる。管理テーブル３２４１は、管理データ記憶部３１３における登録顔画像３１３１の記憶パスを示すクエリ顔特徴パスを含む。
【0105】
そして、画像登録機能部３５３１は、追跡用顔画像として検知履歴データ記憶部３１２から取得された検知顔画像３１２１に対応する全身画像を追跡用全身画像として取得する（ステップＳ４０３）。すなわち、画像登録機能部３５３１は、その追跡用顔画像として取得された検知顔画像３１２１について検知履歴テーブル３２３１に記載された検知ＩＤに基づいて、過去検索用データ記憶部３１１から全身画像３１１２を追跡用全身画像として取得する。画像登録機能部３５３１は、この取得した追跡用全身画像を、管理データ記憶部３１３に登録全身画像３１３３として記憶させる。また、画像登録機能部３５３１は、管理テーブル記憶部３２４に記憶されている管理テーブル３２４１に、管理データ記憶部３１３における登録全身画像３１３３の記憶パスを示すクエリ全身特徴パスを追記する。
【0106】
さらに、画像登録機能部３５３１は、追跡用顔画像特徴量と追跡用全身画像特徴量を取得する（ステップＳ４０４）。すなわち、画像登録機能部３５３１は、上記検知ＩＤに基づいて、検知履歴データ記憶部３１２から顔特徴量３１２２を追跡用顔特徴量として取得し、また、過去検索用データ記憶部３１１から全身特徴量３１１３を追跡用全身特徴量として取得する。画像登録機能部３５３１は、これら取得した追跡用顔特徴量及び追跡用全身特徴量を、管理データ記憶部３１３に顔特徴量３１３２及び全身特徴量３１３４として記憶させる。また、画像登録機能部３５３１は、管理テーブル記憶部３２４に記憶されている管理テーブル３２４１に、それら特徴量記憶パスを示す顔特徴量ファイルパス及び全身特徴量ファイルパスを追記する。
【0107】
そして、画像登録機能部３５３１は、管理データ記憶部３１３に記憶された登録顔画像３１３１及び登録全身画像３１３３を追跡用画像として、また、顔特徴量３１３２及び全身特徴量３１３４を追跡用特徴量として、サーバ内通信やＷｅｂｓｏｃｋｅｔ等により、複数の映像解析機能部２０のそれぞれへ送信する（ステップＳ４０５）。その後、画像登録機能部３５３１は、この画像登録処理を終了する。
【0108】
図１８は、映像解析機能部２０の監視／追跡実行機能部２３による追跡処理の処理手順を示すフローチャートである。監視／追跡実行機能部２３は、例えば、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０の追跡機能部３５３画像登録機能部３５３１から追跡用画像と特徴量を受信する毎に、このフローチャートに示す処理を実施する。
【0109】
監視／追跡実行機能部２３は、まず、Ｗｅｂサーバ３０の画像登録機能部３５３１から受信した追跡用画像と特徴量を取得する（ステップＳ１１１）。
【0110】
その後、監視／追跡実行機能部２３は、人検知情報抽出機能部２２から、時刻Ｔの全身画像とその特徴量とを、照合用全身画像と照合用全身特徴量として取得する（ステップＳ１１２）。対応する監視カメラ１０の監視画像に複数の人物の全身画像が含まれる場合には、監視／追跡実行機能部２３は、それぞれの人物について、照合用全身画像と照合用全身特徴量を取得する。
【0111】
そして、監視／追跡実行機能部２３は、全身照合モジュール２３１により、人検知情報抽出機能部２２からの照合用全身特徴量のそれぞれについて、画像登録機能部３５３１からの追跡用全身特徴量との類似度である全身画像類似度を算出する（ステップＳ１１３）。
【0112】
また、監視／追跡実行機能部２３は、人検知情報抽出機能部２２から、時刻Ｔの顔画像とその特徴量とを、照合用顔画像と照合用顔特徴量として取得する（ステップＳ１１４）。対応する監視カメラ１０の監視画像に複数の人物の顔画像が含まれる場合には、監視／追跡実行機能部２３は、それぞれの人物について、照合用顔画像と照合用顔特徴量を取得する。なお、人物の向きによって、全身画像は抽出できても顔画像が抽出できない場合も有る。よって、上記ステップＳ１１２で取得される照合用全身画像の数とこのステップＳ１１４で取得する照合用顔画像の数とは一致するとは限らない。また、一人も顔画像が抽出できず、照合用顔画像（及び照合用顔特徴量）が取得されない場合もあり得る。
【0113】
そして、監視／追跡実行機能部２３は、顔照合モジュール２３２により、人検知情報抽出機能部２２からの照合用顔特徴量のそれぞれについて、画像登録機能部３５３１からの追跡用顔特徴量との類似度である顔画像類似度を算出する（ステップＳ１１５）。
【0114】
その後、監視／追跡実行機能部２３は、それら全身画像及び顔画像についての類似度と照合用画像とのセットを、サーバ内通信やＷｅｂｓｏｃｋｅｔ等により、Ｗｅｂサーバ３０の検知／追跡結果判定機能部３４へ送信する（ステップＳ１１６）。なお、類似度と照合用画像のセットは、全身画像類似度と照合用全身画像とのセットと顔画像類似度と照合用顔画像とのセットとの両方を含む場合も有れば、顔画像類似度と照合用顔画像とのセットの無い全身画像類似度と照合用全身画像とのセットのみを含む場合もあり得る。
【0115】
そして、監視／追跡実行機能部２３は、監視端末４０において、監視者によってＷｅｂブラウザ４１に表示される追跡アラート画面における追跡停止ボタンの押下操作が行われたか否か判断する（ステップＳ１１７）。追跡停止ボタンを有する追跡アラート画面の詳細については、後述する。追跡停止ボタンの押下操作が行われたと判断した場合には、監視／追跡実行機能部２３は、この監視／追跡処理を終了する。
【0116】
また、追跡停止ボタンの押下操作が行われていないと判断した場合には、監視／追跡実行機能部２３は、時刻Ｔに時間間隔ｔ１加えてから、すなわち、次の処理時刻に更新した後（ステップＳ１１８）、上記ステップＳ１１２から上記の処理を繰り返す。ここで、時間間隔ｔ１は、上述した通りである。なお、この時間間隔ｔ１とは異なる時間間隔を用いても良いことは勿論である。
【0117】
図１９は、Ｗｅｂサーバ３０の検知／追跡結果判定機能部３４による追跡結果判定処理の処理手順を示すフローチャートである。検知／追跡結果判定機能部３４は、定期的に、例えば映像解析機能部２０の監視／追跡実行機能部２３の追跡処理の処理間隔に同期して、このフローチャートに示す処理を実施する。
【0118】
検知／追跡結果判定機能部３４は、まず、監視／追跡実行機能部２３から類似度と照合用画像のセットを受信したか否か判断する（ステップＳ２２１）。類似度と照合用画像のセットを受信していないと判断した場合には、検知／追跡結果判定機能部３４は、この追跡結果判定処理を終了する。
【0119】
これに対して、類似度と照合用画像のセットを受信したと判断した場合には、検知／追跡結果判定機能部３４は、顔照合閾値１と全身照合閾値１を取得する（ステップＳ２２２）。すなわち、検知／追跡結果判定機能部３４は、カメラ情報テーブル記憶部３２１に記憶されている、それら類似度と照合用画像のセットの送信元である映像解析機能部２０に対応する監視カメラ１０についてのカメラ情報テーブル３２１１から、顔照合閾値１と全身照合閾値１を取得する。
【0120】
そして、検知／追跡結果判定機能部３４は、受信した全身画像類似度のそれぞれについて、取得した全身照合閾値１と比較し、全身照合閾値１よりも大きいか全身画像類似度が有るか否か判断する（ステップＳ２２３）。全身照合閾値１よりも大きい全身画像類似度が有ると判断した場合には、検知／追跡結果判定機能部３４は、その全身特徴量を有する人物は追跡対象者であると判別する。よってこの場合には、検知／追跡結果判定機能部３４は、その大きいと判断された全身画像類似度を、上記ステップＳ２２１で受信した対応する照合用全身画像と共に、記憶装置３０２の所定の記憶領域に保存しておくと共に、全身画像類似度を追跡テーブル３２５１に登録する（ステップＳ２２４）。この全身画像類似度の登録に際して、追跡テーブル記憶部３２５に、該当不審者ＩＤの追跡テーブル３２５１が未だ記憶されていない場合には、追跡テーブル３２５１を生成し、その生成した追跡テーブル２５１を追跡テーブル記憶部３２５に記憶させる。また、追跡テーブル記憶部３２５に、該当不審者ＩＤの追跡テーブル３２５１が既に記憶されている場合には、新たな追跡テーブル３２５１を生成するのではなく、レコードを追加する。追跡テーブル３２５１に登録される全身画像類似度は、全身照合閾値１よりも大きい値の全身画像類似度である。
【0121】
その後、或いは上記ステップＳ２２３において全身照合閾値１よりも大きい全身画像類似度が無いと判断した場合、検知／追跡結果判定機能部３４は、受信した顔画像類似度のそれぞれについて、取得した顔照合閾値１と比較し、顔照合閾値１よりも大きい顔画像類似度が有るか否か判断する（ステップＳ２２５）。顔照合閾値１よりも大きい顔画像類似度が有ると判断した場合には、検知／追跡結果判定機能部３４は、その顔特徴量を有する人物は追跡対象者であると判別する。よってこの場合には、検知／追跡結果判定機能部３４は、その大きいと判断された顔画像類似度を、上記ステップＳ２２１で受信した対応する照合用顔画像と共に、記憶装置３０２の所定の記憶領域に保存しておくと共に、顔画像類似度を追跡テーブル３２５１に登録する（ステップＳ２２６）。この顔画像類似度の登録に際して、追跡テーブル記憶部３２５に、該当不審者ＩＤの追跡テーブル３２５１が未だ記憶されていない場合には、追跡テーブル３２５１を生成し、その生成した追跡テーブル２５１を追跡テーブル記憶部３２５に記憶させる。また、追跡テーブル記憶部３２５に、該当不審者ＩＤの追跡テーブル３２５１が既に記憶されている場合には、新たな追跡テーブル３２５１を生成するのではなく、レコードを追加する。追跡テーブル３２５１に登録される顔画像類似度は、顔照合閾値１よりも大きい値の全身画像類似度である。
【0122】
その後、或いは上記ステップＳ２２５において顔照合閾値１よりも大きい顔画像類似度が無いと判断した場合には、検知／追跡結果判定機能部３４は、この追跡結果判定処理を終了する。
【0123】
図２０Ａ乃至図２０Ｃは、追跡機能部３５３の追跡アラート出力機能部３５３２による追跡アラート出力処理の処理手順を示すフローチャートである。追跡アラート出力機能部３５３２は、定期的に、例えば映像解析機能部２０の監視／追跡実行機能部２３における時間間隔ｔ１おきに、このフローチャートに示す処理を実施する。
【0124】
追跡アラート出力機能部３５３２は、まず、監視端末４０において、監視者によってＷｅｂブラウザ４１に表示される追跡アラート画面における絞り込み指定操作が行われたか否か判断する（ステップＳ５０１）。絞り込み指定操作が行われたと判断した場合、追跡アラート出力機能部３５３２は、後述するステップＳ５１９へと進む。
【0125】
これに対して、絞り込み指定操作が行われていないと判断した場合、追跡アラート出力機能部３５３２は、カメラ情報テーブル記憶部３２１に記憶されている、各監視カメラ１０についてのカメラ情報テーブル３２１１から、顔照合閾値１～３及び全身照合閾値１～３を取得する（ステップＳ５０２）。
【0126】
その後、追跡アラート出力機能部３５３２は、追跡テーブル記憶部３２５に記憶されている追跡テーブル３２５１から新規の追跡結果を取得する（ステップＳ５０３）。すなわち、追跡アラート出力機能部３５３２は、追跡テーブル３２５１における全身画像類似度及び顔画像類似度として、画像類似度ＩＤではなくて類似度の実数が記録されているものを抽出して取得する。
【0127】
そして、追跡アラート出力機能部３５３２は、追跡テーブル３２５１における顔画像類似度の値が顔照合閾値３よりも大きいか否か判断する（ステップＳ５０４）。顔画像類似度の値が顔照合閾値３よりも大きいと判断した場合、追跡アラート出力機能部３５３２は、追跡テーブル記憶部３２５の当該追跡テーブル３２５１における顔画像類似度の値を、実数から顔画像類似度ラベルＩＤ、ここではＩＤ＝３に書き換える（ステップＳ５０５）。
【0128】
これに対して、顔画像類似度の値が顔照合閾値３よりも大きくないと判断した場合、追跡アラート出力機能部３５３２は、更に、顔画像類似度の値が顔照合閾値２よりも大きいか否か判断する（ステップＳ５０６）。顔画像類似度の値が顔照合閾値２よりも大きいと判断した場合、追跡アラート出力機能部３５３２は、追跡テーブル記憶部３２５の当該追跡テーブル３２５１における顔画像類似度の値を、実数から顔画像類似度ラベルＩＤ、ここではＩＤ＝２に書き換える（ステップＳ５０７）。
【0129】
また、顔画像類似度の値が顔照合閾値２よりも大きくないと判断した場合、追跡アラート出力機能部３５３２は、更に、顔画像類似度の値が顔照合閾値１よりも大きいか否か判断する（ステップＳ５０８）。顔画像類似度の値が顔照合閾値１よりも大きいと判断した場合、追跡アラート出力機能部３５３２は、追跡テーブル記憶部３２５の当該追跡テーブル３２５１における顔画像類似度の値を、実数から顔画像類似度ラベルＩＤ、ここではＩＤ＝１に書き換える（ステップＳ５０９）。
【0130】
監視機能部３５２での検知動作に係わる処理では、顔画像類似度しか利用していないため、顔画像類似度の値が顔照合閾値２よりも大きくなければ、顔画像類似度の値は顔照合閾値１よりも大きいことは決まってしまう。これに対して、追跡機能部３５３の追跡動作に係わる処理では、顔画像類似度と全身類似度との両方を利用しており、追跡テーブル３２５１には顔画像類似度と全身類似度の何れか片方しか登録されない場合が存在する。すなわち、顔画像類似度の値が顔照合閾値２よりも大きくないときには、顔照合閾値１よりも大きい値の顔画像類似度の値が登録されている場合と、顔照合閾値１以下の顔画像類似度の値が登録されている（又は顔画像類似度の値が登録されていない）場合と、が存在する。そのため、顔画像類似度の値が顔照合閾値２よりも大きくないというだけで、顔画像類似度の値は顔照合閾値１よりも大きいと決めることができない。
【0131】
以上のようにして、追跡テーブル３２５１における顔画像類似度の値を顔画像類似度ラベルＩＤに書き換えたならば、或いは、上記ステップＳ５０８において顔画像類似度の値が顔照合閾値１よりも大きくないと判断した場合、追跡アラート出力機能部３５３２は、全身画像類似度の判定動作に移る。
【0132】
すなわち、追跡アラート出力機能部３５３２は、追跡テーブル３２５１における全身画像類似度の値が全身照合閾値３よりも大きいか否か判断する（ステップＳ５１０）。全身画像類似度の値が全身照合閾値３よりも大きいと判断した場合、追跡アラート出力機能部３５３２は、追跡テーブル記憶部３２５の当該追跡テーブル３２５１における全身画像類似度の値を、実数から全身画像類似度ラベルＩＤ、ここではＩＤ＝３に書き換える（ステップＳ５１１）。
【0133】
これに対して、全身画像類似度の値が全身照合閾値３よりも大きくないと判断した場合、追跡アラート出力機能部３５３２は、更に、全身画像類似度の値が全身照合閾値２よりも大きいか否か判断する（ステップＳ５１２）。全身画像類似度の値が全身照合閾値２よりも大きいと判断した場合、追跡アラート出力機能部３５３２は、追跡テーブル記憶部３２５の当該追跡テーブル３２５１における全身画像類似度の値を、実数から全身画像類似度ラベルＩＤ、ここではＩＤ＝２に書き換える（ステップＳ５１３）。
【0134】
また、全身画像類似度の値が全身照合閾値２よりも大きくないと判断した場合、追跡アラート出力機能部３５３２は、更に、全身画像類似度の値が全身照合閾値１よりも大きいか否か判断する（ステップＳ５１４）。全身画像類似度の値が全身照合閾値１よりも大きいと判断した場合、追跡アラート出力機能部３５３２は、追跡テーブル記憶部３２５の当該追跡テーブル３２５１における全身画像類似度の値を、実数から全身画像類似度ラベルＩＤ、ここではＩＤ＝１に書き換える（ステップＳ５１５）。
【0135】
以上のようにして、追跡テーブル３２５１における全身画像類似度の値を全身画像類似度ラベルＩＤに書き換えたならば、或いは、上記ステップＳ５１４において全身画像類似度の値が全身照合閾値１よりも大きくないと判断した場合、追跡アラート出力機能部３５３２は、画面画像である新規の追跡情報カードを作成する（ステップＳ３０８）。この追跡情報カードは、上記ステップＳ２２４及びステップＳ２２６で記憶装置３０２の所定の記憶領域に保存された照合用全身画像及び照合用顔画像と、それに対応する追跡テーブル３２５１における全身画像類似度ラベルＩＤ及び顔画像類似度ラベルＩＤに基づく注意段階を示す注意段階表示と、を含む画面画像である。この追跡情報カードについては、詳細を後述する。
【0136】
追跡アラート出力機能部３５３２は、この作成した新規の追跡情報カードにより、Ｗｅｂブラウザ４１にて表示するための追跡アラート画面を更新する（ステップＳ５１７）。そして、追跡アラート出力機能部３５３２は、この更新した追跡アラート画面を、ネットワークＮＥＴを介してＷｅｂブラウザ４１に送信して、そこに表示させる（ステップＳ５１８）。Ｗｅｂブラウザ４１では、監視画面の一部に設けられたアラート画面表示領域に、或いは、監視画面とは別のウィンドウを開いて、この追跡アラート画面を表示する。そして、追跡アラート出力機能部３５３２は、この追跡アラート出力処理を終了する。
【0137】
一方、上記ステップＳ５０１において絞り込み指定操作が行われたと判断した場合、追跡アラート出力機能部３５３２は、その指定された絞り込みレベルを取得する（ステップＳ５１９）。この絞り込みレベルは、追跡アラート画面に表示する追跡情報カードを絞り込むための指標である。
【0138】
追跡アラート出力機能部３５３２は、追跡テーブル記憶部３２５に記憶されている追跡テーブル３２５１より、指定された絞り込みレベルに応じた不審者ＩＤを抽出する（ステップＳ５２０）。
【0139】
そして、追跡アラート出力機能部３５３２は、それら抽出した不審者ＩＤの検知ＩＤに基づいて、過去検索用データ記憶部３１１に過去検索用データとして記憶された全身画像３１１２と、映像解析機能部２０の人検知情報抽出機能部２２によってその全身画像３１１２から抽出した顔画像とを含む、追跡アラート画面に表示可能な個数分の追跡情報カードを作成する（ステップＳ５２１）。
【0140】
その後、追跡アラート出力機能部３５３２は、上記ステップＳ５１６と同様に、新規追跡情報カード作成し（ステップＳ５２２）、上記ステップＳ５１７と同様に、作成した追跡情報カードにより追跡アラート画面を更新する（ステップＳ５２３）。そして、追跡アラート出力機能部３５３２は、上記ステップＳ５１８の処理に進み、更新した追跡アラート画面をＷｅｂブラウザ４１に送信して、そこに表示させることとなる。
【0141】
図２１は、Ｗｅｂブラウザ４１に表示される追跡アラート画面４３の一例を示す図である。追跡アラート画面４３は、追跡対象者情報領域４３１と、追跡情報カード４３２と、絞り込み指示領域４３３と、を含む。
【0142】
追跡対象者情報領域４３１は、追跡対象者に関する情報を表示する領域であり、追跡対象者を追加する毎に、追跡アラート画面４３の最上位に追加表示されていく。古い追跡対象者情報領域４３１は順次下方にシフトされていく。ここで、最上位つまり最新の追跡対象者情報領域４３１とその他の追跡対象者情報領域４３１とでは、表示内容が異なっている。すなわち、最上位の追跡対象者情報領域４３１は、注意喚起メッセージ４３１１、不審者ＩＤ４３１２、登録画像４３１３、追跡情報４３１４、及び、追跡停止ボタン４３１５を含む。これに対して、最上位以外の追跡対象者情報領域４３１は、登録画像４３１３と追跡情報４３１４のみを含む。
【0143】
ここで、注意喚起メッセージ４３１１は、監視者の注意を促すためのメッセージであり、例えば、追跡対象者として指定された監視対象者の危険度種別を表示することができる。この危険度種別は、管理テーブル３２４１から転記されることができる。不審者ＩＤ４３１２は、管理テーブル３２４１から転記される識別情報である。登録画像４３１３は、追跡対象者の管理データ記憶部３１３に記憶された登録顔画像３１３１及び登録全身画像３１３３である。追跡情報４３１４は、当該追跡対象者に関する情報であり、最上位の追跡対象者情報領域４３１の追跡情報４３１４とその他の追跡対象者情報領域４３１の追跡情報４３１４とでは、内容が異なっている。すなわち、最上位の追跡対象者情報領域４３１の追跡情報４３１４は、管理テーブル３２４１から転記される不審者ＩＤ、危険度種別及び説明文を含む。最上位以外の追跡対象者情報領域４３１の追跡情報４３１４は、説明文に代えて、追跡状況を含んでいる。追跡停止ボタン４３１５は、当該人物の追跡を終了する場合に押下されるボタンである。
【0144】
また、追跡情報カード４３２は、追跡アラート出力機能部３５３２が新規カードを作成する毎に、追跡アラート画面４３の最上位に追加表示されていく。古い追跡情報カード４３２は順次下方にシフトされていく。この追跡情報カード４３２は、その表示内容として、検出日時情報４３２１、検出カメラ場所情報４３２２、検出顔画像４３２３、顔注意段階表示４３２４、検出全身画像４３２５、全身注意段階表示４３２６、及び、検出背景画像４３２７を含む。
【0145】
ここで、検出日時情報４３２１は、当該追跡対象者が何れかの監視カメラ１０の監視画像から検知された日時情報である。検出カメラ場所情報４３２２は、その検知した監視カメラＩＤに基づくカメラ場所情報である。検出顔画像４３２３は、検知されて保存された追跡対象者の照合用顔画像である。顔注意段階表示４３２４は、追跡対象者の顔画像と検知された人物の顔画像との類似度の段階を示すものである。すなわち、類似度が、実数ではなくて、追跡テーブル３２５１における顔画像類似度ラベルＩＤに基づく複数段階、ここでは３段階の注意段階表示として示されている。この顔注意段階表示４３２４では、図２１においてハッチングにより表している識別表示された四角形の数が、顔画像類似度ラベルＩＤに対応する。例えば、一番上の追跡情報カード４３２では、追跡テーブル３２５１における顔画像類似度ラベルＩＤが「２」であったので、顔注意段階表示４３２４では、２個の四角形が識別表示され、上から二番目の追跡情報カード４３２では、追跡テーブル３２５１における顔画像類似度ラベルＩＤが「３」であったので、顔注意段階表示４３２４では、３個の四角形が識別表示されている。
【0146】
同様に、検出全身画像４３２５は、検知されて保存された追跡対象者の照合用全身画像である。全身注意段階表示４３２６は、追跡対象者の全身画像と検知された人物の全身画像との類似度の段階を示すものである。すなわち、類似度が、実数ではなくて、追跡テーブル３２５１における全身画像類似度ラベルＩＤに基づく複数段階、ここでは３段階の注意段階表示として示されている。この全身注意段階表示４３２６も顔注意段階表示４３２４と同様、図２１においてハッチングにより表している識別表示された四角形の数が、全身画像類似度ラベルＩＤに対応する。例えば、一番上の追跡情報カード４３２では、追跡テーブル３２５１における全身画像類似度ラベルＩＤが「３」であったので、全身注意段階表示４３２６では、３個の四角形が識別表示され、上から二番目の追跡情報カード４３２では、追跡テーブル３２５１における全身画像類似度ラベルＩＤが「２」であったので、全身注意段階表示４３２６では、２個の四角形が識別表示されている。
【0147】
検出背景画像４３２７は、照合用顔画像及び／または照合用全身画像を抽出した元の監視画像であるフレーム画像である。このフレーム画像は、過去検索用データ記憶部３１１に記憶されているフレーム画像３１１１が用いられる。
【0148】
なお、追跡情報カード４３２は、必ずしも、検出顔画像４３２３及び顔注意段階表示４３２４と、検出全身画像４３２５及び全身注意段階表示４３２６と、の両方を含むとは限らず、どちらか一方のみの場合も有り得る。
【0149】
絞り込み指示領域４３３は、追跡アラート画面４３に表示する追跡情報カード４３２を絞り込むための指示を受け付けるための領域である。この絞り込み指示領域４３３は、顔画像類似度選択ボタン４３３１、顔画像類似度選択リセットボタン４３３２、全身画像類似度選択ボタン４３３３、及び、全身画像類似度選択リセットボタン４３３４を含む。
【0150】
ここで、顔画像類似度選択ボタン４３３１は、顔注意段階表示４３２４の段数に対応する３個のボタンを含む。監視者によるこの顔画像類似度選択ボタン４３３１の押下操作に応じた指定段数以上の顔注意段階表示４３２４を含む追跡情報カード４３２のみが追跡アラート画面４３に表示されるようになる。図２１の例では、顔画像類似度選択ボタン４３３１での段数が指定されていないので、追跡アラート画面４３には、１段以上の顔注意段階表示４３２４を含む追跡情報カード４３２が表示されている。顔画像類似度選択リセットボタン４３３２は、顔画像類似度選択ボタン４３３１での段数指定をリセットする際に押下操作されるボタンである。
【0151】
同様に、全身画像類似度選択ボタン４３３３は、全身注意段階表示４３２６の段数に対応する３個のボタンを含む。監視者によるこの全身画像類似度選択ボタン４３３３の押下操作に応じた指定段数以上の全身注意段階表示４３２６を含む追跡情報カード４３２のみが追跡アラート画面４３に表示されるようになる。図２１の例では、全身画像類似度選択ボタン４３３３での段数が指定されていないので、追跡アラート画面４３には、１段以上の全身注意段階表示４３２６を含む追跡情報カード４３２が表示されている。全身画像類似度選択リセットボタン４３３４は、全身画像類似度選択ボタン４３３３での段数指定をリセットする際に押下操作されるボタンである。
【0152】
図２２は、Ｗｅｂブラウザ４１に表示される追跡アラート画面４３の別の例を示す図である。この例は、顔画像類似度選択ボタン４３３１で３段が指定され、全身画像類似度選択ボタン４３３３で１段が指定された場合を示している。ここで、押下操作されたボタンは、図２１ではハッチングにより示すように、識別表示される。顔画像類似度選択ボタン４３３１による指定と全身画像類似度選択ボタン４３３３による指定はアンド条件となり、追跡アラート画面４３には、両方で指定された段数に合致する追跡情報カード４３２のみが表示されるようになる。
【0153】
（２－３）過去検索動作
追跡機能部３５３による追跡動作は、リアルタイムで追跡対象者を追跡する機能である。一方で、過去に特定の人物が当該施設に来訪していないか調査したい場合が存在する。
追跡機能部３５３による追跡動作は、リアルタイムで追跡対象者を追跡する機能である。一方で、過去に特定の人物が当該施設に来訪していないか調査したい場合が存在する。
【0154】
そこで、過去検索機能部３５４は、Ｗｅｂブラウザ４１からの時間及び場所の指定を受けて、過去検索用データテーブル記憶部３２２に記憶されている過去検索用データテーブル３２２１に基づいて、過去検索用データ記憶部３１１からその指定された時間・場所に来訪した人物の全身画像３１１２を抽出する。そして、その抽出した全身画像３１１２を一覧表示した選択画面を作成し、Ｗｅｂブラウザ４１に表示させる。
【0155】
Ｗｅｂブラウザ４１から検索する人物の選択指定を受けて、過去検索機能部３５４は、その選択指定された全身画像３１１２を追跡用全身画像とし、また、リアルタイムの監視カメラ１０からの監視画像に代えて指定された時間・場所についての過去検索用データ記憶部３１１に記憶されたフレーム画像３１１１を対象として、追跡機能部３５３と同様の動作を行う。
【0156】
これにより、過去検索機能部３５４は、過去検索用データ記憶部３１１に記憶されている過去の来訪者の中から、選択指定された人物に類似する人物を検索し、その結果を追跡アラート画面４３としてＷｅｂブラウザ４１に表示させることができる。
【0157】
（３）効果
以上詳述したように一実施形態に係る人物検出装置としてのＷｅｂサーバ３０では、互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部である映像解析機能部２０の監視／追跡実行機能部２３が算出した類似度のそれぞれに基づいて、対象画像を複数の段階に分類するための複数の閾値を、類似度算出手法毎に、閾値記憶部としてのカメラ情報テーブル記憶部３２１に記憶しておき、検出部としての検知／追跡結果判定機能部３４により、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した対象画像である類似度算出対象者の画像の、特定画像である特定人物の画像に対する少なくとも一つの類似度を監視／追跡実行機能部２３から取得し、その監視／追跡実行機能部２３での少なくとも一つの類似度の算出に用いた類似度算出手法に対応してカメラ情報テーブル記憶部３２１に記憶されている複数の閾値に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の中から、特定人物の画像に類似する画像を検出すると共に、その検出した類似度算出対象者の画像が複数の注意段階の何れであるのか検出する。このように、類似度算出手法の判断基準が異なることによって互いに比較することが難しい類似度を、類似度算出手法に依らない複数段階に分類することで、何れの類似度算出手法を用いたとしても、類似度の度合いを同じ評価基準に落とし込むことができる。
より具体的には、カメラ情報テーブル記憶部３２１に、例えば少なくとも一つの照合モデルのそれぞれについて、類似度が複数の注意段階の何れであるか判定するための複数の閾値を記憶しておき、検知／追跡結果判定機能部３４により、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した類似度算出対象者の画像と特定人物の画像との類似度を例えば少なくとも一つの照合モデルを用いて算出する監視／追跡実行機能部２３から、類似度を取得し、カメラ情報テーブル記憶部３２１に記憶されている複数の閾値に基づいて、取得した類似度が注意段階の何れであるか検出する。
このような検出された注意段階により、認証結果の確からしさを監視者が容易に認識できるようになる。また、監視カメラ１０毎の閾値をカメラ情報テーブル記憶部３２１に記憶しているので、監視カメラ１０間における取得類似度のバラツキを減らすことができる。
以上詳述したように一実施形態に係る人物検出装置としてのＷｅｂサーバ３０では、互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部である映像解析機能部２０の監視／追跡実行機能部２３が算出した類似度のそれぞれに基づいて、対象画像を複数の段階に分類するための複数の閾値を、類似度算出手法毎に、閾値記憶部としてのカメラ情報テーブル記憶部３２１に記憶しておき、検出部としての検知／追跡結果判定機能部３４により、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した対象画像である類似度算出対象者の画像の、特定画像である特定人物の画像に対する少なくとも一つの類似度を監視／追跡実行機能部２３から取得し、その監視／追跡実行機能部２３での少なくとも一つの類似度の算出に用いた類似度算出手法に対応してカメラ情報テーブル記憶部３２１に記憶されている複数の閾値に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の中から、特定人物の画像に類似する画像を検出すると共に、その検出した類似度算出対象者の画像が複数の注意段階の何れであるのか検出する。このように、類似度算出手法の判断基準が異なることによって互いに比較することが難しい類似度を、類似度算出手法に依らない複数段階に分類することで、何れの類似度算出手法を用いたとしても、類似度の度合いを同じ評価基準に落とし込むことができる。
より具体的には、カメラ情報テーブル記憶部３２１に、例えば少なくとも一つの照合モデルのそれぞれについて、類似度が複数の注意段階の何れであるか判定するための複数の閾値を記憶しておき、検知／追跡結果判定機能部３４により、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した類似度算出対象者の画像と特定人物の画像との類似度を例えば少なくとも一つの照合モデルを用いて算出する監視／追跡実行機能部２３から、類似度を取得し、カメラ情報テーブル記憶部３２１に記憶されている複数の閾値に基づいて、取得した類似度が注意段階の何れであるか検出する。
このような検出された注意段階により、認証結果の確からしさを監視者が容易に認識できるようになる。また、監視カメラ１０毎の閾値をカメラ情報テーブル記憶部３２１に記憶しているので、監視カメラ１０間における取得類似度のバラツキを減らすことができる。
【0158】
また、Ｗｅｂサーバ３０は、検知／追跡結果判定機能部３４が検出した特定人物の画像に類似する画像を、その検知／追跡結果判定機能部３４が検出した注意段階を示す段階表示と共に提示するための出力画面である検知アラート画面４２を生成する出力画面生成部としての検知アラート出力機能部３５２１をさらに備えることができる。
より具体的には、検知アラート出力機能部３５２１は、検知／追跡結果判定機能部３４の判別結果に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の内、特定人物の画像に類似する類似度算出対象者の画像を、注意段階と共に提示するための検知アラート画面４２を生成する。
このように、認証結果である類似度を注意段階表示４２１５として提示するので、熟練監視者でなくても、画像の類似度を直感的に且つある程度正確に認識しやすくなる。よって、認証結果の確からしさを監視者が容易に認識できるようになる。
より具体的には、検知アラート出力機能部３５２１は、検知／追跡結果判定機能部３４の判別結果に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の内、特定人物の画像に類似する類似度算出対象者の画像を、注意段階と共に提示するための検知アラート画面４２を生成する。
このように、認証結果である類似度を注意段階表示４２１５として提示するので、熟練監視者でなくても、画像の類似度を直感的に且つある程度正確に認識しやすくなる。よって、認証結果の確からしさを監視者が容易に認識できるようになる。
【0159】
なお、検知／追跡結果判定機能部３４は、監視／追跡実行機能部２３から、複数台の監視カメラ１０の監視画像のそれぞれから抽出した類似度算出対象者の顔画像と特定人物の顔画像との類似度を取得し、検知アラート出力機能部３５２１は、特定人物の顔画像に類似する類似度算出対象者の顔画像を注意段階表示４２１５と共に提示する検知アラート画面４２を生成するようにして良い。
これにより、顔画像の認証結果の確からしさを監視者が容易に認識できるようになる。なお、顔画像ではなく、特定人物の全身画像と類似度算出対象者の顔画像を用いるようにしても良い。
これにより、顔画像の認証結果の確からしさを監視者が容易に認識できるようになる。なお、顔画像ではなく、特定人物の全身画像と類似度算出対象者の顔画像を用いるようにしても良い。
【0160】
ここで、複数の閾値は、対象画像である類似度算出対象者の画像が特定人物の画像であるか否か分類するための第１の閾値と、類似度算出対象者の画像が特定人物の画像である場合に、類似度算出対象者の画像を複数の段階に分類するための少なくとも一つの第２の閾値と、を含むことができる。
より具体的には、カメラ情報テーブル記憶部３２１は、第１の閾値としての、類似度算出対象者の画像が特定人物の画像であると推定される類似度に対応する顔照合閾値１と、第２の閾値としての、それぞれ顔照合閾値１よりも大きい類似度に対応する顔照合閾値２及び顔照合閾値３と、を記憶する。検知／追跡結果判定機能部３４は、顔照合閾値１よりも大きい類似度を持つ類似度算出対象者の画像を検出し、検知アラート出力機能部３５２１は、検知／追跡結果判定機能部３４が顔照合閾値１に基づいて検出した類似度算出対象者の画像を、検知／追跡結果判定機能部３４が顔照合閾値２及び顔照合閾値３に基づいて判別した注意段階を示す注意段階表示４２１５と共に提示する検知アラート画面４２を生成することができる。
これにより、顔照合閾値１によって検知アラート画面４２に提示するべき類似度算出対象者の画像を容易に検出でき、検出した画像各々について、顔照合閾値２及び顔照合閾値３に基づいてどのような注意段階表示４２１５とするべきか決定することができるようになる。
より具体的には、カメラ情報テーブル記憶部３２１は、第１の閾値としての、類似度算出対象者の画像が特定人物の画像であると推定される類似度に対応する顔照合閾値１と、第２の閾値としての、それぞれ顔照合閾値１よりも大きい類似度に対応する顔照合閾値２及び顔照合閾値３と、を記憶する。検知／追跡結果判定機能部３４は、顔照合閾値１よりも大きい類似度を持つ類似度算出対象者の画像を検出し、検知アラート出力機能部３５２１は、検知／追跡結果判定機能部３４が顔照合閾値１に基づいて検出した類似度算出対象者の画像を、検知／追跡結果判定機能部３４が顔照合閾値２及び顔照合閾値３に基づいて判別した注意段階を示す注意段階表示４２１５と共に提示する検知アラート画面４２を生成することができる。
これにより、顔照合閾値１によって検知アラート画面４２に提示するべき類似度算出対象者の画像を容易に検出でき、検出した画像各々について、顔照合閾値２及び顔照合閾値３に基づいてどのような注意段階表示４２１５とするべきか決定することができるようになる。
【0161】
また、一実施形態に係る人物追跡装置としてのＷｅｂサーバ３０は、上記人物検出装置としてのＷｅｂサーバ３０の構成に加えて、検知アラート画面４２に段階表示と共に提示された特定人物の画像に類似する複数の類似度算出対象者の画像の中から、追跡を行うべき追跡対象者の画像の指定を、監視者が操作する監視端末４０から受け付け、その指定された画像を追跡用画像として登録し、この登録された追跡を行うべき追跡対象者の画像である追跡用画像を特定画像として監視／追跡実行機能部２３に、少なくとも二つ以上の類似度算出手法を用いて類似度算出対象者の画像の類似度を少なくとも二つ抽出させる登録部としての画像登録機能部３５３１と、検知／追跡結果判定機能部３４が、監視／追跡実行機能部２３から取得した少なくとも二つ以上の類似度から検出した追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像それぞれを、検知／追跡結果判定機能部３４が検出した注意段階を示す段階表示と共に提示するための追跡出力画面としての追跡アラート画面４３を生成する追跡出力画面生成部としての追跡アラート出力機能部３５３２と、を備えることができる。
より具体的には、画像登録機能部３５３１は、検知アラート画面４２に段階表示と共に提示された特定人物の画像に類似する複数の類似度算出対象者の画像の中から、追跡を行うべき追跡対象者の顔画像の指定を、監視者が操作する監視端末４０から受け付け、その指定された顔画像と当該顔画像に対応する前記追跡対象者の全身画像とを追跡用顔画像及び追跡用全身画像として登録する。また、カメラ情報テーブル記憶部３２１には、第１の閾値として、類似度算出対象者の顔画像が画像登録機能部３５３１によって登録された追跡用顔画像であると推定される類似度に対応する顔照合閾値１と、類似度算出対象者の全身画像が画像登録機能部３５３１によって登録された追跡用全身画像であると推定される類似度に対応する全身照合閾値１と、を記憶すると共に、少なくとも一つの第２の閾値して、それぞれ顔照合閾値１よりも大きい顔画像の類似度に対応する顔照合閾値２及び顔照合閾値３と、それぞれ全身照合閾値１よりも大きい全身画像の類似度に対応する全身照合閾値２及び全身照合閾値３と、を記憶している。そして、検知／追跡結果判定機能部３４は、監視／追跡実行機能部２３から、例えば第１の照合モデルを用いて算出された、複数台の監視カメラ１０の監視画像のそれぞれから抽出した類似度算出対象者の顔画像と画像登録機能部３５３１によって登録された追跡用顔画像との類似度と、例えば第２の照合モデルを用いて算出された、類似度算出対象者の全身画像と画像登録機能部３５３１によって登録された追跡用全身画像との類似度と、を取得し、取得した顔画像の類似度の中から、顔照合閾値１よりも大きい類似度を持つ類似度算出対象者の顔画像と、取得した全身画像の類似度の中から、全身照合閾値１よりも大きい類似度を持つ類似度算出対象者の全身画像と、の少なくとも一方を検出し、追跡アラート出力機能部３５３２は、検知／追跡結果判定機能部３４が顔照合閾値１及び全身照合閾値１の少なくとも一方に基づいて検出した類似度算出対象者の顔画像及び全身画像の少なくとも一方を、対応する顔照合閾値２及び顔照合閾値３と全身照合閾値２及び全身照合閾値３との少なくとも一方に基づいて判別した注意段階を示す段階表示と共に提示する追跡アラート画面４３を生成するようにしている。
これにより、互いに異なる判断基準を有する二つ以上の類似度算出手法、例えば顔画像のための第１の照合モデルと全身画像のための第２の照合モデルとが、互いに範囲又はスケールが異なる類似度値を出力する場合であっても、追跡アラート画面４３では同様の段階表示により類似度が表示されることで、監視者は、類似度の同一性を容易に認識できるようになる。
より具体的には、画像登録機能部３５３１は、検知アラート画面４２に段階表示と共に提示された特定人物の画像に類似する複数の類似度算出対象者の画像の中から、追跡を行うべき追跡対象者の顔画像の指定を、監視者が操作する監視端末４０から受け付け、その指定された顔画像と当該顔画像に対応する前記追跡対象者の全身画像とを追跡用顔画像及び追跡用全身画像として登録する。また、カメラ情報テーブル記憶部３２１には、第１の閾値として、類似度算出対象者の顔画像が画像登録機能部３５３１によって登録された追跡用顔画像であると推定される類似度に対応する顔照合閾値１と、類似度算出対象者の全身画像が画像登録機能部３５３１によって登録された追跡用全身画像であると推定される類似度に対応する全身照合閾値１と、を記憶すると共に、少なくとも一つの第２の閾値して、それぞれ顔照合閾値１よりも大きい顔画像の類似度に対応する顔照合閾値２及び顔照合閾値３と、それぞれ全身照合閾値１よりも大きい全身画像の類似度に対応する全身照合閾値２及び全身照合閾値３と、を記憶している。そして、検知／追跡結果判定機能部３４は、監視／追跡実行機能部２３から、例えば第１の照合モデルを用いて算出された、複数台の監視カメラ１０の監視画像のそれぞれから抽出した類似度算出対象者の顔画像と画像登録機能部３５３１によって登録された追跡用顔画像との類似度と、例えば第２の照合モデルを用いて算出された、類似度算出対象者の全身画像と画像登録機能部３５３１によって登録された追跡用全身画像との類似度と、を取得し、取得した顔画像の類似度の中から、顔照合閾値１よりも大きい類似度を持つ類似度算出対象者の顔画像と、取得した全身画像の類似度の中から、全身照合閾値１よりも大きい類似度を持つ類似度算出対象者の全身画像と、の少なくとも一方を検出し、追跡アラート出力機能部３５３２は、検知／追跡結果判定機能部３４が顔照合閾値１及び全身照合閾値１の少なくとも一方に基づいて検出した類似度算出対象者の顔画像及び全身画像の少なくとも一方を、対応する顔照合閾値２及び顔照合閾値３と全身照合閾値２及び全身照合閾値３との少なくとも一方に基づいて判別した注意段階を示す段階表示と共に提示する追跡アラート画面４３を生成するようにしている。
これにより、互いに異なる判断基準を有する二つ以上の類似度算出手法、例えば顔画像のための第１の照合モデルと全身画像のための第２の照合モデルとが、互いに範囲又はスケールが異なる類似度値を出力する場合であっても、追跡アラート画面４３では同様の段階表示により類似度が表示されることで、監視者は、類似度の同一性を容易に認識できるようになる。
【0162】
また、人物追跡装置としてのＷｅｂサーバ３０は、監視画像のそれぞれから人物の全身画像を抽出し、全身画像からその特徴量である全身特徴量及び人物の顔画像を抽出し、顔画像からその特徴量である顔特徴量を抽出する抽出部である映像解析機能部２０の人検知情報抽出機能部２２が抽出した、全身画像、全身特徴量及び顔特徴量を、監視画像と共に蓄積する画像蓄積部としてのファイルサーバ３１を更に備えて良く、画像登録機能部３５３１は、監視端末４０から指定された追跡対象者の顔画像に対応するファイルサーバ３１に蓄積された全身画像、全身特徴量及び顔特徴量と、その顔特徴量を抽出した顔画像とを、追跡用全身画像、用全身特徴量、用顔特徴量及び追跡用顔画像として登録し、検知／追跡結果判定機能部３４は、画像登録機能部３５３１による登録の時点からファイルサーバ３１に蓄積されていく監視画像を照合用画像として、照合用画像それぞれについての、人検知情報抽出機能部２２が抽出した全身特徴量と追跡用全身特徴量との類似度である全身画像類似度、及び、人検知情報抽出機能部２２が抽出した顔特徴量と追跡用顔特徴量との類似度である顔画像類似度を算出する監視／追跡実行機能部２３から、算出した全身画像類似度及び顔画像類似度と追跡用顔画像及び追跡用全身画像とのセットを受け、顔画像類似度及び全身画像類似度の少なくとも一方が、対応する顔照合閾値１及び全身照合閾値１の少なくとも一方よりも大きいか否か判定し、顔照合閾値１及び全身照合閾値１の少なくとも一方よりも大きい類似度を持つ類似度算出対象者の顔画像及び全身画像の少なくとも一方を検出し、検知アラート出力機能部３５２１は、検知／追跡結果判定機能部３４が検出した類似度算出対象者の顔画像及び全身画像の少なくとも一方と、対応する顔照合閾値２及び顔照合閾値３と全身照合閾値２及び全身照合閾値３との少なくとも一方に基づいて判別した注意段階を示す段階表示と、照合用画像としての監視画像を取得した監視カメラ１０の位置情報とを、画像登録機能部３５３１によって登録された追跡用全身画像及び追跡用顔画像と共に提示する追跡出力画面である追跡アラート画面４３を生成するようにしている。
これにより、監視カメラ１０により追跡対象者の顔画像が取得できない場合でも、全身画像を利用して追跡対象者を追跡できるようになる。
これにより、監視カメラ１０により追跡対象者の顔画像が取得できない場合でも、全身画像を利用して追跡対象者を追跡できるようになる。
【0163】
なお、検知アラート出力機能部３５２１は、監視端末４０からの段数指定を受けて、検知／追跡結果判定機能部３４が検出した類似度算出対象者の顔画像及び全身画像の少なくとも一方の内、指定された段階に対応する顔照合閾値２及び顔照合閾値３と全身照合閾値２及び全身照合閾値３との少なくとも一方以上の類似度を有するものを、段階表示と共に提示する絞り込み出力画面としての追跡アラート画面４３を生成することができる。追跡中に誤検知が増えた場合、表示件数が多くなり、確度の低い結果も表示してしまうこことなり、追跡対象者の特定が困難になる。
一実施形態に係る人物追跡装置としてのＷｅｂサーバ３０は、注意段階を示す段階表示の表示段階の基準を設定可能にすることで、確度の高い追跡結果のみの閲覧を促すことができる。
一実施形態に係る人物追跡装置としてのＷｅｂサーバ３０は、注意段階を示す段階表示の表示段階の基準を設定可能にすることで、確度の高い追跡結果のみの閲覧を促すことができる。
【0164】
或いは、一実施形態に係る人物追跡装置としてのＷｅｂサーバ３０では、閾値記憶部としてのカメラ情報テーブル記憶部３２１に、互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部である映像解析機能部２０の監視／追跡実行機能部２３が算出した類似度のそれぞれに基づいて、対象画像を複数の段階に分類するための複数の閾値を、類似度算出手法毎に記憶しておき、登録部としての画像登録機能部３５３１によって、監視者が操作する監視端末４０から指定された追跡を行うべき追跡対象者の画像を、特定画像として登録する。そして、検知部としての検知／追跡結果判定機能部３４は、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した対象画像である類似度算出対象者の画像の、特定画像に対する少なくとも一つの類似度を監視／追跡実行機能部２３から取得し、その監視／追跡実行機能部２３での少なくとも一つの類似度の算出に用いた類似度算出手法に対応してカメラ情報テーブル記憶部３２１に記憶されている複数の閾値に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の中から、追跡対象者の画像に類似する画像を検出すると共に、その検出した類似度算出対象者の画像が複数の注意段階の何れであるのか検出し、追跡出力画面生成部としての追跡アラート出力機能部３５３２は、検知／追跡結果判定機能部３４が、監視／追跡実行機能部２３から取得した少なくとも二つ以上の類似度から検出した追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像それぞれを、監視／追跡実行機能部２３が検出した注意段階を示す段階表示と共に提示するための追跡出力画面としての追跡アラート画面４３を生成する。
より具体的には、カメラ情報テーブル記憶部３２１に、例えば二つ以上の照合モデルのそれぞれについて、類似度が複数の注意段階の何れであるか判定するための複数の閾値を記憶しておき、画像登録機能部３５３１によって、監視者が操作する監視端末４０から指定された追跡を行うべき追跡対象者の画像を登録する。そして、検知／追跡結果判定機能部３４は、画像登録機能部３５３１によって登録された追跡対象者の画像と複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した類似度算出対象者の画像との類似度を二つ以上の照合モデルそれぞれを用いて算出する監視／追跡実行機能部２３から、二つ以上の類似度を取得し、カメラ情報テーブル記憶部３２１に記憶されている複数の閾値に基づいて、取得した二つ以上の類似度それぞれが注意段階の何れであるか判別し、追跡アラート出力機能部３５３２は、検知／追跡結果判定機能部３４の判別結果に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の内、追跡対象者の画像に類似する類似度算出対象者の画像を、注意段階それぞれを示す段階表示と共に提示するための追跡アラート画面４３を生成する。
これにより、互いに異なる判断基準を有する二つ以上の類似度算出手法、例えば二つ以上の照合モデルが、互いに範囲又はスケールが異なる類似度値を出力する場合であっても、追跡アラート画面４３では同様の段階表示により類似度が表示されることで、監視者は、類似度の同一性を容易に認識できるようになる。
より具体的には、カメラ情報テーブル記憶部３２１に、例えば二つ以上の照合モデルのそれぞれについて、類似度が複数の注意段階の何れであるか判定するための複数の閾値を記憶しておき、画像登録機能部３５３１によって、監視者が操作する監視端末４０から指定された追跡を行うべき追跡対象者の画像を登録する。そして、検知／追跡結果判定機能部３４は、画像登録機能部３５３１によって登録された追跡対象者の画像と複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した類似度算出対象者の画像との類似度を二つ以上の照合モデルそれぞれを用いて算出する監視／追跡実行機能部２３から、二つ以上の類似度を取得し、カメラ情報テーブル記憶部３２１に記憶されている複数の閾値に基づいて、取得した二つ以上の類似度それぞれが注意段階の何れであるか判別し、追跡アラート出力機能部３５３２は、検知／追跡結果判定機能部３４の判別結果に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の内、追跡対象者の画像に類似する類似度算出対象者の画像を、注意段階それぞれを示す段階表示と共に提示するための追跡アラート画面４３を生成する。
これにより、互いに異なる判断基準を有する二つ以上の類似度算出手法、例えば二つ以上の照合モデルが、互いに範囲又はスケールが異なる類似度値を出力する場合であっても、追跡アラート画面４３では同様の段階表示により類似度が表示されることで、監視者は、類似度の同一性を容易に認識できるようになる。
【0165】
ここで、追跡アラート出力機能部３５３２は、監視端末４０からの段数指定を受けて、検知／追跡結果判定機能部３４が検出した類似度算出対象者の画像の内、指定された段階に対応する閾値以上の類似度を有するものを、段階表示と共に提示する絞り込み出力画面としての追跡アラート画面４３を生成することができる。
このように、注意段階を示す段階表示の表示段階の基準を設定可能にすることで、確度の高い追跡結果のみの閲覧を促すことができる。
このように、注意段階を示す段階表示の表示段階の基準を設定可能にすることで、確度の高い追跡結果のみの閲覧を促すことができる。
【0166】
また、カメラ情報テーブル記憶部３２１は、類似度算出対象者の画像が追跡対象者の画像であると推定される類似度に対応する第１の閾値である顔照合閾値１又は全身照合閾値１と、それぞれ顔照合閾値１又は全身照合閾値１よりも大きい類似度に対応する少なくとも一つの第２の閾値である顔照合閾値２及び顔照合閾値３、又は、全身照合閾値２及び全身照合閾値３と、を記憶し、検知／追跡結果判定機能部３４は、顔照合閾値１又は全身照合閾値１よりも大きい顔類似度又は全身類似度を持つ前記類似度算出対象者の画像を検出し、追跡アラート出力機能部３５３２は、検知／追跡結果判定機能部３４が顔照合閾値１又は全身照合閾値１に基づいて検出した前記類似度算出対象者の画像を、検知／追跡結果判定機能部３４が顔照合閾値２，３又は全身照合閾値２，３に基づいて判別した注意段階を示す段階表示と共に提示する追跡アラート画面４３を生成することができる。
これにより、顔照合閾値１又は全身照合閾値１によって追跡アラート画面４３に提示するべき類似度算出対象者の画像を容易に検出でき、検出した画像各々について、顔照合閾値２及び顔照合閾値３、又は、全身照合閾値２及び全身照合閾値３に基づいて、どのような注意段階表示４２１５とするべきか決定することができるようになる。
これにより、顔照合閾値１又は全身照合閾値１によって追跡アラート画面４３に提示するべき類似度算出対象者の画像を容易に検出でき、検出した画像各々について、顔照合閾値２及び顔照合閾値３、又は、全身照合閾値２及び全身照合閾値３に基づいて、どのような注意段階表示４２１５とするべきか決定することができるようになる。
【0167】
また、一実施形態に係る人物追跡システムは、一実施形態に係る人物追跡装置と、複数台の監視カメラ１０と、監視者が操作する監視端末４０と、人検知情報抽出機能部２２を備える解析部としての映像解析機能部２０と、を備えることができる。
【0168】
また、一実施形態に係る人物検出方法は、複数台の監視カメラ１０が取得した監視画像から特定人物を検出する人物検出方法であって、コンピュータであるＷｅｂサーバ３０が、互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部である映像解析機能部２０の監視／追跡実行機能部２３が算出した類似度のそれぞれに基づいて、対象画像を複数の段階に分類するための複数の閾値を、類似度算出手法毎に、メモリである記憶装置３０２に設けたＤＢサーバ３２のカメラ情報テーブル記憶部３２１に記憶させておき、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した対象画像である類似度算出対象者の画像の、特定画像である特定人物の画像に対する少なくとも一つの類似度を監視／追跡実行機能部２３から取得し、監視／追跡実行機能部２３での少なくとも一つの類似度の算出に用いた類似度算出手法に対応してカメラ情報テーブル記憶部３２１に記憶されている複数の閾値に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の中から、特定人物の画像に類似する画像を検出すると共に、その検出した類似度算出対象者の画像が複数の注意段階の何れであるのか検出するようにしている。
より具体的には、例えば少なくとも一つの照合モデルのそれぞれについて、類似度が複数の注意段階の何れであるか判定するための複数の閾値をカメラ情報テーブル記憶部３２１に記憶させておき、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した類似度算出対象者の画像と特定人物の画像との類似度を少なくとも一つの照合モデルを用いて算出する監視／追跡実行機能部２３から、類似度を取得し、カメラ情報テーブル記憶部３２１に記憶されている複数の閾値に基づいて、取得した類似度が注意段階の何れであるか検出するようにしている。
このような検出された注意段階により、認証結果の確からしさを監視者が容易に認識できるようになる。また、監視カメラ１０毎の閾値をカメラ情報テーブル記憶部３２１に記憶しているので、監視カメラ１０間における取得類似度のバラツキを減らすことができる。
より具体的には、例えば少なくとも一つの照合モデルのそれぞれについて、類似度が複数の注意段階の何れであるか判定するための複数の閾値をカメラ情報テーブル記憶部３２１に記憶させておき、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した類似度算出対象者の画像と特定人物の画像との類似度を少なくとも一つの照合モデルを用いて算出する監視／追跡実行機能部２３から、類似度を取得し、カメラ情報テーブル記憶部３２１に記憶されている複数の閾値に基づいて、取得した類似度が注意段階の何れであるか検出するようにしている。
このような検出された注意段階により、認証結果の確からしさを監視者が容易に認識できるようになる。また、監視カメラ１０毎の閾値をカメラ情報テーブル記憶部３２１に記憶しているので、監視カメラ１０間における取得類似度のバラツキを減らすことができる。
【0169】
また、一実施形態に係る人物追跡方法は、複数台の監視カメラ１０が取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、コンピュータであるＷｅｂサーバ３０が、上記一実施形態に係る人物検出方法によって検出した特定人物の画像に類似する画像を、検出した注意段階を示す段階表示と共に提示するための出力画面である検知アラート画面４２を生成し、検知アラート画面４２に段階表示と共に提示された特定人物の画像に類似する複数の類似度算出対象者の画像の中から、追跡を行うべき追跡対象者の画像の指定を、監視者が操作する監視端末４０から受け付け、その指定された画像を追跡用画像としてメモリである記憶装置３０２に設けたファイルサーバ３１の管理データ記憶部３１３に登録する。そして、この管理データ記憶部３１３に登録された追跡を行うべき追跡対象者の画像である追跡用画像を特定画像として、監視／追跡実行機能部２３に、少なくとも二つ以上の類似度算出手法を用いて類似度算出対象者の画像の類似度を少なくとも二つ抽出させ、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の、特定画像である追跡対象者の画像に対する少なくとも二つの類似度を監視／追跡実行機能部２３から取得して、この監視／追跡実行機能部２３での類似度のそれぞれの算出に用いた類似度算出手法に対応して管理データ記憶部３１３に記憶されている複数の閾値に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の中から、追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像を検出すると共に、その検出した類似度算出対象者の画像が複数の注意段階の何れであるのか検出し、監視／追跡実行機能部２３から取得した少なくとも二つ以上の類似度から検出した追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像それぞれを、検出した注意段階を示す段階表示と共に提示するための追跡出力画面としての追跡アラート画面４３を生成するようにしている。
より具体的には、検知アラート画面４２に注意段階と共に提示された複数台の監視カメラ１０の監視画像のそれぞれから抽出された複数の類似度算出対象者の画像の中から、追跡を行うべき追跡対象者の顔画像の指定を、監視者が操作する監視端末４０から受け付け、その指定された顔画像と当該顔画像に対応する追跡対象者の全身画像とを追跡用顔画像及び追跡用全身画像として管理データ記憶部３１３に登録する。そして、監視／追跡実行機能部２３から、例えば第１の照合モデルを用いて算出された、複数台の監視カメラ１０の監視画像のそれぞれから抽出した類似度算出対象者の顔画像と登録された追跡用顔画像との類似度と、例えば第２の照合モデルを用いて算出された、類似度算出対象者の全身画像と登録された追跡用全身画像との類似度と、を取得する。また、カメラ情報テーブル記憶部３２１に第１の閾値として、類似度算出対象者の顔画像が登録された追跡用顔画像であると推定される類似度に対応する顔照合閾値１及び類似度算出対象者の全身画像が登録された追跡用全身画像であると推定される類似度に対応する全身照合閾値１と、少なくとも一つの第２の閾値として、それぞれ顔照合閾値１よりも大きい顔画像の類似度に対応する顔照合閾値２及び顔照合閾値３とそれぞれ全身照合閾値１よりも大きい全身画像の類似度に対応する全身照合閾値２及び全身照合閾値３と、を記憶させておく。そして、取得した前記類似度の中から、顔照合閾値１よりも大きい類似度を持つ類似度算出対象者の顔画像と全身照合閾値１よりも大きい類似度を持つ類似度算出対象者の全身画像との少なくとも一方を検出し、顔照合閾値１及び全身照合閾値１の少なくとも一方に基づいて検出した類似度算出対象者の顔画像及び全身画像の少なくとも一方を、対応する顔照合閾値２及び顔照合閾値３と全身照合閾値２及び全身照合閾値３との少なくとも一方に基づいて判別した注意段階を示す段階表示と共に提示する追跡出力画面としての追跡アラート画面４３を生成する。
これにより、互いに異なる判断基準を有する二つ以上の類似度算出手法、例えば顔画像のための第１の照合モデルと全身画像のための第２の照合モデルとが、互いに範囲又はスケールが異なる類似度値を出力する場合であっても、追跡アラート画面４３では同様の段階表示により類似度が表示されることで、監視者は、類似度の同一性を容易に認識できるようになる。
より具体的には、検知アラート画面４２に注意段階と共に提示された複数台の監視カメラ１０の監視画像のそれぞれから抽出された複数の類似度算出対象者の画像の中から、追跡を行うべき追跡対象者の顔画像の指定を、監視者が操作する監視端末４０から受け付け、その指定された顔画像と当該顔画像に対応する追跡対象者の全身画像とを追跡用顔画像及び追跡用全身画像として管理データ記憶部３１３に登録する。そして、監視／追跡実行機能部２３から、例えば第１の照合モデルを用いて算出された、複数台の監視カメラ１０の監視画像のそれぞれから抽出した類似度算出対象者の顔画像と登録された追跡用顔画像との類似度と、例えば第２の照合モデルを用いて算出された、類似度算出対象者の全身画像と登録された追跡用全身画像との類似度と、を取得する。また、カメラ情報テーブル記憶部３２１に第１の閾値として、類似度算出対象者の顔画像が登録された追跡用顔画像であると推定される類似度に対応する顔照合閾値１及び類似度算出対象者の全身画像が登録された追跡用全身画像であると推定される類似度に対応する全身照合閾値１と、少なくとも一つの第２の閾値として、それぞれ顔照合閾値１よりも大きい顔画像の類似度に対応する顔照合閾値２及び顔照合閾値３とそれぞれ全身照合閾値１よりも大きい全身画像の類似度に対応する全身照合閾値２及び全身照合閾値３と、を記憶させておく。そして、取得した前記類似度の中から、顔照合閾値１よりも大きい類似度を持つ類似度算出対象者の顔画像と全身照合閾値１よりも大きい類似度を持つ類似度算出対象者の全身画像との少なくとも一方を検出し、顔照合閾値１及び全身照合閾値１の少なくとも一方に基づいて検出した類似度算出対象者の顔画像及び全身画像の少なくとも一方を、対応する顔照合閾値２及び顔照合閾値３と全身照合閾値２及び全身照合閾値３との少なくとも一方に基づいて判別した注意段階を示す段階表示と共に提示する追跡出力画面としての追跡アラート画面４３を生成する。
これにより、互いに異なる判断基準を有する二つ以上の類似度算出手法、例えば顔画像のための第１の照合モデルと全身画像のための第２の照合モデルとが、互いに範囲又はスケールが異なる類似度値を出力する場合であっても、追跡アラート画面４３では同様の段階表示により類似度が表示されることで、監視者は、類似度の同一性を容易に認識できるようになる。
【0170】
或いは、一実施形態に係る人物追跡方法は、複数台の監視カメラ１０が取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、コンピュータであるＷｅｂサーバ３０が、互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部である映像解析機能部２０の監視／追跡実行機能部２３が算出した類似度のそれぞれに基づいて、対象画像を複数の段階に分類するための複数の閾値を、類似度算出手法毎にメモリである記憶装置３０２に設けたＤＢサーバ３２のカメラ情報テーブル記憶部３２１に記憶させておき、監視者が操作する監視端末４０から指定された追跡を行うべき追跡対象者の画像を、特定画像としてメモリである記憶装置３０２に設けたファイルサーバ３１の管理データ記憶部３１３に登録し、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した対象画像である類似度算出対象者の画像の、特定画像に対する少なくとも一つの類似度を監視／追跡実行機能部２３から取得し、この監視／追跡実行機能部２３での少なくとも一つの類似度の算出に用いた類似度算出手法に対応してカメラ情報テーブル記憶部３２１に記憶されている複数の閾値に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の中から、追跡対象者の画像に類似する画像を検出すると共に、その検出した類似度算出対象者の画像が複数の注意段階の何れであるのか検出し、監視／追跡実行機能部２３から取得した少なくとも二つ以上の類似度から検出した追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像それぞれを、検出した注意段階を示す段階表示と共に提示するための追跡出力画面としての追跡アラート画面４３を生成するようにしている。
より具体的には、例えば二つ以上の照合モデルのそれぞれについて、類似度が複数の注意段階の何れであるか判定するための複数の閾値をカメラ情報テーブル記憶部３２１に記憶させておき、監視者が操作する監視端末４０から指定された追跡を行うべき追跡対象の画像を管理データ記憶部３１３に登録し、登録された追跡対象者の画像と複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した類似度算出対象者の画像との類似度を二つ以上の照合モデルそれぞれを用いて算出する監視／追跡実行機能部２３から、二つ以上の類似度を取得し、記憶されている複数の閾値に基づいて、取得した類似度が注意段階の何れであるか判別し、判別の結果に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の内、追跡対象者の画像に類似する類似度算出対象者の画像を、注意段階それぞれを示す段階表示と共に提示するための追跡アラート画面４３を生成するようにしている。
これにより、互いに異なる判断基準を有する二つ以上の類似度算出手法、例えば二つ以上の照合モデルが、互いに範囲又はスケールが異なる類似度値を出力する場合であっても、追跡アラート画面４３では同様の段階表示により類似度が表示されることで、監視者は、類似度の同一性を容易に認識できるようになる。
より具体的には、例えば二つ以上の照合モデルのそれぞれについて、類似度が複数の注意段階の何れであるか判定するための複数の閾値をカメラ情報テーブル記憶部３２１に記憶させておき、監視者が操作する監視端末４０から指定された追跡を行うべき追跡対象の画像を管理データ記憶部３１３に登録し、登録された追跡対象者の画像と複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した類似度算出対象者の画像との類似度を二つ以上の照合モデルそれぞれを用いて算出する監視／追跡実行機能部２３から、二つ以上の類似度を取得し、記憶されている複数の閾値に基づいて、取得した類似度が注意段階の何れであるか判別し、判別の結果に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の内、追跡対象者の画像に類似する類似度算出対象者の画像を、注意段階それぞれを示す段階表示と共に提示するための追跡アラート画面４３を生成するようにしている。
これにより、互いに異なる判断基準を有する二つ以上の類似度算出手法、例えば二つ以上の照合モデルが、互いに範囲又はスケールが異なる類似度値を出力する場合であっても、追跡アラート画面４３では同様の段階表示により類似度が表示されることで、監視者は、類似度の同一性を容易に認識できるようになる。
【0171】
［他の実施形態］
前記一実施形態では、監視カメラ１０で取得した監視画像から人物の全身画像を抽出し、その抽出した全身画像から人物の顔画像を抽出するものとして説明したが、これに限定するものではない。監視画像に人物の顔が写っている場合には、全身画像を抽出することなく顔画像を抽出するようにしても良い。
前記一実施形態では、監視カメラ１０で取得した監視画像から人物の全身画像を抽出し、その抽出した全身画像から人物の顔画像を抽出するものとして説明したが、これに限定するものではない。監視画像に人物の顔が写っている場合には、全身画像を抽出することなく顔画像を抽出するようにしても良い。
【0172】
また、一実施形態では、全身画像特徴量及び顔画像特徴量として、人物自体の属性情報を数値化したものとしたが、これに限定するものではない。全身特徴量は、例えば、服装、持ち物（バッグの種類や色、ベビーカー、等）、装飾品（サングラス、マスク、等）、等の人に付随する付随情報を数値化したものを含んでも良い。さらに、全身特徴量は、発熱情報、脈拍、等の画像から得られる又は他のセンサから得られる人の内部情報を数値化したものを含んでも良い。また、顔特徴量は、装飾品（メガネ、帽子、等）等の顔に付随する付随情報を数値化したものを含んでも良い。
【0173】
また、全身画像特徴量及び顔画像特徴量は人物自体の属性情報を数値化したもののみとし、それら付随情報を数値化したものや人の内部情報を数値化したものを別の特徴量として、全身画像特徴量及び顔画像特徴量と同様の検知基準の一つとして、その別の特徴量を使用するようにしても良い。
【0174】
また、前記一実施形態では、ファイルサーバ３１の過去検索用データ記憶部３１１に、過去検索用データとしてフレーム画像３１１１、全身画像３１１２、全身特徴量３１１３及び顔特徴量３１１４を記憶していくものとしたが、顔特徴量３１１４を抽出する元となった顔画像も記憶するようにしても良い。
【0175】
また、図１３乃至図１５、図１７乃至図２０Ｃのフローチャートに示した処理ステップの順序は一例であり、この順に限定するものではない。例えば、図１８において、ステップＳ１１２及びＳ１１３の処理とステップＳ１１４及びＳ１１５の処理とは、順番が逆でも良いし、並行して行っても良い。また、図２０ＡにおけるステップＳ５０４乃至Ｓ５０９の処理と図２０ＢにおけるステップＳ５１０乃至Ｓ５１５の処理とについても、その順番は逆でも良いし、並行して行っても良い。このように、各処理ステップは、先行の又は後続する処理ステップと齟齬が生じない限り、処理順序等を変更して構わない。
【0176】
また、図１６に示した検知アラート画面４２及び図２１（及び図２２）に示した追跡アラート画面についても、このレイアウト並びに表示内容に限定するものではない。例えば、注意段階表示４２１５、顔注意段階表示４３２４及び全身注意段階表示４３２６を、複数の四角形を識別表示する個数で表しているが、例えばイエロー、オレンジ、レッドのように一つの四角形の色を変更する識別表示によって注意段階を表すようにしても良い。或いは、四角形の個数や色ではなく、Ａ～Ｃや１～３のように、注意段階を文字で表しても構わない。
【0177】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態に亘る構成要素を適宜組み合わせても良い。
【符号の説明】
【0178】
１…人物追跡システム
１０…監視カメラ
２０…映像解析機能部
２１…画像取得モジュール
２２…人検知情報抽出機能部
２３…監視／追跡実行機能部
３０…Ｗｅｂサーバ
３１…ファイルサーバ
３２…データベース（ＤＢ）サーバ
３３…検索用人検知結果保存機能部
３４…検知／追跡結果判定機能部
３５…Ｗｅｂアプリケーション
４０…監視端末
４１…Ｗｅｂブラウザ
４２…検知アラート画面
４３…追跡アラート画面
２２１…全身検出モジュール
２２２…領域追跡モジュール
２２３…全身特徴量抽出モジュール
２２４…顔検出モジュール
２２５…顔特徴量抽出モジュール
２３１…全身照合モジュール
２３２…顔照合モジュール
２５１…追跡テーブル
３０１Ａ…ハードウェアプロセッサ
３０１Ｂ…プログラムメモリ
３０２…記憶装置
３０３…通信インタフェース装置
３０４…バス
３１１…過去検索用データ記憶部
３１２…検知履歴データ記憶部
３１３…管理データ記憶部
３２１…カメラ情報テーブル記憶部
３２２…過去検索用データテーブル記憶部
３２３…検知履歴テーブル記憶部
３２４…管理テーブル記憶部
３２５…追跡テーブル記憶部
３５１…ログイン機能部
３５２…監視機能部
３５３…追跡機能部
３５４…過去検索機能部
４２１…検知人物カード
４３１…追跡対象者情報領域
４３２…追跡情報カード
４３３…絞り込み指示領域
３１１１…フレーム画像
３１１２…全身画像
３１１３，３１３４…全身特徴量
３１１４，３１２２，３１３２…顔特徴量
３１２１，４２１２…検知顔画像
３１３１…登録顔画像
３１３３…登録全身画像
３２１１…カメラ情報テーブル
３２２１…過去検索用データテーブル
３２３１…検知履歴テーブル
３２４１…管理テーブル
３２５１…追跡テーブル
３５２１…検知アラート出力機能部
３５３１…画像登録機能部
３５３２…追跡アラート出力機能部
４２１１…監視対象者顔画像
４２１３…注意喚起メッセージ
４２１４，４３１２…不審者ＩＤ
４２１５…注意段階表示
４２１６…検知情報
４２１７…追跡開始ボタン
４３１１…注意喚起メッセージ
４３１３…登録画像
４３１４…追跡情報
４３１５…追跡停止ボタン
４３２１…検出日時情報
４３２２…検出カメラ場所情報
４３２３…検出顔画像
４３２４…顔注意段階表示
４３２５…検出全身画像
４３２６…全身注意段階表示
４３２７…検出背景画像
４３３１…顔画像類似度選択ボタン
４３３２…顔画像類似度選択リセットボタン
４３３３…全身画像類似度選択ボタン
４３３４…全身画像類似度選択リセットボタン
ＮＥＴ…ネットワーク
ＳＶ…サーバ装置
１０…監視カメラ
２０…映像解析機能部
２１…画像取得モジュール
２２…人検知情報抽出機能部
２３…監視／追跡実行機能部
３０…Ｗｅｂサーバ
３１…ファイルサーバ
３２…データベース（ＤＢ）サーバ
３３…検索用人検知結果保存機能部
３４…検知／追跡結果判定機能部
３５…Ｗｅｂアプリケーション
４０…監視端末
４１…Ｗｅｂブラウザ
４２…検知アラート画面
４３…追跡アラート画面
２２１…全身検出モジュール
２２２…領域追跡モジュール
２２３…全身特徴量抽出モジュール
２２４…顔検出モジュール
２２５…顔特徴量抽出モジュール
２３１…全身照合モジュール
２３２…顔照合モジュール
２５１…追跡テーブル
３０１Ａ…ハードウェアプロセッサ
３０１Ｂ…プログラムメモリ
３０２…記憶装置
３０３…通信インタフェース装置
３０４…バス
３１１…過去検索用データ記憶部
３１２…検知履歴データ記憶部
３１３…管理データ記憶部
３２１…カメラ情報テーブル記憶部
３２２…過去検索用データテーブル記憶部
３２３…検知履歴テーブル記憶部
３２４…管理テーブル記憶部
３２５…追跡テーブル記憶部
３５１…ログイン機能部
３５２…監視機能部
３５３…追跡機能部
３５４…過去検索機能部
４２１…検知人物カード
４３１…追跡対象者情報領域
４３２…追跡情報カード
４３３…絞り込み指示領域
３１１１…フレーム画像
３１１２…全身画像
３１１３，３１３４…全身特徴量
３１１４，３１２２，３１３２…顔特徴量
３１２１，４２１２…検知顔画像
３１３１…登録顔画像
３１３３…登録全身画像
３２１１…カメラ情報テーブル
３２２１…過去検索用データテーブル
３２３１…検知履歴テーブル
３２４１…管理テーブル
３２５１…追跡テーブル
３５２１…検知アラート出力機能部
３５３１…画像登録機能部
３５３２…追跡アラート出力機能部
４２１１…監視対象者顔画像
４２１３…注意喚起メッセージ
４２１４，４３１２…不審者ＩＤ
４２１５…注意段階表示
４２１６…検知情報
４２１７…追跡開始ボタン
４３１１…注意喚起メッセージ
４３１３…登録画像
４３１４…追跡情報
４３１５…追跡停止ボタン
４３２１…検出日時情報
４３２２…検出カメラ場所情報
４３２３…検出顔画像
４３２４…顔注意段階表示
４３２５…検出全身画像
４３２６…全身注意段階表示
４３２７…検出背景画像
４３３１…顔画像類似度選択ボタン
４３３２…顔画像類似度選択リセットボタン
４３３３…全身画像類似度選択ボタン
４３３４…全身画像類似度選択リセットボタン
ＮＥＴ…ネットワーク
ＳＶ…サーバ装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20A】
【図20B】
【図20C】
【図21】
【図22】
