▶ エヌ・ティ・ティ・コミュニケーションズ株式会社の特許一覧
特許7424940人物追跡装置、人物追跡システム、人物追跡方法及び人物追跡プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-22
(45)【発行日】2024-01-30
(54)【発明の名称】人物追跡装置、人物追跡システム、人物追跡方法及び人物追跡プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240123BHJP
H04N 7/18 20060101ALI20240123BHJP
G08B 25/00 20060101ALI20240123BHJP
【ＦＩ】
G06T7/00 660B
H04N7/18 D
H04N7/18 U
G08B25/00 510M
【請求項の数】
11
(21)【出願番号】P 2020135151
(22)【出願日】2020-08-07
(65)【公開番号】P2022030853
(43)【公開日】2022-02-18
【審査請求日】2023-02-07
(73)【特許権者】
【識別番号】399035766
【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(72)【発明者】
【氏名】児玉 知也
(72)【発明者】
【氏名】松本 鮎美
(72)【発明者】
【氏名】塩崎 貴司
(72)【発明者】
【氏名】宮原 拓磨
(72)【発明者】
【氏名】宇田 育弘
(72)【発明者】
【氏名】根本 真一
(72)【発明者】
【氏名】佐藤 篤
(72)【発明者】
【氏名】角守 友幸
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開２０１８－３７０７５（ＪＰ，Ａ）
【文献】国際公開第２０２０／０１７１９０（ＷＯ，Ａ１）
【文献】国際公開第２０１４／０５０５１８（ＷＯ，Ａ１）
【文献】特開２０１５－１３０１５５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｈ０４Ｎ ７／１８
Ｇ０８Ｂ ２５／００
(57)【特許請求の範囲】
【請求項1】
複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれに含まれる人物の健康状態に係わる複数種類の状態情報を、前記監視画像のそれぞれから検出する情報抽出部から、前記情報抽出部が検出した前記複数種類の状態情報を取得し、前記取得した前記複数種類の状態情報に基づいて、前記監視画像のそれぞれに含まれる前記人物が規定の症状に該当する特定人物であるか否か判別する判別部と、前記判別部の判別結果に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された人物の画像の内、前記規定の症状に該当する前記特定人物の画像を、追跡対象者画像として登録する登録部と、
前記複数台の監視カメラそれぞれで定期的に取得した前記監視画像のそれぞれから、前記登録部によって登録された前記追跡対象者画像に類似する人物の画像を検知する検知部と、
前記検知部が検知した前記追跡対象者画像に類似する人物の画像を提示するための追跡出力画面を生成する追跡出力画面生成部と、
を具備する、人物追跡装置。
【請求項2】
前記判別部の判別結果に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された人物の画像の内、前記規定の症状に該当する前記特定人物の画像を、前記状態情報と共に提示するための検知出力画面を生成する検知出力画面生成部を更に具備し、前記登録部は、前記検知出力画面生成部が生成した前記検知出力画面を表示する監視端末から、前記検知出力画面に提示された人物の画像の中から追跡を行うべき追跡対象者の画像の指定を取得し、前記取得した前記指定された画像を追跡対象者画像として登録する、請求項１に記載の人物追跡装置。
【請求項3】
前記判別部は、前記取得した前記複数種類の状態情報の内の何れか一種類でも既定値以上であるとき、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記人物の画像が前記規定の症状に該当する前記特定人物の画像であると判別する、請求項２に記載の人物追跡装置。
【請求項4】
前記検知出力画面生成部は、前記複数種類の状態情報それぞれの種類に対して指定された提示閾値を取得し、前記取得した前記提示閾値に基づいて、前記判別部が前記規定の症状に該当すると判別した前記特定人物の画像の中から、前記検知出力画面に提示するべき画像を絞り込む、請求項２又は３に記載の人物追跡装置。
【請求項5】
前記検知出力画面生成部は、前記取得した前記それぞれの種類に対する前記提示閾値の中の何れか一つの前記提示閾値以上の状態情報を検出した前記特定人物の画像を、前記検知出力画面に提示するべき画像として選択する、請求項４に記載の人物追跡装置。
【請求項6】
前記検知出力画面生成部は、前記取得した前記それぞれの種類に対する前記提示閾値の全てについて、前記提示閾値以上の状態情報を検出した前記特定人物の画像を、前記検知出力画面に提示するべき画像として選択する、請求項４に記載の人物追跡装置。
【請求項7】
前記複数台の監視カメラそれぞれについて、前記状態情報を補正するための補正係数を記憶したカメラ情報記憶部を更に備え、前記判別部は、前記情報抽出部から取得した前記状態情報を、前記カメラ情報記憶部に記憶された前記補正係数により補正し、補正後の状態情報に基づいて、前記人物の画像が前記規定の症状に該当する前記特定人物の画像であるか否か判別する、請求項１乃至６の何れかに記載の人物追跡装置。
【請求項8】
前記状態情報は、前記監視画像からそれぞれ抽出される、体温、脈拍数及び咳症状の内の少なくとも一つを含む、請求項１乃至７の何れかに記載の人物追跡装置。
【請求項9】
請求項１乃至８の何れかに記載の人物追跡装置と、前記複数台の監視カメラと、
監視者が操作する監視端末と、
前記情報抽出部を備える解析部と、
を具備する人物追跡システム。
【請求項10】
複数台の監視カメラが取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、コンピュータが、
複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれに含まれる人物の健康状態に係わる複数種類の状態情報を、前記監視画像のそれぞれから検出する情報抽出部から、前記情報抽出部が検出した前記複数種類の状態情報を取得し、前記取得した前記複数種類の状態情報に基づいて、前記監視画像のそれぞれに含まれる前記人物が規定の症状に該当する特定人物であるか否か判別し、
前記判別の結果に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された人物の画像の内、前記規定の症状に該当する前記特定人物の画像を、追跡対象者画像としてメモリに登録し、
前記複数台の監視カメラそれぞれで定期的に取得した前記監視画像のそれぞれから、前記登録された前記追跡対象者画像に類似する人物の画像を検知し、
前記検知した前記追跡対象者画像に類似する人物の画像を提示するための追跡出力画面を生成する、
人物追跡方法。
【請求項11】
請求項１乃至８の何れかに記載の人物追跡装置の各部としてコンピュータを動作させる人物追跡プログラム。【発明の詳細な説明】
【技術分野】
【0001】
この発明の一態様は、人物追跡装置、人物追跡システム、人物追跡方法及び人物追跡プログラムに関する。
【背景技術】
【0002】
従来より、監視カメラによって取得した監視画像から人物の顔を抽出し、その顔の特徴量に基づいて、人物を識別する技術が各種提案されている。さらに、近年、顔の特徴量と全身の特徴量とを組み合わせて人物の識別を行うことで、人物識別の精度を向上させる技術も提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－０２３７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の人物識別技術は、建物や店舗等の入口に設置した監視カメラのように、来訪者の顔画像が確実に取得できる場合は、不審者や得意顧客といった監視対象者の来訪検知を行うために非常に有効な技術である。
【0005】
一方で近年、インフルエンザやＣＯＶＩＤ－１９（新型コロナウイルス感染症）等の感染症対策が強く要請されている。従って、そのような感染症が疑われる人物の来訪検知を行うこと、更には、その人物の施設内移動を追跡する技術が望まれている。
【0006】
この発明は上記事情に着目してなされたもので、その目的とするところは、監視カメラによって取得した監視画像から感染症等に対応する規定の症状に該当する人物を検知し、追跡できるようにすることにある。
【課題を解決するための手段】
【0007】
上記目的を達成するためにこの発明に係る人物追跡装置の一態様は、複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれに含まれる人物の健康状態に係わる複数種類の状態情報を、前記監視画像のそれぞれから検出する情報抽出部から、前記情報抽出部が検出した前記複数種類の状態情報を取得し、前記取得した前記複数種類の状態情報に基づいて、前記監視画像のそれぞれに含まれる前記人物が規定の症状に該当する特定人物であるか否か判別する判別部と、前記判別部の判別結果に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された人物の画像の内、前記規定の症状に該当する前記特定人物の画像を、追跡対象者画像として登録する登録部と、前記複数台の監視カメラそれぞれで定期的に取得した前記監視画像のそれぞれから、前記登録部によって登録された前記追跡対象者画像に類似する人物の画像を検知する検知部と、前記検知部が検知した前記追跡対象者画像に類似する人物の画像を提示するための追跡出力画面を生成する追跡出力画面生成部と、を具備するようにしたものである。
【0008】
この発明に係る人物追跡システムの一態様は、この発明に係る人物追跡装置の一態様と、前記複数台の監視カメラと、監視者が操作する前記監視端末と、前記情報抽出部を備える解析部と、を具備するようにしたものである。
【0009】
この発明に係る人物追跡方法の一態様は、複数台の監視カメラが取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、コンピュータが、複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれに含まれる人物の健康状態に係わる複数種類の状態情報を、前記監視画像のそれぞれから検出する情報抽出部から、前記情報抽出部が検出した前記複数種類の状態情報を取得し、前記取得した前記複数種類の状態情報に基づいて、前記監視画像のそれぞれに含まれる前記人物が規定の症状に該当する特定人物であるか否か判別し、前記判別の結果に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された人物の画像の内、前記規定の症状に該当する前記特定人物の画像を、追跡対象者画像としてメモリに登録し、前記複数台の監視カメラそれぞれで定期的に取得した前記監視画像のそれぞれから、前記登録された前記追跡対象者画像に類似する人物の画像を検知し、前記検知した前記追跡対象者画像に類似する人物の画像を提示するための追跡出力画面を生成するようにしたものである。
【0010】
この発明に係る人物追跡プログラムの一態様は、この発明に係る人物追跡装置の一態様の各部としてコンピュータを動作させるようにしたプログラムである。
【発明の効果】
【0011】
この発明の各態様によれば、監視カメラによって取得した監視画像から規定の症状に該当する人物を検知し、追跡できるようになる。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
以下、図面を参照してこの発明に係わる実施形態を説明する。
【0014】
【0015】
人物追跡システム１は、例えば、オフィスビルや百貨店等の複数フロアを有する建物、複数店舗を含む商業施設、等の広い監視範囲を有する大型施設において、特定の人物を追跡するシステムである。
【0016】
この人物追跡システム１は、複数台の監視カメラ１０と、各監視カメラ１０に対応して設けられた映像解析機能部２０及びこの発明の一実施形態に係る人物追跡装置として機能するＷｅｂサーバ３０を備えるサーバ装置ＳＶと、監視端末４０と、を含む。各監視カメラ１０と、サーバ装置ＳＶと、監視端末４０とは、ネットワークＮＥＴを介して接続されている。
【0017】
ネットワークＮＥＴは、構内ネットワークであり、例えば、無線ＬＡＮ（Local Area Network）または有線ＬＡＮである。ネットワークＮＥＴは、インターネットのような広域ネットワークであっても良い。
【0018】
複数の監視カメラ１０は、互いの撮影範囲が重ならないように或いは一部重なるように、大型施設内に分散配置されたネットワークカメラである。監視カメラ１０は、撮影範囲内の動画像を撮影するビデオカメラであって良く、動画像を構成する各フレーム画像を撮影範囲の監視画像として取得することができる。また監視カメラ１０は、一定のタイムインターバルで静止画像を撮影することで、定期的に監視画像を取得するスチルカメラであっても良い。
【0019】
サーバ装置ＳＶ内に配置された複数の映像解析機能部２０のそれぞれは、対応する監視カメラ１０から取得した監視画像に対する様々な解析機能を有している。この映像解析機能部２０が提供する解析機能の詳細については、後述する。なお、映像解析機能部２０は、このようにサーバ装置ＳＶの内部に配置されるのではなく、専用の演算装置やクラウドなどに独立して配置し、ネットワークＮＥＴを介して対応する監視カメラ１０とサーバ装置ＳＶとの間でデータを授受することも可能である。また、映像解析機能部２０は、監視カメラ１０が演算機能を持つのであれば、そのカメラ内部に配置することも可能である。なお、本実施形態では、監視カメラ１０と映像解析機能部２０とを１対１に対応させて構成しているが、一つの映像解析機能部２０が複数台の監視カメラ１０に割り当てられていても良い。
【0020】
サーバ装置ＳＶのＷｅｂサーバ３０は、サーバコンピュータによって構成され、機能部として、ファイルサーバ３１、データベース（以下、ＤＢと略記する。）サーバ３２、Ｗｅｂアプリケーション３５、検索用人検知結果保存機能部３３、及び、検知／追跡結果判定機能部３４を含む。これら各機能部の詳細については、後述する。
【0021】
監視端末４０は、パーソナルコンピュータ等のコンピュータによって構成され、Ｗｅｂブラウザ４１のプログラムを実行することができる。Ｗｅｂブラウザ４１により、監視端末４０を操作する警備員等の監視者は、Ｗｅｂサーバ３０のＷｅｂアプリケーション３５が提供する人物追跡結果を閲覧することができる。なお、図１では、監視端末４０は、一台のみを示しているが、人物追跡システム１は、監視端末４０を複数含んでも良い。
【0022】
また、サーバ装置ＳＶが監視端末４０の機能を備えていても良い。
【0023】
（１－２）映像解析機能部２０
図２は、図１に示した映像解析機能部２０の構成の一例を示すブロック図である。映像解析機能部２０は、画像取得モジュール２１、人検知情報抽出機能部２２及び監視／追跡実行機能部２３を備える。
図２は、図１に示した映像解析機能部２０の構成の一例を示すブロック図である。映像解析機能部２０は、画像取得モジュール２１、人検知情報抽出機能部２２及び監視／追跡実行機能部２３を備える。
【0024】
画像取得モジュール２１は、ネットワークＮＥＴを介して監視カメラ１０からＲＴＳＰ（Real Time Streaming Protocol）等の所定の通信プロトコルに従って送信されてくるフレーム画像を取得する。画像取得モジュール２１は、取得したフレーム画像をサーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信し、ファイルサーバ３１に蓄積させる。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、画像取得モジュール２１は、取得したフレーム画像をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。また、画像取得モジュール２１は、取得したフレーム画像を人検知情報抽出機能部２２に送る。
【0025】
人検知情報抽出機能部２２は、入力された画像から人物の全身画像を抽出し、この全身画像からその特徴量である全身特徴量及び人物の顔画像を抽出し、さらにこの顔画像からその特徴量である顔特徴量を抽出する抽出部として機能する。具体的には、人検知情報抽出機能部２２は、全身検出モジュール２２１、領域追跡モジュール２２２、全身特徴量抽出モジュール２２３、顔検出モジュール２２４、顔特徴量抽出モジュール２２５、体温検出モジュール２２６、脈拍検出モジュール２２７及び咳検出モジュール２２８を備える。
【0026】
全身検出モジュール２２１は、入力画像であるフレーム画像に写っている人物それぞれの全身を検出して、全身画像を抽出する全身画像抽出部である。全身検出モジュール２２１は、例えば、深層学習（Deep Leaning）等の機械学習により事前に学習させた人物の全身画像に基づいて、人物の全身を検出することができる。全身検出モジュール２２１は、抽出した全身画像を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信し、ファイルサーバ３１に蓄積させる。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、全身検出モジュール２２１は、抽出した全身画像をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。また、全身検出モジュール２２１は、抽出した全身画像を、全身特徴量抽出モジュール２２３、顔検出モジュール２２４及び体温検出モジュール２２６にも送る。さらに、全身検出モジュール２２１は、フレーム画像と抽出した全身画像を領域追跡モジュール２２２に送る。
【0027】
領域追跡モジュール２２２は、全身検出モジュール２２１から入力されたフレーム画像中の全身画像の領域位置を検出する。
【0028】
全身特徴量抽出モジュール２２３は、入力された全身画像から全身特徴量を抽出する全身特徴量抽出部である。全身特徴量は、全身画像に含まれる人物の体の特徴を客観的に数値化したものである。例えば、全身特徴量は、画像から推定される体型、身長、性別、年代、等の人物自体の属性情報を数値化したものとすることができる。全身特徴量抽出モジュール２２３は、深層学習（例えばDeep-person-reid等）等の事前に学習したモデルを用いて、全身特徴量を抽出することができる。また、全身特徴量抽出モジュール２２３は、これら全身特徴量を、ＨＯＧ（Histogram of Oriented Gradients）やＳＩＦＴ（Scaled Invariance Feature Transform）等の局所画像特徴量として算出することも可能である。全身特徴量抽出モジュール２２３は、抽出した全身特徴量を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信し、ファイルサーバ３１に蓄積させる。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、全身特徴量抽出モジュール２２３は、抽出した全身特徴量をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。さらに、全身特徴量抽出モジュール２２３は、抽出した全身特徴量を、監視／追跡実行機能部２３に送る。
【0029】
顔検出モジュール２２４は、入力された全身画像から人物の顔を検出して、顔画像を抽出する顔画像抽出部である。顔検出モジュール２２４は、例えば、深層学習等の機械学習により事前に学習させた人物の顔画像に基づいて、人物の顔を検出することができる。顔検出モジュール２２４は、抽出した顔画像を、顔特徴量抽出モジュール２２５、体温検出モジュール２２６、脈拍検出モジュール２２７及び咳検出モジュール２２８に送る。
【0030】
顔特徴量抽出モジュール２２５は、入力された顔画像から顔特徴量を抽出する顔特徴量抽出部である。顔特徴量は、顔画像に含まれる人物の顔の特徴を客観的に数値化したものである。顔特徴量抽出モジュール２２５は、例えば、全身特徴量を抽出する全身特徴量抽出モジュール２２３と同様に、深層学習等で事前に学習したモデルを用いて顔特徴量を抽出することができる。また、顔検出モジュール２２４は、これら顔特徴量を、ＨＯＧやＳＩＦＴ等の局所画像特徴量として算出しても良い。顔検出モジュール２２４は、抽出した顔特徴量を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信し、ファイルサーバ３１に蓄積させる。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、顔特徴量抽出モジュール２２５は、抽出した顔特徴量をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。さらに、顔検出モジュール２２４は、抽出した顔特徴量を、監視／追跡実行機能部２３に送る。
【0031】
体温検出モジュール２２６は、全身検出モジュール２２１から入力された全身画像または顔検出モジュール２２４から入力された顔画像から、人物の体表面温度を検出する。画像から体表面温度を検出する手法は、従来より種々提案されてきており、本実施形態では、使用する体表面温度検出手法を特に限定しない。体温検出モジュール２２６は、検出した体温を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバに送信する。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、体温検出モジュール２２６は、検出した体温をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。
【0032】
脈拍検出モジュール２２７は、顔検出モジュール２２４から入力された顔画像から、人物の脈拍数を検出する。画像から脈拍数を検出する技術としては、例えば、以下の参考文献１乃至３等に提案されている。
［参考文献１］ 小原一誠、外４名、“映像からの脈波情報抽出”［Online］、［令和２年６月１９日検索］、インターネット＜URL: https://www.sairct.idac.tohoku.ac.jp/wp-content/uploads/2016/07/160728_c2_yoshizawa_DLpre2.pdf＞
［参考文献２］ 阿部正英、外２名、“非接触センサを用いた脈拍数と呼吸数の計測”［Online］、［令和２年６月１９日検索］、インターネット＜URL: http://www.mk.ecei.tohoku.ac.jp/papers/data/F05760013.pdf＞
［参考文献３］ “顔の画像からリアルタイムに脈拍を計測する技術を開発”［Online］、［令和２年６月１９日検索］、インターネット＜URL: https://pr.fujitsu.com/jp/news/2013/03/18.html＞
本実施形態では、使用する脈拍数検出手法を特に限定しない。脈拍検出モジュール２２７は、検出した脈拍数を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバに送信する。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、脈拍検出モジュール２２７は、検出した脈拍数をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。
［参考文献１］ 小原一誠、外４名、“映像からの脈波情報抽出”［Online］、［令和２年６月１９日検索］、インターネット＜URL: https://www.sairct.idac.tohoku.ac.jp/wp-content/uploads/2016/07/160728_c2_yoshizawa_DLpre2.pdf＞
［参考文献２］ 阿部正英、外２名、“非接触センサを用いた脈拍数と呼吸数の計測”［Online］、［令和２年６月１９日検索］、インターネット＜URL: http://www.mk.ecei.tohoku.ac.jp/papers/data/F05760013.pdf＞
［参考文献３］ “顔の画像からリアルタイムに脈拍を計測する技術を開発”［Online］、［令和２年６月１９日検索］、インターネット＜URL: https://pr.fujitsu.com/jp/news/2013/03/18.html＞
本実施形態では、使用する脈拍数検出手法を特に限定しない。脈拍検出モジュール２２７は、検出した脈拍数を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバに送信する。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、脈拍検出モジュール２２７は、検出した脈拍数をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。
【0033】
咳検出モジュール２２８は、顔検出モジュール２２４から入力された顔画像から、人物の咳の症状を検出する。咳検出モジュール２２８は、例えば、顔画像のブレ具合や、連続する複数の顔画像における顔の変化、等から咳をしているか否か及びその咳の程度を検出する。咳検出モジュール２２８は、例えば、深層学習等の機械学習により事前に学習させた人物の顔画像に基づいて、咳の症状を検出することができる。咳検出モジュール２２８は、検出した咳の症状の度合いを示す咳症状を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバに送信する。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、咳検出モジュール２２８は、検出した咳の症状をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。
【0034】
また、監視／追跡実行機能部２３は、二つの入力画像の全身特徴量の類似度である全身画像類似度、及び、二つの入力画像の顔特徴量の類似度である顔画像類似度を算出する類似度算出部として機能する。具体的には、監視／追跡実行機能部２３は、全身照合モジュール２３１及び顔照合モジュール２３２を備える。
【0035】
全身照合モジュール２３１は、全身特徴量抽出モジュール２２３から入力された全身特徴量と、監視端末４０から指示された追跡対象の人物の全身特徴量との類似度を算出する。追跡対象の人物の全身特徴量は、例えば、全身特徴量抽出モジュール２２３によって予め抽出されて、Ｗｅｂサーバ３０のファイルサーバ３１に登録されている。全身照合モジュール２３１は、算出した類似度を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信する。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、全身照合モジュール２３１は、算出した類似度をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。
【0036】
顔照合モジュール２３２は、顔特徴量抽出モジュール２２５から入力された顔特徴量と、監視端末４０から指示された追跡対象の人物の顔特徴量との類似度を算出する。追跡対象の人物の顔特徴量は、例えば、顔特徴量抽出モジュール２２５によって予め抽出されて、Ｗｅｂサーバ３０のファイルサーバ３１に登録されている。顔照合モジュール２３２は、算出した類似度を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信する。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、顔照合モジュール２３２は、算出した類似度をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。
【0037】
（１－３）Ｗｅｂサーバ３０
図３は、Ｗｅｂサーバ３０のソフトウェア構成を示すブロック図である。前述したように、Ｗｅｂサーバ３０は、機能部として、ファイルサーバ３１、ＤＢサーバ３２、検索用人検知結果保存機能部３３、検知／追跡結果判定機能部３４、及び、Ｗｅｂアプリケーション３５を有する。
図３は、Ｗｅｂサーバ３０のソフトウェア構成を示すブロック図である。前述したように、Ｗｅｂサーバ３０は、機能部として、ファイルサーバ３１、ＤＢサーバ３２、検索用人検知結果保存機能部３３、検知／追跡結果判定機能部３４、及び、Ｗｅｂアプリケーション３５を有する。
【0038】
ファイルサーバ３１は、各種のデータファイルを蓄積する。ファイルサーバ３１は、過去検索用データ記憶部３１１、検知履歴データ記憶部３１２及び管理データ記憶部３１３を含むことができる。
【0039】
過去検索用データ記憶部３１１は、複数の映像解析機能部２０それぞれで取得したデータである過去検索用データを記憶する。図４は、この過去検索用データ記憶部３１１に記憶される過去検索用データの一例を示す図である。過去検索用データは、各映像解析機能部２０の全身検出モジュール２２１がフレーム画像から検出した全身画像毎に、過去検索用データ記憶部３１１に記憶されることができる。過去検索用データは、映像解析機能部２０の画像取得モジュール２１が取得したフレーム画像３１１１、全身検出モジュール２２１が抽出した全身画像３１１２、全身特徴量抽出モジュール２２３が抽出した全身特徴量３１１３、及び、顔特徴量抽出モジュール２２５が抽出した顔特徴量３１１４を含むことができる。過去検索用データは、映像解析機能部２０の全身検出モジュール２２１が検出した状態情報である体温３１１５、脈拍数３１１６及び咳症状３１１７を含むことができる。これらフレーム画像３１１１、全身画像３１１２、全身特徴量３１１３、顔特徴量３１１４、体温３１１５、脈拍数３１１６及び咳症状３１１７は、例えば、同一のパスに記憶したり、ファイル名の一部に同一の文字列を付したりすることで、紐付けることができる。
【0040】
検知履歴データ記憶部３１２は、インフルエンザ等の規定の症状に該当する追跡候補者として検知された特定人物それぞれに関するデータである検知履歴データを記憶する。図５は、この検知履歴データ記憶部３１２に記憶される検知された特定人物の検知履歴データの一例を示す図である。検知履歴データは、検知された特定人物の顔画像である検知顔画像３１２１と、その検知顔画像３１２１に対応する顔特徴量３１２２と、検知された特定人物の全身画像である検知全身画像３１２３と、その検知全身画像３１２３に対応する全身特徴量３１２４と、を含むことができる。これら検知顔画像３１２１、顔特徴量３１２２、検知全身画像３１２３及び全身特徴量３１２４は、例えば、同一のパスに記憶したり、ファイル名の一部に同一の文字列を付したりすることで、紐付けることができる。
【0041】
検知履歴データにおける情報は、Ｗｅｂサーバ３０が、例えば、何れかの監視カメラ１０の監視画像から、規定の体温、脈拍数または咳症状に該当する追跡候補者を検知した時に、検知履歴データ記憶部３１２に記憶させることができる。すなわち、Ｗｅｂサーバ３０は、当該監視画像から取得されて過去検索用データ記憶部３１１に記憶されている全身画像３１１２、全身特徴量３１１３及び顔特徴量３１１４を、検知全身画像３１２３、全身特徴量３１２４及び顔特徴量３１２２として検知履歴データ記憶部３１２に記憶させることができる。また、Ｗｅｂサーバ３０は、当該監視画像から取得されて過去検索用データ記憶部３１１に記憶されている全身画像３１１２を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等により一つの映像解析機能部２０の顔検出モジュール２２４に入力することで、当該顔検出モジュール２２４から顔画像を取得し、それを検知顔画像３１２１として検知履歴データ記憶部３１２に記憶させることができる。この一つの映像解析機能部２０は、追跡候補者が検知された監視画像を取得した監視カメラ１０に対応する映像解析機能部２０であって良い。映像解析機能部２０の顔検出モジュール２２４が、抽出した顔画像をバッファリングしている場合には、Ｗｅｂサーバ３０は、当該顔検出モジュール２２４にバッファリングしている顔画像を要求することで検知顔画像３１２１を取得しても良い。
【0042】
管理データ記憶部３１３は、追跡対象者それぞれに関するデータである管理データを記憶する。図６は、この管理データ記憶部３１３に記憶される追跡対象者毎の管理データの一例を示す図である。追跡対象者毎の管理データは、監視端末４０からの指定に応じて管理データ記憶部３１３に記憶されることができる。管理データは、指定された追跡対象者の顔画像である登録顔画像３１３１と、その登録顔画像３１３１から抽出された特徴である顔特徴量３１３２と、追跡対象者の全身画像である登録全身画像３１３３と、その登録全身画像３１３３から抽出された特徴である全身特徴量３１３４と、を含むことができる。これら登録顔画像３１３１、顔特徴量３１３２、登録全身画像３１３３及び全身特徴量３１３４は、例えば、同一のパスに記憶したり、ファイル名の一部に同一の文字列を付したりすることで、紐付けることができる。
【0043】
例えば、Ｗｅｂサーバ３０は、追跡候補者が検知された際に、検知履歴データ記憶部３１２に記憶したその監視対象に対する検知履歴データにおける検知顔画像３１２１と、その検知の元となった状態情報とを、監視端末４０のＷｅｂブラウザ４１にて監視者に閲覧させる。ここで閲覧させる状態情報は、過去検索用データ記憶部３１１に記憶されている体温３１１５、脈拍数３１１６及び咳症状３１１７を、種類や性能等に依存する監視カメラ１０毎の補正値によって補正したものである。そして、監視端末４０から当該人物を追跡対象者とする指定が行われると、Ｗｅｂサーバ３０は、検知履歴データにおける検知顔画像３１２１をこの管理データにおける登録顔画像３１３１として記憶させる。さらに、Ｗｅｂサーバ３０は、検知履歴データにおける顔特徴量３１２２を、この管理データにおける顔特徴量３１３２として記憶させることができる。また、Ｗｅｂサーバ３０は、指定された検知履歴データにおける検知顔画像３１２１の元となった全身画像を過去検索用データ記憶部３１１に記憶された過去検索用データから取得すると共に、その全身特徴量も当該過去検索用データから取得し、それらをこの管理データにおける登録全身画像３１３３及び全身特徴量３１３４として記憶させる。
【0044】
或いは、Ｗｅｂサーバ３０は、過去検索用データ記憶部３１１に記憶されている複数の人物の全身画像３１１２と体温３１１５、脈拍数３１１６及び咳症状３１１７とを監視端末４０のＷｅｂブラウザ４１にて閲覧させ、監視端末４０から任意の全身画像の指定を受けて、その人物を指定の追跡対象者とするようにしても良い。この場合、体温３１１５、脈拍数３１１６及び咳症状３１１７を対応する監視カメラ１０用の補正値により補正した結果をＷｅｂブラウザ４１にて閲覧させるようにしても良い。追跡対象者が指定されたならば、Ｗｅｂサーバ３０は、その指定された全身画像３１１２をサーバ内通信やＷｅｂｓｏｃｋｅｔ等により一つの映像解析機能部２０の顔検出モジュール２２４に入力することで、当該顔検出モジュール２２４から顔画像を取得して、管理データ記憶部３１３に登録顔画像３１３１として記憶させることができる。またこの場合、顔特徴量３１３２、登録全身画像３１３３及び全身特徴量３１３４については、過去検索用データ記憶部３１１に記憶されているものを取得して記憶させれば良い。
【0045】
ＤＢサーバ３２は、各種のデータテーブルを蓄積する。ＤＢサーバ３２は、カメラ情報テーブル記憶部３２１、過去検索用データテーブル記憶部３２２、検知履歴テーブル記憶部３２３、管理テーブル記憶部３２４、追跡テーブル記憶部３２５、等を含むことができる。
【0046】
カメラ情報テーブル記憶部３２１は、複数の監視カメラ１０のそれぞれに対応して設けられ、その対応する監視カメラ１０に関する各種情報が記載されたカメラ情報テーブル３２１１を予め記憶している。図７は、このカメラ情報テーブル記憶部３２１に記憶される、監視カメラ１０毎のカメラ情報テーブル３２１１の記載内容の一例を示す図である。カメラ情報テーブル３２１１には、例えば、カメラＩＤ、カメラ名称、アスペクト比、カメラ位置Ｘ、カメラ位置Ｙ、カメラ角度、体温補正係数、脈拍補正係数、咳症状補正係数、顔照合閾値１～３、全身照合閾値１～３、等々が記載されている。
【0047】
ここで、カメラＩＤは、対応する監視カメラ１０を一意に識別する識別情報である。カメラ名称は、対応する監視カメラ１０の名称である。これは、対応する監視カメラ１０の大型施設における設置位置と関連付けた名称とすることができる。アスペクト比は対応する監視カメラ１０で取得される画像のアスペクト比である。カメラ位置Ｘ及びカメラ位置Ｙは、対応する監視カメラ１０の設置位置を示す大型施設内のＸＹ座標である。カメラ角度は、対応する監視カメラ１０の設置向きを示している。
【0048】
また、体温補正係数、脈拍補正係数及び咳症状補正係数は、映像解析機能部２０の体温検出モジュール２２６、脈拍検出モジュール２２７及び咳検出モジュール２２８が検出した体温、脈拍数及び咳症状を補正するための係数である。これら補正係数は、対応する監視カメラ１０自体の種類、性能、設置条件等に依存するため、監視カメラ１０を設置してから実際の運用が開始されるまでの間に、適切な値に調整されて、カメラ情報テーブル３２１１に記載される。
【0049】
また、顔照合閾値１～３及び全身照合閾値１～３は、映像解析機能部２０の全身照合モジュール２３１及び顔照合モジュール２３２が算出した類似度と比較するための閾値である。顔照合閾値１は、対応する監視カメラ１０の監視画像から抽出された人物の顔画像が追跡対象者の顔画像であるか否か分類するための顔画像類似度に対応する第１の閾値である。顔照合モジュール２３２が算出した顔画像類似度がこの第１の閾値である顔照合閾値１以上である場合、Ｗｅｂサーバ３０は、対応する監視カメラ１０の監視画像から抽出された人物の顔画像が追跡対象者の顔画像であると判定することができる。顔照合閾値２及び３は、顔照合閾値１よりも大きい顔画像類似度に対応し、抽出された人物の顔画像が追跡対象者の顔画像である場合に、その顔画像を複数の段階に分類するための第２の閾値である。すなわち、これら閾値の大きさは、［顔照合閾値１＜顔照合閾値２＜顔照合閾値３」の関係を有する。同様に、全身照合閾値１は、対応する監視カメラ１０の監視画像から抽出された人物の全身画像が追跡対象者の全身画像であるか否か分類するための全身画像類似度に対応する第１の閾値である。全身照合モジュール２３１が算出した全身画像類似度がこの全身照合閾値１以上である場合、Ｗｅｂサーバ３０は、対応する監視カメラ１０の監視画像から抽出された人物の全身画像が追跡対象者の全身画像であると判定することができる。全身照合閾値２及び３は、全身照合閾値１よりも大きい全身画像類似度に対応し、抽出された人物の全身画像が監視対象者或いは追跡対象者の全身画像である場合に、その全身画像を複数の段階に分類するための第２の閾値である。すなわち、これら閾値の大きさは、［全身照合閾値１＜全身照合閾値２＜全身照合閾値３」の関係を有する。
【0050】
各閾値の値は、概して、類似度を算出する映像解析機能部２０の監視／追跡実行機能部２３における顔照合モジュール２３２が用いる照合モデルと全身照合モジュール２３１が用いる照合モデルとによって決まる。各閾値は、監視カメラ１０自体の種類、性能、設置条件等に依存するため、監視カメラ１０を設置してから実際の運用が開始されるまでの間に、適切な値に調整されて、カメラ情報テーブル３２１１に記載される。なお、この顔照合閾値及び全身照合閾値は、それぞれ３段階に限定するものではないことは勿論である。すなわち、第２の閾値は、少なくとも一つあれば良い。
【0051】
過去検索用データテーブル記憶部３２２は、過去検索用データ記憶部３１１に記憶される過去検索用データのそれぞれに対応して、その過去検索用データに関する各種データが記載された過去検索用データテーブル３２２１を記憶する。Ｗｅｂサーバ３０は、過去検索用データ記憶部３１１に過去検索用データを記憶する際に、この過去検索用データテーブル３２２１を作成して、過去検索用データテーブル記憶部３２２に記憶させる。図８は、この過去検索用データテーブル記憶部３２２に記憶される過去検索用データテーブル３２２１の記載内容の一例を示す図である。過去検索用データテーブル３２２１には、例えば、検知ＩＤ、検知日時、検知カメラＩＤ、トラッキングＩＤ、フレームＩＤ、検知座標情報Ｘ、検知座標情報Ｙ、検知座標情報Ｗｉｄｔｈ、検知座標情報Ｈｅｉｇｈｔ、等々が記載される。
【0052】
ここで、検知ＩＤは、映像解析機能部２０の全身検出モジュール２２１が検出したフレーム画像３１１１中の全身画像３１１２毎に振られる識別情報である。検知日時は、全身検出モジュール２２１が当該全身画像３１１２を検出した日時である。検知カメラＩＤは、フレーム画像３１１１を取得した監視カメラ１０のカメラＩＤである。トラッキングＩＤは、複数フレーム画像間で、同一の人物の全身画像３１１２を紐付けるための識別情報である。フレームＩＤはフレーム画像３１１１を一意に識別するための識別情報である。検知座標情報Ｘ、検知座標情報Ｙ、検知座標情報Ｗｉｄｔｈ及び検知座標情報Ｈｅｉｇｈｔは、領域追跡モジュール２２２によって検出されたフレーム画像３１１１中の全身画像３１１２の領域位置を示す情報であり、全身画像３１１２の例えば左上隅のフレーム画像中のＸＹ座標と、そこからの画像幅及び画像高さを示す。
【0053】
なお、Ｗｅｂサーバ３０は、過去検索用データテーブル３２２１のトラッキングＩＤを、例えば、以下のようにして付与することができる。Ｗｅｂサーバ３０は、映像解析機能部２０の人検知情報抽出機能部２２から与えられる全身画像の領域位置と、過去検索用データ記憶部３１１に記憶されている当該監視カメラ１０の前フレーム画像における過去検索用データテーブル３２２１それぞれの全身画像の領域位置とを比較して、重複領域等を考慮することで、全身画像の人物の同一性を判別する。同一人物が前フレーム画像に写っていなければ、Ｗｅｂサーバ３０は、新たなトラッキングＩＤを付与する。また、同一人物が前フレーム画像に写っていれば、当該人物の全身画像３１１２に対応する過去検索用データテーブル３２２１よりトラッキングＩＤを引き継ぐ。なお、Ｗｅｂサーバ３０は、全身画像の位置ではなくて、全身特徴量を比較することで、人物の同一性を判別し、新規トラッキングＩＤ付与の要否を決定するようにしても良い。
【0054】
検知履歴テーブル記憶部３２３は、検知履歴データ記憶部３１２に記憶される検知履歴データのそれぞれに対応して、その検知履歴データに関する各種データが記載された検知履歴テーブル３２３１を記憶する。Ｗｅｂサーバ３０は、検知履歴データ記憶部３１２に検知履歴データを記憶する際に、この検知履歴テーブル３２３１を作成して、検知履歴テーブル記憶部３２３に記憶させる。図９は、この検知履歴テーブル記憶部３２３に記憶される検知履歴テーブル３２３１の記載内容の一例を示す図である。検知履歴テーブル３２３１には、例えば、検知ＩＤ、検知日時、検知カメラＩＤ、要注意者ＩＤ、補正後体温、補正後脈拍数、補正後咳症状、顔左右角度、顔上下角度、トラッキングＩＤ、等々が記載される。
【0055】
ここで、検知ＩＤ、検知日時、検知カメラＩＤ及びトラッキングＩＤは、過去検索用データテーブル３２２１について説明した通りである。要注意者ＩＤは、検知履歴データ記憶部３１２に検知履歴データを記憶する際に付与される、当該追跡候補者を一意に識別する識別情報である。補正後体温、補正後脈拍数及び補正後咳症状は、カメラ情報テーブル記憶部３２１に記憶されたカメラ情報テーブル３２１１に記載された補正係数による補正結果である。顔左右角度及び顔上下角度は、対応する検知履歴データの検知顔画像３１２１における顔の向きを示す。
【0056】
管理テーブル記憶部３２４は、管理データ記憶部３１３に記憶される管理データのそれぞれに対応して、その管理データに関する各種データが記載された管理テーブル３２４１を記憶する。Ｗｅｂサーバは、管理データ記憶部３１３に管理データを記憶する際に、この管理テーブル３２４１を作成して、管理テーブル記憶部３２４に記憶させる。図１０は、この管理テーブル記憶部３２４に記憶される管理テーブル３２４１の記載内容の一例を示す図である。管理テーブル３２４１には、例えば、要注意者ＩＤ、補正後体温、補正後脈拍数、補正後咳症状、クエリ顔画像パス、顔特徴量ファイルパス、監視ステータス、ピン留めフラグ、長期間滞在フラグ、等々が記載される。
【0057】
ここで、要注意者ＩＤ、補正後体温、補正後脈拍数及び補正後咳症状は、検知履歴テーブル３２３１から転記される。クエリ顔画像パス及び顔特徴量ファイルパスは、管理データ記憶部３１３における、管理データの登録顔画像３１３１及び顔特徴量３１３２の保存パスを示す。監視ステータスは、危険度種別以外の、追跡対象者に対して監視端末４０から任意に設定される属性情報である。ピン留めフラグは、追跡対象者として指定された際に、そのことを示すためにセットされるフラグである。長期間滞在フラグは、追跡対象者として指定されていないが、規定の時間以上、当該施設に滞在している場合にセットされるフラグである。すなわち、Ｗｅｂサーバ３０は、監視対象以外ではないが長期間滞在している人物が存在するとき、その人物の顔画像及び顔特徴量も管理データ記憶部３１３に記憶させ、管理テーブル記憶部３２４に管理テーブルを記憶させることができる。これにより、新たな不審者や新規顧客の候補を発見できるようになる。
【0058】
追跡テーブル記憶部３２５は、映像解析機能部２０の全身照合モジュール２３１又は顔照合モジュール２３２が算出した全身画像類似度又は顔画像類似度からＷｅｂサーバ３０によって追跡対象者の全身画像又は顔画像であると判定された、何れかの監視カメラ１０の監視画像から抽出された人物の類似度が記載された追跡テーブルを記憶する。図１１は、この追跡テーブル記憶部３２５に記憶される追跡テーブル３２５１の記載内容の一例を示す図である。追跡テーブル３２５１は、追跡対象者の要注意者ＩＤ毎に、検知ＩＤ、全身画像類似度及び顔画像類似度でなるレコードを含み、各レコードはＷｅｂサーバ３０が追跡対象者の全身画像又は顔画像であると判定する毎に追加されていく。全身画像類似度及び顔画像類似度は、映像解析機能部２０の全身照合モジュール２３１及び顔照合モジュール２３２が算出した類似度の実数値が記憶されるが、後述するようにＷｅｂブラウザ４１での追跡アラート画面の表示のために、３段階の全身画像類似度ラベルＩＤ及び顔画像類似度ラベルＩＤに書き換えられることができる。
【0059】
検索用人検知結果保存機能部３３及び検知／追跡結果判定機能部３４は、Ｗｅｂサーバのバックエンド機能として提供される。検索用人検知結果保存機能部３３は、映像解析機能部２０の人検知情報抽出機能部２２の各機能部の出力を受けて、過去検索用データテーブル記憶部３２２に記憶する検索用データテーブルを作成する。検知／追跡結果判定機能部３４は、映像解析機能部２０の人検知情報抽出機能部２２の各機能部の出力を受けて、規定の症状に該当する追跡候補者が監視カメラ１０の監視画像内に現れたことを検知し、検知履歴テーブル記憶部３２３に記憶する検知履歴テーブルを作成すると共に、人検知情報抽出機能部２２の各機能部で抽出した、その人物の検知顔画像３１２１、顔特徴量３１２２、検知全身画像３１２３及び全身特徴量３１２４を検知履歴データ記憶部３１２へ記憶させる。検知／追跡結果判定機能部３４は、また、映像解析機能部２０の監視／追跡実行機能部２３の各機能部の出力を受けて、監視者から指定された追跡対象者の全身画像及び／又は顔画像と同一の人物が何れかの監視カメラ１０の監視画像内に現れたことを検知し、その検知に応じて、追跡テーブル記憶部３２５に記憶している当該追跡対象者の追跡テーブルにレコードを追加していく。
【0060】
Ｗｅｂアプリケーション３５は、監視端末４０のＷｅｂブラウザ４１からの要求に応じて各種処理を行い、その処理結果を示す閲覧用のデータを作成するアプリケーションプログラムである。Ｗｅｂアプリケーション３５は、Ｗｅｂサーバ３０に、ログイン機能部３５１、監視機能部３５２、追跡機能部３５３及び過去検索機能部３５４としての機能を提供する。
【0061】
ログイン機能部３５１は、Ｗｅｂブラウザ４１からのログインを受け付けて、認証を行い、正規ユーザに対して当該Ｗｅｂアプリケーション３５が提供する機能の利用を許可する。
【0062】
監視機能部３５２は、検知／追跡結果判定機能部３４が追跡候補者を検知した際に、アラートを発生して、Ｗｅｂブラウザ４１に提示する。そのために、監視機能部３５２は、Ｗｅｂブラウザ４１に提示するための検知アラート画面を生成する検知アラート出力機能部３５２１を含む。検知アラート画面は、規定の症状に該当する特定人物である追跡候補者と検知された人物の画像を、その状態情報と共に提示するための出力画面である。
【0063】
追跡機能部３５３は、検知／追跡結果判定機能部３４が検知した追跡候補者の顔画像と同一の人物の顔画像及び全身画像で、複数の監視カメラ１０を跨いでリアルタイムに該当人物を追跡した追跡結果を、Ｗｅｂブラウザ４１に提示する。そのために、追跡機能部３５３は、画像登録機能部３５３１と追跡アラート出力機能部３５３２とを含む。画像登録機能部３５３１は、Ｗｅｂブラウザ４１上での監視者から指定操作による、追跡を行うべき追跡対象者の顔画像の指定を受けて、管理データ記憶部３１３に登録顔画像３１３１及び顔特徴量３１３２を記憶させると共に、管理テーブル３２４１を作成して管理テーブル記憶部３２４に記憶させる。追跡アラート出力機能部３５３２は、検知／追跡結果判定機能部３４が追跡対象者の全身画像及び／又は顔画像と同一の人物を検知した際に、追跡対象者に類似すると検知された人物の画像を、類似度に基づく注意段階を示す段階表示と共に提示するための出力画面である追跡アラート画面をＷｅｂブラウザ４１に提示する。
【0064】
過去検索機能部３５４は、Ｗｅｂブラウザ４１からの時間及び場所の指定を受けて、その指定された時間・場所に来訪した人物を一覧表示し、その中から検索する人物の指定を受け付ける。そして、過去検索機能部３５４は、検知／追跡結果判定機能部３４がその指定された人物の顔画像及び全身画像から、過去検索用データ記憶部３１１に記憶された類似人物を検索した結果をＷｅｂブラウザ４１に提示する。
【0065】
図１２は、Ｗｅｂサーバ３０のハードウェア構成を示すブロック図である。Ｗｅｂサーバ３０は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサ３０１Ａ、プログラムメモリ３０１Ｂ、記憶装置３０２及び通信インタフェース装置３０３を備える。プログラムメモリ３０１Ｂ、記憶装置３０２及び通信インタフェース装置３０３は、バス３０４を介してハードウェアプロセッサ３０１Ａに接続されている。
【0066】
通信インタフェース装置３０３は、例えば一つ以上の有線または無線の通信インタフェースユニットを含んでおり、ネットワークＮＥＴで使用される通信プロトコルに従い、映像解析機能部２０及び監視端末４０との間で各種情報の送受信を可能にする。
【0067】
プログラムメモリ３０１Ｂは、記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの随時書込み及び読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて使用したもので、ＣＰＵなどのハードウェアプロセッサ３０１Ａが実行することで、この発明の一実施形態に係る各種制御処理を実行するために必要なプログラムを記憶している。すなわち、ハードウェアプロセッサ３０１Ａは、プログラムメモリ３０１Ｂに記憶されたプログラムを読み出して実行することで、図３に示すような検索用人検知結果保存機能部３３及び検知／追跡結果判定機能部３４として機能することができる。なお、これらの処理機能部は、それぞれ別個のハードウェアプロセッサで実現されても良い。すなわち、Ｗｅｂサーバ３０は、複数のハードウェアプロセッサを備えていても良い。また、これらの処理機能部の少なくとも一部は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（field-programmable gate array）、ＧＰＵ（Graphics Processing Unit）などの集積回路を含む、他の多様なハードウェア回路の形式で実現されても良い。また、プログラムメモリ３０１Ｂに記憶されるプログラムは、図３に示すようなＷｅｂアプリケーション３５のブログラムを含むことができる。
【0068】
記憶装置３０２は、記憶媒体として、例えば、ＨＤＤまたはＳＳＤなどの随時書込み及び読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）などの揮発性メモリとを組み合わせて使用したもので、人物追跡処理を行う過程で取得及び作成された各種データを記憶するために用いられる。また、記憶装置３０２には、図３に示すようなファイルサーバ３１及びＤＢサーバ３２を構成することができる。
【0069】
（２）動作
次に、以上のように構成された人物追跡システムの動作を説明する。
次に、以上のように構成された人物追跡システムの動作を説明する。
【0070】
（２－１）監視動作
監視端末４０でＷｅｂブラウザ４１が起動されてＷｅｂサーバ３０に対するアクセス操作がなされると、Ｗｅｂサーバ３０は、Ｗｅｂアプリケーション３５が提供するログイン機能部３５１により、認証動作を実施する。そして、正規ユーザであることが確認されたならば、Ｗｅｂサーバ３０は、Ｗｅｂアプリケーション３５が提供する監視機能部３５２により、Ｗｅｂブラウザ４１での閲覧用の監視画面を生成して、Ｗｅｂブラウザ４１へ送信する。監視画面は、以下のようにして生成されることができる。
監視端末４０でＷｅｂブラウザ４１が起動されてＷｅｂサーバ３０に対するアクセス操作がなされると、Ｗｅｂサーバ３０は、Ｗｅｂアプリケーション３５が提供するログイン機能部３５１により、認証動作を実施する。そして、正規ユーザであることが確認されたならば、Ｗｅｂサーバ３０は、Ｗｅｂアプリケーション３５が提供する監視機能部３５２により、Ｗｅｂブラウザ４１での閲覧用の監視画面を生成して、Ｗｅｂブラウザ４１へ送信する。監視画面は、以下のようにして生成されることができる。
【0071】
複数台の監視カメラ１０はそれぞれ、監視画像を定期的に取得し、取得した監視画像を対応する映像解析機能部２０に入力する。映像解析機能部２０の画像取得モジュール２１は、対応する監視カメラ１０からの監視画像であるフレーム画像を取得し、人検知情報抽出機能部２２は、そのフレーム画像に写っている人物の全身画像、その全身画像の領域位置、全身特徴量及び顔特徴量を抽出する。そして、映像解析機能部２０は、それらフレーム画像、全身画像、全身画像の領域位置、全身特徴量、顔特徴量、体温、脈拍数及び咳症状をサーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信する。
【0072】
Ｗｅｂサーバ３０は、複数の映像解析機能部２０のそれぞれから送信されてきたフレーム画像、全身画像、全身特徴量、顔特徴量、体温、脈拍数及び咳症状を、過去検索用データとして、ファイルサーバ３１の過去検索用データ記憶部３１１に蓄積する。またこのとき、Ｗｅｂサーバ３０の検索用人検知結果保存機能部３３は、複数の映像解析機能部２０のそれぞれから送信されてきた全身画像の領域位置を含む過去検索用データテーブルを作成して、ＤＢサーバ３２の過去検索用データテーブル記憶部３２２に記憶させる。こうして、各監視カメラ１０での監視画像の取得毎に、過去検索用データ記憶部３１１に過去検索用データが蓄積されていくと共に、過去検索用データテーブル記憶部３２２にそれら過去検索用データに紐付いた過去検索用データテーブルが蓄積されていく。
【0073】
監視機能部３５２は、こうして過去検索用データ記憶部３１１に蓄積されていく各監視カメラ１０からのフレーム画像を、一つの画面に並べることで、監視画面を生成することができる。監視端末４０のＷｅｂブラウザ４１に表示されたこの監視画面を閲覧することで、警備員等の監視者は、施設内の各部のリアルタイムな状況を把握することが可能となる。
【0074】
また、人物追跡システムでは、この各部のリアルタイムな状況監視と並行して、追跡候補者の来訪検知動作が行われる。この追跡候補者来訪検知動作は、検知／追跡結果判定機能部３４による検知結果判定処理と、監視機能部３５２の検知アラート出力機能部３５２１による検知アラート出力処理と、を含む。
【0075】
図１３は、Ｗｅｂサーバ３０の検知／追跡結果判定機能部３４による検知結果判定処理の処理手順を示すフローチャートである。検知／追跡結果判定機能部３４は、過去検索用データテーブル記憶部３２２に、何れかの監視カメラ１０の監視画像に基づく過去検索用データが記憶される毎に、このフローチャートに示す処理を実施することができる。或いは、検知／追跡結果判定機能部３４は、過去検索用データテーブル記憶部３２２に、各監視カメラ１０の監視画像に基づく過去検索用データが所定回数分記憶される毎に、このフローチャートに示す処理を実施するようにしても良い。後者の場合、その複数回分の過去検索用データの内の何れか一つ、例えば最新のものを処理対象として使用することができる。
【0076】
検知／追跡結果判定機能部３４は、まず、過去検索用データ記憶部３１１に記憶されている過去検索用データから状態情報である体温３１１５、脈拍数３１１６及び咳症状３１１７を取得する（ステップＳ１０１）。また、検知／追跡結果判定機能部３４は、カメラ情報テーブル記憶部３２１に記憶避けている、その過去検索用データの取得元である監視カメラ１０のカメラ情報テーブル３２１１より状態情報の補正値である体温補正値、脈拍数補正値及び咳症状補正値を取得する（ステップＳ１０２）。そして、上記取得した体温３１１５、脈拍数３１１６及び咳症状３１１７を、この体温補正値、脈拍数補正値及び咳症状補正値により補正する（ステップＳ１０３）。
【0077】
その後、検知／追跡結果判定機能部３４は、補正後の体温が予め記憶している規定体温以上であるか否か判断する（ステップＳ１０４）。補正後体温が規定体温以上であると判断した場合には、検知／追跡結果判定機能部３４は、検知履歴データ記憶部３１２に検知履歴データとして検知顔画像３１２１、顔特徴量３１２２、検知全身画像３１２３及び全身特徴量３１２４を記憶させると共に、検知履歴テーブル３２３１を生成して、それを検知履歴テーブル記憶部３２３に記憶させる（ステップＳ１０５）。この生成した検知履歴テーブル３２３１には、上記ステップＳ１０３で補正した補正後の状態情報である補正後体温、補正後脈拍数及び補正後咳症状が登録されることとなる。そしてその後、検知／追跡結果判定機能部３４は、この検知／追跡結果判定処理を終了する。なお、比較対象である規定体温と後述する規定脈拍数及び規定咳症状は、インフルエンザ等の規定の症状に応じた値が予め記憶装置３０２に記憶されているものとする。
【0078】
これに対して、ステップＳ１０４において補正後体温が規定体温以上ではないと判断した場合には、検知／追跡結果判定機能部３４は、補正後の脈拍数が、予め記憶している規定脈拍数以上であるか否か判断する（ステップＳ１０６）。補正後脈拍数が規定脈拍数以上であると判断した場合には、検知／追跡結果判定機能部３４は、上記ステップＳ１０５の処理に進む。
【0079】
また、補正後脈拍数が規定脈拍数以上ではないと判断した場合には、検知／追跡結果判定機能部３４は、補正後の咳症状が、予め記憶している規定咳症状以上か否か判断する（ステップＳ１０７）。補正後咳症状が規定咳症状以上であると判断した場合には、検知／追跡結果判定機能部３４は、上記ステップＳ１０５の処理に進む。補正後咳症状が規定咳症状以上ではないと判断した場合には、検知／追跡結果判定機能部３４は、この検知／追跡結果判定処理を終了する。
【0080】
以上のようにして、補正後の体温、脈拍数及び咳症状の何れかが既定の体温、脈拍数または咳症状以上である場合には、追跡候補者が検知されたとして、検知履歴データ記憶部３１２に検知履歴データが記憶され、検知履歴テーブル３２３１へ補正後の体温、脈拍数及び咳症状が登録されることになる。
【0081】
図１４Ａ及び図１４Ｂは、監視機能部３５２の検知アラート出力機能部３５２１による検知アラート出力処理の処理手順を示すフローチャートである。検知アラート出力機能部３５２１は、定期的に、例えば映像解析機能部２０の監視／追跡実行機能部２３による検知結果判定処理と同様の処理タイミングで、このフローチャートに示す処理を実施する。
【0082】
検知アラート出力機能部３５２１は、まず、監視端末４０において、監視者によってＷｅｂブラウザ４１に表示される検知アラート画面における絞り込み指定操作が行われたか否か判断する（ステップＳ２０１）。絞り込み指定操作が行われたと判断した場合、検知アラート出力機能部３５２１は、後述するステップＳ２０６へと進む。
【0083】
これに対して、絞り込み指定操作が行われていないと判断した場合、検知アラート出力機能部３５２１は、検知履歴テーブル記憶部３２３から新規の検知履歴テーブル３２３１の情報を取得する（ステップＳ２０２）。すなわち、検知アラート出力機能部３５２１は、検知履歴テーブル３２３１における検知日時として、前回の処理日時以降の日時が記録されているものを抽出して取得する。
【0084】
そして、検知アラート出力機能部３５２１は、取得した新規の検知履歴テーブル３２３１の情報に基づいて、画面画像である新規の検知人物カードを作成する（ステップＳ２０３）。この検知人物カードは、検知履歴データ記憶部３１２に検知履歴データとして記憶した検知顔画像３１２１及び検知全身画像３１２３と、それに対応する検知履歴テーブル３２３１における補正後の状態情報と、を含む画面画像である。この検知人物カードについては、詳細を後述する。
【0085】
検知アラート出力機能部３５２１は、この作成した新規の検知人物カードにより、Ｗｅｂブラウザ４１にて表示するための検知アラート画面を更新する（ステップＳ２０４）。そして、検知アラート出力機能部３５２１は、この更新した検知アラート画面を、ネットワークＮＥＴを介してＷｅｂブラウザ４１に送信して、そこに表示させる（ステップＳ２０５）。Ｗｅｂブラウザ４１では、監視画面の一部に設けられたアラート画面表示領域に、或いは、監視画面とは別のウィンドウを開いて、この検知アラート画面を表示する。そして、検知アラート出力機能部３５２１は、この検知アラート出力処理を終了する。
【0086】
一方、上記ステップＳ２０１において絞り込み指定操作が行われたと判断した場合、検知アラート出力機能部３５２１は、その指定された絞り込みレベルを取得する（ステップＳ２０６）。この絞り込みレベルは、検知アラート画面に表示する追跡情報カードを絞り込むための指標である。
【0087】
また、検知アラート出力機能部３５２１は、検知履歴テーブル記憶部３２３から処理対象の検知履歴テーブル３２３１の情報を取得する（ステップＳ２０７）。すなわち、検知アラート出力機能部３５２１は、検知履歴テーブル３２３１における検知日時に基づいて、新しいものから順に一つの検知履歴テーブルの情報を取得する。
【0088】
その後、検知アラート出力機能部３５２１は、取得した補正後の体温が、上記絞り込みレベルとして指定された指定体温よりも高いか否か、つまり補正後体温が指定体温以上であるか否か判断する（ステップＳ２０８）。補正後体温が指定体温以上であると判断した場合には、検知アラート出力機能部３５２１は、取得した検知履歴テーブル３２３１の情報に基づいて、画面画像である検知人物カードを作成する（ステップＳ２０９）。
【0089】
そして、検知アラート出力機能部３５２１は、所定数の検知人物カードを作成したか否か判断する（ステップＳ２１０）。この所定数は、検知アラート画面の表示可能個数に依存することができる。或いは、任意の個数としても良い。未だ所定数の検知人物カードを作成していないと判断した場合には、検知アラート出力機能部３５２１は、上記ステップＳ２０７の処理に戻る。
【0090】
また、上記ステップＳ２０８において補正後体温が指定体温以上ではないと判断した場合には、検知アラート出力機能部３５２１は、取得した補正後の脈拍数が、上記絞り込みレベルとして指定された指定脈拍数以上であるか否か判断する（ステップＳ２１１）。補正後脈拍数が指定脈拍数以上であると判断した場合には、検知アラート出力機能部３５２１は、上記ステップＳ２０９の処理に進んで、検知人物カードを作成することとなる。
【0091】
また、上記ステップＳ２１３において補正後脈拍数が指定脈拍数以上ではないと判断した場合には、検知アラート出力機能部３５２１は、取得した補正後の咳症状が、上記絞り込みレベルとして指定された指定咳症状以上であるか否か判断する（ステップＳ２１２）。補正後咳症状が指定咳症状以上であると判断した場合には、検知アラート出力機能部３５２１は、上記ステップＳ２０９の処理に進んで、検知人物カードを作成することとなる。補正後咳症状が指定咳症状以上ではないと判断した場合には、検知アラート出力機能部３５２１は、上記ステップＳ２１０の処理に進む。
【0092】
そして、上記ステップＳ２１０において所定数の検知人物カードを作成したと判断した場合には、検知アラート出力機能部３５２１は、作成した検知人物カードを検知日時順に並べ替えて、検知アラート画面を更新する（ステップＳ２１３）。そして、検知アラート出力機能部３５２１は、上記ステップＳ２０５の処理に進んで、この更新した検知アラート画面を、ネットワークＮＥＴを介してＷｅｂブラウザ４１に送信して、そこに表示させることとなる。
【0093】
なお、所定数の検知人物カードを作成する前に、上記ステップＳ２０７で取得するべき処理対象の検知履歴テーブル３２３１の情報が無くなってしまった場合には、ステップＳ２１３に進んで良い。
【0094】
図１５は、Ｗｅｂブラウザ４１に表示される検知アラート画面４２の一例を示す図である。検知アラート画面４２は、検知された人物毎の検知人物カード４２１と、絞り込み指示領域４２２と、を含む。
【0095】
検知人物カード４２１は、その表示内容として、注意喚起ラベル４２１１、要注意者ＩＤ４２１２、追跡候補者画像４２１３、検知体温４２１４、検知脈拍数４２１５、検知咳症状４２１６、及び、追跡開始ボタン４２１７を含むことができる。
【0096】
ここで、注意喚起ラベル４２１１は、監視者の注意を促すためのメッセージであり、点滅表示灯の識別表示を行うようにしても良い。要注意者ＩＤ４２１２は、検知履歴テーブル３２３１から転記される識別情報である。追跡候補者画像４２１３は、その追跡候補者であると検知された人物の、検知履歴データ記憶部３１２に記憶された検知顔画像３１２１及び検知全身画像３１２３である。検知体温４２１４、検知脈拍数４２１５及び検知咳症状４２１６は、検知履歴テーブル３２３１から転記される補正後体温、補正後脈拍数及び補正後咳症状である。追跡開始ボタン４２１７は、当該人物を追跡する場合に押下されるボタンである。
【0097】
なお、この検知人物カード４２１は、追跡候補者として新たに特定人物が検知される毎に、検知アラート画面４２の最上位に表示されるように、古い検知人物カード４２１が下方にシフトされていく。同一人物については新たな検知人物カード４２１は追加されない。
【0098】
また、絞り込み指示領域４２２は、検知アラート画面４２に表示する検知人物カード４２１を絞り込むための指示を受け付けるための領域である。この絞り込み指示領域４２２は、体温提示閾値設定スライダ４２２１、脈拍数提示閾値設定スライダ４２２２及び咳症状閾値設定ボタン４２２３を含む。
【0099】
ここで、体温提示閾値設定スライダ４２２１は、上記ステップＳ２０８で用いる指定体温を示す提示閾値を設定するためにスライド操作されるスライダである。監視者によるこのスライダのスライド操作で指示される体温以上の補正後体温を含む追跡情報カード４３２が検知アラート画面４２に表示されるようになる。図１５では、体温提示閾値設定スライダ４２２１は、３７．５℃である規定体温が設定されている状態を示している。
【0100】
同様に、脈拍数提示閾値設定スライダ４２２２は、上記ステップＳ２１１で用いる指定脈拍数を示す提示閾値を設定するためにスライド操作されるスライダである。監視者によるこのスライダのスライド操作で指示される脈拍数以上の補正後脈拍数を含む追跡情報カード４３２が検知アラート画面４２に表示されるようになる。図１５では、脈拍数提示閾値設定スライダ４２２２は、１１０である規定脈拍数が設定されている状態を示している。
【0101】
また、咳症状閾値設定ボタン４２２３は、本実施形態では咳症状の度合いを３段階で示すものとしているので、咳症状の段数に対応する３個のボタンを含む。監視者によるこの３個のボタンの押下操作に応じた指定段数以上の補正後咳症状を含む追跡情報カード４３２が検知アラート画面４２に表示されるようになる。図１５の例では、咳症状閾値設定ボタン４２２３での段数として１段である規定咳症状が設定されている状態を示している。また、この咳症状閾値設定ボタン４２２３は、この指定段数をリセットする際に押下操作されるボタンであるリセットボタンも含む。
【0102】
図１５の例では、検知アラート画面４２は、３つの検知人物カード４２１を含む。最上部に提示された検知人物カード４２１は、体温提示閾値設定スライダ４２２１で指定される３７．５℃以上の体温である３７．６℃の体温、または、咳症状閾値設定ボタン４２２３で指定される１段以上の咳症状度合いである２段の咳症状が検知された追跡候補者を提示する検知人物カード４２１である。２段目に提示された検知人物カード４２１は、体温提示閾値設定スライダ４２２１で指定される３７．５℃以上の体温である３８．８℃の体温、脈拍数提示閾値設定スライダ４２２２で指定される１１０以上の脈拍である１１５の脈拍数、または、咳症状閾値設定ボタン４２２３で指定される１段以上の咳症状度合いである３段の咳症状が検知された追跡候補者を提示する検知人物カード４２１である。そして、３段目に提示された検知人物カード４２１は、脈拍数提示閾値設定スライダ４２２２で指定される１１０以上の脈拍である１１５の脈拍数、または、咳症状閾値設定ボタン４２２３で指定される１段以上の咳症状度合いである２段の咳症状が検知された追跡候補者を提示する検知人物カード４２１である。
【0103】
図１６は、体温提示閾値設定スライダ４２２１により３７．８℃、咳症状閾値設定ボタン４２２３で２段を指定した場合の検知アラート画面４２の例である。この例では、この体温と咳症状の提示閾値による絞り込みの結果、図１５の例において最上位に提示されていた追跡候補者の検知人物カード４２１が提示されなくなる。図１６の例では、図１５の例において２段目と３段目に提示されていた検知人物カード４２１が上方にシフトされ、新たに、体温提示閾値設定スライダ４２２１で指定される３７．８℃以上の体温である７．９℃の体温、または、咳症状閾値設定ボタン４２２３で指定される２段以上の咳症状度合いである２段の咳症状が検知された追跡候補者を提示する検知人物カード４２１が３段目に提示されている。
【0104】
（２－２）追跡動作
監視者が検知アラート画面４２の追跡開始ボタン４２１７の押下操作を行うと、Ｗｅｂサーバ３０は、Ｗｅｂアプリケーション３５が提供する追跡機能部３５３により、映像解析機能部２０及び検知／追跡結果判定機能部３４を利用して、当該人物を追跡した追跡結果を、Ｗｅｂブラウザ４１に提示させていく。この追跡動作は、追跡機能部３５３の画像登録機能部３５３１による画像登録処理と、映像解析機能部２０の監視／追跡実行機能部２３による追跡処理と、検知／追跡結果判定機能部３４による追跡結果判定処理と、追跡機能部３５３の追跡アラート出力機能部３５３２による追跡アラート出力処理と、を含む。
監視者が検知アラート画面４２の追跡開始ボタン４２１７の押下操作を行うと、Ｗｅｂサーバ３０は、Ｗｅｂアプリケーション３５が提供する追跡機能部３５３により、映像解析機能部２０及び検知／追跡結果判定機能部３４を利用して、当該人物を追跡した追跡結果を、Ｗｅｂブラウザ４１に提示させていく。この追跡動作は、追跡機能部３５３の画像登録機能部３５３１による画像登録処理と、映像解析機能部２０の監視／追跡実行機能部２３による追跡処理と、検知／追跡結果判定機能部３４による追跡結果判定処理と、追跡機能部３５３の追跡アラート出力機能部３５３２による追跡アラート出力処理と、を含む。
【0105】
図１７は、追跡機能部３５３の画像登録機能部３５３１による画像登録処理の処理手順を示すフローチャートである。画像登録機能部３５３１は、定期的に、例えば監視カメラ１０の監視画像の取得間隔に同期して、このフローチャートに示す処理を実施する。
【0106】
画像登録機能部３５３１は、まず、監視端末４０において、監視者によってＷｅｂブラウザ４１に表示される検知アラート画面４２における追跡開始ボタン４２１７の押下操作が行われたか否か判断する（ステップＳ３０１）。追跡開始ボタン４２１７の押下操作が行われていないと判断した場合には、画像登録機能部３５３１は、この画像登録処理を終了する。
【0107】
これに対して、追跡開始ボタン４２１７の押下操作が行われたと判断した場合には、画像登録機能部３５３１は、その人物の顔画像を追跡用顔画像として取得する（ステップＳ３０２）。すなわち、画像登録機能部３５３１は、検知アラート画面４２の要注意者ＩＤを有する検知履歴テーブル記憶部３２３のトラッキングＩＤに基づいて、検知履歴データ記憶部３１２から検知顔画像３１２１を追跡用顔画像として取得する。例えば、画像登録機能部３５３１は、当該トラッキングＩＤを有する検知履歴テーブル３２３１の内、検知日時が特定時期のもの、例えば最新のものに記載された検知ＩＤで特定される検知顔画像３１２１を取得することができる。特定時期としては、最新に限らず、最古、指定期間の間での最新又は最古、季節（春夏秋冬など）であって良い。或いは、画像登録機能部３５３１は、当該トラッキングＩＤを有する検知履歴テーブル３２３１のそれぞれに記載された検知ＩＤで特定される検知顔画像３１２１を一覧形式で含む選択画面を生成し、それをＷｅｂブラウザ４１に表示させて、監視者に追跡用顔画像とする検知顔画像３１２１を選択させるようにしても良い。そして、画像登録機能部３５３１は、取得した追跡用顔画像を、管理データ記憶部３１３に登録顔画像３１３１として記憶させる。また、画像登録機能部３５３１は、管理テーブル３２４１を作成し、それを管理テーブル記憶部３２４に記憶させる。管理テーブル３２４１は、管理データ記憶部３１３における登録顔画像３１３１の記憶パスを示すクエリ顔特徴パスを含む。
【0108】
そして、画像登録機能部３５３１は、追跡用顔画像として検知履歴データ記憶部３１２から取得された検知顔画像３１２１に対応する全身画像を追跡用全身画像として取得する（ステップＳ３０３）。すなわち、画像登録機能部３５３１は、その追跡用顔画像として取得された検知顔画像３１２１について検知履歴テーブル３２３１に記載された検知ＩＤで特定される検知全身画像３１２３を追跡用全身画像として取得する。或いは、画像登録機能部３５３１は、その検知ＩＤに基づいて、過去検索用データ記憶部３１１から全身画像３１１２を追跡用全身画像として取得する。画像登録機能部３５３１は、この取得した追跡用全身画像を、管理データ記憶部３１３に登録全身画像３１３３として記憶させる。また、画像登録機能部３５３１は、管理テーブル記憶部３２４に記憶されている管理テーブル３２４１に、管理データ記憶部３１３における登録全身画像３１３３の記憶パスを示すクエリ全身特徴パスを追記する。
【0109】
さらに、画像登録機能部３５３１は、追跡用顔画像特徴量と追跡用全身画像特徴量を取得する（ステップＳ３０４）。すなわち、画像登録機能部３５３１は、上記検知ＩＤに基づいて、検知履歴データ記憶部３１２から顔特徴量３１２２及び全身特徴量３１２４を追跡用顔特徴量及び追跡用全身特徴量として取得する。画像登録機能部３５３１は、これら取得した追跡用顔特徴量及び追跡用全身特徴量を、管理データ記憶部３１３に顔特徴量３１３２及び全身特徴量３１３４として記憶させる。また、画像登録機能部３５３１は、管理テーブル記憶部３２４に記憶されている管理テーブル３２４１に、それら特徴量記憶パスを示す顔特徴量ファイルパス及び全身特徴量ファイルパスを追記する。
【0110】
そして、画像登録機能部３５３１は、管理データ記憶部３１３に記憶された登録顔画像３１３１及び登録全身画像３１３３を追跡用画像として、また、顔特徴量３１３２及び全身特徴量３１３４を追跡用特徴量として、サーバ内通信やＷｅｂｓｏｃｋｅｔ等により、複数の映像解析機能部２０のそれぞれへ送信する（ステップＳ３０５）。その後、画像登録機能部３５３１は、この画像登録処理を終了する。
【0111】
図１８は、映像解析機能部２０の監視／追跡実行機能部２３による追跡処理の処理手順を示すフローチャートである。監視／追跡実行機能部２３は、例えば、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０の追跡機能部３５３画像登録機能部３５３１から追跡用画像と特徴量を受信する毎に、このフローチャートに示す処理を実施する。
【0112】
監視／追跡実行機能部２３は、まず、Ｗｅｂサーバ３０の画像登録機能部３５３１から受信した追跡用画像と特徴量を取得する（ステップＳ４１１）。
【0113】
その後、監視／追跡実行機能部２３は、人検知情報抽出機能部２２から、時刻Ｔの全身画像とその特徴量とを、照合用全身画像と照合用全身特徴量として取得する（ステップＳ４１２）。対応する監視カメラ１０の監視画像に複数の人物の全身画像が含まれる場合には、監視／追跡実行機能部２３は、それぞれの人物について、照合用全身画像と照合用全身特徴量を取得する。
【0114】
そして、監視／追跡実行機能部２３は、全身照合モジュール２３１により、人検知情報抽出機能部２２からの照合用全身特徴量のそれぞれについて、画像登録機能部３５３１からの追跡用全身特徴量との類似度である全身画像類似度を算出する（ステップＳ４１３）。
【0115】
また、監視／追跡実行機能部２３は、人検知情報抽出機能部２２から、時刻Ｔの顔画像とその特徴量とを、照合用顔画像と照合用顔特徴量として取得する（ステップＳ４１４）。対応する監視カメラ１０の監視画像に複数の人物の顔画像が含まれる場合には、監視／追跡実行機能部２３は、それぞれの人物について、照合用顔画像と照合用顔特徴量を取得する。なお、人物の向きによって、全身画像は抽出できても顔画像が抽出できない場合も有る。よって、上記ステップＳ４１２で取得される照合用全身画像の数とこのステップＳ４１４で取得する照合用顔画像の数とは一致するとは限らない。また、一人も顔画像が抽出できず、照合用顔画像（及び照合用顔特徴量）が取得されない場合もあり得る。
【0116】
そして、監視／追跡実行機能部２３は、顔照合モジュール２３２により、人検知情報抽出機能部２２からの照合用顔特徴量のそれぞれについて、画像登録機能部３５３１からの追跡用顔特徴量との類似度である顔画像類似度を算出する（ステップＳ４１５）。
【0117】
その後、監視／追跡実行機能部２３は、それら全身画像及び顔画像についての類似度と照合用画像とのセットを、サーバ内通信やＷｅｂｓｏｃｋｅｔ等により、Ｗｅｂサーバ３０の検知／追跡結果判定機能部３４へ送信する（ステップＳ４１６）。なお、類似度と照合用画像のセットは、全身画像類似度と照合用全身画像とのセットと顔画像類似度と照合用顔画像とのセットとの両方を含む場合も有れば、顔画像類似度と照合用顔画像とのセットの無い全身画像類似度と照合用全身画像とのセットのみを含む場合もあり得る。
【0118】
そして、監視／追跡実行機能部２３は、監視端末４０において、監視者によってＷｅｂブラウザ４１に表示される追跡アラート画面における追跡停止ボタンの押下操作が行われたか否か判断する（ステップＳ４１７）。追跡停止ボタンを有する追跡アラート画面の詳細については、後述する。追跡停止ボタンの押下操作が行われたと判断した場合には、監視／追跡実行機能部２３は、この監視／追跡処理を終了する。
【0119】
また、追跡停止ボタンの押下操作が行われていないと判断した場合には、監視／追跡実行機能部２３は、時刻Ｔに時間間隔ｔ１加えてから、すなわち、次の処理時刻に更新した後（ステップＳ４１８）、上記ステップＳ４１２から上記の処理を繰り返す。ここで、時間間隔ｔ１は、例えば、数秒というように、任意の時間間隔とすることができる。或いは、時間間隔ｔ１は、監視カメラ１０の監視画像の取得間隔の整数倍の時間間隔としても良い。
【0120】
図１９は、Ｗｅｂサーバ３０の検知／追跡結果判定機能部３４による追跡結果判定処理の処理手順を示すフローチャートである。検知／追跡結果判定機能部３４は、定期的に、例えば映像解析機能部２０の監視／追跡実行機能部２３の追跡処理の処理間隔に同期して、このフローチャートに示す処理を実施する。
【0121】
検知／追跡結果判定機能部３４は、まず、監視／追跡実行機能部２３から類似度と照合用画像のセットを受信したか否か判断する（ステップＳ１２１）。類似度と照合用画像のセットを受信していないと判断した場合には、検知／追跡結果判定機能部３４は、この追跡結果判定処理を終了する。
【0122】
これに対して、類似度と照合用画像のセットを受信したと判断した場合には、検知／追跡結果判定機能部３４は、顔照合閾値１と全身照合閾値１を取得する（ステップＳ１２２）。すなわち、検知／追跡結果判定機能部３４は、カメラ情報テーブル記憶部３２１に記憶されている、それら類似度と照合用画像のセットの送信元である映像解析機能部２０に対応する監視カメラ１０についてのカメラ情報テーブル３２１１から、顔照合閾値１と全身照合閾値１を取得する。
【0123】
そして、検知／追跡結果判定機能部３４は、受信した全身画像類似度のそれぞれについて、取得した全身照合閾値１と比較し、全身照合閾値１以上の全身画像類似度が有るか否か判断する（ステップＳ１２３）。全身照合閾値１以上の全身画像類似度が有ると判断した場合には、検知／追跡結果判定機能部３４は、その全身特徴量を有する人物は追跡対象者であると判別する。よってこの場合には、検知／追跡結果判定機能部３４は、その大きいと判断された全身画像類似度を、上記ステップＳ１２１で受信した対応する照合用全身画像と共に、記憶装置３０２の所定の記憶領域に保存しておくと共に、全身画像類似度を追跡テーブル３２５１に登録する（ステップＳ１２４）。この全身画像類似度の登録に際して、追跡テーブル記憶部３２５に、該当要注意者ＩＤの追跡テーブル３２５１が未だ記憶されていない場合には、追跡テーブル３２５１を生成し、その生成した追跡テーブル２５１を追跡テーブル記憶部３２５に記憶させる。また、追跡テーブル記憶部３２５に、該当要注意者ＩＤの追跡テーブル３２５１が既に記憶されている場合には、新たな追跡テーブル３２５１を生成するのではなく、レコードを追加する。追跡テーブル３２５１に登録される全身画像類似度は、全身照合閾値１以上の値の全身画像類似度である。
【0124】
その後、或いは上記ステップＳ１２３において全身照合閾値１以上の全身画像類似度が無いと判断した場合、検知／追跡結果判定機能部３４は、受信した顔画像類似度のそれぞれについて、取得した顔照合閾値１と比較し、顔照合閾値１以上の顔画像類似度が有るか否か判断する（ステップＳ１２５）。顔照合閾値１以上の顔画像類似度が有ると判断した場合には、検知／追跡結果判定機能部３４は、その顔特徴量を有する人物は追跡対象者であると判別する。よってこの場合には、検知／追跡結果判定機能部３４は、その大きいと判断された顔画像類似度を、上記ステップＳ１２１で受信した対応する照合用顔画像と共に、記憶装置３０２の所定の記憶領域に保存しておくと共に、顔画像類似度を追跡テーブル３２５１に登録する（ステップＳ１２６）。この顔画像類似度の登録に際して、追跡テーブル記憶部３２５に、該当要注意者ＩＤの追跡テーブル３２５１が未だ記憶されていない場合には、追跡テーブル３２５１を生成し、その生成した追跡テーブル２５１を追跡テーブル記憶部３２５に記憶させる。また、追跡テーブル記憶部３２５に、該当要注意者ＩＤの追跡テーブル３２５１が既に記憶されている場合には、新たな追跡テーブル３２５１を生成するのではなく、レコードを追加する。追跡テーブル３２５１に登録される顔画像類似度は、顔照合閾値１以上の値の全身画像類似度である。
【0125】
その後、或いは上記ステップＳ１２５において顔照合閾値１以上の顔画像類似度が無いと判断した場合には、検知／追跡結果判定機能部３４は、この追跡結果判定処理を終了する。
【0126】
図２０Ａ乃至図２０Ｃは、追跡機能部３５３の追跡アラート出力機能部３５３２による追跡アラート出力処理の処理手順を示すフローチャートである。追跡アラート出力機能部３５３２は、定期的に、例えば映像解析機能部２０の監視／追跡実行機能部２３における時間間隔ｔ１おきに、このフローチャートに示す処理を実施する。
【0127】
追跡アラート出力機能部３５３２は、まず、監視端末４０において、監視者によってＷｅｂブラウザ４１に表示される追跡アラート画面における絞り込み指定操作が行われたか否か判断する（ステップＳ５０１）。絞り込み指定操作が行われたと判断した場合、追跡アラート出力機能部３５３２は、後述するステップＳ５１９へと進む。
【0128】
これに対して、絞り込み指定操作が行われていないと判断した場合、追跡アラート出力機能部３５３２は、カメラ情報テーブル記憶部３２１に記憶されている、各監視カメラ１０についてのカメラ情報テーブル３２１１から、顔照合閾値１～３及び全身照合閾値１～３を取得する（ステップＳ５０２）。
【0129】
その後、追跡アラート出力機能部３５３２は、追跡テーブル記憶部３２５に記憶されている追跡テーブル３２５１から新規の追跡結果を取得する（ステップＳ５０３）。すなわち、追跡アラート出力機能部３５３２は、追跡テーブル３２５１における全身画像類似度及び顔画像類似度として、画像類似度ＩＤではなくて類似度の実数が記録されているものを抽出して取得する。
【0130】
そして、追跡アラート出力機能部３５３２は、追跡テーブル３２５１における顔画像類似度の値が顔照合閾値３以上であるか否か判断する（ステップＳ５０４）。顔画像類似度の値が顔照合閾値３以上であると判断した場合、追跡アラート出力機能部３５３２は、追跡テーブル記憶部３２５の当該追跡テーブル３２５１における顔画像類似度の値を、実数から顔画像類似度ラベルＩＤ、ここではＩＤ＝３に書き換える（ステップＳ５０５）。
【0131】
これに対して、顔画像類似度の値が顔照合閾値３以上ではないと判断した場合、追跡アラート出力機能部３５３２は、更に、顔画像類似度の値が顔照合閾値２以上であるか否か判断する（ステップＳ５０６）。顔画像類似度の値が顔照合閾値２以上であると判断した場合、追跡アラート出力機能部３５３２は、追跡テーブル記憶部３２５の当該追跡テーブル３２５１における顔画像類似度の値を、実数から顔画像類似度ラベルＩＤ、ここではＩＤ＝２に書き換える（ステップＳ５０７）。
【0132】
また、顔画像類似度の値が顔照合閾値２以上ではないと判断した場合、追跡アラート出力機能部３５３２は、更に、顔画像類似度の値が顔照合閾値１以上であるか否か判断する（ステップＳ５０８）。顔画像類似度の値が顔照合閾値１以上であると判断した場合、追跡アラート出力機能部３５３２は、追跡テーブル記憶部３２５の当該追跡テーブル３２５１における顔画像類似度の値を、実数から顔画像類似度ラベルＩＤ、ここではＩＤ＝１に書き換える（ステップＳ５０９）。
【0133】
追跡機能部３５３の追跡動作に係わる処理では、顔画像類似度と全身類似度との両方を利用しており、追跡テーブル３２５１には顔画像類似度と全身類似度の何れか片方しか登録されない場合が存在する。すなわち、顔画像類似度の値が顔照合閾値２以上ではないときには、顔照合閾値１以上である値の顔画像類似度の値が登録されている場合と、顔照合閾値１より小さい顔画像類似度の値が登録されている（又は顔画像類似度の値が登録されていない）場合と、が存在する。そのため、顔画像類似度の値が顔照合閾値２以上ではないというだけで、顔画像類似度の値は顔照合閾値１以上であると決めることができない。
【0134】
以上のようにして、追跡テーブル３２５１における顔画像類似度の値を顔画像類似度ラベルＩＤに書き換えたならば、或いは、上記ステップＳ５０８において顔画像類似度の値が顔照合閾値１以上ではないと判断した場合、追跡アラート出力機能部３５３２は、全身画像類似度の判定動作に移る。
【0135】
すなわち、追跡アラート出力機能部３５３２は、追跡テーブル３２５１における全身画像類似度の値が全身照合閾値３以上であるか否か判断する（ステップＳ５１０）。全身画像類似度の値が全身照合閾値３以上であると判断した場合、追跡アラート出力機能部３５３２は、追跡テーブル記憶部３２５の当該追跡テーブル３２５１における全身画像類似度の値を、実数から全身画像類似度ラベルＩＤ、ここではＩＤ＝３に書き換える（ステップＳ５１１）。
【0136】
これに対して、全身画像類似度の値が全身照合閾値３以上ではないと判断した場合、追跡アラート出力機能部３５３２は、更に、全身画像類似度の値が全身照合閾値２以上であるか否か判断する（ステップＳ５１２）。全身画像類似度の値が全身照合閾値２以上であると判断した場合、追跡アラート出力機能部３５３２は、追跡テーブル記憶部３２５の当該追跡テーブル３２５１における全身画像類似度の値を、実数から全身画像類似度ラベルＩＤ、ここではＩＤ＝２に書き換える（ステップＳ５１３）。
【0137】
また、全身画像類似度の値が全身照合閾値２以上ではないと判断した場合、追跡アラート出力機能部３５３２は、更に、全身画像類似度の値が全身照合閾値１以上であるか否か判断する（ステップＳ５１４）。全身画像類似度の値が全身照合閾値１以上であると判断した場合、追跡アラート出力機能部３５３２は、追跡テーブル記憶部３２５の当該追跡テーブル３２５１における全身画像類似度の値を、実数から全身画像類似度ラベルＩＤ、ここではＩＤ＝１に書き換える（ステップＳ５１５）。
【0138】
以上のようにして、追跡テーブル３２５１における全身画像類似度の値を全身画像類似度ラベルＩＤに書き換えたならば、或いは、上記ステップＳ５１４において全身画像類似度の値が全身照合閾値１以上ではないと判断した場合、追跡アラート出力機能部３５３２は、画面画像である新規の追跡情報カードを作成する（ステップＳ５１６）。この追跡情報カードは、上記ステップＳ１２４及びステップＳ１２６で記憶装置３０２の所定の記憶領域に保存された照合用全身画像及び照合用顔画像と、それに対応する追跡テーブル３２５１における全身画像類似度ラベルＩＤ及び顔画像類似度ラベルＩＤに基づく注意段階を示す注意段階表示と、を含む画面画像である。この追跡情報カードについては、詳細を後述する。
【0139】
追跡アラート出力機能部３５３２は、この作成した新規の追跡情報カードにより、Ｗｅｂブラウザ４１にて表示するための追跡アラート画面を更新する（ステップＳ５１７）。そして、追跡アラート出力機能部３５３２は、この更新した追跡アラート画面を、ネットワークＮＥＴを介してＷｅｂブラウザ４１に送信して、そこに表示させる（ステップＳ５１８）。Ｗｅｂブラウザ４１では、監視画面の一部に設けられたアラート画面表示領域に、或いは、監視画面とは別のウィンドウを開いて、この追跡アラート画面を表示する。そして、追跡アラート出力機能部３５３２は、この追跡アラート出力処理を終了する。
【0140】
一方、上記ステップＳ５０１において絞り込み指定操作が行われたと判断した場合、追跡アラート出力機能部３５３２は、その指定された絞り込みレベルを取得する（ステップＳ５１９）。この絞り込みレベルは、追跡アラート画面に表示する追跡情報カードを絞り込むための指標である。
【0141】
追跡アラート出力機能部３５３２は、追跡テーブル記憶部３２５に記憶されている追跡テーブル３２５１より、指定された絞り込みレベルに応じた要注意者ＩＤを抽出する（ステップＳ５２０）。
【0142】
そして、追跡アラート出力機能部３５３２は、それら抽出した要注意者ＩＤの検知ＩＤに基づいて、過去検索用データ記憶部３１１に過去検索用データとして記憶された全身画像３１１２と、映像解析機能部２０の人検知情報抽出機能部２２によってその全身画像３１１２から抽出した顔画像とを含む、追跡アラート画面に表示可能な個数分の追跡情報カードを作成する（ステップＳ５２１）。
【0143】
その後、追跡アラート出力機能部３５３２は、上記ステップＳ５１６と同様に、新規追跡情報カード作成し（ステップＳ５２２）、上記ステップＳ５１７と同様に、作成した追跡情報カードにより追跡アラート画面を更新する（ステップＳ５２３）。そして、追跡アラート出力機能部３５３２は、上記ステップＳ５１８の処理に進み、更新した追跡アラート画面をＷｅｂブラウザ４１に送信して、そこに表示させることとなる。
【0144】
図２１は、Ｗｅｂブラウザ４１に表示される追跡アラート画面４３の一例を示す図である。追跡アラート画面４３は、追跡対象者情報領域４３１と、追跡情報カード４３２と、絞り込み指示領域４３３と、を含む。
【0145】
追跡対象者情報領域４３１は、追跡対象者に関する情報を表示する領域であり、追跡対象者を追加する毎に、追跡アラート画面４３の最上位に追加表示されていく。古い追跡対象者情報領域４３１は順次下方にシフトされていく。ここで、最上位つまり最新の追跡対象者情報領域４３１とその他の追跡対象者情報領域４３１とでは、表示内容が異なっている。すなわち、最上位の追跡対象者情報領域４３１は、注意喚起ラベル４３１１、要注意者ＩＤ４３１２、登録画像４３１３、追跡情報４３１４、及び、追跡停止ボタン４３１５を含む。これに対して、最上位以外の追跡対象者情報領域４３１は、登録画像４３１３と追跡情報４３１４のみを含む。
【0146】
ここで、注意喚起ラベル４３１１は、監視者の注意を促すためのメッセージであり、点滅表示灯の識別表示を行うようにしても良い。要注意者ＩＤ４３１２は、管理テーブル３２４１から転記される識別情報である。登録画像４３１３は、追跡対象者の管理データ記憶部３１３に記憶された登録顔画像３１３１及び登録全身画像３１３３である。追跡情報４３１４は、当該追跡対象者に関する情報であり、最上位の追跡対象者情報領域４３１の追跡情報４３１４とその他の追跡対象者情報領域４３１の追跡情報４３１４とでは、内容が異なっている。すなわち、最上位の追跡対象者情報領域４３１の追跡情報４３１４は、管理テーブル３２４１から転記される状態情報である補正後体温、補正後脈拍数及び補正後咳症状を含む。最上位以外の追跡対象者情報領域４３１の追跡情報４３１４は、これら状態情報に代えて、追跡状況を含んでいる。追跡停止ボタン４３１５は、当該人物の追跡を終了する場合に押下されるボタンである。
【0147】
また、追跡情報カード４３２は、追跡アラート出力機能部３５３２が新規カードを作成する毎に、追跡アラート画面４３の最上位に追加表示されていく。古い追跡情報カード４３２は順次下方にシフトされていく。この追跡情報カード４３２は、その表示内容として、検出日時情報４３２１、検出カメラ場所情報４３２２、検出顔画像４３２３、顔注意段階表示４３２４、検出全身画像４３２５、全身注意段階表示４３２６、及び、検出背景画像４３２７を含む。
【0148】
ここで、検出日時情報４３２１は、当該追跡対象者が何れかの監視カメラ１０の監視画像から検知された日時情報である。検出カメラ場所情報４３２２は、その検知した監視カメラＩＤに基づくカメラ場所情報である。検出顔画像４３２３は、検知されて保存された追跡対象者の照合用顔画像である。顔注意段階表示４３２４は、追跡対象者の顔画像と検知された人物の顔画像との類似度の段階を示すものである。すなわち、類似度が、実数ではなくて、追跡テーブル３２５１における顔画像類似度ラベルＩＤに基づく複数段階、ここでは３段階の注意段階表示として示されている。この顔注意段階表示４３２４では、図２１においてハッチングにより表している識別表示された四角形の数が、顔画像類似度ラベルＩＤに対応する。例えば、一番上の追跡情報カード４３２では、追跡テーブル３２５１における顔画像類似度ラベルＩＤが「２」であったので、顔注意段階表示４３２４では、２個の四角形が識別表示され、上から二番目の追跡情報カード４３２では、追跡テーブル３２５１における顔画像類似度ラベルＩＤが「３」であったので、顔注意段階表示４３２４では、３個の四角形が識別表示されている。
【0149】
同様に、検出全身画像４３２５は、検知されて保存された追跡対象者の照合用全身画像である。全身注意段階表示４３２６は、追跡対象者の全身画像と検知された人物の全身画像との類似度の段階を示すものである。すなわち、類似度が、実数ではなくて、追跡テーブル３２５１における全身画像類似度ラベルＩＤに基づく複数段階、ここでは３段階の注意段階表示として示されている。この全身注意段階表示４３２６も顔注意段階表示４３２４と同様、図２１においてハッチングにより表している識別表示された四角形の数が、全身画像類似度ラベルＩＤに対応する。例えば、一番上の追跡情報カード４３２では、追跡テーブル３２５１における全身画像類似度ラベルＩＤが「３」であったので、全身注意段階表示４３２６では、３個の四角形が識別表示され、上から二番目の追跡情報カード４３２では、追跡テーブル３２５１における全身画像類似度ラベルＩＤが「２」であったので、全身注意段階表示４３２６では、２個の四角形が識別表示されている。
【0150】
検出背景画像４３２７は、照合用顔画像及び／または照合用全身画像を抽出した元の監視画像であるフレーム画像である。このフレーム画像は、過去検索用データ記憶部３１１に記憶されているフレーム画像３１１１が用いられる。
【0151】
なお、追跡情報カード４３２は、必ずしも、検出顔画像４３２３及び顔注意段階表示４３２４と、検出全身画像４３２５及び全身注意段階表示４３２６と、の両方を含むとは限らず、どちらか一方のみの場合も有り得る。
【0152】
絞り込み指示領域４３３は、追跡アラート画面４３に表示する追跡情報カード４３２を絞り込むための指示を受け付けるための領域である。この絞り込み指示領域４３３は、顔画像類似度選択ボタン４３３１、顔画像類似度選択リセットボタン４３３２、全身画像類似度選択ボタン４３３３、及び、全身画像類似度選択リセットボタン４３３４を含む。
【0153】
ここで、顔画像類似度選択ボタン４３３１は、顔注意段階表示４３２４の段数に対応する３個のボタンを含む。監視者によるこの顔画像類似度選択ボタン４３３１の押下操作に応じた指定段数以上の顔注意段階表示４３２４を含む追跡情報カード４３２のみが追跡アラート画面４３に表示されるようになる。図２１の例では、顔画像類似度選択ボタン４３３１での段数が指定されていないので、追跡アラート画面４３には、１段以上の顔注意段階表示４３２４を含む追跡情報カード４３２が表示されている。顔画像類似度選択リセットボタン４３３２は、顔画像類似度選択ボタン４３３１での段数指定をリセットする際に押下操作されるボタンである。
【0154】
同様に、全身画像類似度選択ボタン４３３３は、全身注意段階表示４３２６の段数に対応する３個のボタンを含む。監視者によるこの全身画像類似度選択ボタン４３３３の押下操作に応じた指定段数以上の全身注意段階表示４３２６を含む追跡情報カード４３２のみが追跡アラート画面４３に表示されるようになる。図２１の例では、全身画像類似度選択ボタン４３３３での段数が指定されていないので、追跡アラート画面４３には、１段以上の全身注意段階表示４３２６を含む追跡情報カード４３２が表示されている。全身画像類似度選択リセットボタン４３３４は、全身画像類似度選択ボタン４３３３での段数指定をリセットする際に押下操作されるボタンである。
【0155】
図２２は、Ｗｅｂブラウザ４１に表示される追跡アラート画面４３の別の例を示す図である。この例は、顔画像類似度選択ボタン４３３１で３段が指定され、全身画像類似度選択ボタン４３３３で１段が指定された場合を示している。ここで、押下操作されたボタンは、図２１ではハッチングにより示すように、識別表示される。顔画像類似度選択ボタン４３３１による指定と全身画像類似度選択ボタン４３３３による指定はアンド条件となり、追跡アラート画面４３には、両方で指定された段数に合致する追跡情報カード４３２のみが表示されるようになる。
【0156】
（２－３）過去検索動作
追跡機能部３５３による追跡動作は、リアルタイムで追跡対象者を追跡する機能である。一方で、過去に特定の人物が当該施設に来訪していないか調査したい場合が存在する。
追跡機能部３５３による追跡動作は、リアルタイムで追跡対象者を追跡する機能である。一方で、過去に特定の人物が当該施設に来訪していないか調査したい場合が存在する。
【0157】
そこで、過去検索機能部３５４は、Ｗｅｂブラウザ４１からの時間及び場所の指定を受けて、過去検索用データテーブル記憶部３２２に記憶されている過去検索用データテーブル３２２１に基づいて、過去検索用データ記憶部３１１からその指定された時間・場所に来訪した人物の全身画像３１１２を抽出する。そして、その抽出した全身画像３１１２を一覧表示した選択画面を作成し、Ｗｅｂブラウザ４１に表示させる。
【0158】
Ｗｅｂブラウザ４１から検索する人物の選択指定を受けて、過去検索機能部３５４は、その選択指定された全身画像３１１２を追跡用全身画像とし、また、リアルタイムの監視カメラ１０からの監視画像に代えて指定された時間・場所についての過去検索用データ記憶部３１１に記憶されたフレーム画像３１１１を対象として、追跡機能部３５３と同様の動作を行う。
【0159】
これにより、過去検索機能部３５４は、過去検索用データ記憶部３１１に記憶されている過去の来訪者の中から、選択指定された人物に類似する人物を検索し、その結果を追跡アラート画面４３としてＷｅｂブラウザ４１に表示させることができる。
【0160】
（３）効果
以上詳述したように一実施形態に係る人物追跡装置としてのＷｅｂサーバ３０は、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれに含まれる人物の健康状態に係わる複数種類の状態情報を、監視画像のそれぞれから検出する情報抽出部としての人検知情報抽出機能部２２から、当該人検知情報抽出機能部２２が検出した複数種類の状態情報を取得し、それら取得した複数種類の状態情報に基づいて、監視画像のそれぞれに含まれる人物が規定の症状に該当する特定人物であるか否か判別する判別部としての検知／追跡結果判定機能部３４と、検知／追跡結果判定機能部３４の判別結果に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された人物の画像の内、インフルエンザ等の規定の症状に該当する特定人物の画像を、追跡対象者画像として登録する登録部としての画像登録機能部３５３１と、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから、画像登録機能部３５３１によって登録された追跡対象者画像に類似する人物の画像を検知する検知部としての検知／追跡結果判定機能部３４と、検知／追跡結果判定機能部３４が検知した追跡対象者画像に類似する人物の画像を提示するための追跡出力画面としての追跡アラート画面４３を生成する追跡出力画面生成部としての追跡アラート出力機能部３５３２と、を具備するようにしている。これにより、監視カメラ１０によって取得した監視画像から規定の症状に該当する人物を検知し、追跡できるようになる。
以上詳述したように一実施形態に係る人物追跡装置としてのＷｅｂサーバ３０は、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれに含まれる人物の健康状態に係わる複数種類の状態情報を、監視画像のそれぞれから検出する情報抽出部としての人検知情報抽出機能部２２から、当該人検知情報抽出機能部２２が検出した複数種類の状態情報を取得し、それら取得した複数種類の状態情報に基づいて、監視画像のそれぞれに含まれる人物が規定の症状に該当する特定人物であるか否か判別する判別部としての検知／追跡結果判定機能部３４と、検知／追跡結果判定機能部３４の判別結果に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された人物の画像の内、インフルエンザ等の規定の症状に該当する特定人物の画像を、追跡対象者画像として登録する登録部としての画像登録機能部３５３１と、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから、画像登録機能部３５３１によって登録された追跡対象者画像に類似する人物の画像を検知する検知部としての検知／追跡結果判定機能部３４と、検知／追跡結果判定機能部３４が検知した追跡対象者画像に類似する人物の画像を提示するための追跡出力画面としての追跡アラート画面４３を生成する追跡出力画面生成部としての追跡アラート出力機能部３５３２と、を具備するようにしている。これにより、監視カメラ１０によって取得した監視画像から規定の症状に該当する人物を検知し、追跡できるようになる。
【0161】
なお、Ｗｅｂサーバ３０は、検知／追跡結果判定機能部３４の判別結果に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された人物の画像の内、規定の症状に該当する特定人物の画像を、状態情報と共に提示するための検知出力画面としての検知アラート画面４２を生成する検知出力画面生成部としての検知アラート出力機能部３５２１を更に具備するようにし、画像登録機能部３５３１は、この検知アラート出力機能部３５２１が生成した検知アラート画面４２を表示する監視端末４０から、検知アラート画面４２に提示された人物の画像の中から追跡を行うべき追跡対象者の画像の指定を取得し、その取得した指定された画像を追跡対象者画像として登録するようにしている。よって、検知アラート画面４２に複数の追跡候補者をその状態情報と共に提示することで、追跡しなければならない追跡対象者を監視者が容易に認識できるようになる。
【0162】
また、検知／追跡結果判定機能部３４は、取得した複数種類の状態情報の内の何れか一種類でも既定値以上であるとき、複数台の監視カメラ１０それぞれの監視画像から抽出された人物の画像が規定の症状に該当する特定人物の画像であると判別するようにしている。よって、少しでも規定の症状に該当する可能性がある人物を確実にピックアップすることができる。
【0163】
また、検知アラート出力機能部３５２１は、複数種類の状態情報それぞれの種類に対して指定された提示閾値を取得し、取得した提示閾値に基づいて、検知／追跡結果判定機能部３４が規定の症状に該当すると判別した特定人物の画像の中から、検知アラート画面４２に提示するべき画像を絞り込むようにしている。よって、監視者が提示閾値を指定することで、検知アラート画面４２に提示される規定の症状に該当する可能性がある人物を絞り込むことができ、追跡しなければならない追跡対象者を監視者が容易に認識できるようになる。
【0164】
この場合、検知アラート出力機能部３５２１は、取得したそれぞれの種類に対する提示閾値の中の何れか一つの提示閾値以上の状態情報を検出した特定人物の画像を、検知アラート画面４２に提示するべき画像として選択するようにしている。よって、少しでも規定の症状に該当する可能性がある人物を、絞り込み対象外としてしまうおそれがない。
【0165】
また、Ｗｅｂサーバ３０は、複数台の監視カメラ１０それぞれについて、状態情報を補正するための補正係数を記憶したカメラ情報記憶部としてのカメラ情報テーブル記憶部３２１を更に備え、検知／追跡結果判定機能部３４は、人検知情報抽出機能部２２から取得した状態情報を、このカメラ情報テーブル記憶部３２１に記憶された補正係数により補正し、補正後の状態情報に基づいて、人物の画像が規定の症状に該当する特定人物の画像であるか否か判別するようにしている。よって、監視カメラ１０の種類等の違いに依存する状態情報間のバラツキを減らすことができる。
【0166】
なお、状態情報は、監視画像からそれぞれ抽出される、体温、脈拍数及び咳症状の内の少なくとも一つを含むことができる。
【0167】
また、一実施形態に係る人物追跡システムは、一実施形態に係る人物追跡装置としてのＷｅｂサーバ３０と、複数台の監視カメラ１０と、監視者が操作する監視端末４０と、人検知情報抽出機能部２２を備える解析部としての映像解析機能部２０と、を備えることができる。
【0168】
また、一実施形態に係る人物追跡方法は、複数台の監視カメラ１０が取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、コンピュータであるＷｅｂサーバ３０が、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれに含まれる人物の健康状態に係わる複数種類の状態情報を、監視画像のそれぞれから検出する情報抽出部としての人検知情報抽出機能部２２から、当該人検知情報抽出機能部２２が検出した複数種類の状態情報を取得し、それら取得した複数種類の状態情報に基づいて、監視画像のそれぞれに含まれる人物が規定の症状に該当する特定人物であるか否か判別し、その判別の結果に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された人物の画像の内、規定の症状に該当する特定人物の画像を、追跡対象者画像としてメモリであるファイルサーバ３１に登録し、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから、登録された追跡対象者画像に類似する人物の画像を検知し、それら検知した追跡対象者画像に類似する人物の画像を提示するための追跡アラート画面４３を生成するようにしている。これにより、監視カメラ１０によって取得した監視画像から規定の症状に該当する人物を検知し、追跡できるようになる。
【0169】
［他の実施形態］
前記一実施形態では、検知アラート画面４２に提示される検知人物カード４２１は、提示閾値の何れか以上の体温、脈拍数または咳症状に該当する人物のものとしたが、全ての提示閾値以上であることを条件としても良い。この場合、検知アラート出力機能部３５２１の処理手順を、図１４Ｂに示すフローチャートに示す手順に代えて、図２３に示すフローチャートに示す手順のようにすれば良い。すなわち、ステップＳ２０８において補正後体温が指定体温以上でないと判断した場合、ステップＳ２１１において補正後脈拍数が指定脈拍数以上でないと判断した場合、或いは、ステップＳ２１２において補正後咳症状が指定咳症状以上でないと判断した場合には、検知アラート出力機能部３５２１は、検知人物カードを作成せずに、ステップＳ２１０の判断処理へと進む。そして、ステップＳ２０８において補正後体温が指定体温以上であると判断し、ステップＳ２１１において補正後脈拍数が指定脈拍数以上であると判断し、且つ、ステップＳ２１２において補正後咳症状が指定咳症状以上であると判断した場合にのみ、検知アラート出力機能部３５２１は、ステップＳ２０９に進んで、検知人物カードを作成するようにする。
前記一実施形態では、検知アラート画面４２に提示される検知人物カード４２１は、提示閾値の何れか以上の体温、脈拍数または咳症状に該当する人物のものとしたが、全ての提示閾値以上であることを条件としても良い。この場合、検知アラート出力機能部３５２１の処理手順を、図１４Ｂに示すフローチャートに示す手順に代えて、図２３に示すフローチャートに示す手順のようにすれば良い。すなわち、ステップＳ２０８において補正後体温が指定体温以上でないと判断した場合、ステップＳ２１１において補正後脈拍数が指定脈拍数以上でないと判断した場合、或いは、ステップＳ２１２において補正後咳症状が指定咳症状以上でないと判断した場合には、検知アラート出力機能部３５２１は、検知人物カードを作成せずに、ステップＳ２１０の判断処理へと進む。そして、ステップＳ２０８において補正後体温が指定体温以上であると判断し、ステップＳ２１１において補正後脈拍数が指定脈拍数以上であると判断し、且つ、ステップＳ２１２において補正後咳症状が指定咳症状以上であると判断した場合にのみ、検知アラート出力機能部３５２１は、ステップＳ２０９に進んで、検知人物カードを作成するようにする。
【0170】
このように、検知アラート出力機能部３５２１は、取得したそれぞれの種類に対する提示閾値の全てについて、提示閾値以上の状態情報を検出した特定人物の画像を、検知アラート画面４２に提示するべき画像として選択する。よって、規定の症状に該当する可能性が高い人物を容易に絞り込むことができる。
【0171】
また、前記一実施形態では、ファイルサーバ３１の過去検索用データ記憶部３１１に、過去検索用データとしてフレーム画像３１１１、全身画像３１１２、全身特徴量３１１３及び顔特徴量３１１４を記憶していくものとしたが、顔特徴量３１１４を抽出する元となった顔画像も記憶するようにしても良い。
【0172】
また、図１３乃至図１４Ｂ、図１７乃至図２０Ｃ、及び図２３のフローチャートに示した処理ステップの順序は一例であり、この順に限定するものではない。例えば、図１３のステップＳ１０１の処理とステップＳ１０２の処理とは、順番が逆でも良いし、並行して行っても良い。また、図１８において、ステップＳ４１２及びＳ４１３の処理とステップＳ４１４及びＳ４１５の処理とは、順番が逆でも良いし、並行して行っても良い。また、図２０ＡにおけるステップＳ５０４乃至Ｓ５０９の処理と図２０ＢにおけるステップＳ５１０乃至Ｓ５１５の処理とについても、その順番は逆でも良いし、並行して行っても良い。このように、各処理ステップは、先行の又は後続する処理ステップと齟齬が生じない限り、処理順序等を変更して構わない。
【0173】
また、図１５（及び図１６）に示した検知アラート画面４２、並びに、図２１（及び図２２）に示した追跡アラート画面４３についても、図示したレイアウト並びに表示内容に限定するものではない。例えば、検知咳症状４２１６、顔注意段階表示４３２４及び全身注意段階表示４３２６を、複数の四角形を識別表示する個数で表しているが、例えばイエロー、オレンジ、レッドのように一つの四角形の色を変更する識別表示によって注意段階を表すようにしても良い。或いは、四角形の個数や色ではなく、Ａ～Ｃや１～３のように、注意段階を文字で表しても構わない。
【0174】
また、一実施形態では、監視カメラ１０で取得した監視画像から人物の全身画像を抽出し、その抽出した全身画像から人物の顔画像を抽出するものとして説明したが、これに限定するものではない。監視画像に人物の顔が写っている場合には、全身画像を抽出することなく顔画像を抽出するようにしても良い。
【0175】
また、一実施形態では、全身画像特徴量及び顔画像特徴量として、人物自体の属性情報を数値化したものとしたが、これに限定するものではない。全身特徴量は、例えば、服装、持ち物（バッグの種類や色、ベビーカー、等）、装飾品（サングラス、マスク、等）、等の人に付随する付随情報を数値化したものを含んでも良い。さらに、全身特徴量は、発熱情報、脈拍、等の画像から得られる又は他のセンサから得られる人の内部情報を数値化したものを含んでも良い。また、顔特徴量は、装飾品（メガネ、帽子、等）等の顔に付随する付随情報を数値化したものを含んでも良い。
【0176】
また、全身画像特徴量及び顔画像特徴量は人物自体の属性情報を数値化したもののみとし、それら付随情報を数値化したものや人の内部情報を数値化したものを別の特徴量として、全身画像特徴量及び顔画像特徴量と同様の検知基準の一つとして、その別の特徴量を使用するようにしても良い。
【0177】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態に亘る構成要素を適宜組み合わせても良い。
【符号の説明】
【0178】
１…人物追跡システム
１０…監視カメラ
２０…映像解析機能部
２１…画像取得モジュール
２２…人検知情報抽出機能部
２３…監視／追跡実行機能部
３０…Ｗｅｂサーバ
３１…ファイルサーバ
３２…データベース（ＤＢ）サーバ
３３…検索用人検知結果保存機能部
３４…検知／追跡結果判定機能部
３５…Ｗｅｂアプリケーション
４０…監視端末
４１…Ｗｅｂブラウザ
４２…検知アラート画面
４３…追跡アラート画面
２２１…全身検出モジュール
２２２…領域追跡モジュール
２２３…全身特徴量抽出モジュール
２２４…顔検出モジュール
２２５…顔特徴量抽出モジュール
２２６…体温検出モジュール
２２７…脈拍検出モジュール
２２８…咳検出モジュール
２３１…全身照合モジュール
２３２…顔照合モジュール
２５１…追跡テーブル
３０１Ａ…ハードウェアプロセッサ
３０１Ｂ…プログラムメモリ
３０２…記憶装置
３０３…通信インタフェース装置
３０４…バス
３１１…過去検索用データ記憶部
３１２…検知履歴データ記憶部
３１３…管理データ記憶部
３２１…カメラ情報テーブル記憶部
３２２…過去検索用データテーブル記憶部
３２３…検知履歴テーブル記憶部
３２４…管理テーブル記憶部
３２５…追跡テーブル記憶部
３５１…ログイン機能部
３５２…監視機能部
３５３…追跡機能部
３５４…過去検索機能部
４２１…検知人物カード
４２２，４３３…絞り込み指示領域
４３１…追跡対象者情報領域
４３２…追跡情報カード
３１１１…フレーム画像
３１１２…全身画像
３１１３，３１２４，３１３４…全身特徴量
３１１４，３１２２，３１３２…顔特徴量
３１１５…体温
３１１６…脈拍数
３１１７…咳症状
３１２１…検知顔画像
３１２３…検知全身画像
３１３１…登録顔画像
３１３３…登録全身画像
３２１１…カメラ情報テーブル
３２２１…過去検索用データテーブル
３２３１…検知履歴テーブル
３２４１…管理テーブル
３２５１…追跡テーブル
３５２１…検知アラート出力機能部
３５３１…画像登録機能部
３５３２…追跡アラート出力機能部
４２１１，４３１１…注意喚起ラベル
４２１２，４３１２…要注意者ＩＤ
４２１３…追跡候補者画像
４２１４…検知体温
４２１５…検知脈拍数
４２１６…検知咳症状
４２１７…追跡開始ボタン
４２２１…体温提示閾値設定スライダ
４２２２…脈拍数提示閾値設定スライダ
４２２３…咳症状閾値設定ボタン
４３１３…登録画像
４３１４…追跡情報
４３１５…追跡停止ボタン
４３２１…検出日時情報
４３２２…検出カメラ場所情報
４３２３…検出顔画像
４３２４…顔注意段階表示
４３２５…検出全身画像
４３２６…全身注意段階表示
４３２７…検出背景画像
４３３１…顔画像類似度選択ボタン
４３３２…顔画像類似度選択リセットボタン
４３３３…全身画像類似度選択ボタン
４３３４…全身画像類似度選択リセットボタン
ＮＥＴ…ネットワーク
ＳＶ…サーバ装置
１０…監視カメラ
２０…映像解析機能部
２１…画像取得モジュール
２２…人検知情報抽出機能部
２３…監視／追跡実行機能部
３０…Ｗｅｂサーバ
３１…ファイルサーバ
３２…データベース（ＤＢ）サーバ
３３…検索用人検知結果保存機能部
３４…検知／追跡結果判定機能部
３５…Ｗｅｂアプリケーション
４０…監視端末
４１…Ｗｅｂブラウザ
４２…検知アラート画面
４３…追跡アラート画面
２２１…全身検出モジュール
２２２…領域追跡モジュール
２２３…全身特徴量抽出モジュール
２２４…顔検出モジュール
２２５…顔特徴量抽出モジュール
２２６…体温検出モジュール
２２７…脈拍検出モジュール
２２８…咳検出モジュール
２３１…全身照合モジュール
２３２…顔照合モジュール
２５１…追跡テーブル
３０１Ａ…ハードウェアプロセッサ
３０１Ｂ…プログラムメモリ
３０２…記憶装置
３０３…通信インタフェース装置
３０４…バス
３１１…過去検索用データ記憶部
３１２…検知履歴データ記憶部
３１３…管理データ記憶部
３２１…カメラ情報テーブル記憶部
３２２…過去検索用データテーブル記憶部
３２３…検知履歴テーブル記憶部
３２４…管理テーブル記憶部
３２５…追跡テーブル記憶部
３５１…ログイン機能部
３５２…監視機能部
３５３…追跡機能部
３５４…過去検索機能部
４２１…検知人物カード
４２２，４３３…絞り込み指示領域
４３１…追跡対象者情報領域
４３２…追跡情報カード
３１１１…フレーム画像
３１１２…全身画像
３１１３，３１２４，３１３４…全身特徴量
３１１４，３１２２，３１３２…顔特徴量
３１１５…体温
３１１６…脈拍数
３１１７…咳症状
３１２１…検知顔画像
３１２３…検知全身画像
３１３１…登録顔画像
３１３３…登録全身画像
３２１１…カメラ情報テーブル
３２２１…過去検索用データテーブル
３２３１…検知履歴テーブル
３２４１…管理テーブル
３２５１…追跡テーブル
３５２１…検知アラート出力機能部
３５３１…画像登録機能部
３５３２…追跡アラート出力機能部
４２１１，４３１１…注意喚起ラベル
４２１２，４３１２…要注意者ＩＤ
４２１３…追跡候補者画像
４２１４…検知体温
４２１５…検知脈拍数
４２１６…検知咳症状
４２１７…追跡開始ボタン
４２２１…体温提示閾値設定スライダ
４２２２…脈拍数提示閾値設定スライダ
４２２３…咳症状閾値設定ボタン
４３１３…登録画像
４３１４…追跡情報
４３１５…追跡停止ボタン
４３２１…検出日時情報
４３２２…検出カメラ場所情報
４３２３…検出顔画像
４３２４…顔注意段階表示
４３２５…検出全身画像
４３２６…全身注意段階表示
４３２７…検出背景画像
４３３１…顔画像類似度選択ボタン
４３３２…顔画像類似度選択リセットボタン
４３３３…全身画像類似度選択ボタン
４３３４…全身画像類似度選択リセットボタン
ＮＥＴ…ネットワーク
ＳＶ…サーバ装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20A】
【図20B】
【図20C】
【図21】
【図22】
【図23】
