特開 2025-99723 対象物監視装置及び対象物監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025099723

(43)【公開日】2025-07-03

(54)【発明の名称】対象物監視装置及び対象物監視方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20250626BHJP

   G06T 7/292 20170101ALI20250626BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 G

G06T7/292

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023216611

(22)【出願日】2023-12-22

(71)【出願人】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】三浦 明日佳

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC11

5C054FC12

5C054HA19

5L096AA02

5L096AA06

5L096BA02

5L096CA05

5L096DA02

5L096DA03

5L096EA39

5L096FA64

5L096FA67

5L096FA69

5L096GA30

5L096GA38

5L096HA05

5L096JA11

5L096KA04

5L096KA15

(57)【要約】

【課題】対象物体の特徴量が変化しても、対象物体を追跡可能な対象物体監視装置を提供する。
【解決手段】本発明の複数の監視領域の映像情報により対象物体を監視する対象物体監視装置１は、映像情報に基づいて対象物体の属性を検出する属性検出部１１と、属性の時系列変化から予測属性を推定する予測属性推定部１２と、対象物体が一つの監視領域からフェードアウトした際に、属性検出部で検出した属性と予測属性推定部で予測した予測属性とに基づいて、他の監視領域の映像情報と対象物体とを紐づけて対象物体を追跡する追跡部１５と、を備える。
【選択図】 図１

【特許請求の範囲】

【請求項1】

複数の監視領域の映像情報により対象物体を監視する対象物体監視装置において、
前記映像情報に基づいて前記対象物体の属性を検出する属性検出部と、
前記属性の時系列変化から予測属性を推定する予測属性推定部と、
前記対象物体が一つの監視領域からフェードアウトした際に、前記属性検出部で検出した属性と前記予測属性推定部で予測した予測属性とに基づいて、他の監視領域の映像情報と対象物体とを紐づけて対象物体を追跡する追跡部と、
を備える対象物体監視装置。

【請求項2】

請求項１に記載の対象物体監視装置において、
前記追跡部は、
前記対象物体の属性と前記属性の時系列変化から予測した予測属性とにより、他の監視領域の映像情報で検出した物体の属性を数値化し、
算出した数値が最も大きい属性を一致度の高い物体の属性とし、
前記属性を検出した映像情報を対象物体に紐づけて対象物体を追跡する、
対象物体監視装置。

【請求項3】

請求項２に記載の対象物体監視装置において、
前記追跡部は、
それぞれの属性を点数化し、
予測属性の選択肢を、予測確率に基づいて予測属性の優先順付けをし、優先順位に応じて重みづけする、
対象物体監視装置。

【請求項4】

請求項１に記載の対象物体監視装置において、さらに、
前記属性の時系列変化からキャプションを生成するキャプション生成部、
を備える対象物体監視装置。

【請求項5】

複数の監視領域の映像情報により対象物体を監視する対象物体監視装置において、
前記映像情報に基づいて前記対象物体の属性を検出する属性検出部と、
前記属性の時系列変化からキャプションを生成するキャプション生成部と、
前記属性の時系列変化から予測キャプションを推定する予測キャプション推定部と、
前記対象物体が一つの監視領域からフェードアウトした際に、前記キャプション生成部で検出したキャプションと前記予測キャプション推定部で予測した予測キャプションとに基づいて、他の監視領域の映像情報と対象物体とを紐づけて対象物体を追跡する追跡部と、
を備える対象物体監視装置。

【請求項6】

請求項５に記載の対象物体監視装置において、
前記予測キャプション推定部は、機械学習モデルにより、予測キャプションを推定する、
対象物体監視装置。

【請求項7】

請求項５に記載の対象物体監視装置において、
前記追跡部が、前記対象物体が一つの監視領域からフェードアウトした後、所定時間内に、対象物体と他の監視領域の映像情報とを紐づけできなかった場合に異常とする、
対象物体監視装置。

【請求項8】

請求項１または請求項５に記載の対象物体監視装置において、
監視領域の位置関係を示し、領域名と当該監視領域を撮影するカメラと隣接領域の情報から構成する監視領域情報を記憶する監視領域情報記憶部を備え、
前記追跡部は、監視領域情報の隣接領域の情報で示される監視領域を対象物体と紐づける他の監視領域とする、
対象物体監視装置。

【請求項9】

請求項８に記載の対象物体監視装置において、
前記監視領域情報記憶部は、前記カメラがＰＴＺカメラの場合には、前記カメラの撮影範囲に応じて監視領域情報を記憶する、
対象物体監視装置。

【請求項10】

複数の監視領域の映像情報により対象物体を監視する対象物体監視方法であって、
前記映像情報に基づいて前記対象物体の属性を検出するステップと、
前記属性の時系列変化から予測属性を推定するステップと、
前記対象物体が一つの監視領域からフェードアウトした際に、前記属性と前記予測属性とに基づいて、他の監視領域の映像情報と対象物体とを紐づけて対象物体を追跡するステップと、
を含む対象物体監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数のカメラで移動する対象物を監視する対象物体監視装置及びその対象物体監視方法に関する。

【背景技術】

【0002】

施設内に複数のカメラを設置して、監視ルームに設けられたモニタにそれぞれのカメラの映像データを表示し、監視員が、モニタを目視して施設内を監視することがよく行われている。この監視システムでは、監視員が複数のモニタの表示を同時に追いかけて施設内を監視する。

【0003】

このため、監視員の負荷は大きく、対象物の見落しが生じる恐れがある。これを解決するため、関連のあるカメラを紐づける技術が考案されている。例えば、特許文献１には、複数のカメラからの映像データを画像の特徴量（faceとbodyの画像）の類似度で紐づけ、統合的に解析し対象者画像を検出する検出部と、対象者画像の検出結果に基づき対象者を追跡する追跡部と、対象者の追跡結果を出力する出力部と、を備える情報処理装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２２－０３０８３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の先行技術によれば、複数のカメラからの映像データに基づく監視員の監視負担を軽減することができる。しかし、特許文献１の技術では、追跡対象者画像の画像特徴量をクエリにして映像データの画像特徴量が類似する人物を抽出している。このため、人物が走るのをやめて歩きだしたときには、特徴量が変化するため追跡対象者を抽出できずに、対象を見失ってしまう場合がある。

【0006】

本発明の目的は、対象物体の特徴量が変化しても、対象物体を追跡可能な対象物体監視装置を提供することにある。

【課題を解決するための手段】

【0007】

前記課題は、下記により解決される。

【0008】

（１）複数の監視領域の映像情報により対象物体を監視する対象物体監視装置において、前記映像情報に基づいて前記対象物体の属性を検出する属性検出部と、前記属性の時系列変化から予測属性を推定する予測属性推定部と、前記対象物体が一つの監視領域からフェードアウトした際に、前記属性検出部で検出した属性と前記予測属性推定部で予測した予測属性とに基づいて、他の監視領域の映像情報と対象物体とを紐づけて対象物体を追跡する追跡部と、を備える対象物体監視装置。

【0009】

（２）（１）に記載の対象物体監視装置において、前記追跡部は、前記対象物体の属性と前記属性の時系列変化から予測した予測属性とにより、他の監視領域の映像情報で検出した物体の属性を数値化し、算出した数値が最も大きい属性を一致度の高い物体の属性とし、前記属性を検出した映像情報を対象物体に紐づけて対象物体を追跡する、対象物体監視装置。

【0010】

（３）（２）に記載の対象物体監視装置において、前記追跡部は、それぞれの属性を点数化し、予測属性の選択肢を、予測確率に基づいて予測属性の優先順付けをし、優先順位に応じて重みづけする、対象物体監視装置。

【0011】

（４）（１）に記載の対象物体監視装置において、さらに、前記属性の時系列変化からキャプションを生成するキャプション生成部と、を備える対象物体監視装置。

【0012】

（５）複数の監視領域の映像情報により対象物体を監視する対象物体監視装置において、前記映像情報に基づいて前記対象物体の属性を検出する属性検出部と、前記属性の時系列変化からキャプションを生成するキャプション生成部と、前記属性の時系列変化から予測キャプションを推定する予測キャプション推定部と、前記対象物体が一つの監視領域からフェードアウトした際に、前記キャプション生成部で検出したキャプションと前記予測キャプション推定部で予測した予測キャプションとに基づいて、他の監視領域の映像情報と対象物体とを紐づけて対象物体を追跡する追跡部と、を備える対象物体監視装置。

【0013】

（６）（５）に記載の対象物体監視装置において、前記予測キャプション推定部は、機械学習モデルにより、予測キャプションを推定する、対象物体監視装置。

【0014】

（７）（５）に記載の対象物体監視装置において、前記追跡部が、前記対象物体が一つの監視領域からフェードアウトした後、所定時間内に、対象物体と他の監視領域の映像情報とを紐づけできなかった場合に異常とする、対象物体監視装置。

【0015】

（８）（１）または（５）に記載の対象物体監視装置において、監視領域の位置関係を示し、領域名と当該監視領域を撮影するカメラと隣接領域の情報から構成する監視領域情報を記憶する監視領域情報記憶部を備え、前記追跡部は、監視領域情報の隣接領域の情報で示される監視領域を対象物体と紐づける他の監視領域とする、対象物体監視装置。

【0016】

（９）（８）に記載の対象物体監視装置において、前記監視領域情報記憶部は、前記カメラがＰＴＺカメラの場合には、前記カメラの撮影範囲に応じて監視領域情報を記憶する、対象物体監視装置。

【0017】

（１０）複数の監視領域の映像情報により対象物体を監視する対象物体監視方法であって、前記映像情報に基づいて前記対象物体の属性を検出するステップと、前記属性の時系列変化から予測属性を推定するステップと、前記対象物体が一つの監視領域からフェードアウトした際に、前記属性と前記予測属性とに基づいて、他の監視領域の映像情報と対象物体とを紐づけて対象物体を追跡するステップと、を含む対象物体監視方法。

【発明の効果】

【0018】

本発明によれば、対象物体の特徴量が変化した場合でも対象物体を追跡可能な対象物体監視装置を提供することができる。

【図面の簡単な説明】

【0019】

【図1】実施形態の対象物監視装置により対象物を監視する監視システムの構成を示す図である。

【図2】撮影領域の位置関係を示す図である。

【図3】監視領域情報の構成を示す図である。

【図4】一つの対象物体の追跡に関する対象物体監視装置１の動作を説明するフロー図である。

【図5】キャプションに基づいて対象物体を追跡する対象物体監視装置の構成を説明する図である。

【発明を実施するための形態】

【0020】

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
図１は、実施形態の対象物監視装置により対象物を監視する監視システムの構成を示す図である。

【0021】

監視システムは、複数のカメラ２ａ～２ｅと表示装置４とネットワーク３と対象物体監視装置１と、から成る。複数のカメラ２ａ～２ｅは、それぞれ、異なる監視領域の映像を撮影する。表示装置４は、複数のモニタにより構成され、それぞれのカメラで撮影した監視領域の映像を表示する。ネットワーク３は、カメラ２ａ～２ｅと表示装置４と対象物体監視装置１とを接続し、映像情報を通信する。対象物体監視装置１は、ネットワーク３を介して取得したカメラ２ａ～２ｅの映像情報を表示装置４に表示するとともに、映像情報の監視対象物体を追跡する。

【0022】

対象物体監視装置１は、ネットワーク３を介して、カメラ２ａ～２ｅの映像情報を受信する不図示の映像情報受信部と、受信したカメラ２ａ～２ｅの映像情報を、カメラ２ａ～２ｅに対応する表示装置４ａ～４ｅに出力する不図示の表示出力部とを備える。

【0023】

さらに、対象物体監視装置１は、属性検出部１１と予測属性推定部１２とキャプション生成部１３と追跡部１５と監視領域情報記憶部１６とキャプション情報記憶部１７とを備える。属性検出部１１は、映像情報受信部で受信したカメラ２ａ～２ｅの映像情報に基づいて、対象物体の属性を検出する。予測属性推定部１２は、対象物体の属性の変化も基づいて属性を予測する。キャプション生成部１３は、対象物体の属性の時系列変化に基づいて対象物体のキャプションを生成する。追跡部１５は、映像情報における対象物体の属性の関連性に基づいて映像情報と対象物体とを紐づけて対象物体を追跡する。監視領域情報記憶部１６は、カメラ２ａ～２ｅの撮影領域の位置関係を記憶する。キャプション情報記憶部１７は、キャプションの履歴を記憶する。

【0024】

なお、対象物体監視装置１は、属性検出部１１と予測属性推定部１２とキャプション生成部１３と追跡部１５と監視領域情報記憶部１６とキャプション情報記憶部１７の処理部や記憶部を、機能に応じて備えるようにする。

【0025】

具体的には、対象物体監視装置１は、プログラムを記憶するＲＯＭ、当該プログラムを実行するＣＰＵと、作業領域となるＲＡＭ、プログラムや処理データを記憶するＨＤＤ／ＳＳＤ等から構成されている情報処理装置である。

【0026】

対象物体監視装置１の属性検出部１１と予測属性推定部１２とキャプション生成部１３と追跡部１５の処理部は、ＲＯＭまたはＨＤＤ／ＳＳＤのプログラムに基づいてＣＰＵが実行することによりその機能を実現する。また、監視領域情報記憶部１６とキャプション情報記憶部１７とは、ＨＤＤ／ＳＳＤに構成する。

【0027】

図２は、撮影情報の領域の位置関係を示す図である。
対象物体監視装置１は、領域５Ａと領域５Ｂと領域５Ｃと領域５Ｄと領域５Ｅの映像情報のそれぞれの映像情報に基づいて、対象物体の属性を検出し、対象物体が含まれる映像情報（領域）と紐づける。ここで、領域５Ａと領域５Ｂと領域５Ｃと領域５Ｄと領域５Ｅの映像情報は、それぞれ、カメラ２ａとカメラ２ｂとカメラ２ｃとカメラ２ｄとカメラ２ｅで撮影した映像情報である。

【0028】

そして、対象物体監視装置１は、対象物体は移動体であるとして、所定時間経過後の映像情報について、検出した属性に相当する対象物体を検出し、対象物体が含まれる映像情報（領域）と紐づける。このようにして、対象物体監視装置１は、属性により特定される対象物体について、順次、映像情報（領域）と紐づけて、対象物体の追跡を行う。属性については後述する。

【0029】

ここで、図２における例を説明する。対象物体監視装置１が、所定の属性を有する対象物体を領域５Ａ（カメラ２ａの映像情報）で検出したとする。対象物体監視装置１は、対象物体が移動したとして、所定時間経過後のカメラ２ａ～２ｅの映像情報について、領域５Ａ（カメラ２ａの映像情報）で検出した対象物体の属性に相当する対象物体の有無を判定する。

【0030】

この際、対象物体監視装置１は、対象物体が移動する確率が高い順（隣接する順、または距離が近い順）に判定する（領域５Ａ、領域５Ｂ・領域５Ｄ、領域５Ｃ・領域５Ｅの順）。また、対象物体監視装置１は、隣接する領域のみで対象物体の有無を判定してもよい。

【0031】

対象物体監視装置１が、カメラ２ｂの映像情報で、領域５Ａで検出した対象物体の属性に相当する対象物体を検出した場合には、属性により特定される対象物体に、カメラ２ｂの映像情報（領域５Ｂ）を紐づける。これにより、対象物体監視装置１は、領域５Ａで検出した対象物体が領域Ｂに移動したことを検知する。対象物体監視装置１は、これを繰り返して、領域５Ａで検出した対象物体を追跡する。

【0032】

図３は、図２に対応し、監視領域の位置関係を示す、監視領域情報記憶部１６（図１）に格納する監視領域情報の構成を示す図である。監視領域情報は、領域名と当該領域を撮影するカメラと隣接領域の情報から構成する。隣接領域は、隣接領域が位置する方位と領域名から成る。また、隣接領域に距離を追加してもよい。例えば、領域名が領域５Ａでは、領域はカメラ２ａにより撮影され、東に領域５Ｂが位置し、東南に領域５Ｄが位置することを示している。

【0033】

図３では、対象物体の領域移動に制限がない場合を示しているが、図２において、領域５Ａと領域５Ｂの間に壁があり直接移動できない場合には、図３の領域５Ａの隣接領域は「南東：領域５Ｄ」のみとなり、領域５Ｂでは、「西：領域５Ａ」は示されない。

【0034】

監視領域の映像を撮影するカメラが、パン（水平方向への首振り）、チルト（垂直方向への首振り）、ズーム（望遠／広角）の機能を有するＰＴＺカメラのような画角を変えられるカメラの場合には、画角の変化に応じて、カメラの撮影領域の位置関係が変化する。このため、図３の監視領域情報記憶部１６に格納する位置関係を示す情報は、ＰＴＺカメラの撮影範囲に応じた複数の情報を格納する。または、監視領域情報記憶部１６に所定時間毎の位置関係を示す情報を格納する。

【0035】

つぎに、図４のフロー図により、一つの対象物体の追跡に関する対象物体監視装置１の動作を説明する。

【0036】

ステップＳ１で、属性検出部１１が、対象物体の映像情報から対象物体の属性を検出する。監視の対象物体を人とした場合の対象物体の属性とは、女性・男性の性別、長髪・短髪坊主等の髪の長さ、青眼・黒眼等の目の色、歩行中・走行中等の行動状態、着衣の種類、靴の種類などの、対象物体の性質・特徴等を示す情報とする。

【0037】

ステップＳ２で、キャプション生成部１３が、ステップＳ１で検出した属性に時系列変化があれば、変化を説明するキャプションを生成し、キャプション情報記憶部１７に記憶する。詳しくは、キャプション生成部１３は、動作の速度や加速度、角速度、方向を属性として、動作の速度や加速度、角速度、方向の変化などの特徴から属性の時系列変化を定性的に捉える。

【0038】

また、キャプション生成部１３は、求めた「しゃがむ」や「立つ」のキャプションが繰り返される場合には、「屈伸している」に変換する。また、キャプション生成部１３は、「Ａ地点から荷物を持って」と「Ｂ地点で荷物を手放した」のキャプションを「ＡからＢに荷物を運んだ」に変換する。このように、キャプション生成部１３は、行動認識を加味することで、局所的な属性検知よりもリッチな情報を時系列変化として取得することができる。

【0039】

ステップＳ３で、対象物体監視装置１は、対象物体が、属性を検出した映像情報の時系列的に次の映像情報において、フェードアウトしているか否かを判定する。そして、対象物体監視装置１は、フェードアウトしている場合には（Ｓ３のＹｅｓ）、ステップＳ４に進み、フェードアウトしていない場合には（Ｓ３のＮｏ）、ステップＳ１に戻る。つまり、対象物体監視装置１は、対象物体が一つの領域から出るまで、属性検出とキャプション生成を行う。

【0040】

ステップＳ４で、予測属性推定部１２が、ステップＳ１で検出した対象物体の属性の時系列変化から、対象物体の追跡のための予測属性を生成する。すなわち、対象物体監視装置１は、複数の撮影領域のカメラの映像情報のうちで、対象物体の生成した予測属性（検出した属性を含む）との一致度が高い属性を検出する映像情報に対応する撮影領域を、対象物体の移動先として、追跡する。

【0041】

詳しくは、予測属性推定部１２は、ディープラーニング等の機械学習による行動モデルにより、対象物体の属性の時系列データに基づいて、予測確率を有する複数の予測属性の選択肢を生成する。この際、予測属性推定部１２は、ステップＳ１で検出した対象物体の属性の時系列情報により、行動モデルのトレーニングも行う。

【0042】

ステップＳ５で、追跡部１５は、予測属性推定部１２で求めた予測属性の選択肢を、予測確率に基づいて、予測属性の優先順付けをし、優先順位に応じて重みづけする。

【0043】

ステップＳ６で、追跡部１５は、追跡する対象物体の属性の特徴量と可変率とから対象物体の属性の点数化を行う。

【0044】

ステップＳ７で、追跡部１５は、対象物体がフェードアウトした所定時間後の複数のカメラの映像情報から検出した物体の属性を、ステップＳ５で求めた予測属性の重みづけと、ステップＳ６で求めた属性の点数に基づいて、数値化する。そして、追跡部１５は、算出した数値が最も大きい属性を、一致度の高い物体の属性とし、属性を検出した映像情報を撮影したカメラ（映像情報）と対象物体とを紐づける。つまり、追跡部１５は、対象物体に紐づけたカメラが撮影する領域に存在するとして、フェードアウトした後の対象物体の追跡をする。

【0045】

この際に、詳しくは、追跡部１５は、監視領域情報記憶部１６を参照して、ステップＳ３でフェードアウトを判定する前に居た炉領域に隣接する領域を、追跡する対象物体の移動先として取得する。そして、追跡部１５は、取得した領域を撮影するカメラを特定し、特定したカメラの映像情報から物体の属性を検出する。

【0046】

以下、具体的な事例を説明する。
≪事例ア≫
まず、対象物体（女性）がカメラ２ｂが撮影する領域５Ｂからカメラ２ｃが撮影する領域Ｃに走っていった際に、カメラ２ｂと２ｃ間で女性を同一の対象物体として紐づけるプロセスを図４のフロー図に対応して説明する。

【0047】

ステップＳ１として、対象物体監視装置１は、対象物体の性別［女性］・身長［170cm］・髪の長さ［長髪］・目の色［青眼］・行動状態［走る］の属性を検出する。

【0048】

ステップＳ２として、対象物体監視装置１は、対象物体の「時速5kmで走る」「時速4kmで走る」「時速3kmで走る」の行動状態の変化により、対象物体の属性の時系列変化を求める。そして、時系列変化から、「女性が失速しながら走っている」、または「170cm、長髪、青眼の女性が失速しながら走っている」のキャプションを生成する。対象物体の「行動状態」の行動属性は変化していないが、属性の時系列変化から失速しながら走っていることが認識でき、これをキャプションとすることで、対象物体の状態を詳細に示すことができる。

【0049】

対象物体監視装置１が、ステップＳ３に対応する、対象物体の属性とキャプションを生成した映像情報から対象物体がフェードアウトしたことを認識すると、以下の対象物体の追跡の処理を行う。

【0050】

ステップＳ４として、対象物体監視装置１は、対象物体の行動状態の時系列変化から、「そのまま走る」「失速から止まる」「歩く」の対象物体の行動状態の属性をフェードアウト後の予測属性として生成する。つまり、対象物体監視装置１は、フェードアウト後の対象物体が、「女性が走っている」「女性が止まる」「女性が歩いている」のいずれかであると予測する。

【0051】

つぎに、ステップＳ５として、対象物体監視装置１は、対象物体の「走っている」「歩いている」「止まる」の予測属性を、この順に優先順付けをする。そして、ステップＳ７として、対象物体監視装置１は、優先順を属性の重みづけとし、「走っている：0.6」「歩いている：0.3」「止まる：0.1」に数値化する。

【0052】

ステップＳ６として、対象物体監視装置１は、対象物体の「身長」「髪の長さ」「目の色」「行動状態」の属性の特徴量と可変率に応じて、点数化する。なお、以降では、「性別」の属性については女性に固定して説明は省略する。

【0053】

詳しくは、「身長」の属性は、可変率が低いため点数は高く、100に点数化する。「髪の長さ」の属性は、可変率が高いが特徴量が多いため点数は中であり、70に点数化する。「目の色」の属性は、可変率が低く特徴量が高いため点数は高く、130に点数化する。「行動状態」の属性は、可変率が高くかつ予測属性により選択肢を広がるため点数は低くなり、50に点数化する。

【0054】

ステップＳ７として、対象物体監視装置１は、対象物体がフェードアウトした所定時間後の領域５Ｃを撮影したカメラ２ｃの映像情報から検出した物体の身長［170cm］・髪の長さ［長髪］・目の色［青眼］・行動状態［歩く］の属性を検出する。そして、対象物体監視装置１は、ステップＳ５で求めた予測属性の重みづけと、ステップＳ６で求めた属性の点数に基づいて数値化し、100+70+130+50*0.3=315を算出する。

【0055】

また、対象物体監視装置１は、領域５Ｄのカメラ２ｄの映像情報から検出した物体の身長［170cm］・髪の長さ［長髪］・目の色［黒眼］・行動状態［走る］の属性を検出し、数値化した属性として100+70+0+50*0.6=200を算出する。さらに、対象物体監視装置１は、領域５Ｅのカメラ２ｅの映像情報から検出した物体の身長［170cm］・髪の長さ［坊主］・目の色［黒眼］・行動状態［走る］の属性を検出し、数値化した属性として100+0+0+50*0.6=130を算出する。

【0056】

そして、対象物体監視装置１は、算出した数値が最も大きい領域５Ｃのカメラ２ｃの映像情報から検出した物体の属性を、最も一致度の高い物体の属性とし、カメラ２ｃと対象物体とを紐づける。つまり、対象物体監視装置１は、対象物体が紐づけたカメラ２ｃが撮影する領域５Ｃに存在するとして、フェードアウトした後の対象物体の追跡をする。

【0057】

対象物体監視装置１は、上記の追跡結果に基づいて、「女性は領域５Ｂから領域５Ｃの方向に減速して走り、歩いて領域５Ｃに侵入した」のキャプションをする。

【0058】

≪事例イ≫
対象物体監視装置１は、カメラ２ａにより撮影される領域Ａの映像情報から、対象物体の性別［男性］・髪の長さ［短髪］・着衣［黒いＴシャツ］・靴［赤い靴］・行動状態［走る］の属性と、性別［男性］・髪の長さ［短髪］・着衣［黒いＴシャツ］・靴［赤い靴］・行動状態［領域外に倒れこむ］の属性とが時系列に検出されたとする。この場合、対象物体監視装置１は、行動状態の属性の時系列変化から、活動していたのに何らかの原因で死角に倒れた、転んだ、ことを想定できる。

【0059】

そして、対象物体監視装置１は、この場合の行動状態の予測属性として、「再び走る」「運ばれる」を、正常なパターンとして生成し、優先順位を高くして重みづけを大きくする。カメラ２ａ以外の他のカメラ２ｂ～２ｅの映像情報から、正常なパターン以外の「寝転がったまま」の行動状態の属性が検出された場合は、異常として捉えることができる。

【0060】

カメラ２ｂの映像情報から、対象物体の性別［男性］・髪の長さ［短髪］・着衣［黒いＴシャツ］・靴［赤い靴］・行動状態［走る］の属性、または、対象物体の性別［男性］・髪の長さ［短髪］・着衣［黒いＴシャツ］・靴［赤い靴］・行動状態［運ばれる］の属性が検出されれば、最も一致度の高い物体の属性とし、カメラ２ｂと対象物体とを紐づける。つまり、対象物体監視装置１は、対象物体が紐づけたカメラ２ｂが撮影する領域５Ｂに存在するとして、フェードアウトした後の対象物体の追跡をする。

【0061】

いずれのカメラの映像情報においても、上記の属性が検出されなければ、異常と検知し、アラームを発報したり、記録したりする。

【0062】

上記では、対象物体監視装置１が、前記対象物体が一つの監視領域からフェードアウトした際に、前記属性検出部で検出した属性と前記予測属性推定部で予測した予測属性とに基づいて、他の監視領域の映像情報と対象物体とを紐づけて対象物体を追跡することが説明したが、キャプションに基づいて対象物体を追跡することも可能である。

【0063】

図５は、キャプションに基づいて対象物体を追跡する対象物体監視装置１の構成を説明する図である。図１の監視システムの対象物体監視装置１とは、予測属性推定部１２に替えて、対象物体の属性の時系列変化も基づいてキャプションを予測する予測キャプション推定部１４を備える点が異なる。

【0064】

つぎに、図４の一つの対象物体の追跡に関する対象物体監視装置１の動作における相違について説明する。対象物体のキャプションに基づいて追跡する方法は、対象物体の属性に基づいて追跡する方法におけるステップＳ４からステップＳ７が異なる。以下に、詳細に説明する。

【0065】

ステップＳ４で、予測キャプション推定部１４が、ステップＳ１で検出した対象物体の属性の時系列変化から、ディープラーニング等の機械学習による行動モデルにより、対象物体の追跡のための予測確率を有する複数の予測キャプションの選択肢を生成する。

【0066】

ステップＳ５で、追跡部１５は、予測キャプション推定部１４で求めた予測キャプションの選択肢を、予測確率に基づいて、予測キャプションの優先順付けをし、優先順位に応じて重みづけする。

【0067】

ステップＳ６で、追跡部１５は、追跡する対象物体の属性の特徴量と可変率とから対象物体のキャプションの点数化を行う。

【0068】

ステップＳ７で、追跡部１５は、対象物体がフェードアウトした所定時間後の複数のカメラの映像情報から検出した物体のキャプションを、ステップＳ５で求めた予測キャプションの重みづけと、ステップＳ６で求めたキャプションの点数に基づいて、数値化する。そして、追跡部１５は、算出した数値が最も大きいキャプションを、一致度の高い物体のキャプションとし、キャプションを検出した映像情報を撮影したカメラと、対象物体とを紐づける。つまり、追跡部１５は、対象物体に紐づけたカメラが撮影する領域に存在するとして、フェードアウトした後の対象物体の追跡をする。

【0069】

上記のようにして、対象物体監視装置１は、物体のキャプションにより対象物体を追跡することができる。しかし、追跡部１５が、対象物体が一つの監視領域からフェードアウトした後、所定時間内に、対象物体と他の監視領域の映像情報とを紐づけできなかった場合、つまり、予測キャプションに対応するに物体のキャプションを検知できなかった場合に、異常とし、アラームを発報してもよい。

【0070】

本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記の実施形態は本発明で分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。

【符号の説明】

【0071】

１ 対象物体監視装置
１１ 属性検出部
１２ 予測属性推定部
１３ キャプション生成部
１４ 予測キャプション推定部
１５ 追跡部
１６ 監視領域情報記憶部
１７ キャプション情報記憶部
２ａ～２ｅ カメラ
３ ネットワーク
４ 表示装置
５Ａ～５Ｅ 領域

【図1】

【図2】

【図3】

【図4】

【図5】