(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022015864
(43)【公開日】2022-01-21
(54)【発明の名称】映像解析装置、広域監視システム及びカメラの選定方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20220114BHJP
G06T 7/292 20170101ALI20220114BHJP
【ＦＩ】
H04N7/18 D
H04N7/18 K
H04N7/18 G
G06T7/292
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2020118994
(22)【出願日】2020-07-10
(11)【特許番号】
(45)【特許公報発行日】2021-04-21
(71)【出願人】
【識別番号】000153443
【氏名又は名称】株式会社 日立産業制御ソリューションズ
(74)【代理人】
【識別番号】110000925
【氏名又は名称】特許業務法人信友国際特許事務所
(72)【発明者】
【氏名】神谷 龍司
(72)【発明者】
【氏名】小味 弘典
(72)【発明者】
【氏名】菊池 博幸
(72)【発明者】
【氏名】瀧 直人
(72)【発明者】
【氏名】村井 泰裕
【テーマコード（参考）】
5C054
5L096
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054FC12
5C054FC13
5C054FE02
5C054HA19
5L096AA06
5L096BA02
5L096CA05
5L096DA02
5L096FA04
5L096FA66
5L096FA67
5L096FA69
5L096HA05
5L096HA11
(57)【要約】
【課題】映像解析にかかる負荷を軽減することができる映像解析装置、広域監視システム及びカメラの選定方法を提供する。
【解決手段】映像解析装置１０２は、カメラ制御部１１と、画像解析部１３と、追跡判定部１５と、解析カメラ選定部１６と、を備えている。追跡判定部１５は、解析された情報から追跡を行う追跡人物の移動速度を算出又は取得する。解析カメラ選定部１６は、移動速度に基づいてカメラ探索範囲を設定し、カメラ探索範囲に存在するカメラ１０１を、次に映像の解析を行う解析対象カメラに選定する。また、カメラ制御部１１は、解析カメラ選定部１６により選定された解析対象カメラのみの映像を画像解析部１３に送信する。
【選択図】図１
【解決手段】映像解析装置１０２は、カメラ制御部１１と、画像解析部１３と、追跡判定部１５と、解析カメラ選定部１６と、を備えている。追跡判定部１５は、解析された情報から追跡を行う追跡人物の移動速度を算出又は取得する。解析カメラ選定部１６は、移動速度に基づいてカメラ探索範囲を設定し、カメラ探索範囲に存在するカメラ１０１を、次に映像の解析を行う解析対象カメラに選定する。また、カメラ制御部１１は、解析カメラ選定部１６により選定された解析対象カメラのみの映像を画像解析部１３に送信する。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数のカメラを制御するカメラ制御部と、
前記カメラ制御部を介して、複数の前記カメラから送信された映像を解析する画像解析部と、
前記画像解析部により解析された情報から追跡を行う追跡人物の移動速度を算出又は取得する追跡判定部と、
前記移動速度に基づいてカメラ探索範囲を設定し、複数の前記カメラのうち、前記カメラ探索範囲に存在するカメラを、次に映像の解析を行う解析対象カメラに選定する解析カメラ選定部と、を備え、
前記カメラ制御部は、複数の前記カメラのうち、前記解析カメラ選定部により選定された前記解析対象カメラのみの映像を前記画像解析部に送信する
映像解析装置。
前記カメラ制御部を介して、複数の前記カメラから送信された映像を解析する画像解析部と、
前記画像解析部により解析された情報から追跡を行う追跡人物の移動速度を算出又は取得する追跡判定部と、
前記移動速度に基づいてカメラ探索範囲を設定し、複数の前記カメラのうち、前記カメラ探索範囲に存在するカメラを、次に映像の解析を行う解析対象カメラに選定する解析カメラ選定部と、を備え、
前記カメラ制御部は、複数の前記カメラのうち、前記解析カメラ選定部により選定された前記解析対象カメラのみの映像を前記画像解析部に送信する
映像解析装置。
【請求項2】
前記追跡判定部は、前記移動速度を算出又は取得するまでの処理時間を算出し、
前記解析カメラ選定部は、前記処理時間と前記移動速度に基づいて、前記カメラ探索範囲を設定する
請求項１に記載の映像解析装置。
前記解析カメラ選定部は、前記処理時間と前記移動速度に基づいて、前記カメラ探索範囲を設定する
請求項１に記載の映像解析装置。
【請求項3】
前記処理時間は、前記追跡人物を撮影している前記解析対象カメラの撮影範囲から外れる直前のフレームである最終フレームから前記追跡判定部が前記移動速度を算出又は取得するまでの時間である
請求項２に記載の映像解析装置。
請求項２に記載の映像解析装置。
【請求項4】
前記追跡判定部は、前記画像解析部により解析された情報から前記追跡人物の移動方向を算出又は取得し、
前記解析カメラ選定部は、前記移動速度、前記処理時間及び前記移動方向に基づいて前記カメラ探索範囲を設定する
請求項３に記載の映像解析装置。
前記解析カメラ選定部は、前記移動速度、前記処理時間及び前記移動方向に基づいて前記カメラ探索範囲を設定する
請求項３に記載の映像解析装置。
【請求項5】
前記追跡判定部は、前記画像解析部により解析された情報から前記追跡人物の移動方向を算出又は取得できるか判定し、
前記解析カメラ選定部は、
前記移動方向を算出又は取得できる場合、前記移動速度、前記処理時間及び前記移動方向に基づいて、第１カメラ探索範囲を設定し、
前記移動方向を算出又は取得できない場合、前記移動方向及び前記処理時間に基づいて、第２カメラ探索範囲を設定する
請求項４に記載の映像解析装置。
前記解析カメラ選定部は、
前記移動方向を算出又は取得できる場合、前記移動速度、前記処理時間及び前記移動方向に基づいて、第１カメラ探索範囲を設定し、
前記移動方向を算出又は取得できない場合、前記移動方向及び前記処理時間に基づいて、第２カメラ探索範囲を設定する
請求項４に記載の映像解析装置。
【請求項6】
前記解析カメラ選定部は、
前記処理時間と前記移動速度に基づいて、前記追跡人物の最大移動距離を算出し、
前記第１カメラ探索範囲は、前記追跡人物が前記解析対象カメラの撮影範囲から外れる直前の地点を中心に前記移動方向を基準として、前記最大移動距離を半径、かつ予め設定された探索角度を中心角とした扇形の範囲に設定され、
前記第２カメラ探索範囲は、前記追跡人物が前記解析対象カメラの撮影範囲から外れる直前の地点又は前記追跡人物を見失う直前の地点を中心として、前記最大移動距離を半径とした円形の範囲に設定される
請求項５に記載の映像解析装置。
前記処理時間と前記移動速度に基づいて、前記追跡人物の最大移動距離を算出し、
前記第１カメラ探索範囲は、前記追跡人物が前記解析対象カメラの撮影範囲から外れる直前の地点を中心に前記移動方向を基準として、前記最大移動距離を半径、かつ予め設定された探索角度を中心角とした扇形の範囲に設定され、
前記第２カメラ探索範囲は、前記追跡人物が前記解析対象カメラの撮影範囲から外れる直前の地点又は前記追跡人物を見失う直前の地点を中心として、前記最大移動距離を半径とした円形の範囲に設定される
請求項５に記載の映像解析装置。
【請求項7】
前記解析カメラ選定部は、前記カメラ探索範囲に存在するカメラが予め設定した上限値を超えた場合、前記カメラ探索範囲を縮小させる
請求項１に記載の映像解析装置。
請求項１に記載の映像解析装置。
【請求項8】
撮影を行う複数のカメラと、
前記カメラから出力された映像を解析する映像解析装置と、を備え、
前記映像解析装置は、
複数の前記カメラを制御するカメラ制御部と、
前記カメラ制御部を介して、複数の前記カメラから送信された映像を解析する画像解析部と、
前記画像解析部により解析された情報から追跡を行う追跡人物の移動速度を算出又は取得する追跡判定部と、
前記移動速度に基づいてカメラ探索範囲を設定し、複数の前記カメラのうち、前記カメラ探索範囲に存在するカメラを、次に映像の解析を行う解析対象カメラに選定する解析カメラ選定部と、を備え、
前記カメラ制御部は、複数の前記カメラのうち、前記解析カメラ選定部により選定された前記解析対象カメラのみの映像を前記画像解析部に送信する
広域監視システム。
前記カメラから出力された映像を解析する映像解析装置と、を備え、
前記映像解析装置は、
複数の前記カメラを制御するカメラ制御部と、
前記カメラ制御部を介して、複数の前記カメラから送信された映像を解析する画像解析部と、
前記画像解析部により解析された情報から追跡を行う追跡人物の移動速度を算出又は取得する追跡判定部と、
前記移動速度に基づいてカメラ探索範囲を設定し、複数の前記カメラのうち、前記カメラ探索範囲に存在するカメラを、次に映像の解析を行う解析対象カメラに選定する解析カメラ選定部と、を備え、
前記カメラ制御部は、複数の前記カメラのうち、前記解析カメラ選定部により選定された前記解析対象カメラのみの映像を前記画像解析部に送信する
広域監視システム。
【請求項9】
映像を解析する画像解析部に映像を送信するカメラを選定する方法であって、
複数のカメラから送信された映像を解析する処理と、
解析された情報から追跡を行う追跡人物の移動速度を算出又は取得する処理と、
前記移動速度に基づいてカメラ探索範囲を設定し、複数の前記カメラのうち、前記カメラ探索範囲に存在するカメラを、次に映像の解析を行う解析対象カメラに選定する処理と、
を含むカメラの選定方法。
複数のカメラから送信された映像を解析する処理と、
解析された情報から追跡を行う追跡人物の移動速度を算出又は取得する処理と、
前記移動速度に基づいてカメラ探索範囲を設定し、複数の前記カメラのうち、前記カメラ探索範囲に存在するカメラを、次に映像の解析を行う解析対象カメラに選定する処理と、
を含むカメラの選定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像解析装置、広域監視システム及びカメラの選定方法に関するものである。
【背景技術】
【0002】
従来から、複数台のカメラを用いて特定の人物を追跡する技術が知られている。従来、この種の技術としては、例えば、特許文献１に記載されているようなものがある。特許文献１には、複数の撮影装置と解析装置が接続され、移動物体追跡を行う情報処理システムに関する技術が記載されている。また、特許文献１における解析装置は、撮影装置から、属性情報に応じて検出された物体の画像を受信する受信手段と、受信した物体の画像と、保持手段に保持された追跡対象物体の画像を照合する照合手段と、を有することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１５－２５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
また、特定の人物を追跡するためには、多数のカメラが必要となっていた。そのため、カメラの映像を解析する映像解析装置は、多数のカメラから送信された情報を解析する必要があり、映像解析装置にかかる負荷が増大なものとなっていた。さらに、人物リアルタイムで追跡するためには、カメラの台数に応じて映像解析装置を複数台導入する必要があり、ハードウエアコストが増加していた。
【0005】
本目的は、上記の問題点を考慮し、映像解析にかかる負荷を軽減することができる映像解析装置、広域監視システム及びカメラの選定方法を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決し、目的を達成するため、映像解析装置は、複数のカメラを制御するカメラ制御部と、画像解析部と、追跡判定部と、解析カメラ選定部と、を備えている。画像解析部は、カメラ制御部を介して、複数のカメラから送信された映像を解析する。追跡判定部は、画像解析部により解析された情報から追跡を行う追跡人物の移動速度を算出又は取得する。解析カメラ選定部は、移動速度に基づいてカメラ探索範囲を設定し、複数のカメラのうち、カメラ探索範囲に存在するカメラを、次に映像の解析を行う解析対象カメラに選定する。また、カメラ制御部は、複数のカメラのうち、解析カメラ選定部により選定された解析対象カメラのみの映像を画像解析部に送信する。
【0007】
広域監視システムは、撮影を行う複数のカメラと、カメラから出力された映像を解析する映像解析装置と、を備えている。映像解析装置としては、上述した映像解析装置が適用される。
【0008】
また、カメラの選定方法は、映像を解析する画像解析部に映像を送信するカメラを選定する方法であって、以下（１）から（３）の処理を含む。
（１）複数のカメラから送信された映像を解析する処理。
（２）解析された情報から追跡を行う追跡人物の移動速度を算出又は取得する処理。
（３）移動速度に基づいてカメラ探索範囲を設定し、複数のカメラのうち、カメラ探索範囲に存在するカメラを、次に映像の解析を行う解析対象カメラに選定する処理。
（１）複数のカメラから送信された映像を解析する処理。
（２）解析された情報から追跡を行う追跡人物の移動速度を算出又は取得する処理。
（３）移動速度に基づいてカメラ探索範囲を設定し、複数のカメラのうち、カメラ探索範囲に存在するカメラを、次に映像の解析を行う解析対象カメラに選定する処理。
【発明の効果】
【0009】
上記構成の映像解析装置、広域監視システム及びカメラの選定方法によれば、映像解析にかかる負荷を軽減することができる。
【図面の簡単な説明】
【0010】
【図1】実施の形態例にかかる広域監視システム及び映像解析装置の全体構成を示すブロック図である。
【図2】実施の形態例にかかる映像解析装置におけるカメラ情報ＤＢに格納されたテーブルの一例を示すもので、図２Ａはカメラ台数上限テーブルを示し、図２Ｂはカメラ探索角度テーブルを示し、図２Ｃはカメラの設置地点テーブルを示す。
【図3】実施の形態例にかかる映像解析装置における人物の追跡動作を示すフローチャートである。
【図4】実施の形態例にかかる映像解析装置における第１カメラ選定処理を示すフローチャートである。
【図5】実施の形態例にかかる映像解析装置における第１カメラ選定処理を示す説明図である。
【図6】実施の形態例にかかる映像解析装置における第２カメラ選定処理を示すフローチャートである。
【図7】実施の形態例にかかる映像解析装置における第２カメラ選定処理を示す説明図である。
【発明を実施するための形態】
【0011】
【0012】
１．実施の形態例
１－１．広域監視システム及び映像解析装置の構成
まず、実施の形態例（以下、「本例」という。）にかかる広域監視システム及び映像解析装置の構成について図１から図２Ｃを参照して説明する。
図１は、広域監視システム及び映像解析装置の全体構成を示すブロック図である。
１－１．広域監視システム及び映像解析装置の構成
まず、実施の形態例（以下、「本例」という。）にかかる広域監視システム及び映像解析装置の構成について図１から図２Ｃを参照して説明する。
図１は、広域監視システム及び映像解析装置の全体構成を示すブロック図である。
【0013】
［広域監視システム］
図１に示す広域監視システム１００は、ショッピングセンターや鉄道駅、空港等に設けられて、特定の人物を追跡する際に用いられるシステムである。広域監視システム１００は、複数台のカメラ１０１と、映像解析装置１０２とを備えている。複数台のカメラ１０１と、映像解析装置１０２は、ネットワークを介して接続されている。カメラ１０１が撮影した映像は、映像解析装置１０２に出力される。そして、映像解析装置１０２は、カメラ１０１から出力された映像を解析する。
図１に示す広域監視システム１００は、ショッピングセンターや鉄道駅、空港等に設けられて、特定の人物を追跡する際に用いられるシステムである。広域監視システム１００は、複数台のカメラ１０１と、映像解析装置１０２とを備えている。複数台のカメラ１０１と、映像解析装置１０２は、ネットワークを介して接続されている。カメラ１０１が撮影した映像は、映像解析装置１０２に出力される。そして、映像解析装置１０２は、カメラ１０１から出力された映像を解析する。
【0014】
なお、広域監視システム１００は、複数台のカメラが撮影した映像を録画や表示画面に表示する監視装置を備えてもよい。
【0015】
［映像解析装置］
次に、映像解析装置１０２について説明する。
映像解析装置１０２は、カメラ制御部１１と、追跡人物選択部１２と、画像解析部１３と、特徴量ＤＢ１４と、追跡判定部１５と、解析カメラ選定部１６と、カメラ情報ＤＢ１９とを備えている。
次に、映像解析装置１０２について説明する。
映像解析装置１０２は、カメラ制御部１１と、追跡人物選択部１２と、画像解析部１３と、特徴量ＤＢ１４と、追跡判定部１５と、解析カメラ選定部１６と、カメラ情報ＤＢ１９とを備えている。
【0016】
カメラ制御部１１は、カメラ１０１とネットワークを介して接続されている。カメラ制御部１１は、カメラ１０１を制御し、映像を取得するカメラ１０１を切り替える。カメラ制御部１１は、カメラ１０１から映像情報を取得し、取得した映像情報を、画像解析部１３に出力する。また、カメラ制御部１１は、追跡人物選択部１２、画像解析部１３及び解析カメラ選定部１６に接続せれている。
【0017】
追跡人物選択部１２は、カメラ１０１で撮影した映像から追跡を行う人物（以下、追跡人物という）を選択する。追跡人物の選択は、監視者が監視装置等の表示画面に表示された映像から追跡人物を選択し、追跡人物選択部１２に出力する。追跡人物選択部１２によって選択された情報は、カメラ制御部１１に出力される。そして、カメラ制御部１１は、追跡人物選択部１２及び後述する解析カメラ選定部１６からの情報に基づいて、映像を取得するカメラ１０１を制御する。
【0018】
画像解析部１３は、カメラ制御部１１から出力された映像情報に基づいて、追跡人物の特徴量を抽出する。画像解析部１３は、特徴量ＤＢ１４に接続されており、抽出した人物の特徴量を特徴量ＤＢ１４に格納する。特徴量ＤＢ１４に格納された人物の特徴量を示す情報（以下、特徴量情報）は、追跡判定部１５で用いられる。また、画像解析部１３は、特徴量情報や、カメラ１０１のフレームレート等を用いて、追跡人物の移動方向や移動速度を算出し、特徴量ＤＢ１４に格納する。
【0019】
追跡判定部１５は、特徴量ＤＢ１４に格納された特徴量情報に基づいて、現在追跡を行っているカメラ１０１で追跡が可能か否かを判定する。また、追跡判定部１５は、特徴量ＤＢ１４に格納された追跡人物の移動方向や移動速度を取得し、追跡人物の最大移動距離を算出する。追跡判定部１５は、解析カメラ選定部１６に接続されている。そして、追跡判定部１５は、判定した判定情報や、追跡人物の移動方向や移動速度に関する情報を、解析カメラ選定部１６に出力する。
【0020】
解析カメラ選定部１６には、カメラ情報ＤＢ１９が接続されている。解析カメラ選定部１６は、追跡人物の移動方向や移動速度、カメラ情報ＤＢ１９に格納されたカメラ情報に基づいて、解析を行うカメラ１０１を選定する。解析カメラ選定部１６は、選定を行ったカメラ情報をカメラ制御部１１に出力する。
【0021】
図２Ａから図２Ｃは、カメラ情報ＤＢ１９に格納されたカメラ情報の一例を示すテーブルである。図２Ａは、カメラ台数上限テーブルを示し、図２Ｂは、カメラ探索角度テーブルを示している。また、図２Ｃは、カメラ１０１の設置地点テーブルを示している。
【0022】
図２Ａから図２Ｃに示すテーブルは、後述するカメラ１０１の選定処理において用いられる。
図２Ａに示すカメラ台数上限テーブル５００は、解析を行うカメラ１０１を選定する際のカメラ１０１の台数の上限値５０１を設定する。上限値５０１は、映像解析装置１０２ごとに予め設定される。
図２Ａに示すカメラ台数上限テーブル５００は、解析を行うカメラ１０１を選定する際のカメラ１０１の台数の上限値５０１を設定する。上限値５０１は、映像解析装置１０２ごとに予め設定される。
【0023】
図２Ｂに示すカメラ探索角度テーブル５０２には、カメラ１０１の選定処理で用いられる探索角度θ（図５参照）が格納されている。探索角度θは、複数の角度が設定されており、角度の値が大きい順（降順）にソートされている。図２Ｃに示すカメラ１０１の設置地点テーブル５０３には、各カメラ１０１の設置地点を示す情報が格納されている。設置地点を示す情報としては、例えば、Ｘ座標とＹ座標からなる座標情報で設定される。また、設置地点テーブル５０３には、各カメラ１０１の撮影向きを示す情報を格納してもよい。
【0024】
上述した構成を有する映像解析装置１０２としては、例えば、コンピュータ装置が適用される。すなわち、映像解析装置１０２は、ＣＰＵ（Central Processing Unit：中央処理装置）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）を備える。さらに、映像解析装置１０２は、不揮発性ストレージ、ネットワークインタフェースを備える。そして、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性ストレージ、ネットワークインタフェースは、それぞれシステムバスを介して接続される。
【0025】
ＣＰＵは、映像解析装置１０２が有する各処理部１１から１６を実現するためのソフトウエアのプログラムコードをＲＯＭから読み出して実行する。また、ＲＡＭには、ＣＰＵの演算処理の途中に発生した変数やパラメータ等が一時的に書き込まれる。
【0026】
不揮発性ストレージとしては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの大容量情報記憶媒体が用いられる。不揮発性ストレージには、映像解析装置１０２の処理機能を実行するプログラムが記録される。また、不揮発性ストレージには、特徴量ＤＢ１４やカメラ情報ＤＢ１９が設けられる。
【0027】
ネットワークインタフェースとしては、例えば、ＮＩＣ（Network Interface Card）などが用いられる。ネットワークインタフェースは、ＬＡＮ（Local Area Network）専用線などを介して外部と各種情報の送受信を行う。
【0028】
また、本例では、映像解析装置１０２としてコンピュータ装置を適用した例を説明したが、これに限定されるものではない。映像解析装置１０２の各構成要素、機能、処理部等の一部又は全部を、例えば集積回路の設計などによりハードウエアで実現してもよい。また、上記の各構成要素、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又はＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【0029】
２．動作例
次に、上述した構成を有する映像解析装置１０２の動作の一例について図３から図７を参照して説明する。
２－１．人物の追跡動作
まず、図３を参照して人物の追跡動作について説明する。
図３は、人物の追跡動作を示すフローチャートである。
次に、上述した構成を有する映像解析装置１０２の動作の一例について図３から図７を参照して説明する。
２－１．人物の追跡動作
まず、図３を参照して人物の追跡動作について説明する。
図３は、人物の追跡動作を示すフローチャートである。
【0030】
図３に示すように、まず監視者は、追跡人物選択部１２を介してカメラ１０１が撮影した映像から追跡人物を選択する（ステップＳ１１）。追跡人物選択部１２は、選択された追跡人物が撮影されたカメラ１０１の情報をカメラ制御部１１に出力する。そして、カメラ制御部１１は、追跡人物を撮影したカメラ１０１Ａ（図５及び図７参照）を初期解析カメラに選定する（ステップＳ１２）。以下、解析を行うカメラ１０１Ａを解析対象カメラ１０１Ａと称す。
【0031】
ステップＳ１２の処理における初期解析カメラの選定処理が終了すると、カメラ制御部１１は、解析対象カメラ１０１Ａが撮影した映像情報を画像解析部１３に出力する。そして、画像解析部１３は、カメラ制御部１１から出力された映像に基づいて、解析処理を開始する（ステップＳ１３）。
【0032】
ステップＳ１３における解析処理は、例えば、ディープラーニングによって行われる。画像解析部１３は、２段階に処理を分けて実行する。１段階目では、画像解析部１３は、解析対象カメラ１０１Ａから取得した映像のフレームに対して人物の検出を行い、フレームに撮影されている人物の座標値を取得する。２段階目では、画像解析部１３は、１段階目で検出した人物の特徴量の抽出と、属性推定等を行う。特徴量の抽出は、フレーム間における人物の追跡処理で用いられる。また、特徴量の抽出処理は、人物の全身情報を抽出する。また、属性推定処理では、追跡人物の年齢や性別、服の色などの人物を特定する情報を推定する。
【0033】
次に、画像解析部１３は、２段階にわたるディープラーニングによる解析が終了すると、解析対象カメラ１０１Ａの映像のフレーム数と解析結果を特徴量ＤＢ１４に登録する（ステップＳ１４）。また、画像解析部１３は、フレーム数と特徴量情報に基づいて、追跡人物の移動方向と移動速度を算出し、算出した移動方向と移動速度を特徴量ＤＢ１４に格納する。
【0034】
ステップＳ１４における特徴量ＤＢ１４への登録処理が完了すると、追跡判定部１５は、特徴量ＤＢ１４に登録された情報に基づいて、検出及び解析した人物の中に追跡人物が存在するか否かを判定する（ステップＳ１５）。
【0035】
ステップＳ１５の処理において、追跡人物が存在していると追跡判定部１５が判断した場合（ステップＳ１５のＹＥＳ判定）、ステップＳ１３の処理に戻る。すなわち、カメラ制御部１１によるカメラ１０１の制御を行わずに、同じ解析対象カメラ１０１Ａから映像を取得し、画像解析部１３によって再度解析処理を実施する。
【0036】
これに対して、追跡人物が解析対象カメラ１０１Ａの撮影範囲Ｍ１から外れた場合、ステップＳ１５の処理において、追跡人物が存在していないと追跡判定部１５は判断する（ステップＳ１５のＮＯ判定）。そして、追跡判定部１５は、追跡人物の移動方向が確定しているか否かを判断する（ステップＳ１６）。
【0037】
ステップＳ１６の処理において、追跡人物の移動方向が確定していると判断した場合（ステップＳ１６のＹＥＳ判定）、追跡判定部１５は、第１カメラ選定処理を実施する（ステップＳ１７）。また、ステップＳ１６の処理において、追跡人物の移動方向が不明であると判断した場合（ステップＳ１６のＮＯ判定）、追跡判定部１５は、第２カメラ選定処理を実施する（ステップＳ１８）。ステップＳ１８の処理において追跡人物の移動方向が不明な場合とは、追跡人物がランダムに移動している場合や、追跡人物を見失った場合等である。
【0038】
カメラ制御部１１は、ステップＳ１７における第１カメラ選定処理又はステップＳ１８における第２カメラ選定処理で選定したカメラ１０１を解析対象カメラ１０１Ｂ（図５及び図７参照）に設定する。そして、解析対象カメラ１０１Ｂで撮影した映像情報を画像解析部１３に出力する。なお、第１カメラ選定処理及び第２カメラ選定処理の詳細については、後述する。
【0039】
次に、追跡判定部１５は、監視者からの指示や、監視範囲から追跡人物が外れた場合等で追跡処理が終了したか否かを判断する（ステップＳ１９）。ステップＳ１９の処理において、追跡処理が終了していないと追跡判定部１５が判断した場合（ステップＳ１９のＮＯ判定）、ステップＳ１３の処理に戻る。これに対して、ステップＳ１９の処理において、追跡処理が終了したと追跡判定部１５が判断した場合（ステップＳ１９のＹＥＳ判定）、人物の追跡動作処理が完了する。
【0040】
【0041】
図４に示すように、追跡判定部１５は、特徴量ＤＢ１４から追跡人物が解析対象カメラ１０１Ａの撮影範囲Ｍ１から外れる直前の移動方向を取得する（ステップＳ２１）。ここで、解析対象カメラ１０１Ａの撮影範囲Ｍ１から外れる直前は、解析対象カメラ１０１Ａが追跡人物を撮影した最終フレームで判断する。また、ステップＳ２１における追跡人物の移動方向は、解析対象カメラ１０１Ａの画角から追跡人物が外れた方向を移動方向としてもよい。最終フレームは、解析対象カメラ１０１Ａの撮影範囲Ｍ１から追跡人物がフレームアウトする際のフレームである。
【0042】
次に、追跡判定部１５は、特徴量ＤＢ１４から追跡人物が解析対象カメラ１０１Ａの撮影範囲から外れる直前の移動速度を取得する（ステップＳ２２）。そして、追跡判定部１５は、処理時間を算出する（ステップＳ２３）。ここで、処理時間は、解析対象カメラ１０１Ａが追跡人物を撮影した最終フレームの時間から移動速度を追跡判定部１５が取得するまでの時間である。
【0043】
なお、ステップＳ２１における追跡人物の移動方向及びステップＳ２２における追跡人物の移動速度は、追跡判定部１５が算出してもよい。
【0044】
次に、追跡判定部１５は、ステップＳ２２で取得した移動速度と、ステップＳ２３で算出した処理時間に基づいて、追跡人物の最大移動距離を計算する（ステップＳ２４）。最大移動距離は、移動速度×処理時間から求めることができる。次に、解析カメラ選定部１６は、カメラ情報ＤＢ１９から第１カメラ探索範囲Ｑ１内に存在するカメラ１０１の情報を取得する（ステップＳ２５）。
【0045】
ここで、第１カメラ探索範囲Ｑ１の設定方法について説明する。まず、解析カメラ選定部１６は、ステップＳ２４で計算した最大移動距離と、カメラ情報ＤＢ１９に格納されたカメラ探索角度テーブル５０２から探索角度θを取得する。そして、図５に示すように、解析カメラ選定部１６は、追跡人物が撮影範囲Ｍ１から外れる直前の地点Ｎ２を中心に移動方向を基準として、最大移動距離を半径ｒ、予め設定された探索角度θを中心角とした扇形の範囲を第１カメラ探索範囲Ｑ１に設定する。
【0046】
次に、解析カメラ選定部１６は、第１カメラ探索範囲Ｑ１内にカメラ１０１があるか否か、すなわちカメラ１０１の情報があるか否かを判断する（ステップＳ２６）。ステップＳ２６の処理において、カメラ１０１の情報があると判断した場合（ステップＳ２６のＹＥＳ判定）、解析カメラ選定部１６は、カメラ情報ＤＢ１９におけるカメラ台数上限テーブル５００から上限値５０１を取得する。
【0047】
そして、解析カメラ選定部１６は、取得したカメラ１０１の情報数が、カメラ１０１の台数の上限値５０１以内か否かを判断する（ステップＳ２７）。すなわち、解析カメラ選定部１６は、第１カメラ探索範囲Ｑ１内に存在するカメラ１０１の台数が上限値５０１以内か否かを判断する。
【0048】
また、ステップＳ２６の処理において、カメラ１０１の情報がない、すなわち第１カメラ探索範囲Ｑ１内にカメラ１０１が存在しないと判断した場合（ステップＳ２６のＮＯ判定）、解析カメラ選定部１６は、ステップＳ２８の処理を行う。ステップＳ２８の処理では、解析カメラ選定部１６は、第１カメラ探索範囲Ｑ１の半径ｒを拡大させる。そして、解析カメラ選定部１６は、ステップＳ２５の処理に戻り、半径ｒを拡大させた第１カメラ探索範囲Ｑ１内に存在するカメラ１０１の情報を取得する。
【0049】
ステップＳ２７の処理において、カメラ１０１の情報数が上限値５０１を超えていると判断した場合（ステップＳ２７のＮＯ判定）、解析カメラ選定部１６は、カメラ探索角度θを縮小させる（ステップＳ２９）。すなわち、解析カメラ選定部１６は、カメラ情報ＤＢ１９のカメラ探索角度テーブル５０２から次の探索角度θを取得する。そして、解析カメラ選定部１６は、ステップＳ２５の処理に戻り、探索角度θを縮小させた第１カメラ探索範囲Ｑ１内に存在するカメラの情報を取得する。
【0050】
これに対して、ステップＳ２７の処理において、カメラ１０１の情報数が上限値５０１以内であると判断した場合（ステップＳ２７のＹＥＳ判定）、解析カメラ選定部１６は、第１カメラ探索範囲Ｑ１内に存在するカメラ１０１を次に解析を行う解析対象カメラ１０１Ｂに選定する。これにより、第１カメラ選定処理が完了する。そして、カメラ制御部１１は、第１カメラ選定処理で選定された解析対象カメラ１０１Ｂが撮影した映像情報を画像解析部１３に出力する。また、カメラ制御部１１は、第１カメラ選定処理で選定されなかったカメラ１０１、すなわち第１カメラ探索範囲Ｑ１外のカメラ１０１Ｃの映像情報は、画像解析部１３に出力しない。
【0051】
これにより、画像解析部１３で映像解析を行うカメラ１０１の台数を絞ることができ、画像解析部１３にかかる負荷を軽減することができる。その結果、カメラの台数に対して少数の映像解析装置１０２で人物の追跡処理を行うことができ、ハードウエアコストを低減することができる。
【0052】
【0053】
図６に示すように、追跡判定部１５は、特徴量ＤＢ１４から追跡人物が解析対象カメラ１０１Ａの撮影範囲Ｍ１から外れる直前又は、追跡人物を見失った直前の移動速度を取得する（ステップＳ３１）。そして、追跡判定部１５は、処理時間を算出する（ステップＳ３２）。ここで、処理時間は、解析対象カメラ１０１Ａが追跡人物を撮影した最終フレームの時間から移動速度を追跡判定部１５が取得するまでの時間である。なお、第２カメラ選定処理においても、ステップＳ３１に示す移動速度を追跡判定部１５が算出してもよい。
【0054】
次に、追跡判定部１５は、ステップＳ２２で取得した移動速度と、ステップＳ３２で算出した処理時間に基づいて、追跡人物の最大移動距離を計算する（ステップＳ３３）。そして、解析カメラ選定部１６は、カメラ情報ＤＢ１９から第２カメラ探索範囲Ｑ２内に存在するカメラ１０１の情報を取得する（ステップＳ３４）。
【0055】
ここで、第２カメラ探索範囲Ｑ２の設定方法について説明する。まず、解析カメラ選定部１６は、ステップＳ３３で計算した最大移動距離を取得する。そして、図７に示すように、解析カメラ選定部１６は、追跡人物が撮影範囲から外れる直前の地点、又は追跡人物を見失う直前の地点Ｎ２を中心、かつ最大移動距離を半径ｒとした円形の範囲を第２カメラ探索範囲Ｑ２に設定する。
【0056】
次に、解析カメラ選定部１６は、第２カメラ探索範囲Ｑ２内にカメラ１０１があるか否か、すなわちカメラ１０１の情報があるか否かを判断する（ステップＳ３５）。ステップＳ２５の処理において、カメラ１０１の情報がない、すなわち第２カメラ探索範囲Ｑ２内にカメラ１０１が存在しないと判断した場合（ステップＳ３５のＮＯ判定）、解析カメラ選定部１６は、ステップＳ３６の処理を行う。
【0057】
ステップＳ３６の処理では、解析カメラ選定部１６は、第２カメラ探索範囲Ｑ２の半径ｒを拡大させる。そして、解析カメラ選定部１６は、ステップＳ３４の処理に戻り、半径ｒを拡大させた第２カメラ探索範囲Ｑ２内に存在するカメラ１０１の情報を取得する。
【0058】
これに対して、ステップＳ３５の処理において、カメラ１０１の情報があると判断した場合（ステップＳ３５のＹＥＳ判定）、解析カメラ選定部１６は、第２カメラ探索範囲Ｑ２内に存在するカメラ１０１を次に解析を行う解析対象カメラ１０１Ｂに選定する。これにより、第２カメラ選定処理が完了する。そして、カメラ制御部１１は、第２カメラ選定処理で選定された解析対象カメラ１０１Ｂが撮影した映像情報を画像解析部１３に出力する。また、カメラ制御部１１は、第２カメラ選定処理で選定されなかったカメラ１０１、すなわち第２カメラ探索範囲Ｑ２外のカメラ１０１Ｃの映像情報は、画像解析部１３に出力しない。
【0059】
これにより、第２カメラ選定処理においても、第１カメラ選定処理と同様に、画像解析部１３で映像解析を行うカメラ１０１の台数を絞ることができ、画像解析部１３にかかる負荷を軽減することができる。
【0060】
また、第２カメラ選定処理においても、第１カメラ選定処理と同様に、選定するカメラ１０１の台数の上限判定を行ってもよい。すなわち、第２カメラ探索範囲Ｑ２内に存在するカメラ１０１の台数が上限値５０１を超えた場合、解析カメラ選定部１６は、第２カメラ探索範囲Ｑ２の半径ｒを縮小させる。そして。半径ｒを縮小させた第２カメラ探索範囲Ｑ２内のカメラ１０１の情報を取得し、上限値５０１内であれば第２カメラ探索範囲Ｑ２内のカメラ１０１を解析対象カメラ１０１Ｂに選定する。これにより、画像解析部１３で映像解析を行うカメラ１０１の台数を絞ることができる。
【0061】
なお、上述しかつ図面に示した実施の形態に限定されるものではなく、特許請求の範囲に記載した発明の要旨を逸脱しない範囲内で種々の変形実施が可能である。
【符号の説明】
【0062】
１１…カメラ制御部、 １２…追跡人物選択部、 １３…画像解析部、 １４…特徴量ＤＢ、 １５…追跡判定部、 １６…解析カメラ選定部、 １９…カメラ情報ＤＢ、 １００…広域監視システム、 １０１…カメラ、 １０１Ａ、１０１Ｂ…解析対象カメラ、 １０１Ａ…カメラメ、 １０２…映像解析装置、 ５００…カメラ台数上限テーブル、 ５０２…カメラ探索角度テーブル、 ５０３…設置地点テーブル、 Ｍ１…撮影範囲、 Ｎ２…地点、 Ｑ１…第１カメラ探索範囲、 Ｑ２…第２カメラ探索範囲
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2020-12-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複数のカメラを制御するカメラ制御部と、
前記カメラ制御部を介して、複数の前記カメラから送信された映像を解析する画像解析部と、
前記画像解析部により解析された情報から追跡を行う追跡人物の移動速度を算出又は取得する追跡判定部と、
前記移動速度に基づいてカメラ探索範囲を設定し、複数の前記カメラのうち、前記カメラ探索範囲に存在するカメラを、次に映像の解析を行う解析対象カメラに選定する解析カメラ選定部と、を備え、
前記カメラ制御部は、複数の前記カメラのうち、前記解析カメラ選定部により選定された前記解析対象カメラのみの映像を前記画像解析部に送信し、
前記解析カメラ選定部は、前記カメラ探索範囲に存在するカメラが予め設定した上限値を超えた場合、前記カメラ探索範囲を縮小させる
映像解析装置。
前記カメラ制御部を介して、複数の前記カメラから送信された映像を解析する画像解析部と、
前記画像解析部により解析された情報から追跡を行う追跡人物の移動速度を算出又は取得する追跡判定部と、
前記移動速度に基づいてカメラ探索範囲を設定し、複数の前記カメラのうち、前記カメラ探索範囲に存在するカメラを、次に映像の解析を行う解析対象カメラに選定する解析カメラ選定部と、を備え、
前記カメラ制御部は、複数の前記カメラのうち、前記解析カメラ選定部により選定された前記解析対象カメラのみの映像を前記画像解析部に送信し、
前記解析カメラ選定部は、前記カメラ探索範囲に存在するカメラが予め設定した上限値を超えた場合、前記カメラ探索範囲を縮小させる
映像解析装置。
【請求項2】
前記追跡判定部は、前記移動速度を算出又は取得するまでの処理時間を算出し、
前記解析カメラ選定部は、前記処理時間と前記移動速度に基づいて、前記カメラ探索範囲を設定する
請求項１に記載の映像解析装置。
前記解析カメラ選定部は、前記処理時間と前記移動速度に基づいて、前記カメラ探索範囲を設定する
請求項１に記載の映像解析装置。
【請求項3】
前記処理時間は、前記追跡人物を撮影している前記解析対象カメラの撮影範囲から外れる直前のフレームである最終フレームから前記追跡判定部が前記移動速度を算出又は取得するまでの時間である
請求項２に記載の映像解析装置。
請求項２に記載の映像解析装置。
【請求項4】
前記追跡判定部は、前記画像解析部により解析された情報から前記追跡人物の移動方向を算出又は取得し、
前記解析カメラ選定部は、前記移動速度、前記処理時間及び前記移動方向に基づいて前記カメラ探索範囲を設定する
請求項３に記載の映像解析装置。
前記解析カメラ選定部は、前記移動速度、前記処理時間及び前記移動方向に基づいて前記カメラ探索範囲を設定する
請求項３に記載の映像解析装置。
【請求項5】
前記追跡判定部は、前記画像解析部により解析された情報から前記追跡人物の移動方向を算出又は取得できるか判定し、
前記解析カメラ選定部は、
前記移動方向を算出又は取得できる場合、前記移動速度、前記処理時間及び前記移動方向に基づいて、第１カメラ探索範囲を設定し、
前記移動方向を算出又は取得できない場合、前記移動方向及び前記処理時間に基づいて、第２カメラ探索範囲を設定する
請求項４に記載の映像解析装置。
前記解析カメラ選定部は、
前記移動方向を算出又は取得できる場合、前記移動速度、前記処理時間及び前記移動方向に基づいて、第１カメラ探索範囲を設定し、
前記移動方向を算出又は取得できない場合、前記移動方向及び前記処理時間に基づいて、第２カメラ探索範囲を設定する
請求項４に記載の映像解析装置。
【請求項6】
前記解析カメラ選定部は、
前記処理時間と前記移動速度に基づいて、前記追跡人物の最大移動距離を算出し、
前記第１カメラ探索範囲は、前記追跡人物が前記解析対象カメラの撮影範囲から外れる直前の地点を中心に前記移動方向を基準として、前記最大移動距離を半径、かつ予め設定された探索角度を中心角とした扇形の範囲に設定され、
前記第２カメラ探索範囲は、前記追跡人物が前記解析対象カメラの撮影範囲から外れる直前の地点又は前記追跡人物を見失う直前の地点を中心として、前記最大移動距離を半径とした円形の範囲に設定される
請求項５に記載の映像解析装置。
前記処理時間と前記移動速度に基づいて、前記追跡人物の最大移動距離を算出し、
前記第１カメラ探索範囲は、前記追跡人物が前記解析対象カメラの撮影範囲から外れる直前の地点を中心に前記移動方向を基準として、前記最大移動距離を半径、かつ予め設定された探索角度を中心角とした扇形の範囲に設定され、
前記第２カメラ探索範囲は、前記追跡人物が前記解析対象カメラの撮影範囲から外れる直前の地点又は前記追跡人物を見失う直前の地点を中心として、前記最大移動距離を半径とした円形の範囲に設定される
請求項５に記載の映像解析装置。
【請求項7】
撮影を行う複数のカメラと、
前記カメラから出力された映像を解析する映像解析装置と、を備え、
前記映像解析装置は、
複数の前記カメラを制御するカメラ制御部と、
前記カメラ制御部を介して、複数の前記カメラから送信された映像を解析する画像解析部と、
前記画像解析部により解析された情報から追跡を行う追跡人物の移動速度を算出又は取得する追跡判定部と、
前記移動速度に基づいてカメラ探索範囲を設定し、複数の前記カメラのうち、前記カメラ探索範囲に存在するカメラを、次に映像の解析を行う解析対象カメラに選定する解析カメラ選定部と、を備え、
前記カメラ制御部は、複数の前記カメラのうち、前記解析カメラ選定部により選定された前記解析対象カメラのみの映像を前記画像解析部に送信し、
前記解析カメラ選定部は、前記カメラ探索範囲に存在するカメラが予め設定した上限値を超えた場合、前記カメラ探索範囲を縮小させる
広域監視システム。
前記カメラから出力された映像を解析する映像解析装置と、を備え、
前記映像解析装置は、
複数の前記カメラを制御するカメラ制御部と、
前記カメラ制御部を介して、複数の前記カメラから送信された映像を解析する画像解析部と、
前記画像解析部により解析された情報から追跡を行う追跡人物の移動速度を算出又は取得する追跡判定部と、
前記移動速度に基づいてカメラ探索範囲を設定し、複数の前記カメラのうち、前記カメラ探索範囲に存在するカメラを、次に映像の解析を行う解析対象カメラに選定する解析カメラ選定部と、を備え、
前記カメラ制御部は、複数の前記カメラのうち、前記解析カメラ選定部により選定された前記解析対象カメラのみの映像を前記画像解析部に送信し、
前記解析カメラ選定部は、前記カメラ探索範囲に存在するカメラが予め設定した上限値を超えた場合、前記カメラ探索範囲を縮小させる
広域監視システム。
【請求項8】
映像を解析する画像解析部に映像を送信するカメラを選定する方法であって、
複数のカメラから送信された映像を解析する処理と、
解析された情報から追跡を行う追跡人物の移動速度を算出又は取得する処理と、
前記移動速度に基づいてカメラ探索範囲を設定し、複数の前記カメラのうち、前記カメラ探索範囲に存在するカメラを、次に映像の解析を行う解析対象カメラに選定する処理と、
を含み、
前記カメラ探索範囲に存在するカメラが予め設定した上限値を超えた場合、前記カメラ探索範囲を縮小させる
カメラの選定方法。
複数のカメラから送信された映像を解析する処理と、
解析された情報から追跡を行う追跡人物の移動速度を算出又は取得する処理と、
前記移動速度に基づいてカメラ探索範囲を設定し、複数の前記カメラのうち、前記カメラ探索範囲に存在するカメラを、次に映像の解析を行う解析対象カメラに選定する処理と、
を含み、
前記カメラ探索範囲に存在するカメラが予め設定した上限値を超えた場合、前記カメラ探索範囲を縮小させる
カメラの選定方法。