IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ AWL株式会社の特許一覧

特開2022-159930監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム
<>
  • 特開-監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム 図1
  • 特開-監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム 図2
  • 特開-監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム 図3
  • 特開-監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム 図4
  • 特開-監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム 図5
  • 特開-監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム 図6
  • 特開-監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム 図7
  • 特開-監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム 図8
  • 特開-監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム 図9
  • 特開-監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム 図10
  • 特開-監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム 図11
  • 特開-監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム 図12
  • 特開-監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム 図13
  • 特開-監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム 図14
  • 特開-監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム 図15
  • 特開-監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム 図16
  • 特開-監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム 図17
  • 特開-監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム 図18
  • 特開-監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム 図19
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022159930
(43)【公開日】2022-10-18
(54)【発明の名称】監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラム
(51)【国際特許分類】
   H04N 7/18 20060101AFI20221011BHJP
   G08B 25/00 20060101ALI20221011BHJP
   G07G 1/00 20060101ALI20221011BHJP
【FI】
H04N7/18 D
H04N7/18 K
G08B25/00 510M
G07G1/00 331B
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021064410
(22)【出願日】2021-04-05
(71)【出願人】
【識別番号】516249414
【氏名又は名称】AWL株式会社
(74)【代理人】
【識別番号】100084375
【弁理士】
【氏名又は名称】板谷 康夫
(74)【代理人】
【識別番号】100125221
【弁理士】
【氏名又は名称】水田 愼一
(74)【代理人】
【識別番号】100142077
【弁理士】
【氏名又は名称】板谷 真之
(72)【発明者】
【氏名】大森 悠平
(72)【発明者】
【氏名】千葉 祐貴
(72)【発明者】
【氏名】半澤 寛典
(72)【発明者】
【氏名】土田 安紘
【テーマコード(参考)】
3E142
5C054
5C087
【Fターム(参考)】
3E142AA01
3E142BA20
3E142DA07
3E142EA21
3E142EA25
3E142FA25
3E142JA02
5C054CE16
5C054DA09
5C054FC00
5C054FC12
5C054FE13
5C054FE17
5C054GB15
5C054GD09
5C054HA14
5C054HA18
5C087DD31
5C087EE12
5C087FF01
5C087FF02
5C087GG02
5C087GG17
(57)【要約】
【課題】監視カメラ設置支援システムにおいて、設置者が、監視カメラの設置位置や設置角度等の監視カメラの設置状況を調整した時に、設置状況の調整による分析結果の精度の変化を簡単に確認できるようにする。
【解決手段】監視カメラから入力された各フレーム画像に、各フレーム画像の分析結果の情報を重畳した重畳画像を生成し、これらの重畳画像から構成される重畳映像91を、この重畳映像91に紐づけられたカメラ設置情報92(例えば、監視カメラの設置位置や設置角度)と共に表示するようにした。これにより、設置作業者が、監視カメラの設置位置や設置角度等の、監視カメラの設置状況を調整した時に、その設置状況を示すカメラ設置情報92と共に、重畳映像91の各フレーム画像に重畳された分析結果の情報(人検出ボックス91aや顔検出ボックス91b)を見て、監視カメラの設置状況の調整による、分析結果の精度の変化を簡単に確認できる。
【選択図】図17
【特許請求の範囲】
【請求項1】
所定の撮影エリアを撮影する監視カメラの設置を支援するための監視カメラ設置支援システムにおいて、
前記監視カメラの撮影時の設置状況を示すカメラ設置情報を取得する設置情報取得手段と、
前記設置状況において前記監視カメラから入力された各フレーム画像を分析する画像分析手段と、
前記各フレーム画像に前記画像分析手段による前記各フレーム画像の分析結果の情報を重畳した重畳画像を生成する分析結果重畳手段と、
前記設置状況において前記分析結果重畳手段により生成された各重畳画像から構成される重畳映像を記憶する重畳映像記憶手段と、
前記設置情報取得手段により取得した、前記監視カメラの撮影時のカメラ設置情報を、前記重畳映像記憶手段に記憶された重畳映像と紐づけて記憶する設置情報記憶手段と、
前記重畳映像記憶手段に記憶された重畳映像を、前記設置情報記憶手段に記憶された、前記重畳映像に紐づけられたカメラ設置情報と共に表示する映像表示手段とを備える監視カメラ設置支援システム。
【請求項2】
前記映像表示手段は、前記監視カメラの複数の設置状況における重畳映像を、並べて表示することを特徴とする請求項1に記載の監視カメラ設置支援システム。
【請求項3】
前記監視カメラ設置支援システムとは異なる場所に設置された別の監視カメラ設置支援システムにおける前記設置情報記憶手段に記憶されたカメラ設置情報の中から、今回設置しようとしている監視カメラの設置状況と類似した設置状況に対応するカメラ設置情報を検索するカメラ設置情報検索手段をさらに備え、
前記映像表示手段は、前記カメラ設置情報検索手段により検索したカメラ設置情報と紐づけられた重畳映像を、前記検索したカメラ設置情報と共に表示することを特徴とする請求項1又は請求項2に記載の監視カメラ設置支援システム。
【請求項4】
前記映像表示手段は、前記カメラ設置情報検索手段により検索した複数のカメラ設置情報と紐づけられた重畳映像の各々を、並べて表示することを特徴とする請求項3に記載の監視カメラ設置支援システム。
【請求項5】
前記カメラ設置情報は、前記監視カメラの設置位置及び設置角度の情報を含むことを特徴とする請求項1乃至請求項4のいずれか一項に記載の監視カメラ設置支援システム。
【請求項6】
前記監視カメラ設置支援システムは、モバイル端末を含み、
前記設置情報取得手段は、前記モバイル端末に搭載された、カメラを含むセンサから得た情報に基づいて、前記監視カメラの設置位置及び設置角度の情報を取得することを特徴とする請求項5に記載の監視カメラ設置支援システム。
【請求項7】
前記設置情報取得手段は、前記撮影エリア内に設置された2次元バーコードのボードを前記監視カメラで撮影した画像に基づいて、前記監視カメラの設置位置及び設置角度の情報を取得することを特徴とする請求項5に記載の監視カメラ設置支援システム。
【請求項8】
前記設置情報取得手段は、前記2次元バーコードの各マークの画像に基づいて、前記監視カメラの設置高さ位置及び設置角度を推定することを特徴とする請求項7に記載の監視カメラ設置支援システム。
【請求項9】
所定の撮影エリアを撮影する監視カメラの設置を支援するための監視カメラ設置支援装置において、
前記監視カメラから入力された各フレーム画像を分析する画像分析手段と、
前記各フレーム画像に前記画像分析手段による前記各フレーム画像の分析結果の情報を重畳した重畳画像を生成する分析結果重畳手段と、
前記分析結果重畳手段により生成された各重畳画像から構成される重畳映像を記憶する重畳映像記憶手段と、
前記監視カメラの撮影時のカメラ設置情報を、前記重畳映像記憶手段に記憶された重畳映像と紐づけて記憶する設置情報記憶手段と、
前記重畳映像記憶手段に記憶された重畳映像を、前記設置情報記憶手段に記憶された、前記重畳映像に紐づけられたカメラ設置情報と共に、表示手段に出力する映像出力手段とを備える監視カメラ設置支援装置。
【請求項10】
所定の撮影エリアを撮影する監視カメラの設置を支援するための監視カメラ設置支援プログラムであって、
コンピュータを、
前記監視カメラの撮影時の設置状況を示すカメラ設置情報を取得する設置情報取得手段と、
前記設置状況において前記監視カメラから入力された各フレーム画像を分析する画像分析手段と、
前記各フレーム画像に前記画像分析手段による前記各フレーム画像の分析結果の情報を重畳した重畳画像を生成する分析結果重畳手段と、
前記設置状況において前記分析結果重畳手段により生成された各重畳画像から構成される重畳映像を記憶する重畳映像記憶手段と、
前記設置情報取得手段により取得した、前記監視カメラの撮影時のカメラ設置情報を、前記重畳映像記憶手段に記憶された重畳映像と紐づけて記憶する設置情報記憶手段と、
前記重畳映像記憶手段に記憶された重畳映像を、前記設置情報記憶手段に記憶された、前記重畳映像に紐づけられたカメラ設置情報と共に表示する映像表示手段として機能させるための監視カメラ設置支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラムに関する。
【背景技術】
【0002】
従来から、店舗等に、いわゆるAI(Artificial Intelligence)カメラ等の監視カメラを配して、監視カメラで撮影したフレーム画像の分析(フレーム画像に映り込んだ人等の物体に対する、学習済物体検出用ニューラルネットワークを用いた検出や、学習済物体認識用ニューラルネットワークを用いた認識等)を行うようにした装置やシステムが知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2018-093283号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところが、上記特許文献1に記載されたような従来の監視カメラで撮影したフレーム画像の分析を行う装置やシステムでは、監視カメラの設置位置、設置角度、監視カメラの周囲の光源等の影響により、分析結果の精度(例えば、人等の物体の検出や認識の精度)が十分に得られない場合がある。従って、この種の装置やシステムにおいて、分析結果の精度を担保するためには、監視カメラの設置現場において、設置者が監視カメラの設置位置や設置角度を調整(変更)した時に、分析結果の精度(例えば、人等の物体の検出や認識の精度)の変化を簡単に確認できるようにすることが必要である。
【0005】
本発明は、上記課題を解決するものであり、監視カメラの設置現場において、設置者が監視カメラの設置位置や設置角度等の監視カメラの設置状況を調整(変更)した時に、設置状況の調整による分析結果の精度の変化を簡単に確認することが可能な監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明の第1の態様による監視カメラ設置支援システムは、所定の撮影エリアを撮影する監視カメラの設置を支援するための監視カメラ設置支援システムにおいて、前記監視カメラの撮影時の設置状況を示すカメラ設置情報を取得する設置情報取得手段と、前記設置状況において前記監視カメラから入力された各フレーム画像を分析する画像分析手段と、前記各フレーム画像に前記画像分析手段による前記各フレーム画像の分析結果の情報を重畳した重畳画像を生成する分析結果重畳手段と、前記設置状況において前記分析結果重畳手段により生成された各重畳画像から構成される重畳映像を記憶する重畳映像記憶手段と、前記設置情報取得手段により取得した、前記監視カメラの撮影時のカメラ設置情報を、前記重畳映像記憶手段に記憶された重畳映像と紐づけて記憶する設置情報記憶手段と、前記重畳映像記憶手段に記憶された重畳映像を、前記設置情報記憶手段に記憶された、前記重畳映像に紐づけられたカメラ設置情報と共に表示する映像表示手段とを備える。
【0007】
この監視カメラ設置支援システムにおいて、前記映像表示手段は、前記監視カメラの複数の設置状況における重畳映像を、並べて表示することが望ましい。
【0008】
この監視カメラ設置支援システムにおいて、前記監視カメラ設置支援システムとは異なる場所に設置された別の監視カメラ設置支援システムにおける前記設置情報記憶手段に記憶されたカメラ設置情報の中から、今回設置しようとしている監視カメラの設置状況と類似した設置状況に対応するカメラ設置情報を検索するカメラ設置情報検索手段をさらに備え、前記映像表示手段は、前記カメラ設置情報検索手段により検索したカメラ設置情報と紐づけられた重畳映像を、前記検索したカメラ設置情報と共に表示することが望ましい。
【0009】
この監視カメラ設置支援システムにおいて、前記映像表示手段は、前記カメラ設置情報検索手段により検索した複数のカメラ設置情報と紐づけられた重畳映像の各々を、並べて表示することが望ましい。
【0010】
この監視カメラ設置支援システムにおいて、前記カメラ設置情報は、前記監視カメラの設置位置及び設置角度の情報を含むことが望ましい。
【0011】
この監視カメラ設置支援システムにおいて、前記監視カメラ設置支援システムは、モバイル端末を含み、前記設置情報取得手段は、前記モバイル端末に搭載された、カメラを含むセンサから得た情報に基づいて、前記監視カメラの設置位置及び設置角度の情報を取得するようにしてもよい。
【0012】
この監視カメラ設置支援システムにおいて、前記設置情報取得手段は、前記撮影エリア内に設置された2次元バーコードのボードを前記監視カメラで撮影した画像に基づいて、前記監視カメラの設置位置及び設置角度の情報を取得するようにしてもよい。
【0013】
この監視カメラ設置支援システムにおいて、前記設置情報取得手段は、前記2次元バーコードの各マークの画像に基づいて、前記監視カメラの設置高さ位置及び設置角度を推定するようにしてもよい。
【0014】
本発明の第2の態様による監視カメラ設置支援装置は、所定の撮影エリアを撮影する監視カメラの設置を支援するための監視カメラ設置支援装置において、前記監視カメラから入力された各フレーム画像を分析する画像分析手段と、前記各フレーム画像に前記画像分析手段による前記各フレーム画像の分析結果の情報を重畳した重畳画像を生成する分析結果重畳手段と、前記分析結果重畳手段により生成された各重畳画像から構成される重畳映像を記憶する重畳映像記憶手段と、前記監視カメラの撮影時のカメラ設置情報を、前記重畳映像記憶手段に記憶された重畳映像と紐づけて記憶する設置情報記憶手段と、前記重畳映像記憶手段に記憶された重畳映像を、前記設置情報記憶手段に記憶された、前記重畳映像に紐づけられたカメラ設置情報と共に、表示手段に出力する映像出力手段とを備える。
【0015】
本発明の第3の態様による監視カメラ設置支援プログラムは、所定の撮影エリアを撮影する監視カメラの設置を支援するための監視カメラ設置支援プログラムであって、コンピュータを、前記監視カメラの撮影時の設置状況を示すカメラ設置情報を取得する設置情報取得手段と、前記設置状況において前記監視カメラから入力された各フレーム画像を分析する画像分析手段と、前記各フレーム画像に前記画像分析手段による前記各フレーム画像の分析結果の情報を重畳した重畳画像を生成する分析結果重畳手段と、前記設置状況において前記分析結果重畳手段により生成された各重畳画像から構成される重畳映像を記憶する重畳映像記憶手段と、前記設置情報取得手段により取得した、前記監視カメラの撮影時のカメラ設置情報を、前記重畳映像記憶手段に記憶された重畳映像と紐づけて記憶する設置情報記憶手段と、前記重畳映像記憶手段に記憶された重畳映像を、前記設置情報記憶手段に記憶された、前記重畳映像に紐づけられたカメラ設置情報と共に表示する映像表示手段として機能させる。
【発明の効果】
【0016】
本発明の第1の態様による監視カメラ設置支援システム、及び第3の態様による監視カメラ設置支援プログラムによれば、監視カメラから入力された各フレーム画像に、各フレーム画像の分析結果の情報を重畳した重畳画像を生成し、これらの重畳画像から構成される重畳映像を、この重畳映像に紐づけられたカメラ設置情報(例えば、監視カメラの設置位置や設置角度の情報)と共に表示するようにした。これにより、監視カメラの設置現場において、(監視カメラの)設置作業者が、監視カメラの設置位置や設置角度等の、監視カメラの設置状況を調整(変更)した時に、その設置状況を示すカメラ設置情報と共に、重畳映像の各フレーム画像に重畳された分析結果の情報(例えば、人等の検出結果や認識結果)を見て、監視カメラの設置状況の調整による、分析結果の精度の変化を簡単に確認することができる。
【0017】
本発明の第2の態様による監視カメラ設置支援装置によれば、監視カメラから入力された各フレーム画像に、各フレーム画像の分析結果の情報を重畳した重畳画像を生成し、これらの重畳画像から構成される重畳映像を、この重畳映像に紐づけられたカメラ設置情報(例えば、監視カメラの設置位置や設置角度の情報)と共に、表示手段に出力して表示させるようにした。これにより、監視カメラの設置現場において、(監視カメラの)設置作業者が、監視カメラの設置位置や設置角度等の、監視カメラの設置状況を調整(変更)した時に、その設置状況を示すカメラ設置情報と共に、重畳映像の各フレーム画像に重畳された分析結果の情報(例えば、人等の検出結果や認識結果)を表示手段で見ることができるので、監視カメラの設置状況の調整による、分析結果の精度の変化を簡単に確認することができる。
【図面の簡単な説明】
【0018】
図1】本発明の一実施形態の監視カメラ設置支援システムの概略の構成を示すブロック構成図。
図2図1中の分析ボックスの概略のハードウェア構成を示すブロック図。
図3図1中のスマホの概略のハードウェア構成を示すブロック図。
図4図1中のタブレットの概略のハードウェア構成を示すブロック図。
図5図1中の監視カメラ、分析ボックス、スマホ、及びタブレットの機能ブロック構成図。
図6図5中の映像取得部と画像分析部と分析結果重畳部により行われる重畳映像保存シーケンスの一つ目の説明図。
図7】上記重畳映像保存シーケンスの二つ目の説明図。
図8図5中の映像取得部と分析結果重畳部と映像確認部により行われる重畳映像検索・表示シーケンスの説明図。
図9】上記スマホに設置情報取得部を設けた場合における、監視カメラの設置位置及び設置角度の取得方法の一例の説明図。
図10】上記スマホに設置情報取得部を設けた場合における、照明の3次元位置の取得方法の一例の説明図。
図11】上記スマホに設置情報取得部を設けた場合における、照明のタイプ、強さ、色等の情報の取得方法の一例の説明図。
図12】(a)は、2次元バーコードを印刷したボードの撮影画像を示す図、(b)は、監視カメラの設置位置のXYZ座標の説明図。
図13】タブレットに表示される重畳映像生成検索画面を示す図。
図14】重畳映像の記録時に、タブレットに表示される重畳映像記録画面を示す図。
図15】重畳映像の記録完了時に、タブレットに表示される重畳映像記録完了画面を示す図。
図16図13の本店舗の類似カメラ映像表示ボタンが押された場合に、タブレットに表示される店舗内カメラ設置状況選択画面を示す図。
図17図16中の設置状況の選択時に、タブレットに表示される店舗内カメラ映像検索結果表示画面を示す図。
図18図13の他店舗の類似カメラ映像表示ボタンが押された場合に、タブレットに表示される他店舗カメラ設置状況選択画面を示す図。
図19図18中の設置状況の選択時に、タブレットに表示される他店舗カメラ映像検索結果表示画面を示す図。
【発明を実施するための形態】
【0019】
以下、本発明を具体化した実施形態による監視カメラ設置支援システム、監視カメラ設置支援装置、及び監視カメラ設置支援プログラムについて、図面を参照して説明する。図1は、本実施形態による監視カメラ設置支援システム1の概略の構成を示すブロック構成図である。本実施形態では、所定の撮影エリアを撮影する監視用のネットワークカメラ(IP(Internet Protocol)カメラ)である複数の監視カメラ2と、これらの監視カメラ2が接続される分析ボックス3(請求項における「監視カメラ設置支援装置」に相当)が、チェーン店等の店舗S内に配される場合の例について説明する。図1に示すように、監視カメラ設置支援システム1は、店舗S内に、上記の監視カメラ2と、分析ボックス3とに加えて、スマートフォン(以下、「スマホ」と略す)4(請求項における「モバイル端末」に相当)と、タブレット5と、WiFi AP(WiFi Access Point)6と、ハブ7と、ルータ8とを備えている。
【0020】
分析ボックス3は、WiFi AP6及びハブ7を介して、スマホ4及びタブレット5に接続されると共に、LAN(Local Area Network)20とハブ7とを介して、複数の監視カメラ2と接続されて、これらの監視カメラ2の各々から入力された画像を分析する。具体的には、分析ボックス3は、監視カメラ2の各々から入力された画像に対する物体検出処理(例えば、人(顧客)や顔の検出処理)や、この物体検出処理で検出された物体の画像に対する物体認識処理(例えば、人(顧客)の性別・年齢等の属性の認識処理等)を行う。また、分析ボックス3は、監視カメラ2の設置時や調整時に、監視カメラ2から入力された各フレーム画像に、各フレーム画像の分析結果(例えば、人等の検出結果や認識結果)の情報を重畳した重畳画像を生成し、これらの重畳画像から構成される重畳映像を、この重畳映像に紐づけられたカメラ設置情報(例えば、監視カメラ2の設置位置や設置角度の情報)と共に、タブレット5に出力して表示させる。設置情報取得部(図5参照)を分析ボックス3に設けた場合には、分析ボックス3とタブレット5が、請求項における「コンピュータ」に相当し、設置情報取得部をスマホ4に設けた場合には、分析ボックス3とスマホ4とタブレット5が、請求項における「コンピュータ」に相当し、設置情報取得部を設置(又は調整)対象の監視カメラ2に設けた場合には、監視カメラ2と分析ボックス3とタブレット5が、請求項における「コンピュータ」に相当する。
【0021】
また、監視カメラ設置支援システム1は、クラウドC上のAI分析サーバ9、及び管理サーバ10を備えている。AI分析サーバ9は、分析ボックス3からの物体検出結果や物体認識結果に基づいて、例えば、各店舗内における人物の行動を分析し、分析結果の情報を、マーケティングや防犯等の種々の用途のアプリケーションが使い易いデータに変換して出力する。
【0022】
上記の管理サーバ10は、各店舗に配された多数の分析ボックス3、及びこれらの分析ボックス3に接続された監視カメラ2の管理を行う。具体的には、管理サーバ10は、各店舗の分析ボックス3へのアプリパッケージのインストールや、これらの分析ボックス3に接続された監視カメラ2の起動及び停止等の制御を行う。なお、このアプリパッケージは、学習済の物体検出用ニューラルネットワークモデル(以下、「物体検出用NNモデル」という)と、学習済の物体認識用ニューラルネットワークモデル(以下、「物体認識用NNモデル」という)と、これらのニューラルネットワークモデル(以下、「NNモデル」という)の使い方(処理の順番)を記載した制御用スクリプトとを含んだパッケージ・プログラムであり、監視カメラの設置を支援するためのプログラムが含まれている。
【0023】
次に、図2を参照して、分析ボックス3のハードウェア構成について説明する。分析ボックス3は、装置全体の制御及び各種演算を行うCPU11と、各種のデータやプログラムを格納するハードディスク12と、RAM(Random Access Memory)13と、DNN推論用プロセッサである推論チップ(以下、「チップ」と略す)14a~14hと、通信制御IC15とを備えている。CPU11は、一般的な汎用CPU、又は多数の映像ストリームを同時処理するため並列処理性能を高めるように設計されたCPUである。また、ハードディスク12に格納されるデータには、後述する映像DB54(図5参照)等の各種DB(Data Base)が含まれる。ハードディスク12に格納されるプログラムには、上記のアプリパッケージ17(請求項における「監視カメラ設置支援プログラム」の要部)に加えて、分析ボックスOSのプログラムが含まれている。なお、請求項における「監視カメラ設置支援プログラム」は、上記のアプリパッケージ17に加えて、後述するスマホ4の設置情報取得アプリケーション32と、タブレット5の重畳映像生成確認プログラム47から構成される。
【0024】
上記の(推論)チップ14a~14hは、DNN(Deep Neural Networks)推論に最適化されたプロセッサ(推論専用チップ)であることが望ましいが、一般的な用途に用いられる汎用のGPU(Graphics Processing Unit)、又はその他のプロセッサであってもよい。また、上記の各チップ14a~14hは、1つのボードコンピュータ上に複数のチップ(推論用プロセッサ)が集積(搭載)されたデバイスであってもよい。
【0025】
図2に示すように、上記の(推論)チップ14a~14hは、PCI Express又はUSBにより、CPU11に接続される。また、上記の通信制御IC15は、Ethernet規格のLANへの接続用のポートであるLANポート16を有している。
【0026】
次に、図3を参照して、スマホ4のハードウェア構成と、スマホ4にインストールされた設置情報取得アプリケーション32について、説明する。スマホ4は、SoC(System-on-a-Chip)21と、内蔵カメラ24と、マイク25と、タッチパネルディスプレイ26と、スピーカ27と、各種のデータやプログラムを記憶するメモリ28と、通信部29と、二次電池30と、充電端子31とを備えている。SoC21は、装置全体の制御及び各種演算を行うCPU22と、物体検出用NNモデル及び物体認識用NNモデルの推論処理等に用いられるGPU23とを備えている。また、タッチパネルディスプレイ26は、ユーザ(監視カメラ2の設置作業者)が、タッチパネルディスプレイ26上に表示された内蔵カメラ24からの入力画像における監視カメラ2周辺の光源(照明等)の位置を指定するためのポインティングデバイスとしても用いられる。
【0027】
上記のメモリ28に格納されるプログラムには、管理サーバ10からスマホ4にダウンロードされてインストールされた設置情報取得アプリケーション32が含まれている。図3に示す例では、設置情報取得アプリケーション32は、カメラ検出モデル33、及びARアプリケーション34を含んでいる。ARアプリケーション34は、ARKit(iPhone(登録商標)・iPad(登録商標)向けのAR対応アプリケーションのためのフレームワーク)等の既存の技術を用いたARエンジン用のプログラムである。ただし、後述するように、ユーザがスマホ4のUIを用いて、監視カメラ2の撮影時の設置状況を示すカメラ設置情報を手入力する場合には、設置情報取得アプリケーション32は、上記のカメラ検出モデル33、及びARアプリケーション34を含んでいる必要はなく、カメラ設置情報の入力用のUIを実現するためのプログラムを含んでいれば良い。
【0028】
通信部29は、通信ICとアンテナを備えている。スマホ4は、通信部29とネットワークとを介して、管理サーバ10と接続されている。また、二次電池30は、リチウムイオン電池等の、充電により繰り返し使用することが可能な電池であり、AC/DCコンバータにより直流電力に変換した後の商用電源からの電力を、蓄電して、スマホ4の各部に供給する。
【0029】
次に、図4を参照して、タブレット5のハードウェア構成について説明する。タブレット5は、内蔵カメラ40と、SoC(System-on-a-Chip)41と、タッチパネルディスプレイ44と、スピーカ45と、各種のデータやプログラムを記憶するメモリ46と、通信部48と、二次電池49と、充電端子39とを備えている。SoC41は、装置全体の制御及び各種演算を行うCPU42と、各種の学習済DNN(Deep Neural Networks)モデルの推論処理等に用いられるGPU43とを備えている。
【0030】
上記のメモリ46に格納されるプログラムには、図5で後述する映像確認部63の機能を実現するためのプログラムである重畳映像生成確認プログラム47が含まれている。この重畳映像生成確認プログラム47は、監視カメラ2の各々から入力されたフレーム画像にその分析結果の情報を重畳した重畳映像の生成処理を指示入力する機能と、同一店舗に配された監視カメラ2の中から、今回設置しようとしている監視カメラ2の設置状況と類似した設置状況の監視カメラ2の重畳画像の検索表示を指示入力する機能と、他店舗に配された監視カメラ2の中から、今回設置しようとしている監視カメラ2の設置状況と類似した設置状況の監視カメラ2の重畳画像の検索表示を指示入力する機能とを実現するためのプログラムである。
【0031】
上記の通信部48は、通信ICとアンテナを備えている。タブレット5は、通信部48とネットワークとを介して、分析ボックス3、及びクラウドC上の管理サーバ10と接続されている。また、二次電池49は、リチウムイオン電池等の、充電により繰り返し使用することが可能な電池であり、AC/DCコンバータにより直流電力に変換した後の商用電源からの電力を、蓄電して、タブレット5の各部に供給する。
【0032】
図5は、上記の監視カメラ2と、分析ボックス3と、スマホ4と、タブレット5の機能ブロックの例を示す。分析ボックス3は、主な機能ブロックとして、映像取得部53と、画像分析部55と、分析結果重畳部57とを備えている。上記の分析結果重畳部57は、重畳部58と、設置情報連結部59と、クエリ受付部61とを備えている。クエリ受付部61は、映像出力部62を備えている。上記の映像取得部53と、画像分析部55と、重畳部58と、設置情報連結部59と、クエリ受付部61とは、分析ボックス3のCPU11が有する機能ブロックである。分析ボックス3のCPU11は、上記のアプリパッケージ17を用いて、これらの機能を実現している。また、分析ボックス3は、ハードディスク12(図2参照)に、映像DB54と、分析結果DB56と、設置情報DB60とを備えている。上記の画像分析部55と、分析結果重畳部57と、映像DB54と、設置情報DB60と、映像出力部62とは、それぞれ、請求項における画像分析手段と、分析結果重畳手段と、重畳映像記憶手段と、設置情報記憶手段と、映像出力手段とに相当する。
【0033】
上記の監視カメラ2は、撮像部50を備えている。また、図5に示す例では、スマホ4が、設置情報取得部52を備えている。ただし、図5中に破線で示すように、監視カメラ2が設置情報取得部51を備えていても良いし、分析ボックス3が設置情報取得部68を備えていても良い。上記の設置情報取得部51、設置情報取得部52、又は設置情報取得部68が、請求項における設置情報取得手段に相当する。設置情報取得部51、設置情報取得部52、又は設置情報取得部68は、監視カメラ2の撮影時の設置状況を示すカメラ設置情報を取得する。上記の設置情報取得部52は、スマホ4のSoC21(図3参照)が有する機能ブロックであり、設置情報取得部68は、分析ボックス3のCPU11(図2参照)が有する機能ブロックである。また、上記の設置情報取得部51は、監視カメラ2のCPU(不図示)が有する機能ブロックである。以下の説明では、主に、スマホ4が設置情報取得部52を備える場合の例について、説明する。
【0034】
上記の分析ボックス3における映像取得部53は、いわゆるVMS(Video Management System)により実現される機能であって、監視カメラ2からハブ7を介して入力される映像ストリームをデコードして、デコード後のフレーム画像(のデータ)を、ハードディスク12の映像DB54に記憶すると共に、分析ボックス3内のバスを介して画像分析部55に出力する。この映像取得部53は、映像DB54と共に、VMSサーバを構成する。
【0035】
上記の画像分析部55は、監視カメラ2から入力された各フレーム画像を分析する。分析結果DB56は、画像分析部55による各フレーム画像の分析結果の情報を記憶(格納)する。分析結果重畳部57は、監視カメラ2から入力された各フレーム画像に、画像分析部55による各フレーム画像の分析結果の情報を重畳した重畳画像を生成する。映像DB54は、上記の監視カメラ2から入力されたデコード後のフレーム画像に加えて、分析結果重畳部57により生成された各重畳画像から構成される重畳映像を記憶する。より正確に言うと、分析結果重畳部57における重畳部58が、映像DB54に格納されている監視カメラ2からの各フレーム画像に、分析結果DB56に格納された、各フレーム画像の分析結果の情報を重畳した重畳画像を生成して、生成した各重畳画像から構成される重畳映像を、映像DB54に格納する。また、設置情報連結部59は、上記のスマホ4の設置情報取得部52から送られたカメラ設置情報を、重畳部58が生成した重畳映像のビデオ開始時間(重畳映像の生成開始時間)と共に、設置情報DB60に書き込む。これにより、設置情報DB60は、スマホ4側の設置情報取得部52により取得した、監視カメラ2の撮影時のカメラ設置情報を、映像DB54に記憶された重畳映像と紐づけて記憶するようになる。
【0036】
また、上記のタブレット5は、映像確認部63を備えている。映像確認部63は、表示部64と、条件入力部66と、クエリ発行部67とを備えている。表示部64(請求項における映像表示手段に相当)は、映像DB54に記憶された重畳映像を、設置情報DB60に記憶された、上記の重畳映像に紐づけられたカメラ設置情報と共に表示する。
【0037】
図5に示すように、監視カメラ設置支援システム1は、カメラ設置情報検索部65(請求項におけるカメラ設置情報検索手段に相当)を備えている。カメラ設置情報検索部65は、タブレット5側の条件入力部66及びクエリ発行部67と、分析ボックス3側のクエリ受付部61とから構成される。
【0038】
カメラ設置情報検索部65は、同じ店舗S内に設置された図5中の分析ボックス3の設置情報DB60に記憶されたカメラ設置情報の中から、今回設置しようとしている監視カメラ2の設置状況と類似した設置状況に対応するカメラ設置情報を検索する機能を有している。換言すると、カメラ設置情報検索部65は、同じ店舗S内に設置された監視カメラ2の映像に基づく重畳映像の中から、今回設置しようとしている監視カメラ2の設置状況と類似した設置状況の監視カメラ2の重畳映像を検索する機能を有している。また、カメラ設置情報検索部65は、ネットワークを介して、別の店舗における設置情報DB60(図1及び図5中の監視カメラ設置支援システム1とは異なる場所に設置された別の監視カメラ設置支援システム1における設置情報DB60)に記憶されたカメラ設置情報の中から、今回設置しようとしている監視カメラ2の設置状況と類似した設置状況に対応するカメラ設置情報を検索する機能を有している。換言すると、カメラ設置情報検索部65は、別の店舗に設置された監視カメラ2の映像に基づく重畳映像の中から、今回設置しようとしている監視カメラ2の設置状況と類似した設置状況の監視カメラ2の重畳映像を検索する機能を有している。
【0039】
上記の表示部64は、カメラ設置情報検索部65により検索したカメラ設置情報と紐づけられた重畳映像を、検索したカメラ設置情報と共に表示する。また、詳細については後述するが、表示部64は、カメラ設置情報検索部65による検索結果であるカメラ設置情報が複数のときは、複数のカメラ設置情報と紐づけられた重畳映像の各々を、並べて表示する(図17及び図19参照)。
【0040】
次に、図6及び図7を参照して、主に、上記の映像取得部53と、画像分析部55と、分析結果重畳部57により行われる重畳映像保存シーケンスについて、説明する。まず、分析ボックス3における分析結果重畳部57は、図5中のスマホ4の設置情報取得部52が取得した、監視カメラ2の撮影時の設置状況を示すカメラ設置情報を、スマホ4から入力する。このカメラ設置情報は、監視カメラ2の撮影時における設置位置、設置角度、監視カメラ2の周囲の光源状況、検出対象の検出箇所等の設置状況を示す情報である。上記の設置情報取得部52は、ユーザがスマホ4のUIを用いて、上記のカメラ設置情報を手入力することにより実現されるものであっても良い。タブレット5のタッチパネルディスプレイ44に表示される重畳映像生成検索画面78(図13参照)における重畳映像生成ボタン79がユーザにより押されると、分析結果重畳部57は、上記の監視カメラ2の設置位置等のカメラ設置情報を、ビデオ開始時間(重畳映像の生成開始時間)と共に、設置情報DB60に保存する(S1)。
【0041】
一方、上記の映像取得部53は、上記の重畳映像生成ボタン79(図13参照)が押されると、監視カメラ2から映像(ストリーム)を取得して(S2)、デコードし、デコード後のフレーム画像を画像分析部55に送信する(S3)と共に、フレーム画像から構成されるカメラ映像を映像DB54に保存する(S4)。
【0042】
また、画像分析部55は、上記S3で映像取得部53(VMS)から送られたフレーム画像を取得すると、このフレーム画像を各種の学習済DNNモデルに入力して、人や顔等の検出結果や、性別、年齢等の認識結果の情報(推論情報)を取得する(S6)。これらの推論情報の取得が終了すると、画像分析部55は、これらの推論情報と、上記S5で取得したフレーム画像を、分析結果重畳部57へ送信する(S7)。
【0043】
分析結果重畳部57は、上記S7で画像分析部55から送信されたフレーム画像と推論情報(推論結果)を取得すると(S8)、取得した各フレーム画像に推論結果を重畳表示した重畳画像を生成し(S9)、これらの重畳画像から重畳映像を生成して、映像取得部53(VMS)に送信する(S10)。映像取得部53は、この重畳映像を映像DB54に保存する(S11)。
【0044】
また、分析結果重畳部57は、上記S10の処理後に、画像分析部55から受信した推論結果に基づいて、人検出数等の統計情報を計算して、分析結果DB56に保存する(S12)。この統計情報は、映像DB54に格納された所定時間分(例えば、1~2分)の各重畳映像において検出された人や顔の合計数や推論精度等の統計情報であり、必ずしも、分析結果重畳部57が自動計算したものである必要はなく、例えば、作業者が、スマホ4やタブレット5を用いて、手入力したものであってもよい。
【0045】
次に、図8を参照して、主に、分析ボックス3側の映像取得部53及び分析結果重畳部57と、タブレット5側の映像確認部63により行われる重畳映像検索・表示シーケンスについて、説明する。ユーザが、タブレット5側の映像確認部63における条件入力部66(図5参照)から、設置(又は調整)作業中の監視カメラ2の設置状況と類似した設置状況の監視カメラ2の重畳映像を検索するために、検索キーとなるカメラ設置位置等のカメラ設置情報を入力すると、クエリ発行部67は、入力されたカメラ設置情報をキーにして、分析ボックス3側の分析結果重畳部57に、クエリを発行する(S21)。なお、クエリ発行部67は、同じ店舗S内に設置された監視カメラ2の映像に基づく重畳映像の中から、今回設置しようとしている監視カメラ2の設置状況と類似した設置状況の監視カメラ2の重畳映像を検索するときには、同じ店舗S内に設置された分析ボックス3の分析結果重畳部57に、クエリを発行する。また、クエリ発行部67は、別の店舗に設置された監視カメラ2の映像に基づく重畳映像の中から、今回設置しようとしている監視カメラ2の設置状況と類似した設置状況の監視カメラ2の重畳映像を検索するときには、別の店舗に設置された分析ボックス3の分析結果重畳部57に、クエリを発行する。
【0046】
分析ボックス3側の分析結果重畳部57は、クエリ受付部61によって、タブレット5側のクエリ発行部67から発行されたクエリを受け取ると、設置情報DB60に記憶されたカメラ設置情報の中から、クエリにキーとして含まれるカメラ設置情報に類似したカメラ設置情報を検索する(S22)。そして、検索結果となるカメラ設置情報に紐づけられた重畳映像のビデオ開始時間を設置情報DB60から読みだして、このビデオ開始時間をキーとした重畳映像取得クエリを、映像取得部53に発行する(S23)。映像取得部53は、映像DB54に格納された重畳映像の中から、上記の重畳映像取得クエリに含まれるビデオ開始時間に対応するビデオ開始時間を有する重畳映像を検索して(S24)、検索した重畳映像を、タブレット5側の映像確認部63に送る(S25)。
【0047】
上記の分析結果重畳部57は、上記S23の処理の終了後、上記のS24で映像取得部53により検索された重畳映像の統計情報を、分析結果DB56から取得して、取得した統計情報を、S22で検索したカメラ設置情報と共に、タブレット5側の映像確認部63に送信する(S26)。タブレット5側の映像確認部63は、上記S25とS26で分析ボックス3側から送信された重畳映像とカメラ設置情報と統計情報を受信して(S27及びS28)、受信した重畳映像とカメラ設置情報と統計情報を、表示部64に表示する(S29)。
【0048】
次に、図9を参照して、スマホ4に、設置情報取得部52(図5参照)を設けた場合における、カメラ設置情報の取得方法の一例について、説明する。この取得方法によるカメラ設置情報取得処理を実行する前に、監視カメラ2の設置作業者は、スマホ4に、管理サーバ10(図1参照)から設置情報取得アプリケーション32(図3参照)をダウンロードして、インストールしておく。そして、監視カメラ2の設置時又は調整時に、設置作業者が、上記の設置情報取得アプリケーション32を起動して、スマホ4を監視カメラ2に向けると、スマホ4のSoC21が、図3に示す設置情報取得アプリケーション32に含まれるカメラ検出モデル33を用いて、監視カメラ2を検出した後、ARアプリケーション34(図3参照)が有するAR機能により、監視カメラ2の3次元位置を取得する。例えば、スマホ4が有する、内蔵カメラ24(図3参照)と、GPS(全地球測位システム)センサと、電子コンパスと、加速度センサを利用して、監視カメラ2の3次元位置(設置位置)及び設置角度を取得する。具体的には、スマホ4の内蔵カメラ24による撮影画像69に加えて、GPSセンサ(GPSモジュール)によって捕捉されたスマホ4の位置情報と、電子コンパスを利用して取得した内蔵カメラ24の撮影の方角と、加速度センサを利用して取得したスマホ4の傾き等に基づいて、監視カメラ2の3次元位置(設置位置)及び設置角度を取得する。なお、図9における70は、監視カメラ2の周囲の光源である照明を示し、2aと70aは、それぞれ、監視カメラ2の画像(カメラ画像)と、照明70の画像(照明画像)を示す。
【0049】
上記の監視カメラ2の3次元位置取得処理が終了して、図10に示すように、監視カメラ2の設置作業者が、スマホ4のタッチパネルディスプレイ26上に表示された撮影画像69における照明画像70aをタップすると、スマホ4のSoC21が、設置情報取得アプリケーション32に基づき、ARアプリケーション34(図3参照)が有するAR機能により、照明70の3次元位置を取得する。具体的には、スマホ4の内蔵カメラ24による撮影画像69に加えて、タッチパネルディスプレイ26が検出した、設置作業者がタップしたタッチパネルディスプレイ26上の位置と、GPSセンサによって捕捉されたスマホ4の位置情報と、電子コンパスを利用して取得した内蔵カメラ24の撮影の方角と、加速度センサを利用して取得したスマホ4の傾き等に基づいて、照明70の3次元位置を取得する。
【0050】
また、上記の照明70の3次元位置の取得処理が完了すると、スマホ4のSoC21は、設置情報取得アプリケーション32に基づいて、図11に示すように、タッチパネルディスプレイ26上に、撮影画像69に重畳して、照明情報入力ウィンドウ71を表示させる。監視カメラ2の設置作業者は、このタッチパネルディスプレイ26に表示された照明情報入力ウィンドウ71に対して、指でポインティング操作をすることにより、照明70についてのタイプ、強さ、色等の情報を入力することができる。
【0051】
次に、図12(a)(b)を参照して、監視カメラ2に設置情報取得部51(図5参照)を設けた場合における、カメラ設置情報の取得方法の一例について、説明する。監視カメラ2の設置時又は調整時に、設置作業者が、店舗Sにおける監視カメラ2による撮影エリア内の床に、図12(a)に示す2次元バーコード73を印刷したボード72を置いて、監視カメラ2で撮影する。この時、設置作業者は、2次元バーコード73の上下方向は、店舗平面マップのZ軸(図12(b)参照)に、2次元バーコード73の左右方向は、店舗平面マップのX軸に合わせるように設置して、撮影する。この状態で、監視カメラ2のCPU(の設置情報取得部51)が、撮影画像における2次元バーコード73を認識することにより、監視カメラ2の設置高さ位置(床からの高さ)と設置角度を推定する。監視カメラ2による(2次元バーコード73を印刷した)ボード72の撮影画像は、タブレット5のタッチパネルディスプレイ44(表示部64)に表示されるが、監視カメラ2のCPUは、撮影画像中に2次元バーコード73を認識したときには、図12(a)に示すように、認識した2次元バーコード73に付与されたid(図12(a)の例では、id=[0,4,11,12])を表示すると共に、この2次元バーコード73の上下左右の位置に配された各マーク74の右上の角の部分に、検出マーク75を表示する。上記の2次元バーコード73のid=[0,4,11,12]は、2次元バーコード73における上下左右のマーク74のidが、それぞれ、0,4,11,12であることを示す。
【0052】
監視カメラ2のCPUは、上記の2次元バーコード73における上下左右のマーク74が、タブレット5のタッチパネルディスプレイ44上の撮影画像内に、どのように表示されたかに基づいて、監視カメラ2の設置高さ位置及び設置角度(傾き)を推定する。より詳細に説明すると、監視カメラ2のCPU(の設置情報取得部51)は、上記の撮影画像における2次元バーコード73の上下左右のマーク74の表示のされ方(撮影画像における上下左右のマーク74の大きさや傾きや形状)に基づいて、監視カメラ2の設置高さ位置(Y座標)及び設置角度(傾き)を推定する。また、監視カメラ2のCPU(の設置情報取得部51)は、監視カメラ2の設置位置のうち、監視カメラ2の(店舗平面マップにおける)XZ座標平面上の位置については、タブレット5のタッチパネルディスプレイ44上に店舗平面マップを表示して、監視カメラ2の設置作業者に対して、上記の店舗平面マップ上における監視カメラ2の位置(X座標とZ座標)を指定して入力するように促す。そして、監視カメラ2の設置作業者が、これに応えて、監視カメラ2の位置(X座標とZ座標)を入力することにより、監視カメラ2のCPU(の設置情報取得部51)は、監視カメラ2のX座標とZ座標を得ることができる。
【0053】
上記の監視カメラ2のCPUは、チェスボードの撮影画像を用いてカメラキャリブレーションを行うことができる。なお、分析ボックス3のCPU11が、監視カメラ2が撮影したチェスボードの画像を用いて、上記のカメラキャリブレーションを行うようにしても良い。
【0054】
次に、図13を参照して、タブレット5のタッチパネルディスプレイ44に表示される重畳映像生成検索画面78から指示される処理について説明する。重畳映像生成検索画面78には、重畳映像生成ボタン79と、本店舗(同じ店舗S)の類似カメラ映像表示ボタン80と、他店舗の類似カメラ映像表示ボタン81とが設けられている。
【0055】
まず、上記重畳映像生成ボタン79が押された場合に行われる重畳映像生成処理について、説明する。監視カメラ2の設置作業者が、上記の重畳映像生成ボタン79を押すと、分析ボックス3の重畳部58が、監視カメラ2から入力された各フレーム画像に、画像分析部55による各フレーム画像の分析結果の情報を重畳した重畳画像を生成して、重畳画像から構成される重畳映像を、映像DB54に記憶(格納)すると共に、分析ボックス3の設置情報連結部59が、スマホ4の設置情報取得部52から送られたカメラ設置情報を、重畳部58が生成した重畳映像のビデオ開始時間と関連付けて、設置情報DB60に書き込む。タブレット5のSoC41(図4参照)は、分析ボックス3側で上記の重畳映像の映像DB54への記憶(記録)処理が行われている時には、図14に示す重畳映像記録画面83をタッチパネルディスプレイ44に表示し、上記の重畳映像の映像DB54への記録が完了すると、図15に示す重畳映像記録完了画面84をタッチパネルディスプレイ44に表示する。
【0056】
次に、上記図13の本店舗の類似カメラ映像表示ボタン80が押された場合に行われる、同一店舗内の類似カメラ映像表示処理について、説明する。監視カメラ2の設置作業者が、上記の本店舗の類似カメラ映像表示ボタン80を押すと、タブレット5のSoC41は、重畳映像生成確認プログラム47(図4参照)に基づいて、図16に示す店舗内カメラ設置状況選択画面85を表示する。店舗内カメラ設置状況選択画面85は、タブレット5が置かれた店舗内に設置された監視カメラ2の複数の設置状況における重畳映像86を、並べて表示した画面である。この店舗内カメラ設置状況選択画面85は、監視カメラ2の設置作業者が、監視カメラ2の各設置状況(図16の例では、設置状況1、設置状況2等)における重畳映像86に表示された推論結果(人検出や顔検出の結果)を見て、どの設置状況に近い監視カメラ2の映像を検索するかを選択するための画面である。また、店舗内カメラ設置状況選択画面85に表示される各重畳映像86は、監視カメラ2の設置作業者が、同一の監視カメラ2の設置位置や設置角度等の設置状況を調整(変更)しながら、各設置状況において、重畳映像生成検索画面78の重畳映像生成ボタン79(図13参照)を押した時に生成された重畳映像、又は同一店舗内の他の監視カメラ2の設置調整時(の各設置状況)において、重畳映像生成ボタン79を押した時に生成された重畳映像である。
【0057】
上記の店舗内カメラ設置状況選択画面85において、監視カメラ2の設置作業者が、重畳映像86の下方の再生ボタン86dを押すと、重畳映像86が再生される。上記の重畳映像86を構成する各フレーム画像には、人の検出を示す人検出(バウンディング)ボックス86aと、顔の検出を示す顔検出(バウンディング)ボックス86bが表示される。上記の人検出(バウンディング)ボックス86aと、顔の検出を示す顔検出(バウンディング)ボックス86bが、上記図7のS9で説明した「推論結果」であり、人検出ボックス86aと顔検出ボックス86bとは、それぞれ、人検出の推論結果と、顔検出の推論結果とを示す。これらの推論結果(人検出ボックス86aと顔検出ボックス86b)は、請求項における「各フレーム画像の分析結果の情報」に相当する。なお、重畳映像86における86cは、画像分析部55が誤検出した顔に対応する、誤検出顔(バウンディング)ボックスを示す。
【0058】
上記の店舗内カメラ設置状況選択画面85における、各重畳映像86の下部には、各重畳映像86の生成時における監視カメラ2の設置状況を示すカメラ設置情報87と、各重畳映像86の統計情報88とが表示される。タブレット5のSoC41は、このタブレット5と同じ店舗S内に設置された分析ボックス3の映像DB54と設置情報DB60と分析結果DB56とを対象にして、映像DB54から取得した重畳映像と、設置情報DB60から取得したカメラ設置情報と、分析結果DB56から取得した統計情報とに基づき、上記の重畳映像86と、カメラ設置情報87と、統計情報88とを表示する。
【0059】
図16の例における店舗内カメラ設置状況選択画面85のカメラ設置情報87は、監視カメラ2の設置位置(高さ)と、設置角度(Roll(ロール)角、Pitch(ピッチ)角、及びYaw(ヨー)角)から構成されるが、店舗内カメラ設置状況選択画面のカメラ設置情報は、監視カメラ2の周囲の光源状況、検出対象の検出箇所等の情報を含んでいても良い。また、図16の例における店舗内カメラ設置状況選択画面85の統計情報88は、人(の)検出数と、顔(の)検出数と、上方向検出数(下から上に向かった人の検出数)とから構成されるが、店舗内カメラ設置状況選択画面85に表示される統計情報は、これらに限られない。例えば、監視カメラ2の設置作業者が、タブレット5のタッチパネルディスプレイ44上のUI用の画面から、該当の重畳映像86についての人検出率、顔検出率、上方向検出率(下から上に向かった人の検出率)を手入力した場合には、タブレット5のSoC41は、これらの統計情報を分析結果DB56に入力した上で、店舗内カメラ設置状況選択画面85上に、統計情報として表示しても良い。また、監視カメラ2の設置作業者が、タブレット5のタッチパネルディスプレイ44上のUI用の画面から、該当の重畳映像86についての評価値を手入力した場合には、タブレット5のSoC41は、この評価値を統計情報として分析結果DB56に入力した上で、店舗内カメラ設置状況選択画面85上に、統計情報として表示しても良い。
【0060】
監視カメラ2の設置作業者が、タブレット5のタッチパネルディスプレイ44に表示された複数の設置状況のうち、自分が採用したいと思う監視カメラ2の設置状況に近い設置状況(図16中の設置状況1、設置状況2等)をタップして選択すると、タブレット5のSoC41(のクエリ発行部67)が、タブレット5と同じ店舗S内に設置された分析ボックス3(のクエリ受付部61)に、設置作業者が選択した設置状況に対応するカメラ設置情報をキーにしてクエリを出す。これにより、分析ボックス3のCPU11が、設置情報DB60に記憶されたカメラ設置情報の中から、キーとなるカメラ設置情報と類似したカメラ設置情報を検索して、このカメラ設置情報に紐づけられた重畳映像を、ビデオ開始時間(重畳映像の生成開始時間)をキーにして、映像DB54から読み出し、読み出した重畳映像を、上記の検索したカメラ設置情報、及び上記の重畳映像に対応する統計情報と共に、タブレット5側に送る。そして、タブレット5のSoC41は、上記の重畳映像、カメラ設置情報、及び統計情報を受け取ると、これらのデータに基づいて、図17に示す店舗内カメラ映像検索結果表示画面89を、タブレット5のタッチパネルディスプレイ44に表示する。
【0061】
上記の店舗内カメラ映像検索結果表示画面89は、店舗内カメラ設置状況選択画面85において選択された設置状況に近い設置状況の1つ以上の重畳映像91を、この重畳映像91の生成時の設置状況に対応するカメラ設置情報、及び上記の重畳映像に対応する統計情報と共に、並べて表示した画面である。この店舗内カメラ映像検索結果表示画面89は、上記の店舗内カメラ設置状況選択画面85と同様な情報(重畳映像91、カメラ設置情報92、及び統計情報93)に加えて、店舗内カメラ設置状況選択画面85において選択された設置状況に対応するカメラ設置情報である検索キー90と、この検索キー90をキーにしてクエリを出した時の「検索結果」(の件数)と、映像識別情報94とを表示する。映像識別情報94は、カメラ識別情報(図の例では、「入口」(のカメラ))と、このカメラ識別情報に対応する監視カメラ2で撮影した重畳映像の識別番号と、類似度(図の例では、100%、98.5%、及び99%)を含む。監視カメラ2の設置作業者は、上記の店舗内カメラ映像検索結果表示画面89に表示された各重畳映像91における推論結果(人検出や顔検出の結果)や統計情報93を見て、どの(監視カメラ2の)設置状況が好ましいかを判断することができる。また、監視カメラ2の設置作業者は、各重畳映像91における推論結果や統計情報93を、設置先の店舗Sの責任者等(以下、「顧客」という)に見せることにより、監視カメラ2をどのように設置するか(監視カメラ2の設置位置や設置角度等の設置状況をどのように設定するか)について、顧客との摺合せを容易に行うことができる。
【0062】
次に、上記図13の他店舗の類似カメラ映像表示ボタン81が押された場合に行われる、他店舗の類似カメラ映像表示処理について、説明する。監視カメラ2の設置作業者が、上記の他店舗の類似カメラ映像表示ボタン81を押すと、タブレット5のSoC41は、重畳映像生成確認プログラム47(図4参照)に基づいて、図18に示す他店舗カメラ設置状況選択画面95を表示する。他店舗カメラ設置状況選択画面95は、タブレット5が置かれた店舗S以外の他店舗(店舗Sとは異なる場所)に設置された監視カメラ2の複数の設置状況における重畳映像86を、並べて表示した画面である。この他店舗カメラ設置状況選択画面95は、監視カメラ2の設置作業者が、他店舗に設置された監視カメラ2の各設置状況における重畳映像96に表示された推論結果(人検出や顔検出の結果)を見て、どの設置状況に近い監視カメラ2の映像を検索するかを選択するための画面である。また、他店舗カメラ設置状況選択画面95に表示される各重畳映像96は、他店舗の監視カメラ2の設置作業者が、他店舗に設置された監視カメラ2の設置調整時に生成を指示した重畳映像である。
【0063】
上記の他店舗カメラ設置状況選択画面95には、上記の店舗内カメラ設置状況選択画面85と同様な情報(重畳映像96、カメラ設置情報97、及び統計情報98)が表示される。なお、重畳映像96における96cは、他店舗の分析ボックス3(の画像分析部55)が誤検出した顔に対応する、誤検出顔(バウンディング)ボックスを示す。
【0064】
監視カメラ2の設置作業者が、タブレット5のタッチパネルディスプレイ44に表示された、他店舗の監視カメラ2の複数の設置状況のうち、自分が採用したいと思う監視カメラ2の設置状況に近い設置状況(図18中の設置状況1、設置状況2等)をタップして選択すると、タブレット5のSoC41(のクエリ発行部67)が、タブレット5とは異なる店舗(他店舗)に設置された分析ボックス3(のクエリ受付部61)に、設置作業者が選択した設置状況に対応するカメラ設置情報をキーにしてクエリを出す。これにより、他店舗の分析ボックス3のCPU11が、当該分析ボックス3の設置情報DB60に記憶されたカメラ設置情報の中から、キーとなるカメラ設置情報と類似したカメラ設置情報を検索して、このカメラ設置情報に紐づけられた重畳映像を、ビデオ開始時間をキーにして、上記映像DB54から読み出し、読み出した重畳映像を、上記の検索したカメラ設置情報、及び上記の重畳映像に対応する統計情報と共に、タブレット5側に送る。そして、タブレット5のSoC41は、上記の他店舗の重畳映像、カメラ設置情報、及び統計情報を受け取ると、これらのデータに基づいて、図19に示す他店舗カメラ映像検索結果表示画面99を、タブレット5のタッチパネルディスプレイ44に表示する。
【0065】
上記の他店舗カメラ映像検索結果表示画面99は、他店舗カメラ設置状況選択画面95において選択された設置状況に近い設置状況で生成された1つ以上の重畳映像101を、この重畳映像101の生成時の設置状況に対応するカメラ設置情報103、及び上記の重畳映像101に対応する統計情報104と共に、並べて表示した画面である。この他店舗カメラ映像検索結果表示画面99には、上記の店舗内カメラ映像検索結果表示画面89と同様な情報(検索キー100、重畳映像101、映像識別情報102、カメラ設置情報103、及び統計情報104)が表示される。監視カメラ2の設置作業者は、上記の他店舗カメラ映像検索結果表示画面99に表示された各重畳映像101における推論結果(人検出や顔検出の結果)や統計情報104を見て、どの(監視カメラ2の)設置状況が好ましいかを判断することができる。従って、監視カメラ2の設置作業者は、他店舗の分析ボックス3のデータベース(映像DB54、分析結果DB56、及び設置情報DB60)にある程度のデータが貯まってくれば、これらのデータ(重畳映像、カメラ設置情報、統計情報)に基づいて、今自分が設置しようとしている監視カメラ2の設置環境(監視カメラ2の設置位置(床からの高さ)、監視カメラ2の周囲の光源状況、及び検出対象の検出箇所等)において、高精度を出すためのカメラの設置角度等を検索することができる。
【0066】
上記のように、本実施形態の監視カメラ設置支援システム1によれば、監視カメラ2から入力された各フレーム画像に、各フレーム画像の分析結果の情報を重畳した重畳画像を生成し、これらの重畳画像から構成される重畳映像を、この重畳映像に紐づけられたカメラ設置情報(例えば、監視カメラ2の設置位置や設置角度の情報)と共に表示するようにした。これにより、監視カメラ2の設置現場において、監視カメラ2の設置作業者が、監視カメラ2の設置位置や設置角度等の、監視カメラ2の設置状況を調整(変更)した時に、その設置状況を示すカメラ設置情報と共に、重畳映像の各フレーム画像に重畳された分析結果の情報(例えば、人検出や顔検出の(推論)結果)を見て、監視カメラ2の設置状況の調整による、分析結果の精度の変化を簡単に確認することができる。
【0067】
また、本実施形態の監視カメラ設置支援システム1によれば、図16乃至図19の各画面(店舗内カメラ設置状況選択画面85、店舗内カメラ映像検索結果表示画面89、他店舗カメラ設置状況選択画面95、及び他店舗カメラ映像検索結果表示画面99)に示すように、監視カメラ2の複数の設置状況における重畳映像を、並べて表示するようにした。これにより、監視カメラ2の設置作業者が、監視カメラ2の複数の設置状況における分析結果の精度を、比較して確認することができる。
【0068】
また、本実施形態の監視カメラ設置支援システム1によれば、他店舗(異なる場所)に設置された別の監視カメラ設置支援システム1における設置情報DB60に記憶されたカメラ設置情報の中から、今回設置しようとしている監視カメラ2の設置状況と類似した設置状況に対応するカメラ設置情報を検索して、検索したカメラ設置情報と紐づけられた重畳映像を、検索したカメラ設置情報と共に、タブレット5のタッチパネルディスプレイ44に表示するようにした。これにより、監視カメラ2の設置作業者が、他店舗の監視カメラ2の設置状況と、その設置状況における重畳映像の分析結果(推論結果)を参照して、今自分が設置しようとしている監視カメラ2の設置状況(設置位置や設置角度)を決定することができる。
【0069】
また、本実施形態の監視カメラ設置支援システム1によれば、スマホ4に搭載された、各種のセンサ(内蔵カメラ40、GPSセンサ、電子コンパス、及び加速度センサ)から得た情報に基づいて、監視カメラ2の設置位置及び設置角度の情報を取得できるようにした。これにより、監視カメラ2の設置作業者が、スマホ4のタッチパネルディスプレイ26(又はタブレット5のタッチパネルディスプレイ44)から、監視カメラ2の設置位置及び設置角度の情報を手入力した場合と比べて、設置作業者の利便性を向上させることができる。
【0070】
また、本実施形態の監視カメラ設置支援システム1によれば、監視カメラ2の撮影エリア内に設置された2次元バーコード73のボード72(図12(a)参照)を監視カメラ2で撮影した画像に基づいて、監視カメラ2の設置位置及び設置角度の情報を取得するようにした。これにより、監視カメラ2の設置作業者が、スマホ4のタッチパネルディスプレイ26(又はタブレット5のタッチパネルディスプレイ44)から、監視カメラ2の設置位置及び設置角度の情報を手入力した場合と比べて、設置作業者の利便性を向上させることができる。
【0071】
また、本実施形態の監視カメラ設置支援システム1によれば、監視カメラ2の設置情報取得部51が、2次元バーコード73の各マーク74の画像に基づいて、監視カメラ2の設置高さ位置及び設置角度を推定することができる。これにより、監視カメラ2の設置作業者が、スマホ4のタッチパネルディスプレイ26(又はタブレット5のタッチパネルディスプレイ44)から、監視カメラ2の設置高さ位置及び設置角度の情報を手入力した場合と比べて、設置作業者の利便性を向上させることができる。
【0072】
また、本実施形態の分析ボックス3によれば、監視カメラ2から入力された各フレーム画像に、各フレーム画像の分析結果の情報を重畳した重畳画像を生成し、これらの重畳画像から構成される重畳映像を、この重畳映像に紐づけられたカメラ設置情報(例えば、監視カメラ2の設置位置や設置角度の情報)と共に、タブレット5(のタッチパネルディスプレイ44)に出力して表示させるようにした。これにより、監視カメラ2の設置現場において、監視カメラ2の設置作業者が、監視カメラ2の設置位置や設置角度等の、監視カメラ2の設置状況を調整(変更)した時に、その設置状況を示すカメラ設置情報と共に、重畳映像の各フレーム画像に重畳された分析結果の情報(例えば、人検出や顔検出の(推論)結果)をタッチパネルディスプレイ44で見て、監視カメラ2の設置状況の調整による、分析結果の精度の変化を簡単に確認することができる。
【0073】
変形例:
なお、本発明は、上記の各実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。次に、本発明の変形例について説明する。
【0074】
変形例1:
上記の実施形態では、主に、スマホ4が設置情報取得部52を備える場合の例について説明したが、タブレットに設置情報取得アプリケーション32(図3参照)と同様なアプリケーションをインストールして、タブレットが設置情報取得部を備えるようにしても良い。これにより、ユーザがタブレットのUIを用いて、監視カメラの撮影時の設置状況を示すカメラ設置情報を手入力する方法や、図9乃至図11に示す方法を用いて、タブレットのSoCが、カメラ設置情報を取得することができる。なお、タブレットが設置情報取得部を備えるようにした場合は、監視カメラ設置支援システム1は、スマホ4を備える必要は無い。
【0075】
変形例2:
また、上記の実施形態では、監視カメラ2のCPUは、2次元バーコード73における上下左右のマーク74が、タブレット5のタッチパネルディスプレイ44上の撮影画像内に、どのように表示されたかに基づいて、監視カメラ2の設置高さ位置と設置角度を推定する場合の例について説明したが、監視カメラに、設置位置や設置角度を検出するためのセンサ(GPSセンサ、電子コンパス、加速度センサ、角速度センサ等)を設けて、これらのセンサの出力値に基づいて、監視カメラの設置位置と設置角度を推定するようにしても良い。
【0076】
変形例3:
また、上記の実施形態では、監視カメラ2のCPUが、2次元バーコード73の各マーク74の画像に基づいて、監視カメラ2の設置高さ位置及び設置角度を推定する場合の例について示した。けれども、監視カメラのCPUが、2次元バーコード以外のマークの画像に基づいて、監視カメラの設置高さ位置及び設置角度を推定するようにしても良い。
【0077】
変形例4:
上記の実施形態では、分析ボックス3が、映像取得部53と画像分析部55とを備える構成にしたが、この構成に限られず、例えば、各店舗に配する監視カメラを、いわゆるエッジコンピューティング機能を有するAI(Artificial Intelligence)カメラにして、このAIカメラに、人検出処理、顔検出処理等の推論処理用の学習済DNNモデルを備えたアプリパッケージをインストールし、AIカメラが、上記の映像取得部と画像分析部の機能を備えるようにしてもよい。また、上記のAIカメラが、上記の実施形態で分析ボックスが備えた、映像取得部と、映像DBと、画像分析部と、分析結果DBと、分析結果重畳部の機能を備えるようにしてもよい。
【0078】
変形例5:
上記の実施形態では、タブレット5が、映像確認部63を備える場合の例について示したが、監視カメラ設置支援システムが、大型のタッチパネルディスプレイを有するスマホを備えるようにして、このスマホが、映像確認部を備えるようにしても良い。
【符号の説明】
【0079】
1 監視カメラ設置支援システム
2 監視カメラ
3 分析ボックス(監視カメラ設置支援装置)
4 スマホ(モバイル端末)
17 アプリパッケージ(「監視カメラ設置支援プログラム」の要部)
24 内蔵カメラ(「モバイル端末」の「カメラ」)
32 設置情報取得アプリケーション(「監視カメラ設置支援プログラム」の一部)
47 重畳映像生成確認プログラム(「監視カメラ設置支援プログラム」の一部)
51 設置情報取得部(設置情報取得手段)
52 設置情報取得部(設置情報取得手段)
54 映像DB(重畳映像記憶手段)
55 画像分析部(画像分析手段)
57 分析結果重畳部(分析結果重畳手段)
60 設置情報DB(設置情報記憶手段)
64 表示部(映像表示手段)
65 カメラ設置情報検索部(カメラ設置情報検索手段)
68 設置情報取得部(設置情報取得手段)
72 ボード
73 2次元バーコード
74 マーク
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19