(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-08
(45)【発行日】2024-11-18
(54)【発明の名称】監視システム、情報処理装置、監視システムの制御方法及びプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20241111BHJP
G06T 7/60 20170101ALI20241111BHJP
【FI】
H04N7/18 D
H04N7/18 K
G06T7/60 180D
(21)【出願番号】P 2020136701
(22)【出願日】2020-08-13
【審査請求日】2023-08-14
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】加藤 秀憲
【審査官】薄井 義明
(56)【参考文献】
【文献】特開2020-119215(JP,A)
【文献】特開2004-326411(JP,A)
【文献】国際公開第2018/087968(WO,A1)
【文献】特開2020-047002(JP,A)
【文献】特開2018-067755(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G06T 7/60
(57)【特許請求の範囲】
【請求項1】
画像解析装置と外部装置とが通信可能な監視システムであって、
前記画像解析装置が、
所定の監視範囲を撮影して得られた画像を解析して、前記監視範囲に含まれる構成物に対する監視対象物との接触個所を検出する検出手段と、
前記検出手段により検出された前記接触個所について
接触された際の時刻情報からの経過時間と前記接触個所における前記構成物の材質に関する情報とを含む接触履歴を記録する記録手段と、
前記画像と前記接触個所における前記接触履歴を表す接触データとを前記外部装置に提供する提供手段と
を有し、
前記外部装置が、
前記画像解析装置から前記画像と前記接触データとを取得する取得手段と、
前記接触データを用いて、前記画像に対応付けて前記接触個所を表示するように制御する表示制御手段
であって、前記材質に関する情報に基づいて補正された経過時間が所定の時間閾値未満である場合、前記接触履歴に対応する前記接触個所を表示対象とし、前記補正された経過時間が所定の時間閾値以上の場合、前記接触履歴に対応する前記接触個所を表示対象としない表示制御手段と
を有することを特徴とする監視システム。
【請求項2】
前記記録手段は、接触された接触回数を、前記検出手段により検出された前記接触個所ごとにカウントし、
前記接触履歴は、前記記録手段によりカウントされた接触回数を含
むことを特徴とする請求項
1に記載の監視システム。
【請求項3】
前記表示制御手段は、前記接触個所の表示態様を接触回数に応じて異ならせることを特徴とする請求項2に記載の監視システム。
【請求項4】
前記画像解析装置は、前記監視範囲の環境情報を検出する外部センサを有し、
前記記録手段は、接触された際の前記環境情報を記録することを特徴とする請求項1乃至3何れか1項に記載の監視システム。
【請求項5】
前記記録手段は、前記検出手段により前記接触個所を検出した場合であって、第1の条件を満たす場合に、前記接触個所の前記接触履歴を初期化することを特徴とする請求項1乃至4何れか1項に記載の監視システム。
【請求項6】
前記第1の条件が、所定のモードが設定されていることを特徴とする請求項5に記載の監視システム。
【請求項7】
前記第1の条件が、前記検出手段により前記監視対象物の所定の挙動が検出されたことを特徴とする請求項5又は6に記載の監視システム。
【請求項8】
前記画像解析装置は、前記監視範囲の環境情報を検出する外部センサを有し、
前記接触データは、接触された際の前記環境情報を含み、
前記表示制御手段は、前記環境情報に基づいて前記経過時間を補正することを特徴とする請求項
1乃至7何れか1項に記載の監視システム。
【請求項9】
前記記録手段は、前記検出手段により前記接触個所を検出した場合であって、前記外部装置から所定の通知を受信した場合、前記接触個所の前記接触履歴を初期化することを特徴とする請求項
1乃至
8何れか1項に記載の監視システム。
【請求項10】
前記記録手段は、前記検出手段により前記接触個所を検出した場合であって、
前記接触個所に対する接触行為が予め定められた動作であることを検出した場合、前記接触個所の前記接触履歴を初期化することを特徴とする請求項
1乃至
9何れか1項に記載の監視システム。
【請求項11】
前記画像が、2次元画像データ又は3次元画像データであることを特徴とする請求項1乃至10何れか1項に記載の監視システム。
【請求項12】
所定の監視範囲を撮影して得られた画像を解析して、前記監視範囲に含まれる構成物に対する監視対象物との接触個所を検出する検出手段と、前記検出手段により検出された前記接触個所について接触された際の時刻情報からの経過時間と前記接触個所における前記構成物の材質に関する情報とを含む接触履歴を記録する記録手段と、前記画像と前記接触個所における前記接触履歴を表す接触データとを外部の情報処理装置に提供する提供手段とを有する画像解析装置から前記画像と前記接触データとを取得する取得手段と、
前記接触データを用いて、前記画像に対応付けて前記接触個所を表示するように制御する表示制御手段であって、前記材質に関する情報に基づいて補正された経過時間が所定の時間閾値未満である場合、前記接触履歴に対応する前記接触個所を表示対象とし、前記補正された経過時間が所定の時間閾値以上の場合、前記接触履歴に対応する前記接触個所を表示対象としない表示制御手段と
を有することを特徴とする情報処理装置。
【請求項13】
画像解析装置と外部装置とが通信可能な監視システムの制御方法であって、
前記画像解析装置が、所定の監視範囲を撮影して得られた画像を解析して、前記監視範囲に含まれる構成物に対する監視対象物との接触個所を検出する検出ステップと、
前記画像解析装置が、前記検出ステップにより検出された前記接触個所について
接触された際の時刻情報からの経過時間と前記接触個所における前記構成物の材質に関する情報とを含む接触履歴を記録する記録ステップと、
前記画像解析装置が、前記画像と前記接触個所における前記接触履歴を表す接触データとを前記外部装置に提供する提供ステップと、
前記外部装置が、前記画像解析装置から前記画像と前記接触データとを取得する取得ステップと、
前記外部装置が、前記接触データを用いて、前記画像に対応付けて前記接触個所を表示するように制御する表示制御ステップであって、前記材質に関する情報に基づいて補正された経過時間が所定の時間閾値未満である場合、前記接触履歴に対応する前記接触個所を表示対象とし、前記補正された経過時間が所定の時間閾値以上の場合、前記接触履歴に対応する前記接触個所を表示対象としない表示制御ステップと
を含むことを特徴とする
監視システムの制御方法。
【請求項14】
コンピュータを、請求項
12に記載された
情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視システム、情報処理装置、監視システムの制御方法及びプログラムに関する。
【背景技術】
【0002】
近年、屋内/屋外を問わず、数多くの監視カメラが設置され、24時間365日のフルタイムで監視が行われている。監視カメラで得られた画像は、遠隔地にいる監視員がリアルタイムでモニター監視する際に用いられたり、記録装置に録画されて問題発生時に発生状況の確認に用いられたりする。また監視カメラで得られた画像から問題となる挙動を自動で検出する技術が提案されている。特許文献1では、対象者を撮影する監視カメラから対象者の異常行動を検知し、検知された対象者の異常行動発生情報を記憶したり、通報したりするシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
監視されるエリアで行われる作業がある。例えば、感染症の蔓延を防ぐための、建物や設備の除菌作業がある。従来の除菌作業では、作業員が除菌スプレーその他の方法で汚染個所を拭いて回ることになるが、どこを拭いて良いか一見してわからないため、手指が触れる可能性のある箇所を全て処理する必要があり、時間がかかる。また、別の例として、建物や構造物の保守・保全のための、部品交換や補修等の作業がある。このような作業では、作業員が直接現物を目視で確認して摩耗の程度や劣化状態に応じて作業の必要性を判断する必要があるため、手間がかかっている。
【0005】
本発明はこのような問題点に鑑みなされたもので、監視カメラで得られた画像を利用して、監視されるエリアで行うべき作業の把握を効率的に行うことを目的とする。
【課題を解決するための手段】
【0006】
本発明の監視システムは、画像解析装置と外部装置とが通信可能な監視システムであって、前記画像解析装置が、所定の監視範囲を撮影して得られた画像を解析して、前記監視範囲に含まれる構成物に対する監視対象物との接触個所を検出する検出手段と、前記検出手段により検出された前記接触個所について接触された際の時刻情報からの経過時間と前記接触個所における前記構成物の材質に関する情報とを含む接触履歴を記録する記録手段と、前記画像と前記接触個所における前記接触履歴を表す接触データとを前記外部装置に提供する提供手段とを有し、前記外部装置が、前記画像解析装置から前記画像と前記接触データとを取得する取得手段と、前記接触データを用いて、前記画像に対応付けて前記接触個所を表示するように制御する表示制御手段であって、前記材質に関する情報に基づいて補正された経過時間が所定の時間閾値未満である場合、前記接触履歴に対応する前記接触個所を表示対象とし、前記補正された経過時間が所定の時間閾値以上の場合、前記接触履歴に対応する前記接触個所を表示対象としない表示制御手段とを有することを特徴とする。
【発明の効果】
【0007】
本発明によれば、監視カメラで得られた画像を利用して、監視されるエリアで行うべき作業の把握を効率的に行うことができる。
【図面の簡単な説明】
【0008】
【
図3】外部サーバ及び外部装置のハードウェア構成例を示す図である。
【
図4】監視カメラ及び外部サーバの機能構成例を示す図である。
【
図5】外部装置に表示される画面例を示す図である。
【
図10】初期設定処理を示すフローチャートである。
【
図11】第1の実施形態に係る接触個所検出処理を示すフローチャートである。
【
図12】第1の実施形態に係る接触情報表示処理を示すフローチャートである。
【
図13】メンテンナンス処理を示すフローチャートである。
【
図14】第2の実施形態に係る接触個所検出処理を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
【0010】
<第1の実施形態>
図1は、監視カメラと監視カメラが監視する監視範囲を示す図である。監視カメラ100は、任意の設置場所に設定されており、監視範囲107の監視を行う。監視カメラ100は、監視範囲107の静止画像又は動画像としての監視画像を撮影し、自身のHDD203(
図2)又はネットワークを介した外部サーバ210(
図2)に保存する。以下監視画像は2次元の平面的な画像データであるとして説明するが、3次元の立体的な画像データであってもよい。
【0011】
図1に示す監視範囲107には、監視対象物101と、ドア102、ドアノブ103、壁104、天井105、床/地面106等の設備が構成物として含まれる。監視対象物101は、監視対象の動体であり、例えば人物、動物である。また監視対象物101は、自動車等の生物ではないオブジェクトでもよい。監視範囲107に含まれる構成物は、普段から監視範囲107に存在しており、監視場所に応じて変化する。
【0012】
図2は、監視カメラ100を含む監視システムの全体構成例を示す図である。監視システムは、監視カメラ100と、外部サーバ210と、外部装置220とがネットワーク230を介して互いに通信可能に接続されている。外部サーバ210は、ネットワーク230を介して監視カメラ100から提供された監視対象の各種データを保存する。外部装置220は、ネットワーク230を介して外部サーバ210に保存された監視対象の各種データを参照する。
【0013】
図2の監視システムは、監視範囲107に含まれる構成物に対して施すメンテナンス作業を行うために、監視対象物101との接触個所を検出する。
図1の監視範囲107は、監視対象物101としての人物の手が、ドアノブ103に接触している場面を表している。ここで、ウイルス性の感染症の感染を防止するためには、人物の手指が触れた箇所(接触個所)に付着するウイルスを除菌することが重要である。以下、メンテナンス作業として、監視範囲107内の構成物を除菌する作業を例にして説明する。
【0014】
まず
図2を参照して監視カメラ100のハードウェア構成例について説明する。監視カメラ100は、CPU200、ROM201、RAM202、HDD203、I/F(インターフェース)204を有し、それぞれの構成はバス205で接続されている。監視カメラ100は画像解析装置の一例である。
CPU200はROM201の内容に沿って監視カメラ100内の各部の動作を制御したり、RAM202にロードしたプログラムを実行したりする。ROM201は読み出し専用メモリであり、ブートプログラムやファームウェア、後述する処理を実現するための各種プログラム、及び各種データを格納している。RAM202はCPU200にて処理を行うために一時的にプログラムやデータを格納しておくワークメモリであり、CPU200により各種処理プログラムやデータがロードされる。HDD203はプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。
【0015】
I/F204はネットワーク機器やUSBデバイスといった外部機器と通信するためのインターフェースであり、ネットワーク230を通じたデータ通信や、外部機器とデータの送受信を行う。ここでは、撮影ユニット206や外部センサ207と接続するために用いられる。
撮影ユニット206は、2次元又は3次元の画像データを撮像可能なカメラユニットであり、3次元の場合は距離測定が可能である位相差機能を持つカメラユニットであってもよい。本実施形態では、I/F204に1台の撮影ユニット206が接続されるが、これに限られず、監視対象物101や監視範囲107をより広範囲に漏れなく捉えるために、異なる位置、角度で設けられた複数台が接続されてもよい。またI/F204には、ネットワーク230を介して外部の撮影ユニット206が接続されてもよい。撮影ユニット206で撮像された画像データは監視画像としてI/F204を介してHDD203に保存される。
外部センサ207は、監視範囲107の温度、湿度等の各種環境情報を取得するセンサである。取得された各種環境情報は、I/F204を介してHDD203に記録される。なお外部センサ207は必須ではないので監視カメラ100の設置場所の環境によっては省略される場合がある。
【0016】
図3は、外部サーバ210及び外部装置220のハードウェア構成例を示す図である。外部サーバ210及び外部装置220は同様のハードウェア構成により実現可能であることから外部装置220について説明し外部サーバ210の説明を省略する。外部装置220は、メンテナンス作業を行う作業者に利用されるモバイル機器である。なお外部装置220は、PC(パーソナルコンピュータ)システム他、ヘッドマウントディスプレイ等を活用したMixedリアリティシステムであってもよい。
外部装置220は、CPU300、ROM301、RAM302、HDD303、タッチパネル304、I/F305、及びこれらを接続するバス306を有する。以下各構成について説明する。
【0017】
CPU300はROM301の内容に沿って外部装置220内の各部の動作を制御したり、RAM302にロードしたプログラムを実行したりする。ROM301は読み出し専用メモリであり、ブートプログラムやファームウェア、後述する処理を実現するための各種プログラム、及び各種データを格納している。RAM302はCPU300にて処理を行うために一時的にプログラムやデータを格納しておくワークメモリであり、CPU300により各種処理プログラムやデータがロードされる。HDD303はプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。
タッチパネル304は、表示機能と入力機能とを兼ね備えており、CPU300の制御により、監視画像等を表示するとともに、入力されたデータをCPU300へ出力する。外部装置220を利用する作業者は、タッチパネル304に表示される情報を使って接触個所に関する情報を入手する。I/F305はネットワーク機器やUSBデバイスといった外部機器と通信するためのインターフェースであり、ネットワーク230を通じたデータ通信や、外部機器とデータの送受信を行う。
【0018】
図4は、監視カメラ100及び外部サーバ210の機能構成例を示す図である。
監視カメラ100は、CPU200がROM201等に記憶されたプログラムをRAM202にロードして実行することにより、監視範囲認識部400、監視対象認識部401、接触個所検出部402、接触個所カウント部403、データ送受信部404として機能する。以下、各機能構成について詳細に説明する。監視カメラ100のCPU200は、検出手段、記録手段、及び提供手段の一例である。
【0019】
監視範囲認識部400は、監視範囲107に含まれる設備等の構成物を認識する。さらに監視範囲認識部400は、監視範囲107を格子状に区切った監視範囲マトリクス(
図7参照)を用いて構成物の位置を表す構成物座標データを生成する。
監視対象認識部401は、HDD203から監視画像407を読み出して、監視範囲107に進入した監視対象物101(人物、動物、その他オブジェクト)を認識し、監視対象物101の行動や移動範囲に関するデータを取得する。さらに監視対象認識部401は、取得したデータと監視範囲マトリクス(
図7参照)とを用いて監視対象物101の行動範囲を表す行動座標データを生成する。
接触個所検出部402は、監視範囲107内の各構成物に対する監視対象物101との接触個所を検出する。具体的には接触個所検出部402は、監視範囲認識部400からの構成物座標データと、監視対象認識部401からの行動座標データとを用いて、監視範囲107内の接触個所の位置(座標範囲)を特定する。
接触個所カウント部403は、接触個所検出部402が検出した接触個所について接触カウントを増加させ、接触回数として記録する。この接触回数は、接触の有った時刻情報とともに接触履歴として記録される。
データ送受信部404は、各接触個所における接触履歴を表す接触データ408及び監視画像407を、ネットワーク230を介して外部サーバ210に提供する。なおこの接触データ408には、監視画像407とともにHDD203に記録された各種環境情報が含まれる。
【0020】
外部サーバ210は、外部サーバ210のCPU300が外部サーバ210のROM301等に記憶されたプログラムをRAM302にロードして実行することにより、データ送受信部405、データ管理部406として機能する。
データ送受信部405は、ネットワーク230を介して監視カメラ100から提供された監視画像407及び接触データ408を取得する。なおデータ送受信部405が、監視カメラ100にアクセスし、監視画像407及び接触データ408を能動的に取得してもよい。またデータ送受信部405は、外部装置220からの要求に応じて外部サーバ210のHDD303に記憶された監視画像407及び接触データ408を外部装置220に提供する。
データ管理部406は、監視画像407及び接触データ408を外部サーバ210のHDD303に記憶する。
【0021】
なお、本実施形態においては、監視画像407及び接触データ408を外部サーバ210のHDD303に記憶するとしたが、この方法に限定するものではなく、外部装置220のHDD303に記憶するとしてもよい。この場合、監視カメラ100が外部装置220と直接データのやり取りを行うため、外部サーバ210は不要となる。
また、監視カメラ100が監視画像407及び接触データ408を外部サーバ210に提供するとしたが、この方法に限定するものではなく、監視カメラ100が監視画像407のみを外部サーバ210に提供するとしてもよい。この場合、外部サーバ210が監視カメラ100の各種の処理を行う。
【0022】
図5は、監視画像407及び接触データ408を参照する外部装置220のタッチパネル304に表示される画面例を示す図である。
外部装置220は、接触データ408に基づいて監視範囲107内の接触個所を監視画像407にオーバーラップさせて表示する。
図5の例では監視範囲107にある左右のドアノブの一部に対して接触個所を表すパターン501a,501bがオーバーラップ表示されている。即ち外部装置220は、接触個所と非接触個所とを識別可能に表示する。また外部装置220は、パターン501a,501bに対応付けて接触回数表示502a,502bを表示する。なお接種回数をわかりやすく表現するために、外部装置220がパターン501a,501bの表示態様を接種回数に応じて異ならせてもよい。例えば青だと低頻度、赤に近づくほど高頻度となるように色の塗分けで表示してもよい。これにより、監視期間中にどの部分が何回接触されたかが明示される。
【0023】
図6(a)は、外部装置220の機能構成例を示す図である。
外部装置220は、外部装置220のCPU300が外部装置220のROM301等に記憶されたプログラムをRAM302にロードして実行することにより、接触情報参照部600、接触情報表示部601、及びウイルス情報入力部602として機能する。以下、各機能構成について詳細に説明する。外部装置220のCPU300は、取得手段、及び表示制御手段の一例である。
接触情報参照部600は、ネットワーク230を介して外部サーバ210にアクセスし、監視画像407及び接触データ408を取得する。
接触情報表示部601は、接触情報参照部600が取得した情報を用いて接触情報を表示する。具体的には接触情報表示部601は、まず接触情報参照部600が取得した情報とウイルス情報入力部602により入力されたウイルス情報(
図6(b))とを用いて、監視範囲107の各座標について接触個所として表示対象とするか否かの判定を行う。そして判定結果を外部装置220のタッチパネル304に表示する。さらに接触情報表示部601は、接触個所に対して接触回数を表示する。
ウイルス情報入力部602は、接触情報を表示する際に用いられるウイルス情報(
図6(b))の選択を行う。外部装置220のHDD303には、複数のウイルス情報が予め保存されていても良いし、除菌作業を実施する前に作業者によって入力されても良い。ウイルス情報入力部602は、除菌作業を行う時のターゲットとなるウイルスを保存されたものから選択する操作か、または作業者による入力で受け付けて、ウイルス情報を設定する。
【0024】
図6(b)はウイルス情報を説明する図である。
ウイルス情報630は、ウイルスに関する情報である。ウイルス情報630は、時間閾値610、材質補正値611、及び環境補正値612を含む。
時間閾値610は、ウイルスの基本残存時間であり、ウイルスが体内から排出されてから感染可能な状態(生存状態)を維持できる基本的な時間である。
材質補正値611は、接触個所の材質別に時間閾値610を補正するための補正値である。時間経過に伴うウイルスの生存率は、接触個所の材質によって異なる場合がある。このような場合、当該座標にある構成物の材質に合わせて材質補正値611を設定することにより、材質を考慮した補正経過時間を算出することができる。例えば基本残存時間が24時間のウイルスで、プラスチックでの残存時間が48時間、木材での残存時間が12時間の場合、材質補正値611は、プラスチックで「0.5」、木材で「2」、その他で「1」となる。
【0025】
環境補正値612は、ウイルスの存在する環境別に時間閾値610を補正するための補正値である。多くのウイルスでは、環境によって生存率が変化する。例えば直射日光が当たる監視範囲107では紫外線の照射による生存率の低下が期待できる。例えば基本残存時間が24時間のウイルスがこの様な環境下では1時間で死滅する場合、環境補正値612に「24」を設定することで、環境を考慮した補正経過時間を算出することができる。
【0026】
以上をまとめると、補正経過時間計算式は以下の数式1で表される。
補正経過時間=最終接触からの経過時間×材質補正値611×環境補正値612…(1)
なお、材質補正値611や環境補正値612を使わない場合は、材質補正値611や環境補正値612に「1」を設定する。これにより補正が行われなくなる。例えば基本残存時間が24時間のウイルスで、プラスチックでの材質補正値611が「0.5」で、環境補正値612を使わないという条件で、最終接触から24時間経過した場合で試算する。上記の数式1に当てはめると、補正経過時間=24×0.5×1=12時間になる。これは基本残存期間である24時間未満となるため、ウイルスは当該プラスチック上ではまだ感染力を維持したまま残存している、と判断できる。
【0027】
ウイルス情報630は、外部装置220を使ってウイルスをターゲットとした除菌作業を行う場合に入力される。このウイルス情報630は、監視カメラ100が保持しても、外部装置220が保持してもよい。なお監視カメラ100がウイルス情報630を保持する場合には、監視カメラ100が外部装置220の各種の処理を行う。
またウイルス情報630は、外部装置220に対して複数入力されてもよい。接触個所を除菌したいウイルスのタイプは1つとは限らず、種類によって残存時間などが異なる。よって除菌したい複数のウイルスのウイルス情報630を入力し、外部装置220がウイルス情報630を適宜切り替えて接触情報の表示を行うことで、複数のウイルスに対応可能となる。
【0028】
図7は、監視範囲107にある構成物への接触判定を行うために用いられる監視範囲マトリクス700を示す図である。監視範囲マトリクス700は、左上を原点とし、横方向にX0~Xn、縦方向にY0~Yn、奥行き方向がある場合はZ0~Znを持つ配列で表現する。各要素数は管理精度によって変化するが、最大は監視カメラ100の画像解像度と一致する。例えばFHDである1920×1080の解像度であるならば、Xnは最大で1919になりYnは最大で1079になる。また奥行き方向Znについてはシステム依存で変化する。なお本実施形態では2次元画像データを扱う監視カメラ100を例にしているため、奥行き方向のZ0~Znについては表現を割愛している。本実施形態では監視範囲マトリクス700の各要素を座標として扱う。
【0029】
図8(a)は、監視範囲マトリクス700を用いた接触データ408のデータ構造を表した模式図である。監視エリア接触情報(struct TouchInfo search_area_touchinfo[X][Y][Z])801は、接触情報構造体802の配列変数である。点線の矢印で示すように、監視エリア接触情報801の各要素が、監視範囲マトリクス700の各要素に対応する。よって各要素は監視範囲マトリクス700に合わせて定義される。この監視エリア接触情報801は監視カメラ100が2次元画像データを扱う場合は[X][Y]の2次元配列になり、3次元画像を扱う場合は[X][Y][Z]の3次元配列になる。監視エリア接触情報801の各要素([X][Y][Z]又は[X][Y]で定義される座標)に対応付けて、次に説明する接触情報構造体802が保持される。監視エリア接触情報801は、接触個所検出部402が座標ごとの接触の有無を判定する際に利用される。
【0030】
図8(b)は、接触情報構造体(struct TouchInfo)802を示す図である。接触情報構造体802は、監視エリア接触情報801の各要素における接触履歴を保持する構造体である。接触情報構造体802は、touch_count803(接触回数カウント)、last_touch_date804(最終接触時間情報)、及びobject_type805(材質タイプ)を含む。
touch_count803は、当該座標位置での接触カウントである。外部装置220はtouch_count803を接触回数として表示する。
last_touch_date804は、当該座標位置での接触が最後に検出された時の時間を示す時間情報である。last_touch_date804は前述したようにウイルスを除菌する作業を行う際に活用される。例えば、接触後24時間で感染力が十分低いレベルまで低下するようなウイルスを想定する。この場合、外部装置220による接触情報の表示時にtouch_count803が1以上であったとしても、last_touch_date804から24時間を超えていた場合はtouch_count803=0として扱うことが可能となる。
object_type805は、当該座標位置にある構成物の材質タイプを表す情報である。object_type805も同様にウイルスを除菌する作業で活用される。
【0031】
図9は、接触データ408の初期化を行う初期化処理を示すフローチャートである。以下の処理は、監視カメラ100のCPU200がROM201等に記憶されたプログラムに基づき処理を実行することにより実現される。本フローチャートは、監視カメラ100が任意の設置場所に設置される際に実行される。なお、フローチャートの説明における記号「S」は、ステップを表すものとする。この点、以下のフローチャートの説明においても同様とする。
S101では、CPU200が、監視カメラ100の撮影ユニット206から、縦(Y)・横(X)・奥行き(Z)の解像度を取得する。
次にS102では、CPU200が、S101で得た解像度を用いて、監視範囲マトリクス700に対応する監視エリア接触情報801のデータ領域(search_area_touchinfo[X][Y][Z])をRAM302上に確保する。なお、撮影ユニット206の性能に応じて、2次元画像データの場合には2次元配列のデータ領域(search_area_touchinfo[X][Y])を確保する。
【0032】
次のS103~S105では、CPU200が、監視エリア接触情報801の各領域を初期化するためのループ処理を行う。まずS103では、CPU200が、全領域を初期化したか否か判定する。CPU200が全領域を初期化したと判定した場合、処理はS106へ進む。CPU200が初期化していない領域があると判定した場合、処理はS104へ進む。S104では、CPU200が、現在対象とする領域の接触情報構造体802の初期化処理を行う。この初期化処理では、接触情報構造体802のtouch_count803、last_touch_date804、及びobject_type805を0クリアする。次にS105では、CPU200が、監視エリア接触情報801の次の領域へ初期化の対象を移し、処理はS103へ戻る。
S106では、CPU200が、初期化された監視エリア接触情報801を接触データ408としてHDD203へ格納する。
以上の初期化処理によれば、監視範囲107に対応する監視エリア接触情報801の全領域で接触情報構造体802が初期化される。
【0033】
図10は、
図9により初期化された監視エリア接触情報801の各領域の接触情報構造体802の初期設定を行う初期設定処理を示すフローチャートである。以下の処理は、監視カメラ100のCPU200がROM201等に記憶されたプログラムに基づき処理を実行することにより実現される。本フローチャートは、
図9のフローチャートが終了した後で、接触データ408がHDD203から読み出された場合に処理開始となる。
S201~S203では、CPU200が、接触情報構造体802のobject_type805を初期設定するためのループ処理を行う。まずS201では、CPU200が、現在対象とする領域の構成物の材質タイプを判定し、判定された材質タイプをその領域の接触情報構造体802のobject_type805に設定する。この処理は、AI(人工知能システム)を用いた画像判断処理により各領域の画像からどのような素材(金属、プラスチック、木材等)であるかを判断する処理であってもよい。なお管理者(監視カメラ100の初期設置者)が、材質を実際に確認して各領域の材質タイプをobject_type805に設定するようにしてもよい。
【0034】
S202では、CPU200が、全領域を初期設定したか否か判定する。CPU200が初期設定していない領域があると判定した場合、処理はS203へ進む。CPU200が全領域で初期設定したと判定した場合、処理はS204へ進む。S203では、CPU200が、監視エリア接触情報801の次の領域へ初期設定の対象を移し、処理はS201へ戻る。
S204では、CPU200が、初期設定された監視エリア接触情報801を、更新された接触データ408としてHDD203に保存する。
以上の初期設定処理によれば、監視範囲107に対応する監視エリア接触情報801の全領域で接触情報構造体802が初期設定される。この監視エリア接触情報801を用いることで構成物の位置を表す構成物座標データを取得することが可能である。
【0035】
図11は、監視カメラ100が監視範囲107の接触個所の検出を行う接触個所検出処理を示すフローチャートである。以下の処理は、監視カメラ100のCPU200がROM201等に記憶されたプログラムに基づき処理を実行することにより実現される。本フローチャートの処理は、CPU200が
図10に示す処理により初期設定された監視エリア接触情報801を用いて、監視対象物101が監視範囲107に進入したことを検知した場合に処理開始となる。
S301では、CPU200が、監視範囲107内の監視対象物101の捕捉を行う。具体的には、監視エリア接触情報801を用いて、監視対象物101の行動範囲を表す行動座標データを生成する。ここでCPU200は複数の監視対象物101を捕捉してもよい。
次にS302では、CPU200が、監視対象物101が監視範囲107の外に出たか否かを判定する。S301でCPU200が複数の監視対象物101を捕捉した場合には、すべての監視対象物101が監視範囲107の外に出たか否かを判定する。CPU200が監視対象物101が監視範囲107の外に出たと判定した場合、本フローチャートの処理が終了する。CPU200が監視対象物101が監視範囲107内に留まっていると判定した場合、処理はS303へ進む。
【0036】
S303では、CPU200が、監視対象物101と監視範囲107の構成物との接触の有無を判定する。具体的には、監視エリア接触情報801から取得される構成物座標データと、S301で生成される行動座標データとを用いて、監視エリア接触情報801の各座標での接触の有無を判定する。この接触判定において、CPU200は監視対象物101における、接触個所の状態の判断を行ってもよい。例えば、監視対象物101が人であって、かつ接触した際に手袋を着用していた場合、それを接触と認識しないことが挙げられる。当該判定処理はAIによって行ってもよいし、機械学習等を応用して行ってもよい。CPU200が接触が有ったと判定した場合、処理はS304へ進む。CPU200が接触が無かったと判定した場合、監視対象物101が監視範囲107に進入したものの監視範囲107内の構成物に接触していないとして、処理はS301へ戻る。
【0037】
接触が有ったと判定された場合、S304では、CPU200が、監視エリア接触情報801を用いて1つの監視対象物101ごとに接触の有った矩形範囲(接触領域座標範囲)の取得を行う。また接触の有った監視対象物101の顔や自動車のナンバープレート等が認識可能であれば、CPU200がそれらの認識情報を取得してもよい。認識情報を取得する場合は、接触データ408に他の情報と合わせて記録される。これにより後で接触者(接触物)の追跡が必要になった場合に有用な履歴情報を得ることが可能となる。
【0038】
S305~S309では、CPU200が、S304で取得した接触矩形範囲座標の各座標における、接触情報構造体802のtouch_count803、及びlast_touch_date804を設定するためのループ処理を行う。まずS305で、CPU200が、S304で取得した接触矩形範囲座標に対応する監視エリア接触情報801のtouch_count803を1つ増加させる。これによりその構成物へ接触があったことが記録される。S306では、CPU200が現在時刻を取得する。S307では、CPU200がS306で取得した時刻情報を、S304で取得した接触矩形範囲座標に対応する監視エリア接触情報801のlast_touch_date804に設定する。なお、それまでlast_touch_date804に設定されていた時刻情報は破棄される。これによりその構成物へ最後に接触した時刻が記録される。
S308では、CPU200が、S304で取得した接触領域座標範囲のすべての座標に対してtouch_count803の更新を行ったか否かを判定する。CPU200がtouch_count803の更新を行っていない座標があると判定した場合、処理はS309へ進む。S309では、CPU200が、touch_count803を更新する対象を次の座標へ移し、処理はS305へ戻る。CPU200が、S304で取得した接触領域座標範囲のすべての座標に対してtouch_count803の更新を行ったと判定した場合、処理はS310へ進む。
【0039】
S310では、CPU200が、接触の有ったすべての監視対象物101に対してS305~S309のループ処理を実行したか否かを判定する。CPU200が、接触の有った監視対象物101が他にあって、まだS305~S309のループ処理を実行していないと判定した場合、処理はS311へ進み、S311で次の監視対象物101へループ処理の対象を移し、処理はS304へ戻る。CPU200が、接触の有ったすべての監視対象物101に対してS305~S309のループ処理を実行したと判定した場合、処理はS312へ進む。
S312では、CPU200が、接触情報構造体802のtouch_count803、及びlast_touch_date804が更新された接触データ408をHDD203に保存する。その後処理はS301へ戻る。
以上の接触個所検出処理によれば、監視範囲107に対応する監視エリア接触情報801を用いて、接触の有った接触個所の接触回数及び最終接触時間(接触履歴)が記録される。
【0040】
図12は、外部装置220が接触個所の表示を行う接触情報表示処理を示すフローチャートである。以下の処理は、外部装置220のCPU300がROM301等に記憶されたプログラムに基づき処理を実行することにより実現される。本フローチャートの処理は、メンテナンス作業開始の操作が入力された場合に処理開始となる。
S401では、外部装置220のCPU300が、ネットワーク230経由で外部サーバ210から監視画像407と接触データ408を取得する。またさらに必要な場合は、外部装置220のCPU300が、HDD303からウイルス情報630を読み出す。
次にS402では、外部装置220のCPU300が、S401で取得した監視画像407を外部装置220のタッチパネル304に表示する。
次にS403では、外部装置220のCPU300が、S401で読み出したウイルス情報630のうち、作業者により選択もしくは入力されたウイルス情報630を設定する。これにより、どのウイルスをターゲットにして補正経過時間の算出を行うかが決定される。
【0041】
S405~S412の処理で、外部装置220のCPU300が、S401で取得した接触データ408の、監視エリア接触情報801のX0/Y0/Z0を起点にして、Xn/Yn/Znの終点まで順番にtouch_count803があるかをチェックする。touch_count803がある場合であって、ウイルス情報630に定義される所定の条件を満たす場合、外部装置220のCPU300は、当該touch_count803に該当する座標位置を接触個所であると判定する。外部装置220のCPU300は、監視画像407の監視範囲107に接触個所を明確に示す画像(
図5のパターン501a,501b)をオーバーレイ表示する。
【0042】
S404では、外部装置220のCPU300が、touch_count803があるかチェックする処理が監視エリア接触情報801の全領域に対して行われたか否かを判定する。CPU300が全領域に対して行われたと判定した場合、本フローチャートの処理が終了する。CPU300がtouch_count803があるかチェックする処理が行われていない領域があると判定した場合、処理はS405へ進む。
S405では、外部装置220のCPU300が、現在対象の領域の接触情報構造体802について、touch_count803があるか否かを判定する。CPU300がtouch_countがないと判定した場合、処理はS413へ進む。CPU300がtouch_countがあると判定した場合、処理はS406へ進む。
S406では、外部装置220のCPU300が、S403でウイルス情報630が設定されているか否かを判定する。CPU300がウイルス情報630が設定されていると判定した場合、処理はS407へ進む。CPU300がウイルス情報630が設定されていないと判定した場合、単純に接触回数に応じた接触個所の表示を行えばよいので、処理はS412へ進む。
【0043】
S407では、外部装置220のCPU300が、現在時刻を取得する。
次にS408では、外部装置220のCPU300が、S407で取得した現在時刻と、現在対象の領域の接触情報構造体802のlast_touch_date804を用いて経過時間を算出する。
次にS409では、外部装置220のCPU300が、現在対象の領域の接触情報構造体802のobject_type805に一致する、ウイルス情報630の材質補正値611を取得する。一致するものがない場合は補正が行われないように、CPU300が、材質補正値611を「1」に設定する。
次にS410では、外部装置220のCPU300が、S401で取得した接触データ408に含まれる各種環境情報に一致する、ウイルス情報630の環境補正値612を取得する。接触データ408に各種環境情報が含まれていない場合は、CPU300が、環境補正値612を「1」に設定する。そしてCPU300が、取得した環境補正値612と、S409で取得した材質補正値611を用いて、S408で算出した経過時間を補正経過時間に変換する。
【0044】
次にS411では、外部装置220のCPU300が、S410で算出された補正経過時間と、ウイルス情報630の時間閾値610とを比較する。CPU300が補正経過時間が時間閾値610以上(所定の時間閾値以上)であると判定した場合、当該接触個所を表示対象から除外して、処理はS413へ進む。当該接触個所に関しては接触してから十分に時間が経過していると判断できるため、接触がなかったものとみなせるからである。一方でCPU300が補正経過時間が時間閾値610未満(所定の時間閾値未満)であると判定した場合、当該接触個所を表示対象として、処理はS412へ進む。当該接触個所に関しては接触してからの時間経過が不十分であると判断できるため、当該接触個所の位置を明示する必要があるからである。
【0045】
次にS412では、外部装置220のCPU300が、接触個所の位置を明示する処理を行う。CPU300は、
図5に示すように監視画像407の監視範囲107に接触個所を明確に示す画像(
図5のパターン501a,501b)をオーバーレイ表示する。この時、接触回数の重みに応じて、色を塗分けて表示してもよいし、パターンを切り替えて表示してもよい。また正確な接触回数を示すため、CPU300は、作業者によるタッチ操作により、タッチされた接触個所に対応する接触回数を表示してもよい(
図5の接触回数表示502a,502b)。
次にS413では、外部装置220のCPU300が、監視エリア接触情報801の次の領域へ処理対象を移し、処理はS404へ戻る。
以上の接触情報表示処理によれば、メンテナンス作業を行う作業者が利用する外部装置220が、監視範囲107内の構成物に対して監視対象物101との接触位置及び接触回数を表示することができる。
【0046】
なお、上記のS404では、外部装置220のCPU300が、S412の処理が監視エリア接触情報801の全領域に対して行われたと判定した場合、
図12のフローチャートの処理が終了するが、これに限らない。例えば、S412の処理が監視エリア接触情報801の全領域に対して行われたと判定された場合、処理がS403へ戻る。その後S403で、外部装置220のCPU300が、再度ウイルスを選択もしくは入力させて、別のウイルス情報630を設定する。これにより、複数のウイルスに対応する接触情報を同時に表示させることも可能である。
【0047】
以上のような第1の実施形態の監視システムによれば、人物等が触れた接触個所の位置や回数を検出して提示することにより、対象区域で行うウイルスを除菌する作業を効率的に実施することができる。また接触個所の最後に触れてからの経過時間を記録することにより、最後に触れてからの時間が十分に経過している接触個所を提示しない等の判断をすることができる。これにより作業の一部を省略することが可能となり、更なる効率化が図れる。
【0048】
<第2の実施形態>
以下、
図13及び
図14を参照して、第2の実施形態に係る監視システムについて説明する。上述の第1の実施形態では、監視カメラ100と外部装置220とが接触データ408の授受を除いてそれぞれ独立して動作を行う場合について説明した。第2の実施形態では、監視カメラ100と外部装置220とが連携して動作を行う場合について説明する。第2の実施形態のハードウェア構成及び機能構成は、第1の実施形態に係る監視システムと同様である。従って、第1の実施形態と同様の部分については同じ符号を用いてその説明を省略する。以下、第1の実施形態との相違点を中心に説明する。
【0049】
第2の実施形態の監視カメラ100は、第1の実施形態と同様に、監視範囲107を監視しながら接触データ408を記録する。そして、第1の実施形態と同様に、監視範囲107内のメンテナンス作業が必要になると、作業者が外部装置220を利用して接触情報を閲覧し、監視範囲107内のメンテナンス作業を実施する。なお、ここでいう作業者は人と限らない。ロボットもしくはそれに類する自動化機器でもよい。第1の実施形態についても同じである。第2の実施形態の監視システムは、第1の実施形態の処理に加えて、この作業自体も監視しており、監視対象物101の挙動がメンテナンス作業の挙動であると判断すると、その該当領域の接触データ408をクリアして、非接触状態に戻す処理が追加になる。
【0050】
図13は、第2の実施形態の外部装置220が実行する処理を示すフローチャートである。以下の処理は、外部装置220のCPU300がROM301等に記憶されたプログラムに基づき処理を実行することにより実現される。本フローチャートの処理は、メンテナンス作業開始の操作が入力された場合に処理開始となる。
S501では、
図12のS401と同様に、外部装置220のCPU300が、ネットワーク230経由で外部サーバ210から監視画像407と接触データ408を取得する。
S502では、外部装置220のCPU300が、
図12のS402以降の処理と同様に、接触個所を特定してタッチパネル304に表示する。
S503では、外部装置220のCPU300が、監視カメラ100に対して作業の実施の開始を通知する。監視カメラ100は、外部装置220からメンテナンス作業の実施に伴う通知を受信すると、メンテナンスモードフラグにメンテナンス作業の実施を示すフラグを設定し、RAM202に保持する。
S504は、タッチパネル304に表示された内容に基づいて作業員が作業を実施することをあらわしている。作業員による作業が終了するとS505へ進む。
S505では、外部装置220のCPU300が、監視カメラ100に対して作業の実施の終了を通知する。監視カメラ100は、外部装置220からメンテナンス作業の終了通知を受信すると、メンテナンスモードフラグをクリアする。この通知により監視カメラ100は作業の開始及び終了を簡易に判断できるようになる。
【0051】
図14は、監視カメラ100が監視範囲107の接触個所の検出を行う接触個所検出処理を示すフローチャートである。以下の処理は、監視カメラ100のCPU200がROM201等に記憶されたプログラムに基づき処理を実行することにより実現される。本フローチャートの処理は、
図11のフローチャートのS304とS305との間に、S605~S607が実行される点で相違する。従って以下の説明ではS605~S607の処理を中心に説明する。
S601~S604では、
図14のS301~S304と同様の処理が実行される。
S605では、CPU200が、監視対象物101の挙動判定処理を行う。外部装置220により、メンテナンスモードフラグが設定されていた場合、監視対象物101の挙動がメンテナンス作業の挙動であると判定される。メンテナンスモードフラグが設定されていない場合でも、CPU200が、画像解析により監視対象物101の挙動の判定処理を行う。ここでは、既存の画像解析技術を用いて挙動検知を行う。例えば、自動学習機能などを使い、メンテナンス作業がどのような挙動なのかを学習させることで検知できるようにしてもよい。上記挙動検知により接触行為がメンテナンス作業の挙動であると判定された場合、メンテナンスモードフラグを設定する。
【0052】
次にS606では、CPU200が、メンテナンスモードフラグが設定されているか否かを判定する。CPU200がメンテナンスフラグが設定されていないと判定した場合、処理はS305と同様のS608へ進む。CPU200がメンテナンスフラグが設定されていると判定した場合、処理はS607へ進む。
S607では、CPU200が、S604で取得した接触領域座標に該当する接触情報構造体802のtouch_count803とlast_touch_date804を0クリアする。その後処理は、S308と同様のS611、S309と同様のS612に進み、S604で取得した接触領域座標範囲のすべての座標に対してtouch_count803の0クリアを行ったと判定されると、処理はS310と同様のS613へ進む。これにより、接触領域の接触履歴が消去される。
以上の
図14の接触個所検出処理によれば、
図11の接触個所検出処理と同様に、監視範囲107に対応する監視エリア接触情報801を用いて、接触の有った接触個所の接触回数及び最終接触時間(接触履歴)が記録される。さらに、メンテナンス作業の実施に起因して接触が行われた場合には、接触情報がクリアされて非接触状態に戻すことが可能となる。
【0053】
以上のような第2の実施形態の監視システムによれば、第1の監視システムと同様に、人物等が触れた接触個所の位置や回数を検出して提示することにより、対象区域で行うウイルスを除菌する作業を効率的に実施することができる。さらに、作業の実施に起因して接触が行われた場合には接触情報がクリアされ、非接触状態に戻すことが可能となる。これにより長期間に亘り効率よく監視と作業の実施を継続することができる。
【0054】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【0055】
上述の各実施形態では、メンテナンス作業として、監視範囲107内の構成物を除菌する作業を例にして説明したが、本発明を適用可能なメンテナンス作業としては、これに限られない。例えば、建物や構造物の保守・保全のための、部品交換や補修等の作業がある。この場合も上述の各実施形態と同様に、監視システムが、監視範囲107内の構成物に対して監視対象物101の接触した位置や回数を検出して、外部装置220に提示する。これによれば、提示された回数を所定の耐久回数と比較することにより、対象区域で行うべき補修位置等を効率的に把握することができる。
【0056】
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【符号の説明】
【0057】
100:監視カメラ101:監視対象物、107:監視範囲、210:外部サーバ、220:外部装置、230:ネットワーク