特許 7576193 事象検知システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-22

(45)【発行日】2024-10-30

(54)【発明の名称】事象検知システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241023BHJP

   G06N 20/00 20190101ALI20241023BHJP

【ＦＩ】

H04N7/18 D

G06N20/00

【請求項の数】 2

(21)【出願番号】P 2024002287

(22)【出願日】2024-01-11

(62)【分割の表示】P 2022501794の分割

【原出願日】2021-02-05

(65)【公開番号】P2024028447

(43)【公開日】2024-03-04

【審査請求日】2024-01-12

(31)【優先権主張番号】P 2020026152

(32)【優先日】2020-02-19

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】100116687

【弁理士】

【氏名又は名称】田村 爾

(74)【代理人】

【識別番号】100098383

【弁理士】

【氏名又は名称】杉村 純子

(74)【代理人】

【識別番号】100155860

【弁理士】

【氏名又は名称】藤松 正雄

(72)【発明者】

【氏名】小宮 佑一郎

【審査官】西島 篤宏

(56)【参考文献】

【文献】特開２０１７－６８６２７（ＪＰ，Ａ）

【文献】特開２０１０－２２３７３１（ＪＰ，Ａ）

【文献】特開２０１８－１１５８６６（ＪＰ，Ａ）

【文献】特開平７－２３１４４２（ＪＰ，Ａ）

【文献】特開２０１０－８７９３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

各々が保有する判定基準を用いて事象の検知処理を実行する複数の事象検知装置を備えた事象検知システムにおいて、
前記事象を検知した事象検知装置から送信される事象データに対して、前記事象検知装置の検知目標と同じ事象を検知する追加の検知処理を実行するサーバと、前記追加の検知処理の結果についての適否をユーザから受け付ける端末装置とを更に備え、
前記事象検知装置は、各事象検知装置で共通の判定基準であって誤検知の抑制よりも検知漏れの抑制を優先するように調整された第１判定基準を用いて事象の検知処理を実行し、事象が検知された場合にその事象データを前記サーバへ送信し、
前記サーバは、前記事象検知装置から受信した事象データに対し、その事象検知装置に応じた第２判定基準を用いて、前記事象検知装置での検知処理よりも精度の高い追加の検知処理を実行し、
前記端末装置は、前記追加の検知処理の結果の履歴をユーザにより選択可能な形式で表示する表示領域と、前記表示領域で選択された前記追加の検知処理の結果を検知漏れの事例として学習データに採用する指示のための第１操作子と、前記表示領域で選択された前記追加の検知処理の結果を誤検知の事例として学習データに採用する指示のための第２操作子と、前記表示領域で選択された前記追加の検知処理の結果を学習データに採用しない指示のための第３操作子とを有する選択画面を通じて、前記追加の検知処理の結果についての適否をユーザから受け付け、
前記サーバは更に、前記追加の検知処理の結果に対して前記端末装置によりユーザから受け付けた適否に基づいて前記第２判定基準を再学習する機能を有し、前記再学習により得られた新たな第２判定基準と既存の第２判定基準との性能比較を、過去に検知できなかった事象や過去に誤報として挙がった事象の映像または画像を用いて実施し、前記既存の判定基準よりも前記新たな第２判定基準の方が検知性能が向上したと判定された場合に、前記新たな第２判定基準が今後の前記追加の検知処理で使用されるようにすることを特徴とする事象検知システム。

【請求項2】

請求項１に記載の事象検知システムにおいて、
前記端末装置は、前記追加の検知処理の結果をグループ分けした態様で表示することを特徴とする事象検知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、所定の事象の発生を検知する事象検知システムに関する。

【背景技術】

【0002】

従来、監視カメラにより撮影された画像に対する画像処理技術等により、所定の事象（白杖、道路上の落下物など）の発生を検知する監視システムが実用されている。例えば、特許文献１には、監視カメラの画角と映像内の位置毎に設定された判定基準に基づいて、物体の領域と画素値をブロックに分割して局所特徴量から物体の種別を識別し、物体の種別の情報から映像内に発生した障害物の有無を検知するシステムが開示されている。

【0003】

近年、監視カメラ側で事象検知を行う監視システムが開発されている。図６には、従来例に係る監視システムの概略的な構成を示してある。同図の監視システムは、複数の監視カメラ１１０（図６では、Ｎ台の監視カメラ１１０－１～１１０－Ｎ）と、中央装置１２０と、監視端末１３０とを備えている。各々の監視カメラ１１０は、自身の撮影環境に特化した個別の判定基準１１２（図６では、判定基準１１２－１～１１２－Ｎ）をそれぞれ保有している。監視カメラ１１０は、撮影により得られた画像に対して、自身が保有する判定基準１１２を用いて事象検知処理を実行し、所定の事象が検知された場合には、その事象データ（カメラＩＤ、撮影時刻、撮影場所など）を中央装置１２０へ送信する。中央装置１２０は、監視カメラ１１０から受信した事象データを履歴データベース１２２に記録すると共に、監視端末１３０に送信してユーザに確認させる。

【0004】

このような構成の監視システムでは、監視カメラで撮影した画像のデータを必ずしもシステムのネットワークに配信する必要がないため、画像処理専用のサーバが一括で事象検知する監視システムと比較して、システム全体のネットワーク負荷を下げることができる。また、撮影環境（画角、日照条件など）は監視カメラによって異なるため、撮影環境に特化した個別の判定基準を用いることで、高い検知性能を得ることができる。ただし、特定の撮影環境に特化させた判定基準は、他の撮影環境では汎用的な判定基準よりも低い性能となる可能性が高い。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－１２４９８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

事象検知の性能を高める手法の一つとして、判定基準を撮影環境に特化させるように再学習して調整することが挙げられる。判定基準を再学習するためには、調整対象の事象検知技術の精度を知ることと、学習処理に使用するサンプルデータが必要となる。そこで、調整対象となる監視カメラの映像を何らかの方法で取得し、その映像から生成したサンプルデータに基づく学習処理により判定基準を調整することが考えられる。

【0007】

しかしながら、監視カメラ側で事象検知を行うシステムの場合、事象検知技術の精度の計測およびサンプルデータの取得は容易ではない。なぜならば、検知漏れの事象（検知すべき事象を検知し損ねたこと）をシステムが認識できず、その際のサンプルデータを取得できないためである。このため、事象検知の失敗例としては、誤検知（事象が発生していないにもかかわらず誤って検知と判定すること）しか収集できない。したがって、再学習を行ったとしても、誤検知を抑制する方向の改善しかできず、検知漏れを抑制する方向の改善は期待できない。また、監視カメラの映像を何らかの方法で収集し、その映像を用いて個別に調整することも考えられるが、監視カメラが多数ある場合は作業量が膨大となり、現実的ではない。

【0008】

本発明は、上記のような従来の事情に鑑みて為されたものであり、優れた検知性能を有すると共に、判定基準の再学習による調整をより適切に実施することが可能な事象検知システムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本発明では、事象検知システムを以下のように構成した。
すなわち、各々が保有する判定基準を用いて事象の検知処理を実行する複数の事象検知装置を備えた事象検知システムにおいて、前記事象を検知した事象検知装置から送信される事象データに対して、前記事象検知装置の検知目標と同じ事象を検知する追加の検知処理を実行するサーバと、前記追加の検知処理の結果についての適否をユーザから受け付ける端末装置を更に備え、前記事象検知装置は、各事象検知装置で共通の判定基準であって誤検知の抑制よりも検知漏れの抑制を優先するように調整された第１判定基準を用いて事象の検知処理を実行し、事象が検知された場合にその事象データを前記サーバへ送信し、前記サーバは、前記事象検知装置から受信した事象データに対し、その事象検知装置に応じた第２判定基準を用いて、前記事象検知装置での検知処理よりも精度の高い追加の検知処理を実行し、前記端末装置は、前記追加の検知処理の結果の履歴をユーザにより選択可能な形式で表示する表示領域と、前記表示領域で選択された前記追加の検知処理の結果を検知漏れの事例として学習データに採用する指示のための第１操作子と、前記表示領域で選択された前記追加の検知処理の結果を誤検知の事例として学習データに採用する指示のための第２操作子と、前記表示領域で選択された前記追加の検知処理の結果を学習データに採用しない指示のための第３操作子とを有する選択画面を通じて、前記追加の検知処理の結果についての適否をユーザから受け付け、前記サーバは更に、前記追加の検知処理の結果に対して前記端末装置を通じてユーザから受け付けた適否に基づいて、前記第２判定基準を再学習する機能を有し、前記再学習により得られた新たな第２判定基準と既存の第２判定基準との性能比較を、過去に検知できなかった事象や過去に誤報として挙がった事象の映像または画像を用いて実施し、前記既存の判定基準よりも前記新たな第２判定基準の方が検知性能が向上したと判定された場合に、前記新たな第２判定基準が今後の前記追加の検知処理で使用されるようにする。

【0010】

ここで、一構成例として、前記端末装置は、前記追加の検知処理の結果をグループ分けした態様で表示してもよい。

【発明の効果】

【0011】

本発明によれば、優れた検知性能を有すると共に、判定基準の再学習による調整をより適切に実施することが可能な事象検知システムを提供することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係る監視システムの概略的な構成を示す図である。

【図2】図１の監視システムにおける判定基準の再学習について説明する図である。

【図3】図１の監視システムにおける学習データの選択画面の一例を示す図である。

【図4】図１の監視システムの変形例に係る事象検知結果のグループ化について説明する図である。

【図5】図１の監視システムの変形例に係る事象検知結果のグループ別表示の一例を図である。

【図6】従来例に係る監視システムの概略的な構成を示す図である。

【発明を実施するための形態】

【0013】

本発明の一実施形態について図面を参照して説明する。
図１には、本発明に係る事象監視システムの一例である監視システムの構成例を示してある。同図の監視システムは、複数の監視カメラ１０（図１では、Ｎ台の監視カメラ１０－１～１０－Ｎ）と、中央装置２０と、監視端末３０と、管理端末３５と、事象検知サーバ４０とを備えている。監視カメラ１０は、本発明に係る事象検知装置の一例であり、中央装置２０及び事象検知サーバ４０は、本発明に係るサーバの一例であり、管理端末３５は、本発明に係る端末装置の一例である。

【0014】

監視カメラ１０は、それぞれ異なる場所（すなわち、異なる撮影環境）に設置されているが、互いに共通の判定基準１２を保有している。判定基準１２としては、誤検知の抑制よりも検知漏れの抑制を優先するように調整されたものが使用される。監視カメラ１０は、撮影した画像に対して判定基準１２を用いて事象検知処理を実行し、所定の事象が検知された場合には、その事象データを中央装置２０へ送信する。中央装置２０へ送信する事象データには、カメラＩＤ、撮影時刻、撮影場所などのほか、事象検知処理を再度実行する際に必要な情報（例えば、撮影画像やその特徴量など）も含まれる。

【0015】

中央装置２０は、監視カメラ１０から事象データを受信すると、事象検知サーバ４０に送信して追加の事象検知処理を実行させる。その後、中央装置２０は、事象検知サーバ４０から送信される追加の事象検知処理の結果データを履歴データベース２２に記録すると共に、監視端末３０に送信して表示させる。

【0016】

事象検知サーバ４０は、それぞれの監視カメラ１０の撮影環境に特化した個別の判定基準４２（図１では、Ｎ個の判定基準４２－１～４２－Ｎ）を保有している。事象検知サーバ４０は、中央装置２０を通じて受信した事象データに対し、その送信元の監視カメラ１０に対応する判定基準４２を用いて追加の事象検知処理を実行し、その結果データを中央装置２０へ送信する。

【0017】

また、事象検知サーバ４０は、個別の判定基準４２を再学習により調整する機能を有する。判定基準４２の再学習は、図２に示すように、ベースの学習データと、追加分の学習データとに基づいて実行される。ベースの学習データは、判定基準４２の全てに対して共通に用意される学習データであり、基本的に固定されている。追加分の学習データは、判定基準４２のそれぞれに対して個別に用意される学習データであり、システムの運用中に管理ユーザにより管理端末３５を通じて更新される。本例では、履歴データベース２２内の結果データ（サンプルデータ）の中から追加分の学習データを管理ユーザに選択させることを想定しているが、他のシステムなどから学習データを取り込むようにしてもよい。

【0018】

管理端末３５は、追加分の学習データの選択画面を管理ユーザに提供する。管理ユーザは、追加分の学習データを選択する対象となる監視カメラ１０を選ぶことで、図３に示すような選択画面を呼び出すことができる。図３の選択画面５０は、事象検知履歴表示領域５１と、事象検知画像表示領域５２と、検知情報表示領域５４と、検知漏れボタン５５と、誤検知ボタン５６と、不採用ボタン５７とを有している。

【0019】

事象検知履歴表示領域５１には、対象の監視カメラ１０についての事象検知結果の履歴（事象の検知日時や検知結果など）がユーザ選択可能なリスト形式で表示される。なお、図３では省略しているが、撮影画像を縮小したサムネイル画像を追加で表示してもよい。事象検知画像表示領域５２には、事象検知履歴表示領域５１の中から選択された事象検知結果についての撮影画像が表示される。また、事象検知画像表示領域５２には、撮影画像内の事象が検知された範囲を示す枠５３も表示される。検知情報表示領域５４には、選択中の事象検知結果に関する情報、例えば、検知した事象の種類、サイズ、確度などが表示される。

【0020】

ボタン５５～５７は、選択中の事象検知結果を学習データに採用するか否かを管理ユーザから受け付けるための操作子である。管理ユーザは、選択中の事象検知結果を検知漏れの事例として学習データに採用する場合には検知漏れボタン５５を押下し、誤検知の事例として学習データに採用する場合には誤検知ボタン５６を押下し、学習データに採用しない場合には不採用ボタン５７を押下する。

【0021】

事象検知サーバ４０は、カメラ個別の判定基準の再学習を実行した後、再学習により得られた新たな判定基準と、これまで使用していた判定基準との性能比較を行う。ここで、性能比較としては、試験データを準備する方法があり、試験データは任意の映像でも画像でもよく、また、過去の履歴から作成してもよい。例えば、過去に検知できなかった事象、過去に誤報として挙がった事象などの映像や画像を試験データに利用してもよい。また、性能比較のもう１つの方法として、試験データに対して検知処理を行い、例えば、検知率や精度（誤差率の低さ）で評価する方法がある。そして、評価の結果を提示して、管理者に判断させてもよい。その結果、検知性能が向上したと判定された場合には、新たな判定基準が今後の事象検知処理で使用されるように、該当する監視カメラ１０の判定基準４２を更新する。再学習を実行するタイミングは任意である。例えば、管理ユーザの指示により再学習を実行してもよいし、予め設定されたスケジュールに従って再学習を実行してもよいし、定期的に再学習を実行してもよい。

【0022】

次に、カメラ個別の判定基準４２の性能を効率的に向上させる手法について説明する。判定基準の性能を向上させるには、適切な学習データを用いて再学習を行う必要がある。そこで、ユーザによる学習データの選択作業が容易になるように、事象検知処理の結果データをクラスタリング技術により複数のグループに分け、グループ単位でユーザに提示するようにしてもよい。

【0023】

事象検知処理の結果データのクラスタリングについて、図４を参照して説明する。中央装置２０はまず、クラスタリングの対象となる撮影画像（図４では、監視カメラＡにより撮影された画像１～画像６）のそれぞれの特徴量を演算する。特徴量には、例えば、画像全体の明るさや、画像から抽出された物体の位置情報や、画像から抽出された物体の特徴（色、大きさ、形状など）がある。その後、それぞれの撮影画像について得られた特徴量に基づいて、例えば、凸クラスタリング、Ｋ－ｍｅａｎｓ法などのクラスタリング技術を用いて、撮影画像を複数のグループに分類する。図４では、画像１，画像４がクラスタ１に分類され、画像２がクラスタ２に分類され、画像３，画像５，画像６がクラスタ３に分類されている。なお、クラスタリングの粒度は任意であり、粒度を管理ユーザが変更できるようにしてもよい。

【0024】

図５には、事象検知結果のグループ別表示の一例を示してある。図５に示す事象検知履歴表示領域５１’は、図３の選択画面５０の事象検知履歴表示領域５１の変形例であり、事象検知結果の履歴をグループ単位にまとめて表示している。これにより、似たような撮影画像がグループとしてまとめて表示されることになる。

【0025】

以上のように、本例の監視システムは、複数の監視カメラ１０のそれぞれが、互いに共通の判定基準１２を用いて事象検知処理を実行し、事象が検知された場合にその事象データを中央装置２０へ送信し、中央装置２０に接続された事象検知サーバ４０が、監視カメラ１０から受信した事象データに対し、その監視カメラ１０に対応する個別の判定基準４２を用いて追加の事象検知処理を実行するように構成されている。

【0026】

したがって、本例の監視システムによれば、監視カメラ１０側で精度の低い検知処理を行い、事象が検知された場合に事象検知サーバ４０側で精度の高い検知処理を行うことができるので、ネットワーク負荷の増大を抑えつつ、優れた検知性能を得ること可能となる。また、誤検知だけでなく検知漏れの事例についても履歴データベース２２に蓄積できるので、検知漏れを改善する方向の調整も行えるようになり、判定基準４２の再学習による調整をより適切に実施することが可能となる。

【0027】

また、本例の監視システムは、事象検知サーバ４０による事象検知処理の結果についての適否を管理ユーザから受け付ける管理端末３５を更に備え、事象検知サーバ４０が、事象検知処理の結果に対して受け付けた適否に基づいて、判定基準４２を再学習して更新するように構成されている。したがって、管理ユーザは、事象検知サーバ４０による事象検知処理の結果の適否を検討した上で、判定基準４２の再学習に使用する学習データの選択を行えるようになる。

【0028】

また、本例の監視システムは、管理端末３５が、事象検知サーバ４０による事象検知処理の結果をグループ分けした態様で表示するように構成されている。したがって、管理ユーザは、どのような場合に誤報が多くなるかを把握しやすくなり、学習データとして追加する事例を選別する作業を効率的に行えるようになる。

【0029】

また、本例の監視システムは、判定基準１２として、誤検知の抑制よりも検知漏れの抑制を優先するように調整されたものを用いるように構成されている。したがって、監視カメラ１０による事象検知処理での検知漏れの発生を抑制することができる。この場合、監視カメラ１０では誤検知の発生が多くなるが、事象検知サーバ４０が監視カメラ１０に応じた判定基準４２を用いて追加の事象検知処理を行うので、特に支障はない。

【0030】

ここで、上記の説明では、１つの監視カメラ１０に対して１つの判定基準４２を用意しているが、１つの監視カメラ１０に対して複数の判定基準４２を用意してもよいし、複数の監視カメラ１０に対して１つの判定基準４２を用意してもよい。前者の例としては、時間帯、季節、天候などの変動的な要因に対応させて複数の判定基準４２を用意しておき、監視カメラ１０が事象を検知した際の状況に対応する判定基準４２を使用して追加の事象検知処理を行うケースが挙げられる。後者の例としては、似たような環境に設置された監視カメラ１０に対しては、同じ判定基準４２を使用して追加の事象検知処理を行うケースが挙げられる。

【0031】

また、上記の説明では、中央装置２０と事象検知サーバ４０を別々に設けてあるが、これらを一体の装置として構成してもよい。また、これらの装置の機能の一部を他の装置により実行させてもよい。また、上記の説明は、監視カメラ１０を事象検知装置として用いているが、これに代えて／これと共に、音、光、振動、加速度などの他の物理量に基づいて事象を検知する装置を用いてもよい。

【0032】

以上、本発明について一実施形態に基づいて説明したが、本発明はここに記載された監視システムに限定されるものではなく、他の事象検知システムに広く適用することができることは言うまでもない。
また、本発明は、例えば、上記の処理に関する技術的手順を含む方法や、上記の処理をプロセッサにより実行させるためのプログラム、そのようなプログラムをコンピュータ読み取り可能に記憶する記憶媒体などとして提供することも可能である。

【産業上の利用可能性】

【0033】

本発明は、所定の事象の発生を検知する事象検知システムに利用することができる。

【符号の説明】

【0034】

１０（１０－１～１０－Ｎ）：監視カメラ、 １２：共通の判定基準、 ２０：中央装置、 ２２：履歴データベース、 ３０：監視端末、 ３５：管理端末、 ４０：事象検知サーバ、 ４２（４２－１～４２－Ｎ）：個別の判定基準、
１１０（１１０－１～１１０－Ｎ）：監視カメラ、 １１２（１１２－１～１１２－Ｎ）：個別の判定基準、 １２０：中央装置、 １２２：履歴データベース、 １３０：監視端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】