(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-11
(45)【発行日】2024-03-19
(54)【発明の名称】監視カメラおよび検知方法
(51)【国際特許分類】
G08B 25/00 20060101AFI20240312BHJP
H04N 7/18 20060101ALI20240312BHJP
G10L 25/51 20130101ALI20240312BHJP
H04N 23/40 20230101ALI20240312BHJP
H04N 23/66 20230101ALI20240312BHJP
G08B 13/196 20060101ALI20240312BHJP
【FI】
G08B25/00 510M
H04N7/18 D
G10L25/51
H04N23/40 100
H04N23/66
G08B13/196
(21)【出願番号】P 2019164739
(22)【出願日】2019-09-10
【審査請求日】2022-09-01
(73)【特許権者】
【識別番号】320008672
【氏名又は名称】i-PRO株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】山畠 利彦
(72)【発明者】
【氏名】久保田 亮
(72)【発明者】
【氏名】木下 英俊
(72)【発明者】
【氏名】荒井 貴光
【審査官】山岸 登
(56)【参考文献】
【文献】特開2016-191973(JP,A)
【文献】特開2013-131153(JP,A)
【文献】特開2017-211929(JP,A)
【文献】国際公開第2018/100676(WO,A1)
【文献】国際公開第2018/163555(WO,A1)
【文献】特開2021-002229(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08B13/00-15/02
23/00-31/00
G10L13/00-13/10
19/00-99/00
H04N7/18
23/00
23/40-23/76
23/90-23/959
(57)【特許請求の範囲】
【請求項1】
人工知能を備える監視カメラであって、
収音部と、
検知対象の事象を教示するパラメータを受信する通信部と、
前記パラメータに基づいて前記人工知能を構築し、構築した前記人工知能を用いて、前記収音部が収音する音声から前記検知対象の事象を検知する処理部と、を備え、
前記通信部は、複数の異なるパラメータのそれぞれを受信し、
前記処理部は、前記複数の異なるパラメータのそれぞれ
のうち、指定された所定の時間帯におけるパラメータに基づいて前記人工知能を構築する、
監視カメラ。
【請求項2】
人工知能を備える監視カメラであって、
少なくとも1つのセンサと、
検知対象の事象を教示するパラメータを受信する通信部と、
前記パラメータに基づいて前記人工知能を構築し、構築した前記人工知能を用いて、前記センサが計測する計測データから前記検知対象の事象を検知する処理部と、を備え、
前記通信部は、複数の異なるパラメータのそれぞれを受信し、
前記処理部は、前記複数の異なるパラメータのそれぞれ
のうち、指定された所定の時間帯におけるパラメータに基づいて前記人工知能を構築する、
監視カメラ。
【請求項3】
前記パラメータは、前記収音部が収音した音声を用いて生成される、
請求項1に記載の監視カメラ。
【請求項4】
前記パラメータは、前記センサが計測した計測データを用いて生成される、
請求項2に記載の監視カメラ。
【請求項5】
撮像部をさらに備え、
前記処理部は、前記撮像部が撮像する映像から前記検知対象の事象を検知する、
請求項1~4のいずれか1項に記載の監視カメラ。
【請求項6】
前記検知対象の事象の検知結果に基づいて、発報条件を満たすか否かを判定し、前記発報条件を満たす場合、発報音を発報装置から出力させる制御部、をさらに備える、
請求項1~5のいずれか1項に記載の監視カメラ。
【請求項7】
前記検知対象の事象の検知結果に基づいて、発報条件を満たすか否かを判定し、前記発報条件を満たす場合、発報情報を端末装置から出力させる制御部、をさらに備える、
請求項1~5のいずれか1項に記載の監視カメラ。
【請求項8】
前記通信部は、複数の異なるパラメータのそれぞれを受信し、
前記処理部は、前記複数の異なるパラメータのうち、少なくとも2つの指定されたパラメータに基づいて前記人工知能を構築する、
請求項1~7のいずれか1項に記載の監視カメラ。
【請求項9】
前記パラメータを記憶した外部記憶媒体から前記パラメータを受信するインタフェース部、をさらに備える、
請求項1~8のいずれか1項に記載の監視カメラ。
【請求項10】
人工知能を備える監視カメラの検知方法であって、
検知対象の事象を教示する複数の異なるパラメータのそれぞれを受信し、
前記複数の異なるパラメータ
のそれぞれのうち、
指定された所定の時間帯におけるパラメータに基づいて前記人工知能を構築し、
前記人工知能を用いて、マイクによって収音された音声から前記検知対象の事象を検知する、
検知方法。
【請求項11】
人工知能を備える監視カメラの検知方法であって、
検知対象の事象を教示する複数の異なるパラメータのそれぞれを受信し、
前記複数の異なるパラメータ
のそれぞれのうち、
指定された所定の時間帯におけるパラメータに基づいて前記人工知能を構築し、
前記人工知能を用いて、センサによって計測された計測データから前記検知対象の事象を検知する、
検知方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、監視カメラおよび検知方法に関する。
【背景技術】
【0002】
特許文献1には、人工知能を備えた移動式遠隔監視カメラが開示されている。特許文献1の移動式遠隔監視カメラは、Webカメラ、ルータ、および人工知能等を筐体に収納したオールインワン構造の監視カメラである。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
監視カメラで検知する検知対象は、監視カメラを用いるユーザによって異なる場合がある。例えば、或るユーザは、監視カメラを用いて人を検知する。別の或るユーザは、監視カメラを用いて車両を検知する。また、別の或るユーザは、監視カメラを用いて害獣を検知する。
【0005】
しかしながら、特許文献1は、ユーザが検知したい検知対象を監視カメラに設定する具体的な手法について何ら開示していない。
【0006】
本開示の非限定的な実施例は、ユーザが検知したい検知対象を監視カメラにフレキシブルに設定できる監視カメラおよび検知方法の提供に資する。
【課題を解決するための手段】
【0007】
本開示は、人工知能を備える監視カメラであって、収音部と、検知対象の事象を教示するパラメータを受信する通信部と、前記パラメータに基づいて前記人工知能を構築し、構築した前記人工知能を用いて、前記収音部が収音する音声から前記検知対象の事象を検知する処理部と、を備え、前記通信部は、複数の異なるパラメータのそれぞれを受信し、前記処理部は、前記複数の異なるパラメータのそれぞれのうち、指定された所定の時間帯におけるパラメータに基づいて前記人工知能を構築する、監視カメラを提供する。
【0008】
また、本開示は、人工知能を備える監視カメラであって、少なくとも1つのセンサと、検知対象の事象を教示するパラメータを受信する通信部と、前記パラメータに基づいて前記人工知能を構築し、構築した前記人工知能を用いて、前記センサが計測する計測データから前記検知対象の事象を検知する処理部と、を備え、前記通信部は、複数の異なるパラメータのそれぞれを受信し、前記処理部は、前記複数の異なるパラメータのそれぞれのうち、指定された所定の時間帯におけるパラメータに基づいて前記人工知能を構築する、監視カメラを提供する。
【0009】
また、本開示は、人工知能を備える監視カメラの検知方法であって、検知対象の事象を教示する複数の異なるパラメータのそれぞれを受信し、前記複数の異なるパラメータのそれぞれのうち、指定された所定の時間帯におけるパラメータに基づいて前記人工知能を構築し、前記人工知能を用いて、マイクによって収音された音声から前記検知対象の事象を検知する、検知方法を提供する。
【0010】
また、本開示は、人工知能を備える監視カメラの検知方法であって、検知対象の事象を教示するパラメータを受信し、前記複数の異なるパラメータのそれぞれのうち、指定された所定の時間帯におけるパラメータに基づいて前記人工知能を構築し、前記人工知能を用いて、センサによって計測された計測データから前記検知対象の事象を検知する、検知方法を提供する。
【0011】
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0012】
本開示の一態様によれば、ユーザが検知したい検知対象を監視カメラにフレキシブルに設定できる。
【0013】
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
【図面の簡単な説明】
【0014】
【
図1】第1の実施の形態に係る監視カメラシステムの一例を示した図
【
図2】監視カメラシステムの概略動作例を説明する図
【
図5】学習モデルの生成および学習モデルの監視カメラへの設定の一例を説明する図
【
図10】端末装置の学習モデル生成の動作例を示したフローチャート
【
図11】監視カメラの動作例を示したフローチャート
【
図12】第2の実施の形態に係る監視カメラシステムの一例を示した図
【
図13】サーバにおける学習モデルの選択の一例を説明する図
【
図14】端末装置における学習モデルの監視カメラへの設定動作例を示したフローチャート
【
図16】第3の実施の形態に係る監視カメラシステムの一例を示した図
【
図17】第4の実施の形態に係る監視カメラシステムの一例を示した図
【
図19】第5の実施の形態に係る監視カメラの動作例を示したフローチャート
【
図20】学習モデルの切替えによる検知対象の検知例を説明する図
【
図22】第6の実施の形態に係る学習モデルの生成の一例を説明する図
【
図23】第6の実施の形態に係る学習モデルの生成の一例を説明する図
【
図28】第6の実施の形態に係る端末装置の学習モデル生成の動作例
【
図29】第6の実施の形態に係る学習モデルの追加学習の動作例
【
図30】第6の実施の形態に係る監視カメラの動作例を示したフローチャート
【発明を実施するための形態】
【0015】
以下、適宜図面を参照しながら、本開示に係る監視カメラの構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0016】
(第1の実施の形態)
図1は、第1の実施の形態に係る監視カメラシステムの一例を示した図である。
図1に示すように、監視カメラシステムは、監視カメラ1と、端末装置2と、発報装置3と、を有している。
【0017】
図1には、監視カメラシステムの他に、構造物A1の一部と、端末装置2を使用するユーザU1と、が示してある。構造物A1は、例えば、建物の外壁または内壁である。または、構造物A1は、田畑等に設置された支柱等である。ユーザU1は、監視カメラ1を購入した購入者であってもよい。また、ユーザU1は、監視カメラ1を構造物A1に設置する施工業者等であってもよい。
【0018】
監視カメラ1は、例えば、構造物A1に設置され、構造物A1の周囲を撮影する。監視カメラ1は、人工知能を搭載しており、搭載した人工知能を用いて、撮影する映像から検知対象(所定の映像)を検知する。以下では、人工知能を単にAIと呼ぶことがある。
【0019】
検知対象には、例えば、人の検知(人であるか否かの区別)がある。また、検知対象には、例えば、特定の人物の検知(顔認証)がある。また、検知対象には、例えば、自転車、自動車、オートバイ等の車両の検知(車両であるか否かの区別)がある。また、検知対象には、例えば、自動車の車種またはオートバイの車種の検知がある。また、検知対象には、例えば、動物の検知(動物であるか否かの区別)がある。また、検知対象には、例えば、熊、狸、鹿、馬、猫、犬、カラス等の動物の種類の検知がある。また、検知対象には、例えば、昆虫の検知(昆虫であるか否かの区別)がある。また、検知対象には、例えば、スズメバチ、蝶、毛虫等の昆虫の種類の検知がある。また、検知対象には、例えば、花の開花の検知がある。
【0020】
ユーザU1は、端末装置2を用いて、監視カメラ1の検知対象を設定できる。例えば、ユーザU1は、監視カメラ1を用いて、駐車場に駐車される自動車を検知したいとする。この場合、ユーザU1は、駐車場を撮影できる場所に監視カメラ1を設置し、端末装置2を用いて、監視カメラ1の検知対象を自動車に設定する。また、例えば、ユーザU1は、監視カメラ1を用いて、田畑に出没する猪を検知したいとする。この場合、ユーザU1は、田畑を撮影できる場所に監視カメラ1を設置し、端末装置2を用いて、監視カメラ1の検知対象を猪に設定する。
【0021】
監視カメラ1は、検知結果を端末装置2および発報装置3のいずれか一方または両方に通知する。例えば、監視カメラ1は、駐車場を撮影する映像から自動車を検知すると、自動車を検知したことを示す情報を端末装置2に送信する。また、例えば、監視カメラ1は、田畑を撮影する映像から猪を検知すると、発報装置3に猪を検知したことを示す情報を送信する。
【0022】
端末装置2は、例えば、パーソナルコンピュータ、スマートフォン、またはタブレット端末等の情報処理装置である。端末装置2は、有線または無線によって、監視カメラ1と通信する。
【0023】
端末装置2は、例えば、ユーザU1によって所有される。端末装置2は、ユーザU1の操作に応じて、監視カメラ1の検知対象を設定する。また、端末装置2は、監視カメラ1の検知結果を受信する。端末装置2は、例えば、検知結果を表示装置に表示し、または、検知結果をスピーカ等で音声出力する。
【0024】
発報装置3は、例えば、監視カメラ1が設置された構造物A1に設置される。発報装置3は、監視カメラ1が設置された構造物A1とは別の構造物に設置されてもよい。発報装置3は、有線または無線によって、監視カメラ1と通信する。
【0025】
発報装置3は、例えば、スピーカである。発報装置3は、例えば、監視カメラ1から通知される検知結果に応じて音声を出力する。例えば、発報装置3は、監視カメラ1から猪を検知したことを示す情報を受信した場合、田畑から猪を追い出すための音を発する。
【0026】
発報装置3は、スピーカに限られない。発報装置3は、例えば、投光器等であってもよい。例えば、発報装置3(投光器)は、監視カメラ1が侵入者を検知した場合、侵入者を警告するため、発光してもよい。
【0027】
図1の監視カメラシステムの概略動作例について説明する。
【0028】
図2は、監視カメラシステムの概略動作例を説明する図である。
図2において、
図1と同じものには同じ符号が付してある。
【0029】
端末装置2には、学習モデルM1が記憶されている。学習モデルM1は、監視カメラ1に搭載されているAIの機能を特徴付けるパラメータ群である。すなわち、学習モデルM1は、監視カメラ1に搭載されているAIの検知対象を決定するパラメータ群である。監視カメラ1のAIは、学習モデルM1が変更されることによって、検知対象を変更できる。
【0030】
学習モデルM1は、例えば、監視カメラ1のニューラルネットワークN1の構造を決定するパラメータ群であってもよい。監視カメラ1のニューラルネットワークN1の構造を決定するパラメータ群には、例えば、ニューラルネットワークN1のユニット間の接続関係を示す情報または重み係数などが含まれる。なお、学習モデルは、学習済モデル、AIモデル、または検知モデル等と称されてもよい。
【0031】
端末装置2は、ユーザU1の操作に応じて、学習モデルM1を生成する。つまり、ユーザU1は、端末装置2を用いて、監視カメラ1によって検知したい検知対象を設定(選択)できる。
【0032】
例えば、ユーザU1は、駐車場の自動車を監視カメラ1で検知したい場合、端末装置2を用いて、自動車を検知する学習モデルM1を生成する。また、例えば、ユーザU1は、田畑に出現する猪を監視カメラ1で検知したい場合、端末装置2を用いて、猪を検知する学習モデルM1を生成する。学習モデルの生成については、以下で詳述する。
【0033】
ユーザU1は、端末装置2を用いて学習モデルを生成すると、生成した学習モデルM1を監視カメラ1に送信する。監視カメラ1は、端末装置2から送信された学習モデルM1に基づいたAIを構築(形成)する。つまり、監視カメラ1は、学習モデルM1に基づいて、学習済みのAIを形成する。
【0034】
例えば、監視カメラ1は、端末装置2から受信した学習モデルM1が、自動車を検知する学習モデルである場合、映像から自動車を検知するニューラルネットワークを形成する。また、例えば、監視カメラ1は、端末装置2から受信した学習モデルM1が、猪を検知する学習モデルである場合、映像から猪を検知するニューラルネットワークを形成する。
【0035】
このように、監視カメラ1は、端末装置2から、検知対象を検知するAIを構築するための学習モデルM1を受信する。そして、監視カメラ1は、受信した学習モデルM1に基づいたAIを形成し、映像から検知対象を検知する。
【0036】
これにより、ユーザU1は、監視カメラ1に対し、検知したい検知対象をフレキシブルに設定できる。例えば、ユーザU1は、監視カメラ1で自動車を検知したい場合、端末装置2を用いて自動車を検知する学習モデルM1を生成し、監視カメラ1に送信すればよい。また、例えば、ユーザU1は、監視カメラ1で猪を検知したい場合、端末装置2を用いて猪を検知する学習モデルM1を生成し、監視カメラ1に送信すればよい。
【0037】
なお、学習モデルM1は、端末装置2によって生成されるとしたがこれに限られない。例えば、学習モデルM1は、端末装置2とは別の情報処理装置によって生成されてもよい。情報処理装置が生成した学習モデルM1は、監視カメラ1と通信する端末装置2に転送され、端末装置2から監視カメラ1に送信されてもよい。
【0038】
図3は、監視カメラ1のブロック構成例を示した図である。
図3には、監視カメラ1の他に、監視カメラ1に挿抜される外部記憶媒体31も示してある。外部記憶媒体31は、例えば、SDカード(登録商標)等の記憶媒体である。
【0039】
図3に示すように、監視カメラ1は、レンズ11と、撮像素子12と、映像処理部13と、制御部14と、記憶部15と、外部信号出力部16と、AI処理部17と、通信部18と、TOF(Time of Flight)センサ19と、マイク20と、USBI/F(USB:Universal Serial Bus、I/F:Interface)部21と、外部記憶媒体I/F部22と、
を有している。なお、
図3には図示されていないが、監視カメラ1は、パン回転、チルト回転およびズーム処理が可能なPTZ(Pan Tilt Zoom)制御部を備えてよい。
【0040】
レンズ11は、撮像素子12の受光面に被写体の像を結像する。レンズ11には、監視カメラ1の設置場所または撮影用途等に応じて、様々な焦点距離または撮影範囲のレンズを用いることができる。
【0041】
撮像素子12は、受光面に受けた光を電気信号に変換する。撮像素子12は、例えば、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサである。撮像素子12は、受光面に受けた光に応じた電気信号(アナログ信号)を映像処理部13に出力する。
【0042】
映像処理部13は、撮像素子12から出力されるアナログ信号をデジタル信号(デジタルの映像信号)に変換する。映像処理部13は、デジタルの映像信号を制御部14およびAI処理部17に出力する。レンズ11、撮像素子12、および映像処理部13は、撮像部と捉えてもよい。
【0043】
制御部14は、監視カメラ1全体を制御する。制御部14は、例えば、CPU(Central Processing Unit)またはDSP(Digital signal Processer)によって構成されても
よい。
【0044】
記憶部15は、制御部14およびAI処理部17が動作するためのプログラムが記憶される。また、記憶部15には、制御部14およびAI処理部17が計算処理を行うためのデータ、または、制御部14およびAI処理部17が各部を制御するためのデータ等が記憶される。また、記憶部15には、監視カメラ1が撮影した映像データが記憶される。記憶部15は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、およびHDD(Hard Disk Drive)などの記憶装置によって構成されてもよい。
【0045】
外部信号出力部16は、映像処理部13から出力される映像信号を外部に出力する出力端子である。
【0046】
処理部の一例としてのAI処理部17は、映像処理部13から出力される映像信号の映像の中から、検知対象を検知する。AI処理部17は、例えば、CPUまたはDSPによって構成されてもよい。また、AI処理部17は、例えば、FPGA(Field-Programmable Gate Array)等のPLD(Programmable Logic Device)によって構成されてもよい。
【0047】
AI処理部17は、AI演算エンジン17aと、復号エンジン17bと、学習モデル記憶部17cと、を有している。
【0048】
AI演算エンジン17aは、学習モデル記憶部17cに記憶された学習モデルM1に基づいたAIを形成する。例えば、AI演算エンジン17aは、学習モデルM1に基づいたニューラルネットワークを形成する。AI演算エンジン17aには、映像処理部13から出力される映像信号が入力される。AI演算エンジン17aは、学習モデルM1に基づいたニューラルネットワークによって、入力された映像信号の映像の中から、検知対象を検知する。
【0049】
端末装置2は、以下で詳述するが、学習モデルM1を生成する。端末装置2は、生成した学習モデルM1を暗号化して監視カメラ1に送信する。復号エンジン17bは、通信部18を介して、端末装置2から送信される学習モデルM1を受信し、受信した学習モデルM1を復号して、学習モデル記憶部17cに記憶する。
【0050】
学習モデル記憶部17cには、復号エンジン17bによって復号された学習モデルM1が記憶される。学習モデル記憶部17cは、RAM、ROM、フラッシュメモリ、およびHDDなどの記憶装置によって構成されてもよい。
【0051】
通信部18は、データ送信部18aと、データ受信部18bと、を有している。データ送信部18aは、例えば、Wi-Fi(登録商標)またはブルートゥース(登録商標)等の近距離無線通信によって、端末装置2に対し、データを送信する。データ受信部18bは、例えば、Wi-Fiまたはブルートゥース等の近距離無線通信によって、端末装置2から送信されるデータを受信する。
【0052】
なお、データ送信部18aは、例えば、イーサネット(登録商標)ケーブル等のネットワークケーブル(有線)によって、端末装置2に対し、データを送信してもよい。データ受信部18bは、例えば、イーサネットケーブル等のネットワークケーブルによって、端末装置2から送信されるデータを受信してもよい。
【0053】
TOFセンサ19は、例えば、検知対象との距離を計測する。TOFセンサ19は、計測した距離の信号(デジタル信号)を制御部14に出力する。
【0054】
なお、
図3には図示を省略しているが、監視カメラ1に備えられるセンサは、上述のTOFセンサ19に限定されない。例えば、監視カメラ1は、温度センサ(不図示)、振動センサ(不図示)、人感センサ(不図示)、PTZセンサ(不図示)などの他のセンサを備えていてよい。
【0055】
温度センサは、監視カメラ1の周囲の温度を計測するセンサである。温度センサは、例えば、監視カメラ1の撮像領域内の赤外線を計測して温度を計測する非接触式の温度センサなどで実現される。
【0056】
振動センサは、監視カメラ1の周囲あるいは監視カメラ1自体の揺れ(振動)を計測するセンサである。振動センサは、例えばジャイロセンサあるいは監視カメラ1における制御部14によって実現される。なお、制御部14によって実現される場合、制御部14は、映像データのうち連続して撮像された2枚の画像(静止画像)のそれぞれに画像解析処理を実行し、同一の特徴量を有する座標の位置ずれ量に基づいて監視カメラ1の周囲あるいは監視カメラ1自体の揺れ(振動)を計測する。
【0057】
人感センサは、監視カメラ1の撮像領域内を通過する人を検知するセンサであって、例えば赤外線センサ、超音波センサ、可視光センサ、あるいはこれらのセンサを組み合わせたセンサなどによって実現される。
【0058】
センサの一例としてのPTZセンサは、パン回転、チルト回転およびズーム処理の際にPTZ制御部によって駆動されるモータ(不図示)の動作を計測するセンサである。制御部14は、PTZセンサの計測データに基づいて、予め設定されたパン回転、チルト回転およびズーム処理が実行されたか否かを判定できる。
【0059】
収音部の一例としてのマイク20は、音声を電気信号(アナログ信号)に変換する。マイク20は、アナログ信号をデジタル信号に変換し、制御部14に出力する。
【0060】
USBI/F部21には、USBコネクタを介して、USBメモリまたは情報処理装置等の装置が接続される。USBI/F部21は、USBI/F部21に接続された装置から送信される信号を制御部14に出力する。また、USBI/F部21は、制御部14から出力される信号を、USBI/F部21に接続された装置に送信する。
【0061】
外部記憶媒体I/F部22には、SDカード等の外部記憶媒体31が挿抜される。
【0062】
学習モデルM1は、端末装置2から外部記憶媒体31に記憶されてもよい。復号エンジン17bは、外部記憶媒体I/F部22に装着された外部記憶媒体31から、学習モデルM1を取得し、取得した学習モデルM1を復号して、学習モデル記憶部17cに記憶してもよい。なお、学習モデルM1は、監視カメラ1あるいはユーザの操作によって端末装置2で追加学習された学習モデルであってよい。
【0063】
また、学習モデルM1は、端末装置2からUSBメモリに記憶されてもよい。復号エンジン17bは、USBI/F部21に装着されたUSBメモリから、学習モデルM1を取得し、取得した学習モデルM1を復号して、学習モデル記憶部17cに記憶してもよい。USBメモリも外部記憶部媒体と捉えてもよい。ここで、USBメモリから取得される学習モデルM1は、他の監視カメラで生成あるいは追加学習された学習モデルであってもよいし、端末装置2で追加学習された学習モデルであってもよい。
【0064】
図4は、端末装置2のブロック構成例を示した図である。
図4に示すように、端末装置2は、制御部41と、表示部42と、入力部43と、通信部44と、I/F部45と、記憶部46と、を有している。
【0065】
制御部41は、端末装置2全体を制御する。制御部41は、例えば、CPUによって構成されてもよい。
【0066】
表示部42は、表示装置(図示せず)に接続されている。表示部42は、制御部41から出力される画像データを表示装置に出力する。
【0067】
入力部43は、例えば、キーボートまたは表示装置の画面上に重畳されたタッチパネル等の入力装置(図示せず)に接続されている。また、入力部43は、例えば、マウス等の入力装置に接続されている。入力部43は、入力装置から出力された、ユーザの操作に応じた信号を受信し、制御部41に出力する。
【0068】
通信部44は、監視カメラ1と通信を行う。通信部44は、例えば、Wi-Fiまたはブルートゥース等の近距離無線通信によって、監視カメラ1と通信を行ってもよい。また、通信部44は、例えば、イーサネットケーブル等のネットワークケーブルによって、監視カメラ1と通信を行ってもよい。
【0069】
I/F部45には、例えば、外部記憶媒体31が挿抜される。また、I/F部45には、例えば、USBメモリが挿抜される。
【0070】
記憶部46には、制御部41が動作するためのプログラムが記憶される。また、記憶部46には、制御部41が計算処理を行うためのデータ、または、制御部41が各部を制御するためのデータ等が記憶される。また、記憶部46には、監視カメラ1の映像データが記憶される。記憶部46は、RAM、ROM、フラッシュメモリ、およびHDDなどの記憶装置によって構成されてもよい。
【0071】
図5は、学習モデルの生成および学習モデルの監視カメラ1への設定の一例を説明する図である。
図5において、
図1と同じものには同じ符号が付してある。監視カメラ1は、例えば、駐車場を撮影するように、構造物A1に設置されている。
【0072】
1.端末装置2は、ユーザU1の操作に応じて、学習モデルを生成するアプリケーションを起動する。端末装置2(起動された学習モデルを生成するアプリケーション)は、ユーザU1の操作に応じて、監視カメラ1から映像データを受信する。受信する映像データは、ライブデータであってもよいし、録画データであってもよい。
【0073】
2.端末装置2は、監視カメラ1から受信した映像データの映像を表示装置に表示する。ユーザU1は、端末装置2の表示装置に表示されている映像から、監視カメラ1で検知したい検知対象を含む映像を探す。
【0074】
例えば、ユーザU1は、監視カメラ1で自動車を検知したいとする。この場合、ユーザU1は、監視カメラ1から受信した駐車場の映像から、自動車を含む映像を探し、探した映像の静止画像を作成する。静止画像は、複数枚作成されるのが望ましい。作成された静止画像は、記憶部46に記憶される。
【0075】
3.端末装置2は、ユーザU1の操作に応じて、記憶部46に記憶した静止画像から、学習モデルを生成する。例えば、端末装置2は、監視カメラ1が自動車を検知するための学習モデルを生成する。学習モデルの生成については、以下で詳述する。
【0076】
4.端末装置2は、ユーザU1の操作に応じて、生成した学習モデルを監視カメラ1に送信(設定)する。監視カメラ1は、端末装置2から送信された、自動車を検知する学習モデルに従って、ニューラルネットワークを形成する。監視カメラ1は、形成したニューラルネットワークに基づいて、撮像素子12が撮影する映像データの映像から、自動車を検知する。
【0077】
なお、
図5では、自動車を検知する学習モデルを生成する例について説明したが、他の検知対象を検知する学習モデルも同様に生成できる。例えば、監視カメラ1は、田畑を撮影するように構造物A1に設置されているとする。ユーザU1は、監視カメラ1で猪を検知したいとする。この場合、ユーザU1は、監視カメラ1が撮影した映像データの映像から、猪を含む映像の静止画像を生成する。端末装置2は、ユーザU1の操作に応じて、記憶部46に記憶した静止画像から、猪を検知する学習モデルを生成する。そして、端末装置2は、生成した学習モデルを監視カメラ1に送信する。
【0078】
図6は、学習モデルの生成の一例を説明する図である。
図6に示す画面51は、端末装置2の表示装置に表示される。
【0079】
図5でも説明したように、端末装置2(学習モデルを生成するアプリケーション)は、監視カメラ1から受信した映像データの映像を表示装置に表示する。ユーザは、端末装置2を操作し、端末装置2の表示装置に表示されている映像から、監視カメラ1で検知したい検知対象を含む画像を探し、探した映像の静止画像を作成する。
【0080】
図6の画面51の画像一覧51aには、ユーザが監視カメラ1の映像から作成した静止画像のファイル名が表示されている。
図6の例では、静止画像ファイルは、6つ生成されている。
【0081】
端末装置2は、ユーザの操作に応じて、画像一覧51aから静止画像ファイルが選択されると、選択された静止画像ファイルの画像を、端末装置2の表示装置に表示する。
図6に示す静止画像51bは、ユーザによって選択された静止画像ファイル「0002.jpg」の画像を示している。
【0082】
ユーザは、静止画像51bから、監視カメラ1で検知したい検知対象を選択する。例えば、ユーザは、監視カメラ1で自動車を検知したいとする。この場合、ユーザは、静止画像51b上において、自動車を選択(マーキング)する。例えば、ユーザは、端末装置2を操作して、自動車を枠51c,51dで囲む。
【0083】
ユーザは、例えば、画像一覧51aに表示されている静止画像ファイルの全てまたは一部において自動車をマーキングする。ユーザは、静止画像ファイルの全てまたは一部において自動車をマーキングすると、「検知モデルを生成」のアイコン51eをクリックする。
【0084】
端末装置2は、アイコン51eがクリックされると、静止画像ファイルでマーキングされた画像(枠51c,51dで囲まれた画像)にラベルを付与する画面に遷移する。すなわち、端末装置2は、静止画像ファイルでマーキングされた画像が検知対象(自動車)であることを教示する画面に遷移する。
【0085】
図7は、学習モデルの生成の一例を説明する図である。
図7に示す画面52は、端末装置2の表示装置に表示される。画面52は、
図6に示したアイコン51eがクリックされると、端末装置2の表示装置に表示される。
【0086】
画面52には、ラベル52aが表示されている。ユーザは、ラベル52aの左横に表示されているチェックボックスを選択して、静止画像でマーキングした検知対象にラベルを付与する。
【0087】
図6の例では、ユーザは、静止画像51bにおいて、自動車をマーキングしている。従って、ユーザは、
図7の画面52において、車(自動車)のラベル52aに対応するチェックボックスを選択する。
【0088】
ユーザは、ラベルを選択すると、ボタン52bをクリックする。端末装置2は、ボタン52bがクリックされると、学習モデルを生成する。
【0089】
例えば、端末装置2は、ボタン52bがクリックされると、静止画像でマーキングされた画像と、ラベルとによって学習を行う。端末装置2は、静止画像でマーキングされた画像と、ラベルとの学習により、例えば、監視カメラ1のニューラルネットワークの構造を決定するパラメータ群を生成する。すなわち、端末装置2は、監視カメラ1のAIの機能を特徴づける学習モデルを生成する。
【0090】
図8は、学習モデルの生成の一例を説明する図である。
図8に示す画面53は、端末装置2の表示装置に表示される。画面53は、
図7に示したボタン52bがクリックされ、学習モデルが生成されると端末装置2の表示装置に表示される。
【0091】
ユーザは、画面53において、端末装置2が生成した学習モデルにファイル名を付与できる。
図8の例では、ファイル名は、「車.model」となっている。ユーザは、学習モデルにファイル名を付与すると、ボタン53aをクリックする。端末装置2は、ボタン53aがクリックされると、生成した学習モデルを記憶部46に記憶する。
【0092】
端末装置2は、ユーザの操作に応じて、記憶部46に記憶した学習モデルを監視カメラ1に送信(設定)する。
【0093】
図9は、学習モデルの設定の一例を説明する図である。
図6~
図8の画面例では、端末装置2の画面を、パーソナルコンピュータの画面を想定して説明したが、
図9では、スマートフォンの画面を想定して説明する。
図9の画面54は、学習モデルを生成するアプリケーションを起動すると表示される。
【0094】
学習モデル54aは、端末装置2の記憶部46に記憶されている学習モデルのファイル名を示している。学習モデル54aは、画面54のアイコン54bがタップされると、端末装置2の表示装置に表示される。
【0095】
ユーザは、監視カメラ1に設定したい学習モデルを選択する。例えば、ユーザは、学習モデル54aの左横に表示されているチェックボックスを選択して、監視カメラ1に設定する学習モデルを選択する。
図9の例では、ユーザは、ファイル名「車.model」を選択している。
【0096】
ユーザは、学習モデルを選択すると、ボタン54cをタップする。端末装置2は、ボタン54cがタップされると、ユーザが選択した学習モデルを監視カメラ1に送信する。監視カメラ1は、学習モデルを受信すると、受信した学習モデルに従ったニューラルネットワークを形成する。
【0097】
図10は、端末装置2の学習モデル生成の動作例を示したフローチャートである。端末装置2の制御部41は、監視カメラ1の映像データを取得する(ステップS1)。映像データは、ライブデータであってもよいし、録画データであってもよい。端末装置2の制御部41は、監視カメラ1の映像を録画したレコーダから、監視カメラ1の映像データを取得してもよい。
【0098】
なお、ユーザは、端末装置2を操作して、監視カメラ1の映像から、検知対象を含む映像を探し、検知対象を含む静止画像を作成する。
【0099】
端末装置2の制御部41は、ユーザから、検知対象にマーキングする静止画像の選択を受付ける(ステップS2)。例えば、端末装置2の制御部41は、
図6の画像一覧51aから、検知対象にマーキングする静止画像の選択を受付ける。
【0100】
端末装置2の制御部41は、ユーザから、検知対象に対するマーキング操作を受付ける。例えば、端末装置2の制御部41は、
図6に示した枠51c,51dによるマーキング操作を受付ける。端末装置2の制御部41は、ユーザがマーキングした静止画像を、記憶部46に記憶する(ステップS3)。
【0101】
端末装置2の制御部41は、ユーザから、学習モデルの生成指示があったか否かを判定する(ステップS4)。例えば、端末装置2の制御部41は、
図6のアイコン51eがクリックされたか否かを判定する。端末装置2の制御部41は、ユーザから、学習モデルの生成指示がないと判定した場合(S4の「No」)、処理をステップS2に移行する。
【0102】
一方、端末装置2の制御部41は、ユーザから、学習モデルの生成指示があったと判定した場合(S4の「Yes」)、ユーザからラベリングの操作を受付ける(
図7を参照)。そして、端末装置2の制御部41は、記憶部46に記憶した静止画像と、機械学習アルゴリズムとにより、学習モデルを生成する(ステップS5)。機械学習アルゴリズムは、例えば、ディープラーニングであってもよい。
【0103】
端末装置2の制御部41は、ユーザの操作に応じて、生成した学習モデルを監視カメラ1に送信する(ステップS6)。
【0104】
図11は、監視カメラ1の動作例を示したフローチャートである。監視カメラ1のAI処理部17は、監視カメラ1の起動に伴って、検知対象の検知動作を開始する(ステップS11)。例えば、監視カメラ1のAI処理部17は、端末装置2から送信された学習モデルに基づいたニューラルネットワークを形成し、検知対象の検知動作を開始する。
【0105】
監視カメラ1の撮像素子12は、映像を1枚(1フレーム)撮像する(ステップS12)。
【0106】
監視カメラ1の制御部14は、ステップS12にて撮像された映像をAI処理部17に入力する(ステップS13)。
【0107】
監視カメラ1のAI処理部17は、ステップS13にて入力された映像に、検知対象が含まれるか否かを判定する(ステップS14)。
【0108】
監視カメラ1の制御部14は、ステップS14にて、検知対象が含まれないと判定された場合(S14の「No」)、処理をステップS12に移行する。
【0109】
一方、監視カメラ1の制御部14は、ステップS14にて、検知対象が含まれると判定された場合(S14の「Yes」)、発報条件を満たすか否かを判定する(ステップS15)。
【0110】
発報条件には、例えば、駐車場の自動車の駐車の検知がある。例えば、監視カメラ1の制御部14は、AI処理部17にて自動車が検知されると、発報条件を満たしたと判定してもよい。
【0111】
また、発報条件には、例えば、害獣である猪の検知がある。例えば、監視カメラ1の制御部14は、AI処理部17にて猪が検知されると、発報条件を満たしたと判定してもよい。
【0112】
また、発報条件には、例えば、来訪者の人数等がある。例えば、監視カメラ1の制御部14は、AI処理部17にて検知された人の数をカウントし、カウントした人数が予め設定された人数に達すると、発報条件を満たしたと判定してもよい。
【0113】
また、発報条件には、例えば、特定の人物の検知がある。例えば、監視カメラ1の制御部14は、AI処理部17にて特定の人物(特定の人物の顔)が検知されると、発報条件を満たしたと判定してもよい。
【0114】
また、発報条件には、例えば、花の開花の検知がある。例えば、監視カメラ1の制御部14は、AI処理部17にて花の開花が検知されると、発報条件を満たしたと判定してもよい。
【0115】
監視カメラ1の制御部14は、ステップS15にて、発報条件を満たさないと判定した場合(S15の「No」)、処理をステップS12に移行する。
【0116】
一方、監視カメラ1の制御部14は、ステップS15にて、発報条件を満たすと判定した場合(S15の「Yes」)、発報装置3を用いて、例えば、音等を発報する(ステップS16)。
【0117】
以上説明したように、監視カメラ1の通信部18は、検知対象に関連する学習モデルを端末装置2から受信する。監視カメラ1のAI処理部17は、通信部18が受信した学習モデルに基づいてAIを構築し、構築したAIを用いて、撮像素子12が撮影する映像から、検知対象を検知する。これにより、ユーザは、監視カメラ1に対し、検知したい検知対象をフレキシブルに設定できる。
【0118】
また、学習モデルは、構造物A1に設置された監視カメラ1が撮影した映像を用いて生成される。これにより、監視カメラ1は、監視カメラ1で撮影した映像から学習して生成された学習モデルに基づいてAIを構築するので、検知対象の精度のよい検知が可能となる。
【0119】
(変形例)
監視カメラ1の制御部14は、検知結果を外部記憶媒体I/F部22に挿入された外部記憶媒体31に記憶してもよい。監視カメラ1の制御部14は、検知結果をUSBI/F部21に挿入されたUSBメモリに記憶してもよい。監視カメラ1の制御部14は、検知結果を記憶部15に記憶し、記憶部15に記憶した検知結果を、外部記憶媒体I/F部22に挿入された外部記憶媒体31またはUSBI/F部21に挿入されたUSBメモリに転送してもよい。端末装置2の制御部41は、外部記憶部媒体またはUSBメモリに記憶された検知結果を、I/F部45を介して取得し、取得した検知結果の統計を取り、統計結果を解析してもよい。端末装置2の制御部41は、解析結果を学習モデルの作成に用いてもよい。
【0120】
また、監視カメラ1の制御部14は、通信部18を介して、検知結果を端末装置2に送信してもよい。端末装置2の制御部41は、監視カメラ1から送信された検知結果の統計を取り、統計結果を解析してもよい。端末装置2の制御部41は、解析結果を学習モデルの作成に用いてもよい。
【0121】
(第2の実施の形態)
第1の実施の形態では、端末装置2において、学習モデルを生成した。第2の実施の形態では、インターネット等の公衆ネットワークに接続されたサーバに学習モデルが記憶されている場合について説明する。
【0122】
図12は、第2の実施の形態に係る監視カメラシステムの一例を示した図である。
図12において、
図1と同じものには同じ符号が付してある。以下では、第1の実施の形態と異なる部分について説明する。
【0123】
図12の監視カメラシステムは、
図1の監視カメラシステムに対し、サーバ61を有する。サーバ61は、例えば、
図4に示したブロック構成と同様のブロック構成を有してもよい。ただし、サーバ61の通信部は、例えば、有線によってネットワーク62に接続される。サーバ61は、情報処理装置と称されてもよい。
【0124】
ネットワーク62は、例えば、インターネット等の公衆ネットワークである。サーバ61は、例えば、ネットワーク62を介して、端末装置2と通信する。端末装置2の通信部44は、例えば、有線によってネットワーク62に接続されてもよいし、例えば、携帯電話等の無線通信ネットワークを介して、ネットワーク62に接続されてもよい。
【0125】
サーバ61は、学習モデルを生成するアプリケーションを実装している。サーバ61は、監視カメラ1の映像から、学習モデルを生成し、記憶部に記憶する。
【0126】
サーバ61は、例えば、監視カメラ1を製造する製造メーカによって管理されてもよい。例えば、監視カメラ1の製造メーカは、監視カメラ1を購入した購入者から、映像データの提供を受ける。監視カメラ1の製造メーカは、サーバ61を用いて、監視カメラ1の購入者から提供された映像データから、学習モデルを生成する。監視カメラ1の購入者は、監視カメラ1を用いて、様々な検知対象を撮影すると考えられ、監視カメラ1の製造メーカは、様々な検知対象を撮影した映像データから、様々な種類の学習モデルを生成できる。また、監視カメラ1の製造メーカは、多くの映像データから学習モデルを生成でき、検出精度のよい学習モデルを生成できる。
【0127】
また、サーバ61は、例えば、監視カメラ1を構造物A1に設置する施工業者によって管理されてもよい。監視カメラ1の施工業者は、製造メーカと同様に、監視カメラ1の購入者から映像データの提供を受ける。監視カメラ1の施工業者は、様々な検知対象を撮影した映像データから、様々な種類の学習モデルを生成できる。また、監視カメラ1の施工業者は、多くの映像データから学習モデルを生成でき、検出精度のよい学習モデルを生成できる。
【0128】
監視カメラ1の施工業者は、例えば、特定の検知対象の検知を専門として、監視カメラ1を構造物A1に設置してもよい。例えば、監視カメラ1の施工業者は、害獣検知を専門として、監視カメラ1を構造物A1に設置してもよい。この場合、監視カメラ1の施工業者は、監視カメラ1の購入者から、害獣に関する映像データの提供を受けるため、害獣検知に特化した学習モデルを生成できる。
【0129】
端末装置2は、ユーザU1の操作に応じて、サーバ61にアクセスし、サーバ61から学習モデルを受信する。端末装置2は、サーバ61から受信した学習モデルを、例えば、Wi-Fiまたはブルートゥース等の近距離無線通信を介して、監視カメラ1に送信する。また、端末装置2は、サーバ61から受信した学習モデルを、例えば、ネットワークケーブルを介して、監視カメラ1に送信してもよい。
【0130】
また、端末装置2は、ユーザU1の操作に応じて、サーバ61から受信した学習モデルを、I/F部45を介して、外部記憶媒体31に記憶してもよい。ユーザU1は、外部記憶媒体31を監視カメラ1の外部記憶媒体I/F部22に挿入し、外部記憶媒体31に記憶された学習モデルを、監視カメラ1に設定してもよい。
【0131】
図13は、サーバ61における学習モデルの選択の一例を説明する図である。
図13の画面71は、端末装置2の表示装置に表示される。画面71は、学習モデルを生成するアプリケーションを起動すると表示される。
【0132】
画面71の学習モデル71aは、サーバ61に記憶されている学習モデルの名称を示している。学習モデル71aは、画面71のアイコン71bがタップされると、端末装置2の表示装置に表示される。
【0133】
ユーザは、監視カメラ1に設定したい学習モデルを選択する。例えば、ユーザは、学習モデル71aの左横に表示されているチェックボックスを選択して、監視カメラ1に設定する学習モデルを選択する。
図13の例では、ユーザは、学習モデル名「犬」を選択している。
【0134】
ユーザは、学習モデルを選択すると、ボタン71cをタップする。端末装置2は、ボタン71cがタップされると、ユーザが選択した学習モデルをサーバ61から受信し、受信した学習モデルを監視カメラ1に送信する。監視カメラ1は、学習モデルを受信すると、受信した学習モデルに基づいたニューラルネットワークを形成する。
【0135】
図14は、端末装置2における学習モデルの監視カメラ1への設定動作例を示したフローチャートである。
【0136】
端末装置2の制御部41は、ユーザの操作に応じて、学習モデルを監視カメラ1に設定するアプリケーションを起動する(ステップS21)。
【0137】
端末装置2の制御部41は、ユーザの操作に応じて、学習モデルを設定する監視カメラ1に接続する(ステップS22)。
【0138】
端末装置2の制御部41は、ユーザの操作に応じて、ネットワーク62に接続されたサーバ61に接続する(ステップS23)。
【0139】
端末装置2の制御部41は、サーバ61に記憶されている学習モデルのうち、ステップS22にて接続した監視カメラ1に対応する学習モデルの名称を、表示装置に表示する(ステップS24)。例えば、端末装置2の制御部41は、
図13の学習モデル71aに示すように、学習モデルの名称を、表示装置に表示する。
【0140】
なお、サーバ61には、様々なタイプの監視カメラに対応した学習モデルが記憶されている。端末装置2の制御部41は、様々なタイプの監視カメラに対応した学習モデルのうち、ステップS22に接続した監視カメラ1に対応する学習モデルの名称を、表示装置に表示する。
【0141】
端末装置2の制御部41は、ユーザから、監視カメラ1に設定する学習モデルを受付ける(ステップS25)。例えば、端末装置2の制御部41は、
図13の学習モデル71aの左横に表示されているチェックボックスにより、監視カメラ1に設定する学習モデルを受付ける。
【0142】
端末装置2の制御部41は、ステップS25にて受け付けた学習モデルをサーバ61から受信し、受信した学習モデルを監視カメラ1に送信する(ステップS26)。
【0143】
以上説明したように、サーバ61は、様々な監視カメラの映像データから、学習データを生成し、記憶してもよい。端末装置2は、サーバ61に記憶された学習データを取得し、監視カメラ1に設定してもよい。これにより、監視カメラ1は、様々な種類の学習モデルに基づいたAIを構築できる。
【0144】
(変形例)
上記では、端末装置2の制御部41は、サーバ61から受信した学習モデルを、近距離無線通信、外部記憶媒体31、またはネットワークケーブルを介して監視カメラ1に送信したがこれに限られない。端末装置2の制御部41は、ネットワーク62を介して、サーバ61から受信した学習モデルを監視カメラ1に送信してもよい。
【0145】
図15は、監視カメラシステムの変形例を示した図である。
図15において、
図12と同じものには同じ符号が付してある。
【0146】
図15では、監視カメラ1の通信部18は、ネットワーク62に接続されている。監視カメラ1の通信部18は、例えば、ネットワークケーブル等の有線を介してネットワーク62に接続されてもよいし、例えば、携帯電話等の無線通信ネットワークを介してネットワーク62に接続されてもよい。
【0147】
端末装置2の制御部41は、
図15の矢印B1に示すように、ネットワーク62を介して、サーバ61から学習モデルを受信する。端末装置2の制御部41は、
図15の矢印B2に示すように、ネットワーク62を介して、サーバ61から受信した学習モデルを監視カメラ1に送信する。
【0148】
このように、端末装置2の制御部41は、サーバ61から受信した学習モデルを、ネットワーク62を介して、監視カメラ1に送信してもよい。
【0149】
なお、端末装置2の制御部41は、サーバ61に対し、学習モデルを監視カメラ1に送信するよう指示してもよい。すなわち、監視カメラ1は、端末装置2を経由せずに、サーバ61から学習データを受信してもよい。
【0150】
(第3の実施の形態)
第3の実施の形態では、監視カメラ1は、発報条件を満足すると、予め設定されたアドレスにメールを送信する。すなわち、監視カメラ1は、発報条件を満足すると、ユーザにメールで発報条件を満たしたことを通知する。
【0151】
図16は、第3の実施の形態に係る監視カメラシステムの一例を示した図である。
図16において、
図15と同じものには同じ符号が付してある。
【0152】
図16では、メールサーバ81が示してある。メールサーバ81は、ネットワーク62に接続されている。
【0153】
監視カメラ1の制御部14は、発報条件を満足すると、矢印A11に示すように、端末装置2宛のメールをメールサーバ81に送信する。メールには、発報条件を満たしたことを示す内容と、監視カメラ1が検知した検知対象の画像とが含まれてもよい。
【0154】
メールサーバ81は、監視カメラ1からメールを受信したことを端末装置2に通知する。メールサーバ81は、メールの受信通知を受信した端末装置2からの要求に応じて、監視カメラ1から送信されたメールを、矢印A12に示すように、端末装置2に送信する。
【0155】
なお、監視カメラ1は、端末装置2によって、メールの送信先アドレスが設定されてもよい。メールの送信先アドレスは、端末装置2以外の端末装置のアドレスが設定されてもよい。例えば、メールの送信先アドレスは、ユーザU1が使用する端末装置2以外の端末装置のアドレスが設定されてもよい。また、メールの送信先アドレスは、複数であってもよい。
【0156】
このように、監視カメラ1は、発報条件を満足すると、メールによって、発報条件を満たしたことをユーザに通知してもよい。これにより、ユーザは、例えば、監視カメラ1によって、検知対象が検知されたことを認識できる。
【0157】
(第4の実施の形態)
上記の各実施の形態では、1台の監視カメラ1に学習モデルを設定する例について説明した。第4の実施の形態では、複数台の監視カメラに学習モデルを設定する例について説明する。
【0158】
図17は、第4の実施の形態に係る監視カメラシステムの一例を示した図である。
図17に示すように、監視カメラシステムは、監視カメラ91a~91dと、端末装置92と、レコーダ93と、メールサーバ94と、を有している。監視カメラ91a~91d、端末装置92、レコーダ93、およびメールサーバ94はそれぞれ、LAN(Local Area Network)95に接続されている。
【0159】
監視カメラ91a~91dは、
図3に示した監視カメラ1の機能ブロックと同様の機能ブロックを有している。端末装置92は、
図4に示した端末装置2と同様の機能ブロックを有している。監視カメラ91a~91dには、同じ学習モデルが設定されてもよいし、異なる学習モデルが設定されてもよい。
【0160】
レコーダ93は、監視カメラ91a~91dの映像データを記憶する。端末装置92は、監視カメラ91a~91dのライブ映像データから、監視カメラ91a~91dの学習モデルを生成してもよい。また、端末装置92は、レコーダ93に記憶された監視カメラ91a~91dの録画映像データから、監視カメラ91a~91dの学習モデルを生成してもよい。端末装置92は、生成した学習モデルを、LAN95を介して、監視カメラ91a~91dに送信する。
【0161】
監視カメラ91a~91dは、発報条件を満足すると、端末装置92宛のメールをメールサーバ94に送信する。メールサーバ94は、端末装置2からの要求に応じて、監視カメラ1から送信されたメールを、端末装置2に送信する。
【0162】
このように、複数の監視カメラ91a~91d、端末装置92、およびメールサーバ94は、LAN95によって接続されてもよい。そして、端末装置92は、複数の監視カメラ91a~91dの学習モデルを生成し、監視カメラ91a~91dに送信(設定)してもよい。これにより、ユーザは、複数の監視カメラ91a~91dによって、検知対象を検知できる。
【0163】
なお、監視カメラ91a~91dの各AI(AI演算エンジン)は、監視カメラ91a~91dの各々において、タイプが異なる場合がある。この場合、端末装置92は、監視カメラ91a~91dの各々におけるAIのタイプに合った学習モデルを生成する。
【0164】
(変形例)
上記では、端末装置92が学習モデルを生成したが、インターネット等の公衆ネットワークに接続されたサーバに学習モデルが記憶されていてもよい。
【0165】
図18は、監視カメラシステムの変形例を示した図である。
図18において、
図17と同じものには同じ符号が付してある。
図18の監視カメラシステムは、サーバ101を有している。サーバ101は、例えば、インターネット等の公衆ネットワークであるネットワーク103と、ゲートウェイ102と、を介してLAN95に接続されている。
【0166】
サーバ101は、
図12で説明したサーバ61と同様の機能を有している。サーバ101は、監視カメラ91a~91d以外の様々な監視カメラの映像データに基づいて学習モデルを生成し、記憶している。端末装置92は、サーバ101にアクセスして、サーバ101に記憶された学習データを取得し、監視カメラ91a~91dに設定してもよい。
【0167】
(第5の実施の形態)
第5の実施の形態では、監視カメラ1が複数の学習モデルを記憶する。そして、監視カメラ1は、端末装置2の指示に応じて、複数の学習モデルのうちの1つを選択し、選択した学習モデルに基づいて、検知対象を検知する。以下では、第1の実施の形態と異なる部分について説明する。
【0168】
図19は、第5の実施の形態に係る監視カメラ1の動作例を示したフローチャートである。監視カメラ1の学習モデル記憶部17cには、複数の学習モデルが記憶されている。
【0169】
監視カメラ1は、例えば、電源投入により起動する(ステップS31)。
【0170】
監視カメラ1のAI処理部17は、学習モデル記憶部17cに記憶されている複数の学習モデルのうちの1つの学習モデルを、AI演算エンジン17aにセットする(ステップS32)。
【0171】
なお、監視カメラ1のAI処理部17は、例えば、学習モデル記憶部17cに記憶されている複数の学習モデルのうち、前回の起動時にセットしていた学習モデルをAI演算エンジン17aにセットしてもよい。また、監視カメラ1のAI処理部17は、例えば、学習モデル記憶部17cに記憶されている複数の学習モデルのうち、端末装置2によって初期設定された学習モデルをAI演算エンジン17aにセットしてもよい。
【0172】
監視カメラ1のAI処理部17は、端末装置2から、学習モデルの切替えの指示があったか否かを判定する(ステップS33)。
【0173】
監視カメラ1のAI処理部17は、学習モデルの切替えの指示があったと判定した場合(S33の「Yes」)、学習モデル記憶部17cに記憶されている複数の学習モデルのうち、端末装置2から指示された学習モデルを、AI演算エンジン17aにセットする(ステップS34)。
【0174】
AI演算エンジン17aは、セットされた学習モデルにより(セットされた学習モデルに従ってニューラルネットを形成し)、映像データの映像から検知対象を検知する(ステップS35)。
【0175】
なお、監視カメラ1のAI演算エンジン17aは、ステップS33において、学習モデルの切替えの指示がないと判定された場合(S33の「No」)、学習モデルを切替えず、すでにセットされている学習モデルにより、映像データの映像から検知対象を検知する(ステップS35)。
【0176】
図20は、学習モデルの切替えによる検知対象の検知例を説明する図である。監視カメラ1の学習モデル記憶部17cには、学習モデルAと、学習モデルBと、学習モデルCと、が記憶されているとする。学習モデルAは、映像処理部13から出力される映像から、人を検知する学習モデルである。学習モデルBは、映像処理部13から出力される映像から、犬を検知する学習モデルである。学習モデルCは、映像処理部13から出力される映像から、猪を検知する学習モデルである。
【0177】
AI処理部17は、端末装置2から、学習モデルAの使用を指示する通知を受信する。AI処理部17は、端末装置2からの指示に応じて、学習モデル記憶部17cに記憶されている学習モデルAをAI演算エンジン17aに設定する。これにより、AI演算エンジン17aは、例えば、
図20の「学習モデルA使用時」に示すように、映像処理部13から出力される映像から、人を検知する。
【0178】
AI処理部17は、端末装置2から、学習モデルBの使用を指示する通知を受信する。AI処理部17は、端末装置2からの指示に応じて、学習モデル記憶部17cに記憶されている学習モデルBをAI演算エンジン17aに設定する。これにより、AI演算エンジン17aは、例えば、
図20の「学習モデルB使用時」に示すように、映像処理部13から出力される映像から、犬を検知する。
【0179】
AI処理部17は、端末装置2から、学習モデルCの使用を指示する通知を受信する。AI処理部17は、端末装置2からの指示に応じて、学習モデル記憶部17cに記憶されている学習モデルCをAI演算エンジン17aに設定する。これにより、AI演算エンジン17aは、例えば、
図20の「学習モデルC使用時」に示すように、映像処理部13から出力される映像から、猪を検知する。
【0180】
AI処理部17は、端末装置2から、学習モデルA,B,Cの使用を指示する通知を受信する。AI処理部17は、端末装置2からの指示に応じて、学習モデル記憶部17cに記憶されている学習モデルA,B,CをAI演算エンジン17aに設定する。これにより、AI演算エンジン17aは、例えば、
図20の「学習モデルA+学習モデルB+学習モデルC使用時」に示すように、映像処理部13から出力される映像から、人、犬、猪を検知する。
【0181】
図21は、学習モデルの設定の一例を説明する図である。
図21において、
図9と同じものには同じ符号が付してある。
【0182】
ユーザは、監視カメラ1に送信したい学習モデルを選択する。例えば、ユーザは、学習モデル54aの左横に表示されているチェックボックスを選択して、監視カメラ1に設定する学習モデルを選択する。
図21の例では、ユーザは、3つの学習モデルを選択している。
【0183】
ユーザは、3つの学習モデルを選択すると、ボタン54cをタップする。端末装置2は、ボタン54cがタップされると、ユーザが選択した3つの学習モデルを監視カメラ1に送信する。監視カメラ1は、3つの学習モデルを受信すると、受信した3つの学習モデルを学習モデル記憶部17cに記憶する。
【0184】
ユーザは、3つの学習モデルを監視カメラ1に送信した後、AI演算エンジン17aに設定する学習モデルを監視カメラ1に対し指示する。監視カメラ1のAI処理部17は、学習モデル記憶部17cに記憶されている3つの学習モデルのうち、端末装置2から指示された学習モデルをAI演算エンジン17aに設定する。
【0185】
なお、端末装置2は、ユーザの操作に応じて、学習モデル記憶部17cに記憶される学習モデルを追加、変更、または更新できる。また、端末装置2は、ユーザの操作に応じて、学習モデル記憶部17cに記憶される学習モデルを削除できる。
【0186】
このように、監視カメラ1は、複数の学習モデルを記憶してもよい。そして、監視カメラ1は、端末装置2の指示に応じて、複数の学習モデルのうちの1つを選択し、選択した学習モデルに基づいたAIを形成してもよい。これにより、ユーザは、監視カメラ1の検知対象を容易に変更できる。
【0187】
(第6の実施の形態)
上記の各実施の形態では、1台の監視カメラ1によって撮像された1枚の静止画像あるいは映像データから学習モデルを設定する例について説明した。第6の実施の形態では、監視カメラ1は、監視カメラ1によって撮像された映像データ、監視カメラ1に備えられた1つ以上のセンサによって計測された計測データ、およびマイク20によって収音された音声データから学習モデルを生成する例について説明する。具体的に、第6の実施の形態に係る学習モデルは、映像データ、計測データおよび音声データのうち少なくとも1つの時系列のデータ、あるいは2つ以上のデータから生成される。
【0188】
なお、監視カメラ1が複数のセンサのそれぞれを備え、計測された計測データが複数ある場合、学習モデルは、2つの計測データのそれぞれから生成されてよい。さらに、ここでいうセンサ(不図示)は、監視カメラ1に備えられたセンサであり、例えばTOFセンサ19、温度センサ(不図示)、振動センサ(不図示)、人感センサ(不図示)、PTZセンサ(不図示)などである。
【0189】
図22は、第6の実施の形態に係る学習モデルの生成の一例を説明する図である。
図22に示す画面55は、端末装置2の表示装置に表示される。
【0190】
端末装置2(学習モデルを生成するアプリケーション)は、監視カメラ1から受信された映像データ、計測データあるいは音声データのうち、少なくとも1つのデータを表示装置に表示する。なお、表示されるデータは、ユーザによって指定(選択)されてよい。ユーザは、端末装置2を操作し、端末装置2の表示装置に表示されている映像データ、計測データあるいは音声データから、監視カメラ1で検知したい検知対象の事象を含む映像データ、計測データあるいは音声データを選択する。なお、
図22に示す例においてユーザは、複数の静止画像のそれぞれ(つまり、時系列の映像データ)と所定のセンサによって計測された時系列の計測データとを選択している。
【0191】
図22の画面55は、学習モデルを生成するためのデータを表示するデータ表示領域55cに、映像データを構成する1枚の静止画像ファイルである静止画像55fと所定のセンサによって計測された計測データ55dとが表示されている。
【0192】
図22の画面55の画像一覧55aには、ユーザが監視カメラ1の映像データから作成(選択)した複数の静止画像のそれぞれのファイル名が表示されている。
図22の例では、複数の静止画像ファイルのそれぞれは、6つが生成され、そのうち5つがユーザによって選択されている。
【0193】
端末装置2は、ユーザの操作に応じて、画像一覧55aから複数の静止画像ファイルのそれぞれが選択されると、選択された複数の静止画像ファイルのそれぞれの画像のうち少なくとも1枚を、端末装置2の表示装置に表示する。なお、
図22において、選択された複数の静止画像ファイルのそれぞれが枠55bで囲まれて識別可能に表示されているが、選択された静止画像ファイルの識別表示方法はこれに限定されず、例えば選択された静止画像ファイル名の色を変えて表示してもよい。
図22に示す静止画像55fは、ユーザによって選択された静止画像ファイル「0002.jpg」の画像を示している。
【0194】
ユーザは、静止画像55fから、監視カメラ1で検知したい検知対象の事象を選択する。例えば、ユーザは、監視カメラ1で自動車を検知したいとする。この場合、ユーザは、静止画像55f上において、自動車を選択(マーキング)する。例えば、ユーザは、端末装置2を操作して、自動車のそれぞれを枠55g,55hのそれぞれで囲む。
【0195】
また、端末装置2は、ユーザの操作に応じて、所定のセンサ(例えば、温度センサ、振動センサ、人感センサ、超音波センサ、PTZ駆動センサなど)によって計測された時系列の計測データ55dを表示する。ユーザは、例えば、計測データ55d上の所定の時間帯をマーキングする。例えば、ユーザは、端末装置2を操作して、計測データ55dのうち時間帯T1を枠55eで囲ってマーキングする。なお、ここで選択される時間帯は、検知対象の事象の検知を開始した時間から、検知が終了した時間までの所定の期間である。
【0196】
なお、ユーザによる計測データ55dへのマーキングよりも前に、画像一覧55aにおける複数の静止画像ファイルのそれぞれが選択された場合、端末装置2は、選択された複数の静止画像ファイルのそれぞれが撮影された撮像時間に対応した時間帯に対してマーキングが行われたと判定してもよい。端末装置2は、マーキングが行われたと判定した場合、撮像時間に対応した時間帯に枠を表示する。
【0197】
ユーザは、学習モデルの生成に使用するデータをマーキングすると、「検知モデルを生成」のアイコン55kをクリックする。端末装置2は、アイコン55kがクリックされると、マーキングされた画像(枠55g,55hのそれぞれで囲まれた画像)および計測データ(枠55eで囲まれた時間帯T1における計測データ)にラベルを付与する画面に遷移する。すなわち、端末装置2は、マーキングされた画像(映像データ)および計測データが検知対象の事象(自動車の走行音)であることを教示する画面に遷移する。
【0198】
図23は、第6の実施の形態に係る学習モデルの生成の一例を説明する図である。
図23に示す画面56は、端末装置2の表示装置に表示される。
図23に示す例においてユーザは、複数の静止画像のそれぞれ(つまり、時系列の映像データ)とPTZセンサによって計測された時系列の計測データとを選択している。
【0199】
図23の画面56は、学習モデルを生成するためのデータを表示するデータ表示領域56cに、映像データを構成する1枚の静止画像ファイルである静止画像56fと所定のセンサによって計測された計測データ56dとが表示されている。
【0200】
図23の画面56の画像一覧56aには、ユーザが監視カメラ1の映像データから作成(選択)した複数の静止画像のそれぞれのファイル名が表示されている。
図23の例では、複数の静止画像ファイルのそれぞれは、「0007.jpg」,「0008.jpg」,「0009.jpg」,「0010.jpg」,「0011.jpg」,「0012.jpg」の6つが生成され、そのうち「0008.jpg」~「0012.jpg」5つがユーザによって選択されている。
【0201】
端末装置2は、ユーザの操作に応じて、画像一覧56aから複数の静止画像ファイルのそれぞれが選択されると、選択された複数の静止画像ファイルのそれぞれの画像のうち少なくとも1枚を、端末装置2の表示装置に表示する。なお、
図23において、選択された複数の静止画像ファイルのそれぞれが枠56bで囲まれて識別可能に表示されているが、選択された静止画像ファイルの識別表示方法はこれに限定されず、例えば選択された静止画像ファイル名の色を変えて表示してもよい。
図23に示す静止画像56fは、ユーザによって選択された静止画像ファイル「0009.jpg」の画像を示している。
【0202】
ユーザは、静止画像56fから、監視カメラ1で検知したい検知対象の事象を選択する。
図23に示す静止画像56fは、監視カメラ1の故障あるいは不具合が発生している状態で撮像された黒画画像である。例えば、ユーザは、監視カメラ1が故障あるいは不具合などの異常状態であることを検知したいとする。この場合、ユーザは、静止画像56f上において、静止画像56fの全域あるいは一部を選択(マーキング)する。なお、このような場合、
図23に示すようにマーキング範囲を示す枠は、表示が省略されてもよい。
【0203】
また、端末装置2は、ユーザの操作に応じて、PTZセンサによって計測された時系列の計測データ56dを表示する。ユーザは、例えば、計測データ56d上の所定の時間帯をマーキングする。例えば、ユーザは、端末装置2を操作して、計測データ56dのうち時間帯T2を枠56eで囲ってマーキングする。
【0204】
なお、ユーザによる計測データ56dへのマーキングよりも前に、画像一覧56aにおける複数の静止画像ファイルのそれぞれが選択された場合、端末装置2は、選択された複数の静止画像ファイルのそれぞれが撮影された撮像時間に対応した時間帯に対してマーキングが行われたと判定してもよい。端末装置2は、マーキングが行われたと判定した場合、撮像時間に対応した時間帯に枠を表示する。
【0205】
ユーザは、学習モデルの生成に使用するデータをマーキングすると、「検知モデルを生成」のアイコン56kをクリックする。端末装置2は、アイコン56kがクリックされると、マーキングされた画像(静止画像56fの全域)および計測データ(枠56eで囲まれた時間帯T2における計測データ)にラベルを付与する画面に遷移する。すなわち、端末装置2は、マーキングされた画像(映像データ)および計測データが検知対象の事象(黒画検知)であることを教示する画面に遷移する。
【0206】
図24は、学習モデルの生成の一例を説明する図である。
図24に示す画面57は、端末装置2の表示装置に表示される。画面57は、
図22および
図23に示した「検知モデルを生成」のアイコンがクリックされると、端末装置2の表示装置に表示される。
【0207】
図24に示す学習モデルは、例えば「叫び声」,「銃声」,「窓が割れる音」,「急ブレーキ音」,「怒鳴り声」を検知可能な学習モデルの生成例である。これらの学習モデルは、例えば時系列の音声データ、あるいは音声データおよび映像データからなる2つのデータから生成される。なお、学習モデルの生成に使用されるデータは、これに限定されず、例えば振動センサによって計測された計測データ、温度センサによって計測された計測データあるいは人感センサによって計測された計測データであってもよい。
【0208】
画面57には、複数のラベル「叫び声」,「銃声」,「窓が割れる音」,「急ブレーキ音」,「怒鳴り声」のそれぞれを含むラベル57aが表示されている。ユーザは、ラベル57aの左横に表示されているチェックボックスを選択して、時系列の音声データ、あるいは音声データと映像データとからなる2つのデータでマーキングした検知対象の事象にラベルを付与する。
【0209】
図24に示す画面57においては、ユーザは、例えば時系列の音声データ、あるいは音声データおよび映像データからなる2つのデータを用いて「窓が割れる音」をマーキングしている。従って、ユーザは、
図24の画面57において、「窓が割れる音」のラベル57aに対応するチェックボックスを選択する。
【0210】
ユーザは、ラベル「窓が割れる音」を選択すると、ボタン57bをクリックする。端末装置2は、ボタン57bがクリックされると、チェックボックスが選択されたラベル「窓が割れる音」の学習モデルを生成する。
【0211】
例えば、端末装置2は、ボタン57bがクリックされると、マーキングされたデータと、ラベルとによって学習を行う。端末装置2は、マーキングされたデータと、ラベルとの学習により、例えば、監視カメラ1のニューラルネットワークの構造を決定するパラメータ群を生成する。すなわち、端末装置2は、監視カメラ1のAIの機能を特徴づける学習モデルを生成する。
【0212】
図25は、学習モデルの生成の一例を説明する図である。
図25に示す画面58は、端末装置2の表示装置に表示される。画面58は、
図22および
図23に示した「検知モデルを生成」のアイコンがクリックされると、端末装置2の表示装置に表示される。
【0213】
図25に示す学習モデルは、例えば「温度上昇」,「温度低下」,「振動超過」,「侵入検知」,「台風検知」を検知可能な学習モデルの生成例である。これらの学習モデルは、例えば温度センサ,振動センサ,人感センサなどのセンサによって計測された計測データ、映像データ、あるいは音声データの少なくとも1つの時系列のデータから生成される。なお、学習モデルの生成に使用されるデータは、1つに限定されず、ユーザによって選択された複数のデータのそれぞれが使用されてよい。
【0214】
画面58には、複数のラベル「温度上昇」,「温度低下」,「振動超過」,「侵入検知」,「台風検知」のそれぞれを含むラベル58aが表示されている。ユーザは、ラベル58aの左横に表示されているチェックボックスを選択して、学習モデルの生成に使用するデータでマーキングした検知対象の事象にラベルを付与する。
【0215】
図25に示す画面58においては、ユーザは、マーキングされたデータ(例えば、時系列の振動データ、あるいは時系列の振動データおよび音声データなど)を用いて「振動超過」をマーキングしている。従って、ユーザは、
図25の画面58において、「振動超過」のラベル58aに対応するチェックボックスを選択する。
【0216】
ユーザは、ラベル「振動超過」を選択すると、ボタン58bをクリックする。端末装置2は、ボタン58bがクリックされると、チェックボックスが選択されたラベル「振動超過」の学習モデルを生成する。
【0217】
例えば、端末装置2は、ボタン58bがクリックされると、マーキングされたデータと、ラベルとによって学習を行う。端末装置2は、マーキングされたデータと、ラベルとの学習により、例えば、監視カメラ1のニューラルネットワークの構造を決定するパラメータ群を生成する。すなわち、端末装置2は、監視カメラ1のAIの機能を特徴づける学習モデルを生成する。
【0218】
図26は、学習モデルの生成の一例を説明する図である。
図26に示す画面59は、端末装置2の表示装置に表示される。画面59は、
図22および
図23に示した「検知モデルを生成」のアイコンがクリックされると、端末装置2の表示装置に表示される。
【0219】
図26に示す学習モデルは、例えば「PTZ故障」,「黒画故障」を検知可能な学習モデルの生成例である。これらの学習モデルは、例えばPTZセンサによって計測された時系列の計測データ、あるいは映像データから生成される。なお、学習モデルの生成に使用されるデータは、1つに限定されず、ユーザによって選択された複数のデータのそれぞれが使用されてよい。
【0220】
画面59には、複数のラベル「PTZ故障」,「黒画故障」のそれぞれを含むラベル59aが表示されている。ユーザは、ラベル59aの左横に表示されているチェックボックスを選択して、学習モデルの生成に使用するデータでマーキングした検知対象の事象にラベルを付与する。
【0221】
図26に示す画面59においては、ユーザは、マーキングされたデータ(例えば、時系列の振動データ、あるいは時系列の振動データおよび音声データなど)を用いて「黒画故障」をマーキングしている。従って、ユーザは、
図26の画面59において、「黒画故障」のラベル59aに対応するチェックボックスを選択する。
【0222】
ユーザは、ラベル「黒画故障」を選択すると、ボタン59bをクリックする。端末装置2は、ボタン59bがクリックされると、チェックボックスが選択されたラベル「黒画故障」の学習モデルを生成する。
【0223】
例えば、端末装置2は、ボタン59bがクリックされると、マーキングされたデータと、ラベルとによって学習を行う。端末装置2は、マーキングされたデータと、ラベルとの学習により、例えば、監視カメラ1のニューラルネットワークの構造を決定するパラメータ群を生成する。すなわち、端末装置2は、監視カメラ1のAIの機能を特徴づける学習モデルを生成する。
【0224】
図27は、学習モデルの生成の一例を説明する図である。
図27に示す画面60は、端末装置2の表示装置に表示される。画面60は、
図22および
図23に示した「検知モデルを生成」のアイコンがクリックされると、端末装置2の表示装置に表示される。
【0225】
図27に示す学習モデルは、例えば「喧嘩」,「事故」,「万引き」,「拳銃所持」,「スリ」を検知可能な学習モデルの生成例である。これらの学習モデルは、例えば温度センサ,振動センサ,人感センサなどのセンサによって計測された時系列の計測データ、映像データ、あるいは音声データの少なくとも1つから生成される。なお、学習モデルの生成に使用されるデータは、1つに限定されず、ユーザによって選択された複数のデータのそれぞれが使用されてよい。
【0226】
画面60には、複数のラベル「喧嘩」,「事故」,「万引き」,「拳銃所持」,「スリ」のそれぞれを含むラベル60aが表示されている。ユーザは、ラベル60aの左横に表示されているチェックボックスを選択して、学習モデルの生成に使用するデータでマーキングした検知対象の事象にラベルを付与する。
【0227】
図27に示す画面60においては、ユーザは、マーキングされたデータ(例えば、時系列の映像データおよび音声データなど)を用いて「万引き」をマーキングしている。従って、ユーザは、
図27の画面60において、「万引き」のラベル60aに対応するチェックボックスを選択する。
【0228】
ユーザは、ラベル「万引き」を選択すると、ボタン60bをクリックする。端末装置2は、ボタン60bがクリックされると、チェックボックスが選択されたラベル「万引き」の学習モデルを生成する。
【0229】
例えば、端末装置2は、ボタン60bがクリックされると、マーキングされたデータと、ラベルとによって学習を行う。端末装置2は、マーキングされたデータと、ラベルとの学習により、例えば、監視カメラ1のニューラルネットワークの構造を決定するパラメータ群を生成する。すなわち、端末装置2は、監視カメラ1のAIの機能を特徴づける学習モデルを生成する。
【0230】
図28および
図29を参照して、第6の実施の形態に係る学習モデル生成動作例について説明する。
図28は、第6の実施の形態に係る端末装置2の学習モデル生成の動作例を示したフローチャートである。
図29は、第6の実施の形態に係る学習モデルの追加学習の動作例を示したフローチャートである。
【0231】
端末装置2の制御部41は、監視カメラ1から映像データ、音声データあるいは複数のセンサのそれぞれ(例えば、温度センサ,振動センサ,人感センサ,PTZセンサなど)によって計測された時系列の計測データ(測定結果)を取得する(ステップS41)。映像データは、ライブデータであってもよいし、録画データであってもよい。端末装置2の制御部41は、監視カメラ1の映像を録画したレコーダから、監視カメラ1の映像データを取得してもよい。
【0232】
なお、ユーザは、端末装置2を操作して、監視カメラ1の映像データ、音声データあるいは複数のセンサのそれぞれによって計測された計測データから検知対象の事象を含むデータを探す。なお、第6の実施の形態においてユーザが探すデータは、映像データ、音声データあるいは複数のセンサのそれぞれによって計測された計測データのうち少なくとも1つの時系列のデータ、あるいは少なくとも2つ以上のデータ(例えば、映像データと音声データ、映像データと計測データ、異なるセンサによって計測された2つの計測データなど)である。
【0233】
端末装置2の制御部41は、ユーザから、検知対象の事象にマーキングするデータの選択を受付ける(ステップS42)。例えば、端末装置2の制御部41は、
図22の画像一覧55aから、検知対象の事象にマーキングする複数の静止画像のそれぞれの選択(つまり、枠55bの生成操作)を受付ける。
【0234】
端末装置2の制御部41は、ユーザから、検知対象の事象に対するマーキング操作を受付ける。例えば、端末装置2の制御部41は、
図22に示した枠55e,55g,55hによるマーキング操作を受付ける。端末装置2の制御部41は、ユーザがマーキングした所定の期間のデータ(つまり、時系列のデータ)を、記憶部46に記憶する(ステップS43)。
【0235】
端末装置2の制御部41は、ユーザから、学習モデルの生成指示があったか否かを判定する(ステップS44)。例えば、端末装置2の制御部41は、
図22のアイコン51kがクリックされたか否かを判定する。端末装置2の制御部41は、ユーザから、学習モデルの生成指示がないと判定した場合(S44の「No」)、処理をステップS42に移行する。
【0236】
一方、端末装置2の制御部41は、ユーザから、学習モデルの生成指示があったと判定した場合(S44の「Yes」)、ユーザからラベリングの操作を受付ける(
図24~
図27を参照)。そして、端末装置2の制御部41は、記憶部46に記憶した所定の期間のデータ(つまり、時系列のデータ)と、機械学習アルゴリズムとにより、学習モデルを生成する(ステップS45)。機械学習アルゴリズムは、例えば、ディープラーニングであってもよい。
【0237】
端末装置2の制御部41は、ユーザの操作に応じて、生成した学習モデルを監視カメラ1に送信する(ステップS46)。
【0238】
端末装置2の制御部41は、ユーザから、ステップS46において生成された学習モデルについて追加学習指示があるか否かを判定する(ステップS47)。端末装置2の制御部41は、ユーザから、学習モデルの生成指示がないと判定した場合(S47の「No」)、処理を終了する。
【0239】
一方、端末装置2の制御部41は、ユーザから、生成された学習モデルについて追加学習を行う指示があったと判定した場合(S47の「Yes」)、さらにユーザから、ユーザによってマーキングされたデータによる学習モデルの追加学習を行うか否かを判定する(ステップS48)。
【0240】
端末装置2の制御部41は、ユーザから、ユーザによってマーキングされたデータを用いて学習モデルの追加学習を行う指示があったと判定した場合(S48の「Yes」)、再度同一の検知対象の事象に対するマーキング操作を受付ける(ステップS49)。なお、ここでマーキング操作されるデータは、ステップS42と異なってもよい。例えば、端末装置2は、ステップS42で検知対象の事象にマーキングするデータとして複数の静止画像のそれぞれの選択を受付けたが、ステップS48では所定の時間帯における音声データあるいは計測データであってもよい。
【0241】
一方、端末装置2の制御部41は、ユーザから、ユーザによってマーキングされたデータを用いて学習モデルの追加学習を行う指示がないと判定した場合(S48の「No」)、監視カメラ1の制御部14に生成された学習モデルの追加学習の指示を送信する。監視カメラ1の制御部14は、受信された追加学習の指示に従い、生成された学習モデルを用いて検知された検知対象の事象のデータ(映像データ、音声データあるいは複数のセンサのそれぞれ(例えば、温度センサ,振動センサ,人感センサ,PTZセンサなど)によって計測された時系列の計測データ)を用いて追加学習を行う。監視カメラ1の制御部14は、追加学習によって学習モデルを生成する(ステップS50)。
【0242】
端末装置2の制御部41は、ユーザから、検知対象の事象に対するマーキング操作を受付ける。例えば、端末装置2の制御部41は、
図22に示した枠55e,55g,55hによるマーキング操作を受付ける。端末装置2の制御部41は、ユーザがマーキングした所定の期間のデータ(つまり、時系列のデータ)を、記憶部46に記憶する(ステップS51)。
【0243】
端末装置2の制御部41は、記憶部46に記憶した所定の期間のデータ(つまり、時系列のデータ)と、機械学習アルゴリズムとにより、追加学習を実行した学習モデルを生成する(ステップS52)。
【0244】
端末装置2の制御部41は、ユーザの操作に応じて、生成した学習モデルを監視カメラ1に送信する(ステップS53)。
【0245】
また、監視カメラ1の制御部14は、追加学習によって生成された学習モデルを記憶部15に記憶する(ステップS54)。なお、この際、学習モデルは、追加学習によって生成された学習モデルによって上書きされ、記憶されてよい。
【0246】
以上により、第6の実施の形態に係る監視カメラ1は、1枚の画像による検知対象の事象の検知だけでなく、時系列のデータあるいは複数のデータのそれぞれを組み合わせて用いることで検知対象の事象(動き、変化など)を検知するように設定できる。つまり、第6の実施の形態に係る学習モデルは、複数の検知対象それぞれの選択と、選択された検知対象の事象(動き、変化など)とを同時に検知できる。例えば、
図20に示す「学習モデルA+学習モデルB+学習モデルC使用時」に、映像処理部13から出力される映像から、人、犬、猪を検知し、さらに検知対象の行動を検知対象の事象として設定できる。これにより、例えば
図20に示す例において、監視カメラ1は、人が「喧嘩しようとしている」と、犬が「走っている」、猪が「止まっている」ことを同時に検知できる。よって、ユーザは、検知したい検知対象と検知対象の事象とを同時に設定できる。
【0247】
図30は、監視カメラ1の動作例を示したフローチャートである。
【0248】
監視カメラ1のAI処理部17は、監視カメラ1の起動に伴って、検知対象の事象の検知動作を開始する(ステップS61)。例えば、監視カメラ1のAI処理部17は、端末装置2から送信された学習モデルに基づいたニューラルネットワークを形成し、検知対象の事象の検知動作を開始する。
【0249】
監視カメラ1は、映像を撮像するとともに、マイク20で音声を集音し、さらに備えられた各センサによって各計測を実行する。監視カメラ1は、撮像された映像データ、収音された音声データ、あるいは計測された複数の計測データのそれぞれを取得する(ステップS62)。
【0250】
監視カメラ1の制御部14は、ステップS62にて取得されたデータ(映像データ、収音された音声データ、あるいは計測された複数の計測データのそれぞれ)のうち、少なくとも1つの時系列のデータ、あるいは2つ以上のデータをAI処理部17に入力する(ステップS63)。なお、ここで入力されるデータの数が1つである場合には時系列のデータを、2つ以上の場合は時系列でなく、所定の時間におけるデータが入力されればよい。
【0251】
監視カメラ1のAI処理部17は、ステップS63にて入力されたデータに、検知対象の事象が含まれるか否かを判定する(ステップS64)。
【0252】
監視カメラ1の制御部14は、ステップS64にて、入力されたデータに検知対象の事象が含まれないと判定された場合(S64の「No」)、処理をステップS62に移行する。
【0253】
一方、監視カメラ1の制御部14は、ステップS14にて、入力されたデータに検知対象の事象が含まれると判定された場合(S64の「Yes」)、発報条件を満たすか否かを判定する(ステップS65)。
【0254】
発報条件には、例えば
図24に示すように「窓が割れる音」の検知がある。例えば、監視カメラ1の制御部14は、AI処理部17にて窓が割れる音(音声データ)あるいは窓が割れる映像(映像データ)などが検知されると、発報条件を満たしたと判定してもよい。
【0255】
また、発報条件には、例えば
図25に示すように「振動超過」の検知がある。例えば、監視カメラ1の制御部14は、AI処理部17にて所定の振動量あるいは振動時間を超える振動データ(計測データ)あるいは監視カメラ1の周囲が所定時間以上揺れる映像(映像データ)が検知されると、発報条件を満たしたと判定してもよい。
【0256】
また、発報条件には、例えば
図26に示すように「黒画故障」の検知がある。例えば、監視カメラ1の制御部14は、AI処理部17にて撮像された映像が所定時間以上に亘って黒画状態(つまり、映らない状態)であると検知されると、発報条件を満たしたと判定してもよい。
【0257】
また、発報条件には、例えば
図27に示すように「万引き」の行動検知がある。例えば、監視カメラ1の制御部14は、AI処理部17にて撮像された映像に映る人が商品をバッグあるいはリュックなどに入れた、あるいは特定の人の音声で万引きが発生したことを伝える音声が検知されると、発報条件を満たしたと判定してもよい。
【0258】
監視カメラ1の制御部14は、ステップS65にて、発報条件を満たさないと判定した場合(S66の「No」)、処理をステップS62に移行する。
【0259】
一方、監視カメラ1の制御部14は、ステップS65にて、発報条件を満たすと判定した場合(S65の「Yes」)、発報装置3を用いて、例えば、音等を発報し(ステップS66)、以降ステップS62~ステップS66の処理を繰り返す。
【0260】
以上により、第6の実施の形態に係る監視カメラ1は、生成された学習モデルM1に対して追加学習を実行、あるいは端末装置2から追加学習された学習モデルを取得することができる。これにより、監視カメラ1は、ユーザが検知したい検知対象の事象の検知精度を向上させることができる。
【0261】
以上により、第6の実施の形態に係る監視カメラ1は、人工知能を備える監視カメラ1であって、収音部と、検知対象の事象を教示するパラメータを受信する通信部18と、パラメータに基づいて人工知能を構築し、構築した人工知能を用いて、収音部が収音する音声から検知対象の事象を検知する処理部と、を備える。
【0262】
これにより、第6の実施の形態に係る監視カメラ1は、ユーザが検知したい検知対象の事象のうち、監視カメラにフレキシブルに設定可能な人工知能を構築できるとともに、収音部によって収音された音声のうち検知対象の事象を検知できる。
【0263】
以上により、第6の実施の形態に係る監視カメラ1は、人工知能を備える監視カメラ1であって、少なくとも1つのセンサと、検知対象の事象を教示するパラメータを受信する通信部18と、パラメータに基づいて人工知能を構築し、構築した人工知能を用いて、センサが計測する計測データから検知対象の事象を検知する処理部と、を備える。
【0264】
これにより、第6の実施の形態に係る監視カメラ1は、ユーザが検知したい検知対象の事象のうち、センサによって計測された計測データによって検知可能な検知対象の事象の検知について、を監視カメラにフレキシブルに設定可能な人工知能を構築できる。
【0265】
また、第6の実施の形態に係る監視カメラ1におけるパラメータは、収音部が収音した音声を用いて生成される。これにより、第6の実施の形態に係る監視カメラ1は、ユーザが検知したい検知対象の事象のうち、収音部によって収音された音声によって検知可能な検知対象の事象について検知できる。
【0266】
また、第6の実施の形態に係る監視カメラ1におけるパラメータは、センサが計測した計測データを用いて生成される。これにより、第6の実施の形態に係る監視カメラ1は、ユーザが検知したい検知対象の事象のうち、少なくとも1つのセンサによって計測された計測データによって検知可能な検知対象の事象について、検知構築できる。
【0267】
また、第6の実施の形態に係る監視カメラ1は、撮像部をさらに備え、処理部は、撮像部が撮像する映像から検知対象の事象を検知する。これにより、第6の実施の形態に係る監視カメラ1は、ユーザが検知したい検知対象の事象について、さらに映像を用いて検知できる。
【0268】
また、第6の実施の形態に係る監視カメラ1は、検知対象の事象の検知結果に基づいて、発報条件を満たすか否かを判定し、発報条件を満たす場合、発報音を発報装置3から出力させる制御部(例えばAI処理部17)、をさらに備える。これにより、第6の実施の形態に係る監視カメラ1は、ユーザによって設定された検知対象の事象が検知された場合、検知対象の事象の検知を通知する発報音を発報装置3から出力させることができる。
【0269】
また、第6の実施の形態に係る監視カメラ1は、検知対象の事象の検知結果に基づいて、発報条件を満たすか否かを判定し、発報条件を満たす場合、発報情報を端末装置2から出力させる制御部(例えばAI処理部17)、をさらに備える。これにより、第6の実施の形態に係る監視カメラ1は、ユーザによって設定された検知対象の事象が検知された場合、検知対象の事象の検知を通知する発報情報を端末装置2から出力させることができる。
【0270】
また、第6の実施の形態に係る監視カメラ1における通信部は、複数の異なるパラメータのそれぞれを受信し、処理部は、複数の異なるパラメータのうち、少なくとも2つの指定されたパラメータに基づいて人工知能を構築する。これにより、第6の実施の形態において構築される人工知能は、ユーザが検知したい検知対象の事象の発生を推定できるとともに、検知精度を向上できる。
【0271】
また、第6の実施の形態に係る監視カメラ1における通信部は、複数の異なるパラメータのそれぞれを受信し、処理部は、複数の異なるパラメータのそれぞれうち、指定された所定の時間帯におけるパラメータに基づいて人工知能を構築する。これにより、第6の実施の形態において構築される人工知能は、ユーザが検知したい検知対象の事象の発生を推定できるとともに、検知精度を向上できる。
【0272】
また、第6の実施の形態に係る監視カメラ1は、パラメータを記憶した外部記憶媒体31からパラメータを受信するインタフェース部、をさらに備える。これにより、第6の実施の形態に係る監視カメラ1は、他の監視カメラによって収集された映像データ、音声データあるいは計測データを活用して人工知能を構築できる。
【0273】
上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
【0274】
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、又は、LSI内部の回路セルの接続や設定を再構成可能なリコ
ンフィギュラブル・プロセッサを利用してもよい。
【0275】
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。また、各実施の形態は組み合わされてもよい。
【0276】
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0277】
本開示は、ユーザが検知したい検知対象を監視カメラにフレキシブルに設定できるAIを備える監視カメラおよび検知方法として有用である。
【符号の説明】
【0278】
1,91a,91b,91c,91d 監視カメラ
2,92 端末装置
3 発報装置
11 レンズ
12 撮像素子
13 映像処理部
14,41 制御部
15,46 記憶部
16 外部信号出力部
17 AI処理部
17a AI演算エンジン
17b 復号エンジン
17c 学習モデル記憶部
18 通信部
18a データ送信部
18b データ受信部
19 TOFセンサ
20 マイク
21 USBI/F部
22 外部記憶媒体I/F部
31 外部記憶媒体
42 表示部
43 入力部
44 通信部
45 I/F部
61,101 サーバ
62,103 ネットワーク
81,94 メールサーバ
93 レコーダ
95 LAN
102 ゲートウェイ
A1 構造物
U1 ユーザ
M1 学習モデル