ホーム > 特許ランキング > モビディウス リミテッド
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-05
(45)【発行日】2024-01-16
(54)【発明の名称】ニューラルネットワークを用いたビデオ監視
(51)【国際特許分類】
G06N 3/04 20230101AFI20240109BHJP
G06N 3/08 20230101ALI20240109BHJP
G06N 5/04 20230101ALI20240109BHJP
G06T 7/00 20170101ALI20240109BHJP
【ＦＩ】
G06N3/04
G06N3/08
G06N5/04
G06T7/00 350C
【請求項の数】
27
(21)【出願番号】P 2020572377
(86)(22)【出願日】2019-07-05
(65)【公表番号】
(43)【公表日】2021-10-28
(86)【国際出願番号】 EP2019068085
(87)【国際公開番号】W WO2020008025
(87)【国際公開日】2020-01-09
【審査請求日】2022-06-10
(31)【優先権主張番号】16/028,095
(32)【優先日】2018-07-05
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520132791
【氏名又は名称】モビディウス リミテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】モロニー、デイビッド
【審査官】真木 健彦
(56)【参考文献】
【文献】Ervin Teng，ClickBAIT: Click-based Accelerated Incremental Training of Convolutional Neural Networks ，Computer Vision and Pattern Recognition，arXiv，2017年09月15日，arXiv:1709.05021，全11ページ
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０４
Ｇ０６Ｎ ３／０８
Ｇ０６Ｎ ５／０４
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
ビデオ監視システムであって、オペレータラベル付与ビデオセグメントを格納するためのデータベースであって、前記オペレータラベル付与ビデオセグメントは、参照ビデオセグメントと、前記参照ビデオセグメントを記述する、対応する参照イベントラベルとを含む、データベースと、
ニューラルネットワークであって、
推論エンジンの第１インスタンスと、
前記データベースから取得された前記オペレータラベル付与ビデオセグメントの訓練セットに基づいて前記推論エンジンの前記第１インスタンスを訓練するための訓練エンジンであって、前記推論エンジンの前記第１インスタンスは、前記訓練セットに含まれる前記オペレータラベル付与ビデオセグメントからイベントを推論する、訓練エンジンと
を含むニューラルネットワークと、
モニタリング対象ビデオフィードからイベントを推論するための、第１モニタリングステーションにデプロイされるべき前記推論エンジンの第２インスタンスであって、前記推論エンジンの前記第２インスタンスは前記推論エンジンの前記第１インスタンスに基づく、前記推論エンジンの第２インスタンスと、
デプロイされた前記推論エンジンの前記第２インスタンスにより出力される、推論イベントのうちの第１推論イベントを、前記モニタリング対象ビデオフィードに関連付けられるオペレータ入力に基づき生成される対応するオペレータイベントラベルと比較して、更新訓練データを取得するコンパレータと、
を備え、
前記訓練エンジンは、少なくとも閾値量の前記更新訓練データが少なくとも１つのモニタリングステーションから取得されたとの判断に応じて、前記推論エンジンの前記第１インスタンスを再訓練し、前記少なくとも１つのモニタリングステーションは前記第１モニタリングステーションを含む、ビデオ監視システム。
【請求項2】
前記参照イベントラベルは、対応する前記参照ビデオセグメントが定義されたイベントを表現するかどうかを示す、請求項１に記載のビデオ監視システム。
【請求項3】
前記参照ビデオセグメントのうちの第１参照ビデオセグメントに対応する前記参照イベントラベルのうちの第１参照イベントラベルは、（ｉ）イベントの種類および（ｉｉ）前記参照ビデオセグメントのうちの前記第１参照ビデオセグメントが前記イベントの種類を表現するかどうかを示す、請求項１に記載のビデオ監視システム。
【請求項4】
前記第１モニタリングステーションは、前記モニタリング対象ビデオフィードのうちの第１モニタリング対象ビデオフィードを提示するためのディスプレイと、
前記モニタリング対象ビデオフィードのうちの前記第１モニタリング対象ビデオフィードのモニタリング対象ビデオセグメントに対応するオペレータの判断に基づいて、前記オペレータイベントラベルを生成するモニタリングインタフェースと
を含む、請求項１から３のいずれか一項に記載のビデオ監視システム。
【請求項5】
前記データベースは前記第１モニタリングステーションと通信して、前記モニタリング対象ビデオセグメントのうちの第１モニタリング対象ビデオセグメントと、前記第１モニタリング対象ビデオセグメントに対応する前記オペレータイベントラベルのうちの第１オペレータイベントラベルとを受信し、前記データベースは、前記第１モニタリング対象ビデオセグメントと、対応する前記第１オペレータイベントラベルとを、前記オペレータラベル付与ビデオセグメントのうちの第１オペレータラベル付与ビデオセグメントに含まれる第１参照ビデオセグメント、および、対応する第１参照イベントラベルとして格納する、請求項４に記載のビデオ監視システム。
【請求項6】
前記第１モニタリングステーションは更に、前記推論エンジンの前記第２インスタンスを実装する、請求項５に記載のビデオ監視システム。
【請求項7】
前記コンパレータは、前記第１モニタリングステーションにおいて、前記更新訓練データを取得するために動作する、請求項６に記載のビデオ監視システム。
【請求項8】
ビデオ監視システムであって、
オペレータラベル付与ビデオセグメントを格納するためのデータベースであって、前記オペレータラベル付与ビデオセグメントは、参照ビデオセグメントと、前記参照ビデオセグメントを記述する、対応する参照イベントラベルとを含む、データベースと、
ニューラルネットワークであって、
推論エンジンの第１インスタンスと、
前記データベースから取得された前記オペレータラベル付与ビデオセグメントの訓練セットに基づいて前記推論エンジンの前記第１インスタンスを訓練するための訓練エンジンであって、前記推論エンジンの前記第１インスタンスは、前記訓練セットに含まれる前記オペレータラベル付与ビデオセグメントからイベントを推論する、訓練エンジンと
を含むニューラルネットワークと、
モニタリング対象ビデオフィードからイベントを推論するための、第１モニタリングステーションにデプロイされるべき前記推論エンジンの第２インスタンスであって、前記推論エンジンの前記第２インスタンスは前記推論エンジンの前記第１インスタンスに基づく、前記推論エンジンの第２インスタンスと、
前記モニタリング対象ビデオフィードのうちのモニタリング対象ビデオセグメントについて、前記推論エンジンの前記第２インスタンスにより出力された推論されたイベントと、前記モニタリング対象ビデオセグメントについてのオペレータ入力に基づく対応するオペレータイベントラベルとを比較するコンパレータとを備え、
前記コンパレータは、前記比較に基づき更新訓練データを取得する、ビデオ監視システム。
【請求項9】
前記訓練エンジンは、少なくとも閾値量の前記更新訓練データが少なくとも１つのモニタリングステーションから取得されたとの判断に応じて、前記推論エンジンの前記第１インスタンスを再訓練し、前記少なくとも１つのモニタリングステーションは前記第１モニタリングステーションを含む、請求項８に記載のビデオ監視システム。
【請求項10】
前記ニューラルネットワークは、前記第１モニタリングステーションと通信して前記更新訓練データを受信し、前記訓練エンジンは、前記更新訓練データに基づいて前記推論エンジンの前記第１インスタンスを再訓練する、請求項７から９のいずれか一項に記載のビデオ監視システム。
【請求項11】
ビデオ監視を実行するための装置であって、前記装置は、オペレータラベル付与ビデオセグメントを取得するための手段であって、前記オペレータラベル付与ビデオセグメントは、参照ビデオセグメント、および、前記参照ビデオセグメントを記述する、対応する参照イベントラベルを含む、手段と、
前記オペレータラベル付与ビデオセグメントの訓練セットに基づいて、推論エンジンの第１インスタンスを訓練するための手段であって、前記推論エンジンの前記第１インスタンスは、前記訓練セットに含まれる前記オペレータラベル付与ビデオセグメントからイベントを推論する、手段と、
前記推論エンジンの第２インスタンスを第１モニタリングステーションにデプロイするための手段であって、前記推論エンジンの前記第２インスタンスは、モニタリング対象ビデオフィードからイベントを推論し、前記推論エンジンの前記第２インスタンスは、前記推論エンジンの前記第１インスタンスに基づく、手段と、
前記第１モニタリングステーションから、前記推論エンジンの前記第１インスタンスを再訓練するための更新訓練データを取得するための手段であって、前記更新訓練データは、デプロイされた前記推論エンジンの前記第２インスタンスにより出力された推論イベントのうちの第１推論イベントと、前記モニタリング対象ビデオフィードに関連付けられるオペレータ入力に基づき生成される対応するオペレータイベントラベルとの比較に基づいている、手段と、を備え、
訓練するための前記手段は、少なくとも閾値量の前記更新訓練データが少なくとも１つのモニタリングステーションから取得されたとの判断に応じて、前記推論エンジンの前記第１インスタンスを再訓練し、前記少なくとも１つのモニタリングステーションは前記第１モニタリングステーションを含む、
装置。
【請求項12】
ビデオ監視を実行するための装置であって、前記装置は、
オペレータラベル付与ビデオセグメントを取得するための手段であって、前記オペレータラベル付与ビデオセグメントは、参照ビデオセグメント、および、前記参照ビデオセグメントを記述する、対応する参照イベントラベルを含む、手段と、
前記オペレータラベル付与ビデオセグメントの訓練セットに基づいて、推論エンジンの第１インスタンスを訓練するための手段であって、前記推論エンジンの前記第１インスタンスは、前記訓練セットに含まれる前記オペレータラベル付与ビデオセグメントからイベントを推論する、手段と、
モニタリング対象ビデオフィードからイベントを推論する前記推論エンジンの第２インスタンスを第１モニタリングステーションにデプロイするための手段であって、前記推論エンジンの前記第２インスタンスは、前記推論エンジンの前記第１インスタンスに基づく、手段と、
（ｉ）前記モニタリング対象ビデオフィードのセグメントについて、前記推論エンジンの前記第２インスタンスによって出力された、推論されたイベントと、（ｉｉ）前記モニタリング対象ビデオフィードの前記セグメントについて検出された、オペレータの判断に基づく対応するオペレータイベントラベルとを比較する手段とを備え、
前記比較する手段は、前記比較に基づき更新訓練データを取得する、装置。
【請求項13】
前記参照イベントラベルは、対応する前記参照ビデオセグメントが定義されたイベントを表現するかどうかを示す、請求項１１または１２に記載の装置。
【請求項14】
前記参照ビデオセグメントのうちの第１参照ビデオセグメントに対応する前記参照イベントラベルのうちの第１参照イベントラベルは、（ｉ）イベントの種類および（ｉｉ）前記第１参照ビデオセグメントが前記イベントの種類を表現するかどうかを示す、請求項１１から１３のいずれか一項に記載の装置。
【請求項15】
前記オペレータラベル付与ビデオセグメントを取得するための前記手段は、前記参照ビデオセグメントのうちの第１参照ビデオセグメントと、前記参照イベントラベルのうちの対応する第１参照イベントラベルとを前記第１モニタリングステーションから取得するためのものである、請求項１１から１４のいずれか一項に記載の装置。
【請求項16】
前記推論エンジンの前記第２インスタンスをデプロイするための前記手段は、前記推論エンジンの前記第２インスタンスを前記第１モニタリングステーションにデプロイするためのものである、請求項１５に記載の装置。
【請求項17】
前記推論エンジンの前記第２インスタンスが前記第１モニタリングステーションに最初にデプロイされるとき、前記推論エンジンの前記第２インスタンスは、前記推論エンジンの前記第１インスタンスの複製である、請求項１６に記載の装置。
【請求項18】
前記推論エンジンの前記第１インスタンスを訓練するための前記手段は更に、前記更新訓練データに基づいて前記推論エンジンの前記第１インスタンスを再訓練する、請求項１２に記載の装置。
【請求項19】
ビデオ監視方法であって、少なくとも１つのプロセッサを用いて、オペレータラベル付与ビデオセグメントの訓練セットに基づいて、推論エンジンの第１インスタンスを訓練する段階であって、前記オペレータラベル付与ビデオセグメントは、参照ビデオセグメント、および、前記参照ビデオセグメントを記述する、対応する参照イベントラベルを含み、前記推論エンジンの前記第１インスタンスは、前記訓練セットに含まれる前記オペレータラベル付与ビデオセグメントからイベントを推論する、段階と、
前記少なくとも１つのプロセッサを用いて、前記推論エンジンの第２インスタンスを第１モニタリングステーションにデプロイする段階であって、前記推論エンジンの前記第２インスタンスはモニタリング対象ビデオフィードからイベントを推論し、前記推論エンジンの前記第２インスタンスは前記推論エンジンの前記第１インスタンスに基づく、段階と、
前記少なくとも１つのプロセッサを用いて、少なくとも閾値量の更新訓練データが、前記第１モニタリングステーションを含む少なくとも１つのモニタリングステーションから取得されたと判断することに応じて、前記推論エンジンの前記第１インスタンスを再訓練する段階であって、前記更新訓練データは、デプロイされた前記推論エンジンの前記第２インスタンスにより出力された推論イベントのうちの第１推論イベントと、前記モニタリング対象ビデオフィードに関連付けられるオペレータ入力に基づき生成される対応するオペレータイベントラベルとの比較に基づく、段階と、を備える方法。
【請求項20】
ビデオ監視方法であって、
少なくとも１つのプロセッサを用いて、オペレータラベル付与ビデオセグメントの訓練セットに基づいて、推論エンジンの第１インスタンスを訓練する段階であって、前記オペレータラベル付与ビデオセグメントは、参照ビデオセグメント、および、前記参照ビデオセグメントを記述する、対応する参照イベントラベルを含み、前記推論エンジンの前記第１インスタンスは、前記訓練セットに含まれる前記オペレータラベル付与ビデオセグメントからイベントを推論する、段階と、
前記少なくとも１つのプロセッサを用いて、前記推論エンジンの第２インスタンスを第１モニタリングステーションにデプロイする段階であって、前記推論エンジンの前記第２インスタンスはモニタリング対象ビデオフィードからイベントを推論し、前記推論エンジンの前記第２インスタンスは前記推論エンジンの前記第１インスタンスに基づく、段階と、
前記少なくとも１つのプロセッサを用いて、コンパレータにより、（ｉ）前記モニタリング対象ビデオフィードのセグメントについて、前記推論エンジンの前記第２インスタンスによって出力された、推論されたイベントと、（ｉｉ）前記モニタリング対象ビデオフィードの前記セグメントについて検出された、オペレータの判断に基づく対応するオペレータイベントラベルとを比較することによって更新訓練データを取得する段階とを備える、方法。
【請求項21】
前記参照イベントラベルは、対応する前記参照ビデオセグメントが定義されたイベントを表現するかどうかを示す、請求項１９または２０に記載の方法。
【請求項22】
前記参照ビデオセグメントのうちの第１参照ビデオセグメントに対応する前記参照イベントラベルのうちの第１参照イベントラベルは、（ｉ）イベントの種類および（ｉｉ）前記第１参照ビデオセグメントが前記イベントの種類を表現するかどうかを示す、請求項１９または２０に記載の方法。
【請求項23】
前記参照ビデオセグメントのうちの第１参照ビデオセグメントと、前記参照イベントラベルのうちの対応する第１参照イベントラベルとを前記第１モニタリングステーションから取得する段階を更に備える、請求項１９から２２のいずれか一項に記載の方法。
【請求項24】
前記推論エンジンの前記第２インスタンスをデプロイする前記段階は、前記推論エンジンの前記第２インスタンスを前記第１モニタリングステーションにデプロイする段階を含む、請求項２３に記載の方法。
【請求項25】
前記推論エンジンの前記第２インスタンスが前記第１モニタリングステーションに最初にデプロイされるとき、前記推論エンジンの前記第２インスタンスは、前記推論エンジンの前記第１インスタンスの複製である、請求項２４に記載の方法。
【請求項26】
前記推論エンジンの前記第１インスタンスを訓練する前記段階は更に、前記更新訓練データに基づいて前記推論エンジンの前記第１インスタンスを再訓練する段階を含む、請求項２０に記載の方法。
【請求項27】
請求項１９から２６のいずれか一項に記載の方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は概して、ビデオ監視に関し、より具体的には、ニューラルネットワークを用いたビデオ監視に関する。
【背景技術】
【0002】
従来、ビデオ監視システムは、大企業、官公庁、教育機関などの大きい組織によって、セキュリティモニタリングのために使用されてきた。当該ビデオ監視システムは典型的には、モニタリングされるエリアを網羅するためにビデオカメラを採用し、ビデオフィードをセキュリティオフィスなどの中央モニタリング施設に返す。中央モニタリング施設は典型的には、モニタリング対象ビデオフィードおよび関心のあるフラグイベントを見る１または複数の人間のオペレータが配置された１または複数のモニタリングステーションを含む。いくつかの例において、モニタリングステーションによって、人間のオペレータは、関心のあるイベントのログを記録し、アラームを発動する、第１対応者などに連絡するなど、適切な是正措置を講じることが可能となる。
【0003】
より近年において、ビデオ監視カメラの費用が減少するにつれて、他の状況におけるビデオ監視システムの使用が増加した。例えば、ビデオ監視システムによるモニタリングが装備された家、小企業、公園、共用エリアなどがよく見られるようになった。例えば、そのようなビデオ監視システムは、低費用のカメラおよび／または任意の他のイメージングセンサを利用して、関心のあるエリアをモニタリングし得る。これらのカメラは多くの場合、カメラがネットワークに接続されることを可能にするネットワークインタフェースを含む。これにより、カメラは、それぞれのビデオフィードを１または複数のリモートモニタリング施設へ送信することが可能になる。これらのリモートモニタリング施設も、モニタリング対象ビデオフィード、関心のあるフラグイベントを見て、関心のあるイベントに応答して適切な措置を講じる人間のオペレータが配置されたモニタリングステーションを利用する。
【図面の簡単な説明】
【0004】
【図1】例のビデオ監視システムのブロック図である。
【0005】
【図2】本開示の教示によるビデオ監視をサポートするように構築された訓練可能ニューラルネットワークを含む第１の例のビデオ監視システムのブロック図である。
【0006】
【図3】本開示の教示によるビデオ監視をサポートするように構築された訓練可能ニューラルネットワークおよび訓練された推論エンジンを含む第２の例のビデオ監視システムのブロック図である。
【0007】
【図4】本開示の教示によるビデオ監視をサポートするように構築された訓練可能ニューラルネットワークおよび訓練された推論エンジンを含む第３の例のビデオ監視システムのブロック図である。
【0008】
【0009】
【0010】
【0011】
【0012】
図は縮尺通りではない。可能な限り、同じまたは同様の部分、要素などを指すために、同じ参照番号が図面および添付の書面の記述を通じて使用される。
【発明を実施するための形態】
【0013】
ニューラルネットワークを用いたビデオ監視を実装するための例の方法、装置、システムおよび製品（例えば、物理的記憶媒体）が本明細書に開示される。本明細書において開示される例のビデオ監視システムは、オペレータラベル付与ビデオセグメントを（例えば、オペレータラベル付与ビデオセグメントのレコードとして）格納するためのデータベースを含む。オペレータラベル付与ビデオセグメントは、参照ビデオセグメント、および、参照ビデオセグメントを記述する、対応する参照イベントラベルを含む。開示される例のビデオ監視システムはまた、推論エンジンの第１インスタンス、および、データベースから取得されるオペレータラベル付与ビデオセグメントの訓練セットに基づいて推論エンジンの第１インスタンスを訓練するための訓練エンジンを含むニューラルネットワークを含む。開示される例において、推論エンジンの第１インスタンスは、訓練セットに含まれる、オペレータラベル付与ビデオセグメントからイベントを推論する。開示される例のビデオ監視システムは更に、モニタリング対象ビデオフィードからイベントを推論するための推論エンジンの第２インスタンスを含み、推論エンジンの第２インスタンスは、推論エンジンの第１インスタンス（例えば、最初はその複製）に基づく。
【0014】
いくつかの開示される例において、参照イベントラベルは、対応する参照ビデオセグメントが定義されたイベントを表現するかどうかを示す。
【0015】
いくつかの開示される例において、参照ビデオセグメントのうちの第１参照ビデオセグメントに対応する参照イベントラベルのうちの第１参照イベントラベルは、（ｉ）イベントの種類および（ｉｉ）参照ビデオセグメントのうちの第１参照ビデオセグメントがイベントの種類を表現するかどうかを示す。
【0016】
いくつかの開示される例のビデオ監視システムはモニタリングステーションを含む。いくつかの開示される例において、モニタリングステーションは、モニタリング対象ビデオフィードのうちの第１モニタリング対象ビデオフィードを提示するためのディスプレイと、モニタリング対象ビデオフィードのうちの第１モニタリング対象ビデオフィードのモニタリング対象ビデオセグメントに対応するオペレータの判断に基づいてオペレータイベントラベルを生成するためのモニタリングインタフェースとを含む。
【0017】
いくつかのそのような開示される例において、データベースはモニタリングステーションと通信して、モニタリング対象ビデオセグメントのうちの第１モニタリング対象ビデオセグメントと、モニタリング対象ビデオセグメントのうちの第１モニタリング対象ビデオセグメントに対応するオペレータイベントラベルのうちの第１オペレータイベントラベルを受信する。いくつかのそのような例において、データベースは、モニタリング対象ビデオセグメントのうちの第１モニタリング対象ビデオセグメントと、オペレータイベントラベルのうちの対応する第１オペレータイベントラベルとを、オペレータラベル付与ビデオセグメントのうちの第１オペレータラベル付与ビデオセグメントに含まれる参照ビデオセグメントのうちの第１参照ビデオセグメント、および、参照イベントラベルのうちの対応する第１参照イベントラベルとして格納する。
【0018】
追加的に、または代替的に、いくつかのそのような開示される例において、モニタリングステーションは更に、推論エンジンの第２インスタンスを実装する。例えば、推論エンジンの第２インスタンスは、モニタリングステーションのディスプレイによって提示されたモニタリング対象ビデオフィードのうちの第１モニタリング対象ビデオフィードのモニタリング対象ビデオセグメントのうちの第２モニタリング対象ビデオセグメントについて、推論されたイベントを出力できる。いくつかのそのような例において、モニタリングステーションのモニタリングインタフェースは、モニタリング対象ビデオセグメントのうちの第２モニタリング対象ビデオセグメントについて検出されたオペレータの判断からオペレータイベントラベルのうちの第２オペレータイベントラベルを生成する。いくつかのそのような例において、モニタリングステーションは更に、推論されたイベントと、オペレータイベントラベルのうちの第２オペレータイベントラベルとを比較して、更新訓練データを取得するためのコンパレータを含む。いくつかの開示される例において、ニューラルネットワークは、モニタリングステーションと通信して、更新訓練データを受信し、ニューラルネットワークの訓練エンジンは、更新訓練データに基づいて推論エンジンの第１インスタンスを再訓練するためのものである。
【0019】
ニューラルネットワークを用いたビデオ監視を実装するための、これら、および、他の例の方法、装置、システムおよび製品（例えば物理的記憶媒体）は、以下においてより詳細に開示される。
【0020】
ビデオ監視システムは一般に、大企業、官公庁、教育機関などの大きい組織によって、セキュリティモニタリングのために使用される。より近年において、ビデオ監視カメラの費用が減少するにつれて、他の状況におけるビデオ監視システムの使用が増加した。例えば、ビデオ監視システムによるモニタリングが装備された家、小企業、公園、共用エリアなどがよく見られるようになった。そのような新しいビデオ監視システムは、インターネットなどのネットワークに接続可能な低費用のカメラおよび／または任意の他のイメージングセンサ、インターネットおよび／または他のネットワークを介してアクセス可能な１または複数のクラウドサービスなどを利用し得る。そのようなネットワークアクセスにより、カメラおよび／または他のイメージングセンサは、１または複数の遠隔配置されたモニタリング施設へそれぞれのビデオフィードを送信することが可能となる。これらのリモートモニタリング施設は典型的には、モニタリング対象ビデオフィード、関心のあるフラグイベントを見て、関心のあるイベントに応答して適切な措置を講じる人間のオペレータが配置されたモニタリングステーションを利用する。ビデオ監視カメラ／センサおよび関連するネットワーク技術の費用が減少し続けるにつれて、ビデオ監視の使用が場合によっては指数関数的に増加し続けることが予想される。しかしながら、人間のオペレータが配置されたモニタリングステーションを利用することにより、ビデオ監視システムによって生成されるビデオフィードをモニタリングすることは、ビデオ監視の拡張可能性を制限し、イベントが検出される精度に影響し得る。特に、モニタリングされるべきビデオフィードの数によって人間のオペレータに過剰な負担がかかっている場合は、それが顕著である。
【0021】
本明細書において開示されるニューラルネットワークを用いて実装されるビデオ監視システムは、ビデオフィードモニタリングのために人間のオペレータを利用する従来のビデオ監視システムに関連する拡張可能性および精度の問題に対する技術的解決法を提供する。本明細書において開示される例のビデオ監視システムは、モニタリング対象ビデオフィードにおけるイベントを検出または推論するように訓練される推論エンジンを有するニューラルネットワークを含む。以下で更に詳細に開示されるように、ニューラルネットワークは、人間のオペレータによる判断に基づいて決定された参照イベントラベルを有する参照ビデオセグメントの訓練セットを使用して訓練される。例えば、参照イベントラベルは、対応する参照ビデオセグメントが、定義されたイベント（例えば、セキュリティ違反、人間の存在、荷物の到着、任意の指定された／予め決定されたイベントなど）を表現するかどうかを記述できる。いくつかの例において、参照イベントラベルはまた、関心のあるイベントの種類（例えば、セキュリティ違反、人間の存在、荷物の到着など）の説明と、対応する参照ビデオセグメントが、記述されたイベントを表現するかどうかのインジケーションとを含むことができる。
【0022】
以下で更に詳細に説明されるように、いくつかの開示される例のビデオ監視システムは、訓練された推論エンジンのインスタンスを１または複数のモニタリング位置にデプロイし、それぞれのモニタリング対象ビデオフィードからイベントを推論する。例えば、訓練された推論エンジンは、１または複数の訓練されたイベント（例えば、セキュリティ違反、人間の存在、荷物の到着など）が、モニタリングする対応ビデオフィードにおいて表示されているかどうかを推論するように（例えば、並列に、非同期的に、協同的に、など）動作し得る。いくつかのそのような例において、訓練された推論エンジンは、人間のオペレータが配置されたモニタリングステーションによる実行のために、または、それと連携した動作のためにデプロイされ得、それにより、人間のオペレータによって実行されるモニタリングを拡張する。いくつかのそのような例において、有人モニタリングステーションと連携して動作する、訓練された推論エンジンによって出力される推論イベントは、推論エンジンの動作を改善するために使用できる更新訓練データを決定するために人間のオペレータによって下された対応する判断と比較することができる。例えば、ビデオ監視システムにおけるニューラルネットワークは、更新訓練データを受信し、その推論エンジンを再訓練し、次に、再訓練された推論エンジンのインスタンスを１または複数のモニタリング位置に再デプロイできる。いくつかの例において、訓練／再訓練された推論エンジンのインスタンスは、無人モニタリング位置にデプロイでき、または、有人の場所に更なる能力を提供するためにデプロイでき、それにより、ビデオ監視システムの能力が需要の増大に合わせて容易にスケーリングすることを可能にする。本明細書に開示されるニューラルネットワークを用いたビデオ監視のこれら、および、他の態様は、以下において更に詳細に説明される。
【0023】
図を参照すると、例のビデオ監視システム１００のブロック図が図１に示される。図１の例のビデオ監視システム１００は、例のイメージングセンサ１０５Ａ－Ｄ、例のネットワーク１１０、および例のモニタリングステーション１１５Ａ－Ｂを含む。図１の図示した例において、イメージングセンサ１０５Ａ－Ｄは、これらに限定されないが、１または複数の営利企業、小企業、官公庁、教育機関、家、公園、共用エリアなど、および／または、これらの任意の組み合わせにおけるエリアなど、関心のあるエリアをモニタリングするよう構成される。例のイメージングセンサ１０５Ａ－Ｄは、任意の数、種類、および／または組み合わせのイメージングセンサを含むことができる。例えば、イメージングセンサ１０５Ａ－Ｄは、１または複数のビデオカメラ、スマートフォン、フォトダイオード、光検出器などにより実装できる。
【0024】
図１の例のビデオ監視システム１００において、イメージングセンサ１０５Ａ－Ｄは、例のネットワーク１１０と通信可能なネットワークインタフェースを含む。例のネットワーク１１０は、任意の数、種類、および／または組み合わせのネットワークによって実装できる。例えば、ネットワーク１１０は、インターネット、および／または、インターネットを介してアクセス可能な１または複数のクラウドサービスによって実装できる。いくつかの例において、イメージングセンサ１０５Ａ－Ｄは、１または複数の無線アクセスポイント（例えば、セルラアクセスポイント／基地局、無線ローカルエリアネットワークアクセスポイント、Ｂｌｕｅｔｏｏｔｈ（登録商標）アクセスポイントなど）、有線アクセスポイント（例えば、イーサネット（登録商標）アクセスポイント、ケーブル通信リンクなど）、またはそれらの任意の組み合わせを介してネットワーク１１０にアクセス可能なネットワークインタフェースを含む。
【0025】
図１の例のビデオ監視システム１００において、イメージングセンサ１０５Ａ－Ｄは、ネットワーク１１０と通信可能なネットワークインタフェースをそれぞれ含むモニタリングステーション１１５Ａ－Ｂへそれぞれのビデオフィードを送信する。このように、モニタリングステーション１１５Ａ－Ｂは、ネットワーク１１０を介してイメージングセンサ１０５Ａ－Ｄと通信する。「通信」という語句（その変形を含む）は、本明細書において使用される場合、１または複数の仲介コンポーネントを通じた直接通信および／または間接通信を包含し、直接の物理的（例えば有線）通信および／または定常的通信を必要とするものではなく、周期的または非周期的な間隔、および、１回のイベントの選択可能な通信を追加的に含む。
【0026】
図示した例のモニタリングステーション１１５Ａ－Ｂは、モニタリング対象ビデオフィードを提示すること、および、モニタリング対象ビデオフィードに関するユーザ入力を受け付けることが可能な任意のシステム／デバイスによって実装できる。例えば、モニタリングステーション１１５Ａ－Ｂは、１または複数のコンピュータ、ワークステーション、スマートフォン、タブレットコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）など任意の数、種類、および／または組み合わせのコンピューティングシステム／デバイスによって実装できる。いくつかの例において、モニタリングステーション１１５Ａ－Ｂは、以下において更に詳細に説明される、図９に示される例のプロセッサプラットフォーム９００などのプロセッサプラットフォームによって実装される。
【0027】
図１に図示した例において、モニタリングステーション１１５Ａ－Ｂは、例のそれぞれのディスプレイ１２０Ａ－Ｂと、例のそれぞれのモニタリングインタフェース１２５Ａ－Ｂとを含むことにより、イメージングセンサ１０５Ａ－Ｄによって報告されるビデオフィードが人間のオペレータ１３０Ａ－Ｂによってモニタリングされることを可能にする。図示した例において、モニタリングステーション１１５Ａ－Ｂのそれぞれのディスプレイ１２０Ａ－Ｂは、イメージングセンサ１０５Ａ－Ｄによって報告される１または複数のビデオフィードを提示するよう構成される。例えば、ディスプレイ１２０Ａ－Ｂは、１つのビデオフィードを提示すること、複数のビデオフィードを１回に１つずつ提示することを繰り返すこと、複数のビデオフィードをタイル方式で同時に提示することなどができる。
【0028】
モニタリングステーション１１５Ａ－Ｂのそれぞれのモニタリングインタフェース１２５Ａ－Ｂは、ディスプレイ１２０Ａ－Ｂによって提示されるビデオフィードにイベントが表現されるかどうかに関して人間のオペレータ１３０Ａ－Ｂによって下された判断が反映された人間のオペレータ１３０Ａ－Ｂからの入力を受け付けるよう構成される。例えば、モニタリングインタフェース１２５Ａ－Ｂは、入力ボタンまたはキー（図１において「Ｙ」および「Ｎ」というラベルが付される）を含むことができ、これにより、モニタリング対象ビデオフィードのビデオセグメントが関心のあるイベントを表現する、または、そうでなければ表示するかどうかを人間のオペレータ１３０Ａ－Ｂが示すことを可能にする（例えば、「Ｙ」は関心のあるイベントが表現され／表示されることを示し、「Ｎ」は関心のあるイベントが表現されない／表示されないことを示す）。例えば、人間のオペレータ１３０Ａ－Ｂは、これらに限定されないが、セキュリティ違反、人間の存在、荷物の到着など、関心のあるイベントを検出するように訓練され得る。いくつかのそのような例において、モニタリングインタフェース１２５Ａ－Ｂの「Ｙ」および「Ｎ」の入力は、関心のあるイベントが、モニタリング対象ビデオフィードのビデオセグメントに表現される、または、そうでなければ、表示されるかどうかを示すために人間のオペレータ１３０Ａ－Ｂが使用できる。いくつかの例において、モニタリングインタフェース１２５Ａ－Ｂは、イベントの種類の記述を人間のオペレータ１３０Ａ－Ｂが入力することを可能にすることにより、より高い柔軟性を提供するための入力／出力機能（図１において「Ｉ／Ｏ」のラベルが付される）を更に含むことができる。そのような例において、人間のオペレータ１３０Ａ－Ｂは、関心のある１または複数のイベントだけのモニタリングに制限されず、任意の種類の関心のあるイベントの記述を入力できる。このように、この追加機能は、関心のあるイベントが経時的に変化することを可能にする。いくつかの例において、人間のオペレータ１３０Ａ－Ｂは、「Ｉ／Ｏ」インタフェースを使用して、モニタリング対象ビデオフィードの特定のビデオセグメントにおいてモニタリングされるイベントの種類の記述を入力でき、「Ｙ」および「Ｎ」入力を使用して、モニタリング対象ビデオセグメントにおいてそのイベントが実際に表現されている、またはそうでなければ表示されているかどうかを示すことができる。
【0029】
図１の例のビデオ監視システム１００は、４つのイメージングセンサ１０５Ａ－Ｄ、１つのネットワーク１１０、および、２つのモニタリングステーション１１５Ａ－Ｂを含むように示されるが、ビデオ監視システム１００はこれに限定されない。むしろ、例のビデオ監視システム１００は、任意の数のイメージングセンサ１０５Ａ－Ｄ、任意の数のネットワーク１１０、および、任意の数のモニタリングステーション１１５Ａ－Ｂを含むことができる。
【0030】
本開示の教示による、ニューラルネットワークを用いてビデオ監視を実装する第１の例のビデオ監視システム２００のブロック図が図２に示される。図２の例のビデオ監視システム２００は、図１のビデオ監視システム１００の例のイメージングセンサ１０５Ａ－Ｄ、例のネットワーク１１０、および、例のモニタリングステーション１１５Ａ－Ｂを含む。そのようにして、ビデオ監視システム２００のこれらの要素の態様が、図１の説明に関連して上述されている。
【0031】
図２の例のビデオ監視システム２００はまた、本開示の教示にしたがって実装される例のニューラルネットワーク２０５、および、例のデータベース２１０を含む。例のデータベース２１０は、例のネットワーク１１０と通信可能な１または複数のネットワークインタフェースを含む。図２の図示した例において、データベース２１０は、ネットワーク１１０を介してモニタリングステーション１１５Ａ－Ｂと通信し、ビデオセグメントを記述する、対応するイベントラベルを有するビデオセグメントをモニタリングステーション１１５Ａ－Ｂから受信する。モニタリングステーション１１５Ａ－Ｂから受信されるビデオセグメントは、モニタリングされるビデオフィードから得られる。イベントラベルは、人間のオペレータ１３０Ａ－Ｂによって入力された判断情報に基づいて、対応するビデオセグメントが、関心のあるイベントを表現する、または、そうでなければ表示するかどうかを示す。いくつかの例において、対応するビデオセグメントのイベントラベルは、定義されたイベントをビデオセグメントが表現する、または、そうでなければ表示するかどうかを示す。いくつかの例において、対応するビデオセグメントについてのイベントラベルは、イベントの種類の記述を含み、または、そうでなければ示し、また、ビデオセグメントがイベントの種類を表現する、または、そうでなければ表示するかどうかを示す。
【0032】
図示した例において、データベース２１０は、モニタリングステーション１１５Ａ－Ｂから受信された対応するイベントラベルを有するビデオセグメントを、ニューラルネットワーク２０５を訓練するために使用される、オペレータラベル付与ビデオセグメントとして扱う。例えば、データベース２１０は、モニタリングステーション１１５Ａ－Ｂから受信されたビデオセグメントを、オペレータラベル付与ビデオセグメントの例の参照ビデオセグメント２１５として扱い、モニタリングステーション１１５Ａ－Ｂから受信された対応するイベントラベルを、オペレータラベル付与ビデオセグメントの参照ビデオセグメント２１５に対応する参照イベントラベル２１８として扱う。更に、データベース２１０は、参照ビデオセグメント２１５と、レコード２２０によって表示される、オペレータラベル付与ビデオセグメントの対応する参照イベントラベル２１８とを含む、オペレータラベル付与ビデオセグメントの例のレコード２２０を生成する。そのようにして、オペレータラベル付与ビデオセグメントの各レコード２２０は、そのレコード２２０によって表示される、オペレータラベル付与ビデオセグメントについての参照ビデオセグメント２１５および対応する参照イベントラベル２１８を含む。したがって、いくつかの例において、データベース２１０は、オペレータラベル付与ビデオセグメントを取得するための手段を実装し、ここで、オペレータラベル付与ビデオセグメントは、参照ビデオセグメントと、参照ビデオセグメントを記述する、対応する参照イベントラベルとを含む。オペレータラベル付与ビデオセグメントを取得するための他の手段は、これらに限定されないが、ビデオセグメントを記述する、対応するイベントラベルを有するビデオセグメントを収集して組み合わせて、オペレータラベル付与ビデオセグメントを形成するように構築された、コンピューティングデバイス、サーバ、クラウドベースのサービス、ウェブサイトなどを含み得る。
【0033】
図示した例のデータベース２１０はまた、ビデオセグメントからデータベース２１０によって作成された、オペレータラベル付与ビデオセグメントと、モニタリングステーション１１５Ａ－Ｂから受信された対応するイベントラベルとのレコード２２０を格納するための例のレコードストレージ２２５を含む。図示した例のデータベース２１０のレコードストレージ２２５は、任意の数および／または種類のストレージ技術、メモリ技術などによって実装できる。例えば、データベース２１０は、以下で更に詳細に説明される、図１０に示される例のプロセッサプラットフォーム１０００など、任意のコンピューティングシステム／デバイスによって実装できる。そのような例において、レコードストレージ２２５は、例のプロセッサプラットフォーム１０００の例の大容量ストレージデバイス１０２８および／または揮発性メモリ１０１４のうち１または複数によって実装され得る。
【0034】
図示した例のニューラルネットワーク２０５は、イメージングセンサ１０５Ａ－Ｄから取得されたモニタリング対象ビデオフィードからのビデオセグメントなどのビデオセグメントからイベントを推論するための例の推論エンジン２３０を含む。図示した例において、推論エンジン２３０は、ビデオセグメントからイベントを推論するように訓練される、１または複数の重み層（ニューロンとも称される）を含む畳み込みニューラルネットワーク（ＣＮＮ）推論エンジンによって実装される。例えば、推論エンジン２３０は、１または複数の入力ビデオセグメント２３５を入力データとして受け付けるための入力層と、入力データを処理するための１または複数の隠れ層と、所与の入力ビデオセグメント２３５が、推論エンジン２３０が検出するように訓練された１または複数のイベントを表現またはそうでなければ表示するかどうかを示す１または複数の出力を提供するための出力層とを含むように構築され得る。いくつかの例において、推論エンジン２３０の出力は追加的に、または代替的に、推論エンジン２３０が検出するように訓練された１または複数のイベントを所与の入力ビデオセグメント２３５が表現する、または、そうでなければ表示する可能性（例えば確率）を提供し得る。示される例のニューラルネットワーク２０５の推論エンジン２３０は、ＣＮＮによって実装されるが、推論エンジン２３０を実装するために他のニューラルネットワークの解決法を使用できる。
【0035】
図示した例のニューラルネットワーク２０５はまた、例の訓練エンジン２４０と、例のコンパレータ２４５と、例の訓練データ検索部２５０とを含むことにより、入力ビデオセグメント２３５からイベントを推論するよう推論エンジン２３０を訓練する。図示した例において、訓練データ検索部２５０は、データベース２１０から、推論エンジン２３０を訓練するための訓練データとして使用されるべきオペレータラベル付与ビデオセグメントのレコード２２０のセットを検索する。例えば、訓練データ検索部２５０は、オペレータラベル付与ビデオセグメントのレコード２２０のセットに対する要求をデータベース２１０へ送信し得る。いくつかの例において、要求は、要求されるレコード２２０の数を含む。いくつかの例において、要求は追加的に、または代替的に、訓練セットに含まれる、オペレータラベル付与ビデオセグメントのレコード２２０によって表現される、またはそうでなければ表示されるイベントの種類を含む。そのような例において、データベース２１０は、オペレータラベル付与ビデオセグメントのレコード２２０の要求されたセットをレコードストレージ２２５から検索し、検索されたレコード２２０のセットを訓練データ検索部２５０へ送信することによって、要求に応答し得る。
【0036】
図示した例において、要求された訓練レコード２２０のセットがデータベース２１０から取得された後に、訓練データ検索部２５０は、訓練レコード２２０を推論エンジン２３０に適用して、レコード２２０の訓練セットに含まれる、オペレータラベル付与ビデオセグメントからイベントを推論するよう推論エンジン２３０を訓練する。例えば、訓練レコード２２０のうち所与の１つについて、訓練データ検索部２５０は、当該訓練レコード２２０の参照ビデオセグメントを入力ビデオセグメント２３５として推論エンジン２３０に適用する。訓練データ検索部２５０はまた、当該訓練レコードの対応する参照イベントラベルを、コンパレータ２４５によって比較される例の訓練イベントラベル２５５として、推論エンジン２３０からの推論されたイベント判断出力に適用する。理想的には、訓練されるとき、推論エンジン２３０からの推論されたイベント判断出力は、入力ビデオセグメント２３５に対応する訓練イベントラベル２５５にマッチする（例えば、ゼロの誤差を生じさせる）。しかしながら、推論エンジン２３０が訓練されている間、コンパレータ２４５は、訓練イベントラベル２５５と推論エンジン２３０からの推論されたイベント判断出力との間の誤差を検出し得る。図示した例において、コンパレータ２４５の出力は、訓練エンジン２４０に提供され、訓練エンジン２４０は任意の適切な方式で誤差をフィードバックして、推論エンジン２３０の重みの層を、推論エンジン２３０が入力セグメント２３５からイベントを推論する精度に更新する。例えば、訓練エンジン２４０は、バックプロパゲーションを実行して推論エンジン２３０を訓練するバックプロパゲーション部として示される。しかしながら、任意の他の適切な訓練機構が訓練エンジン２４０によって実装され得る。したがって、いくつかの例において、訓練エンジン２４０は、オペレータラベル付与ビデオセグメントの訓練セットに基づいて、推論エンジンの第１インスタンスを訓練するための手段を実装し、ここで、推論エンジンの第１インスタンスは、訓練セットに含まれる、オペレータラベル付与ビデオセグメントからイベントを推論するためのものである。オペレータラベル付与ビデオセグメントの訓練セットに基づいて推論エンジンの第１インスタンスを訓練するための他の手段は、オペレータラベル付与ビデオセグメントの訓練セットを取得すること、および、訓練セットを任意の種類の機械学習推論エンジンに適用して推論エンジンを訓練することを行うよう構築されたコンピューティングデバイス、サーバ、クラウドベースのサービス、ウェブサイトなどを含み得るが、これらに限定されない。
【0037】
いくつかの例において、訓練データ検索部２５０は、所望の推論精度が達成されたことをコンパレータ２４５が示すまで、訓練レコード２２０のうちの異なるものを推論エンジン２３０に適用し続ける。例えば、推論精度は、正確なイベント検出の割合閾値（例えば、参照イベントラベルによって表されるように対応するイベントが存在するかどうかを推論エンジン２３０が正確に推論する入力参照ビデオセグメントの数の割合に対応する）、イベント誤検出の割合閾値（例えば、参照ビデオセグメントに対応する参照イベントラベルによって示されるようにイベントが実際に存在しないときに、対応するイベントが存在すると推論エンジン２３０が誤って推論する入力参照ビデオセグメントの数の割合に対応する）、見逃したイベント検出の閾値（例えば、参照ビデオセグメントに対応する参照イベントラベルによって示されるようにイベントが実際に存在するときに対応するイベントが存在しないと推論エンジン２３０が誤って推論する入力参照ビデオセグメントの数の割合に対応する）などとして指定できる。
【0038】
図２の例のビデオ監視システム２００は、４つのイメージングセンサ１０５Ａ－Ｄ、１つのネットワーク１１０、２つのモニタリングステーション１１５Ａ－Ｂ、１つのニューラルネットワーク２０５、および、１つのデータベース２１０を含むものとして示されているが、ビデオ監視システム２００はこれに限定されない。むしろ、例のビデオ監視システム２００は、任意の数のイメージングセンサ１０５Ａ－Ｄ、任意の数のネットワーク１１０、任意の数のモニタリングステーション１１５Ａ－Ｂ、任意の数のニューラルネットワーク２０５、および、任意の数のデータベース２１０を含むことができる。
【0039】
本開示の教示による、ニューラルネットワークを用いてビデオ監視を実装する第２の例のビデオ監視システム３００のブロック図が図３に示される。図３の例のビデオ監視システム３００は、図１および図２のビデオ監視システム１００および２００の例のイメージングセンサ１０５Ａ－Ｄ、例のネットワーク１１０、および、例のモニタリングステーション１１５Ａ－Ｂを含む。したがって、ビデオ監視システム３００のこれらの要素の態様は、図１および図２の説明に関連して上述されている。図３の例のビデオ監視システム３００はまた、図２のビデオ監視システム２００の例のニューラルネットワーク２０５および例のデータベース２１０を含む。このように、ビデオ監視システム３００のこれらの要素の態様が、図２の説明に関連して上述されている。
【0040】
図３に示される例のビデオ監視システム３００において、ニューラルネットワーク２０５はまた、モニタリング対象ビデオフィードからイベントを推論するための訓練された推論エンジン２３０のインスタンスをデプロイする例のデプロイ部３０５を含む。そのようにして、図示した例において、推論エンジン２３０は、推論エンジン２３０の第１（または参照）インスタンスに対応し、デプロイ部は、推論エンジン２３０の第１（または参照）インスタンス（例えば、最初はその複製）に基づく推論エンジン２３０の他のインスタンスをデプロイする。例えば、デプロイ部３０５は、例のモニタリングステーション１１５Ａによる、またはそれと連携した実行のために、推論エンジン２３０の第２の例のインスタンス３１０Ａをデプロイし、例のモニタリングステーション１１５Ｂによる、または、それと連携した実行のために、推論エンジン２３０の第３の例のインスタンス３１０Ｂをデプロイする。
【0041】
いくつかの例において、デプロイ部３０５は、推論エンジン２３０のインスタンス、例えば、第２インスタンス３１０Ａおよび第３のインスタンス３１０Ｂなどを、ニューラルネットワーク２０５に含まれる推論エンジン２３０の第１インスタンスを訓練することによって取得される訓練された重み層を表すデータとしてデプロイする。そのような例において、デプロイ部３０５は、訓練された重みの層を表すデータを、標的モニタリング位置に既に存在する推論エンジン２３０のインスタンス、例えば、第２インスタンス３１０Ａおよび第３のインスタンス３１０Ｂなどに（例えばネットワーク１１０を介して）ダウンロードする。いくつかの例において、デプロイ部３０５は、推論エンジン２３０のインスタンス、例えば、第２インスタンス３１０Ａおよび第３のインスタンス３１０Ｂなどを、モニタリングステーション１１５Ａ－Ｂなどのコンピューティングデバイスによって実行されるダウンロード可能な（例えば、ネットワーク１１０を介してダウンロードされる）実行ファイルとしてデプロイする。したがって、いくつかの例において、デプロイ部３０５は、モニタリング対象ビデオフィードからイベントを推論するための推論エンジンのインスタンスをデプロイするための手段を実装し、ここで、デプロイされた推論エンジンのインスタンスは、訓練された推論エンジンのインスタンス（例えば、最初はその複製）に基づく。推論エンジンのインスタンスをデプロイする他の手段は、これらに限定されないが、訓練された推論エンジンのインスタンスのコピーを取得およびデプロイするよう構築されたコンピューティングデバイス、サーバ、クラウドベースのサービス、ウェブサイトなどを含み得る。
【0042】
図３の例のビデオ監視システム３００において、推論エンジン２３０の第２インスタンス３１０Ａ、および、推論エンジン２３０の第３のインスタンス３１０Ｂは、それぞれのモニタリングステーション１１５Ａ－Ｂによって実行される、または、そうでなければそれらと連携して動作するよう実装される、それぞれの強化推論エンジン３１５Ａおよび３１５Ｂの一部である。図示した例において、強化推論エンジン３１５Ａは、モニタリングステーション１１５Ａによって処理されるモニタリング対象ビデオフィードからイベントを推論するために、モニタリングステーション１１５Ａによって実行される、または、そうでなければ実装される。例えば、強化推論エンジン３１５Ａに含まれる推論エンジン２３０の第２インスタンス３１０Ａは、モニタリングステーション１１５Ａによってモニタリングされるビデオフィードのビデオセグメントを受け付け、モニタリング対象ビデオセグメントについての推論されたイベントを出力する（例えば、モニタリング対象ビデオセグメントのそれぞれに特定のイベントが表現されているかどうかのインジケーションなど）。強化推論エンジン３１５Ａはまた、対応するモニタリング対象ビデオセグメントについて推論エンジン２３０の第２インスタンス３１０Ａによって出力された推論イベントと、対応するモニタリング対象ビデオセグメントについて、モニタリングステーション１１５Ａによって検出されたオペレータの判断（例えば、上述のように、モニタリングインタフェース１２５Ａを介して人間のオペレータ１３０Ａによって入力される）からモニタリングステーション１１５Ａによって生成されたそれぞれのオペレータイベントラベルとを比較することによって、更新訓練データを決定するための例のコンパレータ３２０Ａを含む。コンパレータ３２０Ａは、この更新訓練データを（例えばネットワーク１１０を介して）ニューラルネットワーク２０５に報告する。
【0043】
同様に、図３の図示した例において、モニタリングステーション１１５Ｂによって処理されるモニタリング対象ビデオフィードからイベントを推論するために、強化推論エンジン３１５Ｂは、モニタリングステーション１１５Ｂによって実行される、または、そうでなければ実装される。例えば、強化推論エンジン３１５Ｂに含まれる推論エンジン２３０の第３のインスタンス３１０Ｂは、モニタリングステーション１１５Ｂによってモニタリングされるビデオフィードのビデオセグメントを受け付け、モニタリング対象ビデオセグメントについての推論されたイベントを出力する（例えば、モニタリング対象ビデオセグメントのそれぞれに特定のイベントが表現されているかどうかのインジケーションなど）。強化推論エンジン３１５Ｂはまた、対応するモニタリング対象ビデオセグメントについて推論エンジン２３０の第３のインスタンス３１０Ｂによって出力された推論イベントと、対応するモニタリング対象ビデオセグメントについて、モニタリングステーション１１５Ｂによって検出されたオペレータの判断（例えば、上述のように、モニタリングインタフェース１２５Ｂを介して人間のオペレータ１３０Ｂによって入力される）からモニタリングステーション１１５Ｂによって生成されたそれぞれのオペレータイベントラベルとを比較することによって、更新訓練データを決定するための例のコンパレータ３２０Ｂを含む。コンパレータ３２０Ｂは、この更新訓練データをニューラルネットワーク２０５へ（例えば、ネットワーク１１０を介して）報告する。
【0044】
図３に図示した例において、ニューラルネットワーク２０５は、それぞれのモニタリングステーション１１５Ａ－Ｂによって実装された強化推論エンジン３１５Ａ－Ｂから受信された更新訓練データを使用して、ニューラルネットワーク２０５に含まれる推論エンジン２３０の第１インスタンスを再訓練し、イベント推論精度を改善する。例えば、ニューラルネットワーク２０５は、１または複数のイベントに基づいて（例えば、閾値量の更新訓練データが、それぞれのモニタリングステーション１１５Ａ－Ｂによって実装された強化推論エンジン３１５Ａ－Ｂから受信されたときなど）、オペレータ入力など、または、それの任意の組み合わせに基づいて、周期的間隔で推論エンジン２３０の第１インスタンスを再訓練し得る。いくつかの例において、図示した例のニューラルネットワーク２０５のデプロイ部３０５は次に、再訓練された推論エンジン２３０のインスタンスを１または複数の標的モニタリング位置に再デプロイする。例えば、デプロイ部３０５は、再訓練された推論エンジン２３０のインスタンスを再デプロイして、モニタリングステーション１１５Ａの推論エンジン２３０によって実装される第２インスタンス３１０Ａ、および／または、モニタリングステーション１１５Ｂによって実装される推論エンジン２３０の第３のインスタンス３１０Ｂを更新／置換できる。
【0045】
図３の例のビデオ監視システム３００が、４つのイメージングセンサ１０５Ａ－Ｄ、１つのネットワーク１１０、２つの強化推論エンジン３１５Ａ－Ｂを実装する２つのモニタリングステーション１１５Ａ－Ｂ、１つのニューラルネットワーク２０５、および、１つのデータベース２１０を含むものとして示されるが、ビデオ監視システム２００はこれに限定されない。むしろ、例のビデオ監視システム２００は、任意の数のイメージングセンサ１０５Ａ－Ｄ、任意の数のネットワーク１１０、任意の数の強化推論エンジン３１５Ａ－Ｂを実装する任意の数のモニタリングステーション１１５Ａ－Ｂ、任意の数のニューラルネットワーク２０５、および、任意の数のデータベース２１０を含み得る。
【0046】
本開示の教示による、ニューラルネットワークを用いるビデオ監視を実装する第３の例のビデオ監視システム４００のブロック図が図４に示される。図４の例のビデオ監視システム４００は図１～図３のビデオ監視システム１００、２００および３００の例のイメージングセンサ１０５Ａ－Ｄ、例のネットワーク１１０、および例のモニタリングステーション１１５Ａ－Ｂを含む。したがって、ビデオ監視システム４００のこれらの要素の態様は、図１から図３の説明に関連して上述されている。図３の例のビデオ監視システム４００はまた、図２～図３のビデオ監視システム２００および３００の例のニューラルネットワーク２０５および例のデータベース２１０を含む。したがって、ビデオ監視システム４００のこれらの要素の態様は、図２から図３説明に関連して上述される。
【0047】
図４に示される例のビデオ監視システム４００において、ニューラルネットワーク２０５のデプロイ部３０５はまた、モニタリングステーション１１５Ａ－Ｂと連携することなく、ビデオフィードをモニタリングするための訓練された推論エンジン２３０のインスタンスをデプロイする。例えば、ビデオ監視システム４００において、ニューラルネットワーク２０５のデプロイ部３０５は、訓練された推論エンジン２３０のインスタンスを無人モニタリング位置にデプロイできる。追加的に、または代替的に、ニューラルネットワーク２０５のデプロイ部３０５は、訓練された推論エンジン２３０のインスタンスを、モニタリングステーション１１５Ａ－Ｂなどのモニタリングステーションを有するモニタリング位置にデプロイできるが、モニタリングステーションから独立した動作のためのである。例えば、図４のビデオ監視システム４００において、ニューラルネットワーク２０５のデプロイ部３０５は、推論エンジン２３０の第４の例のインスタンス４１０Ａおよび推論エンジン２３０の第５の例のインスタンス４１０Ｂをデプロイして、モニタリングステーション１１５Ａ－Ｂから独立してビデオフィードをモニタリングする。したがって、推論エンジン２３０の追加インスタンスは、費用効果の高い方式でビデオ監視システム４００におけるモニタリング能力を増大させるようにデプロイされることができる。
【0048】
図４の例のビデオ監視システム４００は、４つのイメージングセンサ１０５Ａ－Ｄ、１つのネットワーク１１０、２つの強化推論エンジン３１５Ａ－Ｂを実装する２つのモニタリングステーション１１５Ａ－Ｂ、１つのニューラルネットワーク２０５、１つのデータベース２１０、推論エンジン２３０の２つの別個のインスタンス４１０Ａ－Ｂを含むものとして示されるが、ビデオ監視システム２００はこれに限定されない。むしろ、例のビデオ監視システム２００は、任意の数のイメージングセンサ１０５Ａ－Ｄ、任意の数のネットワーク１１０、任意の数の強化推論エンジン３１５Ａ－Ｂを実装する任意の数のモニタリングステーション１１５Ａ－Ｂ、任意の数のニューラルネットワーク２０５、任意の数のデータベース２１０、および、推論エンジン２３０の任意の数のインスタンス４１０Ａ－Ｂを含むことができる。
【0049】
また、示される例のビデオ監視システム２００、３００および４００は、イメージングセンサ１０５Ａ－Ｄを含むが、本明細書に開示されるニューラルネットワークを用いる監視モニタリングはビデオ監視だけに限定されない。例えば、本明細書に開示されるニューラルネットワーク技術は、他のモニタリングセンサの使用に適合されることができる。例えば、ビデオ監視システム１００、２００および／または３００は、イメージングセンサ１０５Ａ－Ｄに加えて、または替えて、他のセンサを含むことができる。そのような他のセンサは、これらに限定されないが、モーションセンサ、熱／温度センサ、音センサ（例えばマイク）、電磁センサなどを含むことができる。そのような例において、これらのセンサは、場合によってはモニタリングステーション１１５Ａ－Ｂのうち１または複数と連携して、推論エンジン２３０、３１０Ａ、３１０Ｂ、４１０Ａおよび／または４１０Ｂのうち１または複数によるモニタリングのために、ネットワーク１１０を介してそれぞれのデータフィードを送信する。
【0050】
ビデオ監視システム１００、２００、３００および４００を実装する例の方式が図１～図４に示されているが、図１～図４に示される要素、プロセス、および／またはデバイスのうち１または複数は組み合わされ、分割され、再配置され、省略され、除去され、および／または、任意の他の方式で実装され得る。更に、図１～図４の例のビデオ監視システム１００、２００、３００および／または４００、例のイメージングセンサ１０５Ａ－Ｄ、例のネットワーク１１０、例のモニタリングステーション１１５Ａ－Ｂ、例のニューラルネットワーク２０５、例のデータベース２１０、例の強化推論エンジン３１５Ａ－Ｂ、および／または、推論エンジン２３０の例のインスタンス３１０Ａ－Ｂおよび／または４１０Ａ－Ｂは、ハードウェア、ソフトウェア、ファームウェア、および／または、ハードウェア、ソフトウェア、および／またはファームウェアの任意の組み合わせによって実装され得る。したがって、例えば、例のビデオ監視システム１００、２００、３００および／または４００、例のイメージングセンサ１０５Ａ－Ｄ、例のネットワーク１１０、例のモニタリングステーション１１５Ａ－Ｂ、例のニューラルネットワーク２０５、例のデータベース２１０、例の強化推論エンジン３１５Ａ－Ｂ、および／または、推論エンジン２３０の例のインスタンス３１０Ａ－Ｂおよび／または４１０Ａ－Ｂのいずれかは、１または複数のアナログまたはデジタル回路、論理回路、プログラム可能プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、および／またはフィールドプログラマブル論理デバイス（ＦＰＬＤ）によって実装され得る。本特許の装置またはシステム請求項のいずれかが純粋なソフトウェアおよび／またはファームウェアの実装を網羅するものと読むとき、例のビデオ監視システム１００、２００、３００および／または４００、例のイメージングセンサ１０５Ａ－Ｄ、例のネットワーク１１０、例のモニタリングステーション１１５Ａ－Ｂ、例のニューラルネットワーク２０５、例のデータベース２１０、例の強化推論エンジン３１５Ａ－Ｂ、および／または、推論エンジン２３０の例のインスタンス３１０Ａ－Ｂおよび／または４１０Ａ－Ｂのうちの少なくとも１つは、本明細書において、ソフトウェアおよび／またはファームウェアを含む、メモリ、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、ブルーレイ（登録商標）ディスクなどの非一時的コンピュータ可読ストレージデバイスまたはストレージディスクを含むものとして本明細書において明示的に定義される。なお更に、例のビデオ監視システム１００、２００、３００および／または４００は、図１から４に示されるものに加えて、または替えて、１または複数の要素、プロセスおよび／またはデバイスを含み得、および／または、示される要素、プロセスおよびデバイスのいずれかまたはすべてを１つより多く含み得る。
【0051】
例のビデオ監視システム１００、２００、３００および／または４００を実装するための例の機械可読命令、例のイメージングセンサ１０５Ａ－Ｄ、例のネットワーク１１０、例のモニタリングステーション１１５Ａ－Ｂ、例のニューラルネットワーク２０５、例のデータベース２１０、例の強化推論エンジン３１５Ａ－Ｂ、および／または、推論エンジン２３０の例のインスタンス３１０Ａ－Ｂおよび／または４１０Ａ－Ｂを表すフローチャートが図５から図８に示される。これらの例において、機械可読命令は、図９から図１１に関連して以下で説明される例のプロセッサプラットフォーム９００、１０００および１１００に示されるプロセッサ９１２、１０１２および／または１１１２などのプロセッサによって実行するための１または複数のプログラムを含む。１または複数のプログラム、またはその一部は、ＣＤ‐ＲＯＭ、フロッピーディスク、ハードドライブ、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、または、プロセッサ９１２、１０１２および／または１１１２に関連するメモリなど、非一時的コンピュータ可読記憶媒体に格納されるソフトウェアにおいて具現化され得るが、プログラムまたは複数のプログラム全体および／またはその一部は代替的に、プロセッサ９１２、１０１２および／または１１１２以外のデバイスによって実行され得る、および／または、ファームウェアまたは専用ハードウェア（例えば、ＡＳＩＣ、ＰＬＤ、ＦＰＬＤ、ディスクリートロジックなどにおいて実装される）において具現化され得る。更に、例のプログラムは、図５から図８に示されるフローチャートを参照して説明されるが、例のビデオ監視システム１００、２００、３００および／または４００、例のイメージングセンサ１０５Ａ－Ｄ、例のネットワーク１１０、例のモニタリングステーション１１５Ａ－Ｂ、例のニューラルネットワーク２０５、例のデータベース２１０、例の強化推論エンジン３１５Ａ－Ｂ、および／または、推論エンジン２３０の例のインスタンス３１０Ａ－Ｂおよび／または４１０Ａ－Ｂを実装する多くの他の方法が代替的に使用され得る。例えば、図５から図８に示されるフローチャートを参照すると、ブロックの実行順序は変更され得る、および／または、説明されるブロックのいくつかに対して、変更、除去、組み合わせ、および／または、複数のブロックへの細分化が行われ得る。追加的に、または代替的に、ブロックのいずれかまたはすべては、ソフトウェアまたはファームウェアを実行することなく対応する動作を実行するよう構築された１または複数のハードウェア回路（例えば、ディスクリートおよび／または統合アナログおよび／またはデジタル回路、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、コンパレータ、オペレーショナル・アンプリファイア（オペアンプ）、論理回路など）によって実装され得る。
【0052】
上記のように、図５～図８の例のプロセスは、情報が任意の時間長（例えば、長期間、永久、短期間、一時的バッファ、および／または、情報のキャッシュのために）格納されるハードディスクドライブ、フラッシュメモリ、リードオンリーメモリ、コンパクトディスク、デジタル多用途ディスク、キャッシュ、ランダムアクセスメモリ、および／または、任意の他のストレージデバイスまたはストレージディスクなどの非一時的コンピュータおよび／または機械可読媒体に格納された、符号化された命令（例えば、コンピュータおよび／または機械可読命令）を使用して実装され得る。本明細書に使用される場合、非一時的コンピュータ可読媒体という用語は、任意の種類のコンピュータ可読ストレージデバイスおよび／またはストレージディスクを含み、伝搬する信号を排除し、送信媒体を排除するように明示的に定義される。
【0053】
「含む（ｉｎｃｌｕｄｉｎｇ）」および「含む（ｃｏｍｐｒｉｓｉｎｇ）」（およびこれらのすべての形態および時制）は、本明細書ではオープンエンドの用語として用いられている。したがって、請求項において、「含む（ｉｎｃｌｕｄｉｎｇ）」または「含む（ｃｏｍｐｒｉｓｉｎｇ）」の任意の形態（例えば、ｃｏｍｐｒｉｓｅｓ、ｉｎｃｌｕｄｅｓ、ｃｏｍｐｒｉｓｉｎｇ、ｉｎｃｌｕｄｉｎｇなど）の後に何かが列挙される場合、その追加の要素、用語などは、対応する請求項の範囲を逸脱することなく存在し得ることを理解すべきである。本明細書において使用される場合、「少なくとも」という語句が、請求項のプリアンブルにおいて移行部として使用される場合、「含む（ｉｎｃｌｕｄｉｎｇ）」および「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語がオープンエンドであるのと同じ方式で、オープンエンドである。また、本明細書において使用される場合、「コンピュータ可読」および「機械可読」という用語は、別段の記載が無い限り、同等としてみなされる。
【0054】
図１～図４の例のビデオ監視システム１００、２００、３００および４００に含まれる１または複数の例のモニタリングステーション１１５Ａ－Ｂを実装するために実行され得る例のプログラム５００が図５に示される。利便性のために、一般性を失うことなく、例のプログラム５００の実行は、図４の例のビデオ監視システム４００において動作する例のモニタリングステーション１１５Ａの観点から説明される。上述の図、および、関連する書面の記述を参照すると、図５の例のプログラム５００は、ブロック５０５で実行を開始する。このブロックにおいて、モニタリングステーション１１５Ａは、ネットワーク１１０を介してイメージングセンサ１０５Ａ－Ｄの１つから受信されたビデオフィードにアクセスし、モニタリングステーション１１５Ａのディスプレイ１２０Ａを介して、アクセスされたビデオフィードを提示する。ブロック５１０において、モニタリングステーション１１５Ａは、モニタリングステーション１０５Ａのモニタリングインタフェース１２５Ａを介して、人間のオペレータ１３０Ａによって入力されたオペレータの判断を検出する。上述のように、ブロック５１０で検出されたオペレータの判断は、モニタリング対象ビデオフィードにおいて、関心のあるイベントが表現されている、または、そうでなければ表示されているかどうかを示す。例えば、モニタリングステーション１１５Ａは、任意のセグメンテーション基準に基づいて、アクセスされたビデオフィードを、モニタリング対象ビデオセグメントにセグメント化し得る。例えば、モニタリングステーション１１５Ａは、検出されたビデオフィードにおける遷移に基づいて、フィードを提供するイメージングセンサ１０５Ａ－Ｄの特徴（例えば、センサの掃引速度、センサの撮像速度など）に基づいて、モニタリング対象ビデオフィードを、所与の時間長（例えば、１５秒、３０秒、６０秒など、または任意の時間長）を有する連続ビデオセグメントにセグメント化し得る。そのような例において、モニタリングインタフェース１２５Ａは、入力されたオペレータの判断を、その時間にディスプレイ１２０Ａによって提示されている特定のモニタリング対象ビデオセグメントと関連付ける。いくつかの例において、所与のビデオセグメントが提示されている間にオペレータの判断の入力が検出されなかった場合、オペレータの判断は、所与のビデオセグメントの間に関心のあるイベントが表現されていないということであると、モニタリングインタフェース１２５Ａが決定する。上述のように、いくつかの例において、入力されたオペレータの判断は、予め定義された関心のあるイベントがモニタリング対象ビデオセグメントにおいて表現されているかどうかについてのＹｅｓまたはＮｏのインジケーションである。しかしながら、いくつかの例において、入力されたオペレータの判断はまた、関心のあるイベントの種類の記述、および、記述されている関心のあるイベントが、モニタリング対象ビデオセグメントにおいて表現されているかどうかについてのＹｅｓまたはＮｏのインジケーションを含むことができる。
【0055】
ブロック５１５において、モニタリングステーション１１５Ａのモニタリングインタフェース１２５Ａは、入力されたオペレータの判断が検出されたかどうかを決定する。オペレータの判断が検出された（ブロック５１５）場合、ブロック５２０において、モニタリングインタフェース１２５Ａは、現在のモニタリング対象ビデオセグメントに関連付けられるイベントラベルにアクセスし、入力されたオペレータの判断を反映するようにイベントラベルを更新する。例えば、イベントラベルは、予め定義された関心のあるイベントが、対応するモニタリング対象ビデオセグメントに表現されているかどうかを示すことができる。いくつかの例において、イベントラベルは、関心のあるイベントの種類の記述、および、記述されている関心のあるイベントが、対応するモニタリング対象ビデオセグメントに表現されているかどうかについてのインジケーションを含む。いくつかの例において、所与のビデオセグメントが提示されている間にオペレータの判断の入力が検出されなかった場合、ブロック５２０において、モニタリングインタフェース１２５Ａは、対応するビデオセグメントにおいて関心のあるイベントが表現されていないことを示すように、ビデオセグメントについてのイベントラベルを更新する。図５の例に示されるように、モニタリングステーション１０５Ａはまた、ブロック５０５においてアクセスされたビデオのビデオセグメントと、ブロック５２０においてアクセスされた対応するイベントラベルとをデータベース２１０に提供し、上述のオペレータラベル付与ビデオセグメントのレコード２２０をデータベース２１０が生成することを可能にする。
【0056】
図５の図示した例では、ブロック５２５において、モニタリングステーション１１５Ａのモニタリングインタフェース１２５Ａは、現在のモニタリング対象ビデオセグメントについて検出された、入力されたオペレータの判断が、アラームがトリガされるべきイベントの検出に対応するかどうかを決定する。アラームがトリガされるべきである場合（ブロック５２５）、ブロック５３０において、モニタリングインタフェース１２５Ａは、アラームがトリガされるようにする。例えば、ブロック５３０において、モニタリングインタフェース１２５Ａは、聴覚および／または視覚的アラームを自動でトリガし得、第１対応者などを招集するために緊急応答システムに連絡し得る。ブロック５３５において、モニタリングステーション１１５Ａは、ビデオ監視モニタリングを継続すべきかどうかを決定する。ビデオ監視モニタリングが継続すべきである場合（ブロック５３５）、処理はブロック５０５およびその後続のブロックに戻り、モニタリングステーション１１５Ａが現在のビデオフィードおよび／またはネットワーク１１０を介してイメージングセンサ１０５Ａ－Ｄからモニタリングステーション１１５Ａによって受信された他のビデオフィードのモニタリングを継続することを可能にする。
【0057】
図２～図４の例のビデオ監視システム２００、３００および４００に含まれる例のニューラルネットワーク２０５および例のデータベース２１０を実装するために実行され得る例のプログラム６００が図６に示される。利便性のために、一般性を失うことなく、例のプログラム６００の実行は、図４の例のビデオ監視システム４００において動作する例のニューラルネットワーク２０５および例のデータベース２１０の観点から説明される。上述の図面および関連する書面の記述を参照すると、図６の例のプログラム６００は、ブロック６０５で実行を開始する。このブロックにおいて、データベース２１０は、上述のように、ネットワーク１１０を介してモニタリングステーション１１５Ａ－Ｂから受信された、モニタリング対象ビデオセグメントと、対応するイベントラベルと、オペレータラベル付与ビデオセグメントのレコード２２０として格納する。ブロック６１０において、ニューラルネットワーク２０５は、データベース２１０によって生成および格納された、オペレータラベル付与ビデオセグメントのレコード２２０を使用して、上述のように、ビデオセグメントからイベントを推論するよう例の推論エンジン２３０の第１（または参照）インスタンスを訓練する。ブロック６１５において、ニューラルネットワーク２０５は、上述のように、モニタリング対象ビデオフィードからイベントを推論するために、訓練された推論エンジン２３０のインスタンスをモニタリング現場にデプロイする。
【0058】
図２～図４の例のビデオ監視システム２００、３００および４００に含まれる例のデータベース２１０を実装するために、および／または、図６のブロック６０５の処理を実行するために実行され得る例のプログラム７００が図７に示される。利便性のために、一般性を失うことなく、例のプログラム７００の実行は、図４の例のビデオ監視システム４００において動作する例のデータベース２１０の観点から説明される。上述の図面および関連する書面の記述を参照すると、図７の例のプログラム７００は、ブロック７０５で実行を開始し、このブロックにおいて、データベース２１０は、上述されるように、ネットワーク１１０を介して、モニタリング対象ビデオセグメントおよび対応するイベントラベルをモニタリングステーション１１５Ａ－Ｂから受信する。上述のように、イベントラベルは、対応するモニタリング対象ビデオセグメントにおいて、関心のあるイベントが表現される、または、そうでなければ表示されるかどうかに関する、人間のオペレータによって入力された判断を反映する。ブロック７１０において、上述のように、データベース２１０は、ビデオセグメントから受信されたオペレータラベル付与ビデオセグメント、および、ブロック７０５で受信された対応するイベントラベルのレコード２２０を生成し、データベース２１０の例のレコードストレージ２２５にレコード２２０を格納する。
【0059】
ブロック７１５において、データベース２１０は、訓練データのセットに対する要求がニューラルネットワーク２０５から受信されたかどうかを決定する。上述のように、いくつかの例において、要求は、訓練データのセットに含める、要求されているレコード２２０の数を含む。いくつかの例において、要求は追加的に、または代替的に、訓練データのセットに含まれるレコード２２０によって表現される、または、そうでなければ表示されるイベントの種類を含む。訓練データに対する要求が受信された場合（ブロック７１５）、データベース２１０は、要求を満たすレコードストレージ２２５からレコード２２０の訓練セットを検索し、レコード２２０の訓練セットをニューラルネットワーク２０５へ（例えばネットワーク１１０を介して）出力し、ニューラルネットワークの訓練を容易にする。
【0060】
図２～図４の例のビデオ監視システム２００、３００および４００に含まれる例のニューラルネットワーク２０５を実装するために、および／または、図６のブロック６１０および６１５において処理を実行するために実行され得る例のプログラム８００が図８に示される。利便性のために、一般性を失うことなく、例のプログラム８００の実行は、図４の例のビデオ監視システム４００において動作する例のニューラルネットワーク２０５の観点から説明される。上述の図面および関連する書面の記述を参照すると、図８の例のプログラム８００は、ブロック８０５で実行を開始する。このブロックにおいて、ニューラルネットワーク２０５の例の訓練データ検索部２５０は、オペレータラベル付与ビデオセグメントの訓練レコード２２０のセットをデータベース２１０に要求して取得する。上述のように、いくつかの例において、要求は、訓練データのセットに含める、要求されるレコード２２０の数を含む。いくつかの例において、要求は追加的に、または代替的に、訓練データのセットに含まれるレコード２２０によって表現される、または、そうでなければ表示されるイベントの種類を含む。
【0061】
ブロック８１０において、例の訓練エンジン２４０および例のコンパレータ２４５は、上述のように、取得されたレコード２２０の訓練セットを使用して、レコード２２０の訓練セットに含まれる参照ビデオセグメントからイベントを推論することにより、ニューラルネットワーク２０５の例の推論エンジン２３０を訓練する。ブロック８１５において、ニューラルネットワーク２０５の例のデプロイ部３０５は、上述のように、モニタリング対象ビデオフィードからイベントを推論するために、訓練された推論エンジン２３０のインスタンスを１または複数の標的モニタリング位置にデプロイする。例えば、ブロック８１５において、デプロイ部３０５は、例のモニタリングステーション１０５Ａ－Ｂによる実行、またはそれと連携した実行のために、訓練された推論エンジン２３０の例のインスタンス３１０Ａ－Ｂをデプロイし得る。追加的に、または代替的に、いくつかの例において、デプロイ部３０５は、モニタリングステーション１０５Ａ－Ｂから独立してビデオ監視モニタリングを実行するために、訓練された推論エンジン２３０の例のインスタンス４１０Ａ－Ｂをモニタリング位置にデプロイし得る。
【0062】
ブロック８２０において、ニューラルネットワーク２０５は、訓練された推論エンジン２３０のインスタンス３１０Ａ－Ｂを実行する、または、それと連携して動作するモニタリングステーション１０５Ａ－Ｂのうち１または複数によって決定された、更新訓練データを（例えばネットワーク１１０を介して）取得する。例えば、上述のように、モニタリングステーション１０５Ａ－Ｂは、対応するモニタリング対象ビデオセグメントについての、訓練された推論エンジン２３０のインスタンス３１０Ａ－Ｂによって出力された、推論されたイベントと、対応するモニタリング対象ビデオセグメントについての、人間のオペレータ１３０Ａ－Ｂによって入力されたオペレータの判断からモニタリングステーション１１５Ａ－Ｂによって生成されたそれぞれのオペレータイベントラベルとを比較して、更新訓練データを決定し得る。ブロック８２５において、ニューラルネットワークは、上述のように、更新訓練データを使用して、推論エンジン２３０の第１（または参照）インスタンスを再訓練する。ブロック８３０において、デプロイ部３０５は、上述のように、再訓練された推論エンジン２３０のインスタンスを１または複数の標的モニタリング位置に再デプロイする。ブロック８３５において、ニューラルネットワーク２０５は、推論エンジン２３０の再訓練を続けるかどうか決定する。再訓練を続ける場合、処理はブロック８２０およびその後続のブロックに戻り、ニューラルネットワーク２０５が、モニタリングステーション１０５Ａ－Ｂから受信された更新訓練データに基づいて、推論エンジン２３０の再訓練を続けることを可能にする。
【0063】
図９は、図１～図４の例のモニタリングステーション１１５Ａ－Ｂを実装するために、図５、図６、図７および／または図８の命令を実行するように構築された例のプロセッサプラットフォーム９００のブロック図である。利便性のために、一般性を失うことなく、例のプロセッサプラットフォーム９００は、例のモニタリングステーション１１５Ａを実装する観点から説明される。プロセッサプラットフォーム９００は、例えば、サーバ、パーソナルコンピュータ、モバイルデバイス（例えば、携帯電話、スマートフォン、ｉＰａｄ（登録商標）などのタブレット）、パーソナルデジタルアシスタント（ＰＤＡ）、インターネット機器など、または、任意の他の種類のコンピューティングデバイスであり得る。
【0064】
図示した例のプロセッサプラットフォーム９００はプロセッサ９１２を含む。図示した例のプロセッサ９１２はハードウェアである。例えば、プロセッサ９１２は、任意の所望のファミリーまたは製造元の１または複数の集積回路、論理回路、マイクロプロセッサまたはコントローラによって実装できる。ハードウェアプロセッサ９１２は、半導体ベース（例えばシリコンベース）のデバイスであり得る。
【0065】
図示した例のプロセッサ９１２は、ローカルメモリ９１３（例えばキャッシュ）を含む。図示した例のプロセッサ９１２は、リンク９１８を介して、揮発性メモリ９１４および不揮発性メモリ９１６を含むメインメモリと通信する。リンク９１８は、バス、１または複数のポイントツーポイント接続など、またはこれらの組み合わせにより実装されてよい。揮発性メモリ９１４は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、ＲＡＭＢＵＳダイナミックランダムアクセスメモリ（ＲＤＲＡＭ）および／または任意の他の種類のランダムアクセスメモリデバイスによって実装され得る。不揮発性メモリ９１６は、フラッシュメモリおよび／または任意の他の所望の種類のメモリデバイスにより実装されてよい。メインメモリ９１４、９１６へのアクセスが、メモリコントローラにより制御される。
【0066】
図示した例のプロセッサプラットフォーム９００は、インタフェース回路９２０も含む。インタフェース回路９２０は、イーサネット（登録商標）インタフェース、ユニバーサルシリアルバス（ＵＳＢ）、および／または、ＰＣＩエクスプレスインタフェースなど任意の種類のインタフェース規格によって実装され得る。
【0067】
図示した例において、１または複数の入力デバイス９２２はインタフェース回路９２０に接続される。入力デバイス９２２は、ユーザがデータおよびコマンドをプロセッサ９１２に入力することを可能にする。入力デバイスは、例えば、オーディオセンサ、マイク、カメラ（静止画または動画）、キーボード、ボタン、マウス、タッチスクリーン、トラックパッド、トラックボール、トラックバー（アイソポイントなど）、音声認識システム、および／または任意の他のヒューマンマシンインタフェースにより実装されてよい。また、プロセッサプラットフォーム９００などの多くのシステムによって、ユーザは、限定されないが、手や身体の動き、顔の表情、および顔認識などの身体的な動作を用いて、コンピュータシステムを制御し、データをコンピュータに提供できるようになってよい。いくつかの例において、入力データデバイス９２２は、例のモニタリングインタフェース１２５Ａを実装する。
【0068】
１または複数の出力デバイス９２４も、図示した例のインタフェース回路９２０に接続されている。出力デバイス９２４は、例えば、ディスプレイデバイス（例えば発光ダイオード（ＬＥＤ））、有機発光ダイオード（ＯＬＥＤ）、液晶ディスプレイ、陰極線管ディスプレイ（ＣＲＴ）、タッチスクリーン、触覚出力デバイス、プリンタおよび／またはスピーカ）によって実装できる。したがって、図示した例のインタフェース回路９２０は典型的には、グラフィックスドライバカード、グラフィックスドライバチップ、または、グラフィックスドライバプロセッサを含む。いくつかの例において、出力デバイス９２４は、例のディスプレイ１２０Ａを実装する。
【0069】
図示した例のインタフェース回路９２０はまた、送信機、受信機、送受信機、モデムおよび／またはネットワークインタフェースカードなどの通信デバイスを含み、例のネットワーク１１０などのネットワーク９２６（例えば、イーサネット接続、デジタル加入者線（ＤＳＬ）、電話線、同軸ケーブル、セルラ方式電話システムなど）を介した外部の機械（例えば、任意の種類のコンピューティングデバイス）とのデータ交換を容易にする。
【0070】
図示した例のプロセッサプラットフォーム９００は、ソフトウェアおよび／またはデータを格納するための１または複数の大容量ストレージデバイス９２８も含む。そのような大容量ストレージデバイス９２８の例は、フロッピーディスクドライブ、ハードドライブディスク、コンパクトディスクドライブ、ブルーレイ（登録商標）ディスクドライブ、ＲＡＩＤ（ｒｅｄｕｎｄａｎｔ ａｒｒａｙ ｏｆ ｉｎｄｅｐｅｎｄｅｎｔ ｄｉｓｋｓ）システム、およびデジタル多用途ディスク（ＤＶＤ）ドライブを含む。
【0071】
図５、図６、図７および／または図８の命令に対応する符号化された命令９３２は、大容量ストレージデバイス９２８、揮発性メモリ９１４、不揮発性メモリ９１６、ローカルメモリ９１３、および／または、ＣＤまたはＤＶＤ９３６などの着脱可能な有形コンピュータ可読記憶媒体に格納され得る。
【0072】
図１０は、図５、図６、図７および／または図８の命令を実行して図２～図４の例のデータベース２１０を実装するよう構築された例のプロセッサプラットフォーム１０００のブロック図である。プロセッサプラットフォーム１０００は、例えば、サーバ、パーソナルコンピュータ、モバイルデバイス（例えば、携帯電話、スマートフォン、ｉＰａｄ（登録商標）などのタブレット）、ＰＤＡ、インターネット機器など、または、任意の他の種類のコンピューティングデバイスであり得る。
【0073】
図示した例のプロセッサプラットフォーム１０００は、プロセッサ１０１２を含む。図示した例のプロセッサ１０１２はハードウェアである。例えば、プロセッサ１０１２は、任意の所望のファミリーまたは製造元の１または複数の集積回路、論理回路、マイクロプロセッサまたはコントローラによって実装できる。ハードウェアプロセッサ１０１２は、半導体ベース（例えばシリコンベース）のデバイスであり得る。
【0074】
図示した例のプロセッサ１０１２は、ローカルメモリ１０１３（例えば、キャッシュ）を含む。図示した例のプロセッサ１０１２は、リンク１０１８を介して、揮発性メモリ１０１４および不揮発性メモリ１０１６を含むメインメモリと通信する。リンク１０１８は、バス、１または複数のポイントツーポイント接続など、またはこれらの組み合わせにより実装されてよい。揮発性メモリ１０１４は、ＳＤＲＡＭ、ＤＲＡＭ、ＲＤＲＡＭおよび／または任意の他の種類のランダムアクセスメモリデバイスによって実装され得る。不揮発性メモリ１０１６は、フラッシュメモリおよび／または任意の他の所望の種類のメモリデバイスにより実装され得る。メインメモリ１０１４、１０１６へのアクセスはメモリコントローラにより制御される。
【0075】
図示した例のプロセッサプラットフォーム１０００はまた、インタフェース回路１０２０を含む。インタフェース回路１０２０は、イーサネット（登録商標）インタフェース、ＵＳＢおよび／またはＰＣＩエクスプレスインタフェースなどの任意の種類のインタフェース規格によって実装され得る。
【0076】
図示した例において、１または複数の入力デバイス１０２２はインタフェース回路１０２０に接続される。入力デバイス１０２２は、ユーザがデータおよびコマンドをプロセッサ１０１２に入力することを可能にする。入力デバイスは、例えば、オーディオセンサ、マイク、カメラ（静止画または動画）、キーボード、ボタン、マウス、タッチスクリーン、トラックパッド、トラックボール、トラックバー（アイソポイントなど）、音声認識システム、および／または任意の他のヒューマンマシンインタフェースにより実装されてよい。また、プロセッサプラットフォーム１０００などの多くのシステムによって、ユーザは、限定されないが、手や身体の動き、顔の表情、および顔認識などの身体的な動作を用いて、コンピュータシステムを制御し、データをコンピュータに提供できるようになってよい。
【0077】
１または複数の出力デバイス１０２４も、図示した例のインタフェース回路１０２０に接続されている。出力デバイス１０２４は、例えば、ディスプレイデバイス（例えば、ＬＥＤ、ＯＬＥＤ、液晶ディスプレイ、ＣＲＴディスプレイ、タッチスクリーン、触覚出力デバイス、プリンタおよび／またはスピーカ）によって実装できる。したがって、図示した例のインタフェース回路１０２０は典型的には、グラフィックスドライバカード、グラフィックスドライバチップ、または、グラフィックスドライバプロセッサを含む。
【0078】
図示した例のインタフェース回路１０２０はまた、送信機、受信機、送受信機、モデムおよび／またはネットワークインタフェースカードなどの通信デバイスを含み、例のネットワーク１１０などのネットワーク１０２６（例えば、イーサネット接続、ＤＳＬ）、電話線、同軸ケーブル、セルラ方式電話システムなど）を介した外部の機械（例えば、任意の種類のコンピューティングデバイス）とのデータ交換を容易にする。
【0079】
図示した例のプロセッサプラットフォーム１０００は、ソフトウェアおよび／またはデータを格納するための１または複数の大容量ストレージデバイス１０２８も含む。そのような大容量ストレージデバイス１０２８の例は、フロッピーディスクドライブ、ハードドライブディスク、コンパクトディスクドライブ、ブルーレイ（登録商標）ディスクドライブ、ＲＡＩＤシステム、およびＤＶＤドライブを含む。いくつかの例において、大容量ストレージデバイス１０２８は、例のレコードストレージ２２５を実装し得る。追加的に、または代替的に、いくつかの例において、揮発性メモリ１０１４は、例のレコードストレージ２２５を実装し得る。
【0080】
図５、図６、図７および／または図８の命令に対応する符号化された命令１０３２は、大容量ストレージデバイス１０２８、揮発性メモリ１０１４、不揮発性メモリ１０１６、ローカルメモリ１０１３、および／または、ＣＤまたはＤＶＤ１０３６などの着脱可能な有形コンピュータ可読記憶媒体に格納され得る。
【0081】
図１１は、図５、図６、図７および／または８の命令を実行して図２～図４の例のニューラルネットワーク２０５を実装するように構築される例のプロセッサプラットフォーム１１００のブロック図である。プロセッサプラットフォーム１１００は、例えば、サーバ、パーソナルコンピュータ、モバイルデバイス（例えば、携帯電話、スマートフォン、ｉＰａｄ（登録商標）などのタブレット）、ＰＤＡ、インターネット機器など、または、任意の他の種類のコンピューティングデバイスであり得る。
【0082】
図示した例のプロセッサプラットフォーム１１００はプロセッサ１１１２を含む。図示した例のプロセッサ１１１２はハードウェアである。例えば、プロセッサ１１１２は、任意の所望のファミリーまたは製造元の１または複数の集積回路、論理回路、マイクロプロセッサまたはコントローラによって実装できる。ハードウェアプロセッサ１１１２は、半導体ベース（例えばシリコンベース）のデバイスであり得る。この例において、プロセッサ１１１２は、例の推論エンジン２３０、例の訓練エンジン２４０、例のコンパレータ２４５、例の訓練データ検索部２５０、および／または、例のデプロイ部３０５を実装する。
【0083】
図示した例のプロセッサ１１１２は、ローカルメモリ１１１３（例えば、キャッシュ）を含む。図示した例のプロセッサ１１１２は、リンク１１１８を介して、揮発性メモリ１１１４および不揮発性メモリ１１１６を含むメインメモリと通信する。リンク１１１８は、バス、１または複数のポイントツーポイント接続など、またはこれらの組み合わせにより実装されてよい。揮発性メモリ１１１４は、ＳＤＲＡＭ、ＤＲＡＭ、ＲＤＲＡＭおよび／または任意の他の種類のランダムアクセスメモリデバイスによって実装され得る。不揮発性メモリ１１１６は、フラッシュメモリおよび／または任意の他の所望の種類のメモリデバイスにより実装されてよい。メインメモリ１１１４、１１１６へのアクセスが、メモリコントローラにより制御される。
【0084】
図示した例のプロセッサプラットフォーム１１００は、インタフェース回路１１２０も含む。インタフェース回路１１２０は、イーサネット（登録商標）インタフェース、ＵＳＢおよび／またはＰＣＩエクスプレスインタフェースなどの任意の種類のインタフェース規格によって実装され得る。
【0085】
図示した例では、１または複数の入力デバイス１１２２がインタフェース回路１１２０に接続されている。入力デバイス１１２２は、ユーザがデータおよびコマンドをプロセッサ１１１２に入力することを可能にする。入力デバイスは、例えば、オーディオセンサ、マイク、カメラ（静止画または動画）、キーボード、ボタン、マウス、タッチスクリーン、トラックパッド、トラックボール、トラックバー（アイソポイントなど）、音声認識システム、および／または任意の他のヒューマンマシンインタフェースにより実装されてよい。また、プロセッサプラットフォーム１１００などの多くのシステムによって、ユーザは、限定されないが、手や身体の動き、顔の表情、および顔認識などの身体的な動作を用いて、コンピュータシステムを制御し、データをコンピュータに提供できるようになってよい。
【0086】
１または複数の出力デバイス１１２４も、図示した例のインタフェース回路１１２０に接続されている。出力デバイス１１２４は、例えば、ディスプレイデバイス（例えば、ＬＥＤ、ＯＬＥＤ、液晶ディスプレイ、ＣＲＴディスプレイ、タッチスクリーン、触覚出力デバイス、プリンタおよび／またはスピーカ）によって実装できる。したがって、図示した例のインタフェース回路１１２０は典型的には、グラフィックスドライバカード、グラフィックスドライバチップ、または、グラフィックスドライバプロセッサを含む。
【0087】
図示した例のインタフェース回路１１２０はまた、送信機、受信機、送受信機、モデムおよび／またはネットワークインタフェースカードなどの通信デバイスを含み、例のネットワーク１１０などのネットワーク１１２６（例えば、イーサネット接続、ＤＳＬ）、電話線、同軸ケーブル、セルラ方式電話システムなど）を介した外部の機械（例えば、任意の種類のコンピューティングデバイス）とのデータ交換を容易にする。
【0088】
図示した例のプロセッサプラットフォーム１１００は、ソフトウェアおよび／またはデータを格納するための１または複数の大容量ストレージデバイス１１２８も含む。そのような大容量ストレージデバイス１１２８の例は、フロッピーディスクドライブ、ハードドライブディスク、コンパクトディスクドライブ、ブルーレイ（登録商標）ディスクドライブ、ＲＡＩＤシステム、およびＤＶＤドライブを含む。
【0089】
図５、図６、図７および／または図８の命令に対応する符号化された命令１１３２は、大容量ストレージデバイス１１２８、揮発性メモリ１１１４、不揮発性メモリ１１１６、ローカルメモリ１１１３、および／または、ＣＤまたはＤＶＤ１１３６などの着脱可能な有形コンピュータ可読記憶媒体に格納され得る。
【0090】
上記の開示は、ニューラルネットワークを用いたビデオ監視の例を提供する。ニューラルネットワークを用いたビデオ監視を実装するためのビデオ監視システム、少なくとも１つのプロセッサによって実行されるときに少なくとも１つのプロセッサにニューラルネットワークを用いたビデオ監視を実装させる命令を含む少なくとも１つのコンピュータ可読記憶媒体、ニューラルネットワークを用いたビデオ監視を実装するための手段、および、ニューラルネットワークを用いたビデオ監視を実行するためのビデオ監視方法などの主題を含む、以下のさらなる例が本明細書において開示される。開示される例は、個別に、および／または、１または複数の組み合わせで実装できる。
【0091】
上記より、ニューラルネットワークを用いたビデオ監視を実装するための例の方法、装置、システムおよび製品（例えば、物理的記憶媒体）が本明細書において開示されたことが理解される。開示される例は、モニタリング対象ビデオフィードにおけるイベントを検出または推論するよう訓練された推論エンジンを有するニューラルネットワークを含む。ニューラルネットワーク推論エンジンは、参照ビデオセグメントが定義されたイベントを表現するかどうかを示す参照イベントラベルを有する参照ビデオセグメントの訓練セットを使用して訓練される。訓練された推論エンジンは次に、１または複数のモニタリング位置にデプロイされ、１または複数の訓練されたイベント（例えば、セキュリティ違反、人間の存在、荷物の到着など）が、モニタリングする対応ビデオフィードにおいて表示されているかどうかを推論するように（例えば、並列に、非同期的に、協同して、など）動作する。いくつかの例において、訓練／再訓練された推論エンジンのインスタンスは、無人モニタリング位置にデプロイでき、または、有人の場所に更なる能力を提供するためにデプロイでき、それにより、ビデオ監視システムの能力が需要の増大に合わせて容易にスケーリングすることを可能にする。
【0092】
上記の開示は、ニューラルネットワークを用いたビデオ監視を実装する例を提供する。ニューラルネットワークを用いたビデオ監視を実装するさらなる例が以下に開示される。開示される例は、個別に、および／または、１または複数の組み合わせで実装できる。
【0093】
例１は、オペレータラベル付与ビデオセグメントを格納するためのデータベースを含むビデオ監視システムであり、オペレータラベル付与ビデオセグメントは、参照ビデオセグメントと、参照ビデオセグメントを記述する、対応する参照イベントラベルとを含む。例１のシステムはまた、推論エンジンの第１インスタンスと、データベースから取得されたオペレータラベル付与ビデオセグメントの訓練セットに基づいて推論エンジンの第１インスタンスを訓練するための訓練エンジンとを含むニューラルネットワークを含み、推論エンジンの第１インスタンスは、訓練セットに含まれるオペレータラベル付与ビデオセグメントからイベントを推論する。例１のシステムは更に、モニタリング対象ビデオフィードからイベントを推論するための推論エンジンの第２インスタンスを含み、推論エンジンの第２インスタンスは推論エンジンの第１インスタンスに基づく。
【0094】
例２は例１の主題を含み、参照イベントラベルは、対応する参照ビデオセグメントが定義されたイベントを表現するかどうかを示す。
【0095】
例３は例１および／または２の主題を含み、参照ビデオセグメントのうちの第１参照ビデオセグメントに対応する参照イベントラベルのうちの第１参照イベントラベルは、（ｉ）イベントの種類および（ｉｉ）参照ビデオセグメントのうちの第１参照ビデオセグメントがイベントの種類を表現するかどうかを示す。
【0096】
例４は例１から３のうち１または複数の主題を含み、更にモニタリングステーションを含み、モニタリングステーションは、モニタリング対象ビデオフィードのうちの第１モニタリング対象ビデオフィードを提示するためのディスプレイと、モニタリング対象ビデオフィードのうちの第１モニタリング対象ビデオフィードのモニタリング対象ビデオセグメントに対応するオペレータの判断に基づいてオペレータイベントラベルを生成するためのモニタリングインタフェースとを含む。
【0097】
例５は例４の主題を含み、上記データベースは上記モニタリングステーションと通信して、上記モニタリング対象ビデオセグメントのうちの第１モニタリング対象ビデオセグメントと、上記モニタリング対象ビデオセグメントのうちの上記第１モニタリング対象ビデオセグメントに対応する上記オペレータイベントラベルのうちの第１オペレータイベントラベルとを受信し、上記データベースは、上記モニタリング対象ビデオセグメントのうちの上記第１モニタリング対象ビデオセグメントと、上記オペレータイベントラベルのうちの対応する上記第１オペレータイベントラベルとを、上記オペレータラベル付与ビデオセグメントのうちの第１オペレータラベル付与ビデオセグメントに含まれる上記参照ビデオセグメントのうちの第１参照ビデオセグメント、および、上記参照イベントラベルのうちの対応する第１参照イベントラベルとして格納する。
【0098】
例６は例５の主題を含み、モニタリングステーションは更に、推論エンジンの第２インスタンスを実装する。
【0099】
例７は例６の主題を含み、上記推論エンジンの上記第２インスタンスは、上記モニタリング対象ビデオフィードのうちの上記第１モニタリング対象ビデオフィードのモニタリング対象ビデオセグメントのうちの第２モニタリング対象ビデオセグメントについて、推論されたイベントを出力し、上記モニタリングインタフェースは、上記モニタリング対象ビデオセグメントのうちの上記第２モニタリング対象ビデオセグメントについて検出されたオペレータの判断から上記オペレータイベントラベルのうちの第２オペレータイベントラベルを生成し、上記モニタリングステーションは更に、上記推論されたイベントと、上記オペレータイベントラベルのうちの上記第２オペレータイベントラベルとを比較して、更新訓練データを取得するコンパレータを含む。
【0100】
例８は例７の主題を含み、上記ニューラルネットワークは、上記モニタリングステーションと通信して上記更新訓練データを受信し、上記訓練エンジンは、上記更新訓練データに基づいて上記推論エンジンの上記第１インスタンスを再訓練する。
【0101】
例９は、コンピュータ可読命令を含む少なくとも１つの非一時的コンピュータ可読記憶媒体を含み、上記コンピュータ可読命令は少なくとも、１または複数のプロセッサに、オペレータラベル付与ビデオセグメントの訓練セットに基づいて、推論エンジンの第１インスタンスを訓練することであって、上記オペレータラベル付与ビデオセグメントは、参照ビデオセグメント、および、上記参照ビデオセグメントを記述する、対応する参照イベントラベルを含み、上記推論エンジンの上記第１インスタンスは、上記訓練セットに含まれる上記オペレータラベル付与ビデオセグメントからイベントを推論する、ことと、モニタリング対象ビデオフィードからイベントを推論するための上記推論エンジンの第２インスタンスをデプロイすることであって、上記推論エンジンの上記第２インスタンスは、上記推論エンジンの上記第１インスタンスに基づく、こととを実行させる。
【0102】
例９は例１０の主題を含み、参照イベントラベルは、対応する参照ビデオセグメントが定義されたイベントを表現するかどうかを示す。
【0103】
例１１は例９および／または１０の主題を含み、参照ビデオセグメントのうちの第１参照ビデオセグメントに対応する参照イベントラベルのうちの第１参照イベントラベルは、（ｉ）イベントの種類および（ｉｉ）参照ビデオセグメントのうちの第１参照ビデオセグメントがイベントの種類を表現するかどうかを示す。
【0104】
例１２は例９から１１のうち１または複数の主題を含み、上記コンピュータ可読命令は実行されるとき、上記１または複数のプロセッサに、参照ビデオセグメントのうちの第１参照ビデオセグメントと、参照イベントラベルのうちの対応する第１参照イベントラベルとをモニタリングステーションから取得することを行わせる。
【0105】
例１３は例１２の主題を含み、上記コンピュータ可読命令は、実行されるとき、上記１または複数のプロセッサに、上記推論エンジンの上記第２インスタンスを上記モニタリングステーションにデプロイさせる。
【0106】
例１４は例１３の主題を含み、上記推論エンジンの上記第２インスタンスが最初にモニタリングステーションにデプロイされるとき、上記推論エンジンの上記第２インスタンスは、上記推論エンジンの上記第１インスタンスの複製である。
【0107】
例１５は例１３の主題を含み、上記モニタリングステーションは、（ｉ）上記モニタリング対象ビデオフィードのセグメントについて上記推論エンジンの上記第２インスタンスによって出力された、推論されたイベントと、（ｉｉ）上記モニタリング対象ビデオフィードの上記セグメントについて上記モニタリングステーションによって生成されたオペレータイベントラベルとを比較することによって更新訓練データを取得し、上記コンピュータ可読命令は、実行されるとき、上記１または複数のプロセッサに、上記更新訓練データに基づいて上記推論エンジンの上記第１インスタンスを再訓練することを更に行わせる。
【0108】
例１６は、オペレータラベル付与ビデオセグメントを取得するための手段を含む装置であり、オペレータラベル付与ビデオセグメントは、参照ビデオセグメント、および、参照ビデオセグメントを記述する、対応する参照イベントラベルを含む。例１６の装置はまた、上記オペレータラベル付与ビデオセグメントの訓練セットに基づいて、推論エンジンの第１インスタンスを訓練するための手段を含み、上記推論エンジンの上記第１インスタンスは、上記訓練セットに含まれる上記オペレータラベル付与ビデオセグメントからイベントを推論する。例１６の装置は更に、モニタリング対象ビデオフィードからイベントを推論する上記推論エンジンの第２インスタンスをデプロイするための手段を含み、上記推論エンジンの上記第２インスタンスは、上記推論エンジンの上記第１インスタンスに基づく。
【0109】
例１７は例１６の主題を含み、参照イベントラベルは、対応する参照ビデオセグメントが定義されたイベントを表現するかどうかを示す。
【0110】
例１８は例１６および／または１７の主題を含み、参照ビデオセグメントのうちの第１参照ビデオセグメントに対応する参照イベントラベルのうちの第１参照イベントラベルは、（ｉ）イベントの種類および（ｉｉ）参照ビデオセグメントのうちの第１参照ビデオセグメントがイベントの種類を表現するかどうかを示す。
【0111】
例１９は例１６から１８の１または複数の主題を含み、オペレータラベル付与ビデオセグメントのレコードを取得するための手段は、参照ビデオセグメントのうちの第１参照ビデオセグメント、および、参照イベントラベルのうちの対応する第１参照イベントラベルをモニタリングステーションから取得するためのものである。
【0112】
例２０は例１９の主題を含み、上記推論エンジンの上記第２インスタンスをデプロイするための上記手段は、上記推論エンジンの上記第２インスタンスを上記モニタリングステーションにデプロイするためのものである。
【0113】
例２１は例２０の主題を含み、上記推論エンジンの上記第２インスタンスが最初にモニタリングステーションにデプロイされるとき、上記推論エンジンの上記第２インスタンスは、上記推論エンジンの上記第１インスタンスの複製である。
【0114】
例２２は例２０の主題を含み、上記モニタリングステーションは、（ｉ）上記モニタリング対象ビデオフィードのセグメントについて、上記推論エンジンの上記第２インスタンスによって出力された、推論されたイベントと、（ｉｉ）上記モニタリング対象ビデオフィードの上記セグメントについて、上記モニタリングステーションによって生成されたオペレータイベントラベルとを比較することによって更新訓練データを取得するためのものであり、上記推論エンジンの上記第１インスタンスを訓練するための上記手段は更に、上記更新訓練データに基づいて上記推論エンジンの上記第１インスタンスを再訓練するためのものである。
【0115】
例２３は、ビデオ監視方法であり、当該方法は、少なくとも１つのプロセッサを用いて命令を実行することによって、オペレータラベル付与ビデオセグメントの訓練セットに基づいて、推論エンジンの第１インスタンスを訓練する段階であって、上記オペレータラベル付与ビデオセグメントは、参照ビデオセグメント、および、上記参照ビデオセグメントを記述する、対応する参照イベントラベルを含み、上記推論エンジンの上記第１インスタンスは、上記訓練セットに含まれる上記オペレータラベル付与ビデオセグメントからイベントを推論する、段階を備える。例２３のビデオ監視方法はまた、少なくとも１つのプロセッサを用いて命令を実行することによって、モニタリング対象ビデオフィードからイベントを推論する上記推論エンジンの第２インスタンスをデプロイするための段階を含み、上記推論エンジンの上記第２インスタンスは、上記推論エンジンの上記第１インスタンスに基づく。
【0116】
例２４は例２３の主題を含み、参照イベントラベルは、対応する参照ビデオセグメントが定義されたイベントを表現するかどうかを示す。
【0117】
例２５は例２３および／または２４の主題を含み、参照ビデオセグメントのうちの第１参照ビデオセグメントに対応する参照イベントラベルのうちの第１参照イベントラベルは、（ｉ）イベントの種類および（ｉｉ）参照ビデオセグメントのうちの第１参照ビデオセグメントがイベントの種類を表現するかどうかを示す。
【0118】
例２６は例２３から２５の１または複数の主題を含み、上記オペレータラベル付与ビデオセグメントの上記レコードへのアクセスは、参照ビデオセグメントのうちの第１参照ビデオセグメント、および、参照イベントラベルのうちの対応する第１参照イベントラベルをモニタリングステーションから取得することを含む。
【0119】
例２７は例２６の主題を含み、上記推論エンジンの上記第２インスタンスをデプロイすることは、上記推論エンジンの上記第２インスタンスを上記モニタリングステーションにデプロイすることを含む。
【0120】
例２８は例２７の主題を含み、上記推論エンジンの上記第２インスタンスが最初にモニタリングステーションにデプロイされるとき、上記推論エンジンの上記第２インスタンスは、上記推論エンジンの上記第１インスタンスの複製である。
【0121】
例２９は例２７の主題を含み、上記モニタリングステーションは、（ｉ）上記モニタリング対象ビデオフィードのセグメントについて、上記推論エンジンの上記第２インスタンスによって出力された、推論されたイベントと、（ｉｉ）上記モニタリング対象ビデオフィードの上記セグメントについて、上記モニタリングステーションによって生成されたオペレータイベントラベルとを比較することによって更新訓練データを取得し、上記推論エンジンの上記第１インスタンスを訓練する上記段階は更に、上記更新訓練データに基づいて上記推論エンジンの上記第１インスタンスを再訓練する段階を含む。
【0122】
特定の例の方法、装置および製品が本明細書において開示されているが、本特許の網羅する範囲はこれらに限定されない。むしろ、本特許は、本特許の請求項の範囲に公正に含まれるすべての方法、装置および製品を網羅する。
他の可能な請求項
（項目１）
ビデオ監視システムであって、
オペレータラベル付与ビデオセグメントを格納するためのデータベースであって、上記オペレータラベル付与ビデオセグメントは、参照ビデオセグメントと、上記参照ビデオセグメントを記述する、対応する参照イベントラベルとを含む、データベースと、
ニューラルネットワークであって、
推論エンジンの第１インスタンスと、
上記データベースから取得された上記オペレータラベル付与ビデオセグメントの訓練セットに基づいて上記推論エンジンの上記第１インスタンスを訓練するための訓練エンジンであって、上記推論エンジンの上記第１インスタンスは、上記訓練セットに含まれる上記オペレータラベル付与ビデオセグメントからイベントを推論する、訓練エンジンと
を含むニューラルネットワークと、
モニタリング対象ビデオフィードからイベントを推論する上記推論エンジンの第２インスタンスであって、上記推論エンジンの上記第１インスタンスに基づく、上記推論エンジンの第２インスタンスと
を備えるビデオ監視システム。
（項目２）
上記参照イベントラベルは、対応する上記参照ビデオセグメントが定義されたイベントを表現するかどうかを示す、項目１に記載のビデオ監視システム。
（項目３）
上記参照ビデオセグメントのうちの第１参照ビデオセグメントに対応する上記参照イベントラベルのうちの第１参照イベントラベルは、（ｉ）イベントの種類および（ｉｉ）上記参照ビデオセグメントのうちの上記第１参照ビデオセグメントが上記イベントの種類を表現するかどうかを示す、項目１に記載のビデオ監視システム。
（項目４）
モニタリングステーションを更に備え、上記モニタリングステーションは、
上記モニタリング対象ビデオフィードのうちの第１モニタリング対象ビデオフィードを提示するためのディスプレイと、
上記モニタリング対象ビデオフィードのうちの上記第１モニタリング対象ビデオフィードのモニタリング対象ビデオセグメントに対応するオペレータの判断に基づいて、オペレータイベントラベルを生成するモニタリングインタフェースと
を含む、項目１に記載のビデオ監視システム。
（項目５）
上記データベースは上記モニタリングステーションと通信して、上記モニタリング対象ビデオセグメントのうちの第１モニタリング対象ビデオセグメントと、上記モニタリング対象ビデオセグメントのうちの上記第１モニタリング対象ビデオセグメントに対応する上記オペレータイベントラベルのうちの第１オペレータイベントラベルとを受信し、上記データベースは、上記モニタリング対象ビデオセグメントのうちの上記第１モニタリング対象ビデオセグメントと、上記オペレータイベントラベルのうちの対応する上記第１オペレータイベントラベルとを、上記オペレータラベル付与ビデオセグメントのうちの第１オペレータラベル付与ビデオセグメントに含まれる上記参照ビデオセグメントのうちの第１参照ビデオセグメント、および、上記参照イベントラベルのうちの対応する第１参照イベントラベルとして格納する、項目４に記載のビデオ監視システム。
（項目６）
上記モニタリングステーションは更に、上記推論エンジンの上記第２インスタンスを実装する、項目５に記載のビデオ監視システム。
（項目７）
上記推論エンジンの上記第２インスタンスは、上記モニタリング対象ビデオフィードのうちの上記第１モニタリング対象ビデオフィードのモニタリング対象ビデオセグメントのうちの第２モニタリング対象ビデオセグメントについて、推論されたイベントを出力し、上記モニタリングインタフェースは、上記モニタリング対象ビデオセグメントのうちの上記第２モニタリング対象ビデオセグメントについて検出されたオペレータの判断から上記オペレータイベントラベルのうちの第２オペレータイベントラベルを生成し、上記モニタリングステーションは更に、上記推論されたイベントと、上記オペレータイベントラベルのうちの上記第２オペレータイベントラベルとを比較して、更新訓練データを取得するコンパレータを含む、項目６に記載のビデオ監視システム。
（項目８）
上記ニューラルネットワークは、上記モニタリングステーションと通信して上記更新訓練データを受信し、上記訓練エンジンは、上記更新訓練データに基づいて上記推論エンジンの上記第１インスタンスを再訓練する、項目７に記載のビデオ監視システム。
（項目９）
コンピュータ可読命令を含む少なくとも１つの非一時的コンピュータ可読記憶媒体であって、上記コンピュータ可読命令は、１または複数のプロセッサに少なくとも、
オペレータラベル付与ビデオセグメントの訓練セットに基づいて、推論エンジンの第１インスタンスを訓練することであって、上記オペレータラベル付与ビデオセグメントは、参照ビデオセグメント、および、上記参照ビデオセグメントを記述する、対応する参照イベントラベルを含み、上記推論エンジンの上記第１インスタンスは、上記訓練セットに含まれる上記オペレータラベル付与ビデオセグメントからイベントを推論する、ことと、
モニタリング対象ビデオフィードからイベントを推論するための上記推論エンジンの第２インスタンスをデプロイすることであって、上記推論エンジンの上記第２インスタンスは、上記推論エンジンの上記第１インスタンスに基づく、ことと
を実行させる、少なくとも１つの非一時的コンピュータ可読記憶媒体。
（項目１０）
上記参照イベントラベルは、対応する上記参照ビデオセグメントが定義されたイベントを表現するかどうかを示す、項目９に記載の少なくとも１つの記憶媒体。
（項目１１）
参照ビデオセグメントのうちの第１参照ビデオセグメントに対応する参照イベントラベルのうちの第１参照イベントラベルは、（ｉ）イベントの種類および（ｉｉ）参照ビデオセグメントのうちの第１参照ビデオセグメントが上記イベントの種類を表現するかどうかを示す、項目９に記載の少なくとも１つの記憶媒体。
（項目１２）
上記コンピュータ可読命令は実行されるとき、上記１または複数のプロセッサに、参照ビデオセグメントのうちの第１参照ビデオセグメントと、参照イベントラベルのうちの対応する第１参照イベントラベルとをモニタリングステーションから取得することを行わせる、項目９に記載の少なくとも１つの記憶媒体。
（項目１３）
上記コンピュータ可読命令は、実行されるとき、上記１または複数のプロセッサに、上記推論エンジンの上記第２インスタンスを上記モニタリングステーションにデプロイさせる、項目１２に記載の少なくとも１つの記憶媒体。
（項目１４）
上記推論エンジンの上記第２インスタンスが最初にモニタリングステーションにデプロイされるとき、上記推論エンジンの上記第２インスタンスは、上記推論エンジンの上記第１インスタンスの複製である、項目１３に記載の少なくとも１つの記憶媒体。
（項目１５）
上記モニタリングステーションは、（ｉ）上記モニタリング対象ビデオフィードのセグメントについて上記推論エンジンの上記第２インスタンスによって出力された、推論されたイベントと、（ｉｉ）上記モニタリング対象ビデオフィードの上記セグメントについて上記モニタリングステーションによって生成されたオペレータイベントラベルとを比較することによって更新訓練データを取得し、上記コンピュータ可読命令は、実行されるとき、上記１または複数のプロセッサに、上記更新訓練データに基づいて上記推論エンジンの上記第１インスタンスを再訓練することを更に行わせる、項目１３に記載の少なくとも１つの記憶媒体。
（項目１６）
装置であって、
オペレータラベル付与ビデオセグメントを取得するための手段であって、上記オペレータラベル付与ビデオセグメントは、参照ビデオセグメント、および、上記参照ビデオセグメントを記述する、対応する参照イベントラベルを含む、手段と、
上記オペレータラベル付与ビデオセグメントの訓練セットに基づいて、推論エンジンの第１インスタンスを訓練するための手段であって、上記推論エンジンの上記第１インスタンスは、上記訓練セットに含まれる上記オペレータラベル付与ビデオセグメントからイベントを推論する、手段と、
モニタリング対象ビデオフィードからイベントを推論する上記推論エンジンの第２インスタンスをデプロイするための手段であって、上記推論エンジンの上記第２インスタンスは、上記推論エンジンの上記第１インスタンスに基づく、手段と
を備える装置。
（項目１７）
上記参照イベントラベルは、対応する上記参照ビデオセグメントが定義されたイベントを表現するかどうかを示す、項目１６に記載の装置。
（項目１８）
上記参照ビデオセグメントのうちの第１参照ビデオセグメントに対応する上記参照イベントラベルのうちの第１参照イベントラベルは、（ｉ）イベントの種類および（ｉｉ）上記参照ビデオセグメントのうちの上記第１参照ビデオセグメントが上記イベントの種類を表現するかどうかを示す、項目１６に記載の装置。
（項目１９）
上記オペレータラベル付与ビデオセグメントを取得するための上記手段は、上記参照ビデオセグメントのうちの第１参照ビデオセグメントと、上記参照イベントラベルのうちの対応する第１参照イベントラベルとのレコードをモニタリングステーションから取得するためのものである、項目１６に記載の装置。
（項目２０）
上記推論エンジンの上記第２インスタンスをデプロイするための上記手段は、上記推論エンジンの上記第２インスタンスを上記モニタリングステーションにデプロイするためのものである、項目１９に記載の装置。
（項目２１）
上記推論エンジンの上記第２インスタンスが上記モニタリングステーションに最初にデプロイされるとき、上記推論エンジンの上記第２インスタンスは、上記推論エンジンの上記第１インスタンスの複製である、項目２０に記載の装置。
（項目２２）
上記モニタリングステーションは、（ｉ）上記モニタリング対象ビデオフィードのセグメントについて、上記推論エンジンの上記第２インスタンスによって出力された、推論されたイベントと、（ｉｉ）上記モニタリング対象ビデオフィードの上記セグメントについて、上記モニタリングステーションによって生成されたオペレータイベントラベルとを比較することによって更新訓練データを取得するためのものであり、上記推論エンジンの上記第１インスタンスを訓練するための上記手段は更に、上記更新訓練データに基づいて上記推論エンジンの上記第１インスタンスを再訓練するためのものである、項目２０に記載の装置。
（項目２３）
ビデオ監視方法であって、
少なくとも１つのプロセッサを用いて命令を実行することによって、オペレータラベル付与ビデオセグメントの訓練セットに基づいて、推論エンジンの第１インスタンスを訓練する段階であって、上記オペレータラベル付与ビデオセグメントは、参照ビデオセグメント、および、上記参照ビデオセグメントを記述する、対応する参照イベントラベルを含み、上記推論エンジンの上記第１インスタンスは、上記訓練セットに含まれる上記オペレータラベル付与ビデオセグメントからイベントを推論する、段階と、
上記少なくとも１つのプロセッサを用いて命令を実行することによって、モニタリング対象ビデオフィードからイベントを推論するための上記推論エンジンの第２インスタンスをデプロイする段階であって、上記推論エンジンの上記第２インスタンスは、上記推論エンジンの上記第１インスタンスに基づく、段階と
を備える方法。
（項目２４）
上記参照イベントラベルは、対応する上記参照ビデオセグメントが定義されたイベントを表現するかどうかを示す、項目２３に記載の方法。
（項目２５）
上記参照ビデオセグメントのうちの第１参照ビデオセグメントに対応する上記参照イベントラベルのうちの第１参照イベントラベルは、（ｉ）イベントの種類および（ｉｉ）上記参照ビデオセグメントのうちの上記第１参照ビデオセグメントが上記イベントの種類を表現するかどうかを示す、項目２３に記載の方法。
（項目２６）
上記オペレータラベル付与ビデオセグメントの上記レコードへのアクセスは、参照ビデオセグメントのうちの第１参照ビデオセグメント、および、参照イベントラベルのうちの対応する第１参照イベントラベルをモニタリングステーションから取得することを含む、項目２３に記載の方法。
（項目２７）
上記推論エンジンの上記第２インスタンスをデプロイすることは、上記推論エンジンの上記第２インスタンスを上記モニタリングステーションにデプロイすることを含む、項目２６に記載の方法。
（項目２８）
上記推論エンジンの上記第２インスタンスが上記モニタリングステーションに最初にデプロイされるとき、上記推論エンジンの上記第２インスタンスは、上記推論エンジンの上記第１インスタンスの複製である、項目２７に記載の方法。
（項目２９）
上記モニタリングステーションは、（ｉ）上記モニタリング対象ビデオフィードのセグメントについて、上記推論エンジンの上記第２インスタンスによって出力された、推論されたイベントと、（ｉｉ）上記モニタリング対象ビデオフィードの上記セグメントについて、上記モニタリングステーションによって生成されたオペレータイベントラベルとを比較することによって更新訓練データを取得し、上記推論エンジンの上記第１インスタンスを訓練する上記段階は更に、上記更新訓練データに基づいて上記推論エンジンの上記第１インスタンスを再訓練する段階を含む、項目２７に記載の方法。
他の可能な請求項
（項目１）
ビデオ監視システムであって、
オペレータラベル付与ビデオセグメントを格納するためのデータベースであって、上記オペレータラベル付与ビデオセグメントは、参照ビデオセグメントと、上記参照ビデオセグメントを記述する、対応する参照イベントラベルとを含む、データベースと、
ニューラルネットワークであって、
推論エンジンの第１インスタンスと、
上記データベースから取得された上記オペレータラベル付与ビデオセグメントの訓練セットに基づいて上記推論エンジンの上記第１インスタンスを訓練するための訓練エンジンであって、上記推論エンジンの上記第１インスタンスは、上記訓練セットに含まれる上記オペレータラベル付与ビデオセグメントからイベントを推論する、訓練エンジンと
を含むニューラルネットワークと、
モニタリング対象ビデオフィードからイベントを推論する上記推論エンジンの第２インスタンスであって、上記推論エンジンの上記第１インスタンスに基づく、上記推論エンジンの第２インスタンスと
を備えるビデオ監視システム。
（項目２）
上記参照イベントラベルは、対応する上記参照ビデオセグメントが定義されたイベントを表現するかどうかを示す、項目１に記載のビデオ監視システム。
（項目３）
上記参照ビデオセグメントのうちの第１参照ビデオセグメントに対応する上記参照イベントラベルのうちの第１参照イベントラベルは、（ｉ）イベントの種類および（ｉｉ）上記参照ビデオセグメントのうちの上記第１参照ビデオセグメントが上記イベントの種類を表現するかどうかを示す、項目１に記載のビデオ監視システム。
（項目４）
モニタリングステーションを更に備え、上記モニタリングステーションは、
上記モニタリング対象ビデオフィードのうちの第１モニタリング対象ビデオフィードを提示するためのディスプレイと、
上記モニタリング対象ビデオフィードのうちの上記第１モニタリング対象ビデオフィードのモニタリング対象ビデオセグメントに対応するオペレータの判断に基づいて、オペレータイベントラベルを生成するモニタリングインタフェースと
を含む、項目１に記載のビデオ監視システム。
（項目５）
上記データベースは上記モニタリングステーションと通信して、上記モニタリング対象ビデオセグメントのうちの第１モニタリング対象ビデオセグメントと、上記モニタリング対象ビデオセグメントのうちの上記第１モニタリング対象ビデオセグメントに対応する上記オペレータイベントラベルのうちの第１オペレータイベントラベルとを受信し、上記データベースは、上記モニタリング対象ビデオセグメントのうちの上記第１モニタリング対象ビデオセグメントと、上記オペレータイベントラベルのうちの対応する上記第１オペレータイベントラベルとを、上記オペレータラベル付与ビデオセグメントのうちの第１オペレータラベル付与ビデオセグメントに含まれる上記参照ビデオセグメントのうちの第１参照ビデオセグメント、および、上記参照イベントラベルのうちの対応する第１参照イベントラベルとして格納する、項目４に記載のビデオ監視システム。
（項目６）
上記モニタリングステーションは更に、上記推論エンジンの上記第２インスタンスを実装する、項目５に記載のビデオ監視システム。
（項目７）
上記推論エンジンの上記第２インスタンスは、上記モニタリング対象ビデオフィードのうちの上記第１モニタリング対象ビデオフィードのモニタリング対象ビデオセグメントのうちの第２モニタリング対象ビデオセグメントについて、推論されたイベントを出力し、上記モニタリングインタフェースは、上記モニタリング対象ビデオセグメントのうちの上記第２モニタリング対象ビデオセグメントについて検出されたオペレータの判断から上記オペレータイベントラベルのうちの第２オペレータイベントラベルを生成し、上記モニタリングステーションは更に、上記推論されたイベントと、上記オペレータイベントラベルのうちの上記第２オペレータイベントラベルとを比較して、更新訓練データを取得するコンパレータを含む、項目６に記載のビデオ監視システム。
（項目８）
上記ニューラルネットワークは、上記モニタリングステーションと通信して上記更新訓練データを受信し、上記訓練エンジンは、上記更新訓練データに基づいて上記推論エンジンの上記第１インスタンスを再訓練する、項目７に記載のビデオ監視システム。
（項目９）
コンピュータ可読命令を含む少なくとも１つの非一時的コンピュータ可読記憶媒体であって、上記コンピュータ可読命令は、１または複数のプロセッサに少なくとも、
オペレータラベル付与ビデオセグメントの訓練セットに基づいて、推論エンジンの第１インスタンスを訓練することであって、上記オペレータラベル付与ビデオセグメントは、参照ビデオセグメント、および、上記参照ビデオセグメントを記述する、対応する参照イベントラベルを含み、上記推論エンジンの上記第１インスタンスは、上記訓練セットに含まれる上記オペレータラベル付与ビデオセグメントからイベントを推論する、ことと、
モニタリング対象ビデオフィードからイベントを推論するための上記推論エンジンの第２インスタンスをデプロイすることであって、上記推論エンジンの上記第２インスタンスは、上記推論エンジンの上記第１インスタンスに基づく、ことと
を実行させる、少なくとも１つの非一時的コンピュータ可読記憶媒体。
（項目１０）
上記参照イベントラベルは、対応する上記参照ビデオセグメントが定義されたイベントを表現するかどうかを示す、項目９に記載の少なくとも１つの記憶媒体。
（項目１１）
参照ビデオセグメントのうちの第１参照ビデオセグメントに対応する参照イベントラベルのうちの第１参照イベントラベルは、（ｉ）イベントの種類および（ｉｉ）参照ビデオセグメントのうちの第１参照ビデオセグメントが上記イベントの種類を表現するかどうかを示す、項目９に記載の少なくとも１つの記憶媒体。
（項目１２）
上記コンピュータ可読命令は実行されるとき、上記１または複数のプロセッサに、参照ビデオセグメントのうちの第１参照ビデオセグメントと、参照イベントラベルのうちの対応する第１参照イベントラベルとをモニタリングステーションから取得することを行わせる、項目９に記載の少なくとも１つの記憶媒体。
（項目１３）
上記コンピュータ可読命令は、実行されるとき、上記１または複数のプロセッサに、上記推論エンジンの上記第２インスタンスを上記モニタリングステーションにデプロイさせる、項目１２に記載の少なくとも１つの記憶媒体。
（項目１４）
上記推論エンジンの上記第２インスタンスが最初にモニタリングステーションにデプロイされるとき、上記推論エンジンの上記第２インスタンスは、上記推論エンジンの上記第１インスタンスの複製である、項目１３に記載の少なくとも１つの記憶媒体。
（項目１５）
上記モニタリングステーションは、（ｉ）上記モニタリング対象ビデオフィードのセグメントについて上記推論エンジンの上記第２インスタンスによって出力された、推論されたイベントと、（ｉｉ）上記モニタリング対象ビデオフィードの上記セグメントについて上記モニタリングステーションによって生成されたオペレータイベントラベルとを比較することによって更新訓練データを取得し、上記コンピュータ可読命令は、実行されるとき、上記１または複数のプロセッサに、上記更新訓練データに基づいて上記推論エンジンの上記第１インスタンスを再訓練することを更に行わせる、項目１３に記載の少なくとも１つの記憶媒体。
（項目１６）
装置であって、
オペレータラベル付与ビデオセグメントを取得するための手段であって、上記オペレータラベル付与ビデオセグメントは、参照ビデオセグメント、および、上記参照ビデオセグメントを記述する、対応する参照イベントラベルを含む、手段と、
上記オペレータラベル付与ビデオセグメントの訓練セットに基づいて、推論エンジンの第１インスタンスを訓練するための手段であって、上記推論エンジンの上記第１インスタンスは、上記訓練セットに含まれる上記オペレータラベル付与ビデオセグメントからイベントを推論する、手段と、
モニタリング対象ビデオフィードからイベントを推論する上記推論エンジンの第２インスタンスをデプロイするための手段であって、上記推論エンジンの上記第２インスタンスは、上記推論エンジンの上記第１インスタンスに基づく、手段と
を備える装置。
（項目１７）
上記参照イベントラベルは、対応する上記参照ビデオセグメントが定義されたイベントを表現するかどうかを示す、項目１６に記載の装置。
（項目１８）
上記参照ビデオセグメントのうちの第１参照ビデオセグメントに対応する上記参照イベントラベルのうちの第１参照イベントラベルは、（ｉ）イベントの種類および（ｉｉ）上記参照ビデオセグメントのうちの上記第１参照ビデオセグメントが上記イベントの種類を表現するかどうかを示す、項目１６に記載の装置。
（項目１９）
上記オペレータラベル付与ビデオセグメントを取得するための上記手段は、上記参照ビデオセグメントのうちの第１参照ビデオセグメントと、上記参照イベントラベルのうちの対応する第１参照イベントラベルとのレコードをモニタリングステーションから取得するためのものである、項目１６に記載の装置。
（項目２０）
上記推論エンジンの上記第２インスタンスをデプロイするための上記手段は、上記推論エンジンの上記第２インスタンスを上記モニタリングステーションにデプロイするためのものである、項目１９に記載の装置。
（項目２１）
上記推論エンジンの上記第２インスタンスが上記モニタリングステーションに最初にデプロイされるとき、上記推論エンジンの上記第２インスタンスは、上記推論エンジンの上記第１インスタンスの複製である、項目２０に記載の装置。
（項目２２）
上記モニタリングステーションは、（ｉ）上記モニタリング対象ビデオフィードのセグメントについて、上記推論エンジンの上記第２インスタンスによって出力された、推論されたイベントと、（ｉｉ）上記モニタリング対象ビデオフィードの上記セグメントについて、上記モニタリングステーションによって生成されたオペレータイベントラベルとを比較することによって更新訓練データを取得するためのものであり、上記推論エンジンの上記第１インスタンスを訓練するための上記手段は更に、上記更新訓練データに基づいて上記推論エンジンの上記第１インスタンスを再訓練するためのものである、項目２０に記載の装置。
（項目２３）
ビデオ監視方法であって、
少なくとも１つのプロセッサを用いて命令を実行することによって、オペレータラベル付与ビデオセグメントの訓練セットに基づいて、推論エンジンの第１インスタンスを訓練する段階であって、上記オペレータラベル付与ビデオセグメントは、参照ビデオセグメント、および、上記参照ビデオセグメントを記述する、対応する参照イベントラベルを含み、上記推論エンジンの上記第１インスタンスは、上記訓練セットに含まれる上記オペレータラベル付与ビデオセグメントからイベントを推論する、段階と、
上記少なくとも１つのプロセッサを用いて命令を実行することによって、モニタリング対象ビデオフィードからイベントを推論するための上記推論エンジンの第２インスタンスをデプロイする段階であって、上記推論エンジンの上記第２インスタンスは、上記推論エンジンの上記第１インスタンスに基づく、段階と
を備える方法。
（項目２４）
上記参照イベントラベルは、対応する上記参照ビデオセグメントが定義されたイベントを表現するかどうかを示す、項目２３に記載の方法。
（項目２５）
上記参照ビデオセグメントのうちの第１参照ビデオセグメントに対応する上記参照イベントラベルのうちの第１参照イベントラベルは、（ｉ）イベントの種類および（ｉｉ）上記参照ビデオセグメントのうちの上記第１参照ビデオセグメントが上記イベントの種類を表現するかどうかを示す、項目２３に記載の方法。
（項目２６）
上記オペレータラベル付与ビデオセグメントの上記レコードへのアクセスは、参照ビデオセグメントのうちの第１参照ビデオセグメント、および、参照イベントラベルのうちの対応する第１参照イベントラベルをモニタリングステーションから取得することを含む、項目２３に記載の方法。
（項目２７）
上記推論エンジンの上記第２インスタンスをデプロイすることは、上記推論エンジンの上記第２インスタンスを上記モニタリングステーションにデプロイすることを含む、項目２６に記載の方法。
（項目２８）
上記推論エンジンの上記第２インスタンスが上記モニタリングステーションに最初にデプロイされるとき、上記推論エンジンの上記第２インスタンスは、上記推論エンジンの上記第１インスタンスの複製である、項目２７に記載の方法。
（項目２９）
上記モニタリングステーションは、（ｉ）上記モニタリング対象ビデオフィードのセグメントについて、上記推論エンジンの上記第２インスタンスによって出力された、推論されたイベントと、（ｉｉ）上記モニタリング対象ビデオフィードの上記セグメントについて、上記モニタリングステーションによって生成されたオペレータイベントラベルとを比較することによって更新訓練データを取得し、上記推論エンジンの上記第１インスタンスを訓練する上記段階は更に、上記更新訓練データに基づいて上記推論エンジンの上記第１インスタンスを再訓練する段階を含む、項目２７に記載の方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
