ホーム > 特許ランキング > ローレルバンクマシン株式会社
▶ ローレルバンクマシン株式会社の特許一覧 ▶ ローレル機械株式会社の特許一覧 ▶ ローレル精機株式会社の特許一覧
特開2022-131084動画像解析支援装置、動画像解析支援システムおよびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022131084
(43)【公開日】2022-09-07
(54)【発明の名称】動画像解析支援装置、動画像解析支援システムおよびプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20220831BHJP
H04N 5/92 20060101ALI20220831BHJP
H04N 5/77 20060101ALI20220831BHJP
G06T 7/00 20170101ALI20220831BHJP
G08B 25/00 20060101ALI20220831BHJP
G08B 13/196 20060101ALI20220831BHJP
【ＦＩ】
H04N7/18 D
H04N5/92 010
H04N5/77
H04N7/18 K
G06T7/00 300
G08B25/00 510M
G08B13/196
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2021029825
(22)【出願日】2021-02-26
(71)【出願人】
【識別番号】000116079
【氏名又は名称】ローレルバンクマシン株式会社
(71)【出願人】
【識別番号】500267170
【氏名又は名称】ローレル機械株式会社
(71)【出願人】
【識別番号】500265501
【氏名又は名称】ローレル精機株式会社
(74)【代理人】
【識別番号】100141139
【弁理士】
【氏名又は名称】及川 周
(74)【代理人】
【識別番号】100161702
【弁理士】
【氏名又は名称】橋本 宏之
(74)【代理人】
【識別番号】100189348
【弁理士】
【氏名又は名称】古都 智
(72)【発明者】
【氏名】荒木 賛
(72)【発明者】
【氏名】佐原 僚介
(72)【発明者】
【氏名】島村 克気
【テーマコード（参考）】
5C053
5C054
5C084
5C087
5L096
【Ｆターム（参考）】
5C053GB06
5C053JA21
5C053LA01
5C053LA06
5C053LA11
5C053LA14
5C054CE14
5C054EA07
5C054FC12
5C054FE05
5C054FE13
5C054FE28
5C054GB00
5C054GD09
5C054HA19
5C084AA02
5C084AA03
5C084AA09
5C084AA13
5C084BB11
5C084CC16
5C084CC31
5C084DD11
5C084EE01
5C084GG78
5C084HH10
5C087AA09
5C087BB74
5C087DD05
5C087EE11
5C087FF01
5C087FF04
5C087GG02
5C087GG06
5C087GG10
5C087GG19
5L096BA02
5L096CA02
5L096DA02
5L096HA02
5L096HA08
(57)【要約】
【課題】監視カメラの映像から業務が正しくなされているかを容易に確認することができるよう、管理者を支援する。
【解決手段】取得部は、業務を行う空間を撮像する撮像装置が撮像した動画像データを取得する。設定部は、動画像データのフレームにおいて業務が正しく実行された状態又は業務が正しく実行されなかった状態を規定する検出条件を示す業務ルールの設定を受け付ける。判定部は、動画像データから検出条件を満たすフレームが存在するか否かを判定する。生成部は、検出条件に規定されたフレームを示すインデックスデータを生成する。
【選択図】図１
【解決手段】取得部は、業務を行う空間を撮像する撮像装置が撮像した動画像データを取得する。設定部は、動画像データのフレームにおいて業務が正しく実行された状態又は業務が正しく実行されなかった状態を規定する検出条件を示す業務ルールの設定を受け付ける。判定部は、動画像データから検出条件を満たすフレームが存在するか否かを判定する。生成部は、検出条件に規定されたフレームを示すインデックスデータを生成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
業務を行う空間を撮像する撮像装置が撮像した動画像データを取得する取得部と、
前記動画像データのフレームにおいて前記業務が正しく実行された状態又は前記業務が正しく実行されなかった状態を規定する検出条件を示す業務ルールの設定を受け付ける設定部と、
前記動画像データから前記検出条件を満たすフレームが存在するか否かを判定する判定部と、
前記検出条件に規定されたフレームを示すインデックスデータを生成する生成部と
を備える動画像解析支援装置。
前記動画像データのフレームにおいて前記業務が正しく実行された状態又は前記業務が正しく実行されなかった状態を規定する検出条件を示す業務ルールの設定を受け付ける設定部と、
前記動画像データから前記検出条件を満たすフレームが存在するか否かを判定する判定部と、
前記検出条件に規定されたフレームを示すインデックスデータを生成する生成部と
を備える動画像解析支援装置。
【請求項2】
前記業務ルールは、前記業務の開始条件及び終了条件を含み、
前記判定部は、前記開始条件が示すタイミングから前記終了条件が示すタイミングまでの間に、前記検出条件を満たすフレームが存在するか否かを判定する
請求項１に記載の動画像解析支援装置。
前記判定部は、前記開始条件が示すタイミングから前記終了条件が示すタイミングまでの間に、前記検出条件を満たすフレームが存在するか否かを判定する
請求項１に記載の動画像解析支援装置。
【請求項3】
前記取得された動画像データに適用する業務ルールを、業務別に設定された複数の業務ルールから選択する選択部を備え、
前記判定部は、選択された前記業務ルールに基づいて、前記動画像データに前記検出条件を満たすフレームが存在するか否かを判定する
請求項１又は請求項２に記載の動画像解析支援装置。
前記判定部は、選択された前記業務ルールに基づいて、前記動画像データに前記検出条件を満たすフレームが存在するか否かを判定する
請求項１又は請求項２に記載の動画像解析支援装置。
【請求項4】
前記動画像データを構成する複数のフレームから対象物を検出する検出部を備え、
前記検出条件は、前記対象物の検出状態を規定し、
前記判定部は、前記動画像データからの前記対象物の検出結果に基づいて、前記検出条件を満たすフレームが存在するか否かを判定する
請求項１から請求項３の何れか１項に記載の動画像解析支援装置。
前記検出条件は、前記対象物の検出状態を規定し、
前記判定部は、前記動画像データからの前記対象物の検出結果に基づいて、前記検出条件を満たすフレームが存在するか否かを判定する
請求項１から請求項３の何れか１項に記載の動画像解析支援装置。
【請求項5】
前記検出部は、前記対象物が検出されたフレームについて、検出された前記対象物の種別を特定し、
前記検出条件は、前記対象物の種別と、当該対象物の検出状態とを規定する
請求項４に記載の動画像解析支援装置。
前記検出条件は、前記対象物の種別と、当該対象物の検出状態とを規定する
請求項４に記載の動画像解析支援装置。
【請求項6】
前記検出部は、前記対象物の検出精度を特定し、
前記業務ルールは、前記対象物の検出状態を判定するための前記検出精度の閾値を含み、
前記判定部は、前記検出結果に含まれる検出精度と前記業務ルールに規定される前記閾値とを比較することで、前記検出条件を満たすフレームが存在するか否かを判定する
請求項４又は請求項５に記載の動画像解析支援装置。
前記業務ルールは、前記対象物の検出状態を判定するための前記検出精度の閾値を含み、
前記判定部は、前記検出結果に含まれる検出精度と前記業務ルールに規定される前記閾値とを比較することで、前記検出条件を満たすフレームが存在するか否かを判定する
請求項４又は請求項５に記載の動画像解析支援装置。
【請求項7】
前記業務ルールは、
種別が開いたキャビネットである前記対象物が検出されたことを示す開始条件、
種別が開いたキャビネットである前記対象物が検出されなくなったことを示す終了条件、
種別が人物である前記対象物が検出されなくなったことを示す前記検出条件
を含む請求項４から請求項６の何れか１項に記載の動画像解析支援装置。
種別が開いたキャビネットである前記対象物が検出されたことを示す開始条件、
種別が開いたキャビネットである前記対象物が検出されなくなったことを示す終了条件、
種別が人物である前記対象物が検出されなくなったことを示す前記検出条件
を含む請求項４から請求項６の何れか１項に記載の動画像解析支援装置。
【請求項8】
前記業務ルールは、
種別が人物である複数の前記対象物が検出されたことを示す開始条件、
種別が人物である複数の前記対象物が検出されなくなったことを示す終了条件、
種別が書類である前記対象物が検出されないこと、または種別が書類である前記対象物が前記フレームの所定領域で検出されなくなったことを示す前記検出条件
を含む請求項４から請求項７の何れか１項に記載の動画像解析支援装置。
種別が人物である複数の前記対象物が検出されたことを示す開始条件、
種別が人物である複数の前記対象物が検出されなくなったことを示す終了条件、
種別が書類である前記対象物が検出されないこと、または種別が書類である前記対象物が前記フレームの所定領域で検出されなくなったことを示す前記検出条件
を含む請求項４から請求項７の何れか１項に記載の動画像解析支援装置。
【請求項9】
前記業務ルールは、
種別が人物である前記対象物が検出されたことを示す開始条件、
前記開始条件が満たされてから所定時間が経過したことを示す終了条件、
種別が人物である前記対象物であって、前記開始条件に係る人物と異なる対象物が検出されないことを示す前記検出条件
を含む請求項４から請求項８の何れか１項に記載の動画像解析支援装置。
種別が人物である前記対象物が検出されたことを示す開始条件、
前記開始条件が満たされてから所定時間が経過したことを示す終了条件、
種別が人物である前記対象物であって、前記開始条件に係る人物と異なる対象物が検出されないことを示す前記検出条件
を含む請求項４から請求項８の何れか１項に記載の動画像解析支援装置。
【請求項10】
前記業務ルールは、
種別が人物である前記対象物が検出されたことを示す開始条件、
種別が人物である前記対象物が検出されなくなったことを示す終了条件、
種別が人物である前記対象物であって、前記開始条件に係る人物と異なる対象物が検出されないこと、または種別が所定の権限を有する人物である前記対象物が検出されないことを示す前記検出条件
を含む請求項４から請求項９の何れか１項に記載の動画像解析支援装置。
種別が人物である前記対象物が検出されたことを示す開始条件、
種別が人物である前記対象物が検出されなくなったことを示す終了条件、
種別が人物である前記対象物であって、前記開始条件に係る人物と異なる対象物が検出されないこと、または種別が所定の権限を有する人物である前記対象物が検出されないことを示す前記検出条件
を含む請求項４から請求項９の何れか１項に記載の動画像解析支援装置。
【請求項11】
請求項１から請求項１０の何れか１項に記載の動画像解析支援装置と、
前記インデックスデータに基づいて前記動画像データを再生する再生部と
を備える動画像解析支援システム。
前記インデックスデータに基づいて前記動画像データを再生する再生部と
を備える動画像解析支援システム。
【請求項12】
前記インデックスデータに、前記動画像データの再生による再生位置に係るフレームを示すインデックスを追加する追加部
を備える請求項１１に記載の動画像解析支援システム。
を備える請求項１１に記載の動画像解析支援システム。
【請求項13】
コンピュータに、
業務を行う空間を撮像する撮像装置が撮像した動画像データを取得するステップと、
前記動画像データのフレームにおいて前記業務が正しく実行された状態又は前記業務が正しく実行されなかった状態を規定する検出条件を示す業務ルールの設定を受け付けるステップと、
前記動画像データから前記検出条件を満たすフレームが存在するか否かを判定するステップと、
前記検出条件に規定されたフレームを示すインデックスデータを生成するステップと、
を実行させるためのプログラム。
業務を行う空間を撮像する撮像装置が撮像した動画像データを取得するステップと、
前記動画像データのフレームにおいて前記業務が正しく実行された状態又は前記業務が正しく実行されなかった状態を規定する検出条件を示す業務ルールの設定を受け付けるステップと、
前記動画像データから前記検出条件を満たすフレームが存在するか否かを判定するステップと、
前記検出条件に規定されたフレームを示すインデックスデータを生成するステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画像解析支援装置、動画像解析支援システムおよびプログラムに関する。
【背景技術】
【0002】
ある空間において不正な行為がなされてないかを監視するために、空間を撮像する監視カメラを設けることがある。監視カメラが撮像した映像は録画される。これにより、不正な行為の疑いが生じたときに、管理者は録画された動画像データを再生することで、不正な行為の有無を確認する。
【0003】
特許文献１には、監視カメラによって撮影された画像から状態を判定し、不正な行為がなされていないかを監視して、状態に応じたアナウンスを行う技術、及び録画された動画像データを再生することによって不正行為を確認させる技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１０－１２４１８６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、監視カメラによって撮像された動画像データは録画時間が長いことが多く、動画像データを視認して不正行為などの事象を特定することは、管理者の大きな負担となる。
本発明の目的は、監視カメラの映像から業務が正しくなされているかを容易に確認することができるよう、管理者を支援することができる動画像解析支援装置、動画像解析支援システムおよびプログラムを提供することにある。
本発明の目的は、監視カメラの映像から業務が正しくなされているかを容易に確認することができるよう、管理者を支援することができる動画像解析支援装置、動画像解析支援システムおよびプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本発明の第１の態様によれば、動画像解析支援装置は、業務を行う空間を撮像する撮像装置が撮像した動画像データを取得する取得部と、前記動画像データのフレームにおいて前記業務が正しく実行された状態又は前記業務が正しく実行されなかった状態を規定する検出条件を示す業務ルールの設定を受け付ける設定部と、前記動画像データから前記検出条件を満たすフレームが存在するか否かを判定する判定部と、前記検出条件に規定されたフレームを示すインデックスデータを生成する生成部とを備える。
【0007】
本発明の第２の態様によれば、動画像解析支援システムは、上記態様に係る動画像解析支援装置と、前記インデックスデータに基づいて前記動画像データを再生する再生部とを備える。
【0008】
本発明の第３の態様によれば、プログラムは、コンピュータに、業務を行う空間を撮像する撮像装置が撮像した動画像データを取得するステップと、前記動画像データのフレームにおいて前記業務が正しく実行された状態又は前記業務が正しく実行されなかった状態を規定する検出条件を示す業務ルールの設定を受け付けるステップと、前記動画像データから前記検出条件を満たすフレームが存在するか否かを判定するステップと、前記検出条件に規定されたフレームを示すインデックスデータを生成するステップと、を実行させる。
【発明の効果】
【0009】
上記の少なくとも１つの態様によれば、監視カメラの映像から業務が正しくなされているかを容易に確認することができるよう、管理者を支援することができる。
【図面の簡単な説明】
【0010】
【図1】第１の実施形態に係る動画像解析支援システムの構成図である。
【図2】第１の実施形態に係る動画像サーバの構成を示す概略ブロック図である。
【図3】第１の実施形態に係る分析結果ファイルの構成を示す図である。
【図4】第１の実施形態に係るクライアント端末の構成を示す概略ブロック図である。
【図5】第１の実施形態に係る動画像解析支援システムによる業務ルールの設定方法を示すフローチャートである。
【図6】第１の実施形態に係る分析対象選択画面の一例を示す図である。
【図7】第１の実施形態に係る業務ルール設定画面の一例を示す図である。
【図8】第１の実施形態に係る動画像サーバによる分析処理方法を示すフローチャートである。
【図9】第１の実施形態に係る動画像解析支援システムによる動画像データの再生方法を示すフローチャートである。
【図10】第１の実施形態に係る動画像選択画面の一例を示す図である。
【図11】第１の実施形態に係る再生画面の一例を示す図である。
【図12】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【0011】
〈第１の実施形態〉
《動画像解析支援システムの構成》
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態に係る動画像解析支援システム１の構成図である。動画像解析支援システム１は、管理者による不正行為の有無の監視を支援する。具体的には、動画像解析支援システム１は、監視カメラ１１が撮像した動画像データのうち不正行為の可能性のあるポイントにインデックスを付し、インデックスに基づいて動画像データを再生する。これにより管理者は、動画像データのうち不正行為の可能性のあるポイントを重点的に監視することができる。
《動画像解析支援システムの構成》
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態に係る動画像解析支援システム１の構成図である。動画像解析支援システム１は、管理者による不正行為の有無の監視を支援する。具体的には、動画像解析支援システム１は、監視カメラ１１が撮像した動画像データのうち不正行為の可能性のあるポイントにインデックスを付し、インデックスに基づいて動画像データを再生する。これにより管理者は、動画像データのうち不正行為の可能性のあるポイントを重点的に監視することができる。
【0012】
動画像解析支援システム１は、監視カメラ１１、動画像サーバ１３及びクライアント端末１５を備える。監視カメラ１１は、業務が行われる空間、すなわち監視対象の空間を撮像するように設けられる。例えば、監視カメラ１１は、銀行の支店に設けられる。動画像サーバ１３は、監視カメラ１１が撮像した動画像を記憶する。動画像サーバ１３は、動画像データを解析し、動画像データのうち不正行為の可能性のあるポイントを示すインデックスデータを生成する。クライアント端末１５は、動画像サーバ１３が生成したインデックスデータに基づいて動画像データを再生する。動画像サーバ１３及びクライアント端末１５は、銀行の本部に設けられる。動画像サーバ１３は、動画像解析支援装置の一例である。
【0013】
図２は、第１の実施形態に係る動画像サーバ１３の構成を示す概略ブロック図である。
動画像サーバ１３は、取得部１３１、動画像記憶部１３２、検出部１３３、設定部１３４、設定記憶部１３５、選択部１３６、判定部１３７、生成部１３８、出力部１３９を備える。
動画像サーバ１３は、取得部１３１、動画像記憶部１３２、検出部１３３、設定部１３４、設定記憶部１３５、選択部１３６、判定部１３７、生成部１３８、出力部１３９を備える。
【0014】
取得部１３１は、監視カメラ１１から動画像データを取得する。取得部１３１は、取得した動画像データを動画像記憶部１３２に記録する。
動画像記憶部１３２は、取得部１３１が取得した動画像データと、当該動画像データの分析結果を示す分析結果ファイルとを関連付けて記憶する。図３は、第１の実施形態に係る分析結果ファイルの構成を示す図である。図３に示すように、分析結果ファイルには、動画像データ情報、検出結果データ、インデックスデータ及びバージョンデータを含む。動画像データ情報は、分析対象の動画像データのメタデータである。動画像データ情報は、動画像データの形式、ファイル名、ファイルパス、ファイルサイズ、フレームレート及びフレーム数を含む。検出結果データは、動画像データから検出された対象物の情報を示す。検出結果データは、対象物が検出されたフレーム番号、検出された対象物の種別、検出の信頼度、対象物が検出された領域の座標（領域の左上座標位置）及び対象物が検出された領域のサイズ（高さ及び幅）を含む。インデックスデータは、業務ルールに応じた処理が検出されたフレームのインデックスを示す。インデックスデータは、業務ルールに応じた処理が検出されたフレーム番号、検出された処理に関するメッセージ、インデックスが手動（M:Manual）で付されたか自動（A:Automatic）で付されたかを示す記録種別、及び警告レベルを含む。警告レベルは、例えば、問題のない処理が検出されたことを示す「レベル０」、不正行為の疑いがある処理が検出されたことを示す「レベル１」、不正行為が検出されたことを示す「レベル２」の３種類で示される。バージョンデータは、分析結果ファイルのバージョンを示すデータである。バージョンデータは、分析結果ファイルの値の追加、変更又は削除がなされるたびに更新される。
動画像記憶部１３２は、取得部１３１が取得した動画像データと、当該動画像データの分析結果を示す分析結果ファイルとを関連付けて記憶する。図３は、第１の実施形態に係る分析結果ファイルの構成を示す図である。図３に示すように、分析結果ファイルには、動画像データ情報、検出結果データ、インデックスデータ及びバージョンデータを含む。動画像データ情報は、分析対象の動画像データのメタデータである。動画像データ情報は、動画像データの形式、ファイル名、ファイルパス、ファイルサイズ、フレームレート及びフレーム数を含む。検出結果データは、動画像データから検出された対象物の情報を示す。検出結果データは、対象物が検出されたフレーム番号、検出された対象物の種別、検出の信頼度、対象物が検出された領域の座標（領域の左上座標位置）及び対象物が検出された領域のサイズ（高さ及び幅）を含む。インデックスデータは、業務ルールに応じた処理が検出されたフレームのインデックスを示す。インデックスデータは、業務ルールに応じた処理が検出されたフレーム番号、検出された処理に関するメッセージ、インデックスが手動（M:Manual）で付されたか自動（A:Automatic）で付されたかを示す記録種別、及び警告レベルを含む。警告レベルは、例えば、問題のない処理が検出されたことを示す「レベル０」、不正行為の疑いがある処理が検出されたことを示す「レベル１」、不正行為が検出されたことを示す「レベル２」の３種類で示される。バージョンデータは、分析結果ファイルのバージョンを示すデータである。バージョンデータは、分析結果ファイルの値の追加、変更又は削除がなされるたびに更新される。
【0015】
検出部１３３は、取得部１３１が取得した動画像データから対象物を検出し、対象物が検出されたフレーム、検出された対象物の種別、対象物が検出された領域、及び検出の信頼度を示す検出結果データを出力する。具体的には、検出部１３３は、学習済みの物体検出モデルに動画像データの各フレームを入力し、各フレームについて対象物の検出処理を行う。物体検出モデルは、画像が入力されることで、当該画像に含まれる物体を含むバウンディングボックスの座標と、各バウンディングボックスに含まれる物体の種別とを出力するように学習されたモデルである。物体検出モデルは、動画像データのフレームである入力サンプルと、入力サンプルに含まれる物体を囲うバウンディングボックスと物体の種別の組み合わせである出力サンプルとからなる学習用データセットを用いて学習される。検出すべき物体の種別は、予め業務内容に鑑みた検討により、検出の対象となる可能性の高いものが選定される。対象物の検出結果を示す検出結果データは、検出対象の動画像データに関連付けて動画像記憶部１３２に記録される。
【0016】
設定部１３４は、監視対象の空間及び業務ごとに、業務の開始条件及び終了条件、並びに不正行為の検出条件を示す業務ルールの設定を受け付ける。開始条件及び検出条件は、検出すべき対象物の種別と、当該対象物の検出状態によって表される。検出状態は、対象物が検出されたか否か、対象物が検出された状態が継続されているか否か、及び対象物が検出されていない状態が継続されているか否か、から選択される。検出状態は、動画像データのフレームにおいて検出される領域の指定を含んでもよい。終了条件は、対象物の検出状態によって表されてもよいし、開始条件が満たされてからの経過時間によって表されてもよい。設定部１３４によって設定された業務ルールは、業務ルール名に関連付けて設定記憶部１３５に記録される。
【0017】
選択部１３６は、動画像記憶部１３２が記憶する各動画像データに、当該動画像データの監視に用いる業務ルールの選択を受け付ける。
判定部１３７は、検出部１３３による動画像データの解析結果と、当該動画像データに関連付けられた業務ルールとに基づいて、動画像データの各フレームについて、業務ルールの検出条件を満たすか否かを判定する。判定部１３７は、検出条件を満たすフレームのフレーム番号を特定する。
判定部１３７は、検出部１３３による動画像データの解析結果と、当該動画像データに関連付けられた業務ルールとに基づいて、動画像データの各フレームについて、業務ルールの検出条件を満たすか否かを判定する。判定部１３７は、検出条件を満たすフレームのフレーム番号を特定する。
【0018】
生成部１３８は、判定部１３７によって特定されたフレーム番号と、当該フレーム番号が示すフレームにおいて検出された検出条件とを関連付けたインデックスデータを生成する。
出力部１３９は、動画像記憶部１３２が記憶する分析結果ファイルをクライアント端末１５に出力する。
出力部１３９は、動画像記憶部１３２が記憶する分析結果ファイルをクライアント端末１５に出力する。
【0019】
図４は、第１の実施形態に係るクライアント端末１５の構成を示す概略ブロック図である。
クライアント端末１５は、表示制御部１５１、リクエスト部１５２、再生部１５３及び編集部１５４を備える。
表示制御部１５１は、動画像サーバ１３から受信する情報に基づいてディスプレイの表示を制御する。
リクエスト部１５２は、動画像サーバ１３に利用者の入力に基づくリクエストを送信する。
再生部１５３は、動画像サーバ１３から取得した動画像データを再生する。再生部１５３は、利用者からインデックスデータに基づくインデックスの指定を受け付けることで、動画像データの再生位置を指定する。
編集部１５４は、動画像サーバ１３が記憶する分析結果ファイルのインデックスデータを編集する。具体的には、編集部１５４は、再生部１５３によって再生されている動画像データの再生位置を示すインデックスを、インデックスデータに追加する。
クライアント端末１５は、表示制御部１５１、リクエスト部１５２、再生部１５３及び編集部１５４を備える。
表示制御部１５１は、動画像サーバ１３から受信する情報に基づいてディスプレイの表示を制御する。
リクエスト部１５２は、動画像サーバ１３に利用者の入力に基づくリクエストを送信する。
再生部１５３は、動画像サーバ１３から取得した動画像データを再生する。再生部１５３は、利用者からインデックスデータに基づくインデックスの指定を受け付けることで、動画像データの再生位置を指定する。
編集部１５４は、動画像サーバ１３が記憶する分析結果ファイルのインデックスデータを編集する。具体的には、編集部１５４は、再生部１５３によって再生されている動画像データの再生位置を示すインデックスを、インデックスデータに追加する。
【0020】
《業務ルールの設定方法》
図５は、第１の実施形態に係る動画像解析支援システム１による業務ルールの設定方法を示すフローチャートである。管理者は、クライアント端末１５を操作し、動画像サーバ１３にアクセスする。クライアント端末１５のリクエスト部１５２はルール情報のリクエストを動画像サーバ１３に送信する（ステップＳ１）。動画像サーバ１３の出力部１３９は、クライアント端末１５からルール情報のリクエストを受信すると、動画像記憶部１３２が記憶する動画像データのファイル名と、分析結果ファイルと、設定記憶部１３５が記憶する業務ルールとをクライアント端末１５に送信する（ステップＳ２）。
図５は、第１の実施形態に係る動画像解析支援システム１による業務ルールの設定方法を示すフローチャートである。管理者は、クライアント端末１５を操作し、動画像サーバ１３にアクセスする。クライアント端末１５のリクエスト部１５２はルール情報のリクエストを動画像サーバ１３に送信する（ステップＳ１）。動画像サーバ１３の出力部１３９は、クライアント端末１５からルール情報のリクエストを受信すると、動画像記憶部１３２が記憶する動画像データのファイル名と、分析結果ファイルと、設定記憶部１３５が記憶する業務ルールとをクライアント端末１５に送信する（ステップＳ２）。
【0021】
クライアント端末１５の表示制御部１５１は、動画像サーバ１３から受信した動画像データのファイル名と分析結果ファイルとに基づいて、分析対象選択画面を生成し、ディスプレイに表示する（ステップＳ３）。図６は、第１の実施形態に係る分析対象選択画面の一例を示す図である。分析対象選択画面には、複数の動画像データから分析対象を選択するための動画像リストｉ０１と、選択された動画像データの業務ルールの設定へ処理を進めるための設定開始ボタンｉ０２とが表示される。動画像リストｉ０１には、分析対象とするか否かの選択を受け付けるチェックボックスｉ０１１と、分析結果を示すマークｉ０１２と、ファイル名ｉ０１３とが含まれる。マークｉ０１２は、関連付けられた動画像データの分析が完了しているか否か、及び完了している場合に不正行為又は要確認行為が検出されたか否かを表す。なお、不正行為と要確認行為の両方が検出された場合には、マークｉ０１２は不正行為が検出されたことを示す態様で表示される。
【0022】
クライアント端末１５のリクエスト部１５２は、利用者の操作によって設定開始ボタンｉ０２が押下されたか否かを判定する（ステップＳ４）。設定開始ボタンｉ０２が押下されない場合（ステップＳ４：ＮＯ）、リクエスト部１５２は、ステップＳ４に処理を戻し、設定開始ボタンｉ０２の押下を待機する。他方、設定開始ボタンｉ０２が押下された場合（ステップＳ４：ＹＥＳ）、分析対象選択画面において、分析対象とする動画像データに関連付けられたチェックボックスｉ０１１がＯＮにされ、ボタンｉ０２が押下されると、クライアント端末１５の表示制御部１５１は、ステップＳ２で動画像サーバ１３から受信した動画像データのファイル名及び業務ルールに基づいて業務ルール設定画面を生成し、ディスプレイに表示する（ステップＳ５）。図７は、第１の実施形態に係る業務ルール設定画面の一例を示す図である。業務ルール設定画面には、動画像リストｉ１１と、ルールリストｉ１２と、ルール表示ペインｉ１３と、ルール追加ボタンｉ１４と、分析開始ボタンｉ１５とが含まれる。
【0023】
動画像リストｉ１１には、選択されたチェックボックスｉ０１１に係る動画像データのファイル名が表示される。動画像リストｉ１１は、複数の動画像データのうち１つ以上のファイルを選択可能に構成される。ルールリストｉ１２には、動画像サーバ１３から受信した業務ルールの名称が表示される。各業務ルールの名称にはチェックボックスが関連付けられており、動画像リストｉ１１において選択された動画像データに当該業務ルールを設定するか否かの選択を受け付ける。ルールリストｉ１２の業務ルールがクリックされると、ルール表示ペインｉ１３に当該業務ルールの内容が表示される。
ルール追加ボタンｉ１４は、押下により業務ルールの追加を受け付ける。分析開始ボタンｉ１５は、押下されることで、分析対象の動画像データそれぞれについて、関連付けられた業務ルールに基づく分析を実行する。
ルール追加ボタンｉ１４は、押下により業務ルールの追加を受け付ける。分析開始ボタンｉ１５は、押下されることで、分析対象の動画像データそれぞれについて、関連付けられた業務ルールに基づく分析を実行する。
【0024】
クライアント端末１５のリクエスト部１５２は、利用者の操作によってルール追加ボタンｉ１４が押下されたか否かを判定する（ステップＳ６）。ルール追加ボタンｉ１４が押下された場合（ステップＳ６：ＹＥＳ）、表示制御部１５１は、ルール作成画面をディスプレイに表示する（ステップＳ７）。ルール作成画面は、ルール名、開始条件、終了条件、検出条件、及び検出精度の入力を受け付けるフォームを含む。
【0025】
リクエスト部１５２は、業務ルールの開始条件として、動画像データから検出する対象物の種別と、検出状態との設定を受け付ける。対象物の種別は、動画像サーバ１３の検出部１３３が用いる物体検出モデルで検出可能な種別のリストから選択される。検出状態は、対象物が検出されない状態から検出された状態に変化したこと、対象物が検出された状態から検出されない状態に変化したことの何れかから選択される。また、検出状態のオプションとして、フレームの領域の設定を受け付け可能とする。
リクエスト部１５２は、業務ルールの終了条件として、対象物の検出状態または開始条件を満足した時点からの経過時間の設定を受け付ける。
リクエスト部１５２は、業務ルールの終了条件として、対象物の検出状態または開始条件を満足した時点からの経過時間の設定を受け付ける。
【0026】
リクエスト部１５２は、業務ルールの検出条件として、動画像データから検出する対象物の種別と、検出状態との設定を受け付ける。検出条件に係る検出状態は、対象物が検出されない状態から検出された状態に変化したこと、対象物が検出された状態から検出されない状態に変化したこと、終了条件を満たすまで対象物が検出されない状態から検出された状態に変化しなかったこと、終了条件を満たすまで対象物が検出された状態から検出されない状態に変化しなかったこと、の何れかから選択される。また、検出状態のオプションとして、フレームの領域の設定を受け付け可能とする。
リクエスト部１５２は、業務ルールにおける対象物の検出精度として、０超かつ１００以下の整数を受け付ける。なお、検出精度は、０から１．０までの数値によって表されてもよい。また検出精度は、数値の直接入力を受け付けてもよいし、スライダーによる入力を受け付けてもよい。この場合、スライダーの入力範囲を例えば７０以上１００以下に設定することで、検出精度の細かな数値の指定を受け付け可能に構成してもよい。
リクエスト部１５２は、業務ルールにおける対象物の検出精度として、０超かつ１００以下の整数を受け付ける。なお、検出精度は、０から１．０までの数値によって表されてもよい。また検出精度は、数値の直接入力を受け付けてもよいし、スライダーによる入力を受け付けてもよい。この場合、スライダーの入力範囲を例えば７０以上１００以下に設定することで、検出精度の細かな数値の指定を受け付け可能に構成してもよい。
【0027】
リクエスト部１５２は、利用者から業務ルールの入力を受け付けると、入力された業務ルールを動画像サーバ１３に送信する（ステップＳ８）。動画像サーバ１３の設定部１３４は、クライアント端末１５から業務ルールを受信すると、受信した業務ルールを業務ルール名に関連付けて設定記憶部１３５に記録する（ステップＳ９）。動画像解析支援システム１は、ステップＳ２に処理を戻し、追加された業務ルールを含む情報をクライアント端末１５に送信する。
【0028】
業務ルール設定画面においてルール追加ボタンｉ１４が押下されていない場合（ステップＳ６：ＮＯ）、リクエスト部１５２は、利用者の操作によって分析開始ボタンｉ１５が押下されたか否かを判定する（ステップＳ１０）。分析開始ボタンｉ１５が押下されていない場合（ステップＳ１０：ＮＯ）、リクエスト部１５２は、ステップＳ６に処理を戻し、ボタンの押下を監視する。
【0029】
分析開始ボタンｉ１５が押下された場合（ステップＳ１０：ＹＥＳ）、リクエスト部１５２は、動画像サーバ１３に動画像データの分析リクエストを送信する（ステップＳ１１）。分析リクエストには、動画像リストｉ１１に表示された各動画像データに、当該動画像データにおいてルールリストｉ１２においてＯＮになっているチェックボックスが示す業務ルールとの関係を示す情報が含まれる。動画像サーバ１３の選択部１３６は、分析リクエストの受信によって各動画像データに適用すべき業務ルールの選択を受け付ける（ステップＳ１２）。動画像サーバ１３は、動画像記憶部１３２が記憶する各動画像について、選択された業務ルールによる分析を行う（ステップＳ１３）。
【0030】
図８は、第１の実施形態に係る動画像サーバ１３による分析処理方法を示すフローチャートである。
動画像サーバ１３は、業務ルールによる分析を開始すると、動画像記憶部１３２に記録されている動画像データを１つずつ選択し（ステップＳ３１）、以下のステップＳ３２からステップＳ３９の処理を実行する。
動画像サーバ１３は、業務ルールによる分析を開始すると、動画像記憶部１３２に記録されている動画像データを１つずつ選択し（ステップＳ３１）、以下のステップＳ３２からステップＳ３９の処理を実行する。
【0031】
動画像サーバ１３の検出部１３３は、動画像記憶部１３２に、ステップＳ３１で選択された動画像データに関連付けられた検出結果データが存在するか否かを判定する（ステップＳ３２）。検出結果がない場合（ステップＳ３２：ＮＯ）、検出部１３３は、物体検出モデルを用いて、ステップＳ３１で選択された動画像データの各フレームから対象物を検出する（ステップＳ３３）。検出部１３３は、検出結果を示す検出結果データを、検出対象の動画像データに関連付けて動画像記憶部１３２に記録する（ステップＳ３４）。検出結果データには、フレームごとに、フレーム番号と、当該フレームにおいて検出された対象物の種別と、対象物を囲うバウンディングボックスの座標と、信頼度とを関連付けて記録される。生成部１３８は、ステップＳ３１で選択した動画像データに関連付けられたインデックスデータを初期化する（ステップＳ３５）。このとき、生成部１３８は、インデックスデータのうち、業務ルールによる分析によって付されたインデックス（記録種別がＡのインデックス）を削除し、管理者の手作業によって付されたインデックス（記録種別がＭのインデックス）を削除しない。
【0032】
次に、判定部１３７は、ステップＳ３１で選択した動画像データに適用すべき業務ルールとしてステップＳ１０で選択された業務ルールを１つずつ選択し（ステップＳ３６）、以下のステップＳ３７からステップＳ３９の処理を実行する。
【0033】
判定部１３７は、ステップＳ３１で選択した動画像データの分析結果ファイルに基づいて、ステップＳ３６で選択した業務ルールが示す開始条件を満たすフレーム（開始フレーム）及び終了条件を満たすフレーム（終了フレーム）を特定する（ステップＳ３７）。判定部１３７は、特定した開始フレームと、終了フレームとの間において、ステップＳ３６で選択した業務ルールが示す検出条件を満たすフレーム、及び検出条件を満たさなくなったフレームを特定する（ステップＳ３８）。なお、判定部１３７は、連続するフレームのうち所定フレーム数以下のフレーム（例えば１フレーム）において、開始条件、終了条件又は検出条件を満たすか否かの判定結果が異なる場合、検出漏れ又は誤検出とみなし、該当するフレームの判定結果を他のフレームの判定結果と揃える。例えば、連続する２０フレームのうち１９フレームにおいて検出条件を満たし、１フレームのみにおいて検出条件を満たさない場合、判定部１３７は、当該１フレームについて、検出条件を満たすものとして扱う。なお、検出漏れ又は誤検出とみなすフレーム数は、管理者の操作によって変更することができる。
【0034】
例えば、検出条件が対象物が検出されたことを示す場合、判定部１３７は、対象物が検出された状態を示す初めのフレームを、検出条件を満たすフレームとして特定する。他方、検出条件が対象物が検出されたことを示す場合において、開始フレームから終了フレームまでの間に対象物が検出されたフレームがない場合、終了フレームを、検出状態を満たさなくなったフレームとして特定する。
検出条件が対象物が検出されなくなったことを示す場合、判定部１３７は、対象物が検出されない状態を示す初めのフレームを、検出条件を満たすフレームとして特定する。他方、検出条件が対象物が検出されなくなったことを示す場合において、開始フレームから終了フレームまでの間に対象物が検出されないフレームがない場合、終了フレームを、検出状態を満たさなくなったフレームとして特定する。
検出条件が、対象物が検出された状態が継続されていることを示す場合、判定部１３７は、対象物が検出されない状態を示す初めのフレームを、検出条件を満たさなくなったフレームとして特定する。他方、検出条件が対象物が検出された状態が継続されていることを示す場合において、開始フレームから終了フレームまでの間に対象物が検出されないフレームがない場合、終了フレームを、検出状態を満たすフレームとして特定する。
検出条件が、対象物が検出されない状態が継続されていることを示す場合、判定部１３７は、対象物が検出された状態を示す初めのフレームを、検出条件を満たさなくなったフレームとして特定する。他方、検出条件が対象物が検出されない状態が継続されていることを示す場合において、開始フレームから終了フレームまでの間に対象物が検出されたフレームがない場合、終了フレームを、検出状態を満たすフレームとして特定する。
検出条件が対象物が検出されなくなったことを示す場合、判定部１３７は、対象物が検出されない状態を示す初めのフレームを、検出条件を満たすフレームとして特定する。他方、検出条件が対象物が検出されなくなったことを示す場合において、開始フレームから終了フレームまでの間に対象物が検出されないフレームがない場合、終了フレームを、検出状態を満たさなくなったフレームとして特定する。
検出条件が、対象物が検出された状態が継続されていることを示す場合、判定部１３７は、対象物が検出されない状態を示す初めのフレームを、検出条件を満たさなくなったフレームとして特定する。他方、検出条件が対象物が検出された状態が継続されていることを示す場合において、開始フレームから終了フレームまでの間に対象物が検出されないフレームがない場合、終了フレームを、検出状態を満たすフレームとして特定する。
検出条件が、対象物が検出されない状態が継続されていることを示す場合、判定部１３７は、対象物が検出された状態を示す初めのフレームを、検出条件を満たさなくなったフレームとして特定する。他方、検出条件が対象物が検出されない状態が継続されていることを示す場合において、開始フレームから終了フレームまでの間に対象物が検出されたフレームがない場合、終了フレームを、検出状態を満たすフレームとして特定する。
【0035】
生成部１３８は、ステップＳ３７及びステップＳ３８で特定したフレームを表すインデックスを、ステップＳ３５で初期化したインデックスデータに追加する（ステップＳ３９）。各インデックスは、図３に示すように、フレーム番号と、該当する状態を表すメッセージと、記録種別と、警告レベルとを示す。生成部１３８は、例えば不正行為を示す検出条件を満たすフレームにおいて、検出された対象物の信頼度が基準値より低い場合に警告レベルをレベル１とし、信頼度が基準値以上である場合に警告レベルをレベル２とする。当該基準値は、例えば業務ルールに設定された検出精度に所定値を加えた値であってよい。
【0036】
これにより、動画像サーバ１３は、各動画像データについて、ステップＳ１２で選択された業務ルールに該当するフレームのインデックスを記録したインデックスデータを生成することができる。
【0037】
《動画像データの再生方法》
図９は、第１の実施形態に係る動画像解析支援システム１による動画像データの再生方法を示すフローチャートである。管理者は、クライアント端末１５を操作し、動画像サーバ１３にアクセスする。クライアント端末１５のリクエスト部１５２は動画像情報のリクエストを動画像サーバ１３に送信する（ステップＳ５１）。動画像サーバ１３の出力部１３９は、クライアント端末１５から動画像情報のリクエストを受信すると、動画像記憶部１３２が記憶する動画像データのファイル名と、当該動画像データに関連付けられたインデックスデータとをクライアント端末１５に送信する（ステップＳ５２）。
図９は、第１の実施形態に係る動画像解析支援システム１による動画像データの再生方法を示すフローチャートである。管理者は、クライアント端末１５を操作し、動画像サーバ１３にアクセスする。クライアント端末１５のリクエスト部１５２は動画像情報のリクエストを動画像サーバ１３に送信する（ステップＳ５１）。動画像サーバ１３の出力部１３９は、クライアント端末１５から動画像情報のリクエストを受信すると、動画像記憶部１３２が記憶する動画像データのファイル名と、当該動画像データに関連付けられたインデックスデータとをクライアント端末１５に送信する（ステップＳ５２）。
【0038】
クライアント端末１５の表示制御部１５１は、動画像サーバ１３から受信した動画像データのファイル名及びインデックスデータに基づいて動画像選択画面を生成し、ディスプレイに表示する（ステップＳ５３）。図１０は、第１の実施形態に係る動画像選択画面の一例を示す図である。動画像選択画面には、動画像データごとに、ファイル名ｉ３１と、分析結果を示すマークｉ３２とが表示される。動画像選択画面は、複数の動画像データの１つを選択可能に構成される。動画像選択画面において、表示されるファイル名ｉ３１のうち１つが選択されると、選択された動画像データの再生画面が表示される。マークｉ３２は、関連付けられた動画像データの分析が完了しているか否か、及び完了している場合に不正行為が検出されたか否かを表す。つまり、表示制御部１５１は、動画像サーバ１３から受信したインデックスデータがない場合に、マークｉ３２として動画像データの分析が完了していないことを示すマークを付す。表示制御部１５１は、動画像サーバ１３から受信したインデックスデータが存在する場合において、当該分析結果ファイルに警告レベルが１又は２であるものが１つ以上存在する場合に、マークｉ３２として不正行為が検出されていることを示すマークを付す。表示制御部１５１は、動画像サーバ１３から受信したインデックスデータが存在する場合において、すべての警告レベルが０である場合に、マークｉ３２として不正行為が検出されていないことを示すマークを付す。
【0039】
なお、他の実施形態においては、表示制御部１５１は、不正行為の有無を示すマークｉ３２を、明らかな不正がある場合（警告レベルが２であるものが存在する場合）と疑わしい要確認である場合（警告レベルが２であるものが存在せず、警告レベルが１であるものが存在する場合）とに分けて表示を行ってもよい。
【0040】
クライアント端末１５のリクエスト部１５２は、利用者から１つの動画像データの選択を受け付けると、動画像サーバ１３に選択された動画像データのリクエストを送信する（ステップＳ５４）。動画像サーバ１３の取得部１３１は、動画像記憶部１３２から動画像データを取得し、クライアント端末１５に送信する（ステップＳ５５）。
【0041】
再生部１５３は、動画像データの再生画面を生成し、ディスプレイに表示させる（ステップＳ５６）。図９は、第１の実施形態に係る再生画面の一例を示す図である。再生画面には、動画像データの再生ペインｉ５１と、インデックスペインｉ５２と、コントロールペインｉ５３と、インデックス編集ボタンｉ５４とが表示される。
【0042】
再生ペインｉ５１には、動画像サーバ１３から配信された動画像データが表示される。表示されたフレームにおいて対象物が検出されている場合、再生ペインｉ５１には対象物を囲うバウンディングボックスと、対象物の種別及び信頼度が表示される。なお、バウンディングボックスの表示／非表示は管理者の操作によって切り替えることができる。インデックスペインｉ５２には、再生ペインｉ５１に表示される動画像データに関連付けられたインデックスデータが示すインデックスの一覧が表示される。インデックスペインｉ５２においてインデックスは、再生位置とメッセージの組み合わせで表される。また、インデックスペインｉ５２において、インデックスは、警告レベルによって異なる色で表される。これにより、管理者は動画像データのうち不正行為が生じている可能性が高い箇所や、不正行為の疑義が生じている箇所を容易に認識することができる。コントロールペインｉ５３には、再生ペインｉ５１に表示される動画像データの再生を制御するためのボタンが表示される。具体的には、コントロールペインｉ５３には、再生位置を示すシークバー、再生位置を所定時間戻すバックスキップボタン、再生を停止する停止ボタン、再生を開始する再生ボタン、再生位置を所定時間送るスキップボタンなどが表示される。インデックス編集ボタンｉ５４は、押下することでインデックスデータを編集する。
【0043】
再生部１５３は、動画像サーバ１３からステップＳ５４で選択された動画像データを受信し、再生ペインｉ５１に再生させる（ステップＳ５７）。再生部１５３は、インデックスペインｉ５２に表示されたインデックスの何れか１つが押下されたか否かを判定する（ステップＳ５８）。インデックスが押下された場合（ステップＳ５８：ＹＥＳ）、再生部１５３は、再生している動画像データの再生位置を、押下されたインデックスに係る再生位置に移動させる（ステップＳ５９）。これにより、管理者は動画像データのうち注目すべき部分を容易に確認することができる。
【0044】
インデックスが押下されていない場合（ステップＳ５８：ＮＯ）、編集部１５４は、インデックス編集ボタンｉ５４が押下されたか否かを判定する（ステップＳ６０）。インデックス編集ボタンｉ５４が押下された場合（ステップＳ６０：ＹＥＳ）、再生部１５３は、再生ペインｉ５１に表示する動画像データの再生を、現在の再生位置で停止させる。編集部１５４は、管理者からメッセージの入力を受け付けると、現在の再生位置と入力されたメッセージとを含むインデックス追加リクエストを動画像サーバ１３に送信する（ステップＳ６１）。動画像サーバ１３の生成部１３８は、受信したインデックス追加リクエストに基づいてインデックスデータを更新する（ステップＳ６２）。これにより、管理者は、動画像サーバ１３による分析の漏れなどの情報を補足することができる。
【0045】
また、編集部１５４は、インデックス編集ボタンｉ５４がすでにインデックスが存在するフレームにて押下された場合、当該インデックスの内容の変更または削除を受け付ける。例えば、管理者は、警告レベルが１である、すなわち不正行為の疑いがあることを示すフレームを視認し、当該フレームで検出された行為が不正行為であるか否かを判断した場合に、以下の手順でインデックスを編集してもよい。管理者は、編集したいインデックスを押下し、再生位置を移動させてからインデックス編集ボタンｉ５４を押下する。これにより、編集部１５４は、押下されたインデックスの編集を受け付ける。管理者は、不正行為が確認された場合に当該インデックスの警告レベルを２に変更し、不正行為でないことが確認された場合に当該インデックスの警告レベルを０に変更する。
【0046】
リクエスト部１５２は、再生画面が閉じられたか否かを判定する（ステップＳ６３）。再生画面が閉じられていない場合（ステップＳ６３：ＮＯ）、処理をステップＳ５５に戻し、動画像データの再生を続ける。他方、再生画面が閉じられた場合（ステップＳ６３：ＹＥＳ）、動画像解析支援システム１は、動画像データの再生処理を終了する。
【0047】
これにより、管理者は、インデックスデータを用いて動画像データを再生することで、効率よく業務の監視を行うことができる。また管理者は、動画像データの再生中に、留意すべき点にインデックスを設けることで、後に動画像データを参照するときに参考とすることができる。
【0048】
《要確認データからの学習機能》
管理者は、警告レベルが１であるインデックスが示すフレームが不正行為を表すか否かを判断し、判断結果に基づいて警告レベルを書き換えることができる。動画像サーバ１３は、管理者によって書き換えられた警告レベルに基づいて、業務ルールを変更してもよい。例えば、動画像サーバ１３は、業務ルールに基づいて開始条件、終了条件、検出条件、及び検出精度を変更してよい。例えば、検出精度が９５％以上の場合に警告レベル２と判定し、９０％以上９５％未満の場合に警告レベル１と判定し、９０％未満の場合に警告レベル０と判定する業務ルールにおいて、警告レベル１から警告レベル２に書き換えられる頻度が高い場合、動画像サーバ１３は、警告レベル１と警告レベル２を区分する閾値を例えば９０％より低い値に変更して良い。また例えば、終了条件が、開始条件の満了から３秒後である業務ルールにおいて、検出条件が不正行為に係るものであり、かつ警告レベル１から警告レベル２に書き換えられる頻度が高い場合、終了条件に係る時間を長くしてもよい。また例えば、検出条件に係る対象物が不正行為に係るものでなく、かつ警告レベル１から警告レベル２に書き換えられる頻度が高い場合、終了条件に係る時間を短くしてもよい。
管理者は、警告レベルが１であるインデックスが示すフレームが不正行為を表すか否かを判断し、判断結果に基づいて警告レベルを書き換えることができる。動画像サーバ１３は、管理者によって書き換えられた警告レベルに基づいて、業務ルールを変更してもよい。例えば、動画像サーバ１３は、業務ルールに基づいて開始条件、終了条件、検出条件、及び検出精度を変更してよい。例えば、検出精度が９５％以上の場合に警告レベル２と判定し、９０％以上９５％未満の場合に警告レベル１と判定し、９０％未満の場合に警告レベル０と判定する業務ルールにおいて、警告レベル１から警告レベル２に書き換えられる頻度が高い場合、動画像サーバ１３は、警告レベル１と警告レベル２を区分する閾値を例えば９０％より低い値に変更して良い。また例えば、終了条件が、開始条件の満了から３秒後である業務ルールにおいて、検出条件が不正行為に係るものであり、かつ警告レベル１から警告レベル２に書き換えられる頻度が高い場合、終了条件に係る時間を長くしてもよい。また例えば、検出条件に係る対象物が不正行為に係るものでなく、かつ警告レベル１から警告レベル２に書き換えられる頻度が高い場合、終了条件に係る時間を短くしてもよい。
【0049】
《業務ルールの設定例》
ここで、動画像データの分析に用いる業務ルールの例を説明する。
例えば、業務ルールとして、キャビネット操作についての業務ルールを設定することができる。キャビネット操作の業務規則として、キャビネットを開けた状態で放置しないことが定められている場合、以下の業務ルールを設定することができる。
キャビネット操作に係る業務ルールの開始条件は、「開いたキャビネット」という種別の対象物が検出されたことである。キャビネット操作に係る業務ルールの終了条件は、「開いたキャビネット」という種別の対象物が検出されなくなったことである。キャビネット操作に係る業務ルールの検出条件は、「人物」という種別の対象物が検出されなくなったことである。
これにより、動画像サーバ１３は、作業者がキャビネット操作中にキャビネットを開放したまま放置したか否かを監視することができる。
ここで、動画像データの分析に用いる業務ルールの例を説明する。
例えば、業務ルールとして、キャビネット操作についての業務ルールを設定することができる。キャビネット操作の業務規則として、キャビネットを開けた状態で放置しないことが定められている場合、以下の業務ルールを設定することができる。
キャビネット操作に係る業務ルールの開始条件は、「開いたキャビネット」という種別の対象物が検出されたことである。キャビネット操作に係る業務ルールの終了条件は、「開いたキャビネット」という種別の対象物が検出されなくなったことである。キャビネット操作に係る業務ルールの検出条件は、「人物」という種別の対象物が検出されなくなったことである。
これにより、動画像サーバ１３は、作業者がキャビネット操作中にキャビネットを開放したまま放置したか否かを監視することができる。
【0050】
例えば、業務ルールとして、書類の授受についての業務ルールを設定することができる。書類の授受の業務規則として、顧客が提出した書類を受け取って格納すること、顧客に提出した書類が格納されることを確認すること、及び書類の紛失を発見することが定められている場合、以下の業務ルールを設定することができる。
書類の授受に係る業務ルールの開始条件は、「人物」という種別の２つの対象物、及び「書類」という種別の対象物が検出されたことである。書類の授受に係る業務ルールの終了条件は、「人物」という種別の２つの対象物が検出されなくなったことである。書類の授受に係る業務ルールの検出条件は、「書類」という種別の対象物が検出されない状態が継続されていること、及び「書類」という種別の対象物が収納されるべき領域でない位置で検出されなくなったことである。なお、本業務ルールは、対象物の種別を「書類」としたが、他の業務ルールにおいては、例えば「紙幣」、「硬貨」、「カード」などの他の種別についての条件が設定されてもよい。また他の業務ルールでは、「書類」より細かく、その書類の種別（契約書、本人確認書類、パンフレットなど）まで指定するものであってもよい。
これにより、動画像サーバ１３は、書類の授受が適切になされたか否かを監視することができる。
書類の授受に係る業務ルールの開始条件は、「人物」という種別の２つの対象物、及び「書類」という種別の対象物が検出されたことである。書類の授受に係る業務ルールの終了条件は、「人物」という種別の２つの対象物が検出されなくなったことである。書類の授受に係る業務ルールの検出条件は、「書類」という種別の対象物が検出されない状態が継続されていること、及び「書類」という種別の対象物が収納されるべき領域でない位置で検出されなくなったことである。なお、本業務ルールは、対象物の種別を「書類」としたが、他の業務ルールにおいては、例えば「紙幣」、「硬貨」、「カード」などの他の種別についての条件が設定されてもよい。また他の業務ルールでは、「書類」より細かく、その書類の種別（契約書、本人確認書類、パンフレットなど）まで指定するものであってもよい。
これにより、動画像サーバ１３は、書類の授受が適切になされたか否かを監視することができる。
【0051】
例えば、業務ルールとして、金庫室の入退室についての業務ルールを設定することができる。金庫室の入退室の業務規則として、金庫室への入退室者が２人以上であることが定められている場合、以下の業務ルールを設定することができる。
金庫室の入室に係る業務ルールの開始条件は、「入室する人物」という種別の対象物が検出されたことである。「入室する人物」は、例えば金庫室の内方向へ顔を向ける人物である。金庫室の入室に係る業務ルールの終了条件は、開始条件が満たされてから一定時間が経過することである。金庫室の入室に係る業務ルールの検出条件は、開始条件の対象物と別の「入室する人物」という種別の対象物が検出されない状態が継続されていることである。
金庫室の退室に係る業務ルールの開始条件は、「退室する人物」という種別の対象物が検出されたことである。「退室する人物」は、例えば金庫室の外方向へ顔を向ける人物である。金庫室の退室に係る業務ルールの終了条件は、開始条件が満たされてから一定時間が経過することである。金庫室の退室に係る業務ルールの検出条件は、開始条件の対象物と別の「退室する人物」という種別の対象物が検出されない状態が継続されていることである。
これにより、動画像サーバ１３は、金庫室への入退室が２人以上で行われているか否かを監視することができる。
なお、金庫室への入退室の業務ルールにおいて、少なくとも一方の「人物」が「管理者」という種別の対象物であることが、検出条件に含まれていてもよい。すなわち、金庫室の入室及び退室に係る業務ルールの検出条件は、「管理者」という種別の対象物が検出されない状態が継続されていることを含むものであってもよい。
金庫室の入室に係る業務ルールの開始条件は、「入室する人物」という種別の対象物が検出されたことである。「入室する人物」は、例えば金庫室の内方向へ顔を向ける人物である。金庫室の入室に係る業務ルールの終了条件は、開始条件が満たされてから一定時間が経過することである。金庫室の入室に係る業務ルールの検出条件は、開始条件の対象物と別の「入室する人物」という種別の対象物が検出されない状態が継続されていることである。
金庫室の退室に係る業務ルールの開始条件は、「退室する人物」という種別の対象物が検出されたことである。「退室する人物」は、例えば金庫室の外方向へ顔を向ける人物である。金庫室の退室に係る業務ルールの終了条件は、開始条件が満たされてから一定時間が経過することである。金庫室の退室に係る業務ルールの検出条件は、開始条件の対象物と別の「退室する人物」という種別の対象物が検出されない状態が継続されていることである。
これにより、動画像サーバ１３は、金庫室への入退室が２人以上で行われているか否かを監視することができる。
なお、金庫室への入退室の業務ルールにおいて、少なくとも一方の「人物」が「管理者」という種別の対象物であることが、検出条件に含まれていてもよい。すなわち、金庫室の入室及び退室に係る業務ルールの検出条件は、「管理者」という種別の対象物が検出されない状態が継続されていることを含むものであってもよい。
【0052】
例えば、業務ルールとして、出納機操作についての業務ルールを設定することができる。出納機操作の業務規則として、出納機の内部へアクセスする業務を行う場合に、一般作業者と管理者とで作業を行うことが定められている場合、以下の業務ルールを設定することができる。
出納機操作に係る業務ルールの開始条件は、出納機の近傍に「人物」という種別の対象物が検出されたことである。出納機操作に係る業務ルールの終了条件は、出納機の近傍に「人物」という種別の対象物が検出されなくなることである。出納機操作に係る業務ルールの検出条件は、開始条件の対象物と別の「人物」という種別の対象物が検出されない状態が継続されていることである。出納機操作に係る業務ルールの検出条件は、「管理者」という種別の対象物が検出されない状態が継続されていることであってもよい。
これにより、動画像サーバ１３は、出納機操作が管理者の立会いの下なされているか否かを監視することができる。
なお、上記の業務ルールは、出納機の他、現金管理装置、重要物管理装置または鍵管理機などの装置にも適用することができる。
出納機操作に係る業務ルールの開始条件は、出納機の近傍に「人物」という種別の対象物が検出されたことである。出納機操作に係る業務ルールの終了条件は、出納機の近傍に「人物」という種別の対象物が検出されなくなることである。出納機操作に係る業務ルールの検出条件は、開始条件の対象物と別の「人物」という種別の対象物が検出されない状態が継続されていることである。出納機操作に係る業務ルールの検出条件は、「管理者」という種別の対象物が検出されない状態が継続されていることであってもよい。
これにより、動画像サーバ１３は、出納機操作が管理者の立会いの下なされているか否かを監視することができる。
なお、上記の業務ルールは、出納機の他、現金管理装置、重要物管理装置または鍵管理機などの装置にも適用することができる。
【0053】
例えば、業務ルールとして、シュレッダーや書類溶解機などの書類処理装置への廃棄書類の投函についての業務ルールを設定することができる。廃棄書類の投函の業務規則として、廃棄書類を書類処理装置へ投函する業務を行う場合に、一般作業者と管理者とで作業を行うことが定められている場合、以下の業務ルールを設定することができる。
廃棄書類の投函に係る業務ルールの開始条件は、書類処理装置の近傍に「人物」という種別の対象物が検出されたことである。廃棄書類の投函に係る業務ルールの終了条件は、書類処理装置の近傍に「人物」という種別の対象物が検出されなくなることである。廃棄書類の投函に係る業務ルールの検出条件は、開始条件の対象物と別の「人物」という種別の対象物が検出されない状態が継続されていることである。廃棄書類の投函に係る業務ルールの検出条件は、「管理者」という種別の対象物が検出されない状態が継続されていることであってもよい。
これにより、動画像サーバ１３は、廃棄書類の投函が管理者の立会いの下なされているか否かを監視することができる。
廃棄書類の投函に係る業務ルールの開始条件は、書類処理装置の近傍に「人物」という種別の対象物が検出されたことである。廃棄書類の投函に係る業務ルールの終了条件は、書類処理装置の近傍に「人物」という種別の対象物が検出されなくなることである。廃棄書類の投函に係る業務ルールの検出条件は、開始条件の対象物と別の「人物」という種別の対象物が検出されない状態が継続されていることである。廃棄書類の投函に係る業務ルールの検出条件は、「管理者」という種別の対象物が検出されない状態が継続されていることであってもよい。
これにより、動画像サーバ１３は、廃棄書類の投函が管理者の立会いの下なされているか否かを監視することができる。
【0054】
また廃棄書類を書類処理装置へ投函する前に、書類精査の作業を行うことが定められている場合、以下の業務ルールを設定することができる。
この場合における廃棄書類の投函に係る業務ルールの開始条件は、書類処理装置の近傍に「人物」という種別の対象物が検出されたことである。廃棄書類の投函に係る業務ルールの終了条件は、書類処理装置の近傍に「人物」という種別の対象物が検出されなくなることである。廃棄書類の投函に係る業務ルールの検出条件は、開始条件の対象物が「書類」を書類処理装置に投函する前に「書類」という種別の対象物が収納されるべき位置に検出されなくなる前に、一定時間「書類」が検出される状態が継続されていることである。
これにより、動画像サーバ１３は、廃棄書類の投函前に「人物」が書類を確認しているか否かを監視することができる。
この場合における廃棄書類の投函に係る業務ルールの開始条件は、書類処理装置の近傍に「人物」という種別の対象物が検出されたことである。廃棄書類の投函に係る業務ルールの終了条件は、書類処理装置の近傍に「人物」という種別の対象物が検出されなくなることである。廃棄書類の投函に係る業務ルールの検出条件は、開始条件の対象物が「書類」を書類処理装置に投函する前に「書類」という種別の対象物が収納されるべき位置に検出されなくなる前に、一定時間「書類」が検出される状態が継続されていることである。
これにより、動画像サーバ１３は、廃棄書類の投函前に「人物」が書類を確認しているか否かを監視することができる。
【0055】
例えば、業務ルールとして、書類に対する消印についての業務ルールを設定することができる。書類に対する業務規則として、特定の書類を受領した証に当該書類に対して消印を押す業務を行う場合に、以下の業務ルールを設定することができる。
書類に対する消印に係る業務ルールの開始条件は、「人物」という種別の対象物、及び「書類」という種別の対象物が検出されたことである。書類に対する消印に係る業務ルールの終了条件は、「人物」という種別の対象物、及び「書類」という種別の対象物が検出されなくなることである。書類に対する消印に係る業務ルールの検出条件は、開始条件の対象物である「書類」に重畳して、「消印」という種別の対象物が検出されたことである。
これにより、動画像サーバ１３は、書類に対する消印が行われているか否かを監視することができる。
書類に対する消印に係る業務ルールの開始条件は、「人物」という種別の対象物、及び「書類」という種別の対象物が検出されたことである。書類に対する消印に係る業務ルールの終了条件は、「人物」という種別の対象物、及び「書類」という種別の対象物が検出されなくなることである。書類に対する消印に係る業務ルールの検出条件は、開始条件の対象物である「書類」に重畳して、「消印」という種別の対象物が検出されたことである。
これにより、動画像サーバ１３は、書類に対する消印が行われているか否かを監視することができる。
【0056】
例えば、業務ルールとして、警備センターやナースセンターなどでの引継ぎについての業務ルールを設定することができる。引継ぎに対する業務規則として、特定の書類の授受を点呼と共に行う業務を行う場合に、以下の業務ルールを設定することができる。
引継ぎに係る業務ルールの開始条件は、「人物」という種別の２つの対象物、及び「書類」という種別の対象物が検出されたことである。引継ぎに係る業務ルールの終了条件は、「人物」という種別の２つの対象物が検出されなくなったことである。引継ぎに係る業務ルールの検出条件は、「指をさした人物」という種別の対象物が検出されない状態が継続されていること、及び「書類」という種別の対象物が収納されるべき領域でない位置で検出されなくなったことである。
これにより、動画像サーバ１３は、引継ぎが適切になされたか否かを監視することができる。
引継ぎに係る業務ルールの開始条件は、「人物」という種別の２つの対象物、及び「書類」という種別の対象物が検出されたことである。引継ぎに係る業務ルールの終了条件は、「人物」という種別の２つの対象物が検出されなくなったことである。引継ぎに係る業務ルールの検出条件は、「指をさした人物」という種別の対象物が検出されない状態が継続されていること、及び「書類」という種別の対象物が収納されるべき領域でない位置で検出されなくなったことである。
これにより、動画像サーバ１３は、引継ぎが適切になされたか否かを監視することができる。
【0057】
《作用・効果》
このように、第１の実施形態によれば、動画像解析支援システム１は、業務ルールに基づいて、監視カメラ１１が撮像した動画像データから業務が正しく実行されなかった状態を示すフレームを検出し、当該フレームを示すインデックスデータを生成する。これにより、管理者はインデックスデータに基づいて動画像データを確認することができる。つまり、動画像解析支援システム１は、監視カメラ１１の映像から業務が正しくなされているかを容易に確認することができるよう、管理者を支援することができる。
このように、第１の実施形態によれば、動画像解析支援システム１は、業務ルールに基づいて、監視カメラ１１が撮像した動画像データから業務が正しく実行されなかった状態を示すフレームを検出し、当該フレームを示すインデックスデータを生成する。これにより、管理者はインデックスデータに基づいて動画像データを確認することができる。つまり、動画像解析支援システム１は、監視カメラ１１の映像から業務が正しくなされているかを容易に確認することができるよう、管理者を支援することができる。
【0058】
〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
上述した実施形態に係る動画像サーバ１３は、単独のコンピュータによって構成されるものであってもよいし、動画像サーバ１３の構成を複数のコンピュータに分けて配置し、複数のコンピュータが互いに協働することで動画像サーバ１３として機能するものであってもよい。また、他の実施形態においては、動画像サーバ１３とクライアント端末１５が、１つのコンピュータによって構成されるものであってもよい。
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
上述した実施形態に係る動画像サーバ１３は、単独のコンピュータによって構成されるものであってもよいし、動画像サーバ１３の構成を複数のコンピュータに分けて配置し、複数のコンピュータが互いに協働することで動画像サーバ１３として機能するものであってもよい。また、他の実施形態においては、動画像サーバ１３とクライアント端末１５が、１つのコンピュータによって構成されるものであってもよい。
【0059】
上述した実施形態に係る動画像サーバ１３は、業務ルールごとに、検出の有無を判定する検出精度を設定するが、これに限られない。例えば、他の実施形態においては、対象物の種別ごとに検出精度を設定してもよいし、検出精度を固定値としてもよい。
【0060】
上述した実施形態に係る動画像サーバ１３は、検出部１３３による検出を行ったときに検出結果データを設定記憶部１３５に記録し、既に検出結果データが生成されている動画像データについての分析をスキップする。これにより、業務ルールにおける検出精度の設定が、検出部１３３による検出の後に変更された場合に、既に生成された検出結果データを用いることで、分析結果ファイルの生成に係る時間を短縮することができる。他方、他の実施形態においては、これに限られない。例えば、他の実施形態に係る動画像サーバ１３は、分析リクエストを受信するたびに検出部１３３による検出を行ってもよい。このように検出部１３３が都度検出を行う場合、動画像サーバ１３における分析結果ファイルの管理を容易にすることができる。
【0061】
上述した実施形態に係る業務ルールの開始条件及び終了条件は、検出部１３３による検出結果に基づいて判定されるが、これに限られない。例えば、他の実施形態に係る業務ルールの開始条件及び終了条件は、監視対象の空間に設けられた装置のログデータなどに基づいて判定されてもよい。例えば、監視対象の空間に設けられた出納機に対する所定種類の出納機操作が実行されたことを開始条件とし、出納機のログデータから開始条件を満たすフレームを特定してもよい。
【0062】
上述した実施形態に係る業務ルールの検出条件は不正行為、すなわち業務が正しく実行されなかった状態を規定するが、これに限られない。例えば、他の実施形態に係る検出条件は、業務が正しく実行された状態を規定するものであってもよい。
【0063】
〈コンピュータ構成〉
図１０は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９０は、プロセッサ９１、メインメモリ９３、ストレージ９５、インタフェース９７を備える。
上述の動画像サーバ１３及びクライアント端末１５は、それぞれコンピュータ９０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ９５に記憶されている。プロセッサ９１は、プログラムをストレージ９５から読み出してメインメモリ９３に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ９１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ９３に確保する。プロセッサ９１の例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、マイクロプロセッサなどが挙げられる。
図１０は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９０は、プロセッサ９１、メインメモリ９３、ストレージ９５、インタフェース９７を備える。
上述の動画像サーバ１３及びクライアント端末１５は、それぞれコンピュータ９０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ９５に記憶されている。プロセッサ９１は、プログラムをストレージ９５から読み出してメインメモリ９３に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ９１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ９３に確保する。プロセッサ９１の例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、マイクロプロセッサなどが挙げられる。
【0064】
プログラムは、コンピュータ９０に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージに既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータ９０は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ９１によって実現される機能の一部または全部が当該集積回路によって実現されてよい。このような集積回路も、プロセッサの一例に含まれる。
【0065】
ストレージ９５の例としては、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリ等が挙げられる。ストレージ９５は、コンピュータ９０のバスに直接接続された内部メディアであってもよいし、インタフェース９７または通信回線を介してコンピュータ９０に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ９０に配信される場合、配信を受けたコンピュータ９０が当該プログラムをメインメモリ９３に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ９５は、一時的でない有形の記憶媒体である。
【0066】
また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能をストレージ９５に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【0067】
１…動画像解析支援システム １１…監視カメラ １３…動画像サーバ １３１…取得部 １３２…動画像記憶部 １３３…検出部 １３４…設定部 １３５…設定記憶部 １３６…選択部 １３７…判定部 １３８…生成部 １３９…出力部 １５…クライアント端末 １５１…表示制御部 １５２…リクエスト部 １５３…再生部 １５４…編集部 ９０…コンピュータ ９１…プロセッサ ９３…メインメモリ ９５…ストレージ ９７…インタフェース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】