特許 7588357 映像管理装置、映像管理方法、及び、映像管理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-14

(45)【発行日】2024-11-22

(54)【発明の名称】映像管理装置、映像管理方法、及び、映像管理プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241115BHJP

   H04N 5/92 20060101ALI20241115BHJP

   H04N 5/93 20060101ALI20241115BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 U

H04N5/92 010

H04N5/93

【請求項の数】 11

(21)【出願番号】P 2023011878

(22)【出願日】2023-01-30

(65)【公開番号】P2024107779

(43)【公開日】2024-08-09

【審査請求日】2024-05-31

【早期審査対象出願】

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】川口 慎太郎

(72)【発明者】

【氏名】和田 昌平

【審査官】中村 直行

(56)【参考文献】

【文献】韓国特許第１０－１５８９８２３（ＫＲ，Ｂ１）

【文献】特開２０２０－０１０１５４（ＪＰ，Ａ）

【文献】特開２０２２－０１８８０８（ＪＰ，Ａ）

【文献】特開２０２０－１７８１４９（ＪＰ，Ａ）

【文献】特開２０２０－１２３８４５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／００５００３５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／９２

Ｈ０４Ｎ ５／９３

(57)【特許請求の範囲】

【請求項1】

監視カメラによって撮影された監視映像を受信する映像受信部と、
前記監視映像から人物を検出し、前記人物が検出された前記監視映像の時間区間である人物検出区間を前記監視映像に対応する付加情報に記録する人物検出部と、
前記監視映像に対するユーザからのマーキングを受け付け、前記マーキングされた前記監視映像の時刻であるマーキング時刻を前記付加情報に記録するマーキング処理部と、
前記付加情報に基づいて、前記監視映像における前記人物検出区間を連続的に再生する、あるいは、前記監視映像における前記マーキング時刻を含む時間区間であるマーキング区間を連続的に再生する再生制御部と、を備え、
前記再生制御部は、映像再生画面を生成し、前記映像再生画面は、映像表示領域及びクリッピング画像領域を含み、
前記映像表示領域は、前記監視映像が表示され、
前記クリッピング画像領域には、前記付加情報によって人物検出位置とマーキング位置の少なくとも一つが付加されている、前記監視映像のフレーム画像であるクリッピング画像が並べて表示され、
前記人物検出位置が付加されている前記クリッピング画像には第１のアイコンが表示され、
前記マーキング位置が付加されている前記クリッピング画像には前記第１のアイコンとは異なる第２のアイコンが合わせて表示され、
前記ユーザから前記クリッピング画像が選択された場合、選択された時刻から前記監視映像を再生する、
映像管理装置。

【請求項2】

監視カメラによって撮影された監視映像を受信する映像受信部と、
前記監視映像から人物を検出し、前記人物が検出された前記監視映像の時間区間である人物検出区間を前記監視映像に対応する付加情報に記録する人物検出部と、
前記監視映像に対するユーザからのマーキングを受け付け、前記マーキングされた前記監視映像の時刻であるマーキング時刻を前記付加情報に記録するマーキング処理部と、
前記付加情報に基づいて、前記監視映像における、前記人物検出区間、及び、前記マーキング時刻を含む時間区間であるマーキング区間を連続的に再生する再生制御部と、を備え、
前記再生制御部は、映像再生画面を生成し、前記映像再生画面は、映像表示領域及びクリッピング画像領域を含み、
前記映像表示領域は、前記監視映像が表示され、
前記クリッピング画像領域には、前記付加情報によって人物検出位置とマーキング位置の少なくとも一つが付加されている、前記監視映像のフレーム画像であるクリッピング画像が並べて表示され、
前記人物検出位置が付加されている前記クリッピング画像には第１のアイコンが表示され、
前記マーキング位置が付加されている前記クリッピング画像には前記第１のアイコンとは異なる第２のアイコンが合わせて表示され、
前記ユーザから前記クリッピング画像が選択された場合、選択された時刻から前記監視映像を再生する、
映像管理装置。

【請求項3】

前記再生制御部は、前記人物検出区間及び前記マーキング区間の少なくとも一方を示す再生区間バーを、前記監視映像の再生位置を示すシークバーと並べて表示する、
請求項１又は２に記載の映像管理装置。

【請求項4】

前記再生区間バーにおいて、前記人物検出区間と前記マーキング区間とは互いに異なる態様にて表示される、
請求項３に記載の映像管理装置。

【請求項5】

前記再生区間バーにおいて、前記人物検出区間、前記マーキング区間および、人物とは異なる検出対象のオブジェクトが検出された拡張検出区間が、他の区間とは互いに異なる態様にて表示される、
請求項４に記載の映像管理装置。

【請求項6】

前記人物検出部の検出範囲を定める検出枠を、前記ユーザから入力された複数の図形の組み合わせに基づいて設定する設定処理部、をさらに備える、
請求項１又は２に記載の映像管理装置。

【請求項7】

前記映像受信部は、前記監視映像をリアルタイムに再生制御部に送信し、
前記再生制御部は、リアルタイムに前記監視映像を表示し、
前記マーキング処理部は、リアルタイムに表示される前記監視映像に対するユーザからのマーキングを受け付け、前記マーキングされた前記監視映像の時刻であるマーキング時刻を前記付加情報に記録する、
請求項１又は２に記載の映像管理装置。

【請求項8】

監視カメラによって撮影された監視映像を受信し、
前記監視映像から人物を検出し、前記人物が検出された前記監視映像の時間区間である人物検出区間を前記監視映像に対応する付加情報に記録し、
前記監視映像に対するユーザからのマーキングを受け付け、前記マーキングされた前記監視映像の時刻であるマーキング時刻を前記付加情報に記録し、
前記付加情報に基づいて、前記監視映像における、前記人物検出区間、及び、前記マーキング時刻を含む時間区間であるマーキング区間を連続的に再生し、
前記再生において、映像再生画面を生成し、前記映像再生画面は、映像表示領域及びクリッピング画像領域を含み、
前記映像表示領域は、前記監視映像が表示され、
前記クリッピング画像領域には、前記付加情報によって人物検出位置とマーキング位置の少なくとも一つが付加されている、前記監視映像のフレーム画像であるクリッピング画像が並べて表示され、
前記人物検出位置が付加されている前記クリッピング画像には第１のアイコンが表示され、
前記マーキング位置が付加されている前記クリッピング画像には前記第１のアイコンとは異なる第２のアイコンが合わせて表示され、
前記ユーザから前記クリッピング画像が選択された場合、選択された時刻から前記監視映像を再生する、
映像管理方法。

【請求項9】

前記監視映像をリアルタイムに表示し、
リアルタイムに表示される前記監視映像に対するユーザからのマーキングを受け付け、前記マーキングされた前記監視映像の時刻であるマーキング時刻を前記付加情報に記録する、
請求項８に記載の映像管理方法。

【請求項10】

監視カメラによって撮影された監視映像を受信し、
前記監視映像から人物を検出し、前記人物が検出された前記監視映像の時間区間である人物検出区間を前記監視映像に対応する付加情報に記録し、
前記監視映像に対するユーザからのマーキングを受け付け、前記マーキングされた前記監視映像の時刻であるマーキング時刻を前記付加情報に記録し、
前記付加情報に基づいて、前記監視映像における、前記人物検出区間、及び、前記マーキング時刻を含む時間区間であるマーキング区間を連続的に再生し、
前記再生において、映像再生画面を生成し、前記映像再生画面は、映像表示領域及びクリッピング画像領域を含み、
前記映像表示領域は、前記監視映像が表示され、
前記クリッピング画像領域には、前記付加情報によって人物検出位置とマーキング位置の少なくとも一つが付加されている、前記監視映像のフレーム画像であるクリッピング画像が並べて表示され、
前記人物検出位置が付加されている前記クリッピング画像には第１のアイコンが表示され、
前記マーキング位置が付加されている前記クリッピング画像には前記第１のアイコンとは異なる第２のアイコンが合わせて表示され、
前記ユーザから前記クリッピング画像が選択された場合、選択された時刻から前記監視映像を再生する、
ことをコンピュータに実行させる、映像管理プログラム。

【請求項11】

前記監視映像をリアルタイムに表示し、
リアルタイムに表示される前記監視映像に対するユーザからのマーキングを受け付け、前記マーキングされた前記監視映像の時刻であるマーキング時刻を前記付加情報に記録する、
請求項１０に記載の映像管理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、映像管理装置、映像管理方法、及び、映像管理プログラムに関する。

【背景技術】

【0002】

監視カメラによって撮影された映像からＡＩ（Artificial Intelligence）を用いて人物を検出する技術が知られている（例えば特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－１８７１２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、ＡＩによる人物検出は検出漏れが生じる可能性がある。一方、監視カメラによって撮影された映像は録画時間が非常に長いため、録画映像をすべて確認することは現実的ではない。

【0005】

本開示の目的は、監視カメラによって撮影された映像を効率的に確認する技術を提供することにある。

【課題を解決するための手段】

【0006】

本開示の一態様に係る映像管理装置は、監視カメラによって撮影された監視映像を受信する映像受信部と、前記監視映像から人物を検出し、前記人物が検出された前記監視映像の時間区間である人物検出区間を前記監視映像に対応する付加情報に記録する人物検出部と、前記監視映像に対するユーザからのマーキングを受け付け、前記マーキングされた前記監視映像の時刻であるマーキング時刻を前記付加情報に記録するマーキング処理部と、前記付加情報に基づいて、前記監視映像における前記人物検出区間を連続的に再生する、あるいは、前記監視映像における前記マーキング時刻を含む時間区間であるマーキング区間を連続的に再生する再生制御部と、を備える。

【0007】

本開示の一態様に係る映像管理装置は、監視カメラによって撮影された監視映像を受信する映像受信部と、前記監視映像から人物を検出し、前記人物が検出された前記監視映像の時間区間である人物検出区間を前記監視映像に対応する付加情報に記録する人物検出部と、前記監視映像に対するユーザからのマーキングを受け付け、前記マーキングされた前記監視映像の時刻であるマーキング時刻を前記付加情報に記録するマーキング処理部と、前記付加情報に基づいて、前記監視映像における、前記人物検出区間、及び、前記マーキング時刻を含む時間区間であるマーキング区間を連続的に再生する再生制御部と、を備える。

【0008】

本開示の一態様に係る 映像管理方法は、監視カメラによって撮影された監視映像を受信し、前記監視映像から人物を検出し、前記人物が検出された前記監視映像の時間区間である人物検出区間を前記監視映像に対応する付加情報に記録し、前記監視映像に対するユーザからのマーキングを受け付け、前記マーキングされた前記監視映像の時刻であるマーキング時刻を前記付加情報に記録し、前記付加情報に基づいて、前記監視映像における、前記人物検出区間、及び、前記マーキング時刻を含む時間区間であるマーキング区間を連続的に再生する。

【0009】

本開示の一態様に係る映像管理プログラムは、監視カメラによって撮影された監視映像を受信し、前記監視映像から人物を検出し、前記人物が検出された前記監視映像の時間区間である人物検出区間を前記監視映像に対応する付加情報に記録し、前記監視映像に対するユーザからのマーキングを受け付け、前記マーキングされた前記監視映像の時刻であるマーキング時刻を前記付加情報に記録し、前記付加情報に基づいて、前記監視映像における、前記人物検出区間、及び、前記マーキング時刻を含む時間区間であるマーキング区間を連続的に再生する、ことをコンピュータに実行させる。

【0010】

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0011】

本開示によれば、監視カメラによって撮影された映像を効率的に確認することができる。

【図面の簡単な説明】

【0012】

【図1】本実施の形態に係る映像管理システムの構成例を示すブロック図

【図2】本実施の形態に係る映像再生画面の例を示す図

【図3A】本実施の形態に係る再生区間バーのバリエーションを示す第１の図

【図3B】本実施の形態に係る再生区間バーのバリエーションを示す第２の図

【図4】本実施の形態に係る再生設定画面の例を示す図

【図5】本実施の形態に係る検出枠設定画面の例を示す図

【図6】本実施の形態に係るマーキングを行う際の映像監視装置の処理例を示すフローチャート

【図7】本実施の形態に係る区間再生によって監視映像を効率的に確認する際の処理例を示すフローチャート

【図8】本開示に係る映像管理装置のハードウェア構成例を示すブロック図

【発明を実施するための形態】

【0013】

以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。

【0014】

（本実施の形態）
＜システム構成＞
図１は、本実施の形態に係る映像管理システム１の構成例を示すブロック図である。

【0015】

図１に示すように、映像管理システム１は、監視カメラ２及び映像管理装置１０を含む。監視カメラ２は、所定の通信ネットワーク（図示しない）を通じて、映像管理装置１０と接続される。映像管理装置１０には、複数の監視カメラ２が接続されてもよい。通信ネットワークの例として、有線ＬＡＮ（例えばＥｔｈｅｒｎｅｔ）、無線ＬＡＮ（例えばＷｉＦｉ）、移動体通信網（例えばＬＴＥ、４Ｇ、５Ｇ）、インターネット、ＶＰＮ（Virtual Private Network）が挙げられる。

【0016】

監視カメラ２は、監視場所に設置されたカメラであり、監視場所を撮影して監視映像５２（図２参照）を生成する。監視映像５２は動画像のデータであってよい。あるいは、監視映像５２は連続的に撮影された複数の静止画像のデータであってもよい。監視カメラ２は、生成した監視映像５２を、通信ネットワークを通じて映像管理装置１０へ送信する。

【0017】

映像管理装置１０は、映像受信部１１、人物検出部１２、拡張検出部１３、マーキング処理部１４、再生制御部１５、設定処理部１６、映像格納部２１、及び、付加情報格納部２２を有する。

【0018】

映像受信部１１、人物検出部１２、拡張検出部１３、マーキング処理部１４、再生制御部１５、及び、設定処理部１６は、映像管理装置１０が備えるプロセッサ１００１（図８参照）がメモリ１００２（図８参照）と協働して所定のコンピュータプログラムを実行することにより実現されてよい。映像格納部２１、及び、付加情報格納部２２は、映像管理装置１０が備えるメモリ１００２及び／又はストレージ１００３（図８参照）によって実現されてよい。

【0019】

映像格納部２１には、１又は複数の監視映像５２が格納される。付加情報格納部２２には、映像格納部２１に格納されている監視映像５２に対応する付加情報が格納される。付加情報については後述する。

【0020】

映像受信部１１は、監視カメラ２から監視映像５２を受信し、その受信した監視映像５２を映像格納部２１に格納（例えば録画）する。映像受信部１１は、その受信した監視映像５２をリアルタイムに再生制御部１５へ送信してもよい。

【0021】

人物検出部１２は、監視映像５２に対して人物検出処理を行い、当該監視映像５２から人物を検出する。例えば、人物検出部１２は、公知の人物検出用のＡＩを用いて人物検出処理を行い、監視映像５２から人物を検出する。人物検出用のＡＩは、人物検出用の学習が行われたディープニューラルネットワーク（例えばＣＮＮ（Convolutional Neural Network））であってよい。人物検出部１２は、監視映像５２を構成するフレーム画像から人物を検出した場合、当該フレーム画像の人物が検出された位置を示す人物検出位置５３（図２参照）と、当該人物が検出され続けた時間帯の区間を示す人物検出区間６２（図３Ａ参照）とを、付加情報格納部２２に格納されている、当該監視映像５２に対応する付加情報に記録する。

【0022】

拡張検出部１３は、人物とは異なる検出対象のオブジェクトを検出する。例えば、拡張検出部１３は、公知のオブジェクト検出用のＡＩを用いてオブジェクト検出処理を行い、監視映像５２からオブジェクトを検出する。オブジェクト検出用のＡＩは、検出対象のオブジェクト検出用の学習が行われたディープニューラルネットワーク（例えばＣＮＮ）であってよい。検出対象のオブジェクトは、ユーザによって設定されてよい。例えば、検出対象のオブジェクトとして「自動車」が設定された場合、拡張検出部１３は、監視映像５２から自動車を検出する。そして、拡張検出部１３は、監視映像５２を構成するフレーム画像から自動車を検出した場合、当該フレーム画像の自動車が検出された位置を示す拡張検出位置（図示しない）と、当該自動車が検出され続けた時間帯の区間を示す拡張検出区間６４（図３Ｂ参照）とを、付加情報格納部２２に格納されている、当該監視映像５２に対応する付加情報に記録する。

【0023】

マーキング処理部１４は、ユーザによる監視映像５２に対するマーキングに関する処理を行う。例えば、ユーザは、再生中の監視映像５２を見ながら、気になるフレーム画像全体、又は、フレーム画像の気になる位置にマーキングを行う。例えば、ユーザは、不審な人物が映っている監視映像５２のフレーム画像を見た場合、そのフレーム画像全体、又は、そのフレーム画像に映っている不審な人物の位置にマーキングを行う。マーキング処理部１４は、フレーム画像におけるマーキングが行われた位置を示すマーキング位置５４（図２参照）と、当該マーキングが行われたフレーム画像の時刻を示すマーキング時刻（図示しない）とを、付加情報格納部２２に格納されている、当該監視映像５２に対応する付加情報に記録する。なお、ユーザがフレーム画像全体をマーキングした場合、マーキング処理部１４は、マーキング位置５４をフレーム画像全体としてよい。また、以下では、マーキング時刻を含む所定の時間帯の区間をマーキング区間６３（図３Ａ参照）と称する。当該所定の時間帯の長さは任意に設定可能であってよい。

【0024】

例えば、ユーザは、人物検出部１２によって検出された複数の人物検出位置５３のうち、不審な人物に対してマーキング位置５４を設定してもよい。これにより、後から監視映像５２を再確認するユーザは、人物検出部１２によって検出された人物検出区間６２をすべて確認するのではなく、監視映像５２のマーキング区間６３を確認することによって、不審な人物が映っている時間帯の監視映像５２を効率的に再確認できる。

【0025】

例えば、ユーザは、人物検出部１２によって検出されなかった（つまり検出漏れされた）人物に対してマーキング位置５４を設定してもよい。これにより、後から監視映像５２を再確認するユーザは、人物検出区間６２とマーキング区間６３とを確認することによって、人物検出部１２が検出できなかった人物についても取りこぼすことなく、人物が映っている時間帯の監視映像５２を効率的に再確認できる。

【0026】

再生制御部１５は、映像格納部２１に格納されている監視映像５２又は映像受信部１１からリアルタイムに送信される監視映像５２の再生を制御する。その際、再生制御部１５は、付加情報格納部２２に格納されている、当該監視映像５２に対応する付加情報を用いて再生を制御する。例えば、再生制御部１５は、監視映像５２を再生する際、当該監視映像５２に対応する付加情報に記録されている人物検出区間６２及び／又はマーキング区間６３を連続的に再生する区間再生を行う。これにより、ユーザは、人物が映っている時間帯の監視映像５２を効率的に確認できる。なお、マーキングを行うユーザと、当該区間再生により監視映像５２を確認するユーザとは、別人物であってもよいし、同一人物であってもよい。

【0027】

設定処理部１６は、検出及び再生に関する設定を処理する。例えば、設定処理部１６は、区間再生に関する設定を行うための再生設定画面８０（図４参照）を表示し、その再生設定画面８０に入力された値を再生制御部１５に設定する。なお、再生設定画面８０の詳細については後述する（図４参照）。例えば、設定処理部１６は、監視映像５２のフレーム画像に対する、人物検出処理の範囲を示す検出枠９２（図５参照）を設定するための検出枠設定画面９０（図５参照）を表示し、その検出枠設定画面９０に入力された検出枠９２を人物検出部１２に設定する。なお、検出枠設定画面９０の詳細については後述する（図５参照）。

【0028】

＜映像再生画面＞
図２は、本実施の形態に係る映像再生画面５０の例を示す図である。映像再生画面５０は、再生制御部１５によって生成され、表示装置１００５（図８参照）に表示される。

【0029】

映像再生画面５０は、映像表示領域５１、操作ボタン領域５５、シークバー５６、再生区間バー６０、及び、クリッピング画像領域７０を含む。

【0030】

映像表示領域５１には、再生中の監視映像５２が表示される。

【0031】

操作ボタン領域５５には、監視映像５２の再生制御に関するボタンが配置される。例えば、操作ボタン領域５５には、再生ボタン、停止ボタン、一時停止ボタン、巻き戻しボタン、早送りボタン、スロー再生ボタン、コマ送りボタン、所定時間のスキップボタン、次の再生区間へのスキップボタン、前の再生区間へのスキップボタン等が配置される。

【0032】

シークバー５６は、映像表示領域５１に表示されている監視映像５２の再生中の時刻位置を示すバーである。ユーザは、シークバー５６のスライダー５７を任意の時刻位置に移動させることにより、任意の時刻から監視映像５２を再生させることができる。

【0033】

再生区間バー６０は、図２に示すように、シークバー５６と同じ長さであって、シークバー５６と並べて配置される。再生区間バー６０には、再生区間６１（例えば人物検出区間６２又はマーキング区間６３）が他の区間とは異なる態様（例えば異なる色又は模様）にて表示される。これにより、ユーザは、再生区間バー６０を見て、シークバー５６のどの位置に再生区間６１が存在するかを一目で認識できる。よって、ユーザは、シークバー５６のスライダー５７を再生区間バー６０の再生区間６１に移動させることにより、その再生区間６１を簡単に再生することができる。なお、再生区間バー６０のバリエーションについては後述する（図３Ａ、図３Ｂ参照）。

【0034】

クリッピング画像領域７０には、付加情報によって人物検出位置５３又はマーキング位置５４が付加されている、監視映像５２のフレーム画像が並べて表示される。以下、クリッピング画像領域７０に表示されているフレーム画像をクリッピング画像７１と称する。なお、クリッピング画像領域７０において、人物検出位置５３が付加されているクリッピング画像７１には第１のアイコン７２が合わせて表示され、マーキング位置５４が付加されているクリッピング画像７１には第２のアイコン７３が合わせて表示されてよい。第１のアイコン７２と第２のアイコン７３とは異なる態様（例えば異なる色、模様、形状等）であってよい。これにより、ユーザは、人物検出位置５３が付与されているクリッピング画像７１と、マーキング位置５４が付与されているクリッピング画像７１とを一目で区別できる。なお、ユーザが、クリッピング画像領域７０に表示されている複数のクリッピング画像７１の１つを選択した場合、再生制御部１５は、その選択されたクリッピング画像７１の時刻から監視映像５２を再生してよい。これにより、ユーザは、クリッピング画像７１の時刻付近の監視映像５２を簡単に確認することができる。

【0035】

＜再生区間バーのバリエーション＞
図３Ａは、本実施の形態に係る再生区間バー６０のバリエーションを示す第１の図である。図３Ｂは、本実施の形態に係る再生区間バー６０のバリエーションを示す第２の図である。

【0036】

図３Ａに示すように、再生区間バー６０には、人物検出区間６２とマーキング区間６３とが互いに異なる態様（例えば異なる色又は模様）にて表示されてよい。これにより、ユーザは、再生区間バー６０を見て、シークバー５６のどの位置に人物検出区間６２及びマーキング区間６３が存在するかを一目で認識できる。

【0037】

図３Ａに示すように、再生区間バー６０には、非検出区間６５が他の区間とは異なる態様（例えば異なる色又は模様）にて表示されてよい。非検出区間６５は、人物検出部１２及び拡張検出部１３が検出処理を行わない時間区間である。非検出区間６５は、ユーザによって設定されてよい。これにより、ユーザは、再生区間バー６０を見て、シークバー５６のどの位置に非検出区間６５が存在するかを一目で確認できる。また、非検出区間６５を設定することにより、人物検出部１２による人物検出処理に要する時間を短縮できる。

【0038】

図３Ｂに示すように、再生区間バー６０には、拡張検出区間６４が他の区間とは互いに異なる態様（例えば異なる色又は模様）にて表示されてよい。これにより、ユーザは、再生区間バー６０を見て、シークバー５６のどの位置に拡張検出区間６４が存在するかを一目で確認できる。

【0039】

＜再生設定画面＞
図４は、本実施の形態に係る再生設定画面８０の例を示す図である。再生設定画面８０は、設定処理部１６によって生成され、表示装置１００５（図８参照）に表示される。

【0040】

再生設定画面８０は、スキップ時間入力領域８１、前再生時間入力領域８２、及び、後再生時間入力領域８３を含む。

【0041】

スキップ時間入力領域８１には、所定時間のスキップボタンが押下されたときに監視映像５２の再生をスキップする時間が入力される。例えば、スキップ時間入力領域８１に「１０秒」が入力され、監視映像５２を再生中に所定時間のスキップボタンが押下された場合、再生制御部１５は、監視映像５２の再生を１０秒間スキップする。

【0042】

前再生時間入力領域８２には、再生区間６１を再生する際に、再生区間６１のどれだけ前の時間から再生を開始するかを示す時間が入力される。

【0043】

後再生時間入力領域８３には、再生区間６１を再生する際に、再生区間６１のどれだけ後の時間で再生を終了するかを示す時間が入力される。

【0044】

例えば、前再生時間入力領域８２に「５秒」が入力され、後再生時間入力領域８３に「３秒」が入力された場合、再生制御部１５は、再生区間６１を再生する際、当該再生区間６１の開始時刻の５秒前から再生を開始し、当該再生区間６１の終了時刻の３秒後まで再生を行う。これにより、ユーザは、気になる人物が映っている再生区間６１の前後の様子も容易に確認できる。

【0045】

＜検出枠設定画面＞
図５は、本実施の形態に係る検出枠設定画面９０の例を示す図である。検出枠設定画面９０は、設定処理部１６によって生成され、表示装置１００５（図８参照）に表示される。

【0046】

検出枠設定画面９０は、検出枠設定領域９１を含む。ユーザは、検出枠設定領域９１に、複数の長方形を組み合わせて配置する。設定処理部１６は、検出枠設定領域９１において複数の長方形の組み合わせによって形成された図形の最も外側の枠を、検出枠９２として設定する。これにより、ユーザは、複雑な形状の検出枠９２を容易に設定することができる。

【0047】

人物検出部１２及び拡張検出部１３は、フレーム画像に対して検出処理を行う際、検出枠９２の範囲内を検出対象とし、検出枠９２の範囲外を検出対象としない。これにより、不要な検出を抑制でき、且つ、検出処理に要する時間を短縮できる。

【0048】

＜マーキング＞
図６は、本実施の形態に係るマーキングを行う際の映像管理装置１０の処理例を示すフローチャートである。なお、図３に示す処理は一例であり、映像管理装置１０は、ユースケースに応じて、当該処理と異なる処理を行ってもよい。

【0049】

人物検出部１２は、監視映像５２に対して人物検出処理を実行し、人物検出位置５３及び人物検出区間６２を付加情報に記録する（Ｓ１０１）。なお、検出枠９２が設定されている場合、人物検出部１２は、検出枠９２の範囲内を検出対象とする。

【0050】

ユーザは区間再生を行うか否かを入力する（Ｓ１０２）。

【0051】

区間再生を行わない旨が入力された場合（Ｓ１０２：ＮＯ）、再生制御部１５は、監視映像５２の全時間帯を再生区間６１に決定する（Ｓ１０３）。そして、処理はステップＳ１１０に進む。

【0052】

区間再生を行う旨が入力された場合（Ｓ１０２：ＹＥＳ）、再生制御部１５は、付加情報に記録されている人物検出区間６２に基づいて再生区間６１を決定する（Ｓ１０４）。例えば、前再生時間入力領域８２に第１の時間が入力され、後再生時間入力領域８３に第２の時間が入力された場合、再生制御部１５は、人物検出区間６２の開始時刻よりも第１の時間だけ前の時刻から、人物検出区間６２の終了時刻よりも第２の時間だけ後の時刻までの区間を再生区間６１に決定する。なお、以下の説明において、再生区間６１の監視映像５２を、区間映像と称する場合がある。

【0053】

再生制御部１５は、映像再生画面５０を表示する（Ｓ１０５）。当該映像再生画面５０の再生区間バー６０には、ステップＳ１０１にて付加情報に記録された人物検出区間６２が表示される。そして、処理はステップＳ１１０に進む。

【0054】

再生制御部１５は、区間映像を連続的に再生する（Ｓ１１０）。例えば、区間再生を行う場合であって、再生区間６１が離れて２つ存在する場合、再生制御部１５は、１つ目の再生区間６１の区間映像を再生し、当該１つ目の区間映像の再生を完了した後、２つ目の再生区間６１までスキップし、当該２つ目の区間映像を再生する。

【0055】

ユーザは、再生中の区間映像に対してマーキングを行う（Ｓ１１１）。例えば、ユーザは、区間映像の中に不審な人物が存在する場合、その人物の位置にマーキングを行う。ユーザは、区間映像に対して一時停止、スロー再生、コマ送り、巻き戻し、又は、早送り等の操作をしながら、マーキングを行ってよい。

【0056】

マーキング処理部１４は、ステップＳ１１１にて行われたマーキングのマーキング位置５４及びマーキング時刻を付加情報に記録する（Ｓ１１２）。

【0057】

再生制御部１５は、最後の区間映像の再生を完了した場合、又は、ユーザによってマーキングの終了操作が行われた場合、本処理を終了する。

【0058】

以上の処理により、映像管理装置１０は、人物検出部１２が監視映像５２から自動的に人物を検出した人物検出位置５３及び人物検出区間６２と、ユーザが監視映像５２を見ながら手動で入力したマーキング位置５４及びマーキング時刻とを記録した付加情報を生成できる。

【0059】

＜映像確認＞
図７は、本実施の形態に係る区間再生によって監視映像５２を効率的に確認する際の処理例を示すフローチャートである。なお、図４に示す処理は一例であり、映像管理装置１０は、ユースケースに応じて、当該処理と異なる処理を行ってもよい。

【0060】

再生制御部１５は、映像格納部２１から監視映像５２を読み出し、付加情報格納部２２から当該監視映像５２に対応する付加情報を読み出す（Ｓ２０１）。

【0061】

再生制御部１５は、付加情報に記録されている人物検出区間６２及び／又はマーキング時刻に基づいて再生区間６１を決定する（Ｓ２０２）。例えば、再生制御部１５は、図６にて説明したように、人物検出区間６２に対応する再生区間６１を決定する。また、例えば、前再生時間入力領域８２に第１の時間が入力され、後再生時間入力領域８３に第２の時間が入力された場合、再生制御部１５は、マーキング時刻よりも第１の時間だけ前の時刻から、マーキング時刻よりも第２の時刻だけ後の時刻までの区間を再生区間６１（マーキング区間６３）に決定する。

【0062】

再生制御部１５は、映像再生画面５０を表示する（Ｓ２０３）。

【0063】

再生制御部１５は、区間映像を連続的に再生する（Ｓ２０４）。すなわち、再生制御部１５は、人物検出区間６２又はマーキング区間６３の監視映像５２を連続的に再生する。

【0064】

これにより、ユーザは、録画された監視映像５２の中から、人物が映っている区間映像及びユーザによってマーキングされた区間映像を効率的に確認できる。

【0065】

次に、上述した本実施の形態に係る映像管理装置１０を利用したユースケースをいくつか説明する。

【0066】

＜ユースケース１＞
まず、映像受信部１１は、監視カメラ２から受信した監視映像５２を映像格納部２１に録画する。人物検出部１２は、監視映像５２に対して人物検出処理を行い、検出した人物検出位置５３及び人物検出区間６２を、当該監視映像５２に対応する付加情報に記録する。

【0067】

次に、第１のユーザは、映像格納部２１に録画された監視映像５２を再生させながらマーキングを行う。マーキング処理部１４は、このマーキングされたマーキング位置５４及びマーキング時刻を、当該監視映像５２に対応する付加情報に記録する。

【0068】

次に、監視カメラ２の設置場所で何らかの問題（例えば人物による事件又は事故等）が発生したとする。

【0069】

この場合、第２のユーザは、映像再生画面５０にて、付加情報に基づいて人物検出区間６２及びマーキング区間６３の区間映像を連続的に再生する。これにより、第２のユーザは、問題が発生した時刻付近の状況を効率的に確認できる。

【0070】

＜ユースケース２＞
まず、映像受信部１１は、監視カメラ２から受信した監視映像５２を映像格納部２１に録画する。人物検出部１２は、監視映像５２に対して人物検出処理を行い、検出した人物検出位置５３及び人物検出区間６２を、当該監視映像５２に対応する付加情報に記録する。

【0071】

次に、監視カメラ２の設置場所で何らかの問題（例えば人物による事件又は事故等）が発生したとする。

【0072】

この場合、第１のユーザは、映像再生画面５０にて、付加情報に基づいて人物検出区間６２の区間映像を連続的に再生し、問題が発生した時刻付近を見つける。そして、第１のユーザは、その問題が発生した時刻付近の映像を再生し、気になる位置又はフレーム画像にマーキングを行う。マーキング処理部１４は、このマーキングされたマーキング位置５４及びマーキング時刻を、当該監視映像５２に対応する付加情報に記録する。

【0073】

第２のユーザは、映像再生画面５０にて、付加情報に基づいてマーキング区間６３の区間映像を連続的に再生する。これにより、第２のユーザは、第１のユーザがマーキングした映像を効率的に確認できる。

【0074】

＜ユースケース３＞
まず、映像受信部１１は、監視カメラ２から受信した監視映像５２を映像格納部２１に録画すると共に、受信した監視映像５２をリアルタイムに再生制御部１５に送信する。人物検出部１２は、映像格納部２１に録画された監視映像５２に対して人物検出処理を行い、検出した人物検出位置５３及び人物検出区間６２を、当該監視映像５２に対応する付加情報に記録する。

【0075】

一方、再生制御部１５は、映像受信部１１から送信される監視映像５２をリアルタイムに表示する。

【0076】

第１のユーザ（例えば施設の管理会社の警備員）は、リアルタイムに表示される監視映像５２を見ながら、気になる人物が存在する場合、その人物に対してマーキングを行う。マーキング処理部１４は、このマーキングされたマーキング位置５４及びマーキング時刻を、当該監視映像５２に対応する付加情報に記録する。

【0077】

第２のユーザ（例えば施設のオーナ）は、映像再生画面５０にて、付加情報に基づいて人物検出区間６２及び／又はマーキング区間６３の区間映像を連続的に再生する。これにより、第２のユーザは、気になる人物が撮影されている時刻付近の映像を効率的に確認できる。

【0078】

＜ハードウェア構成＞
図８は、本開示に係る映像管理装置１０のハードウェア構成例を示すブロック図である。

【0079】

上述した映像管理装置１０は、図８に示すコンピュータ１０００を含んで構成されてよい。また、上述した映像管理装置１０が行う処理は、図８に示すコンピュータ１０００がコンピュータプログラムを実行することにより実現されてよい。

【0080】

コンピュータ１０００は、プロセッサ１００１、メモリ１００２、ストレージ１００３、入力装置１００４、表示装置１００５、通信装置１００６、ＧＰＵ（Graphics Processing Unit）１００７、インタフェース装置１００８、及び、内部バス１００９を備える。プロセッサ１００１、メモリ１００２、ストレージ１００３、入力装置１００４、表示装置１００５、通信装置１００６、ＧＰＵ（Graphics Processing Unit）１００７、及び、インタフェース装置１００８は、内部バス１００９に接続され、内部バス１００９を介して双方向にデータを送受信できる。

【0081】

ただし、映像管理装置１０は、図８に示す構成要素のすべてを備えることは必須ではなく、少なくともプロセッサ１００１及びメモリ１００２を備えればよい。

【0082】

プロセッサ１００１は、メモリ１００２に記憶されたコンピュータプログラムを実行し、上述した処理を実現する装置である。したがって、上述した処理は、プロセッサ１００１を主体とする処理に読み替えることができる。プロセッサ１００１の例として、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、コントローラ、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field-Programmable Gate Array）が挙げられる。

【0083】

メモリ１００２は、コンピュータ１０００が取り扱うコンピュータプログラム及びデータを記憶する装置である。メモリ１００２は、ＲＯＭ（Read-Only Memory）及びＲＡＭ（Random Access Memory）を含んでよい。また、メモリ１００２は、揮発性記憶媒体又は不揮発性記憶媒体のいずれで構成されてもよい。

【0084】

ストレージ１００３は、不揮発性記憶媒体で構成され、コンピュータ１０００が取り扱うコンピュータプログラム及びデータを記憶する装置である。ストレージ１００３の例として、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、フラッシュメモリ等が挙げられる。

【0085】

入力装置１００４は、ユーザからの入力操作を受け付ける装置である。入力装置１００４の例として、キーボード、マウス、タッチパッド、又は、マイク等が挙げられる。

【0086】

表示装置１００５は、画面を表示する装置である。表示装置１００５の例として、ディスプレイ、モニタ等が挙げられる。

【0087】

通信装置１００６は、通信ネットワークを介して、他の装置とデータを送受信する装置である。通信装置１００６は、データを送信する送信部とデータを受信する受信部とを含んでよい。通信装置１００６は、有線通信及び無線通信の何れに対応してもよい。

【0088】

ＧＰＵ１００７は、画面描写を高速に処理する装置である。なお、ＧＰＵ１００７は、ＡＩ（Artificial Intelligence）の処理（例えばディープニューラルネットワークの学習及び処理等）に利用されてもよい。

【0089】

インタフェース装置１００８は、ＤＶＤドライブ、外付けＨＤＤ、又は、ＵＳＢ（Universal Serial Bus）メモリといった外部記録媒体を接続可能な装置である。インタフェース装置１００８は、接続された外部記録媒体とデータの読み書きを行う。

【0090】

（本実施の形態のまとめ）
本実施の形態には次の技術が開示される。

【0091】

＜技術１＞
映像管理装置１０は、監視カメラ２によって撮影された監視映像５２を受信する映像受信部１１と、監視映像５２から人物を検出し、人物が検出された監視映像５２の時間区間である人物検出区間６２を監視映像５２に対応する付加情報に記録する人物検出部１２と、監視映像５２に対するユーザからのマーキングを受け付け、マーキングされた監視映像５２の時刻であるマーキング時刻を付加情報に記録するマーキング処理部１４と、付加情報に基づいて、監視映像５２における人物検出区間６２を連続的に再生する、あるいは、監視映像５２におけるマーキング時刻を含む時間区間であるマーキング区間６３を連続的に再生する再生制御部１５と、を備える。
これにより、ユーザは、連続的に再生される人物検出区間６２又はマーキング区間６３を見ることにより、効率的に監視映像５２を確認できる。

【0092】

＜技術２＞
映像管理装置１０は、監視カメラ２によって撮影された監視映像５２を受信する映像受信部１１と、監視映像５２から人物を検出し、人物が検出された監視映像５２の時間区間である人物検出区間６２を監視映像５２に対応する付加情報に記録する人物検出部１２と、監視映像５２に対するユーザからのマーキングを受け付け、マーキングされた監視映像５２の時刻であるマーキング時刻を付加情報に記録するマーキング処理部１４と、付加情報に基づいて、監視映像５２における、人物検出区間６２、及び、マーキング時刻を含む時間区間であるマーキング区間６３を連続的に再生する再生制御部１５と、を備える。
これにより、ユーザは、連続的に再生される人物検出区間６２及びマーキング区間６３を見ることにより、効率的に監視映像５２を確認できる。

【0093】

＜技術３＞
技術１又は２に記載の映像管理装置１０において、再生制御部１５は、人物検出区間６２及びマーキング区間６３の少なくとも一方を示す再生区間バー６０を、監視映像５２の再生位置を示すシークバー５６と並べて表示する。
これにより、ユーザは、再生区間バー６０を見て、シークバー５６のどの位置に人物検出区間６２及びマーキング区間６３の少なくとも一方が存在するかを認識できる。よって、ユーザは、シークバー５６のスライダー５７を動かして、所望の人物検出区間６２又はマーキング区間６３の映像を簡単に確認できる。

【0094】

＜技術４＞
技術３に記載の映像管理装置１０において、再生区間バー６０における人物検出区間６２とマーキング区間６３とは互いに異なる態様にて表示される。
これにより、ユーザは、再生区間バー６０を見て、人物検出区間６２の位置とマーキング区間６３の位置とを認識できる。

【0095】

＜技術５＞
技術１から４のいずれか１つに記載の映像管理装置１０は、人物検出部１２の検出範囲を定める検出枠９２を、ユーザから入力された複数の図形の組み合わせに基づいて設定する設定処理部１６をさらに備える。
これにより、ユーザは、複雑な検出枠９２を簡単に設定できる。

【0096】

＜技術６＞
映像管理方法は、監視カメラ２によって撮影された監視映像５２を受信し、監視映像５２から人物を検出し、人物が検出された監視映像５２の時間区間である人物検出区間６２を監視映像５２に対応する付加情報に記録し、監視映像５２に対するユーザからのマーキングを受け付け、マーキングされた監視映像５２の時刻であるマーキング時刻を付加情報に記録し、付加情報に基づいて、監視映像５２における、人物検出区間６２、及び／又は、マーキング時刻を含む時間区間であるマーキング区間６３を連続的に再生する。
これにより、ユーザは、連続的に再生される人物検出区間６２及び／又はマーキング区間６３を見ることにより、効率的に監視映像５２を確認できる。

【0097】

＜技術７＞
映像管理プログラムは、監視カメラ２によって撮影された監視映像５２を受信し、監視映像５２から人物を検出し、人物が検出された監視映像５２の時間区間である人物検出区間６２を監視映像５２に対応する付加情報に記録し、監視映像５２に対するユーザからのマーキングを受け付け、マーキングされた監視映像５２の時刻であるマーキング時刻を付加情報に記録し、付加情報に基づいて、監視映像５２における、人物検出区間６２、及び／又は、マーキング時刻を含む時間区間であるマーキング区間６３を連続的に再生する、ことをコンピュータ１０００に実行させる。
これにより、ユーザは、連続的に再生される人物検出区間６２及び／又はマーキング区間６３を見ることにより、効率的に監視映像５２を確認できる。

【0098】

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0099】

本開示の技術は、カメラによって撮影された映像の効率的な確認に有用である。

【符号の説明】

【0100】

１ 映像管理システム
２ 監視カメラ
１０ 映像管理装置
１１ 映像受信部
１２ 人物検出部
１３ 拡張検出部
１４ マーキング処理部
１５ 再生制御部
１６ 設定処理部
２１ 映像格納部
２２ 付加情報格納部
５０ 映像再生画面
５１ 映像表示領域
５２ 監視映像
５３ 人物検出位置
５４ マーキング位置
５５ 操作ボタン領域
５６ シークバー
５７ スライダー
６０ 再生区間バー
６１ 再生区間
６２ 人物検出区間
６３ マーキング区間
６４ 拡張検出区間
６５ 非検出区間
７０ クリッピング画像領域
７１ クリッピング画像
７２ 第１のアイコン
７３ 第２のアイコン
８０ 再生設定画面
８１ スキップ時間入力領域
８２ 前再生時間入力領域
８３ 後再生時間入力領域
９０ 検出枠設定画面
９１ 検出枠設定領域
９２ 検出枠

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】