特許 7406976 監視システム及び監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-20

(45)【発行日】2023-12-28

(54)【発明の名称】監視システム及び監視方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20231221BHJP

   H04N 5/76 20060101ALI20231221BHJP

   H04N 5/77 20060101ALI20231221BHJP

   H04N 5/91 20060101ALI20231221BHJP

【ＦＩ】

H04N7/18 D

H04N5/76

H04N5/77

H04N5/91

H04N7/18 U

【請求項の数】 8

(21)【出願番号】P 2019230596

(22)【出願日】2019-12-20

(65)【公開番号】P2021100173

(43)【公開日】2021-07-01

【審査請求日】2022-09-21

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100181869

【弁理士】

【氏名又は名称】大久保 雄一

(74)【代理人】

【識別番号】100167302

【弁理士】

【氏名又は名称】種村 一幸

(74)【代理人】

【識別番号】100135817

【弁理士】

【氏名又は名称】華山 浩伸

(72)【発明者】

【氏名】前田 大輝

【審査官】吉川 康男

(56)【参考文献】

【文献】米国特許出願公開第２００７／００３３６３２（ＵＳ，Ａ１）

【文献】特開２０１１－２１５８４１（ＪＰ，Ａ）

【文献】国際公開第２００８／１４６４４７（ＷＯ，Ａ１）

【文献】国際公開第２０１５／１７８２３４（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１１０６０６（ＷＯ，Ａ１）

【文献】特開２００５－２７７８４７（ＪＰ，Ａ）

【文献】特開２０１２－２５２５８２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／７６

Ｈ０４Ｎ ５／７７

Ｈ０４Ｎ ５／９１

(57)【特許請求の範囲】

【請求項1】

撮像装置により撮像される監視エリアの撮像画像を取得する画像取得部と、
所定の撮像期間に対応するタイムバーを表示画面に表示させるタイムバー表示部と、
前記画像取得部により取得される前記撮像画像の中から、前記撮像期間の長さに応じた数の第１撮像画像を抽出する画像抽出部と、
前記画像抽出部により抽出される前記第１撮像画像を前記表示画面において前記タイムバーに対応付けて表示させる画像表示部と、
を備え、
前記画像抽出部は、アスペクト比が予め設定されている前記第１撮像画像の高さを前記タイムバーの幅に対応する画像表示領域の高さに一致させた上で当該画像表示領域の幅方向に並べることが可能な前記第１撮像画像の枚数を算出し、算出した枚数の前記第１撮像画像を抽出し、
前記画像表示部は、前記画像抽出部により抽出される複数の前記第１撮像画像を、前記画像表示領域において前記タイムバーの時間軸方向に並べて表示させる、監視システム。

【請求項2】

前記画像抽出部は、算出される前記第１撮像画像の数に基づいて１枚当たりの前記第１撮像画像に対応する時間幅を算出し、前記時間幅に対応する撮像時間帯ごとに前記第１撮像画像を抽出する、
請求項１に記載の監視システム。

【請求項3】

前記画像抽出部は、前記画像表示領域において前記第１撮像画像の大きさが変更された場合に、前記第１撮像画像に対応する前記時間幅を、変更後の前記第１撮像画像の大きさに対応する時間幅に変更し、変更後の前記時間幅に対応する前記撮像時間帯ごとに前記第１撮像画像を抽出する、
請求項２に記載の監視システム。

【請求項4】

前記画像抽出部は、前記表示画面において前記タイムバーに対応する前記撮像期間が変更された場合に、変更後の前記撮像期間に応じた前記撮像時間帯ごとに前記第１撮像画像を抽出する、
請求項２に記載の監視システム。

【請求項5】

前記画像抽出部は、前記時間幅の間隔で前記撮像時間帯ごとに前記第１撮像画像を抽出する、
請求項２から請求項４のいずれか１項に記載の監視システム。

【請求項6】

前記画像抽出部は、前記撮像時間帯ごとに、前記撮像時間帯における前記撮像画像のうち変化量が最大となる前記第１撮像画像を抽出する、
請求項２から請求項４のいずれか１項に記載の監視システム。

【請求項7】

前記タイムバー表示部は、さらに、前記第１撮像画像の撮像日時を表す識別情報を、前記タイムバーにおける前記撮像日時に対応する位置に表示させる、
請求項１から請求項６のいずれか１項に記載の監視システム。

【請求項8】

撮像装置により撮像される監視エリアの撮像画像を取得する画像取得ステップと、
所定の撮像期間に対応するタイムバーを表示画面に表示させるタイムバー表示ステップと、
前記画像取得ステップにより取得される前記撮像画像の中から、前記撮像期間の長さに応じた数の第１撮像画像を抽出する画像抽出ステップと、
前記画像抽出ステップにより抽出される前記第１撮像画像を前記表示画面において前記
タイムバーに対応付けて表示させる画像表示ステップと、
を一又は複数のプロセッサーが実行し、
前記画像抽出ステップにおいて、アスペクト比が予め設定されている前記第１撮像画像の高さを前記タイムバーの幅に対応する画像表示領域の高さに一致させた上で当該画像表示領域の幅方向に並べることが可能な前記第１撮像画像の枚数を算出し、算出した枚数の前記第１撮像画像を抽出し、
前記画像表示ステップにおいて、前記画像抽出ステップにより抽出される複数の前記第１撮像画像を、前記画像表示領域において前記タイムバーの時間軸方向に並べて表示させる、監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視システム及び監視方法に関する。

【背景技術】

【0002】

監視エリアをカメラで撮像し、撮像画像を解析して管理エリア内の被写体の動きを検出する監視システムが知られている。例えば特許文献１には、カメラにより撮影された動画像を解析して得られたイベントの発生頻度、又は、イベントに関する数値に応じて、動画像のタイムラインにイベントが発生したことを表示させるシステムが開示されている。また、前記監視システムでは、イベントが発生した時刻の撮像画像（録画画像）を再生させることが可能である。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１７５５５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、録画した撮像画像を検索及び再生する際に、イベントが発生したと予想される時刻を指定する構成では、例えばイベントが発生した時刻を把握することができない場合には検索に時間を要してしまう。

【0005】

本発明の目的は、監視エリアの撮像画像に対してユーザーが検索する際の操作性を向上させることが可能な監視システム及び監視方法を提供することにある。

【課題を解決するための手段】

【0006】

本発明の一の局面に係る監視システムは、撮像装置により撮像される監視エリアの撮像画像を取得する画像取得部と、所定の撮像期間に対応するタイムバーを表示画面に表示させるタイムバー表示部と、前記画像取得部により取得される前記撮像画像の中から、前記撮像期間の長さに応じた数の第１撮像画像を抽出する画像抽出部と、前記画像抽出部により抽出される前記第１撮像画像を前記表示画面において前記タイムバーに対応付けて表示させる画像表示部と、を備える。

【0007】

本発明の他の局面に係る監視方法は、撮像装置により撮像される監視エリアの撮像画像を取得する画像取得ステップと、所定の撮像期間に対応するタイムバーを表示画面に表示させるタイムバー表示ステップと、前記画像取得ステップにより取得される前記撮像画像の中から、前記撮像期間の長さに応じた数の第１撮像画像を抽出する画像抽出ステップと、前記画像抽出ステップにより抽出される前記第１撮像画像を前記表示画面において前記タイムバーに対応付けて表示させる画像表示ステップと、を一又は複数のプロセッサーにより実行する。

【発明の効果】

【0008】

本発明によれば、監視エリアの撮像画像に対してユーザーが検索する際の操作性を向上させることが可能となる。

【図面の簡単な説明】

【0009】

【図1】図１は、本発明の実施形態に係る監視システムの構成を示すブロック図である。

【図2】図２は、本発明の実施形態に係る監視装置に表示される表示画面の一例を示す図である。

【図3】図３は、本発明の実施形態に係る監視装置に表示される表示画面の一例を示す図である。

【図4】図４は、本発明の実施形態に係る監視装置に表示される表示画面の一例を示す図である。

【図5】図５は、本発明の実施形態に係る監視装置に表示される表示画面の一例を示す図である。

【図6】図６は、本発明の実施形態に係る監視装置で実行される表示制御処理の手順の一例を示すフローチャートである。

【図7】図７は、本発明の実施形態に係る監視システムで利用される差分値の変化の一例を示すグラフである。

【図8】図８は、本発明の実施形態に係る監視装置に表示される表示画面の一例を示す図である。

【図9】図９は、本発明の実施形態に係る監視装置で実行される表示制御処理の手順の一例を示すフローチャートである。

【図10】図１０は、本発明の実施形態に係る監視装置に表示される表示画面の一例を示す図である。

【図11】図１１は、本発明の実施形態に係る監視装置に表示される表示画面の一例を示す図である。

【発明を実施するための形態】

【0010】

以下添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。

【0011】

本発明に係る監視システムは、小売店、飲食店などの店舗（施設）に設置され、店舗内の所定のエリア（本発明の監視エリアに相当）を監視する。例えば、前記監視システムは、店舗の出入り口、売り場、レジなどを含む監視エリアをカメラにより撮影して、利用客、従業員など（検出対象）による不審な行動を検出する。また、前記監視システムは、前記カメラにより撮像される撮像画像を再生可能に記録する。

【0012】

本実施形態では、監視装置１０単体が本発明に係る監視システムに相当する。但し、本発明に係る監視システムは、監視装置１０及びカメラ２０で構成されてもよい。例えば、監視装置１０及びカメラ２０のうち複数の構成要素が協働して後述する表示制御処理（図６参照）を分担して実行する場合には、その処理を実行する複数の構成要素を含むシステムが、本発明に係る監視システムに相当する。

【0013】

［監視システム１］
図１に示すように、本発明の実施形態に係る監視システム１は、監視装置１０とカメラ２０とを含む。監視装置１０及びカメラ２０は、インターネット、ＬＡＮ、ＷＡＮ、又は公衆電話回線などの通信網Ｎ１を介して通信可能である。例えば、カメラ２０は、ネットワークカメラで構成される。カメラ２０は、店舗において、１台ずつ設置されてもよいし、複数台ずつ設置されてもよい。また、カメラ２０は、監視エリアごとに１台ずつ設置されてもよいし、複数台ずつ設置されてもよい。監視装置１０は、監視エリアを含む店舗内に設置されてもよいし、店舗外に設置されてもよい。

【0014】

［カメラ２０］
カメラ２０は、本発明の撮像装置の一例である。カメラ２０は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、被写体を撮像する。カメラ２０は、被写体を所定のフレームレートで連続して撮像し、所定の解像度のフレーム画像を生成して逐次、監視装置１０に送信する。カメラ２０は、周知の構成を適用することができる。カメラ２０は、例えば前記店舗の監視エリアを撮影可能な所定の位置に設置される。なお、カメラ２０は、監視装置１０の構成要素に含まれてもよい。また、カメラ２０は、店舗に既設のものであってもよい。

【0015】

［監視装置１０］
図１に示すように、監視装置１０は、制御部１１、操作表示部１２、記憶部１３、通信部１４などを備える。

【0016】

操作表示部１２は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、操作を受け付けるマウス、キーボード、又はタッチパネルなどの操作部とを備えるユーザーインターフェースである。例えば、監視装置１０の管理者（ユーザー）は、操作表示部１２において、撮像画像の再生操作（後述）などを行う。操作表示部１２は、本発明の表示画面の一例である。

【0017】

通信部１４は、監視装置１０を有線又は無線で通信網Ｎ１に接続し、通信網Ｎ１を介してカメラ２０などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。

【0018】

記憶部１３は、各種の情報を記憶するフラッシュメモリー、ＨＤＤなどの不揮発性の記憶部である。例えば、記憶部１３には、制御部１１に後述の表示制御処理（図６参照）を実行させるための表示制御プログラムなどの制御プログラムが記憶されている。例えば、表示制御プログラムは、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、監視装置１０に電気的に接続されるＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部１３に記憶される。

【0019】

また、記憶部１３には、カメラ２０により撮像される撮像画像の画像データが記憶される。前記撮像画像には、撮像日時の日時情報が含まれる。なお、他の実施形態として、前記画像データなどの情報の一部又は全部が、監視装置１０から通信網Ｎ１を介してアクセス可能な他のサーバに記憶されてもよい。この場合、監視装置１０の制御部１１は、前記他のサーバから前記情報を取得して、後述の表示制御処理などの各処理を実行してもよい。

【0020】

制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどを有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムを予め記憶する。前記ＲＡＭは、各種の情報を記憶し、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１１は、前記ＲＯＭ又は記憶部１３に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより監視装置１０を制御する。

【0021】

具体的に、制御部１１は、図１に示すように、画像取得部１１１、タイムバー表示部１１２、画像抽出部１１３、画像表示部１１４、再生処理部１１５などの各種の処理部を含む。なお、制御部１１は、前記ＣＰＵで前記表示制御プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部１１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記ＣＰＵで前記表示制御プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。

【0022】

画像取得部１１１は、監視エリアを撮像するカメラ２０から撮像画像を取得する。画像取得部１１１は、本発明の画像取得部の一例である。具体的には、画像取得部１１１は、カメラ２０が監視エリアを撮像した撮像画像の画像データをカメラ２０から取得する。また、画像取得部１１１は、取得した画像データを記憶部１３に記憶する。前記画像データには、撮像日時の日時情報が含まれる。

【0023】

タイムバー表示部１１２は、所定の撮像期間に対応するタイムバー（タイムライン）を操作表示部１２に表示させる。タイムバー表示部１１２は、本発明のタイムバー表示部の一例である。ここで、カメラ２０は、例えば監視エリアを常時（２４時間）撮影して前記画像データを監視装置１０に転送する。前記撮像期間は、ユーザーにより設定することが可能であり、過去の撮像日時から現在日時までの期間で所望の期間を設定することが可能である。操作表示部１２に表示されるタイムバーＴＢの時間軸方向の長さは、タイムバーＴＢの表示領域に応じて予め設定される。

【0024】

例えば図２に示すように、タイムバーＴＢは、操作表示部１２の表示領域の幅に応じた長さに設定される。図２に示す例では、前記撮像期間が「２０１９年１月１０月 １１：００～１１：１５」の１５分間に設定されたタイムバーＴＢを示している。すなわち、図２に示す例では、タイムバーＴＢの時間軸方向の長さが、１５分の撮像期間に相当する。

【0025】

タイムバー表示部１１２は、図２に示す表示画面において、ユーザーの操作に応じて前記撮像期間を変更することが可能である。例えば、ユーザーがタイムバーＴＢをマウスにより選択して所定の操作（マウスホイール操作、拡大縮小操作など）を行うと、タイムバー表示部１１２は、前記撮像期間を操作量に応じて変更する。これにより、タイムバーＴＢの時間間隔を狭くしたり広くしたりすることができる。

【0026】

画像抽出部１１３は、画像取得部１１１により取得される撮像画像の中から、前記撮像期間の長さに応じた数（枚数）の撮像画像（以下、第１撮像画像（本発明の第１撮像画像に相当）という。）を抽出する。画像抽出部１１３は、本発明の画像抽出部の一例である。

【0027】

画像表示部１１４は、画像抽出部１１３により抽出される第１撮像画像を操作表示部１２においてタイムバーＴＢに対応付けて表示させる。画像表示部１１４は、本発明の画像表示部の一例である。具体的には、画像表示部１１４は、第１撮像画像をサムネイル形式でタイムバーＴＢに対応付けて表示させる。また、画像表示部１１４は、１又は複数の第１撮像画像を、タイムバーＴＢの時間軸方向に対して垂直方向、かつ、タイムバーＴＢの上段又は下段に表示させる。

【0028】

ここで、画像取得部１１１により取得される撮像画像のアスペクト比は予め設定されている。画像抽出部１１３は、タイムバーＴＢに対応する画像表示領域ＡＲ１の大きさ（幅及び高さ）と前記撮像画像のアスペクト比とに基づいて、画像表示領域ＡＲ１に表示可能な第１撮像画像の枚数を算出する。なお、画像表示領域ＡＲ１の幅とタイムバーＴＢの幅は一致するように設定される。図２に示す例では、画像抽出部１１３は、「５枚」を算出する。

【0029】

この場合、画像抽出部１１３は、画像取得部１１１により取得される撮像画像の中から、５枚の第１撮像画像を抽出する。

【0030】

具体的には、画像抽出部１１３は、算出される第１撮像画像の枚数に基づいて１枚当たりの第１撮像画像に対応する時間幅を算出し、前記時間幅に対応する撮像時間帯ごとに第１撮像画像を抽出する。例えば図２に示す例では、画像表示領域ＡＲ１に表示可能な第１撮像画像の枚数が「５枚」であり、タイムバーＴＢに対応する前記撮像期間が「１５分」のため、画像抽出部１１３は、１枚当たりの第１撮像画像に対応する時間幅として「３分」を算出する。この場合、画像抽出部１１３は、「３分」に対応する撮像時間帯ごとに第１撮像画像を抽出する。例えば、画像抽出部１１３は、画像取得部１１１により取得される撮像画像において、「２０１９年１月１０月 １１：００～１１：０３」の撮像画像の中から１枚の第１撮像画像ＳＰ１を抽出し、「２０１９年１月１０月 １１：０３～１１：０６」の撮像画像の中から１枚の第１撮像画像ＳＰ２を抽出し、「２０１９年１月１０月 １１：０６～１１：０９」の撮像画像の中から１枚の第１撮像画像ＳＰ３を抽出し、「２０１９年１月１０月 １１：０９～１１：１２」の撮像画像の中から１枚の第１撮像画像ＳＰ４を抽出し、「２０１９年１月１０月 １１：１２～１１：１５」の撮像画像の中から１枚の第１撮像画像ＳＰ５を抽出する。

【0031】

ここで、画像抽出部１１３は、前記時間幅の間隔で撮像時間帯ごとに第１撮像画像を抽出してもよい。例えば、画像抽出部１１３は、３分間隔で前記各撮像時間帯の第１撮像画像を抽出する。図２に示す例では、画像抽出部１１３は、各撮像時間帯の中心である、「２０１９年１月１０月 １１：０１：３０」の第１撮像画像ＳＰ１と、「２０１９年１月１０月 １１：０４：３０」の第１撮像画像ＳＰ２と、「２０１９年１月１０月 １１：０７：３０」の第１撮像画像ＳＰ３と、「２０１９年１月１０月 １１：１０：３０」の第１撮像画像ＳＰ４と、「２０１９年１月１０月 １１：１３：３０」の第１撮像画像ＳＰ５とを抽出する。なお、画像抽出部１１３は、各撮像時間帯の最初の撮像画像を抽出してもよいし、各撮像時間帯の最後の撮像画像を抽出してもよいし、途中の所定位置の撮像画像を抽出してもよい。

【0032】

画像表示部１１４は、画像抽出部１１３により抽出される５枚の第１撮像画像ＳＰ１～ＳＰ５を、画像表示領域ＡＲ１においてタイムバーＴＢの時間軸方向に並べて表示させる。

【0033】

タイムバー表示部１１２は、さらに、第１撮像画像の撮像日時を表すマークＭ（本発明の識別情報の一例）を、タイムバーＴＢにおける前記撮像日時に対応する位置に表示させる。例えば図２に示すように、タイムバー表示部１１２は、第１撮像画像ＳＰ１の撮像日時「２０１９年１月１０月 １１：０１：３０」を表すマークＭをタイムバーＴＢにおける前記撮像日時に対応する位置に表示させる。タイムバー表示部１１２は、第１撮像画像ＳＰ２～ＳＰ５についても同様に、マークＭを表示させる。これにより、画像表示領域ＡＲ１に表示された第１撮像画像の撮像日時を容易に把握することが可能となる。

【0034】

再生処理部１１５は、前記撮像画像を動画再生させる。具体的には、再生処理部１１５は、操作表示部１２においてタイムバーＴＢが選択された場合に、選択された位置（撮像日時）からの前記撮像画像を操作表示部１２に動画再生させる。例えば、図２に示す表示画面において、ユーザーがタイムバーＴＢの「２０１９年１月１０月 １１：０５：２０」を選択（タッチ）した場合、再生処理部１１５は、図３に示すように、選択された撮像日時からの撮像画像を画像表示領域ＡＲ２において動画再生させる。また、再生処理部１１５は、図３に示すように、動画再生中の日時（撮像位日時）を示す情報（再生ポインタＰ１）をタイムバーＴＢの対応する位置に表示させる。

【0035】

また、ユーザーが画像表示領域ＡＲ１において所望の第１撮像画像（サムネイル画像）を選択した場合、再生処理部１１５は、選択された第１撮像画像をハイライト表示させるとともに、当該第１撮像画像に対応する撮像時間帯の撮像画像を画像表示領域ＡＲ２において動画再生させる。例えば、ユーザーが図２に示す表示画面において第１撮像画像ＳＰ３を選択した場合、再生処理部１１５は、選択された第１撮像画像ＳＰ３をハイライト表示させるとともに、当該第１撮像画像ＳＰ３に対応する撮像時間帯「２０１９年１月１０月 １１：０６～１１：０９」の撮像画像を画像表示領域ＡＲ２において動画再生させる。また、この場合、再生処理部１１５は、再生ポインタＰ１をタイムバーＴＢの対応する位置に表示させる。

【0036】

ところで、ユーザーは、例えば図２に示す表示画面において、画像表示領域ＡＲ１の大きさを変更することが可能である。例えば、ユーザーが画像表示領域ＡＲ１をマウスにより選択して所定の操作（ドラッグアンドドロップ操作など）を行うと、画像表示部１１４は、画像表示領域ＡＲ１の大きさを操作量に応じて変更する。画像表示領域ＡＲ１において第１撮像画像の大きさが変更された場合、画像抽出部１１３は、第１撮像画像に対応する前記時間幅を、変更後の第１撮像画像の大きさに対応する時間幅に変更し、変更後の前記時間幅に対応する撮像時間帯ごとに第１撮像画像を抽出する。図４に示す例では、画像抽出部１１３は、第１撮像画像に対応する時間幅「３分」（図２参照）を、変更後の第１撮像画像の大きさに対応する時間幅「５分」に変更する。そして、画像抽出部１１３は、変更後の時間幅「５分」に対応する撮像時間帯ごとに第１撮像画像を抽出する。

【0037】

具体的には、画像抽出部１１３は、画像取得部１１１により取得される撮像画像において、「２０１９年１月１０月 １１：００～１１：０５」の撮像画像の中から１枚（例えば「１１：０２：３０」）の第１撮像画像ＳＰ１を抽出し、「２０１９年１月１０月 １１：０５～１１：１０」の撮像画像の中から１枚（例えば「１１：０７：３０」）の第１撮像画像ＳＰ２を抽出し、「２０１９年１月１０月 １１：１０～１１：１５」の撮像画像の中から１枚（例えば「１１：１２：３０」）の第１撮像画像ＳＰ３を抽出する。

【0038】

そして、画像表示部１１４は、画像抽出部１１３により抽出される３枚の第１撮像画像ＳＰ１～ＳＰ３を、画像表示領域ＡＲ１においてタイムバーＴＢの時間軸方向に並べて表示させる。

【0039】

このように、ユーザーが図２に示す表示画面において画像表示領域ＡＲ１の高さを高くする操作を行うと、画像表示領域ＡＲ１に表示可能な第１撮像画像の枚数が「５枚」から減少し、画像表示領域ＡＲ１の高さを低くする操作を行うと、画像表示領域ＡＲ１に表示可能な第１撮像画像の枚数が「５枚」から増加する。画像抽出部１１３は、画像表示領域ＡＲ１の大きさの変更に応じて、前記時間幅及び前記撮像時間帯に対応する第１撮像画像を抽出する。

【0040】

また、上述したように、ユーザーは、例えば図２に示す表示画面において、タイムバーＴＢの撮像期間を変更することが可能である。例えば、ユーザーがタイムバーＴＢをマウスにより選択してマウスホイール操作を行うと、タイムバー表示部１１２は、前記撮像期間を操作量に応じて変更する。前記表示画面においてタイムバーＴＢに対応する前記撮像期間が変更された場合、画像抽出部１１３は、変更後の前記撮像期間に応じた前記撮像時間帯ごとに第１撮像画像を抽出する。図５に示す例では、タイムバー表示部１１２は、ユーザーの操作に応じて、タイムバーＴＢの撮像期間「１５分」（図２参照）を「５分」に変更する。そして、画像抽出部１１３は、変更後の撮像期間「５分」に応じた撮像時間帯ごとに第１撮像画像を抽出する。図５に示す例では、画像表示領域ＡＲ１に表示可能な第１撮像画像の枚数が「５枚」であり、タイムバーＴＢに対応する前記撮像期間が「５分」のため、画像抽出部１１３は、１枚当たりの第１撮像画像に対応する時間幅として「１分」を算出する。

【0041】

具体的には、画像抽出部１１３は、画像取得部１１１により取得される撮像画像において、「２０１９年１月１０月 １１：００～１１：０１」の撮像画像の中から１枚（例えば「１１：００：３０」）の第１撮像画像ＳＰ１を抽出し、「２０１９年１月１０月 １１：０１～１１：０２」の撮像画像の中から１枚（例えば「１１：０１：３０」）の第１撮像画像ＳＰ２を抽出し、「２０１９年１月１０月 １１：０２～１１：０３」の撮像画像の中から１枚（例えば「１１：０２：３０」）の第１撮像画像ＳＰ３を抽出し、「２０１９年１月１０月 １１：０３～１１：０４」の撮像画像の中から１枚（例えば「１１：０３：３０」）の第１撮像画像ＳＰ４を抽出し、「２０１９年１月１０月 １１：０４～１１：０５」の撮像画像の中から１枚（例えば「１１：０４：３０」）の第１撮像画像ＳＰ５を抽出する。

【0042】

そして、画像表示部１１４は、画像抽出部１１３により抽出される５枚の第１撮像画像ＳＰ１～ＳＰ５を、画像表示領域ＡＲ１においてタイムバーＴＢの時間軸方向に並べて表示させる。

【0043】

［表示制御処理］
次に、図６を参照しつつ、監視装置１０の制御部１１によって実行される表示制御処理の手順の一例について説明する。制御部１１は、カメラ２０から撮像画像を取得することにより前記表示制御プログラムの実行を開始することによって、前記表示制御処理の実行を開始する。ここで、ステップＳ１１、Ｓ１２、・・・は、制御部１１により実行される処理手順（ステップ）の番号を表している。

【0044】

なお、ここで説明する前記表示制御処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記表示制御処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは監視装置１０の制御部１１によって前記表示制御処理における各ステップが実行される場合を例に挙げて説明するが、他の実施形態では、他の複数のプロセッサーによって前記表示制御処理における各ステップが分散して実行されてもよい。また、本発明は、前記表示制御処理に含まれる一又は複数のステップを実行する表示制御方法（本発明の監視方法の一例）の発明として捉えることができる。

【0045】

ステップＳ１１において、制御部１１は、カメラ２０により撮像される監視エリアの撮像画像を取得する。ステップＳ１１は、本発明の画像取得ステップの一例である。

【0046】

次にステップＳ１２において、制御部１１は、所定の撮像期間に対応するタイムバーＴＢを操作表示部１２に表示させる。例えば図２に示すように、制御部１１は、ユーザーの操作に応じて、前記撮像期間が「２０１９年１月１０月 １１：００～１１：１５」の１５分間に設定されたタイムバーＴＢを操作表示部１２に表示させる。ステップＳ１２は、本発明のタイムバー表示ステップの一例である。

【0047】

次にステップＳ１３において、制御部１１は、サムネイル表示の有無を判定する。例えば、ユーザーは、操作表示部１２にサムネイル画像（第１撮像画像）を表示させるか否かを選択する操作を行うことが可能である。ユーザーがサムネイル画像を表示させる操作を行った場合、制御部１１は、サムネイル表示有と判定し（Ｓ１３：Ｙｅｓ）、処理はステップＳ１４に移行する。ユーザーがサムネイル画像を表示させない操作を行った場合、制御部１１は、サムネイル表示無と判定し（Ｓ１３：Ｎｏ）、処理は終了する。

【0048】

ステップＳ１４において、制御部１１は、操作表示部１２の表示画面において、第１撮像画像（サムネイル画像）を表示させる画像表示領域ＡＲ１の大きさを取得する。

【0049】

次にステップＳ１５において、制御部１１は、第１撮像画像の表示枚数を算出する。具体的には、制御部１１は、画像表示領域ＡＲ１の幅及び高さと、撮像画像のアスペクト比とに基づいて、画像表示領域ＡＲ１に表示可能な第１撮像画像の枚数を算出する。

【0050】

次にステップＳ１６において、制御部１１は、算出した第１撮像画像の枚数に基づいて１枚当たりの第１撮像画像に対応する時間幅を算出する。例えば図２に示す例では、画像表示領域ＡＲ１に表示可能な第１撮像画像の枚数が「５枚」であり、タイムバーＴＢに対応する前記撮像期間が「１５分」のため、制御部１１は、１枚当たりの第１撮像画像に対応する時間幅として「３分」を算出する。

【0051】

次にステップＳ１７において、制御部１１は、カメラ２０から取得する撮像画像の中から、前記時間幅に対応する撮像時間帯ごとに第１撮像画像を抽出する。例えば、制御部１１は、前記撮像画像において、「２０１９年１月１０月 １１：００～１１：０３」の撮像画像の中から１枚の第１撮像画像ＳＰ１を抽出し、「２０１９年１月１０月 １１：０３～１１：０６」の撮像画像の中から１枚の第１撮像画像ＳＰ２を抽出する（図２参照）。ステップＳ１７は、本発明の画像抽出ステップの一例である。

【0052】

次にステップＳ１８において、制御部１１は、抽出した第１撮像画像を画像表示領域ＡＲ１においてタイムバーＴＢの時間軸方向に並べて表示させる（図２参照）。ステップＳ１８は、本発明の画像表示ステップの一例である。

【0053】

次にステップＳ１９において、制御部１１は、第１撮像画像の撮像日時を表すマークＭ（識別情報）を、タイムバーＴＢにおける前記撮像日時に対応する位置に表示させる（図２参照）。以上のようにして、制御部１１は、前記表示制御処理を実行する。

【0054】

以上のように、本実施形態に係る監視システム１は、所定の撮像期間に対応するタイムバーＴＢを表示画面に表示させ、カメラ２０により撮像された撮像画像の中から、前記撮像期間の長さに応じた数の第１撮像画像を抽出し、抽出した前記第１撮像画像を前記表示画面において前記タイムバーに対応付けて表示させる。また、監視システム１は、ユーザーの画像表示領域ＡＲ１の大きさの変更操作、タイムバーＴＢの撮像期間の変更操作に応じて、前記時間幅及び前記撮像時間帯に対応する第１撮像画像を抽出してサムネイル表示させる。これにより、監視エリアの撮像画像を検索する際に、例えばユーザーはタイムバーＴＢの前記撮像期間を長期間から短期間に短くしていくことにより詳細な日時の撮像画像を検索することができ、また前記撮像期間を短期間から長期間に長くしていくことにより大まかな日時の撮像画像を検索することができる。よって、ユーザーが検索する際の操作性を向上させることが可能となる。

【0055】

本発明の監視システムは上述の実施形態に限定されない。本発明の監視システムは、以下に示す形態であってもよい。

【0056】

他の実施形態として、画像抽出部１１３は、前記撮像時間帯ごとに、前記撮像時間帯における前記撮像画像のうち変化量が最大となる第１撮像画像を抽出してもよい。具体的には、画像抽出部１１３は、図７に示すように、前記撮像時間帯（例えば「２０１９年１月１０月 １１：００～１１：０３」）において前後フレームの差分値を算出し、当該差分値が最大となる撮像日時ｔ１の撮像画像を、当該撮像時間帯の第１撮像画像として抽出する。図８には、上記のようにして抽出した第１撮像画像を操作表示部１２に表示させた表示例を示している。図８に示すように、マークＭは、各撮像時間帯において前記変化量が最大となる第１撮像画像の撮像日時に対応する位置に示されている。

【0057】

図９には、上記構成に対応する表示制御処理の手順の一例を示している。図９に示す表示制御処理は、図６に示す表示制御処理においてステップＳ１６１が追加されている。以下では、図６に示す表示制御処理と異なる点について説明する。

【0058】

ステップＳ１６において、制御部１１は、算出した第１撮像画像の枚数に基づいて１枚当たりの第１撮像画像に対応する時間幅を算出する。例えば図２に示す例では、画像表示領域ＡＲ１に表示可能な第１撮像画像の枚数が「５枚」であり、タイムバーＴＢに対応する前記撮像期間が「１５分」のため、制御部１１は、１枚当たりの第１撮像画像に対応する時間幅として「３分」を算出する。

【0059】

次にステップＳ１６１において、制御部１１は、前記時間幅に対応する撮像時間帯ごとに、撮像画像の前後フレームの差分値を算出する。例えば図７に示すように、制御部１１は、前記時間幅「３分」に対応する撮像時間帯ごとに、撮像画像の前後フレームの差分値を算出する。

【0060】

次にステップＳ１７において、制御部１１は、カメラ２０から取得する撮像画像の中から、前記時間幅に対応する撮像時間帯ごとに、前記変化量が最大となる第１撮像画像を抽出する。具体的には、制御部１１は、前記時間幅「３分」に対応する前記撮像時間帯において前後フレームの差分値が最大となる撮像日時ｔ１（図７参照）の撮像画像を、当該撮像時間帯の第１撮像画像として抽出する。例えば、制御部１１は、前記撮像画像において、「２０１９年１月１０月 １１：００～１１：０３」の撮像画像の中から前記差分値が最大となる１枚の第１撮像画像ＳＰ１を抽出し、「２０１９年１月１０月 １１：０３～１１：０６」の撮像画像の中から前記差分値が最大となる１枚の第１撮像画像ＳＰ２を抽出する（図８参照）。

【0061】

次にステップＳ１８において、制御部１１は、抽出した第１撮像画像を画像表示領域ＡＲ１においてタイムバーＴＢの時間軸方向に並べて表示させる（図８参照）。

【0062】

次にステップＳ１９において、制御部１１は、第１撮像画像の撮像日時を表すマークＭ（識別情報）を、タイムバーＴＢにおける前記撮像日時に対応する位置に表示させる（図８参照）。以上のようにして、制御部１１は、前記表示制御処理を実行する。

【0063】

上記の実施形態によれば、各撮像時間帯において変化量が大きい撮像画像及びその撮像日時が表示されるため、ユーザーは監視エリアでイベントが生じた場合に容易に当該イベントに関する撮像画像及び日時を特定することができる。

【0064】

また本発明の他の実施形態として、タイムバー表示部１１２は、前記変化量が大きい第１撮像画像に対応するマークＭと、前記変化量が小さい又は前記変化量がゼロの第１撮像画像に対応するマークＭとを識別可能に表示させてもよい。例えば図１０に示すように、タイムバー表示部１１２は、前記変化量が大きい第１撮像画像ＳＰ３，ＳＰ４に対応するマークＭを「黒色塗り潰し」で表示させ、前記変化量が小さい又はゼロの第１撮像画像ＳＰ１，ＳＰ２，ＳＰ５に対応するマークＭを「塗り潰しなし」で表示させる。これにより、ユーザーは、監視エリアでイベントが生じた時間帯及び撮像画像を容易に把握することができる。

【0065】

また本発明の他の実施形態として、画像抽出部１１３は、タイムバーＴＢに対応する前記撮像期間において、画像表示領域ＡＲ１に表示可能な枚数の第１撮像画像を、前記変化量が大きい順に抽出してもよい。例えば、画像抽出部１１３は、「２０１９年１月１０月 １１：１０～１１：１５」の撮像画像のうち、前記変化量が大きい上位５枚の撮像画像を前記第１撮像画像として抽出する。そして、画像表示部１１４は、画像抽出部１１３により抽出された５枚の第１撮像画像ＳＰ１～ＳＰ５を、画像表示領域ＡＲ１においてタイムバーＴＢの時間軸方向に並べて表示させる。この場合、タイムバー表示部１１２は、例えば図１１に示すように、５枚の第１撮像画像ＳＰ１～ＳＰ５のそれぞれを識別可能なマークＭを、第１撮像画像ＳＰ１～ＳＰ５のそれぞれに対応付けてタイムバーＴＢに表示させてもよい。

【0066】

なお、本発明に係る監視システムは、各請求項に記載された発明の範囲において、以上に示された各実施形態を自由に組み合わせること、或いは各実施形態を適宜、変形又は一部を省略することによって構成されることも可能である。

【符号の説明】

【0067】

１ ：監視システム
１０ ：監視装置
２０ ：カメラ
１１１ ：画像取得部
１１２ ：タイムバー表示部
１１３ ：画像抽出部
１１４ ：画像表示部
１１５ ：再生処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】