特許 7317954 映像処理装置および映像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-21

(45)【発行日】2023-07-31

(54)【発明の名称】映像処理装置および映像処理方法

(51)【国際特許分類】

   H04N 5/92 20060101AFI20230724BHJP

   H04N 7/18 20060101ALI20230724BHJP

【ＦＩ】

H04N5/92 010

H04N7/18 U

H04N7/18 D

【請求項の数】 14

(21)【出願番号】P 2021519988

(86)(22)【出願日】2019-05-22

(86)【国際出願番号】 JP2019020312

(87)【国際公開番号】W WO2020235060

(87)【国際公開日】2020-11-26

【審査請求日】2021-11-05

(73)【特許権者】

【識別番号】000236056

【氏名又は名称】三菱電機ビルソリューションズ株式会社

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】岩村 光貴

(72)【発明者】

【氏名】横田 守真

(72)【発明者】

【氏名】小池 正英

(72)【発明者】

【氏名】馬 少翔

【審査官】松元 伸次

(56)【参考文献】

【文献】特開２０１８－００７１５６（ＪＰ，Ａ）

【文献】特開２００７－３００４４３（ＪＰ，Ａ）

【文献】特開２００７－１８９５５８（ＪＰ，Ａ）

【文献】特開２０１３－１１８５７４（ＪＰ，Ａ）

【文献】特開２００５－２１０５７３（ＪＰ，Ａ）

【文献】特開２０１６－１１９５５２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ７／００－７／９０

Ｇ０６Ｖ１０／００－２０／９０

３０／４１８

４０／１６

４０／２０

Ｈ０４Ｎ５／７６－５／７７５

５／８０－５／９５６

７／１８

(57)【特許請求の範囲】

【請求項1】

カメラで撮影された映像および前記映像のサムネイル画像を記憶する記憶装置と、
規定されたイベントの発生状態を監視するイベント監視部から送られるイベント発生の通知を開始とするイベント期間の映像を構成する複数のフレーム画像それぞれについて算出される動きベクトルおよび背景差分の少なくとも一方を基準として前記イベント期間内に注目期間を設定し、前記注目期間の映像を構成する複数のフレーム画像それぞれのブレ量に基づいて、代表スコアを算出するスコア算出部と、
算出された前記代表スコアに基づいて、前記イベント期間の映像を代表するフレーム画像を代表画像として選択する画像選択部と、
前記代表画像のサムネイル画像を生成して、前記記憶装置に記憶させるサムネイル画像生成部と、
を備える、ことを特徴とする映像処理装置。

【請求項2】

請求項１に記載の映像処理装置であって、
前記スコア算出部は、さらに、前記イベント期間の映像を構成する複数のフレーム画像それぞれの動きベクトルも算出し、少なくとも、前記ブレ量および前記動きベクトルに基づいて前記代表スコアを算出する、ことを特徴とする映像処理装置。

【請求項3】

請求項２に記載の映像処理装置であって、
前記スコア算出部は、前記動きベクトルを基準として前記イベント期間内に注目期間を設定し、前記注目期間の映像を構成するフレーム画像の代表スコアを前記ブレ量に基づいて算出する、ことを特徴とする映像処理装置。

【請求項4】

請求項１に記載の映像処理装置であって、
さらに、前記イベント期間の映像を構成する複数のフレーム画像の背景を構成する背景画像を前記スコア算出部に提供する背景画像抽出部を備え、
前記スコア算出部は、さらに、前記イベント期間の映像を構成する複数のフレーム画像それぞれと前記背景画像との差分を背景差分として算出し、少なくとも、前記ブレ量および前記背景差分に基づいて前記代表スコアを算出する、ことを特徴とする映像処理装置。

【請求項5】

請求項４に記載の映像処理装置であって、
前記スコア算出部は、前記背景差分が最大となるタイミングの前後一定期間、または、前記背景差分が最大となるタイミングの後一定期間、または、前記背景差分の移動平均値が最も高くなる期間、を注目期間として設定し、前記注目期間の映像を構成するフレーム画像の代表スコアを前記ブレ量に基づいて算出するとともに、その他のフレーム画像の代表スコアを実質的にゼロとして算出する、ことを特徴とする映像処理装置。

【請求項6】

請求項１に記載の映像処理装置であって、
さらに、前記イベント期間の映像を構成する複数のフレーム画像の背景を構成する背景画像を前記スコア算出部に提供する背景画像抽出部を備え、
前記スコア算出部は、さらに、前記イベント期間の映像を構成する複数のフレーム画像それぞれと前記背景画像との差分を背景差分として算出し、前記イベント期間の映像を構成する複数のフレーム画像それぞれの動きベクトルを算出し、少なくとも、前記背景差分、前記ブレ量および前記動きベクトルに基づいて前記代表スコアを算出する、ことを特徴とする映像処理装置。

【請求項7】

請求項６に記載の映像処理装置であって、
前記スコア算出部は、前記背景差分が最大となるタイミングの前後一定期間を第一注目期間として設定し、前記第一注目期間における前記動きベクトルが最大となるタイミングの前記一定期間を第二注目期間として設定し、前記第二注目期間の映像を構成するフレーム画像の代表スコアを前記ブレ量に基づいて算出するとともに、その他のフレーム画像の代表スコアを実質的にゼロとして算出する、ことを特徴とする映像処理装置。

【請求項8】

請求項１から７のいずれか一項に記載の映像処理装置であって、
さらに、前記イベント期間の開始および終了を前記スコア算出部に通知するイベント通知部を備え、
複数の前記イベント期間それぞれについて前記サムネイル画像が生成される、
ことを特徴とする映像処理装置。

【請求項9】

請求項１から８のいずれか一項に記載の映像処理装置であって、
前記スコア算出部は、前記フレーム画像を所定の移動角度の方向に所定の移動距離だけ移動させた比較画像と、前記フレーム画像と、の自己相関が最大となるときの前記移動距離を前記フレーム画像のブレ量として算出する、ことを特徴とする映像処理装置。

【請求項10】

請求項１から９のいずれか一項に記載の映像処理装置であって、
さらに、前記イベント期間の映像を構成する複数のフレーム画像の背景を構成する背景画像を前記サムネイル画像生成部に提供する背景画像抽出部を備え、
前記サムネイル画像生成部は、前記代表画像のうち、前記背景画像と相違する被写体部分を強調してサムネイル画像を生成する、
ことを特徴とする映像処理装置。

【請求項11】

請求項１から９のいずれか一項に記載の映像処理装置であって、
さらに、前記イベント期間の映像を構成する複数のフレーム画像の背景を構成する背景画像を前記サムネイル画像生成部に提供する背景画像抽出部を備え、
前記サムネイル画像生成部は、前記代表画像のうち前記背景画像と相違する部分を差分画像として抽出し、前記背景画像または前記代表画像に劣化処理を施した劣化画像を生成し、前記劣化画像と前記差分画像とを合成した画像からサムネイル画像を生成する、
ことを特徴とする映像処理装置。

【請求項12】

カメラで撮影された映像および前記映像のサムネイル画像を記憶装置に記憶し、
規定されたイベントの発生状態を監視するイベント監視部から送られるイベント発生の通知を開始とするイベント期間の映像を構成する複数のフレーム画像それぞれについて算出される動きベクトルおよび背景差分の少なくとも一方を基準として前記イベント期間内に注目期間を設定し、前記注目期間の映像を構成する複数のフレーム画像それぞれのブレ量に基づいて、代表スコアを算出し、
算出された前記代表スコアに基づいて、前記イベント期間の映像を代表するフレーム画像を代表画像として選択し、
前記代表画像のサムネイル画像を生成して、前記記憶装置に記憶する、
ことを特徴とする映像処理方法。

【請求項13】

請求項１から１１のいずれか１項に記載の映像処理装置であって、
前記イベント監視部は、定期的タイミング、特定の処理の実行タイミング、音声に大きな変化が生じたタイミング、ユーザが特定の指示入力を行ったタイミング、の少なくとも一つを前記イベントの開始タイミングとして特定する、ことを特徴とする映像処理装置。

【請求項14】

監視カメラで撮影された映像および前記映像のサムネイル画像を記憶する記憶装置と、
規定されたイベントの発生状態を監視するイベント監視部から送られるイベント発生の通知を開始とするイベント期間の映像を構成する複数のフレーム画像それぞれについて、代表スコアを算出するスコア算出部と、
算出された前記代表スコアに基づいて、前記イベント期間の映像を代表するフレーム画像を代表画像として選択する画像選択部と、
前記代表画像のサムネイル画像を生成して、前記記憶装置に記憶させるサムネイル画像生成部と、
を備え、前記スコア算出部は、前記イベント期間の映像を構成する複数のフレーム画像それぞれのブレ量を算出し、少なくとも前記ブレ量に基づいて前記代表スコアを算出し、
前記スコア算出部は、さらに、前記イベント期間の映像を構成する複数のフレーム画像それぞれの動きベクトルも算出し、少なくとも、前記ブレ量および前記動きベクトルに基づいて前記代表スコアを算出し、
前記スコア算出部は、前記動きベクトルを基準として前記イベント期間内に注目期間を設定し、前記注目期間の映像を構成するフレーム画像の代表スコアを前記ブレ量に基づいて算出し、
前記スコア算出部は、前記動きベクトルが最大となるタイミングの前後一定期間、または、前記動きベクトルが最大となるタイミングの後一定期間、または、前記動きベクトルの移動平均値が最も高くなる期間、を前記注目期間として設定する、ことを特徴とする映像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書では、カメラで撮影された映像の中から映像内容を表す代表画像を抽出する映像処理装置および映像処理方法を開示する。

【背景技術】

【0002】

従来から映像の内容を概略的に把握するために、映像を構成する複数のフレーム画像の中から、当該映像の内容を表す代表画像を抽出し、この代表画像に基づいてサムネイル画像を生成する画像処理装置が広く知られている。かかる代表画像の抽出方法としては、例えば、一定期間ごとのフレーム画像を代表画像として抽出する技術が考えられる。しかし、単に定期的にフレーム画像を抽出する方法では、映像内容を充分に表した画像が得られないおそれがあった。

【0003】

そこで、一部では、フレーム画像に写った被写体の動き、あるいは、時間的に隣接する二つのフレーム画像間の変化量に基づいて、代表画像を抽出する技術が提案されている。例えば、特許文献１には、所定の映像区間の中の代表画像を選択する方法であって、時間的に隣接する二つの画像の変化量が極小となるフレームを基準として映像区間の代表画像の候補を選択する方法が開示されている。また、特許文献２には、フレーム画像間の動きベクトルを算出し、動きベクトルの経時変化が極大・極小となる周辺タイミングにおいてサムネイル画像（代表画像）を抽出する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００３－３４８５２８号公報

【文献】特開２００９－２９６３４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の技術によれば、比較的ブレの少ないフレーム画像が、代表画像として選択されやすくなる。しかしながら、特許文献１の技術によれば、動きの大きいイベント期間中には、適切なフレーム画像が選べないおそれがあった。また、特許文献２の技術では、動きベクトルにのみ注目しているため、被写体がブレたブレ画像が代表画像として選択されるおそれがあった。

【0006】

そこで、本明細書では、カメラで撮像された映像を構成する複数のフレーム画像の中から、代表画像をより適切に抽出できる映像処理装置および映像処理方法を開示する。

【課題を解決するための手段】

【0007】

本明細書で開示する映像処理装置は、カメラで撮影された映像および前記映像のサムネイル画像を記憶する記憶装置と、規定されたイベントの発生状態を監視するイベント監視部から送られるイベント発生の通知を開始とするイベント期間の映像を構成する複数のフレーム画像それぞれについて算出される動きベクトルおよび背景差分の少なくとも一方を基準として前記イベント期間内に注目期間を設定し、前記注目期間の映像を構成する複数のフレーム画像それぞれのブレ量に基づいて、代表スコアを算出するスコア算出部と、算出された前記代表スコアに基づいて、前記イベント期間の映像を代表するフレーム画像を代表画像として選択する画像選択部と、前記代表画像のサムネイル画像を生成して、前記記憶装置に記憶させるサムネイル画像生成部と、を備える、ことを特徴とする。

【0008】

前記スコア算出部は、さらに、前記イベント期間の映像を構成する複数のフレーム画像それぞれの動きベクトルも算出し、少なくとも、前記ブレ量および前記動きベクトルに基づいて前記代表スコアを算出してもよい。

【0009】

この場合、前記スコア算出部は、前記動きベクトルを基準として前記イベント期間内に注目期間を設定し、前記注目期間の映像を構成するフレーム画像の代表スコアを前記ブレ量に基づいて算出してもよい。

【0010】

また、さらに、前記イベント期間の映像を構成する複数のフレーム画像の背景を構成する背景画像を前記スコア算出部に提供する背景画像抽出部を備え、前記スコア算出部は、さらに、前記イベント期間の映像を構成する複数のフレーム画像それぞれと前記背景画像との差分を背景差分として算出し、少なくとも、前記ブレ量および前記背景差分に基づいて前記代表スコアを算出してもよい。

【0011】

この場合、前記スコア算出部は、前記背景差分が最大となるタイミングの前後一定期間、または、前記背景差分が最大となるタイミングの後一定期間、または、前記背景差分の移動平均値が最も高くなる期間、を注目期間として設定し、前記注目期間の映像を構成するフレーム画像の代表スコアを前記ブレ量に基づいて算出するとともに、その他のフレーム画像の代表スコアを実質的にゼロとして算出してもよい。

【0012】

また、さらに、前記イベント期間の映像を構成する複数のフレーム画像の背景を構成する背景画像を前記スコア算出部に提供する背景画像抽出部を備え、前記スコア算出部は、さらに、前記イベント期間の映像を構成する複数のフレーム画像それぞれと前記背景画像との差分を背景差分として算出し、前記イベント期間の映像を構成する複数のフレーム画像それぞれの動きベクトルを算出し、少なくとも、前記背景差分、前記ブレ量および前記動きベクトルに基づいて前記代表スコアを算出してもよい。

【0013】

この場合、前記スコア算出部は、前記背景差分が最大となるタイミングの前後一定期間を第一注目期間として設定し、前記第一注目期間における前記動きベクトルが最大となるタイミングの前記一定期間を第二注目期間として設定し、前記第二注目期間の映像を構成するフレーム画像の代表スコアを前記ブレ量に基づいて算出するとともに、その他のフレーム画像の代表スコアを実質的にゼロとして算出してもよい。

【0014】

また、さらに、前記イベント期間の開始および終了を前記スコア算出部に通知するイベント通知部を備え、複数の前記イベント期間それぞれについて前記サムネイル画像が生成されてもよい。

【0015】

また、前記スコア算出部は、前記フレーム画像を所定の移動角度の方向に所定の移動距離だけ移動させた比較画像と、前記フレーム画像と、の自己相関が最大となるときの前記移動距離を前記フレーム画像のブレ量として算出してもよい。

【0016】

また、さらに、前記イベント期間の映像を構成する複数のフレーム画像の背景を構成する背景画像を前記サムネイル画像生成部に提供する背景画像抽出部を備え、前記サムネイル画像生成部は、前記代表画像のうち、前記背景画像と相違する被写体部分を強調してサムネイル画像を生成してもよい。

【0017】

また、さらに、前記イベント期間の映像を構成する複数のフレーム画像の背景を構成する背景画像を前記サムネイル画像生成部に提供する背景画像抽出部を備え、前記サムネイル画像生成部は、前記代表画像のうち前記背景画像と相違する部分を差分画像として抽出し、前記背景画像または前記代表画像に劣化処理を施した劣化画像を生成し、前記劣化画像と前記差分画像とを合成した画像からサムネイル画像を生成してもよい。
また、前記イベント監視部は、定期的タイミング、特定の処理の実行タイミング、音声に大きな変化が生じたタイミング、ユーザが特定の指示入力を行ったタイミング、の少なくとも一つを前記イベントの開始タイミングとして特定してもよい。
また、前記スコア算出部は、前記動きベクトルが最大となるタイミングの前後一定期間、または、前記動きベクトルが最大となるタイミングの後一定期間、または、前記動きベクトルの移動平均値が最も高くなる期間、を前記注目期間として設定してもよい。
また、本明細書で開示する映像処理方法は、カメラで撮影された映像および前記映像のサムネイル画像を記憶装置に記憶し、規定されたイベントの発生状態を監視するイベント監視部から送られるイベント発生の通知を開始とするイベント期間の映像を構成する複数のフレーム画像それぞれについて算出される動きベクトルおよび背景差分の少なくとも一方を基準として前記イベント期間内に注目期間を設定し、前記注目期間の映像を構成する複数のフレーム画像それぞれのブレ量に基づいて、代表スコアを算出し、算出された前記代表スコアに基づいて、前記イベント期間の映像を代表するフレーム画像を代表画像として選択し、前記代表画像のサムネイル画像を生成して、前記記憶装置に記憶する、ことを特徴とする。

【発明の効果】

【0018】

本明細書で開示する映像処理装置および映像処理方法によれば、ブレの少ないフレーム画像が代表画像として選択されやすくなるため、代表画像をより適切に抽出できる。

【図面の簡単な説明】

【0019】

【図1】映像処理装置の物理的構成を示すブロック図である。

【図2】映像処理装置の機能的構成を示すブロック図である。

【図3】画像選択部の構成の一例を示すブロック図である。

【図4】代表画像選択の様子を示すイメージ図である。

【図5】サムネイル画像生成部の構成の一例を示すブロック図である。

【図6】サムネイル画像生成の様子を示すイメージ図である。

【図7】スコア算出部の構成の一例を示すブロック図である。

【図8】ブレ量算出の様子を示すイメージ図である。

【図9】代表スコア算出の様子を示すイメージ図である。

【図10】スコア算出部の構成の他の一例を示すブロック図である。

【図11】代表スコア算出の様子を示すイメージ図である。

【図12】代表スコアの算出の過程で生成されるテーブルの一例を示す図である。

【図13】スコア算出部の構成の他の一例を示すブロック図である。

【図14】代表スコア算出の様子を示すイメージ図である。

【図15】スコア算出部の構成の他の一例を示すブロック図である。

【図16】代表スコア算出の様子を示すイメージ図である。

【発明を実施するための形態】

【0020】

以下、図面を参照して映像処理装置１０の構成について説明する。図１は、映像処理装置１０の物理的構成を、図２は、映像処理装置１０の機能的構成を示すブロック図である。この映像処理装置１０は、監視カメラ１００で撮像された映像を構成する複数のフレーム画像の中から、当該映像を代表する代表画像を抽出し、サムネイル画像を生成する。なお、本例では、監視カメラを例に挙げて説明しているが、動画を撮像するものであれば、監視カメラに限らず、他のカメラであってもよい。

【0021】

この映像処理装置１０は、物理的には、プロセッサ１２と、このプロセッサ１２にバスを介して接続された記憶装置１４、通信インターフェース１８（以下「通信Ｉ／Ｆ１８」と略す）、および、入力デバイス１６を有したコンピュータである。また、映像処理装置１０は、必要に応じて、各種画像、例えば、後述するサムネイル画像等を表示するためのディスプレイ２００が接続されてもよい。プロセッサ１２は、プログラムに従って各種演算を実行するもので、例えば、ＣＰＵである。記憶装置１４は、各種プログラムおよびデータを記憶するもので、例えば、半導体メモリやハードディスクドライブ、ソリッドステートドライブ、または、これらの組み合わせで構成される。通信Ｉ／Ｆ１８は、映像処理装置１０の外部にある機器との間で、データを有線または無線で送受するためのものであり、所定の通信規格に準拠したコネクタ、アンテナ、通信チップ、または、これらの組み合わせで構成される。

【0022】

入力デバイス１６は、オペレータからの操作指示を受け付けるもので、例えば、キーボード、マウス、マイク、タッチパネル、または、これらの組み合わせで構成される。

【0023】

なお、図１では、映像処理装置１０を単一のコンピュータとして図示しているが、映像処理装置１０は、複数のコンピュータで構成されてもよい。例えば、映像処理装置１０は、複雑な演算処理を実行するメインコンピュータと、このメインコンピュータと通信可能なサブコンピュータ（例えば携帯情報端末等）と、を備え、サブコンピュータの入力装置を介してユーザーからの指示を受け付けるとともに、各種演算処理をメインコンピュータで行うようにしてもよい。また、本例では、映像処理装置１０をコンピュータで実現しているが、映像処理装置１０は、他の装置・機器に組み込まれた組み込み装置で実現してもよい。

【0024】

映像処理装置１０には、監視カメラ１００およびイベント監視部１０２が接続されている。監視カメラ１００は、所定の対象空間を撮影する。対象区間は、屋内および屋外のいずれでもよい。また、監視カメラ１００は、その位置および姿勢が不変の固定カメラでもよいし、予め規定された範囲内で位置または姿勢が変更可能な可動カメラでもよい。この監視カメラ１００による撮影で得られた映像データは、順次、映像処理装置１０に送られ、通信Ｉ／Ｆ１８を介して記憶装置１４に記憶される。

【0025】

イベント監視部１０２は、イベントの発生の有無を監視し、イベントが発生した場合には、その旨を映像処理装置１０に通知する。後述するように、映像処理装置１０は、このイベント期間中の映像を構成する複数のフレーム画像の中から、一つの代表画像を抽出する。何をイベントとして規定するかは、監視カメラ１００の設置目的や設置場所に応じて適宜変更可能である。例えば、イベントは、定期的に発生（例えば３分ごとに３０秒間発生）すると規定してもよい。また、監視カメラ１００が、工場などの工程実行スペースに設置されている場合には、特定の処理の実行期間をイベントとして設定してもよい。さらに、画像または音声に大きな変化が生じるタイミングをイベントとして設定してもよい。例えば、監視カメラ１００が施設のエレベータホールに設置されている場合、エレベータへの人の乗降や、当該エレベータホールに人間や動物、移動体（自動車やドローン等）が進入する出来事を、イベントと設定してもよい。また、一定レベル以上の音が生じたタイミングを、イベント発生タイミングとして特定してもよい。さらに、別の形態として、特定の指示入力が生じたタイミングをイベント発生タイミングとして特定してもよい。例えば、監視カメラ１００が施設のエレベータホールに設置されている場合、エレベータボタンの押下を、イベント発生タイミングとして特定してもよい。

【0026】

いずれにしても、イベント監視部１０２は、こうしたイベントの発生状態を監視し、その結果を映像処理装置１０に送る。イベント監視部１０２は、少なくともイベントの開始を示すイベント開始信号を映像処理装置１０に送る。また、イベント監視部１０２は、イベント開始信号に加えて、イベントの終了を示すイベント終了信号も、映像処理装置１０に送ってもよい。かかるイベント監視部１０２は、例えば、ビルの監視設備の一部でもよい。また、イベント監視部１０２は、映像処理装置１０と別個の装置とするのではなく、映像処理装置１０に組み込まれてもよい。

【0027】

次に、映像処理装置１０の機能的構成について図２を参照して説明する。映像処理装置１０は、監視カメラ１００で取得された映像データを受信する映像受信部２２を有する。映像受信部２２は、受信した映像データを映像記録制御部２６、スコア算出部３２、画像選択部３４、背景画像抽出部３６に送る。映像記録制御部２６は、受信した映像データを、タイムスタンプ等と対応付けたうえでストレージ２８に記憶させる。ストレージ２８は、監視カメラ１００で撮影された映像データおよびサムネイル画像を記憶するものであり、物理的には、記憶装置１４である。

【0028】

映像処理装置１０には、さらにイベント監視部１０２からイベントに関する信号を受信するイベント通知部２４も設けられている。イベント通知部２４は、イベント監視部１０２からの信号に基づいて、イベントの開始および終了タイミングを判断し、これらのタイミングを示すイベント通知信号をスコア算出部３２および画像選択部３４に通知する。ここで、イベントの終了タイミングは、イベント監視部１０２からイベント終了信号が送信される場合には、当該イベント終了信号に基づいて判断する。また、イベント監視部１０２からイベント終了信号が送信されない場合には、イベント通知部２４は、イベント開始信号受信から所定時間経過したタイミングをイベント終了タイミングとして判断してもよい。なお、このイベント通知部２４および映像受信部２２は、物理的には、通信Ｉ／Ｆ１８である。

【0029】

スコア算出部３２は、イベント期間の映像を構成する複数のフレーム画像それぞれについて、代表スコアを算出する。この代表スコアの算出手順については、後に詳説するため、ここでの詳説は、省略する。なお、後に詳説するように、スコア算出部３２には、イベント期間中の映像を構成するフレーム画像およびイベント開始・終了信号に加え、背景画像抽出部３６で抽出された背景画像も入力されてもよい。スコア算出部３２は、算出された代表スコアを、対応するフレーム画像のＩＤとともに、順次、または、まとめて、画像選択部３４に送る。

【0030】

画像選択部３４は、算出された代表スコアに基づいて、一つのイベント期間の映像を代表する代表画像を選択する。本例では、イベント期間中、代表スコアが最大のフレーム画像を代表画像として選択する。

【0031】

図３は、この画像選択部３４の具体的構成の一例を示すブロック図である。図３に示すとおり、画像選択部３４には、イベント期間の映像を構成する複数のフレーム画像を一時記憶する画像バッファ４２が設けられている。また、画像選択部３４には、最大スコア検出部４０も設けられている。最大スコア検出部４０は、スコア算出部３２から送られた複数の代表スコアの中から最大の代表スコアを特定し、その最大代表スコアに対応するフレーム画像のＩＤを特定する。そして、最大スコア検出部４０は、特定されたフレーム画像のＩＤを画像特定部４４に送る。

【0032】

画像特定部４４は、送られてきたＩＤが付されたフレーム画像を画像バッファ４２から読み出し、このフレーム画像を、このイベントにおける代表画像として特定する。特定された代表画像は、図２に示す通り、サムネイル画像生成部３８に送られる。

【0033】

図４は、代表画像の特定の様子を示すイメージ図である。図４において、上段は、イベントの発生状態を示しており、ＯＮ（ｈｉｇｈ）は、イベント期間中を、ＯＦＦ（ｌｏｗ）は、イベントが生じていない期間を示している。また、下段は、各イベント期間中に算出された代表スコアを示している。

【0034】

上述した通り、最大スコア検出部４０は、一つのイベント期間中において、代表スコアが最大となるフレーム画像を代表画像として特定する。したがって、図４の例では、時刻ｔ１において撮像されたフレーム画像がイベントＥ１を代表する代表画像として特定される。同様に、時刻ｔ２，ｔ３，ｔ４において撮像されたフレーム画像が、それぞれ、イベントＥ２，Ｅ３，Ｅ４を代表する代表画像として特定される。

【0035】

再び、図２を参照して説明する。サムネイル画像生成部３８は、送られてきた代表画像のサムネイル画像を生成し、当該サムネイル画像をストレージ２８に保存する。このとき、サムネイル画像とともに、代表画像が撮像された時刻、または、代表画像が属するイベントの開始時刻を示す情報とともに記憶する。

【0036】

サムネイル画像は、代表画像そのものでもよいし、代表画像を縮小した（解像度を低下させた）画像でもよい。本例では、サムネイル画像生成部３８は、代表画像のうち被写体部分を強調してサムネイル画像を生成する。

【0037】

図５は、サムネイル画像生成部３８の具体的な構成の一例を示す図である。図５の例では、サムネイル画像生成部３８には、代表画像に加え、背景画像抽出部３６から提供される背景画像も入力される。背景画像は、映像を構成する複数のフレーム画像の背景を構成する画像である。かかる背景画像は、予めオペレータが登録するようにしてもよいし、映像データに基づいて背景画像抽出部３６において自動的に抽出するようにしてもよい。この場合、背景画像抽出部３６は、イベントが発生していない期間中、あるいは、人、動物、移動体等の被写体が写り込んでいない期間中に、撮影されたフレーム画像を背景画像として抽出できる。

【0038】

サムネイル画像生成部３８は、代表画像と背景画像との相違箇所のみを抽出する差分画像生成部４６を備えている。したがって、通常、差分画像は、人、動物、移動体等の被写体部分の画像となる。生成された差分画像は、強調処理部４８に送られる。強調処理部４８は、被写体部分の画像である差分画像に対して強調処理を施す。強調処理は、差分画像に含まれる被写体が背景よりも目立つような処理であれば特に限定されない。したがって、強調処理部４８は、例えば、差分画像のエッジ強調、色調変更、輝度増加、コントラスト強調、枠線追加、または、これらを組み合わせた処理でもよい。強調処理が施された差分画像は、代表画像とともに重畳部５０に送られる。重畳部５０は、強調された差分画像を代表画像に合成し、この合成画像に基づいてサムネイル画像を生成する。

【0039】

図６は、サムネイル画像生成の様子を示すイメージ図である。記述した通り、サムネイル画像生成部３８には、代表画像６４と背景画像６６とが入力される。代表画像６４は、人等の被写体が写り込んでいる点で、背景画像６６と相違する。サムネイル画像生成部３８は、この代表画像６４のうち、背景画像６６と相違する部分を差分画像６８として抽出する。図６の例では、人の写っている部分が差分画像６８として抽出される。サムネイル画像生成部３８は、抽出された差分画像６８に強調処理を施したうえで、代表画像６４と合成する。そして、得られる合成画像７０に基づいて、サムネイル画像を生成する。

【0040】

かかる構成とすることで、画像に写る被写体が目立ち、そのイベントにおける特徴がより分かりやすくなる。ここで、ディスプレイ２００に表示されるサムネイル画像は、単一であることは少なく、通常、複数のサムネイル画像が一覧表示されることが多い。また、複数のサムネイル画像の表示を可能にするために、各サムネイル画像のサイズは小さいことが多い。この場合、一つのサムネイル画像に写った被写体の特徴を明確に把握することが困難な場合があった。しかし、上述したように、被写体部分を強調させることで、強調させない場合に比べて、被写体の特徴を明確に把握できる。

【0041】

なお、上述の説明では、強調済みの差分画像と代表画像とを合成しているが、代表画像に替えて、背景画像を差分画像と合成してもよい。また、差分画像に強調処理を施すのではなく、差分画像と合成される代表画像または背景画像に劣化処理（エッジの鈍化、輝度の低下、色調変更、ぼかし加工等）を施してもよい。いずれにしても、背景に比べて被写体が目立つような処理を行うことで、サムネイル画像からイベントの特徴を、より明確に把握できる。

【0042】

次に、代表スコアの算出について説明する。既述した通り、本例では、一つのイベント期間中、代表スコアが最大となるフレーム画像を代表画像として選択する。したがって、代表スコアの算出方法によって、代表画像として選択されるフレーム画像の特徴が変化する。

【0043】

本例では、イベント期間中の映像を構成する複数のフレーム画像それぞれのブレ量を算出し、少なくともブレ量に基づいて代表スコアを算出する。かかる構成とすることで、ブレの少ないフレーム画像が、代表画像として選択されやすくなる。

【0044】

図７は、スコア算出部３２の構成の一例を示す図である。この場合、スコア算出部３２は、フレーム画像のブレ量を算出するブレ量算出部５４と、算出されたブレ量を代表スコアに換算するスコア換算部５２と、を備えている。ブレ量算出部５４は、一つのフレーム画像に含まれる像のブレ量を、当該一つのフレーム画像から算出する。換言すれば、ブレ量算出部５４は、一つのフレーム画像のブレ量を、他のフレーム画像を参照することなく、算出する。より具体的には、ブレ量算出部５４は、フレーム画像と、フレーム画像を所定の移動方向に所定の移動距離だけ移動させた比較画像と、の自己相関に基づいて、ブレ量を算出する。

【0045】

図８は、ブレ量算出の様子を示すイメージ図である。ブレ量を算出する場合、ブレ量算出部５４は、フレーム画像６０を移動角度θの方向に、移動距離ｄｒだけ移動させた比較画像６２を想定し、この比較画像６２とフレーム画像６０との自己相関Ｓを算出する。自己相関Ｓは、以下の式１で算出することができる。なお、式１において、Ｒ（ｉ，ｊ）は、フレーム画像の座標（ｉ，ｊ）におけるＲ、すなわち、赤の色値を示している。同様に、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）は、フレーム画像の座標（ｉ，ｊ）におけるＧおよびＢ、すなわち、緑および青の色値を示している。さらに、式１においてｄｘ＝ｄｒ・ｃｏｓθ、ｄｙ＝ｄｒ・ｓｉｎθである。そして、式１において、フレーム画像の画素数をＷ×Ｈとして、Ｗ×Ｈ個の値を積算する。

【数1】

【0046】

ブレ量算出部５４は、移動角度θおよび移動距離ｄｒの組み合わせを変化させながら、複数の自己相関Ｓを算出する。したがって、移動角度θをＮ１回、移動距離ｄｒをＮ２回変化させた場合、自己相関Ｓは、Ｎ１×Ｎ２個算出される。移動角度θおよび移動距離ｄｒの変更間隔および上限は特に限定されないが、例えば、移動角度θは、０°から３６０°まで１０°間隔で変更してもよい。また、移動距離ｄｒは、例えば、０から１０まで、１間隔で変更してもよい。

【0047】

全ての（θ，ｄｒ）の組み合わせについて自己相関Ｓが算出できれば、ブレ量算出部５４は、複数の自己相関Ｓのうち最大となる自己相関Ｓを特定する。そして、その最大の自己相関Ｓが算出されたときの移動距離ｄｒを、フレーム画像６０のブレ量として出力する。

【0048】

図７に示す通り、算出された各フレーム画像のブレ量は、スコア換算部５２に入力される。スコア換算部５２は、各フレーム画像のブレ量を、当該フレーム画像の代表スコアに換算する。この換算方法は、代表スコアがブレ量に依存するのであれば、特に限定されない。本例では、ブレ量を上下反転させた値を、代表スコアとして算出する。具体的には、ブレ量をＢ、ブレ量の上限値をＢｍａｘとした場合、代表スコアＣ＝Ｂｍａｘ－Ｂとしてもよい。

【0049】

図９は、代表スコアの算出の様子を示すイメージ図である。図９の上段は、特定のイベント期間中に得られたフレーム画像のブレ量を、下段は、そのフレーム画像の代表スコアを示すグラフである。図９の例では、イベントは、時刻ｔ０から時刻ｔｍａｘまで継続している。ブレ量は、時間の経過とともに変化するが、時刻ｔ１において最小値をとる。代表スコアは、このブレ量を上下反転した値であるため、代表スコアは、同じ時刻ｔ１において最大値をとる。

【0050】

スコア換算部５２は、このように取得された代表スコアを対応するフレーム画像のＩＤとともに、画像選択部３４に送る。このとき、スコア換算部５２は、一つのフレーム画像の代表スコアが得られるたびに、当該代表スコアおよびＩＤを画像選択部３４に送ってもよい。また、別の形態として、スコア換算部５２は、一つのイベント期間中の映像を構成する複数のフレーム画像全ての代表スコアおよびＩＤをまとめて画像選択部３４に送ってもよい。いずれにしても、既述した通り、画像選択部３４は、代表スコアが最大値をとるフレーム画像を代表画像として選択する。したがって、図９の例では、時刻ｔ１に撮影されたフレーム画像が、代表画像として選択されることになる。

【0051】

以上の通り、図７に示す構成では、フレーム画像のブレ量に基づいて代表スコアを算出しており、ブレ量が小さいフレーム画像ほど代表画像として選択されやすくなっている。かかるフレーム画像が代表画像として選択され、当該代表画像に基づいてサムネイル画像が作成されることにより、イベント期間中の映像の特徴をより明確に把握できる。

【0052】

なお、上記の例では、自己相関Ｓが最大値をとる時の移動距離ｄｒに基づいてブレ量を算出しているが、ブレ量の算出方法は、適宜変更されてもよい。例えば、フレーム画像をフーリエ変換してスペクトルを求め、低周波成分と高周波成分の強度比に基づいてブレ量を算出してもよい。また、上記の例では、ブレ量を上下反転させた値を代表スコアとしているが、ブレ量そのものを代表スコアとしてもよい。この場合、画像選択部３４は、代表スコアが最小となるフレーム画像を代表画像として選択すればよい。また、代表画像は、代表スコアの値に基づいてブレの少ないフレーム画像が選択されるのであれば、必ずしも、代表スコアが最大または最小のフレーム画像でなくてもよい。例えば、代表スコアが二番目に大きいフレーム画像を代表画像として選択してもよい。

【0053】

次に、スコア算出部３２の構成の他の例について図１０を参照して説明する。図１０は、スコア算出部３２の構成の他の一例を示す図である。この場合、スコア算出部３２は、ブレ量算出部５４と、二つのフレーム画像間の動きベクトルを算出する動きベクトル算出部５６と、算出されたブレ量および動きベクトルを代表スコアに換算するスコア換算部５２と、を備えている。ブレ量算出部５４の構成は、図７におけるブレ量算出部５４の構成と同じである。

【0054】

動きベクトル算出部５６は、現在のフレーム画像（対象フレーム画像）と対象フレーム画像よりも所定時間前（例えば１フレーム前）のフレーム画像（参照フレーム画像）とに基づいて、対象フレーム画像の動きベクトルを算出する。具体的には、動きベクトル算出部５６は、対象フレーム画像をＮ個（Ｎ≧２）のサブブロックに分割し、各サブブロックを参照フレーム画像内でシフトさせて、最もよくマッチする部分を探索する。動きベクトル算出部５６は、全てのサブブロックについて、シフト量を求め、その二乗和を対象フレーム画像の動きベクトルとして算出する。すなわち、ｉ番目のサブブロックのｘ方向のシフト量をＭｘ（ｉ）、ｙ方向のシフト量をＭｙ（ｉ）とした場合、対象フレーム画像の動きベクトルＭは、式２で求められる。

【数2】

【0055】

動きベクトル算出部５６で算出された動きベクトルは、フレーム画像のＩＤとともにスコア換算部５２に送られる。スコア換算部５２は、ブレ量算出部５４で算出されたブレ量と、動きベクトル算出部５６で算出された動きベクトルと、に基づいて、複数のフレーム画像それぞれの代表スコアを算出する。

【0056】

本例では、一つのイベント期間中において動きベクトルが最大値をとるタイミングを基準として注目期間を設定し、その注目期間の映像を構成する複数のフレーム画像の代表スコアをブレ量に基づいて算出する一方で、それ以外のフレーム画像の代表スコアを０としている。図１１は、この代表スコアの算出の様子を示すイメージ図である。図１１において、上段は、一つのイベント期間中におけるブレ量を、中段は、動きベクトルを、下段は、代表スコアを、それぞれ示している。

【0057】

この図１１の例では、動きベクトルは、時刻ｔ２において最大値をとる。したがって、映像内に写っている被写体の動きは、この時刻ｔ２付近において、特に大きくなっていることが推測できる。本例では、この動きベクトルが最大となる時刻ｔ２の前後一定期間を注目期間Δｔとして設定する。図１１の例では、時刻ｔ２より所定時間αだけ過去となる時刻ｔ１から、時刻ｔ２より所定時間αだけ未来となる時刻ｔ３までの期間が注目期間Δｔとなる。そして、この注目期間Δｔの映像を構成するフレーム画像については、ブレ量に基づいて代表スコアを算出する。具体的には、ブレ量を、ブレ量上限値から減算した値を代表スコアとして算出する。一方、注目期間Δｔ以外の期間、すなわち、時刻ｔ０～ｔ１、時刻ｔ３～ｔｍａｘの映像を構成するフレーム画像の代表スコアは、０とする。その結果、図１１の例では、注目期間Δｔ内にある時刻ｔａにおいて代表スコアが最大となる。したがって、この場合、時刻ｔａのフレーム画像が代表画像として選択される。

【0058】

図１２は、スコア換算部５２が代表スコアの算出のために記録するテーブルの一例を示す図である。スコア換算部５２は、動きベクトル算出部５６およびブレ量算出部５４から順次送られる動きベクトルおよびブレ量を、フレーム画像のＩＤとともに、図１２に示すテーブルの形式で一時記憶する。一つのイベント期間を構成する全てのフレーム画像について動きベクトルおよびブレ量が算出できれば、スコア換算部５２は、このテーブルを参照して、注目期間を設定する。図１２の例では、画像ＩＤ０６のフレーム画像と、その前後二つのフレーム画像（画像ＩＤ０４，０５，０７，０８）が注目期間のフレーム画像として特定される。スコア換算部５２は、この五つのフレーム画像のブレ量をそれぞれ上限値（図示例では１０）から減算した値を代表スコアとして算出する。また、それ以外のフレーム画像の代表スコアは、全て、０とする。スコア換算部５２は、この算出した代表スコアもテーブルに記録したうえで、当該テーブルを画像選択部３４に送る。画像選択部３４は、テーブルに記録された代表スコアに基づいて、代表画像を選択する。図１２の例では、代表スコアが最大値をとる画像ＩＤ０７が、代表画像として選択される。

【0059】

ここで、動きベクトルに基づいて注目期間を設定し、この注目期間についてのみ代表スコアを算出する理由について簡単に説明する。代表画像は、各イベント期間中に生じた事象を把握しやすい画像であることが望まれる。当該事象が何らかの動きを発生する事象の場合、動きの少ない時の画像よりも、動きの大きい時の画像の方が、当該事象の内容を把握しやすくなる。例えば、２人の人物が口論の後に掴み合って喧嘩となるような場合では、２人の人物がただ立っているだけの画像よりも、手を動かして相手を掴もうとするときの画像の方が、その状況を把握しやすい。そこで、本例では、代表スコアを算出する期間を、動きベクトルが最大値をとったタイミングの前後一定期間（注目期間）に限定している。かかる構成とすることで、動きの大きなフレーム画像のみが、代表画像の候補として残ることになる。ただし、動きが大きくてもブレが大きい場合には、イベント期間中に生じた事象を明確に把握できない。そこで本例では、注目期間中のうち、ブレ量が小さい画像が代表画像として選択されるように、注目期間中のフレーム画像の代表スコアをブレ量に基づいて算出している。かかる構成とすることで、イベント期間中の中でも、動きが大きく、かつ、ブレの少ない画像が代表画像として選択されやすくなる。

【0060】

なお、上述の例では、動きベクトル最大タイミングの前後一定期間を注目期間としているが、注目期間は、動きベクトルを基準として設定されるのであれば、他の手順で設定されてもよい。例えば、注目期間は、動きベクトル最大タイミング以降、一定期間とし、動きベクトル最大タイミングより過去は、注目期間に含めなくてもよい。また、別の形態として、動きベクトルの移動平均を算出し、当該移動平均値が最も高くなる期間を注目期間として設定してもよい。さらに、動きベクトルおよびブレ量の双方に基づいて代表スコアを算出するのであれば、注目期間を設定しなくてもよい。例えば、動きベクトルＭおよびブレ量Ｂを変数とする関数を設定し、当該関数に基づいて代表スコアＣを算出してもよい。例えば、Ｃ＝Ｋ１・Ｍ＋Ｋ２・Ｂとしてもよい（Ｋ１，Ｋ２は、係数）。

【0061】

次に、スコア算出部３２の構成の他の例について図１３を参照して説明する。図１３は、スコア算出部３２の構成の他の一例を示す図である。この場合、スコア算出部３２は、ブレ量算出部５４と、フレーム画像と背景画像との差分を算出する背景差分算出部５８と、算出されたブレ量および背景差分を代表スコアに換算するスコア換算部５２と、を備えている。ブレ量算出部５４の構成は、図７におけるブレ量算出部５４の構成と同じである。

【0062】

背景差分算出部５８は、対象となるフレーム画像と背景画像との差分量を背景差分として算出する。背景画像は、背景画像抽出部３６から提供される画像であり、映像を構成する複数のフレーム画像の背景を構成する画像である。背景差分は、フレーム画像と背景画像との差を表すパラメータであれば、その算出方法は限定されない。本例では、対象となるフレーム画像と背景画像との画素値の差の二乗和を背景差分として算出している。したがって、背景差分Ｄは、式３で表される。なお、式３において、Ｒｔ（ｉ，ｊ）は、対象となるフレーム画像の座標ｉ，ｊにおけるＲ値を、Ｒｂ（ｉ，ｊ）は、背景画像の座標ｉ，ｊにおけるＲ値を示している。同様に、Ｇｔ（ｉ，ｊ）、Ｂｔ（ｉ，ｊ）は、対象となるフレーム画像の座標ｉ，ｊにおけるＧ値およびＢ値を、Ｇｂ（ｉ，ｊ）、Ｂｂ（ｉ，ｊ）は、背景画像の座標ｉ，ｊにおけるＧ値およびＢ値をそれぞれ示している。

【数3】

【0063】

背景差分算出部５８で算出された背景差分は、フレーム画像のＩＤとともにスコア換算部５２に送られる。スコア換算部５２は、ブレ量算出部５４で算出されたブレ量と、背景差分算出部５８で算出された背景差分と、に基づいて、複数のフレーム画像それぞれの代表スコアを算出する。なお、ここで説明した背景差分の算出方法は、一例であり、フレーム画像と背景画像との相違の度合いを表すことができるのであれば、他の方法で算出された値を「背景差分」として取り扱ってもよい。例えば、フレーム画像と背景画像との間で、画素値の差分が所定の閾値以上となる画素の個数を背景差分として用いてもよい。

【0064】

本例では、一つのイベント期間中において背景差分が最大値をとるタイミングを基準として注目期間を設定し、その注目期間の映像を構成する複数のフレーム画像の代表スコアをブレ量に基づいて算出する一方で、それ以外のフレーム画像の代表スコアを０としている。図１４は、この代表スコアの算出の様子を示すイメージ図である。図１４において、上段は、一つのイベント期間中におけるブレ量を、中段は、背景差分を、下段は、代表スコアを、それぞれ示している。

【0065】

この図１４の例では、背景差分は、時刻ｔ２において最大値をとる。ここで、背景差分は、フレーム画像に写っている被写体（例えば人物）の数が増えるほど大きくなりやすい。また、フレーム画像に写っている被写体の数が同じであっても、複数の被写体が部分的に重なることなく、分散して写っている（ひいては全被写体の総面積が大きい）方が背景差分は、大きくなりやすい。したがって、背景差分が最大となる時刻ｔ２付近においては、イベントに関与する被写体の大部分が、重なりが少ない状態で写っている可能性が高い。

【0066】

本例では、この背景差分が最大となる時刻ｔ２の前後一定期間を注目期間Δｔとして設定する。図１４の例では、時刻ｔ２より所定時間αだけ過去となる時刻ｔ１から、時刻ｔ２より所定時間αだけ未来となる時刻ｔ３までの期間が注目期間Δｔとなる。そして、この注目期間Δｔの映像を構成するフレーム画像については、ブレ量に基づいて代表スコアを算出する。具体的には、ブレ量をブレ量最大値から減算した値を代表スコアとして算出する。一方、注目期間Δｔ以外の期間、すなわち、時刻ｔ０～ｔ１、時刻ｔ３～ｔｍａｘの映像を構成するフレーム画像の代表スコアは、０とする。その結果、図１４の例では、注目期間Δｔ内にある時刻ｔａにおいて代表スコアが最大となる。

【0067】

スコア換算部５２は、このように算出されたブレ量、背景差分、代表スコアを図１２と同様のテーブルに記録したうえで、当該テーブルを画像選択部３４に送る。画像選択部３４は、送られたテーブルを参照して、代表スコアが最大となるフレーム画像を代表画像として選択する。図１４の例では、時刻ｔａにおけるフレーム画像が、代表画像として選択される。

【0068】

ここで、背景差分に基づいて注目期間を設定し、この注目期間についてのみ代表スコアを算出する理由について簡単に説明する。代表画像は、各イベント期間中に生じた事象を把握しやすい画像であることが望まれる。当該事象に複数の被写体が関与している場合、一部の被写体のみが写っている画像よりも、複数の被写体全てが写っている画像の方が、当該事象の内容を把握しやすくなる。また、複数の被写体が写っている場合でも、当該複数の被写体の重なりが少ないほうが、イベントの特徴を把握しやすくなる。例えば、エレベータホールにおいて、１人の人物Ａがエレベータ籠を呼び、到着したエレベータ籠から人物Ｂが降りるのと入れ替えで人物Ａがエレベータ籠に乗り込む場合を考える。この場合、人物Ａだけが写っている画像よりも、人物Ａおよび人物Ｂの双方が写っている画像の方が、当該イベントの特徴を表していると考えられる。

【0069】

そこで、本例では、代表スコアを算出する期間を、背景差分が最大値をとったタイミングの前後一定期間（注目期間）に限定している。かかる構成とすることで、より多くの被写体が重なりの少ない状態で写ったフレーム画像が、代表画像の候補として残りやすくなる。ただし、写っている被写体が多くてもブレが大きい画像では、イベント期間中に生じた事象を明確に把握できない。そこで本例では、注目期間中のうち、ブレ量が小さい画像が代表画像として選択されるように、注目期間中のフレーム画像の代表スコアをブレ量に基づいて算出している。かかる構成とすることで、イベント期間中の中でも、イベントに関与する被写体の多くが写っており、かつ、ブレの少ない画像が代表画像として選択されやすくなる。

【0070】

なお、上述の例では、背景差分最大タイミングの前後一定期間を注目期間としているが、注目期間は、背景差分を基準として設定されるのであれば、他の手順で設定されてもよい。例えば、注目期間は、背景差分最大タイミング以降、一定期間とし、背景差分最大タイミングより過去は、注目期間に含めなくてもよい。また、別の形態として、背景差分の移動平均を算出し、当該移動平均値が最も高くなる期間を注目期間として設定してもよい。さらに、背景差分およびブレ量の双方に基づいて代表スコアを算出するのであれば、注目期間を設定しなくてもよい。例えば、背景差分Ｄおよびブレ量Ｂを変数とする関数を設定し、当該関数に基づいて代表スコアＣを算出してもよい。例えば、Ｃ＝Ｋ１・Ｄ＋Ｋ２・Ｂとしてもよい（Ｋ１，Ｋ２は、係数）。

【0071】

次に、スコア算出部３２の構成の他の例について図１５を参照して説明する。図１５は、スコア算出部３２の構成の他の一例を示す図である。この場合、スコア算出部３２は、ブレ量算出部５４と、動きベクトル算出部５６と、背景差分算出部５８と、スコア換算部５２と、を備えている。ブレ量算出部５４、動きベクトル算出部５６、および背景差分算出部５８の構成は、これまで説明したそれぞれの算出部の構成と同じである。

【0072】

スコア換算部５２は、各算出部で算出されたブレ量、動きベクトル、および背景差分に基づいて、イベント期間中の映像を構成する複数のフレーム画像それぞれの代表スコアを算出する。具体的には、スコア換算部５２は、イベント期間中の背景差分に基づいて第一注目期間を設定し、さらに、第一注目期間中の動きベクトルに基づいて第二注目期間を設定し、この第二注目期間の映像を構成する複数のフレーム画像の代表スコアをブレ量に基づいて算出する。

【0073】

図１６は、この代表スコアの算出の様子を示すイメージ図である。図１６に示された四つのグラフは、それぞれ、上から順に、一つのイベント期間中におけるブレ量、背景差分、動きベクトル、代表スコアを、示している。この図１６の例では、背景差分は、時刻ｔａにおいて最大値をとる。本例では、この背景差分が最大となる時刻ｔａの前後一定期間を第一注目期間Δｔ１として設定する。図１６の例では、時刻ｔａより所定時間αだけ過去となる時刻ｔ１から、時刻ｔａより所定時間αだけ未来となる時刻ｔ４までの期間が第一注目期間Δｔ１となる。

【0074】

第一注目期間Δｔ１における動きベクトルに着目すると、動きベクトルは、時刻ｔｂにおいて最大値をとる。スコア換算部５２は、この時刻ｔｂの前後一定期間を第二注目期間Δｔ２として設定する。図１６の例では、時刻ｔｂより所定時間βだけ過去となる時刻ｔ２から、時刻ｔｂより所定時間βだけ未来となる時刻ｔ３までの期間が第二注目期間Δｔ２となる。第二注目期間Δｔ２が特定できれば、スコア換算部５２は、この第二注目期間Δｔ２の映像を構成するフレーム画像の代表スコアをブレ量に基づいて算出する。具体的には、ブレ量をブレ量上限値から減算した値を代表スコアとして算出する。一方、第二注目期間Δｔ２以外の期間、すなわち、時刻ｔ０～ｔ２、時刻ｔ３～ｔｍａｘの映像を構成するフレーム画像の代表スコアは、０とする。スコア換算部５２は、こうした代表スコアを算出するために、各算出部で算出されたブレ量、背景差分、動きベクトルを、対応するフレーム画像のＩＤとともに、テーブルに一時記憶する。そして、一つのイベント期間の映像を構成する全てのフレーム画像について、これらの値が取得できれば、テーブルを参照して、各フレーム画像の代表スコアを算出する。算出された代表スコアは、画像選択部３４に送られる。画像選択部３４は、代表スコアが最大となるフレーム画像を代表画像として選択する。そのため、図１６の例では、第二注目期間Δｔ２内にある時刻ｔｃにおけるフレーム画像が代表画像として選択される。

【0075】

かかる構成とすることで、イベントに関与する被写体の多くが写っており、また被写体の動きが大きく、さらに、画像のブレが小さいフレーム画像が代表画像として選択されやすくなる。例えば、群衆の流れの状況を映像で把握したい場合に、人が多く写っており、人の流れが大きく、さらに、ブレの少ないフレーム画像が代表画像として選択されやすくなる。そして、かかる画像が代表画像として選択されることで、イベントの特徴がより明確に把握できる。

【0076】

なお、ここまで説明した構成は一例であり、第一注目期間、第二注目期間の設定手順は、適宜、変更されてもよい。例えば、背景差分および動きベクトルの最大値を基準として注目期間を設定するのではなく、これらの移動平均の最大値を基準として注目期間を設定してもよい。また、背景差分、動きベクトルおよびブレ量に基づいて代表スコアを算出するのであれば、注目期間を設定しなくてもよい。例えば、背景差分Ｄ、動きベクトルＭおよびブレ量Ｂを変数とする関数を設定し、当該関数に基づいて代表スコアＣを算出してもよい。例えば、Ｃ＝Ｋ１・Ｄ＋Ｋ２・Ｍ＋Ｋ３・Ｂとしてもよい（Ｋ１，Ｋ２，Ｋ３は、係数）。

【符号の説明】

【0077】

１０ 映像処理装置、１２ プロセッサ、１４ 記憶装置、１６ 入力デバイス、１８ 通信Ｉ／Ｆ、２２ 映像受信部、２４ イベント通知部、２６ 映像記録制御部、２８ ストレージ、３２ スコア算出部、３４ 画像選択部、３６ 背景画像抽出部、３８ サムネイル画像生成部、４０ 最大スコア検出部、４２ 画像バッファ、４４ 画像特定部、４６ 差分画像生成部、４８ 強調処理部、５０ 重畳部、５２ スコア換算部、５４ ブレ量算出部、５６ 動きベクトル算出部、５８ 背景差分算出部、１００ 監視カメラ、１０２ イベント監視部、２００ ディスプレイ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】