特許 6738213 情報処理装置及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6738213

(24)【登録日】2020年7月21日

(45)【発行日】2020年8月12日

(54)【発明の名称】情報処理装置及び情報処理方法

(51)【国際特許分類】

   H04N 5/76 20060101AFI20200730BHJP

   H04N 5/225 20060101ALI20200730BHJP

【ＦＩ】

   H04N5/76

   H04N5/225

【請求項の数】11

【全頁数】20

(21)【出願番号】特願2016-118270(P2016-118270)

(22)【出願日】2016年6月14日

(65)【公開番号】特開2017-224956(P2017-224956A)

(43)【公開日】2017年12月21日

【審査請求日】2019年5月16日

(73)【特許権者】

【識別番号】000001432

【氏名又は名称】グローリー株式会社

(74)【代理人】

【識別番号】100114306

【弁理士】

【氏名又は名称】中辻 史郎

(74)【代理人】

【識別番号】100148655

【弁理士】

【氏名又は名称】諏訪 淳一

(72)【発明者】

【氏名】玉田 哲也

(72)【発明者】

【氏名】越智 康雄

(72)【発明者】

【氏名】松枝 慶

【審査官】 鈴木 順三

(56)【参考文献】

【文献】 特開２０１２−１２３４６０（ＪＰ，Ａ）

【文献】 特表２００６−５１０２４０（ＪＰ，Ａ）

【文献】 特開２０１４−１５３８１３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／７６ − ５／９５６

Ｈ０４Ｎ ５／２２２ − ５／２５７

(57)【特許請求の範囲】

【請求項1】

動画データを記憶する記憶部と、
所定の表示部の表示画面上の動画再生表示領域に対して、前記記憶部に記憶された動画データを再生処理して表示制御するとともに、前記表示画面上の時系列表示領域に対して、前記記憶部に記憶された動画データに含まれる人物の特徴を示すサムネイル画像をそれぞれ時系列的に表示制御する表示制御部と
を備え、
前記表示制御部は、
所定の警報発報戻り操作がなされると、所定の警報発報装置から警報発報を受け付けたタイムライン上の前のタイミングの動画データを前記動画再生表示領域に表示制御し、
所定の警報発報送り操作がなされると、前記所定の警報発報装置から警報発報を受け付けたタイムライン上の後のタイミングの動画データを前記動画再生表示領域に表示制御する
ことを特徴とする情報処理装置。

【請求項2】

前記記憶部に記憶された動画データに含まれる人物の特徴領域を検出する特徴領域検出部と、
前記特徴領域検出部により特徴領域が検出された人物を追跡して、該人物が存在する前記動画データの時間軸上の区間を特定する特定部と、
前記特徴領域検出部により検出された特徴領域のサムネイル画像を生成するサムネイル画像生成部とをさらに備え、
前記表示制御部は、
前記動画データの時間軸を示すタイムライン上の前記特定部により特定された区間に対応する位置に前記サムネイル画像生成部により生成されたサムネイル画像を表示制御する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記タイムライン上の所望の区間を選択する区間選択部をさらに備え、
前記表示制御部は、
前記区間選択部によりタイムライン上の所望の区間が選択された場合に、該選択された区間の動画データを再生処理して前記動画再生表示領域に表示制御する
ことを特徴とする請求項２に記載の情報処理装置。

【請求項4】

動画データを記憶する記憶部と、
所定の表示部の表示画面上の動画再生表示領域に対して、前記記憶部に記憶された動画データを再生処理して表示制御するとともに、前記表示画面上の時系列表示領域に対して、前記記憶部に記憶された動画データに含まれる人物の特徴を示すサムネイル画像をそれぞれ時系列的に表示制御する表示制御部と、
あらかじめ登録された特定の人物に係る登録特徴情報を記憶する登録特徴情報記憶部と、
前記記憶部に記憶された動画データに含まれる人物の特徴領域に含まれる特徴情報と、前記登録特徴情報記憶部に記憶された登録特徴情報とを照合処理して、該特徴情報が前記登録特徴情報のいずれかに対応するか否かを認証する認証処理部と
を備え、
前記認証処理部による認証結果に応じて、前記動画再生表示領域に表示制御される動画に含まれる特徴領域及び／又は前記時系列表示領域に表示制御されるサムネイル画像の表示態様を異ならせる
ことを特徴とする情報処理装置。

【請求項5】

前記表示制御部は、
所定の認証戻り操作又は所定の認証送り操作がなされたことを条件として、前記認証処理部により前記登録特徴情報のいずれかに対応すると認証された特徴情報が所在するタイムライン上の前又は後の区間の動画データを前記動画再生表示領域に表示制御する
ことを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記動画再生表示領域に表示され、前記認証処理部により登録特徴情報に対応すると認証処理された特徴情報を有する特徴領域を選択する特徴領域選択部をさらに備え、
前記表示制御部は、
前記特徴領域選択部により特徴領域が選択された場合に、該選択された特徴領域に対応する複数の動画データを再生処理して前記動画再生表示領域に表示制御する
ことを特徴とする請求項４又は５に記載の情報処理装置。

【請求項7】

前記動画再生表示領域に表示され、前記認証処理部により登録特徴情報に対応すると認証処理された特徴情報を有する特徴領域を選択する特徴領域選択部をさらに備え、
前記表示制御部は、
前記特徴領域選択部により特徴領域が選択され、かつ、所定の操作がなされた場合に、前記特徴情報が含まれる他の区間の動画データを再生処理して前記動画再生表示領域に表示制御する
ことを特徴とする請求項４又は５に記載の情報処理装置。

【請求項8】

所定の動画出力操作がなされた場合に、前記動画再生表示領域に表示された動画データを出力する出力部をさらに備えたことを特徴とする請求項１〜７のいずれか一つに記載の情報処理装置。

【請求項9】

所定の静止画出力操作がなされた場合に、前記動画再生表示領域に表示された動画データの一部をなす静止画像データを出力する静止画像出力部をさらに備えたことを特徴とする請求項１〜８のいずれか一つに記載の情報処理装置。

【請求項10】

動画データを記憶する記憶部を有する情報処理装置における情報処理方法であって、
所定の表示部の表示画面上の動画再生表示領域に対して、前記記憶部に記憶された動画データを再生処理して表示制御する第１の表示制御工程と、
前記表示画面上の時系列表示領域に対して、前記記憶部に記憶された動画データに含まれる人物の特徴を示すサムネイル画像をそれぞれ時系列的に表示制御する第２の表示制御工程と
を含み、
前記第１の表示制御工程は、
所定の警報発報戻り操作がなされると、所定の警報発報装置から警報発報を受け付けたタイムライン上の前のタイミングの動画データを前記動画再生表示領域に表示制御し、
所定の警報発報送り操作がなされると、前記所定の警報発報装置から警報発報を受け付けたタイムライン上の後のタイミングの動画データを前記動画再生表示領域に表示制御する
ことを特徴とする情報処理方法。

【請求項11】

動画データを記憶する記憶部を有する情報処理装置における情報処理方法であって、
所定の表示部の表示画面上の動画再生表示領域に対して、前記記憶部に記憶された動画データを再生処理して表示制御する第１の表示制御工程と、
前記表示画面上の時系列表示領域に対して、前記記憶部に記憶された動画データに含まれる人物の特徴を示すサムネイル画像をそれぞれ時系列的に表示制御する第２の表示制御工程と、
あらかじめ登録された特定の人物に係る登録特徴情報を登録特徴情報記憶部に格納する格納工程と、
前記記憶部に記憶された動画データに含まれる人物の特徴領域に含まれる特徴情報と、
前記登録特徴情報記憶部に記憶された登録特徴情報とを照合処理して、該特徴情報が前記登録特徴情報のいずれかに対応するか否かを認証する認証処理工程と
を含み、
前記認証処理工程による認証結果に応じて、前記動画再生表示領域に表示制御される動画に含まれる特徴領域及び／又は前記時系列表示領域に表示制御されるサムネイル画像の表示態様を異ならせる
ことを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画データに含まれる特定の人物の挙動を操作者に効率良く把握できるようにする情報処理装置及び情報処理方法に関する。

【背景技術】

【0002】

従来、カメラ等の撮像装置で撮像された画像データから複数の人物の顔画像データをそれぞれ検索し、検索された複数の顔画像データを表示部に表示する技術が知られている。

【0003】

例えば、特許文献１には、特定の人物が連続して登場すると推定される動画の一区間に対して該特定の人物のサムネイル画像データを対応付け、かかるサムネイル画像データをインデックスの一覧として表示部に表示制御しておき、操作者によって複数のサムネイル画像データが選択されると、該当する区間の動画データを連続再生するための新たな動画データを生成する技術が開示されている。この特許文献１によれば、動画データに含まれる特定の人物の登場位置を操作者に分かりやすく提示し、該特定人物が含まれる新たな動画データを効率良く生成することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５０８７８６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、この特許文献１のものは、動画データから特定の人物が映り込むシーンだけを集めた新たな動画データを生成する場合には有効であるが、監視カメラで撮影した動画データの中から特定の要注意人物の挙動を検出するような場合には効率良く対応することができないという問題がある。

【0006】

例えば、動画データの所定の時点において、ある要注意人物Ａが映り込んでいる事実が判明した場合に、この要注意人物Ａがこの時点の前後にいかなる行動を行っていたのかを確認したいようなケースがある。このような場合に、上記の特許文献１によれば、操作者が要注意人物Ａのサムネイル画像データを見つけつつ、これらのサムネイル画像データを選択し、要注意人物Ａに関する新たな動画データを生成した後、この新たな動画データを再生する必要がある。

【0007】

かかる一連の処理によれば、上記要注意人物Ａの振る舞いを迅速に察知することが難しいという問題がある。特に、要注意人物Ａが他の人物とともに行動する可能性がある場合には、他の人物についても同様に監視対象として新たな動画を生成することとなり、処理が複雑化する。実際の現場では、操作者が動画を再生しながら、その中に映り込んでいる要注意人物及び他の人物の挙動を認識し、その結果を踏まえつつ前後の状況を迅速に察知できるようにするニーズが存在するが、上記の特許文献１ではかかるニーズに対応することができない。

【0008】

これらのことから、動画データに含まれる特定の人物の挙動を操作者に効率良く把握できるようにすることが重要な課題となっている。

【0009】

本発明は、上記従来技術の課題を解決するためになされたものであって、動画データに含まれる特定の人物の挙動を操作者に効率良く把握可能にする情報処理装置及び情報処理方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記の課題を解決するため、本発明は、動画データを記憶する記憶部と、所定の表示部の表示画面上の動画再生表示領域に対して、前記記憶部に記憶された動画データを再生処理して表示制御するとともに、前記表示画面上の時系列表示領域に対して、前記記憶部に記憶された動画データに含まれる人物の特徴を示すサムネイル画像をそれぞれ時系列的に表示制御する表示制御部とを備え、前記表示制御部は、所定の警報発報戻り操作がなされると、所定の警報発報装置から警報発報を受け付けたタイムライン上の前のタイミングの動画データを前記動画再生表示領域に表示制御し、所定の警報発報送り操作がなされると、前記所定の警報発報装置から警報発報を受け付けたタイムライン上の後のタイミングの動画データを前記動画再生表示領域に表示制御することを特徴とする。

【0011】

また、本発明は、上記の発明において、前記記憶部に記憶された動画データに含まれる人物の特徴領域を検出する特徴領域検出部と、前記特徴領域検出部により特徴領域が検出された人物を追跡して、該人物が存在する前記動画データの時間軸上の区間を特定する特定部と、前記特徴領域検出部により検出された特徴領域のサムネイル画像を生成するサムネイル画像生成部とをさらに備え、前記表示制御部は、前記動画データの時間軸を示すタイムライン上の前記特定部により特定された区間に対応する位置に前記サムネイル画像生成部により生成されたサムネイル画像を表示制御することを特徴とする。

【0015】

また、本発明は、上記の発明において、前記タイムライン上の所望の区間を選択する区間選択部をさらに備え、前記表示制御部は、前記区間選択部によりタイムライン上の所望の区間が選択された場合に、該選択された区間の動画データを再生処理して前記動画再生表示領域に表示制御することを特徴とする。

【0016】

また、本発明は、動画データを記憶する記憶部と、所定の表示部の表示画面上の動画再生表示領域に対して、前記記憶部に記憶された動画データを再生処理して表示制御するとともに、前記表示画面上の時系列表示領域に対して、前記記憶部に記憶された動画データに含まれる人物の特徴を示すサムネイル画像をそれぞれ時系列的に表示制御する表示制御部と、あらかじめ登録された特定の人物に係る登録特徴情報を記憶する登録特徴情報記憶部と、前記記憶部に記憶された動画データに含まれる人物の特徴領域に含まれる特徴情報と、前記登録特徴情報記憶部に記憶された登録特徴情報とを照合処理して、該特徴情報が前記登録特徴情報のいずれかに対応するか否かを認証する認証処理部とを備え、前記認証処理部による認証結果に応じて、前記動画再生表示領域に表示制御される動画に含まれる特徴領域及び／又は前記時系列表示領域に表示制御されるサムネイル画像の表示態様を異ならせることを特徴とする。

【0018】

また、本発明は、上記の発明において、前記表示制御部は、所定の認証戻り操作又は所定の認証送り操作がなされたことを条件として、前記認証処理部により前記登録特徴情報のいずれかに対応すると認証された特徴情報が所在するタイムライン上の前又は後の区間の動画データを前記動画再生表示領域に表示制御することを特徴とする。

【0019】

また、本発明は、上記の発明において、前記動画再生表示領域に表示され、前記認証処理部により登録特徴情報に対応すると認証処理された特徴情報を有する特徴領域を選択する特徴領域選択部をさらに備え、前記表示制御部は、前記特徴領域選択部により特徴領域が選択された場合に、該選択された特徴領域に対応する複数の動画データを再生処理して前記動画再生表示領域に表示制御することを特徴とする。

【0020】

また、本発明は、上記の発明において、前記動画再生表示領域に表示され、前記認証処理部により登録特徴情報に対応すると認証処理された特徴情報を有する特徴領域を選択する特徴領域選択部をさらに備え、前記表示制御部は、前記特徴領域選択部により特徴領域が選択され、かつ、所定の操作がなされた場合に、前記特徴情報が含まれる他の区間の動画データを再生処理して前記動画再生表示領域に表示制御することを特徴とする。

【0021】

また、本発明は、上記の発明において、所定の動画出力操作がなされた場合に、前記動画再生表示領域に表示された動画データを出力する出力部とをさらに備えたことを特徴とする。

【0022】

また、本発明は、上記の発明において、所定の静止画出力操作がなされた場合に、前記動画再生表示領域に表示された動画データの一部をなす静止画像データを出力する静止画像出力部をさらに備えたことを特徴とする。

【0024】

また、本発明は、動画データを記憶する記憶部を有する情報処理装置における情報処理方法であって、所定の表示部の表示画面上の動画再生表示領域に対して、前記記憶部に記憶された動画データを再生処理して表示制御する第１の表示制御工程と、前記表示画面上の時系列表示領域に対して、前記記憶部に記憶された動画データに含まれる人物の特徴を示すサムネイル画像をそれぞれ時系列的に表示制御する第２の表示制御工程とを含み、前記第１の表示制御部は、所定の警報発報戻り操作がなされると、所定の警報発報装置から警報発報を受け付けたタイムライン上の前のタイミングの動画データを前記動画再生表示領域に表示制御し、所定の警報発報送り操作がなされると、前記所定の警報発報装置から警報発報を受け付けたタイムライン上の後のタイミングの動画データを前記動画再生表示領域に表示制御することを特徴とする。
また、本発明は、動画データを記憶する記憶部を有する情報処理装置における情報処理方法であって、所定の表示部の表示画面上の動画再生表示領域に対して、前記記憶部に記憶された動画データを再生処理して表示制御する第１の表示制御工程と、前記表示画面上の時系列表示領域に対して、前記記憶部に記憶された動画データに含まれる人物の特徴を示すサムネイル画像をそれぞれ時系列的に表示制御する第２の表示制御工程と、あらかじめ登録された特定の人物に係る登録特徴情報を登録特徴情報記憶部に格納する格納工程と、前記記憶部に記憶された動画データに含まれる人物の特徴領域に含まれる特徴情報と、前記登録特徴情報記憶部に記憶された登録特徴情報とを照合処理して、該特徴情報が前記登録特徴情報のいずれかに対応するか否かを認証する認証処理工程とを含み、前記認証処理工程による認証結果に応じて、前記動画再生表示領域に表示制御される動画に含まれる特徴領域及び／又は前記時系列表示領域に表示制御されるサムネイル画像の表示態様を異ならせることを特徴とする。

【発明の効果】

【0026】

本発明によれば、動画に含まれる特定の人物の挙動を操作者に効率良く把握させることが可能となる。

【図面の簡単な説明】

【0027】

【図1】図１は、本実施例に係る情報処理装置の概念を説明するための説明図である。

【図2】図２は、本実施例に係る情報処理システムのシステム構成を示す図である。

【図3】図３は、図２に示した情報処理装置の構成を示す機能ブロック図である。

【図4】図４は、図３に示した表示制御部により表示部に表示されるレコードビューアーの一例を示す図である。

【図5】図５は、図４に示した操作領域の一例を示す図である。

【図6】図６は、図３に示した情報処理装置による動画データの取得手順を示すフローチャートである。

【図7】図７は、図３に示した情報処理装置によるレコードビューアーの表示処理手順を示すフローチャートである。

【図8】図８は、図４に示したレコードビューアー上での操作の一例を説明するための説明図（１）である。

【図9】図９は、図４に示したレコードビューアー上での操作の一例を説明するための説明図（２）である。

【図10】図１０は、図４に示したレコードビューアー上での操作の一例を説明するための説明図（３）である。

【発明を実施するための形態】

【実施例】

【0028】

＜本実施例の概念＞
以下、添付図面を参照して、本実施例に係る情報処理装置及び情報処理方法の実施例を説明する。本実施例では、コンビニエンスストアや遊技店などの店内に設けられたカメラで動画データを撮像し、該カメラと通信可能に接続された情報処理装置上で動画データを再生する場合を説明することとする。

【0029】

また、以下に示す実施例では、説明の便宜上、人物の「顔」を人物の「特徴」とした場合について説明するが、本発明はこれに限定されるものではなく、人の背格好（アピアランス）、服の色・柄、眼鏡等の人が有する属性のうち、少なくとも１つを含むものを「特徴」とすることができる。

【0030】

まず、本実施例に係る情報処理装置４の概念について説明する。図１は、本実施例に係る情報処理装置４の概念を説明するための説明図である。同図に示すように、店内に設置されたカメラ１ａにて動画データが撮像されたならば、この動画データは、店舗のバックヤード等に設置された情報処理装置４に送信され、情報処理装置４の記憶部４４に格納される。

【0031】

ここで、例えば登録済みの不審人物が動画データ内に含まれていたならば、表示部４１にアラートモニター５０が表示され、このアラートモニター５０上に「不審人物を検知しました。」等のメッセージが表示される。また、ＥＡＳ装置（不正持出防止装置）２から警告信号を受信したならば、アラートモニター５０上に「商品の不正な持ち出しが発生しました」等のメッセージが表示される。なお、このＥＡＳ装置２についての説明は後述する。また、かかるアラートモニター５０は本実施例の特徴部分ではないため、その詳細な説明は省略する。

【0032】

また、店舗の担当者は、店舗の閉店後などの所定のタイミングにおいて、情報処理装置４のレコードビューアー６０を起動して、不審人物等が店内でどのような行動（挙動）を行ったか等を確認することができる。具体的には、店舗の担当者は、情報処理装置４上の表示部４１上にレコードビューアー６０を表示させ、担当者がこのレコードビューアー６０上で様々な操作を行うことによって不審人物等の挙動を把握することが可能になる。

【0033】

本実施例に係る情報処理装置４は、かかるレコードビューアー６０に特徴があり、店舗の担当者が、効率良く不審人物等の挙動を確認できるようにしている。具体的には、レコードビューアー６０にカメラ動画表示領域及びタイムライン表示領域を設け、担当者によって条件が設定された動画データをカメラ動画表示領域に表示するとともに、タイムライン表示領域に動画データに含まれる人物の顔を示すサムネイル画像を時系列的に表示制御する。このカメラ動画表示領域は請求項１の動画再生表示領域に対応し、タイムライン表示領域は請求項１の時系列表示領域に対応する。

【0034】

これにより、店舗の担当者は、タイムライン表示領域に表示されるサムネイル画像を参照して人物の登場タイミングを把握しつつ、カメラ動画表示領域上で該当するタイミングにおける動画を視聴し、人物の挙動を効率良く確認することが可能となる。

【0035】

なお、その詳細な説明は後述するが、本実施例に係るレコードビューアー６０は、人物が存在しない区間を飛ばして動画を再生することができる。人物が存在しない区間の動画データを再生する時間が無駄だからである。

【0036】

また、カメラ１ａで撮像された動画データに含まれる人物の顔領域を検出し、顔領域が検出された人物を追跡して該人物が存在する動画データの時間軸上の区間を特定し、タイムライン上の特定された区間に対応する位置にサムネイル画像を表示する。同一の位置に表示すべき異なる人物のサムネイル画像が複数存在する場合には、該複数のサムネイル画像が多段に表示制御される。

【0037】

また、あらかじめ登録された不審人物の登録顔データを記憶しておき、動画データから検出された顔領域に含まれる顔情報と登録顔データとを照合処理して、該顔情報が登録顔データのいずれかに該当するか否かを認証し、この認証結果に応じて、カメラ動画表示領域に表示制御される動画データに含まれる顔領域及び／又はタイムライン表示領域に表示制御されるサムネイル画像データの表示態様を異ならせることができる。本実施例では、登録顔データのいずれかに該当する場合にはサムネイル画像データを囲む矩形を破線で表示し、登録顔データのいずれにも該当しない場合にはサムネイル画像を囲む矩形を実線で表示することとしている。なお、例えば登録顔データに該当する場合には、赤色又は二重線等の矩形枠を用いて強調表示することもできる。

【0038】

また、タイムライン上の区間又はサムネイル画像データが選択されたならば、この区間に対応する時間軸上の動画データをカメラ動画表示領域に表示制御する。また、カメラ動画表示領域に表示された人物の顔領域が選択され、かつ、所定の操作（後述する「次の顔＞＞」ボタン又は「＜＜前の顔」ボタンの押下操作）が行われたならば、この人物が含まれる前後の動画データをカメラ動画表示領域に表示制御する。なお、タイムライン表示領域に表示されたサムネイル画像データが選択され、かつ、上記の所定の操作（後述する「次の顔＞＞」ボタン又は「＜＜前の顔」ボタンの押下操作）が行われた場合にも、この人物が含まれる前後の動画データをカメラ動画表示領域に表示制御する。

【0039】

また、所定の操作（後述する「前の認証＞＞」ボタン又は「次の認証」ボタンの押下操作）がなされた場合には、あらかじめ登録された登録顔のいずれと合致する顔が映っている前又は後の時刻に移行して、カメラ動画表示領域に動画データが表示される。さらに、所定の操作（後述する「前のＥＡＳ発報＞＞」ボタン又は「次のＥＡＳ発報」ボタンの押下操作）がなされると、ＥＡＳ発報された前後の時刻まで移行してカメラ動画表示領域に動画データが表示される。

【0040】

このように、本実施例に係る情報処理装置４は、レコードビューアー６０上に動画データを表示するカメラ動画表示領域と、動画データの時間軸上に登場する人物の顔のサムネイル画像データを表示するタイムライン表示領域とを設け、これらの表示を連動するよう構成するとともに、効率的な動画データの視聴を可能とするよう構成している。

【0041】

＜システム構成＞
次に、本実施例に係る情報処理システムのシステム構成について説明する。図２は、本実施例に係る情報処理システムのシステム構成を示す図である。同図に示すように、この情報処理システムにおいては、複数台のカメラ１ａ〜１ｂ（以下、「カメラ１」と総称する）と、ＥＡＳ装置２と、情報処理装置４とがネットワーク３に接続されている。

【0042】

カメラ１は、店舗内に所定の画角で設置された動画データを撮像する撮像装置であり、ネットワーク３に接続されている。このカメラ１により撮像された動画データは、ネットワーク３を介して情報処理装置４に送信される。

【0043】

ＥＡＳ装置２は、電子式商品監視システム（Electric Article Surveillance）の一部を形成する不正持出防止（万引き防止）装置である。このＥＡＳ装置２は、店舗の出入口にゲートとして配設され、ＲＦＩＤタグのリーダ／ライタとしての機能を有する。このＥＡＳ装置２が商品に貼付したＲＦＩＤタグを検知したならば、ブザーや音声にてアラームを報知するとともに、ネットワーク３を介してＲＦＩＤタグの識別情報等を情報処理装置４に通知する。

【0044】

ネットワーク３は、カメラ１、ＥＡＳ装置２及び情報処理装置４を通信可能に接続するための通信手段であり、ここでは有線のＬＡＮ（Local Area Network）を用いた場合を示している。ただし、このネットワーク３は、有線のＬＡＮに限定されるものではなく、無線ＬＡＮなどで構築することもできる。また、ネットワーク３を用いるのではなく、情報処理装置４とカメラ１の間、情報処理装置４とＥＡＳ装置２との間を直接ケーブルにて接続することもできる。

【0045】

情報処理装置４は、カメラ１で撮像された動画データの再生及び解析を行う場合に用いられるコンピュータである。この情報処理装置４の表示部４１にレコードビューアー６０を表示することで、レコードビューアー６０上で特定の人物の挙動を効率良く確認することができる。

【0046】

＜情報処理装置４の構成＞
次に、図２に示した情報処理装置４の構成について説明する。図３は、図２に示した情報処理装置４の構成を示す機能ブロック図である。同図に示すように、この情報処理装置４は、表示部４１と、操作部４２と、通信Ｉ／Ｆ部４３と、記憶部４４と、制御部４５とを有する。

【0047】

表示部４１は、液晶パネル等の表示デバイスであり、この表示部４１にはアラートモニター５０やレコードビューアー６０等の各種の表示画面が表示される。操作部４２は、マウスやキーボードなどの入力デバイスである。通信Ｉ／Ｆ部４３は、ネットワーク３を介してカメラ１及びＥＡＳ装置２と通信するための通信インタフェース部である。

【0048】

記憶部４４は、ハードディスク装置又は不揮発性メモリ等の記憶デバイスであり、動画データ４４ａ、登録顔データ４４ｂ、サムネイル画像データ４４ｃ及びＥＡＳデータ４４ｄを記憶する。

【0049】

動画データ４４ａは、カメラ１で撮像された動画データであり、撮影日時及び撮影したカメラの号機などの属性情報も含まれる。この動画データ４４ａは、Ｈ．２６４又はＭＰＥＧ（Moving Picture Experts Group）等の圧縮形式で符号化圧縮されたものであってもよい。なお、情報処理装置４は、カメラ１により撮像された動画データを順次受信して、撮像日時及びカメラの号機等の属性情報とともにファイルとして記憶部４４に記憶する。

【0050】

登録顔データ４４ｂは、あらかじめ不審人物として登録された顔画像データであり、カメラ動画領域に表示された顔領域を指定して所定の操作が行われると、この顔領域の静止画データが動画データから切り出され、登録顔データ４４ｂとして記憶部４４に記憶される。なお、本実施例では説明の便宜上、不審人物の登録顔データを記憶する場合について説明するが、ＶＩＰ等の重要人物の登録顔データを記憶することもできる。

【0051】

サムネイル画像データ４４ｃは、タイムライン表示領域に表示される顔画像データであり、動画データ４４ａに含まれる人物の顔を含む顔領域から生成されたサムネイル画像データである。なお、このサムネイル画像データ４４ｃに対しては該サムネイル画像データを一意に識別する識別情報が属性情報として付与される。

【0052】

ＥＡＳデータ４４ｄは、ＥＡＳ装置２から受信した履歴データであり、ＥＡＳ装置２によりＥＡＳ発報された時刻等が含まれる。

【0053】

制御部４５は、情報処理装置４の全体制御を行う制御部であり、動画データ検索処理部４５ａ、顔領域検出部４５ｂ、区間特定部４５ｃ、サムネイル画像生成部４５ｄ、認証処理部４５ｅ、表示制御部４５ｆ及びデータ出力部４５ｇが含まれる。具体的には、コンピュータのＣＰＵがこれらの各部に対応するプログラムを内部メモリ上にロードして実行することで、これらの機能部が実現される。

【0054】

動画データ検索処理部４５ａは、記憶部４４に記憶された複数の動画データ４４ａの中から条件指定された動画データ４４ａを検索する処理部である。具体的には、図４に示したレコードビューアー６０上の条件指定ボタン６１〜６５を操作して条件入力が行われると、動画データ４４ａの属性情報をキーとして条件に該当する動画データ４４ａが検索される。

【0055】

顔領域検出部４５ｂは、動画データ検索処理部４５ａにより検索された動画データ４４ａに含まれる人物の顔領域を検索する処理部である。具体的には、動画データ４４ａが圧縮符号化されている場合には、この動画データ４４ａを順次所定の画像メモリ上に展開し、人物の顔領域に相当するテンプレートを用いたテンプレートマッチング等を行うことで、人物の顔が含まれる顔領域をタイムライン上の時刻及び動画データ上の座標とともに検出する。かかる処理を行うことで、動画データ４４ａのタイムライン上のどの箇所に人物の顔領域が存在するのかを特定することができる。

【0056】

区間特定部４５ｃは、動画データ４４ａに人物が含まれるタイムライン上の区間を特定する処理を行う処理部である。具体的には、顔領域検索部４５ｂにより顔領域が検索されたならば、画像処理技術を用いて顔領域に含まれる顔の人物を時系列上で追跡し、連続して人物が登場する区間を人物存在区間として特定する。なお、かかる追跡処理技術は、周知の画像処理技術を用いることができる。

【0057】

例えば、動画データ４４ａが圧縮処理されておらず、一定時間ごとに連続する複数の静止画データからなる場合には、顔領域が検索された時点の静止画データと次の静止画データとで顔領域のベクトルを求めて人物の追跡処理を行い、両静止画データに同一人物が含まれている場合には、連続する区間として特定される。なお、動画データ４４ａに映り込んでいる人物が途中で消え、その後に再度動画データ４４ａに映り込むような場合には、原則として１つの区間ではなく２つの区間であるとみなすが、明らかに同一人物である場合には、たとえ一時期人物が消えていたとしても１つの区間とみなすよう構成することもできる。

【0058】

サムネイル画像生成部４５ｄは、レコードビューアー６０のタイムライン表示領域に表示するサムネイル画像データを生成する処理部である。具体的には、顔領域検索部４５ｂにより検索された顔領域の画像データを所定のサイズ（例えば、縦１２０画素×横９０画素）に拡大縮小（正規化）してサムネイル画像データを生成する。なお、人物の顔部分以外の背景部分を除去して人物の顔を示すサムネイル画像データを生成することもできる。また、このサムネイル画像データには、動画データ４４ａのタイムライン上の時刻及び座標位置並びにサムネイル画像データを一意に識別する識別情報を属性情報として付与して記憶部４４に記憶する。さらに、互いに類似する複数のサムネイル画像データ（例えば、相互相関値が所定値以上）が存在する場合に、これらのサムネイル画像データを共通化する（同一のものを用いる）こともできる。

【0059】

認証処理部４５ｅは、カメラ１により撮像された動画データ４４ａを取得した場合に、この動画データ４４ａ内に登録顔データ４４ｂの人物が映り込んでいるか否かを認証処理する処理部である。具体的には、この動画データ４４ａを画像メモリ上に順次展開し、展開した画像データ上に登録顔データ４４ｂに対応する顔が存在するか否かを画像処理によって判定する。例えば、登録顔データ４４ｂをテンプレートとしてテンプレートマッチングを行い、その相互相関係数が所定値以上である場合に、登録顔データ４４ｂに対応する人物が映り込んでいると判定する。なお、この認証処理の結果により、登録顔データ４４ｂに対応する顔が存在する場合には、動画データ４４ａのタイムライン上の時刻及び位置情報を記憶部４４に一時記憶する。

【0060】

表示制御部４５ｆは、表示部４１に対する表示制御を行う制御部であり、アラートモニター５０及びレコードビューアー６０などを表示部４１に表示制御する。具体的には、この表示制御部４５ｆは、カメラ動画表示領域及びタイムライン表示領域を有するレコードビューアー６０を表示部４１に表示する。このカメラ動画表示領域には、条件設定された動画データ４４ａが再生され、タイムライン表示領域には、タイムライン上の該当する時間的な位置に人物の顔を意味するサムネイル画像データを表示する。これにより、店舗の担当者は、タイムライン表示領域に表示されるサムネイル画像を参照して人物の登場タイミングを把握しつつ、カメラ動画表示領域によって該当するタイミングにおける動画を視聴し、人物の挙動を効率良く確認することが可能となる。なお、かかる表示制御部４５ｆにより表示部４１に表示されるレコードビューアー６０の一例については後述する。

【0061】

データ出力部４５ｇは、カメラ動画表示領域に表示された人物の顔を指定して、所定の出力操作がなされた場合に、この時点での静止画像データをキャプチャー処理して出力する処理部である。かかる出力としては、フラッシュメモリなどの外部メモリに対する格納、他の装置へのデータ転送及び印刷出力などが考えられる。

【0062】

＜レコードビューアー６０の一例＞
次に、図３に示した表示制御部４５ｆにより表示部４１に表示されるレコードビューアー６０の一例について説明する。図４は、図３に示した表示制御部４５ｆにより表示部４１に表示されるレコードビューアー６０の一例を示す図である。同図に示すように、このレコードビューアー６０には、カメラ指定ボタン６１、カレンダー６２、日付設定ボタン６３、更新ボタン６４、条件表示領域６５、静止画出力ボタン６６、動画出力ボタン６７、撮像日時表示領域６８、カメラ動画表示領域７０、操作領域８０及びタイムライン表示領域９０が含まれる。

【0063】

カメラ指定ボタン６１は、カメラの種別を指定するためのボタンであり、カメラ１ａ〜１ｂのいずれのカメラで撮像した動画データを対象とするかを指定する。また、カレンダー６２は、カメラ１で動画データが撮像された年月日を指定するためのものであり、このカレンダー６２上の日付が指定されると、該当する年月日が特定される。また、「今日」ボタン６３は、本日の年月日を指定する簡易入力用のボタンである。また、「更新」ボタン６４は、条件表示領域６５の表示内容を更新するためのボタンである。この「更新」ボタン６４が操作されると、条件表示領域６５の表示内容が最新の状況になる。

【0064】

条件表示領域６５は、記憶部４４に蓄積された動画データ４４ａのうち指定条件に合致する動画データ４４ａを一覧表示したものであり、ここでは、０７時００分、０７時１０分、０７時２０分、０７時３０分、０７時４０分、０７時５０分、０８時００分、０８時１０分、０８時２０分にそれぞれ撮影が開始された９つの動画データが表示された状況を示している。

【0065】

ここで、「顔」の欄にチェックがあれば、その時間帯に人の顔が見つかったことを示し、「認証」の欄にチェックがあれば、その時間帯に登録者と一致する人物が見つかったことを示す。また、「ＥＡＳ発報」の欄にチェックがあれば、その時間帯にＥＡＳ装置から信号を受信したことを示す。つまり、この条件表示領域６５を参照することにより、「顔」、「認証」、「ＥＡＳ作動」の各イベントの発生の有無を知ることができる。

【0066】

なお、ここでは条件表示領域６５を用いてイベントの発生に関する情報を表示する場合を示したが、例えば、条件表示領域６５の「認証」の欄がチェックされている場合に、該当する動画データに対する登録者との認証処理を行い、「認証」の欄がチェックされていない場合に、認証処理を行わないよう構成することもできる。

【0067】

静止画出力ボタン６６は、静止画データを出力する場合に用いられる操作ボタンであり、カメラ動画表示領域７０に動画データが表示されている状況で、この静止画出力ボタン６６が操作されると、操作された時点での静止画データがキャプチャされ、記憶部４４又は図示しないフラッシュメモリ等に記憶される。なお、かかる静止画出力ボタン６６の操作により、静止画を印刷したり、静止画データを他の装置にデータ通信することもできる。

【0068】

動画出力ボタン６７は、動画データを出力する場合に用いられる操作ボタンであり、カメラ動画表示領域７０に動画データが表示されている状況で、この動画出力ボタン６７が操作されると、カメラ動画表示領域７０に表示される動画データが記憶部４４又は図示しないフラッシュメモリ等に記憶される。

【0069】

撮像日時表示領域６８は、カメラ動画表示領域７０に表示された動画データの撮像日時に関する情報が表示される。かかる情報は、動画データ４４ａの属性情報として付与されたものを取得して表示することになる。なお、動画の再生が進むと、この再生状況に連動して撮像時刻が進む。

【0070】

カメラ動画表示領域７０は、入力された条件に合致する動画データ４４ａを再生表示する表示領域である。このカメラ動画表示領域７０に表示される動画データに含まれる顔領域は、登録顔データのいずれかと同一であるか否かを問わずマーキング表示される。本実施例では、登録顔データのいずれかに該当すると判定された顔領域は破線で表示し、登録顔データのいずれかにも該当しないと判定された顔領域を実線で表示している。ただし、登録顔データのいずれかに該当すると判定された顔領域については、赤色などの色付けなどによって通常と異なる態様で強調表示することもできる。

【0071】

操作領域８０は、カメラ動画表示領域７０に表示された動画データの送り操作、戻し操作などの操作を行うための操作部である。具体的には、図５に示すように、「前へ」ボタン８０ａが操作されると、時間的に一つ前の動画データ４４ａに移行し、「次へ」ボタン８０ｂが操作されると、時間的に一つ後の動画データ４４ａに移行する。また、バー８０ｃはタイムラインを示し、時刻タブ８０ｄはタイムライン上の時刻を示している。操作者が、この時刻タブ８０ｄをクリックしたままバー８０ｃ上をスライドさせると、カメラ動画表示領域７０に表示される動画のデータの再生開始時刻がこの時刻タブ８０ｄの位置に対応する時刻にジャンプする。

【0072】

また、「再生」ボタン８０ｅが操作されると、ジャンプした箇所から動画データが再生される。また、「＜」ボタン（戻りボタン）８０ｆが操作されると、カメラ動画表示領域７０に表示された動画データが所定時間戻り、「＞」ボタン（送りボタン）８０ｇが操作されると、カメラ動画表示領域７０に表示された動画データが所定時間進む。また、「再生」ボタン８０ｅが押されるたびに、動画データの倍速再生を行うこともできる(例えば、倍速なし→２倍→４倍→８倍→倍速なし・・・など)。

【0073】

また、「＜＜前の顔」ボタン８０ｈ又は「次の顔＞＞」ボタン８０ｉが操作されると、顔が存在しない区間を飛ばして動画データ４４ａの顔が存在する前後の位置までジャンプする。人が存在しない動画を再生する時間は無駄だからである。なお、顔領域検出部４５ｂによって顔領域が時刻とともに事前に検出されているため、かかる処理を行うことができる。

【0074】

なお、カメラ動画表示領域７０に表示された動画データの顔領域を選択操作し、「＜＜前の顔」ボタン８０ｈ又は「次の顔＞＞」ボタン８０ｉが操作されると、同一の顔領域が存在しない区間を飛ばし、同一の顔領域が存在する前後の位置までジャンプする。

【0075】

また、「＜＜前の認証」ボタン８０ｊ又は「次の認証＞＞」ボタン８０ｋが操作されると、登録顔データに該当すると判定された顔が映っている時刻までジャンプし、カメラ動画表示領域７０に動画データが表示される。

【0076】

また、「＜＜前のＥＡＳ発報」ボタン８０ｌ又は「次のＥＡＳ発報＞＞」ボタン８０ｍが操作されると、ＥＡＳ発報された前後の時刻まで移行してカメラ動画表示領域７０に動画データが表示される。

【0077】

図４の説明に戻り、タイムライン表示領域９０には、タイムラインを示すバー８０ｄ上の該当時刻に相当する位置に、顔領域検出部４５ｂにより検出された人物のサムネイル画像データを表示する。動画データ中に複数の人物が映り込んでいる場合には、各人物のサムネイル画像データが多段に表示される。なお、このサムネイル画像データの一つが選択操作されると、カメラ動画表示領域７０上で選択操作されたサムネイル画像データに対応する箇所の動画データが再生表示される。

【0078】

＜動画データ取得処理手順＞
次に、図３に示した情報処理装置４による動画データの取得手順について説明する。図６は、図３に示した情報処理装置４による動画データの取得手順を示すフローチャートである。

【0079】

情報処理装置４及びカメラ１の電源を投入するとそれぞれ起動し、カメラ１は撮像を開始し、情報処理装置４は動画データの受信待機状態となる（ステップＳ１０１；Ｎｏ）。ここで、情報処理装置４がカメラ１から動画データの送信通知を受け取ると（ステップＳ１０１；Ｙｅｓ）、動画データの受信を行い（ステップＳ１０２）、人の顔を検出する処理を実行し、検出された顔が登録済の顔と合致するかどうかの照合処理を実行する。これらの処理結果と動画データをファイルとして記憶部４４に格納する（ステップＳ１０３）。なお、撮影日時などの撮影条件データはファイルの属性情報として記憶される。

【0080】

上記の一連の処理を行うことにより、情報処理装置４の電源を投入するだけで、カメラ１により撮像された動画データと顔検出および顔認証の実行結果が順次記憶部４４に蓄積され、レコードビューアー６０で確認することが可能な状態となる。

【0081】

＜レコードビューアー６０の表示処理＞
次に、図３に示した情報処理装置４によるレコードビューアー６０の表示処理手順（その２）について説明する。図７は、図３に示した情報処理装置４によるレコードビューアー６０の表示処理手順を示すフローチャートである。

【0082】

同図に示すように、操作者によるレコードビューアー６０での設定条件を受け付けると（ステップＳ２０１）、動画データ検索処理部４５ａが、記憶部４４から設定条件に合致する動画データ４４ａを検索する（ステップＳ２０２）。具体的には、動画データの属性情報を参照して、設定条件に合致する動画データ４４ａを検索する。

【0083】

その後、顔領域検出部４５ｂにより動画データ４４ａから顔領域を検出する処理を行い（ステップＳ２０３）、認証処理部４５ｅによる認証処理を行う（ステップＳ２０４）。具体的には、顔領域検出部４５ｂによって検出された顔領域に含まれる顔があらかじめ登録された登録顔データ４４ｂのいずれかに該当するか否かを認証処理することになる。

【0084】

その後、区間特定部４５ｃが顔領域の存在する区間を特定する処理を行い（ステップＳ２０５）、サムネイル画像生成部４５ｄがサムネイル画像を生成する（ステップＳ２０６）。かかる一連の処理を動画データ検索処理部４５ａにより検索された全ての動画データ４４ａに対して行う（ステップＳ２０７；Ｎｏ）。

【0085】

そして、全ての動画データ４４ａについての処理を終えたならば（ステップＳ２０７；Ｙｅｓ）、サムネイル画像データ４４ｃをタイムライン表示領域９０の該当する位置に表示するとともに（ステップＳ２０８）、動画データ４４ａをカメラ動画表示領域７０に表示し（ステップＳ２０９）、カメラ動画表示領域７０に表示される動画データ４４ａに含まれる顔領域をマーキング表示する（ステップＳ２１０）。この際、認証処理の結果、いずれかの登録顔データ４４ｂに該当する場合には、サムネイル画像データを囲む矩形を破線で表示する。

【0086】

＜レコードビューアー６０の操作の一例＞
次に、図４に示したレコードビューアー６０上での操作の一例について説明する。図８〜図１０は、図４に示したレコードビューアー６０上での操作の一例を説明するための説明図である。図４に示したレコードビューアー６０上で「＜＜前の顔」ボタン８０ｈが操作されると、図８に示すように、それ以前に顔領域が検出された時点に移行し、カメラ動画表示領域７０にこの時点から動画データが再生表示される。

【0087】

顔領域検出部４５ｂによってあらかじめ動画データ４４ａから顔領域が検出された検出結果と、タイムライン上の時刻、座標情報とを記憶部４４に一時記憶することにより、「＜＜前の顔」ボタン８０ｈが操作された際に、それ以前に顔領域が検出された時点にジャンプすることが可能となる。

【0088】

また、図８に示したレコードビューアー６０上でさらに「＜＜前の顔」ボタン８０ｈが操作されると、図９に示すように、それ以前に顔領域が検出された時点に移行し、カメラ動画表示領域７０にこの時点から動画データが再生表示される。

【0089】

一方、図４に示したレコードビューアー６０のカメラ動画表示領域７０の特定の人物の顔領域を選択して、「＜＜前の顔」ボタン８０ｈが操作されると、図１０に示すように、この人物が存在する時点に移行し、カメラ動画表示領域７０にこの時点から動画データが再生表示される。

【0090】

顔領域検出部４５ｂにより検出された顔領域の相関値を求めて同一人物の顔であるか否かを事前に判定しておくことにより、同一人物が存在する時点へのジャンプを行うことが可能となる。

【0091】

上述してきたように、本実施例に係る情報処理装置４は、レコードビューアー６０にカメラ動画表示領域７０及びタイムライン表示領域９０を設け、条件が設定された動画データをカメラ動画表示領域７０に表示するとともに、タイムライン表示領域９０に動画データに含まれる人物の顔を示すサムネイル画像データを時系列的に表示制御するよう構成したので、タイムライン表示領域９０を参照しつつ動画データに含まれる人物を把握し、効率良く人物の挙動を把握することが可能となる。

【0092】

また、本実施例に係るレコードビューアー６０では、人物が存在しない区間を飛ばして動画を再生することで、人物が存在しないシーンの動画を再生することに伴う無駄を省くことが可能となる。

【0093】

また、カメラ１で撮像された動画データに含まれる人物の顔領域を検出し、顔領域が検出された人物を追跡して該人物が存在する動画データの時間軸上の区間を特定し、タイムライン上の特定された区間に対応する位置にサムネイル画像を表示するよう構成したので、動画データに含まれる人物のサムネイル画像データを妥当な位置に効率良く表示することが可能となる。

【0094】

また、同一の位置に表示すべき異なる人物のサムネイル画像が複数存在する場合には、該複数のサムネイル画像を多段に表示制御するよう構成したので、複数の人物が同時期に存在する場合であっても、各人物の挙動を効率良く把握することが可能となる。また、同一の位置に複数のサムネイル画像を多段に表示された場合でも、これらの人物が相互に関与しているとは、断定することはできないが、複数人からなるグループで不正行為を疑うことが可能となる。特に、多くのタイミングで複数の人物のサムネイル画像が多段に表示されている場合には、グループとしての行為である蓋然性が高くなること、さらに動画再生を確認することで人物の関係及びグループでの挙動であることを把握することが可能となる。複数の同じ人物が同時に撮影されているシーンを自動で検索して結果を表示する処理を組込むことでグループであることの検知率を高めることも期待できる。

【0095】

また、あらかじめ不審人物の登録顔データ４４ｂを記憶部４４に記憶しておき、動画データ４４ａから検出された顔領域に含まれる顔情報と登録顔データ４４ｂとを照合処理して、該顔情報が登録顔データ４４ｂのいずれかに対応するか否かを認証し、この認証結果に応じて、カメラ動画表示領域７０に表示制御される動画データに含まれる顔領域及び／又はタイムライン表示領域９０に表示制御されるサムネイル画像データの表示態様を異ならせるよう構成したので、不審人物等の要注意人物への効率的な対応も可能となる。特に、登録顔データ４４ｂのいずれかに該当する場合にはサムネイル画像データを破線等で強調表示することで、要注意人物の把握を容易にすることが可能となる。

【0096】

また、タイムライン上の区間又はサムネイル画像データが選択されたならば、この区間に対応する時間軸上の動画データをカメラ動画表示領域７０に表示制御するよう構成したので、所望の動画を迅速に再生することが可能となる。また、カメラ動画表示領域７０に表示された人物の顔領域が選択され、所定の操作（進むボタンの操作等）が行われたならば、この人物が含まれる次の動画データをカメラ動画表示領域７０に表示制御するよう構成したので、所望の人物の挙動を効率良く把握することが可能となる。

【0097】

また、タイムライン上の区間又はサムネイル画像データが選択されたならば、この区間に対応する時間軸上の動画データをカメラ動画表示領域７０に表示制御するよう構成したので、タイムライン又はサムネイル画像データを用いて所望の人物の挙動を効率良く把握することが可能となる。

【0098】

なお、本実施例では、登録顔データ４４ｂに該当すると認証処理された顔領域を破線で表示し、その他の顔領域を実線で表示する場合を示したが、本発明はこれに限定されるものではなく、赤色等の強調表示を行うことも可能である。

【産業上の利用可能性】

【0099】

本発明の情報処理装置及び情報処理方法は、動画データに含まれる特定の人物の挙動を操作者に効率良く把握可能にする場合に有用である。

【符号の説明】

【0100】

１、１ａ、１ｂ カメラ
２ ＥＡＳ装置
３ ネットワーク
４ 情報処理装置
４１ 表示部
４２ 操作部
４３ 通信Ｉ／Ｆ部
４４ 記憶部
４４ａ 動画データ
４４ｂ 登録顔データ
４４ｃ サムネイル画像データ
４４ｄ ＥＡＳデータ
４５ 制御部
４５ａ 動画データ検索処理部
４５ｂ 顔領域検出部
４５ｃ 区間特定部
４５ｄ サムネイル画像生成部
４５ｅ 認証処理部
４５ｆ 表示制御部
４５ｇ データ出力部
５０ アラートモニター
６０ レコードビューアー
６１ カメラ指定ボタン
６２ カレンダー
６３ 今日ボタン
６４ 更新ボタン
６５ 条件表示領域
６６ 静止画出力ボタン
６７ 動画出力ボタン
６８ 撮像日時表示領域
７０ カメラ動画表示領域
８０ 操作領域
９０ タイムライン表示領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】