特開2017-224956(P2017-224956A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ グローリー株式会社の特許一覧
<>
  • 特開2017224956-情報処理装置及び情報処理方法 図000003
  • 特開2017224956-情報処理装置及び情報処理方法 図000004
  • 特開2017224956-情報処理装置及び情報処理方法 図000005
  • 特開2017224956-情報処理装置及び情報処理方法 図000006
  • 特開2017224956-情報処理装置及び情報処理方法 図000007
  • 特開2017224956-情報処理装置及び情報処理方法 図000008
  • 特開2017224956-情報処理装置及び情報処理方法 図000009
  • 特開2017224956-情報処理装置及び情報処理方法 図000010
  • 特開2017224956-情報処理装置及び情報処理方法 図000011
  • 特開2017224956-情報処理装置及び情報処理方法 図000012
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2017-224956(P2017-224956A)
(43)【公開日】2017年12月21日
(54)【発明の名称】情報処理装置及び情報処理方法
(51)【国際特許分類】
   H04N 5/76 20060101AFI20171124BHJP
   H04N 5/225 20060101ALI20171124BHJP
【FI】
   H04N5/76 B
   H04N5/225 A
   H04N5/225 C
   H04N5/225 F
【審査請求】未請求
【請求項の数】16
【出願形態】OL
【全頁数】20
(21)【出願番号】特願2016-118270(P2016-118270)
(22)【出願日】2016年6月14日
(71)【出願人】
【識別番号】000001432
【氏名又は名称】グローリー株式会社
(74)【代理人】
【識別番号】100114306
【弁理士】
【氏名又は名称】中辻 史郎
(74)【代理人】
【識別番号】100148655
【弁理士】
【氏名又は名称】諏訪 淳一
(72)【発明者】
【氏名】玉田 哲也
(72)【発明者】
【氏名】越智 康雄
(72)【発明者】
【氏名】松枝 慶
【テーマコード(参考)】
5C122
【Fターム(参考)】
5C122DA03
5C122DA11
5C122FH14
5C122FK35
5C122FK39
5C122GA21
5C122GA31
5C122HA29
5C122HA75
5C122HB01
5C122HB05
(57)【要約】
【課題】動画に含まれる特定の人物の挙動を操作者に効率良く把握できるようにすることを課題とする。
【解決手段】レコードビューアー60にカメラ動画表示領域70及びタイムライン表示領域90を設け、条件が設定された動画データをカメラ動画表示領域70に表示するとともに、タイムライン表示領域90に動画データに含まれる人物の顔を示すサムネイル画像データを時系列的に表示制御する。
【選択図】図1
【特許請求の範囲】
【請求項1】
動画データを記憶する記憶部と、
所定の表示部の表示画面上の動画再生表示領域に対して、前記記憶部に記憶された動画データを再生処理して表示制御するとともに、前記表示画面上の時系列表示領域に対して、前記記憶部に記憶された動画データに含まれる人物の特徴を示すサムネイル画像をそれぞれ時系列的に表示制御する表示制御部と
を備えたことを特徴とする情報処理装置。
【請求項2】
前記記憶部に記憶された動画データに含まれる人物の特徴領域を検出する特徴領域検出部と、
前記特徴領域検出部により特徴領域が検出された人物を追跡して、該人物が存在する前記動画データの時間軸上の区間を特定する特定部と、
前記特徴領域検出部により検出された特徴領域のサムネイル画像を生成するサムネイル画像生成部とをさらに備え、
前記表示制御部は、
前記動画データの時間軸を示すタイムライン上の前記特定部により特定された区間に対応する位置に前記サムネイル画像生成部により生成されたサムネイル画像を表示制御する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記表示制御部は、
前記動画データの時間軸を示すタイムライン上の前記特定部により特定された区間に対応する位置に表示すべき異なる人物のサムネイル画像が複数存在する場合に、該複数のサムネイル画像を多段に表示制御する
ことを特徴とする請求項2に記載の情報処理装置。
【請求項4】
前記表示制御部は、
所定の戻り操作又は所定の送り操作がなされたことを条件として、前記特徴領域検出部により特徴領域が検出されたタイムライン上の前又は後の区間の動画データを前記動画再生表示領域に表示制御する
ことを特徴とする請求項2又は3に記載の情報処理装置。
【請求項5】
前記表示制御部は、
所定の警報発報戻り操作又は所定の警報発報送り操作がなされたことを条件として、所定の警報発報装置から警報発報を受け付けたタイムライン上の前又は後のタイミングの動画データを前記動画再生表示領域に表示制御する
ことを特徴とする請求項2又は3に記載の情報処理装置。
【請求項6】
前記タイムライン上の所望の区間を選択する区間選択部をさらに備え、
前記表示制御部は、
前記区間選択部によりタイムライン上の所望の区間が選択された場合に、該選択された区間の動画データを再生処理して前記動画再生表示領域に表示制御する
ことを特徴とする請求項2又は3に記載の情報処理装置。
【請求項7】
あらかじめ登録された特定の人物に係る登録特徴情報を記憶する登録特徴情報記憶部と、
前記特徴領域検出部により検出された特徴領域に含まれる特徴情報と、前記登録特徴情報記憶部に記憶された登録特徴情報とを照合処理して、該特徴情報が前記登録特徴情報のいずれかに対応するか否かを認証する認証処理部と
をさらに備えたことを特徴とする請求項2又は3に記載の情報処理装置。
【請求項8】
前記認証処理部による認証結果に応じて、前記動画再生表示領域に表示制御される動画に含まれる特徴領域及び/又は前記時系列表示領域に表示制御されるサムネイル画像の表示態様を異ならせることを特徴とする請求項7に記載の情報処理装置。
【請求項9】
前記表示制御部は、
所定の認証戻り操作又は所定の認証送り操作がなされたことを条件として、前記認証処理部により前記登録特徴情報のいずれかに対応すると認証された特徴情報が所在するタイムライン上の前又は後の区間の動画データを前記動画再生表示領域に表示制御する
ことを特徴とする請求項7又は8に記載の情報処理装置。
【請求項10】
前記動画再生表示領域に表示され、前記認証処理部により登録特徴情報に対応すると認証処理された特徴情報を有する特徴領域を選択する特徴領域選択部をさらに備え、
前記表示制御部は、
前記特徴領域選択部により特徴領域が選択された場合に、該選択された特徴領域に対応する複数の動画データを再生処理して前記動画再生表示領域に表示制御する
ことを特徴とする請求項2〜9のいずれか一つに記載の情報処理装置。
【請求項11】
前記動画再生表示領域に表示され、前記認証処理部により登録特徴情報に対応すると認証処理された特徴情報を有する特徴領域を選択する特徴領域選択部をさらに備え、
前記表示制御部は、
前記特徴領域選択部により特徴領域が選択され、かつ、所定の操作がなされた場合に、前記特徴情報が含まれる他の区間の動画データを再生処理して前記動画再生表示領域に表示制御する
ことを特徴とする請求項2〜9のいずれか一つに記載の情報処理装置。
【請求項12】
所定の動画出力操作がなされた場合に、前記動画再生表示領域に表示された動画データを出力する出力部をさらに備えたことを特徴とする請求項2〜11のいずれか一つに記載の情報処理装置。
【請求項13】
所定の静止画出力操作がなされた場合に、前記動画再生表示領域に表示された動画データの一部をなす静止画像データを出力する静止画像出力部をさらに備えたことを特徴とする請求項1〜12のいずれか一つに記載の情報処理装置。
【請求項14】
前記人物の特徴は、人物の顔であることを特徴とする請求項1〜13のいずれか一つに記載の情報処理装置。
【請求項15】
動画データを記憶する記憶部を有する情報処理装置における情報処理方法であって、
所定の表示部の表示画面上の動画再生表示領域に対して、前記記憶部に記憶された動画データを再生処理して表示制御する第1の表示制御工程と、
前記表示画面上の時系列表示領域に対して、前記記憶部に記憶された動画データに含まれる人物の特徴を示すサムネイル画像をそれぞれ時系列的に表示制御する第2の表示制御工程と
を含んだことを特徴とする情報処理方法。
【請求項16】
前記人物の特徴は、人物の顔であることを特徴とする請求項15に記載の情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画データに含まれる特定の人物の挙動を操作者に効率良く把握できるようにする情報処理装置及び情報処理方法に関する。
【背景技術】
【0002】
従来、カメラ等の撮像装置で撮像された画像データから複数の人物の顔画像データをそれぞれ検索し、検索された複数の顔画像データを表示部に表示する技術が知られている。
【0003】
例えば、特許文献1には、特定の人物が連続して登場すると推定される動画の一区間に対して該特定の人物のサムネイル画像データを対応付け、かかるサムネイル画像データをインデックスの一覧として表示部に表示制御しておき、操作者によって複数のサムネイル画像データが選択されると、該当する区間の動画データを連続再生するための新たな動画データを生成する技術が開示されている。この特許文献1によれば、動画データに含まれる特定の人物の登場位置を操作者に分かりやすく提示し、該特定人物が含まれる新たな動画データを効率良く生成することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第5087867号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、この特許文献1のものは、動画データから特定の人物が映り込むシーンだけを集めた新たな動画データを生成する場合には有効であるが、監視カメラで撮影した動画データの中から特定の要注意人物の挙動を検出するような場合には効率良く対応することができないという問題がある。
【0006】
例えば、動画データの所定の時点において、ある要注意人物Aが映り込んでいる事実が判明した場合に、この要注意人物Aがこの時点の前後にいかなる行動を行っていたのかを確認したいようなケースがある。このような場合に、上記の特許文献1によれば、操作者が要注意人物Aのサムネイル画像データを見つけつつ、これらのサムネイル画像データを選択し、要注意人物Aに関する新たな動画データを生成した後、この新たな動画データを再生する必要がある。
【0007】
かかる一連の処理によれば、上記要注意人物Aの振る舞いを迅速に察知することが難しいという問題がある。特に、要注意人物Aが他の人物とともに行動する可能性がある場合には、他の人物についても同様に監視対象として新たな動画を生成することとなり、処理が複雑化する。実際の現場では、操作者が動画を再生しながら、その中に映り込んでいる要注意人物及び他の人物の挙動を認識し、その結果を踏まえつつ前後の状況を迅速に察知できるようにするニーズが存在するが、上記の特許文献1ではかかるニーズに対応することができない。
【0008】
これらのことから、動画データに含まれる特定の人物の挙動を操作者に効率良く把握できるようにすることが重要な課題となっている。
【0009】
本発明は、上記従来技術の課題を解決するためになされたものであって、動画データに含まれる特定の人物の挙動を操作者に効率良く把握可能にする情報処理装置及び情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記の課題を解決するため、本発明は、動画データを記憶する記憶部と、所定の表示部の表示画面上の動画再生表示領域に対して、前記記憶部に記憶された動画データを再生処理して表示制御するとともに、前記表示画面上の時系列表示領域に対して、前記記憶部に記憶された動画データに含まれる人物の特徴を示すサムネイル画像をそれぞれ時系列的に表示制御する表示制御部とを備えたことを特徴とする。
【0011】
また、本発明は、上記の発明において、前記記憶部に記憶された動画データに含まれる人物の特徴領域を検出する特徴領域検出部と、前記特徴領域検出部により特徴領域が検出された人物を追跡して、該人物が存在する前記動画データの時間軸上の区間を特定する特定部と、前記特徴領域検出部により検出された特徴領域のサムネイル画像を生成するサムネイル画像生成部とをさらに備え、前記表示制御部は、前記動画データの時間軸を示すタイムライン上の前記特定部により特定された区間に対応する位置に前記サムネイル画像生成部により生成されたサムネイル画像を表示制御することを特徴とする。
【0012】
また、本発明は、上記の発明において、前記表示制御部は、前記動画データの時間軸を示すタイムライン上の前記特定部により特定された区間に対応する位置に表示すべき異なる人物のサムネイル画像が複数存在する場合に、該複数のサムネイル画像を多段に表示制御することを特徴とする。
【0013】
また、本発明は、上記の発明において、前記表示制御部は、所定の戻り操作又は所定の送り操作がなされたことを条件として、前記特徴領域検出部により特徴領域が検出されたタイムライン上の前又は後の区間の動画データを前記動画再生表示領域に表示制御することを特徴とする。
【0014】
また、本発明は、上記の発明において、前記表示制御部は、所定の警報発報戻り操作又は所定の警報発報送り操作がなされたことを条件として、所定の警報発報装置から警報発報を受け付けたタイムライン上の前又は後のタイミングの動画データを前記動画再生表示領域に表示制御することを特徴とする。
【0015】
また、本発明は、上記の発明において、前記タイムライン上の所望の区間を選択する区間選択部をさらに備え、前記表示制御部は、前記区間選択部によりタイムライン上の所望の区間が選択された場合に、該選択された区間の動画データを再生処理して前記動画再生表示領域に表示制御することを特徴とする。
【0016】
また、本発明は、上記の発明において、あらかじめ登録された特定の人物に係る登録特徴情報を記憶する登録特徴情報記憶部と、前記特徴領域検出部により検出された特徴領域に含まれる特徴情報と、前記登録特徴情報記憶部に記憶された登録特徴情報とを照合処理して、該特徴情報が前記登録特徴情報のいずれかに対応するか否かを認証する認証処理部とをさらに備えたことを特徴とする。
【0017】
また、本発明は、上記の発明において、前記認証処理部による認証結果に応じて、前記動画再生表示領域に表示制御される動画に含まれる特徴領域及び/又は前記時系列表示領域に表示制御されるサムネイル画像の表示態様を異ならせることを特徴とする。
【0018】
また、本発明は、上記の発明において、前記表示制御部は、所定の認証戻り操作又は所定の認証送り操作がなされたことを条件として、前記認証処理部により前記登録特徴情報のいずれかに対応すると認証された特徴情報が所在するタイムライン上の前又は後の区間の動画データを前記動画再生表示領域に表示制御することを特徴とする。
【0019】
また、本発明は、上記の発明において、前記動画再生表示領域に表示され、前記認証処理部により登録特徴情報に対応すると認証処理された特徴情報を有する特徴領域を選択する特徴領域選択部をさらに備え、前記表示制御部は、前記特徴領域選択部により特徴領域が選択された場合に、該選択された特徴領域に対応する複数の動画データを再生処理して前記動画再生表示領域に表示制御することを特徴とする。
【0020】
また、本発明は、上記の発明において、前記動画再生表示領域に表示され、前記認証処理部により登録特徴情報に対応すると認証処理された特徴情報を有する特徴領域を選択する特徴領域選択部をさらに備え、前記表示制御部は、前記特徴領域選択部により特徴領域が選択され、かつ、所定の操作がなされた場合に、前記特徴情報が含まれる他の区間の動画データを再生処理して前記動画再生表示領域に表示制御することを特徴とする。
【0021】
また、本発明は、上記の発明において、所定の動画出力操作がなされた場合に、前記動画再生表示領域に表示された動画データを出力する出力部とをさらに備えたことを特徴とする。
【0022】
また、本発明は、上記の発明において、所定の静止画出力操作がなされた場合に、前記動画再生表示領域に表示された動画データの一部をなす静止画像データを出力する静止画像出力部をさらに備えたことを特徴とする。
【0023】
また、本発明は、上記の発明において、前記人物の特徴は、人物の顔であることを特徴とする。
【0024】
また、本発明は、動画データを記憶する記憶部を有する情報処理装置における情報処理方法であって、所定の表示部の表示画面上の動画再生表示領域に対して、前記記憶部に記憶された動画データを再生処理して表示制御する第1の表示制御工程と、前記表示画面上の時系列表示領域に対して、前記記憶部に記憶された動画データに含まれる人物の特徴を示すサムネイル画像をそれぞれ時系列的に表示制御する第2の表示制御工程とを含んだことを特徴とする。
【0025】
また、本発明は、上記の発明において、前記人物の特徴は、人物の顔であることを特徴とする。
【発明の効果】
【0026】
本発明によれば、動画データを記憶する記憶部と、所定の表示部の表示画面上の動画再生表示領域に対して、前記記憶部に記憶された動画データを再生処理して表示制御するとともに、前記表示画面上の時系列表示領域に対して、前記記憶部に記憶された動画データに含まれる人物の特徴を示すサムネイル画像をそれぞれ時系列的に表示制御する表示制御部とを備えるよう構成したので、動画に含まれる特定の人物の挙動を操作者に効率良く把握させることが可能となる。
【図面の簡単な説明】
【0027】
図1図1は、本実施例に係る情報処理装置の概念を説明するための説明図である。
図2図2は、本実施例に係る情報処理システムのシステム構成を示す図である。
図3図3は、図2に示した情報処理装置の構成を示す機能ブロック図である。
図4図4は、図3に示した表示制御部により表示部に表示されるレコードビューアーの一例を示す図である。
図5図5は、図4に示した操作領域の一例を示す図である。
図6図6は、図3に示した情報処理装置による動画データの取得手順を示すフローチャートである。
図7図7は、図3に示した情報処理装置によるレコードビューアーの表示処理手順を示すフローチャートである。
図8図8は、図4に示したレコードビューアー上での操作の一例を説明するための説明図(1)である。
図9図9は、図4に示したレコードビューアー上での操作の一例を説明するための説明図(2)である。
図10図10は、図4に示したレコードビューアー上での操作の一例を説明するための説明図(3)である。
【発明を実施するための形態】
【実施例】
【0028】
<本実施例の概念>
以下、添付図面を参照して、本実施例に係る情報処理装置及び情報処理方法の実施例を説明する。本実施例では、コンビニエンスストアや遊技店などの店内に設けられたカメラで動画データを撮像し、該カメラと通信可能に接続された情報処理装置上で動画データを再生する場合を説明することとする。
【0029】
また、以下に示す実施例では、説明の便宜上、人物の「顔」を人物の「特徴」とした場合について説明するが、本発明はこれに限定されるものではなく、人の背格好(アピアランス)、服の色・柄、眼鏡等の人が有する属性のうち、少なくとも1つを含むものを「特徴」とすることができる。
【0030】
まず、本実施例に係る情報処理装置4の概念について説明する。図1は、本実施例に係る情報処理装置4の概念を説明するための説明図である。同図に示すように、店内に設置されたカメラ1aにて動画データが撮像されたならば、この動画データは、店舗のバックヤード等に設置された情報処理装置4に送信され、情報処理装置4の記憶部44に格納される。
【0031】
ここで、例えば登録済みの不審人物が動画データ内に含まれていたならば、表示部41にアラートモニター50が表示され、このアラートモニター50上に「不審人物を検知しました。」等のメッセージが表示される。また、EAS装置(不正持出防止装置)2から警告信号を受信したならば、アラートモニター50上に「商品の不正な持ち出しが発生しました」等のメッセージが表示される。なお、このEAS装置2についての説明は後述する。また、かかるアラートモニター50は本実施例の特徴部分ではないため、その詳細な説明は省略する。
【0032】
また、店舗の担当者は、店舗の閉店後などの所定のタイミングにおいて、情報処理装置4のレコードビューアー60を起動して、不審人物等が店内でどのような行動(挙動)を行ったか等を確認することができる。具体的には、店舗の担当者は、情報処理装置4上の表示部41上にレコードビューアー60を表示させ、担当者がこのレコードビューアー60上で様々な操作を行うことによって不審人物等の挙動を把握することが可能になる。
【0033】
本実施例に係る情報処理装置4は、かかるレコードビューアー60に特徴があり、店舗の担当者が、効率良く不審人物等の挙動を確認できるようにしている。具体的には、レコードビューアー60にカメラ動画表示領域及びタイムライン表示領域を設け、担当者によって条件が設定された動画データをカメラ動画表示領域に表示するとともに、タイムライン表示領域に動画データに含まれる人物の顔を示すサムネイル画像を時系列的に表示制御する。このカメラ動画表示領域は請求項1の動画再生表示領域に対応し、タイムライン表示領域は請求項1の時系列表示領域に対応する。
【0034】
これにより、店舗の担当者は、タイムライン表示領域に表示されるサムネイル画像を参照して人物の登場タイミングを把握しつつ、カメラ動画表示領域上で該当するタイミングにおける動画を視聴し、人物の挙動を効率良く確認することが可能となる。
【0035】
なお、その詳細な説明は後述するが、本実施例に係るレコードビューアー60は、人物が存在しない区間を飛ばして動画を再生することができる。人物が存在しない区間の動画データを再生する時間が無駄だからである。
【0036】
また、カメラ1aで撮像された動画データに含まれる人物の顔領域を検出し、顔領域が検出された人物を追跡して該人物が存在する動画データの時間軸上の区間を特定し、タイムライン上の特定された区間に対応する位置にサムネイル画像を表示する。同一の位置に表示すべき異なる人物のサムネイル画像が複数存在する場合には、該複数のサムネイル画像が多段に表示制御される。
【0037】
また、あらかじめ登録された不審人物の登録顔データを記憶しておき、動画データから検出された顔領域に含まれる顔情報と登録顔データとを照合処理して、該顔情報が登録顔データのいずれかに該当するか否かを認証し、この認証結果に応じて、カメラ動画表示領域に表示制御される動画データに含まれる顔領域及び/又はタイムライン表示領域に表示制御されるサムネイル画像データの表示態様を異ならせることができる。本実施例では、登録顔データのいずれかに該当する場合にはサムネイル画像データを囲む矩形を破線で表示し、登録顔データのいずれにも該当しない場合にはサムネイル画像を囲む矩形を実線で表示することとしている。なお、例えば登録顔データに該当する場合には、赤色又は二重線等の矩形枠を用いて強調表示することもできる。
【0038】
また、タイムライン上の区間又はサムネイル画像データが選択されたならば、この区間に対応する時間軸上の動画データをカメラ動画表示領域に表示制御する。また、カメラ動画表示領域に表示された人物の顔領域が選択され、かつ、所定の操作(後述する「次の顔>>」ボタン又は「<<前の顔」ボタンの押下操作)が行われたならば、この人物が含まれる前後の動画データをカメラ動画表示領域に表示制御する。なお、タイムライン表示領域に表示されたサムネイル画像データが選択され、かつ、上記の所定の操作(後述する「次の顔>>」ボタン又は「<<前の顔」ボタンの押下操作)が行われた場合にも、この人物が含まれる前後の動画データをカメラ動画表示領域に表示制御する。
【0039】
また、所定の操作(後述する「前の認証>>」ボタン又は「次の認証」ボタンの押下操作)がなされた場合には、あらかじめ登録された登録顔のいずれと合致する顔が映っている前又は後の時刻に移行して、カメラ動画表示領域に動画データが表示される。さらに、所定の操作(後述する「前のEAS発報>>」ボタン又は「次のEAS発報」ボタンの押下操作)がなされると、EAS発報された前後の時刻まで移行してカメラ動画表示領域に動画データが表示される。
【0040】
このように、本実施例に係る情報処理装置4は、レコードビューアー60上に動画データを表示するカメラ動画表示領域と、動画データの時間軸上に登場する人物の顔のサムネイル画像データを表示するタイムライン表示領域とを設け、これらの表示を連動するよう構成するとともに、効率的な動画データの視聴を可能とするよう構成している。
【0041】
<システム構成>
次に、本実施例に係る情報処理システムのシステム構成について説明する。図2は、本実施例に係る情報処理システムのシステム構成を示す図である。同図に示すように、この情報処理システムにおいては、複数台のカメラ1a〜1b(以下、「カメラ1」と総称する)と、EAS装置2と、情報処理装置4とがネットワーク3に接続されている。
【0042】
カメラ1は、店舗内に所定の画角で設置された動画データを撮像する撮像装置であり、ネットワーク3に接続されている。このカメラ1により撮像された動画データは、ネットワーク3を介して情報処理装置4に送信される。
【0043】
EAS装置2は、電子式商品監視システム(Electric Article Surveillance)の一部を形成する不正持出防止(万引き防止)装置である。このEAS装置2は、店舗の出入口にゲートとして配設され、RFIDタグのリーダ/ライタとしての機能を有する。このEAS装置2が商品に貼付したRFIDタグを検知したならば、ブザーや音声にてアラームを報知するとともに、ネットワーク3を介してRFIDタグの識別情報等を情報処理装置4に通知する。
【0044】
ネットワーク3は、カメラ1、EAS装置2及び情報処理装置4を通信可能に接続するための通信手段であり、ここでは有線のLAN(Local Area Network)を用いた場合を示している。ただし、このネットワーク3は、有線のLANに限定されるものではなく、無線LANなどで構築することもできる。また、ネットワーク3を用いるのではなく、情報処理装置4とカメラ1の間、情報処理装置4とEAS装置2との間を直接ケーブルにて接続することもできる。
【0045】
情報処理装置4は、カメラ1で撮像された動画データの再生及び解析を行う場合に用いられるコンピュータである。この情報処理装置4の表示部41にレコードビューアー60を表示することで、レコードビューアー60上で特定の人物の挙動を効率良く確認することができる。
【0046】
<情報処理装置4の構成>
次に、図2に示した情報処理装置4の構成について説明する。図3は、図2に示した情報処理装置4の構成を示す機能ブロック図である。同図に示すように、この情報処理装置4は、表示部41と、操作部42と、通信I/F部43と、記憶部44と、制御部45とを有する。
【0047】
表示部41は、液晶パネル等の表示デバイスであり、この表示部41にはアラートモニター50やレコードビューアー60等の各種の表示画面が表示される。操作部42は、マウスやキーボードなどの入力デバイスである。通信I/F部43は、ネットワーク3を介してカメラ1及びEAS装置2と通信するための通信インタフェース部である。
【0048】
記憶部44は、ハードディスク装置又は不揮発性メモリ等の記憶デバイスであり、動画データ44a、登録顔データ44b、サムネイル画像データ44c及びEASデータ44dを記憶する。
【0049】
動画データ44aは、カメラ1で撮像された動画データであり、撮影日時及び撮影したカメラの号機などの属性情報も含まれる。この動画データ44aは、H.264又はMPEG(Moving Picture Experts Group)等の圧縮形式で符号化圧縮されたものであってもよい。なお、情報処理装置4は、カメラ1により撮像された動画データを順次受信して、撮像日時及びカメラの号機等の属性情報とともにファイルとして記憶部44に記憶する。
【0050】
登録顔データ44bは、あらかじめ不審人物として登録された顔画像データであり、カメラ動画領域に表示された顔領域を指定して所定の操作が行われると、この顔領域の静止画データが動画データから切り出され、登録顔データ44bとして記憶部44に記憶される。なお、本実施例では説明の便宜上、不審人物の登録顔データを記憶する場合について説明するが、VIP等の重要人物の登録顔データを記憶することもできる。
【0051】
サムネイル画像データ44cは、タイムライン表示領域に表示される顔画像データであり、動画データ44aに含まれる人物の顔を含む顔領域から生成されたサムネイル画像データである。なお、このサムネイル画像データ44cに対しては該サムネイル画像データを一意に識別する識別情報が属性情報として付与される。
【0052】
EASデータ44dは、EAS装置2から受信した履歴データであり、EAS装置2によりEAS発報された時刻等が含まれる。
【0053】
制御部45は、情報処理装置4の全体制御を行う制御部であり、動画データ検索処理部45a、顔領域検出部45b、区間特定部45c、サムネイル画像生成部45d、認証処理部45e、表示制御部45f及びデータ出力部45gが含まれる。具体的には、コンピュータのCPUがこれらの各部に対応するプログラムを内部メモリ上にロードして実行することで、これらの機能部が実現される。
【0054】
動画データ検索処理部45aは、記憶部44に記憶された複数の動画データ44aの中から条件指定された動画データ44aを検索する処理部である。具体的には、図4に示したレコードビューアー60上の条件指定ボタン61〜65を操作して条件入力が行われると、動画データ44aの属性情報をキーとして条件に該当する動画データ44aが検索される。
【0055】
顔領域検出部45bは、動画データ検索処理部45aにより検索された動画データ44aに含まれる人物の顔領域を検索する処理部である。具体的には、動画データ44aが圧縮符号化されている場合には、この動画データ44aを順次所定の画像メモリ上に展開し、人物の顔領域に相当するテンプレートを用いたテンプレートマッチング等を行うことで、人物の顔が含まれる顔領域をタイムライン上の時刻及び動画データ上の座標とともに検出する。かかる処理を行うことで、動画データ44aのタイムライン上のどの箇所に人物の顔領域が存在するのかを特定することができる。
【0056】
区間特定部45cは、動画データ44aに人物が含まれるタイムライン上の区間を特定する処理を行う処理部である。具体的には、顔領域検索部45bにより顔領域が検索されたならば、画像処理技術を用いて顔領域に含まれる顔の人物を時系列上で追跡し、連続して人物が登場する区間を人物存在区間として特定する。なお、かかる追跡処理技術は、周知の画像処理技術を用いることができる。
【0057】
例えば、動画データ44aが圧縮処理されておらず、一定時間ごとに連続する複数の静止画データからなる場合には、顔領域が検索された時点の静止画データと次の静止画データとで顔領域のベクトルを求めて人物の追跡処理を行い、両静止画データに同一人物が含まれている場合には、連続する区間として特定される。なお、動画データ44aに映り込んでいる人物が途中で消え、その後に再度動画データ44aに映り込むような場合には、原則として1つの区間ではなく2つの区間であるとみなすが、明らかに同一人物である場合には、たとえ一時期人物が消えていたとしても1つの区間とみなすよう構成することもできる。
【0058】
サムネイル画像生成部45dは、レコードビューアー60のタイムライン表示領域に表示するサムネイル画像データを生成する処理部である。具体的には、顔領域検索部45bにより検索された顔領域の画像データを所定のサイズ(例えば、縦120画素×横90画素)に拡大縮小(正規化)してサムネイル画像データを生成する。なお、人物の顔部分以外の背景部分を除去して人物の顔を示すサムネイル画像データを生成することもできる。また、このサムネイル画像データには、動画データ44aのタイムライン上の時刻及び座標位置並びにサムネイル画像データを一意に識別する識別情報を属性情報として付与して記憶部44に記憶する。さらに、互いに類似する複数のサムネイル画像データ(例えば、相互相関値が所定値以上)が存在する場合に、これらのサムネイル画像データを共通化する(同一のものを用いる)こともできる。
【0059】
認証処理部45eは、カメラ1により撮像された動画データ44aを取得した場合に、この動画データ44a内に登録顔データ44bの人物が映り込んでいるか否かを認証処理する処理部である。具体的には、この動画データ44aを画像メモリ上に順次展開し、展開した画像データ上に登録顔データ44bに対応する顔が存在するか否かを画像処理によって判定する。例えば、登録顔データ44bをテンプレートとしてテンプレートマッチングを行い、その相互相関係数が所定値以上である場合に、登録顔データ44bに対応する人物が映り込んでいると判定する。なお、この認証処理の結果により、登録顔データ44bに対応する顔が存在する場合には、動画データ44aのタイムライン上の時刻及び位置情報を記憶部44に一時記憶する。
【0060】
表示制御部45fは、表示部41に対する表示制御を行う制御部であり、アラートモニター50及びレコードビューアー60などを表示部41に表示制御する。具体的には、この表示制御部45fは、カメラ動画表示領域及びタイムライン表示領域を有するレコードビューアー60を表示部41に表示する。このカメラ動画表示領域には、条件設定された動画データ44aが再生され、タイムライン表示領域には、タイムライン上の該当する時間的な位置に人物の顔を意味するサムネイル画像データを表示する。これにより、店舗の担当者は、タイムライン表示領域に表示されるサムネイル画像を参照して人物の登場タイミングを把握しつつ、カメラ動画表示領域によって該当するタイミングにおける動画を視聴し、人物の挙動を効率良く確認することが可能となる。なお、かかる表示制御部45fにより表示部41に表示されるレコードビューアー60の一例については後述する。
【0061】
データ出力部45gは、カメラ動画表示領域に表示された人物の顔を指定して、所定の出力操作がなされた場合に、この時点での静止画像データをキャプチャー処理して出力する処理部である。かかる出力としては、フラッシュメモリなどの外部メモリに対する格納、他の装置へのデータ転送及び印刷出力などが考えられる。
【0062】
<レコードビューアー60の一例>
次に、図3に示した表示制御部45fにより表示部41に表示されるレコードビューアー60の一例について説明する。図4は、図3に示した表示制御部45fにより表示部41に表示されるレコードビューアー60の一例を示す図である。同図に示すように、このレコードビューアー60には、カメラ指定ボタン61、カレンダー62、日付設定ボタン63、更新ボタン64、条件表示領域65、静止画出力ボタン66、動画出力ボタン67、撮像日時表示領域68、カメラ動画表示領域70、操作領域80及びタイムライン表示領域90が含まれる。
【0063】
カメラ指定ボタン61は、カメラの種別を指定するためのボタンであり、カメラ1a〜1bのいずれのカメラで撮像した動画データを対象とするかを指定する。また、カレンダー62は、カメラ1で動画データが撮像された年月日を指定するためのものであり、このカレンダー62上の日付が指定されると、該当する年月日が特定される。また、「今日」ボタン63は、本日の年月日を指定する簡易入力用のボタンである。また、「更新」ボタン64は、条件表示領域65の表示内容を更新するためのボタンである。この「更新」ボタン64が操作されると、条件表示領域65の表示内容が最新の状況になる。
【0064】
条件表示領域65は、記憶部44に蓄積された動画データ44aのうち指定条件に合致する動画データ44aを一覧表示したものであり、ここでは、07時00分、07時10分、07時20分、07時30分、07時40分、07時50分、08時00分、08時10分、08時20分にそれぞれ撮影が開始された9つの動画データが表示された状況を示している。
【0065】
ここで、「顔」の欄にチェックがあれば、その時間帯に人の顔が見つかったことを示し、「認証」の欄にチェックがあれば、その時間帯に登録者と一致する人物が見つかったことを示す。また、「EAS発報」の欄にチェックがあれば、その時間帯にEAS装置から信号を受信したことを示す。つまり、この条件表示領域65を参照することにより、「顔」、「認証」、「EAS作動」の各イベントの発生の有無を知ることができる。
【0066】
なお、ここでは条件表示領域65を用いてイベントの発生に関する情報を表示する場合を示したが、例えば、条件表示領域65の「認証」の欄がチェックされている場合に、該当する動画データに対する登録者との認証処理を行い、「認証」の欄がチェックされていない場合に、認証処理を行わないよう構成することもできる。
【0067】
静止画出力ボタン66は、静止画データを出力する場合に用いられる操作ボタンであり、カメラ動画表示領域70に動画データが表示されている状況で、この静止画出力ボタン66が操作されると、操作された時点での静止画データがキャプチャされ、記憶部44又は図示しないフラッシュメモリ等に記憶される。なお、かかる静止画出力ボタン66の操作により、静止画を印刷したり、静止画データを他の装置にデータ通信することもできる。
【0068】
動画出力ボタン67は、動画データを出力する場合に用いられる操作ボタンであり、カメラ動画表示領域70に動画データが表示されている状況で、この動画出力ボタン67が操作されると、カメラ動画表示領域70に表示される動画データが記憶部44又は図示しないフラッシュメモリ等に記憶される。
【0069】
撮像日時表示領域68は、カメラ動画表示領域70に表示された動画データの撮像日時に関する情報が表示される。かかる情報は、動画データ44aの属性情報として付与されたものを取得して表示することになる。なお、動画の再生が進むと、この再生状況に連動して撮像時刻が進む。
【0070】
カメラ動画表示領域70は、入力された条件に合致する動画データ44aを再生表示する表示領域である。このカメラ動画表示領域70に表示される動画データに含まれる顔領域は、登録顔データのいずれかと同一であるか否かを問わずマーキング表示される。本実施例では、登録顔データのいずれかに該当すると判定された顔領域は破線で表示し、登録顔データのいずれかにも該当しないと判定された顔領域を実線で表示している。ただし、登録顔データのいずれかに該当すると判定された顔領域については、赤色などの色付けなどによって通常と異なる態様で強調表示することもできる。
【0071】
操作領域80は、カメラ動画表示領域70に表示された動画データの送り操作、戻し操作などの操作を行うための操作部である。具体的には、図5に示すように、「前へ」ボタン80aが操作されると、時間的に一つ前の動画データ44aに移行し、「次へ」ボタン80bが操作されると、時間的に一つ後の動画データ44aに移行する。また、バー80cはタイムラインを示し、時刻タブ80dはタイムライン上の時刻を示している。操作者が、この時刻タブ80dをクリックしたままバー80c上をスライドさせると、カメラ動画表示領域70に表示される動画のデータの再生開始時刻がこの時刻タブ80dの位置に対応する時刻にジャンプする。
【0072】
また、「再生」ボタン80eが操作されると、ジャンプした箇所から動画データが再生される。また、「<」ボタン(戻りボタン)80fが操作されると、カメラ動画表示領域70に表示された動画データが所定時間戻り、「>」ボタン(送りボタン)80gが操作されると、カメラ動画表示領域70に表示された動画データが所定時間進む。また、「再生」ボタン80eが押されるたびに、動画データの倍速再生を行うこともできる(例えば、倍速なし→2倍→4倍→8倍→倍速なし・・・など)。
【0073】
また、「<<前の顔」ボタン80h又は「次の顔>>」ボタン80iが操作されると、顔が存在しない区間を飛ばして動画データ44aの顔が存在する前後の位置までジャンプする。人が存在しない動画を再生する時間は無駄だからである。なお、顔領域検出部45bによって顔領域が時刻とともに事前に検出されているため、かかる処理を行うことができる。
【0074】
なお、カメラ動画表示領域70に表示された動画データの顔領域を選択操作し、「<<前の顔」ボタン80h又は「次の顔>>」ボタン80iが操作されると、同一の顔領域が存在しない区間を飛ばし、同一の顔領域が存在する前後の位置までジャンプする。
【0075】
また、「<<前の認証」ボタン80j又は「次の認証>>」ボタン80kが操作されると、登録顔データに該当すると判定された顔が映っている時刻までジャンプし、カメラ動画表示領域70に動画データが表示される。
【0076】
また、「<<前のEAS発報」ボタン80l又は「次のEAS発報>>」ボタン80mが操作されると、EAS発報された前後の時刻まで移行してカメラ動画表示領域70に動画データが表示される。
【0077】
図4の説明に戻り、タイムライン表示領域90には、タイムラインを示すバー80d上の該当時刻に相当する位置に、顔領域検出部45bにより検出された人物のサムネイル画像データを表示する。動画データ中に複数の人物が映り込んでいる場合には、各人物のサムネイル画像データが多段に表示される。なお、このサムネイル画像データの一つが選択操作されると、カメラ動画表示領域70上で選択操作されたサムネイル画像データに対応する箇所の動画データが再生表示される。
【0078】
<動画データ取得処理手順>
次に、図3に示した情報処理装置4による動画データの取得手順について説明する。図6は、図3に示した情報処理装置4による動画データの取得手順を示すフローチャートである。
【0079】
情報処理装置4及びカメラ1の電源を投入するとそれぞれ起動し、カメラ1は撮像を開始し、情報処理装置4は動画データの受信待機状態となる(ステップS101;No)。ここで、情報処理装置4がカメラ1から動画データの送信通知を受け取ると(ステップS101;Yes)、動画データの受信を行い(ステップS102)、人の顔を検出する処理を実行し、検出された顔が登録済の顔と合致するかどうかの照合処理を実行する。これらの処理結果と動画データをファイルとして記憶部44に格納する(ステップS103)。なお、撮影日時などの撮影条件データはファイルの属性情報として記憶される。
【0080】
上記の一連の処理を行うことにより、情報処理装置4の電源を投入するだけで、カメラ1により撮像された動画データと顔検出および顔認証の実行結果が順次記憶部44に蓄積され、レコードビューアー60で確認することが可能な状態となる。
【0081】
<レコードビューアー60の表示処理>
次に、図3に示した情報処理装置4によるレコードビューアー60の表示処理手順(その2)について説明する。図7は、図3に示した情報処理装置4によるレコードビューアー60の表示処理手順を示すフローチャートである。
【0082】
同図に示すように、操作者によるレコードビューアー60での設定条件を受け付けると(ステップS201)、動画データ検索処理部45aが、記憶部44から設定条件に合致する動画データ44aを検索する(ステップS202)。具体的には、動画データの属性情報を参照して、設定条件に合致する動画データ44aを検索する。
【0083】
その後、顔領域検出部45bにより動画データ44aから顔領域を検出する処理を行い(ステップS203)、認証処理部45eによる認証処理を行う(ステップS204)。具体的には、顔領域検出部45bによって検出された顔領域に含まれる顔があらかじめ登録された登録顔データ44bのいずれかに該当するか否かを認証処理することになる。
【0084】
その後、区間特定部45cが顔領域の存在する区間を特定する処理を行い(ステップS205)、サムネイル画像生成部45dがサムネイル画像を生成する(ステップS206)。かかる一連の処理を動画データ検索処理部45aにより検索された全ての動画データ44aに対して行う(ステップS207;No)。
【0085】
そして、全ての動画データ44aについての処理を終えたならば(ステップS207;Yes)、サムネイル画像データ44cをタイムライン表示領域90の該当する位置に表示するとともに(ステップS208)、動画データ44aをカメラ動画表示領域70に表示し(ステップS209)、カメラ動画表示領域70に表示される動画データ44aに含まれる顔領域をマーキング表示する(ステップS210)。この際、認証処理の結果、いずれかの登録顔データ44bに該当する場合には、サムネイル画像データを囲む矩形を破線で表示する。
【0086】
<レコードビューアー60の操作の一例>
次に、図4に示したレコードビューアー60上での操作の一例について説明する。図8図10は、図4に示したレコードビューアー60上での操作の一例を説明するための説明図である。図4に示したレコードビューアー60上で「<<前の顔」ボタン80hが操作されると、図8に示すように、それ以前に顔領域が検出された時点に移行し、カメラ動画表示領域70にこの時点から動画データが再生表示される。
【0087】
顔領域検出部45bによってあらかじめ動画データ44aから顔領域が検出された検出結果と、タイムライン上の時刻、座標情報とを記憶部44に一時記憶することにより、「<<前の顔」ボタン80hが操作された際に、それ以前に顔領域が検出された時点にジャンプすることが可能となる。
【0088】
また、図8に示したレコードビューアー60上でさらに「<<前の顔」ボタン80hが操作されると、図9に示すように、それ以前に顔領域が検出された時点に移行し、カメラ動画表示領域70にこの時点から動画データが再生表示される。
【0089】
一方、図4に示したレコードビューアー60のカメラ動画表示領域70の特定の人物の顔領域を選択して、「<<前の顔」ボタン80hが操作されると、図10に示すように、この人物が存在する時点に移行し、カメラ動画表示領域70にこの時点から動画データが再生表示される。
【0090】
顔領域検出部45bにより検出された顔領域の相関値を求めて同一人物の顔であるか否かを事前に判定しておくことにより、同一人物が存在する時点へのジャンプを行うことが可能となる。
【0091】
上述してきたように、本実施例に係る情報処理装置4は、レコードビューアー60にカメラ動画表示領域70及びタイムライン表示領域90を設け、条件が設定された動画データをカメラ動画表示領域70に表示するとともに、タイムライン表示領域90に動画データに含まれる人物の顔を示すサムネイル画像データを時系列的に表示制御するよう構成したので、タイムライン表示領域90を参照しつつ動画データに含まれる人物を把握し、効率良く人物の挙動を把握することが可能となる。
【0092】
また、本実施例に係るレコードビューアー60では、人物が存在しない区間を飛ばして動画を再生することで、人物が存在しないシーンの動画を再生することに伴う無駄を省くことが可能となる。
【0093】
また、カメラ1で撮像された動画データに含まれる人物の顔領域を検出し、顔領域が検出された人物を追跡して該人物が存在する動画データの時間軸上の区間を特定し、タイムライン上の特定された区間に対応する位置にサムネイル画像を表示するよう構成したので、動画データに含まれる人物のサムネイル画像データを妥当な位置に効率良く表示することが可能となる。
【0094】
また、同一の位置に表示すべき異なる人物のサムネイル画像が複数存在する場合には、該複数のサムネイル画像を多段に表示制御するよう構成したので、複数の人物が同時期に存在する場合であっても、各人物の挙動を効率良く把握することが可能となる。また、同一の位置に複数のサムネイル画像を多段に表示された場合でも、これらの人物が相互に関与しているとは、断定することはできないが、複数人からなるグループで不正行為を疑うことが可能となる。特に、多くのタイミングで複数の人物のサムネイル画像が多段に表示されている場合には、グループとしての行為である蓋然性が高くなること、さらに動画再生を確認することで人物の関係及びグループでの挙動であることを把握することが可能となる。複数の同じ人物が同時に撮影されているシーンを自動で検索して結果を表示する処理を組込むことでグループであることの検知率を高めることも期待できる。
【0095】
また、あらかじめ不審人物の登録顔データ44bを記憶部44に記憶しておき、動画データ44aから検出された顔領域に含まれる顔情報と登録顔データ44bとを照合処理して、該顔情報が登録顔データ44bのいずれかに対応するか否かを認証し、この認証結果に応じて、カメラ動画表示領域70に表示制御される動画データに含まれる顔領域及び/又はタイムライン表示領域90に表示制御されるサムネイル画像データの表示態様を異ならせるよう構成したので、不審人物等の要注意人物への効率的な対応も可能となる。特に、登録顔データ44bのいずれかに該当する場合にはサムネイル画像データを破線等で強調表示することで、要注意人物の把握を容易にすることが可能となる。
【0096】
また、タイムライン上の区間又はサムネイル画像データが選択されたならば、この区間に対応する時間軸上の動画データをカメラ動画表示領域70に表示制御するよう構成したので、所望の動画を迅速に再生することが可能となる。また、カメラ動画表示領域70に表示された人物の顔領域が選択され、所定の操作(進むボタンの操作等)が行われたならば、この人物が含まれる次の動画データをカメラ動画表示領域70に表示制御するよう構成したので、所望の人物の挙動を効率良く把握することが可能となる。
【0097】
また、タイムライン上の区間又はサムネイル画像データが選択されたならば、この区間に対応する時間軸上の動画データをカメラ動画表示領域70に表示制御するよう構成したので、タイムライン又はサムネイル画像データを用いて所望の人物の挙動を効率良く把握することが可能となる。
【0098】
なお、本実施例では、登録顔データ44bに該当すると認証処理された顔領域を破線で表示し、その他の顔領域を実線で表示する場合を示したが、本発明はこれに限定されるものではなく、赤色等の強調表示を行うことも可能である。
【産業上の利用可能性】
【0099】
本発明の情報処理装置及び情報処理方法は、動画データに含まれる特定の人物の挙動を操作者に効率良く把握可能にする場合に有用である。
【符号の説明】
【0100】
1、1a、1b カメラ
2 EAS装置
3 ネットワーク
4 情報処理装置
41 表示部
42 操作部
43 通信I/F部
44 記憶部
44a 動画データ
44b 登録顔データ
44c サムネイル画像データ
44d EASデータ
45 制御部
45a 動画データ検索処理部
45b 顔領域検出部
45c 区間特定部
45d サムネイル画像生成部
45e 認証処理部
45f 表示制御部
45g データ出力部
50 アラートモニター
60 レコードビューアー
61 カメラ指定ボタン
62 カレンダー
63 今日ボタン
64 更新ボタン
65 条件表示領域
66 静止画出力ボタン
67 動画出力ボタン
68 撮像日時表示領域
70 カメラ動画表示領域
80 操作領域
90 タイムライン表示領域
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10