特許 6725853 ネットワークカメラシステム、情報処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6725853

(24)【登録日】2020年6月30日

(45)【発行日】2020年7月22日

(54)【発明の名称】ネットワークカメラシステム、情報処理方法、プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20200713BHJP

   G07G 1/00 20060101ALI20200713BHJP

【ＦＩ】

   H04N7/18 D

   H04N7/18 U

   G07G1/00 331B

   G07G1/00 311Z

【請求項の数】10

【全頁数】19

(21)【出願番号】特願2018-192223(P2018-192223)

(22)【出願日】2018年10月11日

(62)【分割の表示】特願2014-134428(P2014-134428)の分割

【原出願日】2014年6月30日

(65)【公開番号】特開2019-54518(P2019-54518A)

(43)【公開日】2019年4月4日

【審査請求日】2018年11月9日

(73)【特許権者】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(73)【特許権者】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】若山 佳之

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 特開２００６−３４４１０５（ＪＰ，Ａ）

【文献】 特開２００９−０５３８４４（ＪＰ，Ａ）

【文献】 特開２００５−１１５５０４（ＪＰ，Ａ）

【文献】 特開２０１１−０８６０８７（ＪＰ，Ａ）

【文献】 特開２００９−０９３２８９（ＪＰ，Ａ）

【文献】 韓国公開特許第１０−２０１３−００８９９７７（ＫＲ，Ａ）

【文献】 特開２０１６−０１２８６９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｇ０７Ｇ １／００

Ｇ０６Ｑ ２０／００−５０／００

(57)【特許請求の範囲】

【請求項1】

会計処理を行い、当該会計処理を識別する識別情報を含む会計記録を発行する会計システムと通信可能なネットワークカメラシステムであって、
前記会計システムによる会計処理に係る動画を撮影する撮影手段と、
前記撮影手段により撮影された会計処理に係る動画のうち、所定の方向に動く動体オブジェクトを検知したシーンを、金銭授受が行われたシーンとして特定し、当該特定されたシーンを静止画として取得する静止画取得手段と、
前記静止画取得手段により取得された静止画を、当該静止画が取得された動画に係る会計処理を識別する識別情報と対応付けて管理する管理手段と、
を備えることを特徴とするネットワークカメラシステム。

【請求項2】

会計処理を行い、当該会計処理を識別する識別情報を含む会計記録を発行する会計システムと通信可能なネットワークカメラシステムであって、
前記会計システムによる会計処理に係る動画を撮影する撮影手段と、
前記撮影手段により撮影された会計処理に係る動画のうち、撮影領域内の検知ラインを動体オブジェクトが通過したシーンを、金銭授受が行われたシーンとして特定し、当該特定されたシーンを静止画として取得する静止画取得手段と、
前記静止画取得手段により取得された静止画を、当該静止画が取得された動画に係る会計処理を識別する識別情報と対応付けて管理する管理手段と、
を備えることを特徴とするネットワークカメラシステム。

【請求項3】

前記静止画取得手段は、さらに、予め登録された画像データと類似する画像が撮影されたシーンに係る静止画を取得することを特徴とする請求項１または２に記載のネットワークカメラシステム。

【請求項4】

前記静止画取得手段は、さらに、前記静止画取得手段取得された静止画に係るシーンの前後のシーンについても、静止画を取得することを特徴とする請求項１乃至３のいずれか１項に記載のネットワークカメラシステム。

【請求項5】

前記会計システムから会計処理が開始または終了した旨の通知を取得する取得手段をさらに備え、
前記管理手段は、さらに、前記取得手段により取得した開始または終了した旨の通知に基づき、前記撮影手段により撮影された動画を区切ることで、会計処理単位の動画として管理することを特徴とする請求項１乃至４のいずれか１項に記載のネットワークカメラシステム。

【請求項6】

前記取得手段は、さらに、前記会計システムから会計記録を発行した旨の通知を取得することを特徴とし、
前記管理手段は、さらに、前記取得手段により取得した会計処理の開始または終了から会計記録の発行までの動画を１ファイルとして管理することを特徴とする請求項５に記載のネットワークカメラシステム。

【請求項7】

会計処理を行い、当該会計処理を識別する識別情報を含む会計記録を発行する会計システムと通信可能なネットワークカメラシステムにおける情報処理方法であって、
撮影手段が、前記会計システムによる会計処理に係る動画を撮影する撮影工程と、
静止画取得手段が、前記撮影工程により撮影された会計処理に係る動画のうち、所定の方向に動く動体オブジェクトを検知したシーンを、金銭授受が行われたシーンとして特定し、当該特定されたシーンを静止画として取得する静止画取得工程と、
管理手段が、前記静止画取得工程により取得された静止画を、当該静止画が取得された動画に係る会計処理を識別する識別情報と対応付けて管理する管理工程と、
を備えることを特徴とする情報処理方法。

【請求項8】

会計処理を行い、当該会計処理を識別する識別情報を含む会計記録を発行する会計システムと通信可能なネットワークカメラシステムにおける情報処理方法であって、
撮影手段が、前記会計システムによる会計処理に係る動画を撮影する撮影工程と、
静止画取得手段が、前記撮影工程により撮影された会計処理に係る動画のうち、撮影領域内の検知ラインを動体オブジェクトが通過したシーンを、金銭授受が行われたシーンとして特定し、当該特定されたシーンを静止画として取得する静止画取得工程と、
管理手段が、前記静止画取得工程により取得された静止画を、当該静止画が取得された動画に係る会計処理を識別する識別情報と対応付けて管理する管理工程と、
を備えることを特徴とする情報処理方法。

【請求項9】

会計処理を行い、当該会計処理を識別する識別情報を含む会計記録を発行する会計システムと通信可能なネットワークカメラシステムを、
前記会計システムによる会計処理に係る動画を撮影する撮影手段と、
前記撮影手段により撮影された会計処理に係る動画のうち、所定の方向に動く動体オブジェクトを検知したシーンを、金銭授受が行われたシーンとして特定し、当該特定されたシーンを静止画として取得する静止画取得手段と、
前記静止画取得手段により取得された静止画を、当該静止画が取得された動画に係る会計処理を識別する識別情報と対応付けて管理する管理手段として機能させるためのプログラム。

【請求項10】

会計処理を行い、当該会計処理を識別する識別情報を含む会計記録を発行する会計システムと通信可能なネットワークカメラシステムを、
前記会計システムによる会計処理に係る動画を撮影する撮影手段と、
前記撮影手段により撮影された会計処理に係る動画のうち、撮影領域内の検知ラインを動体オブジェクトが通過したシーンを、金銭授受が行われたシーンとして特定し、当該特定されたシーンを静止画として取得する静止画取得手段と、
前記静止画取得手段により取得された静止画を、当該静止画が取得された動画に係る会計処理を識別する識別情報と対応付けて管理する管理手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ネットワークカメラシステム、情報処理方法、プログラムに関する。

【背景技術】

【0002】

近年、防犯上の目的や、トラブル回避等を目的として、店内に監視カメラを設置し、店内の様子を撮影することが行われている。

【0003】

特に、防犯上の目的の場合、お店の入口や、レジ周りを重点的に撮影できるよう、設定されている。

【0004】

特許文献１には、レジの金額表示部にカメラを備え、合計金額が表示されたタイミングで取引客を撮影する技術について記載がされている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０００−９９８２６号公報

【発明の開示】

【発明が解決しようとする課題】

【0006】

上述の通り、小売店においてはレジ周りにおけるトラブルが多く、例えば客が支払った金額を誤って認識しお釣り金額を間違えたといったトラブルもある。

【0007】

このようなトラブルを解決するためには、店と客との間でどのようなやり取り（金銭の授受）があったのかを確認する必要がある。

【0008】

他方で、監視カメラで撮影した映像を全て記録し保存しておくのは、データ容量も膨大となり、現実的ではない。そのため、トラブル解決にとって不要なデータは残さず、必要なデータのみを残しておくことが望まれる。

【0009】

そこで、本発明では、レジにおける金銭授受の様子を記録し、かつ当該記録のデータ量を低減させることができる仕組みを提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明のネットワークカメラシステムは、動画を撮影する撮影手段と、レジ端末によりレシート発行がされた通知を取得する取得手段と、前記撮影手段により撮影された動画を、前記取得手段により取得した通知に基づき区切ることで動画データを作成する作成手段と、前記レシート発行にかかる会計処理と、前記作成手段により作成された動画データとを対応付けて記憶する記憶手段と、を備えることを特徴とする。

【0011】

また、本発明は、ネットワークカメラシステムにおける情報処理方法であって、前記ネットワークカメラシステムの撮影手段が、動画を撮影する撮影工程と、前記ネットワークカメラシステムの取得手段が、レジ端末によりレシート発行がされた通知を取得する取得工程と、前記ネットワークカメラシステムの作成手段が、前記撮影工程により撮影された動画を、前記取得工程により取得した通知に基づき区切ることで動画データを作成する作成工程と、前記ネットワークカメラシステムの記憶手段が、前記レシート発行にかかる会計処理と、前記作成行程により作成された動画データとを対応付けて記憶する記憶工程と、を備えることを特徴とする。

【0012】

また、本発明は、ネットワークカメラシステムにおいて実行可能なプログラムであって、前記ネットワークカメラシステムを、動画を撮影する撮影手段と、レジ端末によりレシート発行がされた通知を取得する取得手段と、前記撮影手段により撮影された動画を、前記取得手段により取得した通知に基づき区切ることで動画データを作成する作成手段と、前記レシート発行にかかる会計処理と、前記作成手段により作成された動画データとを対応付けて記憶する記憶手段として機能させることを特徴とする。

【発明の効果】

【0013】

本発明によれば、レジにおける金銭授受の様子を記録し、かつ当該記録のデータ量を低減させることが可能となる。

【図面の簡単な説明】

【0014】

【図1】本発明の情報処理システムの構成の一例を示す図

【図2】レジ端末１０１、表示端末１０３のハードウエア構成の一例を示す図

【図3】ネットワークカメラ１０２のハードウエア構成の一例を示す図

【図4】動画抽出、保存処理の一例を示すフローチャート

【図5】静止画取得処理の一例を示すフローチャート

【図6】動画・静止画表示処理の一例を示すフローチャート

【図7】第２の実施形態における動画、静止画の保存処理を示すフローチャート

【図8】表示端末に動画・静止画が表示されたイメージを示す図

【図9】店舗における代金支払いの様子を表す図

【図10】静止画取得条件の一例を説明する図

【図11】レジ端末におけるイベントが登録されたテーブルの一例

【図12】動画ファイル、静止画ファイルと識別情報が対応付けて登録されたテーブルの一例

【発明を実施するための形態】

【0015】

図１を用いて、本発明の情報処理システムの概要を説明する。

【0016】

本発明の情報処理システムは、レジ端末１０１とネットワークカメラ１０２（撮像装置）と、表示端末１０３とを含む構成であり、レジ端末１０１とネットワークカメラ１０２とが通信可能に接続され、ネットワークカメラ１０２と表示端末１０３とが通信可能に接続されている。

【0017】

ネットワークカメラ１０２において撮影された動画や静止画については、ネットワークカメラ１０２が備える記憶領域に記憶されても良いし、外部の記憶装置に記憶するよう制御してもよい。外部の記憶装置に記憶する場合は、ネットワークカメラ１０２と当該記憶装置とが通信可能に接続され、当該記憶装置に記憶された動画や静止画が表示端末１０３に表示される。

【0018】

このように、動画撮影機能を備えるネットワークカメラ１０２と、記憶手段や動画の編集・分析等を行う機能を備える情報処理装置（不図示）を含むシステムを、ネットワークカメラシステムと呼ぶものとする。

【0019】

次に、図２を用いて、図１に示したレジ端末１０１、表示端末１０３のハードウエア構成の一例について説明する。

【0020】

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０３あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な各種プログラム等が記憶されている。

【0021】

２０２はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１１からＲＡＭ２０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

【0022】

また、２０５は入力コントローラで、入力装置２０９等からの入力を制御する。２０６はビデオコントローラで、液晶ディスプレイ等のディスプレイ装置２１０への表示を制御する。なお、ディスプレイ装置は、液晶ディスプレイに限られず、ＣＲＴディスプレイなどであっても良い。これらは必要に応じてクライアントが使用するものである。

【0023】

２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶するハードディスク（ＨＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

【0024】

２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したＬＡＮ４００）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

【0025】

なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ装置２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ装置２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

【0026】

ハードウエア上で動作する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０２にロードされることによりＣＰＵ２０１によって実行されるものである。

【0027】

プリンタコントローラ２１２は、サーマルドットライン方式プリンタ２１３等の印刷機を制御する。

【0028】

スキャナコントローラ２１４は、スキャナ２１５等の識別器を制御する。

【0029】

なお、全ての装置がこれらの構成を備えているわけではなく、必要なものを備えていればよい。

【0030】

次に、図３を用いて、図１に示したネットワークカメラ１０２のハードウエア構成の一例について説明する。

【0031】

図３において、ネットワークカメラ１０２は、いわゆるデジタルビデオカメラ等から成り、撮影用のレンズ３０１、撮像素子（以下、「ＣＣＤ」と称する）３０２、アナログ−デジタルコンバータ（以下、「ＡＤＣ」と称する）３０３、画像処理部３０４、コントローラ３１０、バッファメモリ３１１、フラッシュＲＯＭ３１２（記憶手段）、インターフェース回路（以下、「Ｉ／Ｆ回路」と称する）３１３、カードホルダ３１４、メモリーカード３１５（記憶手段）、ディスプレイドライバ３１６、ＵＳＢドライバ３１８、および操作部３２０を備える。

【0032】

ネットワークカメラ１０２は、撮影ボタン３２３（シャッターボタン）の押下に応じて、画像を生成するものである。なお、本実施形態では、撮影ボタン３２３（シャッターボタン）の押下に従って撮影するように構成するが、撮影ボタン３２３（シャッターボタン）がなく、タッチパネル上で、ユーザから撮影指示がされた場合に撮影するようにすることも可能である。

【0033】

レンズ３０１は、対物レンズ、ズームレンズ、およびフォーカスレンズなどで構成される。ズームレンズおよびフォーカスレンズについては、不図示の駆動機構により光軸方向へ駆動される。ＣＣＤ３０２は、レンズ３０１を介して入射される光学画像を結像し、電気信号（アナログ信号）に変換して出力するＣＣＤイメージセンサで構成される。ＡＤＣ３０３は、ＣＣＤ３０２から出力される電気信号（アナログ信号）をデジタル信号に変換する機能を有する。

【0034】

画像処理部３０４は、前処理部３０５、ＹＣ処理部３０６、電子ズーム処理部３０７、圧縮部３０８、および伸長部３０９を備え、ＡＤＣ３０３から出力されるデジタル信号から画像データを生成し、各種画像処理を行う機能を有する。

【0035】

前処理部３０５は、入力される画像データに基づく画像のホワイトバランスを調整するホワイトバランス処理や画像のガンマ補正処理を行う機能を有する。ホワイトバランス処理は、画像の色合いを、実物の色合いに近くなるように調整したり、光源（蛍光灯や太陽光など）に合った適正な色に調整したりする処理である。ガンマ補正処理は、画像のコントラストを調整する処理である。なお、前処理部３０５は、ホワイトバランス処理およびガンマ補正処理以外の画像処理を実行することも可能である。

【0036】

ＹＣ処理部３０６は、入力される画像データに基づく画像を、輝度情報「Ｙ」と、輝度信号と青色の色差情報「Ｃｂ」と、輝度信号と赤色の色差情報「Ｃｒ」とに分離する機能を有する。電子ズーム処理部３０７は、画像の一部（例えば中央部）を所定の大きさでトリミングし、トリミングした画像を信号処理で元画像の大きさに拡大する機能を有する。電子ズーム処理部３０７は、例えば、撮影された１６００×１２００ドットの画像から中央の１０２４×７６８ドットの画像を切り出し、データ補間を行いながら１６００×１２００ドットのサイズに拡大することができる。

【0037】

圧縮部３０８は、画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式などの圧縮形式によって圧縮する機能を有する。伸長部３０９は、圧縮されている画像データを伸長する機能を有する。例えば、画像データをＪＰＥＧ方式で圧縮する場合、まず、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理が行われる（ＤＣＴ処理）。次に、画像の階調やグラデーションを表現する段階を数値（量子化ビット数）で表現する量子化処理が行われる。最後に、ハフマン符号化処理で画像データが圧縮される。具体的には、画像データの信号文字列が一定のビット毎に区切られ、出現頻度が高い文字列に対してより短い符号が与えてられてゆく。なお、圧縮処理を行わないで画像データを記録する方式の場合は、圧縮部３０８および伸長部３０９を省略することができる。また、画像データの圧縮形式は、ＪＰＥＧ方式に限らず、ＧＩＦ（Ｇｒａｐｈｉｃａｌ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）形式などであっても、同様に処理を行うことができる。

【0038】

コントローラ３１０は、画像処理部３０４、バッファメモリ３１１、フラッシュＲＯＭ３１２、Ｉ／Ｆ回路３１３、ディスプレイドライバ３１６、ＵＳＢドライバ３１８、および操作部３２０に接続されている。また、コントローラ３１０は、機能的な構成として、操作部３２０からの入力信号に応じて各部を動作制御するための制御信号を出力する制御部（不図示）と、ユーザに関する認証を行う認証部（不図示）とを備える。

【0039】

バッファメモリ３１１には、画像処理部３０４において画像処理が行われる際に、一時的に画像データが保存される。フラッシュＲＯＭ３１２には、ネットワークカメラ１０２の各種設定情報が保存される。Ｉ／Ｆ回路３１３は、コントローラ３１０から出力される画像データを、メモリーカード３１５に記録可能なデータ形式に変換する。また、Ｉ／Ｆ回路３１３は、メモリーカード３１５から読み出された画像データ等を、コントローラ３１０で処理可能なデータ形式に変換する。

【0040】

カードホルダ３１４は、記憶媒体であるメモリーカード３１５をネットワークカメラ１０２に着脱可能にする機構を備えると共に、メモリーカード３１５との間でデータ通信が可能な電気接点を備える。また、カードホルダ３１４は、ネットワークカメラ１０２で利用される記憶媒体の種類に応じた構造を有する。メモリーカード３１５は、フラッシュメモリなどの半導体記憶素子を内蔵し、カードホルダ３１４に着脱可能なカード型の記憶媒体である。メモリーカード３１５には、ネットワークカメラ１０２で撮影された画像データを記録することができる。尚、本実施例ではネットワークカメラ１０２のみの構成として説明をするが、ネットワークカメラ１０２と通信可能な情報処理装置等に備えられた記憶手段をメモリーカード３１５の代わりとしてもよい。ネットワークカメラ１０２と情報処理装置との通信方法は特に問わない。有線でも無線でもよい。この場合、ネットワークカメラ１０２が通信インターフェースコントローラを備え、通信インターフェースコントローラを通じて情報処理装置と通信する。

【0041】

ディスプレイドライバ３１６は、コントローラ３１０から出力される画像データを液晶ディスプレイ３１７で表示可能な信号に変換する。具体的には、ディスプレイドライバ３１６は、コントローラ３１０から出力されるデジタルの画像データをアナログ画像信号に変換する処理を行い、次に画像サイズを液晶ディスプレイ３１７の表示可能エリアのサイズに適したサイズに変換する処理を行う。

【0042】

操作部３２０は、電源スイッチ３２１、モードダイヤル３２２、撮影ボタン３２３（シャッターボタン）、カーソルキー３２４、ズームボタン３２５、および閲覧（再生）ボタン３２６を備え、ユーザからの操作入力を受け付けて、操作内容に応じた信号をコントローラ３１０に出力する。なお、操作部３２０には、図示の操作ボタン以外の操作ボタン類も含まれるが、それらの説明は省略する。

【0043】

モードダイヤル３２２は、撮影動作のモードを切り替えるための回転可能なダイヤルである。ユーザはモードダイヤル３２２を回転操作することで、メモリーカード３１５に保存された画像データに対してアクセス制限を行うことが可能な管理者モードや管理者モード以外の撮影動作モードを含む複数の撮影動作モードを選択することが可能である。

【0044】

管理者モード以外の撮影動作モードとは、例えば、予めネットワークカメラ１０２が保持している撮影設定（ホワイトバランスやシャッタースピード等）をユーザに選択しやすく表したＡｕｔｏモードや夜景モード、或いはユーザが任意に撮影設定を設定することができるマニュアルモードなどである。

【0045】

閲覧ボタン３２６は、撮影した画像データを閲覧する閲覧モード（画像再生モード）に切り替えるためのボタンである。閲覧ボタン３２６が押下されると、撮影モードから閲覧モードに移行する。なお、閲覧モードへの切替方法については、閲覧ボタン３２６の押下に限定されず、液晶ディスプレイ３１７上のタッチパネル（不図示）などによる移行方法であってもよい。

【0046】

閲覧モードでは、コントローラ３１０が、Ｉ／Ｆ回路３１３を介して、カードホルダ３１４に装着されているメモリーカード３１５から設定情報と画像データを読み出す。設定情報は、現在装着されているメモリーカード３１５に記録されている画像の枚数および記録されている画像データの容量などである。読み出される画像データは、例えば、画像１枚分の画像データまたはサムネイルデータである。なお、メモリーカード３１５から読み出される画像データは、上述したように所定の圧縮形式で圧縮されている。

【0047】

メモリーカード３１５から読み出された画像データは、Ｉ／Ｆ回路３１３およびコントローラ３１０を介して、ディスプレイドライバ３１６へ入力される。ディスプレイドライバ３１６は、入力された画像データを液晶ディスプレイ３１７に表示させる。

【0048】

カーソルキー３２４は、ユーザが撮影装置に対する所定の指示や機能選択を行うためのキーである。ユーザは、カーソルキー３２４により、ネットワークカメラ１０２に対する各種設定情報やユーザ認証情報などの操作入力を行うことができる。また、カーソルキー３２４により、液晶ディスプレイ３１７にメニュー画面を表示させたり、ネットワークカメラ１０２が有する所定の機能を選択させたりすることができる。
次に図４を用いて、動画抽出処理について説明する。

【0049】

なお、図４のフローチャートに示す処理のうちステップＳ４０１〜Ｓ４０３は、レジ端末１０１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理であり、ステップＳ４０４からＳ４０６は、ネットワークカメラ１０２のコントローラ３１０が所定の制御プログラムを読み出して実行する処理である。

【0050】

ステップＳ４０１では、レジ端末１０１のＣＰＵ２０１は、会計処理を行う。具体的には、商品に付されたバーコードなどを読み取り商品の金額を取得する処理などである。

【0051】

ステップＳ４０２では、レジ端末１０１のＣＰＵ２０１は、最後の商品の会計処理が終了し、支払い方法が確定すると、レシート発行の指示を受け付け、レシートの発行をする。

【0052】

この際、レシートには、当該レシートにかかる会計処理を識別するための情報が印字されるものとする。具体的には、識別番号や、バーコード、二次元コード等により識別情報を記載する。

【0053】

ステップＳ４０３では、レジ端末１０１のＣＰＵ２０１は、レシートを発行した旨の通知をネットワークカメラ１０２に対して送信する。

【0054】

ここで送信される通知には、上記レシートに記載される識別情報、ステップＳ４０１における会計処理の終了時刻、ステップＳ４０２におけるレシート発行の時刻などの情報が含まれる。会計処理の終了時刻は、最後の商品の会計処理（レシート発行時から遡って直近の会計処理）を行った時刻により特定することが可能である。

【0055】

ステップＳ４０４では、ネットワークカメラ１０２は、ステップＳ４０３でレジ端末１０１から送信された通知を受信する。

【0056】

ステップＳ４０５では、ネットワークカメラ１０２は、ネットワークカメラ１０２により撮影された動画のうち、ステップＳ４０４で受信した会計処理の終了時刻からレシート発行の時刻までを１つの動画ファイルとして抽出する。なお、ネットワークカメラ１０２は、常に動画を撮影いるものとし、ステップＳ４０５においては、当該撮影された動画のうち、記録として残すべき動画を抽出する処理である。

【0057】

本実施形態では、会計処理の終了時刻からレシート発行の時刻までを１つの動画ファイルとして抽出したが、会計処理の開始時刻からレシート発行の時刻までを１つの動画ファイルとして抽出してもよい。

【0058】

ステップＳ４０６では、ステップＳ４０５で抽出した動画ファイルと、ステップＳ４０４で受信した識別情報とを対応付けて保存する。対応付けて保存されたデータの一例を図１２に示す。

【0059】

なお、本実施形態においては、動画ファイルと識別情報とをネットワークカメラ１０２に保存するよう説明したが、ネットワークカメラ１０２と通信可能に接続された外部記憶装置に保存しても良い。
そして、本フローチャートの処理を終了する。

【0060】

なお、本実施形態においては、ネットワークカメラ１０２が動画抽出、保存処理を実行するよう説明したが、ネットワークカメラ１０２により撮影された動画に対する編集や分析をする機能を備える情報処理装置（不図示）により処理してもよい。

【0061】

次に、図５を用いて、ネットワークカメラ１０２が実行する静止画取得処理について説明する。

【0062】

ステップＳ５０１では、ネットワークカメラ１０２は、ステップＳ４０６で保存された動画データを取得する。

【0063】

ステップＳ５０２では、ネットワークカメラ１０２は、ステップＳ５０１で取得した動画に含まれるシーンについて、所定の静止画取得条件を満たすかを判断する。

【0064】

所定の条件を満たすシーンである場合（ステップＳ５０２：ＹＥＳ）は、処理をステップＳ５０３に移行する。

【0065】

所定の条件を満たさないシーンである場合（ステップＳ５０２：ＮＯ）は、処理をステップＳ５０４に移行する。

【0066】

ステップＳ５０３では、ネットワークカメラ１０２は、ステップＳ５０２で所定の条件を満たすシーンであると判定されたシーンについて、静止画として取得し、保存する。この際、動画データに対応付けられた識別番号を当該シーンにも対応付けて保存する。対応付けて保存したデータの一例を図１２に示す。

【0067】

ステップＳ５０４では、ネットワークカメラ１０２は、ステップＳ５０１で取得した動画の全てのシーンについて、ステップＳ５０２の判定処理を実行したかを判断する。

【0068】

すべてのシーンについて処理を実行した場合（ステップＳ５０４：ＹＥＳ）は、本フローチャートに示す処理を終了する。

【0069】

処理を実行していないシーンが残っている場合（ステップＳ５０４：ＮＯ）は、処理をステップＳ５０２に移行する。

【0070】

なお、本実施形態においては、ネットワークカメラ１０２が静止画取得処理を実行するよう説明したが、ネットワークカメラ１０２により撮影された動画に対する編集や分析をする機能を備える情報処理装置（不図示）により処理してもよい。

【0071】

また、条件を満たしたシーンの前後所定の時間について、静止画として残しても良い。例えば、条件を満たしたシーンの５秒前から５秒後までを１秒間隔で静止画の取得をする処理を行っても良い。このように静止画として複数枚の画像を残すことで、トラブル等が発生した場合に静止画によって前後関係を把握することができ、トラブル解決等に役立てることができる。

【0072】

ここで、ステップＳ５０２における静止画取得条件について、図９、図１０を用いて説明する。

【0073】

図９は、会計時における金銭支払いの様子を表した図である。図９に示すように、ネットワークカメラ１０２は、金銭が置かれる（通過する）領域（例えば金銭授受用のトレーなど）を撮影しているものとする。

【0074】

図１０は、静止画取得条件を説明するための図であり、図９における金銭が置かれる領域を拡大した図である。

【0075】

静止画取得条件としては、例えば撮影された画像にお金が映っているかを条件とする。この場合、予めお金の画像データを登録しておき、撮影された画像に映ったオブジェクトと登録されたお金の画像データとの類似度を算出し、予め定められた類似度を満たせば当該オブジェクトをお金であると判断し、静止画を撮影する。

【0076】

また、撮影された画像に映るオブジェクトの形により、判断することも可能である。例えば、長方形の物体であるか否かにより判断すること紙幣であるかを判断することが可能である。また、エッジ（辺）と角がある物体であるか否かといった条件により紙幣を判断することも可能である。

【0077】

また、所定の方向に動く物体を検知したか否かにより、静止画を取得するか否かを決定しても良い。例えば、図１０の例では、予め定められた検知ラインを所定の方向にオブジェクトが通過したかにより判断する場合のイメージを表している。より具体的には、図１０の図において、下から上（客側から店員側）に向かって、動体オブジェクト（例えば客の手やお金など）が通過したか否かにより判断する。

【0078】

このように、予め定められた検知ラインをオブジェクトが通過したか否かにより、客による支払い行為があったと検知することで、例えばクレジットカードによる支払いなども検知することが可能となる。また、所定の方向にオブジェクトが通過したかを判断することで、店員の手が通過したのか、それとも客の手であるのか等を、判断することも可能となる。すなわち、店員側から何かしらのオブジェクトが出てきたのか、それとも客側からなのかを判断することが可能とあなる。

【0079】

次に図６を用いて、表示端末１０３とネットワークカメラ１０２による動画、静止画の表示処理について説明する。

【0080】

なお、図６のフローチャートに示す処理のうち、ステップＳ６０１、Ｓ６０２、Ｓ６０６、Ｓ６０７は、表示端末１０３のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理であり、ステップＳ６０３〜Ｓ６０５については、ネットワークカメラ１０２が実行する処理である。

【0081】

ステップＳ６０１では、表示端末１０３のＣＰＵ２０１は、ステップＳ４０２で発行されたレシートに記載された識別情報を取得する。例えばバーコードや二次元コードを読み取ることで識別情報を取得する。

【0082】

ステップＳ６０２では、表示端末１０３のＣＰＵ２０１は、ステップＳ６０１で取得した識別情報を含む動画・静止画取得依頼をネットワークカメラ１０２に送信する。

【0083】

ステップＳ６０３では、ネットワークカメラ１０２は、ステップＳ６０２で表示端末１０３から送信された識別情報を含む取得依頼を受信する。

【0084】

ステップＳ６０４では、ネットワークカメラ１０２は、ステップＳ６０３で受信した動画・静止画取得依頼に含まれる識別情報に基づき、当該識別情報に対応付けて記憶された動画・静止画を検索する。

【0085】

ステップＳ６０５では、ネットワークカメラ１０２は、ステップＳ６０４で検索された動画・静止画を表示端末１０３に対して送信する。

【0086】

ステップＳ６０６では、表示端末１０３のＣＰＵ２０１は、ステップＳ６０５でネットワークカメラ１０２から送信された動画・静止画を受信する。

【0087】

ステップＳ６０７では、表示端末１０３のＣＰＵ２０１は、ステップＳ６０６で受信した動画・静止画を表示部に表示する。そして本フローチャートに示す処理を終了する。

【0088】

なお、本実施形態においては、ネットワークカメラ１０２に動画や静止画のデータが記憶されていることを前提に、ネットワークカメラ１０２から動画や静止画を取得して表示端末で表示するよう説明した。上述の通り、動画や静止画データを外部装置に記憶している場合は、ステップＳ６０３〜Ｓ６０５の処理主体はネットワークカメラ１０２ではなく、当該データを記憶している装置や、当該装置を操作可能な装置となる。

【0089】

図８は、表示端末１０３に動画および静止画を表示した様子を示す図である。

【0090】

図８では、表示端末１０３としていわゆるスマートフォンやタブレット端末を想定した図である。表示端末１０３としては、図８のようにスマートフォンやタブレット端末でもよいし、パーソナルコンピュータ（ＰＣ）や、テレビであっても、動画や静止画が表示できる端末であればいずれであっても良い。

【0091】

また、図８では動画と静止画とを１画面に同時に表示しているが、別々に表示してもよい。すなわち、動画を再生する画面と静止画が表示される画面を別の画面とし、表示の切り替えをすることで、動画と静止画とを確認できる構成であってもよい。

【0092】

図８に示すように、動画再生領域８０１と静止画表示領域８０２とから構成される。

【0093】

動画再生領域８０１では、ネットワークカメラにより撮影され、図１２のデータテーブルに記憶された動画が再生される。静止画表示領域８０２においては、静止画取得条件を満たしたシーンとして取得された画像が表示される。なお、静止画表示領域８０２に示すように、複数枚の静止画を時系列で表示している。このように表示することで、例えばトラブルが発生した場合にもその前後関係を静止画により把握することが可能となる。

【0094】

また、コントロールバー８０３を備え、コントロールバー８０３を左右に操作することで、動画の再生位置を調整できる。
＜第２の実施形態＞

【0095】

第１の実施形態においては、すでにネットワークカメラ１０２により撮影され、保存された動画データについて、ファイル作成や静止画取得をする処理について説明した。

【0096】

第２の実施形態においては、レジ端末１０１における処理に応答してネットワークカメラ１０２が動画撮影やデータ保存処理を行う構成について説明する。

【0097】

図７は、第２の実施形態におけるネットワークカメラ１０２が実行する処理を示すフローチャートである。

【0098】

図７に示す処理のうち、ステップＳ７０１〜Ｓ７０３は、レジ端末１０１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理であり、ステップＳ７０４〜Ｓ７１１は、ネットワークカメラ１０２のコントローラ３１０が所定の制御プログラムを読み出して実行する処理である。

【0099】

まず、レジ端末１０１における処理の流れについて説明する。

【0100】

ステップＳ７０１では、レジ端末１０１は、会計処理を行う。会計処理は、商品に付されたバーコード等を読み取り、商品の会計を行う一連の処理を指す。

【0101】

ステップＳ７０２では、レジ端末１０１は、ステップＳ７０１における会計処理のレシートを発行する。

【0102】

ステップＳ７０３では、レジ端末１０１は、ステップＳ７０１における会計処理を識別するための情報をネットワークカメラ１０２に送信する。
そして、本フローチャートの処理を終了する。
次に、ネットワークカメラ１０２における処理を説明する。

【0103】

ステップＳ７０４では、レジ端末１０１における会計処理が開始されたか否かを判定する。

【0104】

レジ端末１０１における会計処理の開始を検知した場合（ステップＳ７０４：ＹＥＳ）は、処理をステップＳ７０５に移行する。

【0105】

ステップＳ７０５では、ネットワークカメラ１０２は、動画の撮影を開始する。

【0106】

ステップＳ７０６では、ネットワークカメラ１０２は、撮影中の画像内において、所定の静止画取得条件を満たす事象が発生したか否かを判定する。静止画取得条件の具体例については、第１の実施形態におけるステップＳ５０２と同様であるため、ここでの説明は省略する。

【0107】

静止画取得条件を満たす事象が発生した場合（ステップＳ７０６：ＹＥＳ）は、処理をステップＳ７０７に移行する。

【0108】

静止画取得条件を満たす事象が発生していない場合（ステップＳ７０６：ＮＯ）は、処理をステップＳ７０８に移行する。

【0109】

ステップＳ７０７では、ネットワークカメラ１０２は、ステップＳ７０６で条件を満たすと判定された事象の静止画を撮影する。ステップＳ７０７の静止画取得についても、ステップＳ５０３と同様に、前後所定の範囲で複数枚の静止画を取得してもよい。

【0110】

ステップＳ７０８では、ネットワークカメラ１０２は、レジ端末１０１でレシート発行処理がなされたかを判定する。

【0111】

レジ端末１０１によるレシート発行を検知した場合（ステップＳ７０８：ＹＥＳ）は、処理をステップＳ７０９に移行する。

【0112】

レジ端末１０１によるレシート発行を検知していない場合（ステップＳ７０８：ＮＯ）は、処理をステップＳ７０６に移行する。

【0113】

ステップＳ７０９では、ネットワークカメラ１０２は、動画撮影処理を終了する。

【0114】

すなわち、レジ端末１０１によるレシート発行が行われるまで、動画撮影を継続し、動画撮影中に静止画取得条件を満たす事象が発生した場合には、当該事象を静止画として撮影する処理を行う。そして、レジ端末１０１によるレシート発行を検知すると、動画撮影を終了する。

【0115】

ステップＳ７１０では、ネットワークカメラ１０２は、レジ端末１０１から送信された会計処理を識別するための情報を取得する。

【0116】

ステップＳ７１１では、ネットワークカメラ１０２は、ネットワークカメラ１０２の記憶領域または外部装置の記憶領域に、撮影された動画データおよびステップＳ７０７で撮影された静止画像を、ステップＳ７１０で取得した識別情報と対応付けて記憶する。対応付けて記憶したデータの一例を図１２に示す。

【0117】

なお、本実施形態においては、ステップＳ７０４において会計処理が開始されたかを判定しているが、会計処理の終了（最後の商品の会計処理を行ったこと）を判定し、動画撮影を開始（ステップＳ７０５）しても良い。

【0118】

動画再生処理については、第２の実施形態においても、図６のフローチャートで示す処理、図８の表示画面と同様であるため、説明は省略する。
以上が本発明の第２の実施形態における処理内容である。

【0119】

図１１は、レジ端末１０１において発生したイベントとイベント発生日時とが対応付けられたデータである。

【0120】

ステップＳ４０１、Ｓ４０２、Ｓ７０１、Ｓ７０２等において発生したイベントと発生日時が対応付けて登録される。例えば、図１１に示す例では、会計処理が開始された時刻（前回のレシート発行後、最初の会計処理）と、会計処理の終了時刻（最後の商品の会計処理（レシート発行直前の会計処理））と、レシート発行の時刻とが登録されている。

【0121】

ステップＳ４０３では、図１１に示すイベントとイベント発生日時のデータおよび識別情報がレジ端末１０１からネットワークカメラ１０２に対して送信される。

【0122】

図１２は、ネットワークカメラ１０２により撮影された動画ファイルと静止画ファイルが識別情報と対応付けて登録されたデータテーブルの一例である。

【0123】

例えば、図１１における会計処理（２０１４年６月２５日１０時１５分に開始され、同日１０時１７分３０秒にレシート発行された処理）を示す識別情報が「０００１」である場合、当該処理にかかる動画および静止画は、「０００１．ｍｐ４」と「０００１．ｊｐｇ」となる。

【0124】

すなわち、会計処理の開始からレシート発行までの動画を保存する構成の場合、動画ファイル「０００１．ｍｐ４」は、２０１４年６月２５日１０時１５分００秒から同日１０時１７分３０秒までの２分３０秒間の動画のデータとなる。

【0125】

また、「０００１．ｊｐｇ」は、当該動画データにおける静止画取得条件を満たしたシーンの静止画のデータである。

【0126】

以上のように、レジ端末によるレシート発行のタイミングに基づき、ネットワークカメラ１０２で撮影された動画を区切り、動画データを作成し、当該動画データとレジ端末による会計処理をと対応付けて記憶することで、いずれの動画がどの会計処理の動画であるかを検索しやすくすることが可能となる。すなわち、レシート発行は、会計処理が終了し、支払いも行われたあとに行われる処理であるため、このタイミングで区切ることで、一連の会計処理を１つの動画として記憶することが可能となる。

【0127】

また、レジ端末による会計処理が開始されたタイミングまたは終了したタイミングからレシート発行までを１つの動画ファイルとして記憶することで、無駄な動画を記憶することがなくなり、容量削減をすることが可能となる。

【0128】

例えば、図１１の例においては、６月２５日１０時２２分４０秒にレシートが発行され、次の会計処理の開始が１０時５０分２０秒となっている。この場合、１０時２２分４０秒から１０時５０分２０秒までの間は、何も処理が行われなかった時間であり、この時間の動画を残しておいても意味のないものである。そこで、本発明の処理を実行することで、この無駄な時間帯の動画を残さず、必要な時間帯の動画だけを残すことが可能となり、容量削減に貢献できる。

【0129】

また、撮影された動画のうち、所定の条件を満たしたシーンを静止画として取得することで、トラブル等が発生した場合に静止画によって前後関係を把握することができ、トラブル解決等に役立てることができる。この際、所定の条件を満たしたシーンの前後のシーンについても静止画として残すことで、一連の流れを静止画で把握することが可能となり、トラブル解決等により役立てることが可能となる。

【0130】

また、レジ端末から発行されるレシートに識別情報を印刷し、当該識別情報と動画・静止画とを対応付けて記憶することで、レシートに記載された識別情報に基づき、当該レシートに係る会計処理の動画や静止画を効率的に検索することが可能となる。

【0131】

なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。

【0132】

また、本発明におけるプログラムは、図４〜図７の処理をコンピュータに実行させるプログラムである。なお、本発明におけるプログラムは、図４〜図７の各処理ごとのプログラムであってもよい。

【0133】

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

【0134】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

【0135】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

【0136】

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0137】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0138】

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0139】

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

【符号の説明】

【0140】

１０１ レジ端末
１０２ ネットワークカメラ
１０３ 表示端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】