IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ セーフィー株式会社の特許一覧

特許7634760情報処理システム、情報処理方法及びプログラム
<>
  • 特許-情報処理システム、情報処理方法及びプログラム 図1
  • 特許-情報処理システム、情報処理方法及びプログラム 図2
  • 特許-情報処理システム、情報処理方法及びプログラム 図3
  • 特許-情報処理システム、情報処理方法及びプログラム 図4
  • 特許-情報処理システム、情報処理方法及びプログラム 図5
  • 特許-情報処理システム、情報処理方法及びプログラム 図6
  • 特許-情報処理システム、情報処理方法及びプログラム 図7
  • 特許-情報処理システム、情報処理方法及びプログラム 図8
  • 特許-情報処理システム、情報処理方法及びプログラム 図9
  • 特許-情報処理システム、情報処理方法及びプログラム 図10
  • 特許-情報処理システム、情報処理方法及びプログラム 図11
  • 特許-情報処理システム、情報処理方法及びプログラム 図12
  • 特許-情報処理システム、情報処理方法及びプログラム 図13
  • 特許-情報処理システム、情報処理方法及びプログラム 図14
  • 特許-情報処理システム、情報処理方法及びプログラム 図15
  • 特許-情報処理システム、情報処理方法及びプログラム 図16
  • 特許-情報処理システム、情報処理方法及びプログラム 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-02-13
(45)【発行日】2025-02-21
(54)【発明の名称】情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
   G06Q 50/10 20120101AFI20250214BHJP
   G06Q 30/06 20230101ALI20250214BHJP
【FI】
G06Q50/10
G06Q30/06
【請求項の数】 13
(21)【出願番号】P 2024191090
(22)【出願日】2024-10-30
【審査請求日】2024-11-01
【早期審査対象出願】
(73)【特許権者】
【識別番号】515029558
【氏名又は名称】セーフィー株式会社
(74)【代理人】
【識別番号】100176072
【弁理士】
【氏名又は名称】小林 功
(74)【代理人】
【識別番号】100213724
【弁理士】
【氏名又は名称】三戸 秀之
(72)【発明者】
【氏名】松木 辰真
(72)【発明者】
【氏名】橋本 貴博
(72)【発明者】
【氏名】佐々木 康嗣
(72)【発明者】
【氏名】平田 牧子
(72)【発明者】
【氏名】今野 裕也
(72)【発明者】
【氏名】中島 賢史
(72)【発明者】
【氏名】碇石 慶子
(72)【発明者】
【氏名】木村 有希
【審査官】木内 康裕
(56)【参考文献】
【文献】特開2021-077245(JP,A)
【文献】特開2020-160581(JP,A)
【文献】特開2014-232495(JP,A)
【文献】特開2007-020653(JP,A)
【文献】特開2006-285409(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00 - 99/00
(57)【特許請求の範囲】
【請求項1】
カメラにより撮影された映像を解析してデータを出力する情報処理システムであって、
カメラごとに、カメラの属性を設定し、
前記カメラの属性は、店舗、又は複数の店舗を含むエリアを示し、
人物ごとに、人物の属性を登録し、
前記人物の属性は、店舗、又は複数の店舗を含むエリアを示し、
前記映像において所定の検知条件が満たされた際に、検知に関する検知情報として、映像に係るカメラの属性と、映像に係る人物の属性とを含めて記憶し、
前記検知情報を出力する、
情報処理システム。
【請求項2】
カメラにより撮影された映像を解析してデータを出力する情報処理システムであって、
カメラごとに、カメラの属性を設定し、
前記カメラの属性は、店舗、又は複数の店舗を含むエリアを示し、
人物ごとに、人物の属性を登録し、
前記人物の属性は、店舗、又は複数の店舗を含むエリアを示し、
前記映像において所定の検知条件が満たされた際に、検知に関する検知情報として、映像に係るカメラの属性と映像に係る人物の属性とが対応するか否かを示す情報を含めて記憶し、
前記検知情報を出力する、
情報処理システム。
【請求項3】
カメラにより撮影された映像を解析してデータを出力する情報処理システムであって、
カメラごとに、カメラの属性を設定し、
前記カメラの属性は、店舗、又は複数の店舗を含むエリアを示し、
人物ごとに、人物の属性を登録し、
前記人物の属性は、店舗、又は複数の店舗を含むエリアを示し、
前記映像において所定の検知条件が満たされた際に、映像に係る人物が登録された人物であり、かつ、人物の属性が前記映像に係る前記カメラの属性に対応する場合を除いて、人数をカウントし、
前記カウントの結果を出力する、
情報処理システム。
【請求項4】
請求項1から請求項3までの何れか1項に記載の情報処理システムであって、
前記検知条件を設定する、
情報処理システム。
【請求項5】
請求項に記載の情報処理システムであって、
前記属性をグルーピングする、
情報処理システム。
【請求項6】
請求項1から請求項3までの何れか1項に記載の情報処理システムであって、
前記検知条件には前記映像のエリアの情報が含まれる、
情報処理システム。
【請求項7】
請求項1から請求項3までの何れか1項に記載の情報処理システムであって、
前記検知条件には前記映像のラインの情報が含まれる、
情報処理システム。
【請求項8】
請求項3に記載の情報処理システムであって、
前記カウントの結果をCSV形式でファイルに出力する、
情報処理システム。
【請求項9】
請求項3に記載の情報処理システムであって、
前記カウントの結果をグラフで表示する、
情報処理システム。
【請求項10】
カメラにより撮影された映像を解析してデータを出力する情報処理システムが実行する情報処理方法であって、
カメラごとに、カメラの属性を設定し、
前記カメラの属性は、店舗、又は複数の店舗を含むエリアを示し、
人物ごとに、人物の属性を登録し、
前記人物の属性は、店舗、又は複数の店舗を含むエリアを示し、
前記映像において所定の検知条件が満たされた際に、検知に関する検知情報として、映像に係るカメラの属性と、映像に係る人物の属性とを含めて記憶し、
前記検知情報を出力する、
情報処理方法。
【請求項11】
カメラにより撮影された映像を解析してデータを出力する情報処理システムが実行する情報処理方法であって、
カメラごとに、カメラの属性を設定し、
前記カメラの属性は、店舗、又は複数の店舗を含むエリアを示し、
人物ごとに、人物の属性を登録し、
前記人物の属性は、店舗、又は複数の店舗を含むエリアを示し、
前記映像において所定の検知条件が満たされた際に、検知に関する検知情報として、映像に係るカメラの属性と映像に係る人物の属性とが対応するか否かを示す情報を含めて記憶し、
前記検知情報を出力する、
情報処理方法。
【請求項12】
カメラにより撮影された映像を解析してデータを出力する情報処理システムが実行する情報処理方法であって、
カメラごとに、カメラの属性を設定し、
前記カメラの属性は、店舗、又は複数の店舗を含むエリアを示し、
人物ごとに、人物の属性を登録し、
前記人物の属性は、店舗、又は複数の店舗を含むエリアを示し、
前記映像において所定の検知条件が満たされた際に、映像に係る人物が登録された人物であり、かつ、人物の属性が前記映像に係る前記カメラの属性に対応する場合を除いて、人数をカウントし、
前記カウントの結果を出力する、
情報処理方法。
【請求項13】
プログラムであって、
コンピュータを、
請求項1から請求項3までの何れか1項に記載の情報処理システムとして機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
近年、クラウドカメラの普及により映像データ(以下、単に映像という)を解析することで現場のDXを促進する取り組みが様々な業界で増えてきた。DXにおいてまず重要となるのが現場の人流を可視化することである。その際のポイントの一つが、正確な人数をカウントすることである。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2005―234947号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
企業では店舗ごとに複数台のカメラが設置される。人数をカウントする際に、例えば、同じ店舗の店員等は人数にカウントしないが異なる店舗の店員は客としてカウントする等、柔軟な対応が求められる場合がある。特許文献1の技術ではこの様な状況について考慮されていないため、使い勝手が悪い。
【課題を解決するための手段】
【0005】
本開示の一態様によれば、カメラにより撮影された映像を解析してデータを出力する情報処理システムが提供される。情報処理システムは、カメラごとに、カメラの属性を設定し、人物ごとに、人物の属性を登録し、映像において所定の検知条件が満たされた際に、検知に関する検知情報として、映像に係るカメラの属性と、映像に係る人物の属性とを含めて記憶し、検知情報を出力する。
また、本開示の一態様によれば、カメラにより撮影された映像を解析してデータを出力する情報処理システムが提供される。情報処理システムは、カメラごとに、カメラの属性を設定し、人物ごとに、人物の属性を登録し、映像において所定の検知条件が満たされた際に、検知に関する検知情報として、映像に係るカメラの属性と映像に係る人物の属性とが対応するか否かを示す情報を含めて記憶し、検知情報を出力する。
また、本開示の一態様によれば、カメラにより撮影された映像を解析してデータを出力する情報処理システムが提供される。情報処理システムは、カメラごとに、カメラの属性を設定し、人物ごとに、人物の属性を登録し、映像において所定の検知条件が満たされた際に、映像に係る人物が登録された人物であり、かつ、人物の属性が映像に係るカメラの属性に対応する場合を除いて、人数をカウントし、カウントの結果を出力する。
【図面の簡単な説明】
【0006】
図1図1は、情報処理システムのシステム構成の一例を示す図である。
図2図2は、サーバー装置のハードウェア構成の一例を示す図である。
図3図3は、クライアント装置のハードウェア構成の一例を示す図である。
図4図4は、監視カメラのハードウェア構成の一例を示す図である。
図5図5は、監視カメラテーブルの一例を示す図である。
図6図6は、スタッフ登録画面の一例を示す図である。
図7図7は、モーダルウィンドウの一例を示す図である。
図8図8は、登録スタッフテーブルの一例を示す図である。
図9図9は、サーバー装置が実行する検知条件の設定及び除外人物登録の情報処理の一例を示すフローチャートである。
図10図10は、監視カメラの一覧画面の一例を示す図である。
図11図11は、検知条件設定画面の一例を示す図である。
図12図12は、人数のカウント処理の一例を示すフローチャートである。
図13図13は、検知結果テーブルの一例を示す図である。
図14図14は、カウント結果一覧画面の一例を示す図である。
図15図15は、計測データ(CSV)作成画面の一例を示す図である。
図16図16は、検知グループ設定画面の一例を示す図である。
図17図17は、グルーピングする監視カメラを選択する画面の一例を示す図である。
【発明を実施するための形態】
【0007】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態(変形例も含む。以下において同様である。)中で示した各種特徴事項は、互いに組み合わせることができる。
【0008】
<実施形態1>
1.システム構成図
図1は、情報処理システム1000のシステム構成の一例を示す図である。図1に示されるように、情報処理システム1000は、システム構成として、サーバー装置100と、クライアント装置110と、クライアント装置120と、複数の監視カメラ160と、を含む。サーバー装置100と、クライアント装置110と、クライアント装置120と、監視カメラ160とは、ネットワーク150を介して通信可能に接続されている。ネットワーク150は、WAN(Wide Area Network)及びインターネットの何れか又は双方を含んでもよい。ネットワーク150はネットワーク150に接続される複数の装置同士を有線及び無線を介して通信可能に構成されている。
【0009】
情報処理システム1000は、複数の監視カメラ160により撮影された映像を解析してデータを出力するシステムである。
【0010】
サーバー装置100は、情報処理システム1000の主な機能を提供する装置であり、以下に示す実施形態の主な処理を実行する。サーバー装置100は、複数の監視カメラ160で撮影された映像を解析してクライアント装置110又はクライアント装置120にデータを出力(表示)させる装置である。
【0011】
監視カメラ160は、監視及び/又は記録を目的として設置されるカメラである。明細書では所定の店舗の複数個所それぞれに監視カメラ160が設置されているものとして説明を行う。複数個所としては例えば、店舗入口(東口)、店舗入口(北口)、従業員出入口、バックヤード、レジ前等である。なお、これらは例であって監視カメラ160が設置される場所を限定するものではない。図1では簡略化のため監視カメラ160を3台しか示していないが、2台であってもよいし、4台以上であってもよい。複数の監視カメラ160が情報処理システム1000に含まれていればよい。また明細書では主に1つの店舗に複数のカメラが設置されているものとして説明を行うが、複数の店舗それぞれに複数のカメラが設置されていてもよい。
【0012】
クライアント装置110は、監視カメラ160の所有者又は管理者が操作する端末装置である。
【0013】
クライアント装置120は、監視カメラ160が設置される店舗の管理者等が操作する端末装置である。クライアント装置120には、後述する図6図7図10図11図14図17に示されるような画面が表示される。
なお、以下ではクライアント装置110及びクライアント装置120を示すときに単にクライアント装置ともいう。
【0014】
ここで、特許請求の範囲に記載の情報処理システムは、複数の装置で構成されてもよいし、一つの装置で構成されてもよい。特許請求の範囲に記載の情報処理システムが一つの装置で構成される場合、その装置の一例はサーバー装置100である。特許請求の範囲に記載の情報処理システムが複数の装置で構成される場合、複数の装置の例は、サーバー装置100、複数の監視カメラ160のうち少なくとも1つ以上の監視カメラ160、又は、サーバー装置100、複数の監視カメラ160のうち少なくとも1つ以上の監視カメラ160及びクライアント装置110又はクライアント装置120、又は、サーバー装置100の機能を提供する複数のサーバー装置で構成されたクラウドサーバー等である。
【0015】
2.ハードウェア構成
(1)サーバー装置100のハードウェア構成
図2は、サーバー装置100のハードウェア構成の一例を示す図である。
図2に示されるように、サーバー装置100は、ハードウェア構成として、制御部210と、記憶部220と、通信部230と、内部バス240と、を含む。制御部210と、記憶部220と、通信部230と、は内部バス240を介して電気的に接続されている。
【0016】
制御部210は、CPU(Central Processing Unit)等であって、サーバー装置100の全体を制御する。
【0017】
記憶部220は、HDD(Hard Disk Drive)、ROM(Read Only Memory)、RAM(Random Access Memory)、SSD(Solid Sate Drive)等の何れか、又はこれらの任意の組み合わせであって、プログラム、制御部210がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。記憶部220は、記憶媒体の一例である。制御部210がプログラムに基づき処理を実行する際に利用するデータとしては、例えば、監視カメラ160から送られてきた映像データ、後述する図5図8図13等に示されるデータ、後述する画面等を介して設定されるデータ、後述する画面に表示されるデータ等がある。
【0018】
明細書では制御部210がプログラムに基づき処理を実行する際に利用するデータは記憶部220に記憶されるものとして説明するが、サーバー装置100と通信可能な他の装置の記憶部等に記憶されていてもよい。データは、制御部210が参照又は取得可能であればどの装置の記憶部に記憶されていてもよい。制御部210が、記憶部220に記憶されているプログラムに基づき、処理を実行することによって、サーバー装置100の機能及び後述する図9及び図12に示されるフローチャートの処理等が実現される。なお、この処理は主にサーバー装置100が実行するものとして説明するが、その代わりにクライアント装置110又はクライアント装置120、複数の監視カメラ160の何れかが実行することとしてもよい。
【0019】
通信部230は、サーバー装置100をネットワーク150に接続し、他の装置との通信を司る。
【0020】
なお、制御部210、記憶部220、通信部230の各ハードウェア構成は1つに限られない。例えば、複数の制御部がサーバー装置100に含まれてもよい。以下に示すクライアント装置110及びクライアント装置120も同様である。
【0021】
(2)クライアント装置のハードウェア構成
図3は、クライアント装置110のハードウェア構成の一例を示す図である。
図3に示されるように、クライアント装置110は、ハードウェア構成として、制御部310と、記憶部320と、入力部330と、出力部340と、通信部350と、内部バス360と、を含む。制御部310と、記憶部320と、入力部330と、出力部340と、通信部350と、は内部バス360を介して電気的に接続されている。
【0022】
制御部310は、CPU等であって、クライアント装置110の全体を制御する。
【0023】
記憶部320は、HDD、ROM、RAM、SSD等の何れか、又はこれらの任意の組み合わせであって、プログラム、制御部310がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。記憶部320は、記憶媒体の一例である。
【0024】
明細書では制御部310がプログラムに基づき処理を実行する際に利用するデータは記憶部320に記憶されるものとして説明するが、クライアント装置110と通信可能な他の装置の記憶部等に記憶されていてもよい。データは、制御部310が参照又は取得可能であればどの装置の記憶部に記憶されていてもよい。制御部310が、記憶部320に記憶されているプログラムに基づき、処理を実行することによって、クライアント装置110の機能等が実現される。
【0025】
入力部330は、操作者の操作に応じて情報をクライアント装置110に入力する装置である。入力部330は、ユーザーによってなされた操作入力を受け付ける。操作入力は、命令信号として内部バス360を介して制御部310に転送される。制御部310は、必要に応じて、転送された命令信号に基づいて所定の制御及び/又は演算を実行し得る。入力部330は、クライアント装置110の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部330は、出力部340と一体となってタッチパネルとして実施されてもよい。入力部330がタッチパネルとして実施される場合、ユーザーは、入力部330に対してタップ操作、スワイプ操作等を入力することができる。入力部330としては、タッチパネルに代えて、スイッチボタン、マウス、トラックパッド、キーボード等が採用することができる。
【0026】
出力部340は、例えば、ディスプレイに代表される表示部であって、ユーザーが操作可能なグラフィカルユーザインターフェース(Graphical User Interface:GUI)の画面として情報を出力(表示)する装置である。出力部340は、クライアント装置110の筐体に含まれるものであってもよいし、外付けされるものであってもよい。より具体的には、出力部340は、液晶ディスプレイ、有機EL(Electron-Luminescence)ディスプレイ、又はプラズマディスプレイ等の表示デバイスとして実施され得る。これらの表示デバイスは、クライアント装置110の種類に応じて使い分けて実施されることが好ましい。
【0027】
通信部350は、クライアント装置110をネットワーク150に接続し、他の装置との通信を司る。
【0028】
クライアント装置120のハードウェア構成もクライアント装置110のハードウェア構成と同様である。
【0029】
なお、明細書ではクライアント装置110及びクライアント装置120の例としてPC(Personal Computer)を用いて説明する。しかし、クライアント装置110及びクライアント装置120は、スマートフォン、タブレット型コンピュータ等であってもよい。クライアント装置は、後述するような画面を表示し、画面等を介したユーザー操作を受け付け、サーバー装置100に情報を送信することができればどのような装置であってもよい。
【0030】
(3)監視カメラ160のハードウェア構成
図4は、監視カメラ160のハードウェア構成の一例を示す図である。
図4に示されるように、監視カメラ160は、ハードウェア構成として、制御部410と、記憶部420と、撮影部430と、通信部440と、内部バス450と、を含む。制御部410と、記憶部420と、撮影部430と、通信部440と、は内部バス450を介して電気的に接続されている。
【0031】
制御部410は、CPU等であって、監視カメラ160の全体を制御する。
【0032】
記憶部420は、HDD、ROM、RAM、SSD等の何れか、又はこれらの任意の組み合わせであって、プログラム、制御部410がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。記憶部420は、記憶媒体の一例である。
【0033】
明細書では制御部410がプログラムに基づき処理を実行する際に利用するデータは記憶部420に記憶されるものとして説明するが、監視カメラ160と通信可能な他の装置の記憶部等に記憶されていてもよい。データは、制御部310が参照又は取得可能であればどの装置の記憶部に記憶されていてもよい。制御部410が、記憶部420に記憶されているプログラムに基づき、処理を実行することによって、監視カメラ160の機能等が実現される。
【0034】
撮影部430は、被写体を撮影するカメラである。カメラには例えばイメージセンサー、レンズ及びIRカットフィルター等が含まれる。
【0035】
通信部440は、監視カメラ160をネットワーク150に接続し、他の装置との通信を司る。
【0036】
3.情報処理
以下、実施形態1の情報処理を説明する。
【0037】
(1)処理の概要
(1-1)
制御部210は、監視カメラ160ごとに、監視カメラ160の属性を設定する。
制御部210は、人物ごとに、人物の属性を登録する。
制御部210は、映像において所定の検知条件が満たされた際に、検知に関する検知情報として、映像に係る監視カメラ160の属性と、映像に係る人物の属性とを含めて記憶する。
制御部210は、検知情報を出力する。
このような処理を実行することによって、柔軟に正確な検知情報を出力することができる。
【0038】
(1-2)
制御部210は、監視カメラ160ごとに、監視カメラ160の属性を設定する。
制御部210は、人物ごとに、人物の属性を登録する。
制御部210は、映像において所定の検知条件が満たされた際に、検知に関する検知情報として、映像に係る監視カメラ160の属性と映像に係る人物の属性とが対応するか否かを示す情報を含めて記憶する。
制御部210は、検知情報を出力する。
このような処理を実行することによって、柔軟に正確な検知情報を出力することができる。
【0039】
(1-3)
制御部210は、監視カメラ160ごとに、監視カメラ160の属性を設定する。
制御部210は、人物ごとに、人物の属性を登録する。
制御部210は、映像において所定の検知条件が満たされた際に、映像に係る人物が登録された人物であり、かつ、人物の属性が映像に係る監視カメラ160の属性に対応する場合を除いて、人数をカウントする。
制御部210は、カウントの結果を出力する。
このような処理を実行することによって、柔軟に正確なカウントの結果を出力することができる。
【0040】
(1-4)
制御部210は、監視カメラ160に部門を設定する。監視カメラ160の部門は、監視カメラ160の属性の一例である。部門のより具体的な例として明細書では主に店舗を例に説明を行う。ただし、部門は、店舗に限定されるものではなく、例えば、店舗のフロア(1階、2階、地下等)、店舗に係るエリア(店舗が設置されている場所に関する複数店舗が含まれる地域の名称)であってもよい。店舗に係るエリアの例としては、例えば、品川区、渋谷区、目黒区等、又は東京都、神奈川県、千葉県等、又は関東、東北、北陸等がある。なお、店舗、店舗のフロア、店舗に係るエリア等のうち、何れか2つ以上を組み合わせた情報としてもよい。
制御部210は、監視カメラ160により撮影された映像において人数をカウントする条件に係る情報を設定する。
制御部210は、人数をカウントする際に除外すべき人物を人物の部門と対応付けて登録する。人物の部門は、人物の属性の一例である。人物の部門も監視カメラ160の部門と同様、明細書では主に店舗を例に説明を行う。ただし、監視カメラ160の部門と同様、人物の部門も店舗に限定されるものではなく、例えば、店舗のフロア、店舗に係るエリアであってもよい。
【0041】
制御部210は、映像において条件が満たされた際に映像に含まれる人物が登録された人物でない場合、人物を人数としてカウントする。
制御部210は、映像において条件が満たされた際に映像に含まれる人物が登録された人物であり、かつ、登録された人物と対応付けられている人物の部門が映像に係る監視カメラ160の部門と同じでない場合、人物を人数としてカウントする。
制御部210は、映像において条件が満たされた際に映像に含まれる人物が登録された人物であり、かつ、登録された人物と対応付けられている人物の部門が映像に係る監視カメラ160の部門と同じである場合、人物を人数としてカウントしない。
制御部210は、カウントした人数の結果を出力する。
【0042】
このような処理を実行することによって、柔軟に正確な人数をカウントすることができる。
【0043】
(2)処理の詳細
(2-0)前処理
まず、事前の設定として、顔の正面角度と判定する角度、正面角度と十分差があると判定する角度差、信頼のおける画像pixel数、ベストショット取得指定時間、等を設定しておく。これらの設定は、例えばクライアント装置110を介したユーザーの指示に応じて設定され、各監視カメラ160(又はサーバー装置100)の記憶部等に記憶される。
【0044】
そして、情報処理システム1000では基本的に各監視カメラ160が映像を撮影してサーバー装置100に送信して記憶する処理を常時実行するが、その際にベストショットの抽出処理を併せて行うものとする。ここで、ベストショットとは、同一人物を異なる所定の角度から撮影した顔画像(又は全身画像)として最適なものである。なお、この処理は主に各監視カメラ160側で実行するが、サーバー装置100側で実行してもよい。監視カメラ160側で処理を実行するメリットは、その分、サーバー装置100側の処理負荷及び利用料金が軽減されることにあるが、その反面、監視カメラ160側で該当する処理を行うための制御部410及び/又は記憶部420等の性能が要求されることになる。
【0045】
ベストショットの抽出処理の詳細は、次の通りである。まず、監視カメラ160の制御部410は、カメラの映像から、人の全身像をトラッキングする。次に、制御部410は、全身像のデータから顔を検出し、追跡する。そして、制御部410は、追跡した顔から角度を検出し、顔の正面角度範囲内に収まっている画像を、ベストショットの1stとし、顔の角度を記憶部420等に記録する。ベストショットの1stは、映像から、例えば顔の正面画像を検出するAIモデルを用いて、そのスコアが最も高くなったものを採用してもよい。
【0046】
さらに、制御部410は、追跡した顔から角度を検出し続け、ベストショット1stの顔の角度に対して正面角度との角度差以上の顔があったら、ベストショット2ndとして記憶部420等に保存する。ベストショットの2ndは、映像から、例えばカメラに対する顔の左向き(又は右向き)の画像を検出するAIモデルを用いて、そのスコアが最も高くなったものを採用してもよい。
【0047】
さらに、制御部410は、ベストショット1st、2nd両方と角度差がある画像をベストショット3rdとして保存する。ベストショットの3rdは、例えばカメラに対する顔の右向き(又は左向き)の画像を検出するAIモデルを用いて、そのスコアが最も高くなったものを採用してもよい。さらに、制御部410は、ベストショット1st,2nd,3rdのうち少なくとも何れか1つ以上に対応する人物について、その人物の全身画像(又はバストアップ画像等)をベストショット4thとして保存してもよい。バストアップ画像とは、人物の上半身が写った画像のことである。ベストショットの4thは、映像から、例えば全身画像(又はバストアップ画像等)を検出するAIモデルを用いて、そのスコアが最も高くなったものを採用してもよい。
【0048】
なお、制御部410は、追跡した顔を検出し続け、正面角度範囲内に収まっている画像で、信頼のおける画像pixel数を上回る画像があった場合、ベストショット1stを入れ替えてもよい。同様に、制御部410は、2nd,3rd,4thも入れ替えてもよい。また、制御部410は、ベストショット取得の指定時間を超えた場合、ベストショット抽出を停止してもよい。また、制御部410は、ベストショット1st,2nd,3rd,4thは夫々の観点で最もスコアが高かったものを採用するとしたが、これに加え夫々において次点以降のスコアのものも含めた複数採用することとしてもよい。そして、制御部410は、トラッキングが終了した時点で、ベストショット1st,2nd,3rd,4thを、夫々の画像を撮影したカメラ及び日時を示すメタデータとともに、サーバー装置100に送信する。
【0049】
サーバー装置100の制御部210は、ベストショット1st,2nd,3rd,4thと、夫々の画像を撮影したカメラ及び日時を示すメタデータとを受信したうえで、それら画像同士/各画像とメタデータとを対応付けて記憶する。なお、この段階で、制御部210は、ベストショット1st,2nd,3rdに基づいて顔画像の平均処理を行い、顔の特徴量を計算したうえで、画像及びメタデータと対応付けて記憶しておいてもよい。以下、これら対応付けられた情報のセット(ベストショット1st,2nd,3rd,4th/夫々の画像を撮影したカメラ及び日時を示すメタデータ/顔の特徴量)を、ベストショット情報と呼ぶ。ベストショット情報は、人物ごと/シーンごとに、互いに異なる複数のベストショット情報として記憶部220等の所定の記憶領域に記憶される。
【0050】
(2-1)監視カメラ160の部門の設定
制御部210は、監視カメラ160の部門を設定する。例えば、制御部210は、クライアント装置120を介した店舗の管理者等の指示に応じて監視カメラ160の部門を含む監視カメラテーブル500にデータを設定する。監視カメラテーブル500は、サーバー装置100の記憶部220等の所定の記憶領域に記憶される。
【0051】
図5は、監視カメラテーブル500の一例を示す図である。図5に示されるように監視カメラテーブル500は、データ項目としてカメラID510と、カメラ名称520と、カメラ部門530と、が含まれる。
カメラID510には、監視カメラ160を識別する識別情報(カメラID)が記憶される。
カメラ名称520には、監視カメラ160の名称(カメラ名称)が記憶される。
カメラ部門530には、カメラの部門(カメラ部門)が設定される。この部門とは、例えば前述したように、店舗、店舗のフロア、店舗に係るエリア等を示す情報、又は、それらのうち何れか2つ以上を組み合わせた情報等である。
【0052】
(2-2)スタッフ登録
また、制御部210は、情報処理システム1000にスタッフを登録する。スタッフは人物ともいえる。例えば、制御部210は、クライアント装置120を介した店舗の管理者等から要求に応じて、図6に示されるようなスタッフ登録画面600を生成し、送信する。
図6は、スタッフ登録画面600の一例を示す図である。スタッフ登録画面600には、ナビゲーションメニュー及び領域620が含まれる。ナビゲーションメニューのスタッフ登録ボタン610が選択されると、領域620に、登録されたスタッフに関する情報(登録済のスタッフ一覧、各スタッフの顔写真画像、各種基本情報等)及びスタッフ登録ボタン630が表示される。
【0053】
スタッフ登録ボタン630が選択されたことを検知すると、制御部210は、図7に示されるようなモーダルウィンドウ700を生成し、スタッフ登録画面600上に重畳表示させる。
図7は、モーダルウィンドウ700の一例を示す図である。モーダルウィンドウ700は、新規のスタッフを登録する画面の一例である。店舗の管理者等は、モーダルウィンドウ700を介して、店舗のスタッフの写真(画像)を追加することができる。より好適には、店舗の管理者等は、モーダルウィンドウ700を介して、記憶部220等の所定の記憶領域に記憶されている写真から店舗のスタッフの写真を選択することによって、店舗のスタッフの写真(画像)を情報処理システム1000に登録する。
また、店舗の管理者等は、モーダルウィンドウ700を介して、入力領域710にスタッフ名を入力し、入力領域720に所属部門を入力し、登録することができる。このスタッフの所属部門とは、前述したカメラの部門と同様の概念である。
【0054】
また、店舗の管理者等は、モーダルウィンドウ700に含まれる「写真を追加ボタン」730を選択することで、スタッフの写真を追加することができる。この際、店舗の管理者等は、同一のスタッフの様々なアングルから撮られた写真を選択するようにするとよい。
また、制御部210は、例えば、モーダルウィンドウ700においてカバー写真としてスタッフの1つの写真が選択され、かつ、「写真を追加ボタン」730が選択された場合、カバー写真として選択された画像に係るベストショット情報を記憶部220等から抽出し、ベストショット情報に含まれるベストショット画像をスタッフの顔写真のサジェスト画像として表示するようにしてもよい。そして、制御部210は、サジェスト画面から選択されたベストショット画像を、スタッフのさらなる顔画像として登録するようにしてもよい。
モーダルウィンドウ700において選択されたカバー写真の画像、又はモーダルウィンドウ700において選択されたカバー写真の画像及びサジェスト画面から選択されたベストショット画像を以下、単にスタッフ画像ともいう。
【0055】
また、別の例として、制御部210は、モーダルウィンドウ700においてカバー写真としてスタッフの1つの写真が選択された場合、選択された写真(画像)と選択された画像に係るベストショット情報を記憶部220等から抽出し、ベストショット情報に含まれるベストショット画像をスタッフ画像として記憶部220等に登録するようにしてもよい。
【0056】
図8は、登録スタッフテーブル800の一例を示す図である。図8に示されるように登録スタッフテーブル800は、データ項目として人物ID810と、人物名称820と、人物部門830と、人物画像840と、が含まれる。
人物ID810には、人物を識別する識別情報が記憶される。人物を識別する識別情報は、モーダルウィンドウ700を介して新たなスタッフが登録されるたびに、制御部210によって採番される。
人物名称820には、スタッフの名称が記憶される。入力領域710に入力された名称が記憶される。
人物部門830には、スタッフの部門が記憶される。入力領域720に入力された部門が記憶される。この部門とは、例えば前述したように、店舗、店舗のフロア、店舗に係るエリア等を示す情報、または、それらのうち何れか2つ以上を組み合わせた情報等である。
人物画像840には、スタッフの写真が記憶される。モーダルウィンドウ700において複数の写真が登録された場合、人物画像840には、人物の複数の写真が記憶される。又はモーダルウィンドウ700において写真が選択された場合、人物画像840には、選択された写真と共にこの写真に係るスタッフ画像が記憶される。
【0057】
(2-2)検知条件の設定及び除外人物登録
図9は、サーバー装置100が実行する検知条件の設定及び除外人物登録の情報処理の一例を示すフローチャートである。
ステップS910において、制御部210は、クライアント装置120等より一覧画面の表示要求を受信したか否かを判定する。監視カメラ160が設置される店舗の管理者等によって所定の操作が行われると、クライアント装置120は、後述する図10に示されるような一覧画面の表示要求をサーバー装置100に送信する。
制御部210は、一覧画面の表示要求を受信したと判定すると処理をステップS920に進め、一覧画面の表示要求を受信していないと判定するとステップS910の処理を繰り返す。
【0058】
ステップS920において、制御部210は、一覧画面を生成し、要求元のクライアント装置120に送信する。クライアント装置120は、一覧画面を受信すると、一覧画面を出力部340に表示する。
【0059】
図10は、監視カメラ160の一覧画面1010の一例を示す図である。一覧画面1010には、デバイスとして、該当する管理者等の管理対象の監視カメラ160の一覧が表示されている。管理者等が一覧のうちの一つの監視カメラ160(例えば、図7の店舗入口(東口)1020)を選択すると、選択した監視カメラ160を識別する識別情報を含むデバイス選択情報がクライアント装置120からサーバー装置100に送信される。
【0060】
ステップS930において、制御部210は、クライアント装置120においてデバイス(監視カメラ160)が選択されたか否かを判定する。制御部210は、デバイス選択情報をクライアント装置120より受信すると、デバイスが選択されたと判定する。制御部210は、デバイスが選択されと判定すると、ステップS940に処理を進め、デバイスが選択されていないと判定すると、ステップS920(又はステップS930)の処理を繰り返す。
【0061】
ステップS940において、制御部210は、検知条件設定画面を生成し、要求元のクライアント装置120に送信する。クライアント装置120は、検知条件設定画面を受信すると、検知条件設定画面を出力部340に表示する。
【0062】
図11は、検知条件設定画面1100の一例を示す図である。検知条件設定画面1100は、検知条件を設定する画面である。検知条件設定画面1100は、映像を再生させながら、人を検知するエリア(以下、検知エリアともいう)を設定可能に構成されている。すなわち、映像において人数をカウントする条件に係る情報には映像のエリアの情報が含まれる。また、検知条件設定画面1100は、映像を再生させながら、人のIN及び/又はOUTの通過を検知するライン(以下、通過ラインともいう)を設定可能に構成されている。すなわち、映像において人数をカウントする条件に係る情報には映像のラインの情報が含まれる。
【0063】
エリア1115、エリア1125、エリア1135、エリア1145は、検知条件設定画面1100において設定された検知エリアである。異なるエリアは、それぞれ異なる態様で検知条件設定画面1100に表示される。異なる態様の例としては異なる色、異なる説明文の配置等がある。
ナビゲーションメニューの店内奥ボタン1110は、エリア1125に対応する。
ナビゲーションメニューのベンチ席ボタン1120は、エリア1115に対応する。
ナビゲーションメニューの壁際2人席ボタン1130は、エリア1135に対応する。
ナビゲーションメニューの店内真ん中ボタン1140は、エリア1145に対応する。
ライン1155、ライン1165は、検知条件設定画面1100において設定された通過ラインである。異なるラインは、それぞれ異なる態様で検知条件設定画面1100に表示される。異なる態様の例としては異なる色、異なる説明文の配置等ある。
ナビゲーションメニューのトイレ前_上ボタン1150は、ライン1155に対応する。
ナビゲーションメニューの大テーブル横ボタン1160は、ライン1165に対応する。
【0064】
ステップS950において、制御部210は、検知条件設定画面1100において検知条件が設定されたか否かを判定する。制御部210は、検知条件設定画面1100において映像で検知エリア及び/又は通過ライン等が設定された場合、検知条件が設定されたと判定する。制御部210は、検知条件設定画面1100において映像で検知エリア及び/又は通過ライン等が設定されていない場合、検知条件が設定されていないと判定する。制御部210は、検知条件が設定されたと判定すると、処理をステップS960に進める。制御部210は、検知条件が設定されていないと判定すると、ステップS940に処理を戻す。
【0065】
ステップS960において、制御部210は、検知条件設定画面1100を介して設定された1以上の検知エリア(図11の例では、エリア1115、エリア1125、エリア1135及びエリア1145)及び/又は1以上の通過ライン(図11の例では、ライン1155及びライン1165)それぞれの映像上の位置及び大きさ等の情報を検知条件として設定する。制御部210は、検知条件設定画面1100に表示されている映像を撮影したカメラを識別するカメラIDと関連付けて検知条件を記憶部220等の所定の記憶領域に記憶する。
【0066】
ステップS970において、制御部210は、検知条件設定画面1100において除外人物が設定されたか否かを判定する。例えば、監視カメラ160の管理者等は、検知条件設定画面1100を右クリックして表示されたコンテキストメニュー等から登録されたスタッフの一覧を表示させ、一覧からカウントから除外する人物(スタッフ)を選択することで、カウント対象から除外する人物を設定する。カウント対象から除外する人物、以下、除外人物ともいう。
検知条件設定画面1100を介して除外人物が設定された場合、制御部210は、処理をステップS980に進める。検知条件設定画面1100を介して除外人物が設定されなかった場合、制御部210は、図9に示す処理を終了する。
【0067】
ステップS980において、制御部210は、検知条件設定画面1100等の所定の画面を介して設定されたカウントから除外する除外人物のデータを除外人物データとして記憶部220等に設定する。除外人物データには、検知条件設定画面1100において設定された、カメラIDと関連付けられた検知条件(以下、単に検知条件ともいう)と、検知条件設定画面1100において設定された検知条件によるカウント対象の人物の検知から除外する除外人物の情報と、が対応付けて含まれる。なお、除外人物の情報は、図11に示されるような検知条件設定画面で設定された所定の映像に係るすべての検知エリア及び通過ラインに関する検知条件であってもよいし、図11に示されるような検知条件設定画面で設定された検知エリア及び通過ラインそれぞれに関する検知条件であってもよい。すなわち、制御部210は、図11に示されるような画面で設定された検知条件すべてに対して除外する除外人物の設定を受け付けるようにしてもよいし、図11に示されるような画面で設定された検知条件それぞれに対して除外する除外人物の設定を受け付けるようにしてもよい。
ただし、以下では説明の簡略化のため、図11に示されるような検知条件設定画面で設定された所定の映像に係るすべての(すなわち、検知条件設定画面で表示されている映像を撮影した監視カメラ160を識別するカメラIDに係る)検知エリア及び通過ラインに関する検知条件であるものとして説明を行う。
【0068】
除外人物情報には、登録スタッフテーブル800に登録されたスタッフのうち、選択されたスタッフの登録スタッフレコードが含まれる。登録スタッフレコードとは、該当するスタッフの人物ID810と、人物名称820と、人物部門830と、人物画像840と、に記憶されているデータである。
【0069】
(2-3)人数のカウント処理
図12は、人数のカウント処理の一例を示すフローチャートである。
ステップS1200において、制御部210は、複数の監視カメラ160それぞれから送られてきた映像から人物が検知されたか否かを判定する。
例えば、制御部210は、映像を学習済みモデルに入力する。この学習済みモデル(以下、人物検知学習済みモデルともいう)は、映像を入力データ、人物が映像に含まれるか否か、人物が映像に含まれる場合は人物の画像(人物の顔画像)、検知された場所(検知された人物を包含する最小の矩形のエリア)及び時系列的な前後の映像から求められる人物の移動データ等を出力データとして学習された人物検知学習済みモデルである。他の例として、制御部210は、映像を画像解析することで、人物が映像に含まれるか否か、人物が映像に含まれる場合は人物の画像(人物の顔画像)、検知された場所及び時系列的な前後の映像から求められる人物の移動データ等を解析結果として出力するようにしてもよい。ただし、以下では説明の簡略化のため、制御部210は、人物検知学習済みモデルを用いて、人物が映像に含まれるか否か、人物が映像に含まれる場合は検知された場所、時系列的な前後の映像から求められる人物の移動データ等を取得するものとして説明を行う。
制御部210は、人物検知学習済みモデルより出力データを取得する。
制御部210は、人物が検知されたと判定すると処理をステップS1210に進め、人物が検知されていないと判定すると、ステップS1200の処理を繰り返す。
【0070】
ステップS1210において、制御部210は、検知された人物が検知条件を満たす人物か否かを判定する。上述したように、検知条件にはカメラIDが関連付けられている。制御部210は、人物が検知された映像を撮影していたカメラのカメラIDと関連付けられている検知条件を取得し、検知条件と上述した人物検知学習済みモデルから出力された出力データに含まれる検知された場所及び人物の移動データ等とに基づき、検知された人物が検知条件を満たす人物か否かを判定する。例えば、制御部210は、出力データに含まれる検知された場所(すなわち、検知された人物を包含する最小の矩形のエリア)が、検知条件の検知エリア内である場合、検知条件を満たす人物を検知したと判定する。例えば、制御部210は、出力データに含まれる検知された場所(すなわち、検知された人物を包含する最小の矩形のエリア)が、検知条件の検知エリア内でない場合、検知条件を満たす人物を検知していないと判定する。また、例えば、制御部210は、出力データに含まれる検知された場所(すなわち、検知された人物を包含する最小の矩形のエリア)が、検知条件の検知ラインを通過した場合、その通過方向(IN/OUT等)とともに、検知条件を満たす人物を検知したと判定する。例えば、制御部210は、出力データに含まれる検知された場所(すなわち、検知された人物を包含する最小の矩形のエリア)が、検知条件の検知ラインを通過していない場合、検知条件を満たす人物を検知していないと判定する。
【0071】
制御部210は、検知された人物が検知条件を満たす人物であると判定すると処理をステップS1220に進める。制御部210は、検知された人物が検知条件を満たさない人物であると判定するとステップS1210を繰り返す。
【0072】
ステップS1220において、制御部210は、検知された人物が登録された人物か否かを判定する。制御部210は、人物検知学習済みモデルから出力された出力データに含まれる人物の顔画像と、登録スタッフテーブル800の人物画像840に格納されている人物画像及びスタッフ画像と、に基づいて検知された人物が登録された人物か否かを判定する。例えば、制御部210は、SIFT(Scale-Invariant Feature Transform)又はSURF (Speeded Up Robust Features)等の特徴点検出アルゴリズムを用いて、顔画像から特徴点を抽出し、特徴点の位置及び形状を比較することで一致性を判定する。又は、制御部210は、顔画像を学習済みモデルに入力する。この学習済みモデルは、顔画像を入力データ、顔画像の特徴量を出力データとして学習された学習済みモデルである。制御部210は、出力された特徴量同士を比較することで顔画像の一致性を判定するようにしてもよい。
制御部210は、一致性の判定の結果、一致していると判定した場合、検知された人物が登録された人物であると判定し、一致していないと判定した場合、検知された人物は登録された人物ではないと判定する。
制御部210は、検知された人物が登録された人物であると判定した場合、処理をステップS1230に進め、検知された人物が登録された人物でないと判定した場合、処理をステップS1240に進める。
【0073】
ステップS1230において、制御部210は、検知された人物と同一と判定された登録された人物の部門が、該当する監視カメラ160の部門と一致(対応)するか否かを判定する。この一致(対応)は、完全一致のみならず、一部一致や、類似等も含む。制御部210は、検知された人物と同一と判定された登録された人物(登録スタッフ)の人物IDに基づき、登録スタッフの部門を、該当する人物部門830より取得する。また、制御部210は、人物を検知した映像を撮影した監視カメラ160のカメラIDに基づき、監視カメラ160の部門を、該当するカメラ部門530より取得する。制御部210は、部門が同一の場合、属性が同じであると判定し、部門が同一でない場合、属性が異なると判定する。
制御部210は、属性が同じであると判定した場合、処理をステップS1200に処理を戻し、属性が同じでないと判定した場合、処理をステップS1240に進める。
【0074】
ステップS1240において、制御部210は、所定の情報を検知結果テーブル1300に記憶する。
【0075】
図13は、検知結果テーブル1300の一例を示す図である。このテーブルは、S1210でYESとなった場合に、S1240又はS1250で記憶されるデータの一覧を示す。
検知結果テーブル1300は、データ項目として、検知ID1310と、カメラID1315と、カメラ名称1320と、カメラ部門1325と、検知日時1330と、検知種類1335と、検知名称(エリア/ライン)1340と、滞在時間1345と、通過方向1350と、登録済人物1355と、人物ID1360と、人物名称1365と、人物部門1370と、が含まれる。
検知ID1310には、映像から人物が検知された際に制御部210によって採番される、検知を識別する識別情報が記憶される。
カメラID1315には、人物が検知された映像を撮影していた監視カメラ160を識別する識別情報が記憶される。
カメラ名称1320には、監視カメラ160の名称(カメラ名称)が記憶される。
カメラ部門1325には、カメラの部門(カメラ部門)が設定される。
検知日時1330には、監視カメラ160で人物が検知された検知日時が記憶される。
検知種類1335には、検知エリアと通過ラインの何れで人物が検知されたかの情報が記憶される。
検知名称(エリア/ライン)1340には、検知条件設定画面1100等において設定された検知エリアの名称又は通過ラインの名称が記憶される。
滞在時間1345には、検知エリアに人物が滞在していた時間が記憶される。滞在時間は、検知エリアで人物が検知された場合に記憶される。この情報は、検知種類1335がエリアである場合に記憶され、そうでない場合(例えばラインである場合等)には「-」等の空欄を示す情報が記憶される。
通過方向1350には、通過ラインで人物がINしたかOUTしたかの情報が記憶される。通過方向は、通過ラインで人物がIN/OUTした場合に記憶される。この情報は、検知種類1335がラインである場合に記憶され、そうでない場合(例えばエリアである場合等)には「-」等の空欄を示す情報が記憶される。
登録済人物1355には、検知された人物がスタッフ登録で登録された人物「〇」か否「×」かの情報が記憶される。
人物ID1360には、人物(登録スタッフ)を識別する識別情報が記憶される。
人物名称1365には、スタッフの名称が記憶される。
人物部門1370には、スタッフの部門が記憶される。
人物ID1360、人物名称1365、人物部門1370には、登録済人物1355で「〇」の場合、すなわち検知された人物が登録スタッフの場合に記憶される。一方、登録済人物1355で「×」の場合、「-」等の空欄を示す情報が記憶される。
その他、例えば部門一致(不図示)という項目(列)を設け、登録済人物1355が「〇」の場合において、カメラ部門1325と人物部門1370との対応関係に基づいて、両者が対応(一致/類似)する場合には「〇」を、両者が対応(一致/類似)しない場合には「×」を、それぞれ記憶させてもよい。
【0076】
ステップS1240で検知結果テーブル1300に記憶される検知結果レコードは、登録済み人物(登録スタッフ)ではない検知された人物に関するレコード、及び、登録済み人物(登録スタッフ)ではあるがカメラ部門と人物部門とが異なる人物に関するレコードである。
ステップS1260において、制御部210は、検知結果テーブル1300の検知結果レコードにおいて、登録済み人物(登録スタッフ)ではない検知された人物に関するレコード、及び、登録済み人物(登録スタッフ)ではあるがカメラ部門と人物部門が異なる人物に関するレコードの数をカウントアップする。このカウントは、各カメラの検知条件(エリア/ライン)ごとに行う。検知条件がラインの場合、同じラインのIN/OUTを分けてカウントしてもよい。なお、制御部210は、予め設定された期間のデータ(直近1か月間のデータ)等のレコードの数をカウントアップしてもよい。また、制御部210は、検知名称ごとに予め設定された期間のデータ(直近1か月間のデータ)等のレコードの数をカウントアップしてもよい。
制御部210は、カウントアップした結果を記憶部220等の所定の記憶領域に記憶させる。カウントした数は、カメラ/検知条件(エリア/ライン)の情報を対応付けて記憶する。検知条件がラインの場合、同じラインのIN/OUTを分けて記憶してもよい。カウントアップした結果の数は、カメラごとにエリア/ラインで検知した人数ということができる。
なお、ステップS1260のカウントは、ステップS1240を行う度に実行するものとして説明したが、後でまとめてカウントしてもよい。例えば、後述するグラフの作成がユーザーから指示された際に、図13の検知結果テーブル1300における検知結果レコードのうち、指示にて指定されたレポート期間(計測期間)、デバイス(カメラID/カメラ名称/カメラ部門)、検知条件(エリアやライン)に対応するものピックアップして、その数をカウントしてもよい。
【0077】
ステップS1250において、制御部210は、所定の情報を検知結果テーブル1300に記憶する。
ステップS1250で検知結果テーブル1300に記憶される検知結果レコードは、登録済み人物(登録スタッフ)であり、かつ、カメラ部門と人物部門とが同じ人物に関するレコードである。
【0078】
(2-4)計測結果の出力処理
制御部210は、クライアント装置120からの要求に応じて、カウント結果一覧画面を生成し、クライアント装置120に送信する。
図14は、カウント結果一覧画面1400の一例を示す図である。
カウント結果一覧画面1400には、所定期間(計測期間)ごとのカウントアップした結果のデータの一覧が表示されている。これらのデータは、計測データ(CSV)作成ボタン1410が選択されると作成されるものである。
計測データ(CSV)作成ボタン1410が選択されると、制御部210は、図15に示されるような計測データ(CSV)作成画面1500を生成する。図15は、計測データ(CSV)作成画面1500の一例を示す図である。CSVはComma Separated Valuesの略である。そして、制御部210は、計測データ(CSV)作成画面1500をクライアント装置120に送信する。計測データ(CSV)作成画面1500は、データの計測データのCSVファイルを作成するための画面である。
【0079】
計測データ(CSV)作成画面1500において、監視カメラ160が設置される店舗の管理者等は、データ名(ファイル名)、レポート期間(計測期間)、デバイス(カメラID/カメラ名称/カメラ部門)等の各種情報を設定することができる。ここで、デバイスの設定に関しては、カメラIDやカメラ名称により個々にカメラを設定可能であるとともに、後述する部門のグループ設定等により複数のデバイスを属性単位で一度に設定することも可能である。計測データ(CSV)作成画面1500において、ユーザーから各種情報の設定と作成するボタンの選択を受け付けると、制御部210は、設定されたデータ名で計測データのCSVファイルを作成する。これにより、所望のカメラで所望の計測期間に撮影された映像において、検知した結果について、計測データ(CSV)が作成される。そのイメージとしては、例えば図13で示した検知結果テーブル1300に保存されたデータのうち、カメラID1315/カメラ名称1320/カメラ部門1325が設定されたデバイス(カメラID/カメラ名称/カメラ部門)に対応するデータであって、検知日時1330が設定されたレポート期間(計測期間)に対応するデータについて絞り込んだ形のものである。
そして、制御部210は、作成したCSVファイルをクライアント装置120がダウンロード可能としてもよい。そのダウンロード方法としては、例えば図14で示した計測データ(CSV)の一覧を表示し、その中からユーザーが何れか1つ以上を選択して、ダウンロードボタン(不図示)を押下すると、それを受け付けて、対応する計測データ(CSV)のダウンロード(出力の一形態)が実行されるようにしてもよい。 すなわち、制御部210は、計測結果をCSV形式でファイルに出力する。
これにより、ユーザーは、この計測データ(CSV)を用いて、任意に各種情報を絞り込み/グラフ表示等することにより、所望のデータ分析を行うことが可能となる。
【0080】
計測結果の出力の他の例として、制御部210は、カウントアップの結果を含む画面を生成し、生成した画面を要求元のクライアント装置に送信するようにしてもよい。画面には、カウントアップした結果のグラフが含まれる。グラフの作成方法としては、例えば図14でグラフ作成ボタン1420(不図示)を設け、それがユーザーにより押下されたら、図15と同様にグラフ作成画面を表示し、そこでデータ名(ファイル名)、レポート期間(計測期間)、デバイス(カメラID/カメラ名称/カメラ部門)等の各種情報に加えて検知条件(エリアやライン)を設定するようにすればよい。これにより、所望のカメラで所望の計測期間に撮影された映像において、所望の検知条件(エリアやライン)で検知した結果について、グラフが作成される。そのイメージとしては、S1260でカウントされた数のうち、対象としたカメラ/計測期間の情報をピックアップし、例えば横軸に時刻/縦軸にカウント数をとり、対象とした検知条件(エリアやライン)におけるカウント数を時系列で表現した形のものである。検知条件がラインの場合、同じラインのIN/OUTを分けて表わしてもよい。また、同一カメラの複数の異なる検知条件、さらには複数の異なるカメラの検知結果について、1つのグラフに重ね合わせて表わしてもよい。
なお、作成されたグラフは、計測データ(CSV)と同様にダウンロード可能としてもよいし、クライアント装置120のUI上で表示してもよい。 すなわち、制御部210は、計測結果をグラフで表示するようにしてもよい。
【0081】
以上、実施形態1によれば、簡単に映像から人物を探し出し、気になる人物の顔画像を情報処理システム1000に登録することができる。また、実施形態1によれば、登録された顔画像から選択した顔画像の人物の映像を検出し、出力することができる。
【0082】
以上、実施形態1によれば、正確な人数をカウントすることができる。例えば、同じ店舗のスタッフは人数にカウントしないが異なる店舗のスタッフは客としてカウントする等、柔軟な人数のカウントを行うことができる。
【0083】
(変形例1)
実施形態1の変形例1を説明する。変形例1は実施形態1に含まれるものであって、実施形態1と異なる実施形態ではない。変形例1で説明しない構成及び処理は、上述した実施形態1と同様である。
【0084】
変形例1の制御部210は、クライアント装置120等からの要求に応じて、検知グループを設定する検知グループ設定画面を生成し、クライアント装置120等に送信するようにしてもよい。
図16は、検知グループ設定画面1600の一例を示す図である。検知グループ設定画面1600は、1部門(明細書の例では複数店舗を運営する企業を想定して店舗単位だが、それ以外にも、例えば複数の国や地域等で展開する企業の場合には国/地域等の単位で、複数のブランドやグループ会社等を有する企業の場合にはブランド/会社等の単位でもよい。)に複数の監視カメラ160の設置個所がある場合に、複数デバイスをまとめて同一人物を判定するための画面である。
【0085】
図16において一つの部門が選択された場合、制御部210は、選択された部門に設置されている1以上の監視カメラ160の一覧を含む画面を生成し、クライアント装置120等に送信する。
図17は、グルーピングする監視カメラ160を選択する画面1700の一例を示す図である。この画面を介して、ユーザーが部門に対応するカメラの編集(追加/削除等)を可能とし、ユーザーから指示を受け付けたら、その情報(図5でカメラID510やカメラ名称520とカメラ部門530とを対応付けた情報)を保存/更新する。
【0086】
変形例1によれば、部門に係る監視カメラ160をグルーピング化することができる。
人物部門を設定する際(図7の入力領域720)、グループ化された部門の一覧を表示し、その中からユーザーがグループを選択可能とし、ユーザーから指示を受け付けたら、その情報(図8で人物ID810や人物名称820と人物部門830とを対応付けた情報)を保存/更新してもよい。これにより、人物部門の設定が簡単かつ確実に行えるようになる。
また、計測データ(CSV)を作成する際のデバイス選択において(図15右下のデバイス追加画面)、グループ化された部門の一覧を表示し、その中からユーザーがグループを選択可能とし、ユーザーから指示を受け付けたら、その情報(選択された部門に対応するカメラで撮影された映像)を対象として計測データ(CSV)を作成してもよい。これにより、計測データ(CSV)を作成する際のカメラの選択が簡単かつ確実に行えるようになる。
【0087】
<付記>
次に記載の各態様で提供されるようにしてもよい。
(付記1)
カメラにより撮影された映像を解析してデータを出力する情報処理システムであって、
カメラごとに、カメラの属性を設定し、
人物ごとに、人物の属性を登録し、
前記映像において所定の検知条件が満たされた際に、検知に関する検知情報として、映像に係るカメラの属性と、映像に係る人物の属性とを含めて記憶し、
前記検知情報を出力する、
情報処理システム。
(付記2)
カメラにより撮影された映像を解析してデータを出力する情報処理システムであって、
カメラごとに、カメラの属性を設定し、
人物ごとに、人物の属性を登録し、
前記映像において所定の検知条件が満たされた際に、検知に関する検知情報として、映像に係るカメラの属性と映像に係る人物の属性とが対応するか否かを示す情報を含めて記憶し、
前記検知情報を出力する、
情報処理システム。
(付記3)
カメラにより撮影された映像を解析してデータを出力する情報処理システムであって、
カメラごとに、カメラの属性を設定し、
人物ごとに、人物の属性を登録し、
前記映像において所定の検知条件が満たされた際に、映像に係る人物が登録された人物であり、かつ、人物の属性が前記映像に係る前記カメラの属性に対応する場合を除いて、人数をカウントし、
前記カウントの結果を出力する、
情報処理システム。
(付記4)
付記1から付記3までの何れか1つに記載の情報処理システムであって、
前記検知条件を設定する、
情報処理システム。
(付記5)
付記1から付記3までの何れか1つに記載の情報処理システムであって、
前記属性は店舗、店舗のフロア、店舗に係るエリアの何れかである、
情報処理システム。
(付記6)
付記5に記載の情報処理システムであって、
前記属性をグルーピングする、
情報処理システム。
(付記7)
付記1から付記6までの何れか1つに記載の情報処理システムであって、
前記検知条件には前記映像のエリアの情報が含まれる、
情報処理システム。
(付記8)
付記1から付記6までの何れか1つに記載の情報処理システムであって、
前記検知条件には前記映像のラインの情報が含まれる、
情報処理システム。
(付記9)
付記3に記載の情報処理システムであって、
前記カウントの結果をCSV形式でファイルに出力する、
情報処理システム。
(付記10)
付記3に記載の情報処理システムであって、
前記カウントの結果をグラフで表示する、
情報処理システム。
(付記11)
カメラにより撮影された映像を解析してデータを出力する情報処理システムが実行する情報処理方法であって、
カメラごとに、カメラの属性を設定し、
人物ごとに、人物の属性を登録し、
前記映像において所定の検知条件が満たされた際に、検知に関する検知情報として、映像に係るカメラの属性と、映像に係る人物の属性とを含めて記憶し、
前記検知情報を出力する、
情報処理方法。
(付記12)
カメラにより撮影された映像を解析してデータを出力する情報処理システムが実行する情報処理方法であって、
カメラごとに、カメラの属性を設定し、
人物ごとに、人物の属性を登録し、
前記映像において所定の検知条件が満たされた際に、検知に関する検知情報として、映像に係るカメラの属性と映像に係る人物の属性とが対応するか否かを示す情報を含めて記憶し、
前記検知情報を出力する、
情報処理方法。
(付記13)
カメラにより撮影された映像を解析してデータを出力する情報処理システムが実行する情報処理方法であって、
カメラごとに、カメラの属性を設定し、
人物ごとに、人物の属性を登録し、
前記映像において所定の検知条件が満たされた際に、映像に係る人物が登録された人物であり、かつ、人物の属性が前記映像に係る前記カメラの属性に対応する場合を除いて、人数をカウントし、
前記カウントの結果を出力する、
情報処理方法。
(付記14)
プログラムであって、
コンピュータを、
付記1から付記10までの何れか1つに記載の情報処理システムとして機能させるためのプログラム。
【0088】
本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態及び実施形態の変形は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【0089】
例えば、上述したサーバー装置100の処理の一部をクライアント装置110及び/又はクライアント装置120が実行するようにしてもよい。また、上述したサーバー装置100の処理の一部を監視カメラ160が実行するようにしてもよい。
【符号の説明】
【0090】
100 :サーバー装置
110 :クライアント装置
150 :ネットワーク
160 :監視カメラ
210 :制御部
220 :記憶部
230 :通信部
1000 :情報処理システム

【要約】      (修正有)
【課題】カメラにより撮影された映像を解析してデータを出力する情報処理システム、情報処理方法及びプログラムを提供する。
【解決手段】サーバー装置100と、クライアント装置110、120と、複数の監視カメラ160とが、ネットワーク150を介して通信可能に接続されている情報処理システム1000において、サーバ装置の制御部は、監視カメラ毎に、カメラの属性を設定し、人物毎に、人物の属性を登録し、映像において所定の検知条件が満たされた際に、検知に関する検知情報として、映像に係るカメラの属性と、映像に係る人物の属性とを含めて記憶し、クライアント装置に検知情報を出力する。
【選択図】図1
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17