IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ セーフィー株式会社の特許一覧

<>
  • 特許-システムおよびプログラム 図1
  • 特許-システムおよびプログラム 図2
  • 特許-システムおよびプログラム 図3
  • 特許-システムおよびプログラム 図4
  • 特許-システムおよびプログラム 図5
  • 特許-システムおよびプログラム 図6
  • 特許-システムおよびプログラム 図7
  • 特許-システムおよびプログラム 図8
  • 特許-システムおよびプログラム 図9
  • 特許-システムおよびプログラム 図10
  • 特許-システムおよびプログラム 図11
  • 特許-システムおよびプログラム 図12
  • 特許-システムおよびプログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-05-12
(45)【発行日】2023-05-22
(54)【発明の名称】システムおよびプログラム
(51)【国際特許分類】
   H04N 7/18 20060101AFI20230515BHJP
【FI】
H04N7/18 D
H04N7/18 U
【請求項の数】 14
(21)【出願番号】P 2022123856
(22)【出願日】2022-08-03
【審査請求日】2022-08-17
【早期審査対象出願】
(73)【特許権者】
【識別番号】515029558
【氏名又は名称】セーフィー株式会社
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【弁理士】
【氏名又は名称】西島 孝喜
(74)【代理人】
【識別番号】100109335
【弁理士】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100170209
【弁理士】
【氏名又は名称】林 陽和
(72)【発明者】
【氏名】谷野 香菜
(72)【発明者】
【氏名】郭 立業
(72)【発明者】
【氏名】橋本 貴博
(72)【発明者】
【氏名】鬼城 渉
(72)【発明者】
【氏名】藤澤 真之
(72)【発明者】
【氏名】大友 裕明
(72)【発明者】
【氏名】河津 正和
(72)【発明者】
【氏名】柏木 直諒
(72)【発明者】
【氏名】二宮 アリソン
(72)【発明者】
【氏名】松田 一輝
(72)【発明者】
【氏名】大場 悠介
(72)【発明者】
【氏名】沖 総一朗
(72)【発明者】
【氏名】小嶋 幸恵
【審査官】長谷川 素直
(56)【参考文献】
【文献】特開2021-145243(JP,A)
【文献】特開2010-277547(JP,A)
【文献】国際公開第2015/040929(WO,A1)
【文献】特開2017-188023(JP,A)
【文献】特開2022-053126(JP,A)
【文献】特開2012-123460(JP,A)
【文献】特開2021-100173(JP,A)
【文献】国際公開第2017/026155(WO,A1)
【文献】特開2020-166590(JP,A)
【文献】特開2021-136656(JP,A)
【文献】特開2021-072475(JP,A)
【文献】特開2006-019845(JP,A)
【文献】特開2020-178149(JP,A)
【文献】特開2010-258704(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G08B 25/00
G06F 16/70
(57)【特許請求の範囲】
【請求項1】
ネットワークに接続されたカメラにより撮影された映像を表示するシステムであって、
対象エリアに留まっている人の数に関する第1閾値、および前記対象エリアに人が留まっている時間に関する第2閾値の指示を受け付けるインターフェースが同一画面上に設けられたユーザインターフェースを出力し、
前記ユーザインターフェースを介したユーザの指示に応じて、前記第1閾値、および前記第2閾値を設定し、
前記対象エリアに留まっている人の数、および前記対象エリアに人が留まっている時間を計測し、
前記対象エリアに前記第2閾値以上の時間留まった人の数が前記第1閾値以上になったときの映像を示すサムネイルを生成し、
生成された前記サムネイルを表示する、
システム。
【請求項2】
前記対象エリアに人が入った時間と前記対象エリアから人が出た時間とに基づいて、前記対象エリアに人が留まっている時間を計測し、前記対象エリアに人が入った時間から所定の時間が経過したときに前記対象エリアに留まっている人の数をカウントアップし、前記対象エリアから人が出たときに前記対象エリアに留まっている人の数をカウントダウンする、
請求項1に記載のシステム。
【請求項3】
更に前記対象エリアを変更可能に設定する、
請求項1に記載のシステム。
【請求項4】
更に所望の時間帯、曜日、または日付のうち何れか1つ以上に関する条件を設定し、
前記条件が成立したときの映像を示す前記サムネイルも生成する、
請求項1に記載のシステム。
【請求項5】
前記サムネイルが複数表示されている場合、ユーザの指示に応じて、表示された前記サムネイルの中から何れかを選択し、
選択された前記サムネイルに対応する映像を再生する、
請求項1に記載のシステム。
【請求項6】
前記対象エリアに人が留まっている時間を人ごとに計測し、
人ごとに計測された前記時間に基づいて前記サムネイルを生成する、
請求項1に記載のシステム。
【請求項7】
ネットワークに接続されたカメラにより撮影された映像を表示するシステムであって、
ユーザの指示に応じて、対象エリアに留まっている人の数に関する第1閾値、および前記対象エリアに人が留まっている時間に関する第2閾値を設定し、
前記対象エリアに留まっている人の数、および前記対象エリアに人が留まっている時間を計測し、
前記対象エリアに前記第2閾値以上の時間留まった人の数が前記第1閾値以上になった前記映像のタイミングを示すオブジェクトを時系列上に配置したタイムラインを生成し、
生成された前記タイムラインを表示する、
システム。
【請求項8】
前記対象エリアに人が入った時間と前記対象エリアから人が出た時間とに基づいて、前記対象エリアに人が留まっている時間を計測し、前記対象エリアに人が入った時間から所定の時間が経過したときに前記対象エリアに留まっている人の数をカウントアップし、前記対象エリアから人が出たときに前記対象エリアに留まっている人の数をカウントダウンする、
請求項7に記載のシステム。
【請求項9】
更に前記対象エリアを変更可能に設定する、
請求項に記載のシステム。
【請求項10】
更に所望の時間帯、曜日、または日付のうち何れか1つ以上に関する条件を設定し、
前記条件が成立したときの情報を時系列で示す前記タイムラインも生成する、
請求項に記載のシステム。
【請求項11】
ユーザの指示に応じて、表示された前記タイムラインの中から時刻を指定し、
指定された前記時刻に対応する映像を再生する、
請求項に記載のシステム。
【請求項12】
前記対象エリアに人が留まっている時間を人ごとに計測し、
人ごとに計測された前記時間に基づいて前記タイムラインを生成する、
請求項に記載のシステム。
【請求項13】
ネットワークに接続されたカメラにより撮影された映像を表示するためのプログラムであって、
対象エリアに留まっている人の数に関する第1閾値、および前記対象エリアに人が留まっている時間に関する第2閾値の指示を受け付けるインターフェースが同一画面上に設けられたユーザインターフェースを出力することと、
前記ユーザインターフェースを介したユーザの指示に応じて、前記第1閾値、および前記第2閾値を設定することと、
前記対象エリアに留まっている人の数、および前記対象エリアに人が留まっている時間を計測することと、
前記対象エリアに前記第2閾値以上の時間留まった人の数が前記第1閾値以上になったときの映像を示すサムネイルを生成することと、
生成された前記サムネイルを表示することと、
をコンピュータに実行させるための、プログラム。
【請求項14】
ネットワークに接続されたカメラにより撮影された映像を表示するためのプログラムであって、
ユーザの指示に応じて、対象エリアに留まっている人の数に関する第1閾値、および前記対象エリアに人が留まっている時間に関する第2閾値を設定することと、
前記対象エリアに留まっている人の数、および前記対象エリアに人が留まっている時間を計測することと、
前記対象エリアに前記第2閾値以上の時間留まった人の数が前記第1閾値以上になった前記映像のタイミングを示すオブジェクトを時系列上に配置したタイムラインを生成することと、
生成された前記タイムラインを表示することと、
をコンピュータに実行させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、システムおよびプログラムに関する。
【背景技術】
【0002】
従来、防犯目的で設置されるカメラの撮影範囲内に監視エリアを設定し、当該監視エリア内に不審者が存在するか否かを検出する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第6047910号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方、近年、店舗などにカメラを設置し、当該カメラにより撮影された映像をDX(デジタルトランスフォーメーション)に利用する試みがある。この場合、上述した従来技術のような防犯目的とは異なる新たな観点のアプローチで、カメラにより撮影された映像に基づいて、防犯目的以外にも利用可能な、よりリッチな情報を提供することが必要となりうる。
【0005】
そこで、本開示が解決しようとする課題の一つは、カメラにより撮影された映像に基づいて、防犯目的以外にも利用可能な、よりリッチな情報を提供することが可能なシステムおよびプログラムを提供することである。
【課題を解決するための手段】
【0006】
本開示の一例としてのシステムは、ネットワークに接続されたカメラにより撮影された映像を表示するシステムであって、ユーザの指示に応じて、対象エリアに留まっている人の数に関する第1閾値、および対象エリアに人が留まっている時間に関する第2閾値を設定し、対象エリアに留まっている人の数、および対象エリアに人が留まっている時間を計測し、対象エリアに第2閾値以上の時間留まった人の数が第1閾値以上になったときの映像を示すサムネイルを生成し、生成されたサムネイルを表示する。
【0007】
また、本開示の他の一例としてのシステムは、ネットワークに接続されたカメラにより撮影された映像を表示するシステムであって、ユーザの指示に応じて、対象エリアに留まっている人の数に関する第1閾値、および対象エリアに人が留まっている時間に関する第2閾値を設定し、対象エリアに留まっている人の数、および対象エリアに人が留まっている時間を計測し、所定エリアに第2閾値以上の時間留まった人の数が第1閾値以上になったときの情報を時系列で示すタイムラインを生成し、生成されたタイムラインを表示する。
【0008】
また、本開示のさらに他の一例としてのシステムは、ネットワークに接続されたカメラにより撮影された映像を表示するシステムであって、ユーザの指示に応じて、対象エリアとの境界線を示すラインと、当該ラインを介して対象エリアに入る方向を示すIN方向およびラインを介して対象エリアから出る方向を示すOUT方向と、を設定し、ラインをIN方向に通過した人の数とラインをOUT方向に通過した人の数とを区別して集計し、ラインをIN方向に通過した人の数およびラインをOUT方向に通過した人の数のそれぞれの時間遷移を区別して示すグラフを生成し、生成されたグラフを表示する。
【0009】
また、本開示のさらに他の一例としてのプログラムは、ネットワークに接続されたカメラにより撮影された映像を表示するためのプログラムであって、ユーザの指示に応じて、対象エリアに留まっている人の数に関する第1閾値、および対象エリアに人が留まっている時間に関する第2閾値を設定することと、対象エリアに留まっている人の数、および対象エリアに人が留まっている時間を計測することと、対象エリアに第2閾値以上の時間留まった人の数が第1閾値以上になったときの映像を示すサムネイルを生成することと、生成されたサムネイルを表示することと、をコンピュータに実行させるための、プログラムである。
【0010】
また、本開示のさらに他の一例としてのプログラムは、ネットワークに接続されたカメラにより撮影された映像を表示するためのプログラムであって、ユーザの指示に応じて、対象エリアに留まっている人の数に関する第1閾値、および対象エリアに人が留まっている時間に関する第2閾値を設定することと、対象エリアに留まっている人の数、および対象エリアに人が留まっている時間を計測することと、所定エリアに第2閾値以上の時間留まった人の数が第1閾値以上になったときの情報を時系列で示すタイムラインを生成することと、生成されたタイムラインを表示することと、をコンピュータに実行させるための、プログラムである。
【0011】
また、本開示のさらに他の一例としてのプログラムは、ネットワークに接続されたカメラにより撮影された映像を表示するためのプログラムであって、ユーザの指示に応じて、対象エリアとの境界線を示すラインと、当該ラインを介して対象エリアに入る方向を示すIN方向およびラインを介して対象エリアから出る方向を示すOUT方向と、を設定することと、ラインをIN方向に通過した人の数とラインをOUT方向に通過した人の数とを区別して集計することと、ラインをIN方向に通過した人の数およびラインをOUT方向に通過した人の数のそれぞれの時間遷移を区別して示すグラフを生成することと、生成されたグラフを表示することと、をコンピュータに実行させるための、プログラムである。
【図面の簡単な説明】
【0012】
図1図1は、実施形態にかかるシステムの機能的構成を示した例示的かつ模式的なブロック図である。
図2図2は、実施形態にかかるシステムにおいて実行される処理の流れを示した例示的かつ模式的なシーケンス図である。
図3図3は、実施形態にかかる条件の設定を説明するための例示的かつ模式的な図である。
図4図4は、実施形態にかかる対象エリアの登録・編集を説明するための例示的かつ模式的な図である。
図5図5は、実施形態にかかる検知のロジックを説明するための例示的かつ模式的な図である。
図6図6は、実施形態にかかるサムネイルの表示態様の一例を示した例示的かつ模式的な図である。
図7図7は、実施形態にかかるタイムラインの表示態様の一例を示した例示的かつ模式的な図である。
図8図8は、実施形態にかかるタイムラインの表示態様の他の一例を示した例示的かつ模式的な図である。
図9図9は、実施形態にかかるグラフの表示態様の一例を示した例示的かつ模式的な図である。
図10図10は、実施形態にかかるグラフの表示態様の他の一例を示した例示的かつ模式的な図である。
図11図11は、実施形態にかかるカメラ、クラウドプラットフォーム、およびユーザ端末に含まれる情報処理装置のハードウェア構成を示した例示的かつ模式的なブロック図である。
図12図12は、変形例において設定可能な追加条件の一例を示した例示的かつ模式的な図である。
図13図13は、変形例において設定可能な追加条件の他の一例を示した例示的かつ模式的な図である。
【発明を実施するための形態】
【0013】
以下、本開示の実施形態および変形例を図面に基づいて説明する。以下に記載する実施形態および変形例の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に制限されるものではない。
【0014】
<実施形態>
図1は、実施形態にかかるシステム100の機能的構成を示した例示的かつ模式的なブロック図である。
【0015】
図1に示されるように、実施形態にかかるシステム100は、カメラ110と、クラウドプラットフォーム120と、ユーザ端末130と、を含む。
【0016】
カメラ110は、機能モジュールとして、撮影部111と、検知部112と、通信部113と、を含む。また、クラウドプラットフォーム120は、機能モジュールとして、通信部121と、記録部122と、画像情報生成部123と、を含む。また、ユーザ端末130は、機能モジュールとして、入力受付部131と、通信部132と、表示再生部133と、を含む。
【0017】
カメラ110は、たとえば店舗などに設置され、ネットワーク経由でクラウドプラットフォーム120と通信可能に接続される。また、クラウドプラットフォーム120は、ネットワーク経由でユーザ端末130と通信可能に接続される。これにより、カメラによって撮影された映像(および当該映像に基づいて検出される情報)は、クラウドプラットフォーム120を介してユーザ端末130に提供され、店舗のDXに利用される。
【0018】
ここで、カメラ110により撮影された映像をDXに利用するためには、従来から知られている単純な防犯目的とは異なる、新たな観点からのアプローチが必要となる。
【0019】
たとえば、店舗内におけるレジ前などのエリアに留まっている人の数(以下、滞留数と表現することがある)および当該エリアに人が留まっている時間(以下、滞留時間と表現することがある)に着目することは、DXにおいて有益である。また、店舗内のエリアに出入りした人の数(以下、通過数と表現することがある)を、エリアの境界線を示すラインを人がどの方向に通過したかを区別しながら把握することも、DXにおいて有益である。
【0020】
このように、カメラ110により撮影された映像をDXに利用する場合、当該映像に基づいて防犯目的以外にも利用可能な情報を提供することが望まれる。
【0021】
そこで、実施形態では、図1に示される各機能モジュールが次の図2に示されるような流れで動作することで、カメラ110により撮影された映像に基づいて防犯目的以外にも利用可能な情報を提供することが実現される。
【0022】
図2は、実施形態にかかるシステム100において実行される処理の流れを示した例示的かつ模式的なシーケンス図である。なお、図2では、簡単化のため、クラウドプラットフォーム120が単にクラウド120として表現されている。
【0023】
まず、ユーザ端末130を用いてカメラ110に対して各種の条件の設定を行うための設定処理について説明する。詳細は後述するが、条件とは、たとえば、カメラ110の撮影範囲のうちのどのエリアを対象として上述した滞留数および滞留時間の検知を行うか、および、どのエリアのどのラインを対象として上述した通過数の検知を行うか、などに関する条件である。
【0024】
設定処理においては、まず、ステップS201において、ユーザ端末130の入力受付部131は、下記の図3および図4に示されるようなUI(ユーザインターフェース)を介したユーザの操作に基づく条件の設定を受け付ける。
【0025】
図3は、実施形態にかかる条件の設定を説明するための例示的かつ模式的な図である。
【0026】
図3に示される画像300は、ユーザによる条件の設定に関する操作を受け付けるUIの一例である。この画像300は、5つの領域310、320、330、340、および350を含む。
【0027】
領域310には、カメラ110により現在撮影されている映像がユーザの参考のために表示される。また、領域320には、現在の設定内容を設定するための名前の入力を受け付けるインターフェースが表示される。また、領域330には、上述した滞留数および滞留時間の検知を行う対象エリアの設定を受け付けるインターフェースが表示される。具体的には、予め登録されたエリアの一覧をプルダウンメニューで表示し、その中からユーザが選択したエリアを設定する。エリアの登録は、たとえば右上の「エリアの登録・編集」をクリックすると表示される、次の図4に示されるようなUIを介したユーザの操作に基づいて行われる。なお、このようにエリアの設定を登録&選択という2段階で行う設計とした理由は、同じエリアでも滞留人数や滞留時間等の条件が異なる設定を複数設定したい場合に、そのエリアを毎回何度も1から設定するユーザの手間を軽減させるとともに、エリアの位置や大きさ形等がブレなく共通のものとするためである。
【0028】
図4は、実施形態にかかる対象エリアの登録・編集を説明するための例示的かつ模式的な図である。なお、この例ではエリアとラインを共通の画面で登録・編集しているが、これらは別々の画面で行うようにしてもよい。左側には、設定済のエリア名(またはライン名)402が一覧表示されるとともに、設定可能なエリア数(またはライン数)の上限値と現在設定済のエリア数(またはライン数)を示す情報、新たなエリア(またはライン)を登録するための新規作成ボタン403が表示される。各エリア名402において、左側にある「色のアイコン」は、領域401Aに表示された画像400内に設定されたエリア(またはライン)の色と連動しており、これをクリックして色を選択することでエリア(またはライン)毎に所望の色を設定することが可能である。また、右側にある「削除」ボタンは、これをクリックすることで対応するエリア(またはライン)を削除することが可能である。エリア名(またはライン名)402の中から1つをクリックして選択すると、その名称と画像400内の対応するエリア(またはライン)が共に強調表示され、選択されていることが識別可能となる。エリア(またはライン)が選択された状態で、画像400内の対応するエリア(またはライン)をクリック/ドラッグ等すると、そのエリア(またはライン)の位置や形を変更することが可能である。
【0029】
図4に示される画像401は、ユーザによる対象エリアの設定に関する操作を受け付けるUIの一例である。たとえば、図4に示される例では、対象エリアとして、6つのエリア411~416が設定されている。ユーザは、新規作成ボタン403をクリックした後、領域401Aに表示された画像400上でドラッグ&ドロップ操作などを行うことにより、所望の位置、大きさ、および形のエリアを設定することが可能である。たとえば、エリアの頂点を順次クリックしていき、最後の頂点でダブルクリックすることにより、それらの頂点を結ぶエリアが設定される。
【0030】
なお、図4に示される画像400は、上述した通過数の検知を行う対象のラインの設定にも利用される。たとえば、図4に示される例では、ラインとして、7つのライン421~427が設定されている。ユーザは、新規作成ボタン403をクリックした後、画像400上でクリック操作などを行うことで始点および終点を設定することにより、所望のラインを設定することが可能である。たとえば、1回目のクリックで始点を、2回目のクリックで終点を決定し、その2点間を結ぶラインおよびそれと直交する方向にIN/OUTを示す矢印が互いに反対向きで設定される。
【0031】
ここで、図4に示される例では、ライン421~427の一端が、丸いマークで強調されているが、この強調された一端は、ラインの終点を示す。また、図4に示される例では、ライン421に対して、互いに逆方向の2つの矢印421Aおよび421Bが設定されているが、これらの矢印421Aおよび421Bは、ライン421の始点および終点の設定に応じて自動で設定される。これにより、IN/OUTそれぞれのカウントを行うためのラインを一度に引けるため、ユーザの操作の手間が軽減され、同じ場所にIN/OUT共通のラインを正確に設定でき、設定したラインが見た目に分かりやすいUIとすることが可能となる。矢印421Aおよび421Bは、上述した通過数の検知の際に、ライン421を人がどの方向に通過したかを区別するため利用される。たとえば、図4に示される例では、矢印421AがIN方向、矢印421BがOUT方向として定義されている。なお、図4には図示されていないが、他のライン422~427に対しても、ライン421と同様の2つの方向が設定されることは、言うまでもない。また、本実施形態においては、主に建物や部屋の出入口、フロアを領域ごとに区分けした場合の境界線等にラインを引いて、そこを通過した人数をカウントすることにより様々な場所の人流を可視化することを想定しているため、IN/OUTという言葉を用いているが、これ以外の言葉で表現してもよい。なお、図4に示される保存ボタン404は、上記のように行ったエリアおよびラインの設定を保存するためのクリック操作を受け付けるインターフェースである。
【0032】
図3に戻り、領域340には、上述した滞留数および滞留時間に関する閾値の設定を受け付けるインターフェースが表示される。また、領域350には、滞留数および滞留時間が閾値を超えたか否かの検知およびその通知をどのタイミング(たとえば時間帯、曜日、日付など)で行うかの設定を受け付けるインターフェースが表示される。
【0033】
図2に戻り、ステップS201における条件の設定が終了すると、ステップS202において、ユーザ端末130の通信部132は、設定された条件をクラウドプラットフォーム120に送信する。そして、クラウドプラットフォーム120の通信部121は、ユーザ端末130により送信された条件を受信する。
【0034】
そして、ステップS203において、クラウドプラットフォーム120の通信部121は、ユーザ端末130から受信した条件をカメラ110に転送する。そして、カメラ110の通信部113は、クラウドプラットフォーム120により送信された条件を受信する。
【0035】
そして、ステップS204において、カメラ110の検知部112は、クラウドプラットフォーム120から受信した条件を、以下で説明する撮影処理に利用するために保存する。このようにして、設定処理が終了する。
【0036】
次に、カメラ110による映像の撮影と、当該映像に基づく各種の情報の検知と、を含む撮影処理について説明する。
【0037】
撮影処理においては、まず、ステップS211において、カメラ110の撮影部111は、映像を撮影する。そして、ステップS212において、カメラ110の検知部112は、上述した設定処理において行われた設定に基づいて、映像に対して、上述した滞留数および滞留時間の計測と、上述した通過数の集計と、を含む検知処理を実行する。滞留数の検知は、たとえば次の図5に示されるようなロジックで実行される。
【0038】
図5は、実施形態にかかる滞留数の検知のロジックを説明するための例示的かつ模式的な図である。
【0039】
図5に示される例において、5つの線分501~505は、5人の人が対象エリアに留まった滞留時間を示す。より具体的に、線分501は、1人目の人が時間t1から時間t8まで対象エリアに留まったことを示す。同様に、線分502は、2人目の人が時間t3から時間t12まで対象エリアに留まったことを示し、線分503は、3人目の人が時間t5から時間t14まで対象エリアに留まったことを示す。また、線分504は、4人目の人が時間t7から時間t13まで対象エリアに留まったことを示し、線分505は、5人目の人が時間t9から時間t15まで対象エリアに留まったことを示す。このように、実施形態において、滞留時間は、人ごとに計測される。
【0040】
ここで、実施形態では、対象エリア(図2のステップS201で設定されたエリア)に少なくとも所定の時間T(ステップS201で設定された滞留時間)以上留まった人の数を滞留数としてカウントするように構成される。そして、この滞留数がステップS201で設定された滞留人数以上となった場合に、ステップS201で設定された条件(エリア/滞留人数/滞留時間)を全て満たすと判断する。このため、図5に示される例では、1人目の人が対象エリアに入った時間t1から所定の時間Tが経過した後の時間t2になって初めて、滞留数が1にカウントアップする。
【0041】
そして、線分501および502に示されるように、1人目の人は、2人目の人が対象エリアに入った時間t3から所定の時間Tが経過した後の時間t4においても、対象エリアに留まっている。したがって、時間t4になると、滞留数が2にカウントアップする。
【0042】
同様に、線分501~503に示されるように、3人目の人が対象エリアに入った時間t5から所定の時間Tが経過した後の時間t6になると、1人目~3人目の3人が対象エリアに留まっていることになる。したがって、時間t6になると、滞留数が3にカウントアップする。
【0043】
ここで、線分501に示されるように、1人目の人は、時間t8で対象エリアから出る。このため、時間t8になると、滞留数は2にカウントダウンする。なお、線分504に示されるように、時間t8は、4人目の人が対象エリアに入った時間t7よりも後であるが、時間t7から所定の時間Tが経過する前であるため、時間t8における滞留数は、3ではなく、あくまで2である。
【0044】
そして、線分502~504に示されるように、4人目の人が対象エリアに入った時間t7から所定の時間Tが経過した後の時間t10になると、2人目~4人目の人が対象エリアに留まっていることになる。したがって、時間t10になると、滞留数が3にカウントアップする。
【0045】
そして、線分502~505に示されるように、5人目の人が対象エリアに入った時間t9から所定の時間Tが経過した後の時間t11になると、2人目~5人目の人が対象エリアに留まっていることになる。したがって、時間t11になると、滞留数が4にカウントアップする。
【0046】
そして、線分502に示されるように、2人目の人は、時間t12で対象エリアから出る。このため、時間t12になると、滞留数は3にカウントダウンする。そして、線分504に示されるように、4人目の人は、時間t13で対象エリアから出る。このため、時間t13になると、滞留数は2にカウントダウンする。そして、線分503に示されるように、3人目の人は、時間t14で対象エリアから出る。このため、時間t14になると、滞留数は1にカウントダウンする。そして、線分505に示されるように、5人目の人は、時間t15で対象エリアから出る。このため、時間t15になると、滞留数は0にカウントダウンする。
【0047】
図2に戻り、ステップS212が終了すると、ステップS213において、カメラ110の通信部113は、ステップS211において撮影された映像と、ステップS212における検知処理の結果とを、クラウドプラットフォーム120に送信する。ここで、映像には、撮影した時刻が対応付けられ、検知結果には、少なくとも図5の検知ロジックによりステップS201で設定された条件を全て満たすと判断された時刻が含まれる。なお、検知結果は、ステップS201で設定された条件を満たすときのみ送信しても、それ以外のときにも送信してもよい。そして、クラウドプラットフォーム120の通信部121は、カメラ110により送信された情報を受信する。
【0048】
そして、ステップS214において、クラウドプラットフォーム120の記録部122は、カメラ110から受信した映像および検知結果を記録する。そして、ステップS215において、クラウドプラットフォーム120の画像情報生成部123は、DXに有益な情報として、たとえば次の図6に示されるサムネイルのような画像情報を生成する。このようにして、撮影処理が終了する。
【0049】
図6は、実施形態にかかるサムネイルの表示態様の一例を示した例示的かつ模式的な図である。
【0050】
図6に示される画像600は、クラウドプラットフォーム120により生成されるサムネイルを含むUIの一例である。このUIは、後述する確認処理において、DXに有益な情報としてユーザ端末130に提供されうる。図6に示される画像600は、2つの領域610および620を含む。これらの2つの領域610および620は、それぞれ異なる設定のもとでの検知結果を示す。
【0051】
図6に示される例において、領域610および620には、それぞれ複数のサムネイルが表示されている。各サムネイルは、たとえば、図5の検知ロジックによりステップS201(図2参照)で設定された条件を全て満たすと判断された場合、検知された滞留数が閾値(第1閾値)を超え、検知された滞留時間が閾値(第2閾値)を超えた場合などといった、上述した設定処理において設定された各種の条件を満たすタイミングの映像を切り取ったものである。このようなサムネイルをユーザ端末130に提供すれば、DXに利用するためにユーザが映像を確認するにあたり、映像において着目すべきタイミングを適切に絞り込むことが可能になる。なお、各サムネイルには、ステップS201で設定されたエリアと、検知された対象を示すバウンディングボックスも表示する。これにより、ユーザが複数のサムネイルの中から所望のものを更に探しやすくなる。
【0052】
なお、DXに有益な画像情報は、上記のようなサムネイルに限られない。たとえば、実施形態において、クラウドプラットフォーム120の画像情報生成部123は、下記の図6および図7に示されるタイムラインのような画像情報も生成しうる。
【0053】
図7は、実施形態にかかるタイムラインの表示態様の一例を示した例示的かつ模式的な図である。たとえば、図6のサムネイルの何れかをクリックした場合に、それに対応する時刻を中心としたタイムラインを表示するようにしてもよい。
【0054】
図7に示される画像700は、クラウドプラットフォーム120により生成されるタイムラインを含むUIの一例である。このUIは、後述する確認処理において、DXに有益な情報としてユーザ端末130に提供されうる。
【0055】
図7に示される画像700は、タイムラインが表示される領域701を含む。このタイムラインは、たとえば、図5の検知ロジックによりステップS201(図2参照)で設定された条件を全て満たすと判断された場合、検知された滞留数が閾値を超えた場合、検知された滞留時間が閾値を超えた場合などといった、上述した設定処理において設定された各種の条件を満たす映像のタイミングを時系列で識別可能に示すものである。ここでいう識別可能とは、たとえばタイムラインにおいて前述の条件を満たすタイミングに色付きの帯やフラグ等を付けて表示する態様を意味する。色を付ける場合、その色は前述した領域(またはライン)の登録・編集において設定した色と同じ色に対応させるのが好ましい。図7において、前述の条件を満たすケースが「立ち入り検知」のイベントとして分類され、他のイベント「サウンド」「モーション」「スナップショット」等と識別可能な色で、タイムライン上に色付きの帯が表示される。そして、その中からユーザが所望の時刻を指定すると、その時刻に対応する映像が中央の画面に表示される。このようなタイムラインをユーザ端末130に提供しても、上述したサムネイルをユーザ端末130に提供する場合と同様に、DXに利用するためにユーザが映像を確認するにあたり、映像において着目すべきタイミングを適切に絞り込むことが可能になる。
【0056】
なお、図7に示される例では、上述した設定処理において設定された各種の条件を満たす映像のタイミングを単一軸で示すタイムラインが用いられている。しかしながら、実施形態では、次の図8に示されるような、上述した設定処理において設定された各種の条件を満たす映像のタイミングを、条件ごとに複数軸に分けて示すタイムラインを用いることも可能である。
【0057】
図8は、実施形態にかかるタイムラインの表示態様の他の一例を示した例示的かつ模式的な図である。
【0058】
図8に示される画像800は、クラウドプラットフォーム120により生成されるタイムラインを含むUIの、図7とは異なる一例である。図8に示される画像800は、タイムラインが表示される領域801を含む。このタイムラインは、図7に示されるタイムラインと異なり、各種の条件を満たす映像のタイミングが複数軸に分けて示されている。このようなタイムラインをユーザ端末130に提供すれば、DXに利用するためにユーザが映像を確認するにあたり、映像において着目すべきタイミングをより細かい観点で絞り込むことが可能になる。特に、設定の数が多くなると単一軸のタイムライン上では検知結果の表示が重なり見え難くなるところ、複数軸のタイムライン上で示せばその様なことはなくなる。一方、複数軸のタイムラインはUI上でスペースをとるが、図8に示すように映像のウインドウをサムネイルのように縮小し、何れかのタイムライン上で時刻が指定された場合に映像のウインドウを拡大してその時刻に対応する映像を再生するようにすればよい。
【0059】
さらに、DXに有益な画像情報は、上記のようなサムネイルおよびタイムラインに限られない。たとえば、実施形態において、クラウドプラットフォーム120の画像情報生成部123は、下記の図9および図10に示されるグラフのような画像情報も生成しうる。
【0060】
図9は、実施形態にかかるグラフの表示態様の一例を示した例示的かつ模式的な図である。
【0061】
図9に示される画像900は、クラウドプラットフォーム120により生成されるグラフを含むUIの一例である。このUIは、後述する確認処理において、DXに有益な情報としてユーザ端末130に提供されうる。
【0062】
図9に示される画像900には、検知された滞留数の時間遷移を示すグラフが表示されている。左上には、ステップS201(図2参照)で設定されたエリアを含むサムネイルと、その設定の名称が表示される。また、図9に示される画像900は、どの期間のグラフを表示するかを設定するためのインターフェース901と、グラフの集計間隔(各棒に対応する横軸のメモリ間隔)を調整するためのインターフェース902と、滞留時間(集計対象とする条件)を調整するためのインターフェース903と、を含む。これらを変更して「更新」ボタンをクリックすると、その条件に従ってグラフが更新される。このようなグラフをユーザ端末130に提供すれば、対象エリアにおける人の滞留状況を統計的に把握することが可能になる。
【0063】
なお、図9に示される例では、滞留数の時間遷移を示すグラフが用いられている。しかしながら、実施形態では、次の図10に示されるような、上述した設定処理において設定されたラインを通過した人の数の時間遷移を、当該人がどの方向にラインを通過したかを区別して示すグラフを用いることも可能である。
【0064】
図10は、実施形態にかかるグラフの表示態様の他の一例を示した例示的かつ模式的な図である。
【0065】
図10に示される画像1000は、クラウドプラットフォーム120により生成されるグラフを含むUIの図9とは異なる一例である。この画像1000には、ラインを通過した人の数の時間遷移を、当該人がどの方向にラインを通過したかを区別して示すグラフが表示されている。左上には、ステップS201(図2参照)で設定されたラインを含むサムネイルと、その設定の名称が表示される。また、図10に示される画像1000は、どの期間のグラフを表示するかを設定するためのインターフェース1001と、グラフの集計間隔(各棒に対応する横軸のメモリ間隔)を調整するためのインターフェース1002と、を含む。このようなグラフをユーザ端末130に提供すれば、ラインを介した人の出入りの状況を統計的に把握することが可能になる。
【0066】
図2に戻り、上述した撮影処理において撮影される映像および検知される情報を確認するための確認処理について説明する。
【0067】
確認処理においては、まず、ステップS221において、ユーザ端末130の入力受付部131は、上述した撮影処理において撮影される映像および検知される情報を確認するためのユーザの操作に基づく確認要求を受け付ける。
【0068】
そして、ステップS222において、ユーザ端末130の通信部132は、受け付けた確認要求をクラウドプラットフォーム120に送信する。そして、クラウドプラットフォーム120の通信部121は、ユーザ端末130により送信された確認要求を受信する。
【0069】
そして、ステップS223において、クラウドプラットフォーム120の画像情報生成部223は、ユーザ端末130から受信した確認要求に応じて、上述した撮影処理において生成した画像情報(サムネイル、タイムライン、またはグラフ)を読み出す。
【0070】
そして、ステップS224において、クラウドプラットフォーム120の通信部121は、ステップS223において読み出された画像情報をユーザ端末130に送信する。そして、ユーザ端末130の通信部132は、クラウドプラットフォーム120により送信された画像情報を受信する。
【0071】
そして、ステップS225において、ユーザ端末130の表示再生部133は、クラウドプラットフォーム120から受信した画像情報をディスプレイ(不図示)に表示する。画像情報は、たとえば上述した図6図10に示されるような態様で表示される。
【0072】
そして、ステップS226において、ユーザ端末130の入力受付部131は、上述した画像情報に基づいてユーザが所望のタイミングの映像を選択(指定)する操作としての選択指示を受け付ける。具体的には、図6におけるサムネイルの選択、図7および図8におけるタイムライン上の時刻の指定、図9および図10におけるグラフ上の棒の指定等が、これに当たる。
【0073】
そして、ステップS227において、ユーザ端末130の通信部132は、受け付けた選択指示をクラウドプラットフォーム120に送信する。そして、クラウドプラットフォーム120の通信部121は、ユーザ端末130により送信された選択指示を受信する。
【0074】
そして、ステップS228において、クラウドプラットフォーム120の画像情報生成部223は、ユーザ端末130から受信した選択指示に応じて、上述した撮影処理において記録した映像を読み出す。すなわち、ステップS226で選択(指定)されたものに対応する時刻の映像を読み出す。
【0075】
そして、ステップS229において、クラウドプラットフォーム120の通信部121は、ステップS228において読み出された映像をユーザ端末130に送信する。そして、ユーザ端末130の通信部132は、クラウドプラットフォーム120により送信された映像を受信する。
【0076】
そして、ステップS230において、ユーザ端末130の表示再生部133は、クラウドプラットフォーム120から受信した映像をディスプレイ(不図示)上で再生する。たとえば、図7のUIで中央の画面に当該映像を再生する。なお、ステップS226において図6図10のUIを介して選択(指定)が行われるが、これが図7を介した操作であった場合には中央の画面の更新を、その他の図を介した操作であった場合には図7への推移を、それぞれ行うものとする。このようにして、確認処理が終了する。
【0077】
以上説明したように、実施形態にかかるシステム100は、ネットワーク(不図示)に接続されたカメラ110により撮影された映像を表示する。このシステム100は、ユーザの指示に応じて、対象エリアに留まっている人の数に関する閾値(第1閾値)、および対象エリアに人が留まっている時間に関する閾値(第2閾値)を設定するように構成されうる。そして、システム100は、対象エリアに留まっている人の数、および対象エリアに人が留まっている時間を計測(検知)するように構成されうる。そして、システム100は、たとえば、対象エリアに上記の第2閾値以上の時間留まった人の数が上記の第1閾値以上になったときの映像を示すサムネイルを生成し、生成されたサムネイルを表示するように構成されうる。このような構成によれば、カメラ110により撮影された映像に基づいて、防犯目的以外にも利用可能な、よりリッチな情報を提供することができる。
【0078】
また、実施形態において、システム100は、対象エリアを変更可能に設定するように構成されうる。このような構成によれば、変更可能な様々な対象エリアに関する情報を提供することができる。
【0079】
また、実施形態において、システム100は、さらに、所望の時間帯、曜日、または日付のうちいずれか1つ以上に関する条件を設定し、当該条件が成立したときの映像を示すサムネイルも生成するように構成されうる。このような構成によれば、対象エリアに留まっている人の数、および対象エリアに人が留まっている時間に関する観点からの情報に加えて、時間帯、曜日、または日付のうちいずれか1つ以上に関する様々な観点からの情報も提供することができる。
【0080】
また、実施形態において、システム100は、サムネイルが複数表示されている場合、ユーザの指示に応じて、表示されたサムネイルの中からいずれかを選択し、選択されたサムネイルに対応する映像を再生するように構成されうる。このような構成によれば、サムネイルを選択するだけで、当該サムネイルに対応するより詳細な情報としての映像を容易に確認することができる。
【0081】
また、実施形態において、システム100は、対象エリアに人が留まっている時間を人ごとに計測し、当該人ごとに計測された時間に基づいてサムネイルを生成するように構成されうる。このような構成によれば、たとえば人を区別しない場合と異なり、より詳細な情報を提供することができる。
【0082】
さらに、実施形態において、システム100は、所定エリアに第2閾値以上の時間留まった人の数が第1閾値以上になったときの情報を時系列で示すタイムラインを生成し、生成されたタイムラインを表示するようにも構成されうる。このような構成によっても、上記のサムネイルを利用する場合と同様に、カメラ110により撮影された映像に基づいて、防犯目的以外にも利用可能な、よりリッチな情報を提供することができる。
【0083】
また、実施形態にかかるシステム100は、ユーザの指示に応じて、表示されたタイムラインの中から時刻を指定し、指定された時刻に対応する映像を再生するように構成される。このような構成によれば、タイムラインの中から時刻を指定するだけで、当該時刻におけるより詳細な情報としての映像を容易に確認することができる。
【0084】
また、実施形態において、システム100は、対象エリアに人が留まっている時間を人ごとに計測し、当該人ごとに計測された時間に基づいてタイムラインを生成するように構成されうる。このような構成によれば、たとえば人を区別しない場合と異なり、より詳細な情報を提供することができる。
【0085】
さらに、実施形態において、システム100は、ユーザの指示に応じて、対象エリアとの境界線を示すラインと、当該ラインを介して対象エリアに入る方向を示すIN方向およびラインを介して対象エリアから出る方向を示すOUT方向と、を設定するように構成されうる。そして、システム100は、ラインをIN方向に通過した人の数とラインをOUT方向に通過した人の数とを区別して集計するように構成される。そして、システム100は、ラインをIN方向に通過した人の数およびラインをOUT方向に通過した人の数のそれぞれの時間遷移を区別して示すグラフを生成し、生成されたグラフを表示するように構成される。このような構成によっても、上記のサムネイルおよびタイム欄を利用する場合と同様に、カメラ110により撮影された映像に基づいて、防犯目的以外にも利用可能な、よりリッチな情報を提供することができる。
【0086】
なお、実施形態において、システム100は、人の数の集計を行う期間を指定し、指定された期間内の集計結果に対応するグラフを生成するように構成される。このような構成によれば、指定された期間に応じて様々なグラフを容易に生成することができる。
【0087】
また、実施形態において、システム100は、人の数の集計を複数回行うときの時間間隔を指定し、指定された時間間隔で集計したグラフを生成するように構成される。このような構成によれば、指定された時間間隔に応じて様々なグラフを容易に生成することができる。
【0088】
最後に、上述した実施形態にかかるシステム100を構成するカメラ110、クラウドプラットフォーム120、およびユーザ端末130に含まれるハードウェア構成について説明する。実施形態において、カメラ110、クラウドプラットフォーム120、およびユーザ端末130は、たとえば次の図11に示されるようなハードウェア構成を有する情報処理装置1100を含むように構成される。
【0089】
図11は、実施形態にかかるカメラ110、クラウドプラットフォーム120、およびユーザ端末130に含まれる情報処理装置1100のハードウェア構成を示した例示的かつ模式的なブロック図である。
【0090】
なお、図11は、カメラ110、クラウドプラットフォーム120、およびユーザ端末130において実質的に共通するハードウェア構成のみを示したものである。このため、カメラ110、クラウドプラットフォーム120、およびユーザ端末130の実際のハードウェア構成は、図11に示されている以外の部分で様々に異なる点について留意されたい。
【0091】
図11に示されるように、情報処理装置1100は、プロセッサ1110と、メモリ1120と、ストレージ1130と、入出力インターフェース(I/F)1140と、通信インターフェース(I/F)1150と、を備えている。これらのハードウェアは、バス1160に接続されている。
【0092】
プロセッサ1110は、たとえばCPU(Central Processing Unit)として構成され、情報処理装置1100の各部の動作を統括的に制御する。
【0093】
メモリ1120は、たとえばROM(Read Only Memory)およびRAM(Random Access Memory)を含み、プロセッサ1110により実行されるプログラムなどの各種のデータの揮発的または不揮発的な記憶、およびプロセッサ1110がプログラムを実行するための作業領域の提供などを実現する。
【0094】
ストレージ1130は、たとえばHDD(Hard Disk Drive)またはSSD(Solid State Drive)を含み、各種のデータを不揮発的に記憶する。
【0095】
入出力インターフェース1140は、たとえばキーボードおよびマウスなどのような入力装置(不図示)から情報処理装置1100へのデータの入力と、たとえば情報処理装置1100からディスプレイおよびスピーカなどのような出力装置(不図示)へのデータの出力と、を制御する。
【0096】
通信インターフェース1150は、情報処理装置1100が他の装置と通信を実行することを可能にする。
【0097】
実施形態にかかるカメラ110、クラウドプラットフォーム120、およびユーザ端末130が有する各機能モジュール(図1参照)は、それぞれの情報処理装置1100のプロセッサ1110がメモリ1120またはストレージ1130に予め記憶された情報処理プログラムを実行した結果として、ハードウェアとソフトウェアとの協働による機能モジュール群として実現される。ただし、実施形態では、図1に示される機能モジュール群のうち一部または全部が、専用に設計された回路のようなハードウェアのみによって実現されてもよい。
【0098】
なお、上述した情報処理プログラムは、必ずしもメモリ1120またはストレージ1130に予め記憶されている必要はない。たとえば、上述した情報処理プログラムは、フレキシブルディスク(FD)のような各種の磁気ディスク、またはDVD(Digital Versatile Disk)のような各種の光ディスクなどといった、コンピュータで読み取り可能な媒体にインストール可能な形式または実行可能な形式で記録されたコンピュータプログラムプロダクトとして提供されてもよい。
【0099】
また、上述した情報処理プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、上述した情報処理プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける、といった形で提供されてもよい。
【0100】
<変形例>
上述した実施形態の変形例として、たとえば下記の図12および図13に示されるように、カメラ110に対する設定処理において設定可能な条件をさらに追加する構成が考えられる。
【0101】
図12は、変形例において設定可能な追加条件の一例を示した例示的かつ模式的な図である。
【0102】
図12に示される画像1200は、上述した図3に示されるような、ユーザによる条件の設定に関する操作を受け付けるUI上に追加的に表示されうる。この画像1200は、カメラ110に検知させるべき対象物の種類を指定するためのインターフェースを含む。このインターフェースを利用すれば、検知対象を絞りこむことができるので、有益である。
【0103】
また、図13は、変形例において設定可能な追加条件の他の一例を示した例示的かつ模式的な図である。
【0104】
図13に示される画像1300も、上述した図3に示されるような、ユーザによる条件の設定に関する操作を受け付けるUI上に追加的に表示されうる。この画像1300は、カメラ110に検知させるべき検知対象の数の変化の種類を指定するためのインターフェースを含む。このインターフェースを利用すれば、検知対象の数が特定の態様で変化したことを容易に検知することができるので、有益である。
【0105】
以上、本開示の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0106】
100 システム
110 カメラ
111 撮影部
112 検知部
113 通信部
120 クラウドプラットフォーム
121 通信部
122 記録部
123 画像情報生成部
130 ユーザ端末
131 入力受付部
132 通信部
133 表示再生部
【要約】
【課題】カメラにより撮影された映像に基づいて、防犯目的以外にも利用可能な、よりリッチな情報を提供する。
【解決手段】本開示の一例としてのシステムは、ネットワークに接続されたカメラにより撮影された映像を表示するシステムであって、ユーザの指示に応じて、対象エリアに留まっている人の数に関する第1閾値、および対象エリアに人が留まっている時間に関する第2閾値を設定し、対象エリアに留まっている人の数、および対象エリアに人が留まっている時間を計測し、対象エリアに第2閾値以上の時間留まった人の数が第1閾値以上になったときの映像を示すサムネイルを生成し、生成されたサムネイルを表示する。
【選択図】図2
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13