特開 2024-142460 迷惑行為検知システム、及び、迷惑行為検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024142460

(43)【公開日】2024-10-11

(54)【発明の名称】迷惑行為検知システム、及び、迷惑行為検知方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20241003BHJP

   G08B 25/00 20060101ALI20241003BHJP

【ＦＩ】

G06T7/20 300Z

G08B25/00 510M

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023054602

(22)【出願日】2023-03-30

(71)【出願人】

【識別番号】511213982

【氏名又は名称】ダイワ通信株式会社

(74)【代理人】

【識別番号】100137394

【弁理士】

【氏名又は名称】横井 敏弘

(72)【発明者】

【氏名】岩本 秀成

【テーマコード（参考）】

5C087

5L096

【Ｆターム（参考）】

5C087AA09

5C087AA10

5C087BB74

5C087FF01

5C087FF04

5C087GG02

5C087GG06

5C087GG20

5C087GG35

5C087GG66

5L096BA02

5L096CA04

5L096DA02

5L096FA69

5L096HA05

5L096KA04

(57)【要約】

【課題】 店舗における迷惑行為を効率的に検知する。
【解決手段】 迷惑行為検知システムは、店舗内に設置されたカメラと、前記カメラにより撮影された画像に基づいて、前記店舗における営業に対して迷惑となる迷惑行為を特定する迷惑行為特定部と、前記カメラにより撮影された画像に基づいて、前記迷惑行為特定部により特定された迷惑行為の影響範囲を特定する範囲特定部とを有する。好適には、前記カメラにより撮影された画像データに基づいて、前記範囲特定部により特定された滞在領域に対する現状復帰作業が行われたか否かを判定する作業判定部をさらに有し、前記範囲特定部により特定された滞在領域と、前記作業判定部による判定結果とを互いに関連付けて表示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

店舗内に設置されたカメラと、
前記カメラにより撮影された画像に基づいて、前記店舗における営業に対して迷惑となる迷惑行為を特定する迷惑行為特定部と、
前記カメラにより撮影された画像に基づいて、前記迷惑行為特定部により特定された迷惑行為の影響範囲を特定する範囲特定部と
を有する迷惑行為検知システム。

【請求項2】

前記迷惑行為特定部は、前記店舗内で撮影された画像データに基づいて生成された人工知能と、前記カメラにより撮影された画像データとに基づいて、前記店舗に来店した来店客の迷惑行為を特定し、
前記範囲特定部は、前記カメラにより撮影された画像データに基づいて、前記迷惑行為を行った来店客の滞在領域を、この迷惑行為の影響範囲として特定し、
前記範囲特定部により特定された滞在領域を、前記迷惑行為特定部により特定された迷惑行為に関連付けて表示する表示部
をさらに有する請求項１に記載の迷惑行為検知システム。

【請求項3】

前記範囲特定部は、さらに、前記カメラにより撮影された画像データに基づいて、前記迷惑行為を行った来店客の滞在期間を、この迷惑行為の影響範囲として特定し、
前記表示部は、前記範囲特定部により特定された滞在期間を、前記迷惑行為特定部により特定された迷惑行為に関連付けて表示する
請求項２に記載の迷惑行為検知システム。

【請求項4】

前記範囲特定部は、さらに、前記カメラにより撮影された画像データに基づいて、前記迷惑行為の対象物を、この迷惑行為の影響範囲として特定し、
前記表示部は、前記範囲特定部により特定された対象物を、前記迷惑行為特定部により特定された迷惑行為に関連付けて表示する
請求項２に記載の迷惑行為検知システム。

【請求項5】

前記カメラにより撮影された画像データに基づいて、前記範囲特定部により特定された滞在領域に対する現状復帰作業が行われたか否かを判定する作業判定部
をさらに有し、
前記表示部は、前記範囲特定部により特定された滞在領域と、前記作業判定部による判定結果とを互いに関連付けて表示する
請求項４に記載の迷惑行為検知システム。

【請求項6】

カメラが、店舗内を撮影する撮影ステップと、
コンピュータが、前記カメラにより撮影された画像に基づいて、前記店舗における営業に対して迷惑となる迷惑行為を特定する迷惑行為特定ステップと、
コンピュータが、前記カメラにより撮影された画像に基づいて、前記迷惑行為特定ステップにより特定された迷惑行為の影響範囲を特定する範囲特定ステップと
を有する迷惑行為検知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、迷惑行為検知システム、及び、迷惑行為検知方法に関する。

【背景技術】

【0002】

罪刑法定主義によって犯罪行為は比較的定義が明確であるが、店舗営業に対する迷惑行為は定型化しにくい。そのため、店舗における迷惑行為の検知は難しかった。
なお、特許文献１には、ユーザ端末に対するユーザの操作に起因して登録された情報であって、ユーザの行動とユーザＩＤとが対応付けられたユーザ行動情報を記憶する第１記憶部と、所定のエリアに設置された撮像装置により撮像された画像に基づく情報であって、前記エリアでの人物の行動と、撮像された人物または画像のＩＤである画像ＩＤとが対応付けられたエリア行動情報を記憶する第２記憶部と、を備え、前記ユーザ端末は、前記エリアにおいて所定の行動に関するユーザの操作が入力された場合、前記所定の行動を本情報処理装置へ通知することにより、前記所定の行動を示すユーザ行動情報を前記第１記憶部に記憶させ、前記第１記憶部に記憶されたユーザ行動情報のうち前記所定の行動を示す特定のユーザ行動情報に含まれるユーザＩＤと、前記第２記憶部に記憶されたエリア行動情報のうち前記所定の行動を示す特定のエリア行動情報に含まれる画像ＩＤとを対応づける紐付け部と、或るユーザのユーザＩＤを含むユーザ行動情報を前記第１記憶部から取得するとともに、そのユーザＩＤに対応づけられた画像ＩＤを含むエリア行動情報を前記第２記憶部から取得する取得部と、をさらに備えることを特徴とする情報処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－４２６４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、店舗における迷惑行為を効率的に検知することを目的とする。

【課題を解決するための手段】

【0005】

本発明に係る迷惑行為検知システムは、店舗内に設置されたカメラと、前記カメラにより撮影された画像に基づいて、前記店舗における営業に対して迷惑となる迷惑行為を特定する迷惑行為特定部と、前記カメラにより撮影された画像に基づいて、前記迷惑行為特定部により特定された迷惑行為の影響範囲を特定する範囲特定部とを有する。

【0006】

好適には、前記迷惑行為特定部は、前記店舗内で撮影された画像データに基づいて生成された人工知能と、前記カメラにより撮影された画像データとに基づいて、前記店舗に来店した来店客の迷惑行為を特定し、前記範囲特定部は、前記カメラにより撮影された画像データに基づいて、前記迷惑行為を行った来店客の滞在領域を、この迷惑行為の影響範囲として特定し、前記範囲特定部により特定された滞在領域を、前記迷惑行為特定部により特定された迷惑行為に関連付けて表示する表示部をさらに有する。

【0007】

好適には、前記範囲特定部は、さらに、前記カメラにより撮影された画像データに基づいて、前記迷惑行為を行った来店客の滞在期間を、この迷惑行為の影響範囲として特定し、前記表示部は、前記範囲特定部により特定された滞在期間を、前記迷惑行為特定部により特定された迷惑行為に関連付けて表示する。

【0008】

好適には、前記範囲特定部は、さらに、前記カメラにより撮影された画像データに基づいて、前記迷惑行為の対象物を、この迷惑行為の影響範囲として特定し、前記表示部は、前記範囲特定部により特定された対象物を、前記迷惑行為特定部により特定された迷惑行為に関連付けて表示する。

【0009】

好適には、前記カメラにより撮影された画像データに基づいて、前記範囲特定部により特定された滞在領域に対する現状復帰作業が行われたか否かを判定する作業判定部をさらに有し、前記表示部は、前記範囲特定部により特定された滞在領域と、前記作業判定部による判定結果とを互いに関連付けて表示する。

【0010】

また、本発明に係る迷惑行為検知方法は、カメラが、店舗内を撮影する撮影ステップと、コンピュータが、前記カメラにより撮影された画像に基づいて、前記店舗における営業に対して迷惑となる迷惑行為を特定する迷惑行為特定ステップと、コンピュータが、前記カメラにより撮影された画像に基づいて、前記迷惑行為特定ステップにより特定された迷惑行為の影響範囲を特定する範囲特定ステップとを有する。

【発明の効果】

【0011】

本発明によれば、店舗における迷惑行為を効率的に検知することができる。

【図面の簡単な説明】

【0012】

【図1】迷惑行為検知システム１の全体構成を例示する図である。

【図2】管理装置２のハードウェア構成を例示する図である。

【図3】管理装置２の機能構成を例示する図である。

【図4】管理装置２に記録される迷惑行為情報を例示する図である。

【図5】検知処理（Ｓ１０）を説明するフローチャートである。

【図6】結果表示例９００である。

【発明を実施するための形態】

【0013】

以下、図面を参照して、本発明の実施形態を説明する。
図１は、迷惑行為検知システム１の全体構成を例示する図である。
図１に例示するように、迷惑行為検知システム１は、管理装置２と、カメラ４０とを含み、インターネット７などの通信回線を介して互いに接続している。
管理装置２は、後述するサーバプログラム３がインストールされたコンピュータ端末であり、カメラ４０により撮影された画像データに基づいて、迷惑行為を検知し、検知された迷惑行為の影響範囲を特定する。

【0014】

カメラ４０は、店舗内に設置された撮影装置であり、例えば、セキュリティカメラ又はデジタルカメラ等である。本例のカメラ４０は、店舗内の状況を動画像として撮影するが、連続的に静止画像を撮影してもよい。

【0015】

図２は、管理装置２のハードウェア構成を例示する図である。
図２に例示するように、管理装置２は、ＣＰＵ２００、メモリ２０２、ＨＤＤ２０４、ネットワークインタフェース２０６（ネットワークＩＦ２０６）、表示装置２０８、及び入力装置２１０を有し、これらの構成はバス２１２を介して互いに接続している。
ＣＰＵ２００は、例えば、中央演算装置である。
メモリ２０２は、例えば、揮発性メモリであり、主記憶装置として機能する。
ＨＤＤ２０４は、例えば、ハードディスクドライブ装置であり、不揮発性の記録装置としてコンピュータプログラムやその他のデータファイルを格納する。
ネットワークＩＦ２０６は、有線又は無線で通信するためのインタフェースであり、例えば、カメラ４０との通信を実現する。
表示装置２０８は、例えば、液晶ディスプレイである。
入力装置２１０は、例えば、キーボードやマウスなどである。

【0016】

図３は、管理装置２の機能構成を例示する図である。
図３に例示するように、本例の管理装置２には、サーバプログラム３がインストールされると共に、学習情報データベース３７０（学習情報ＤＢ３７０）及びファイルデータベース３７２（ファイルＤＢ３７２）が構成されている。
サーバプログラム３は、画像データ取得部３００、迷惑行為特定部３１０、人物追跡部３２０、対象物追跡部３３０、範囲特定部３４０、作業判定部３５０、及び表示部３６０を有する。
なお、サーバプログラム３の一部又は全部は、ＡＳＩＣなどのハードウェアにより実現されてもよい。また、サーバプログラム３は、例えば、ＣＤ－ＲＯＭなどの記録媒体に格納されており、この記録媒体を介して管理装置２にインストールされる。

【0017】

サーバプログラム３において、画像データ取得部３００は、カメラ４０により撮影された動画像の画像データを取得する。本例の画像データ取得部３００は、カメラ４０により撮影された動画像の画像データを取得し、取得された画像データを、カメラＩＤ（カメラの設置場所を特定する情報）に関連付けてファイルＤＢ３７２に登録する。

【0018】

迷惑行為特定部３１０は、カメラ４０により撮影された画像に基づいて、店舗における営業に対して迷惑となる迷惑行為を特定する。例えば、迷惑行為特定部３１０は、店舗内で撮影された画像データに基づいて生成された人工知能と、カメラ４０により撮影された画像データとに基づいて、店舗に来店した来店客の迷惑行為を特定する。人口知能の教師データは、例えば、店舗内で行われる典型的な迷惑行為の撮影画像である。
本例の迷惑行為特定部３１０は、典型的な迷惑行為の撮影画像を学習させた人工知能と、画像データ取得部３００により取得された画像データとに基づいて、店舗に来店した来店客の迷惑行為を特定し、迷惑行為が特定された場合に、より多い類型の迷惑行為の撮影画像を学習させた人工知能と、範囲特定部３４０により特定された影響範囲の動画像データとに基づいて、再度、同一人物の迷惑行為を特定する。

【0019】

人物追跡部３２０は、カメラ４０により撮影された画像データに基づいて、迷惑行為を行った来店客を追跡し、この来店客の滞在領域及び滞在時間帯を特定する。
対象物追跡部３３０は、カメラ４０により撮影された画像データに基づいて、迷惑行為の対象物を追跡する。

【0020】

範囲特定部３４０は、カメラ４０により撮影された画像に基づいて、迷惑行為特定部３１０により特定された迷惑行為の影響範囲を特定する。例えば、範囲特定部３４０は、人物追跡部３２０により特定された来店客の滞在領域及び滞在時間帯に基づいて、迷惑行為特定部３１０により特定された迷惑行為の空間上の影響範囲（滞在領域）及び時間上の影響範囲（滞在時間帯）を特定する。なお、迷惑行為特定部３１０は、範囲特定部３４０により特定された迷惑行為の影響範囲内の動画像に基づいて、再度、迷惑行為の特定を行う。

【0021】

作業判定部３５０は、カメラ４０により撮影された画像データに基づいて、範囲特定部３４０により特定された滞在領域に対する現状復帰作業が行われたか否かを判定する。本例の作業判定部３５０は、店舗内で撮影された現状復帰作業の画像データを学習させた人工知能と、カメラ４０により撮影された画像データとに基づいて、範囲特定部３４０により特定された滞在領域及び滞在時間帯に対する現状復帰作業が行われたか否かを判定する。

【0022】

表示部３６０は、範囲特定部３４０により特定された滞在領域及び滞在時間帯を、迷惑行為特定部３１０により特定された迷惑行為に関連付けて表示する。さらに、表示部３６０は、範囲特定部３４０により特定された滞在領域と、作業判定部３５０による判定結果とを互いに関連付けて表示する。

【0023】

学習情報ＤＢ３７０は、店舗内で撮影された迷惑行為の動画像に基づいて生成された学習モデルを格納する。本例の学習情報ＤＢ３７０は、典型的な迷惑行為の動画像を学習させた学習モデルと、さらに多くの種類の迷惑行為の動画像を学習させた学習モデルとを格納する。
ファイルＤＢ３７２は、画像データ取得部３００により取得された動画像データに加えて、図４に例示する迷惑行為情報を格納する。格納される迷惑行為情報には、範囲特定部３４０により特定された影響範囲（滞在領域及び滞在時間帯）と、作業判定部３５０による判定結果（現状復帰作業の完了／未完）と、影響範囲に属する動画像データとが含まれる。

【0024】

図５は、迷惑行為検知システム１における検知処理（Ｓ１０）を説明するフローチャートである。
図５に示すように、ステップ１００（Ｓ１００）において、店舗内に設置された複数のカメラ４０は、それぞれの設置場所で動画像を撮影し、撮影された画像データを管理装置２に送信する。
管理装置２の画像データ取得部３００（図３）は、各カメラ４０から受信した画像データをカメラＩＤに関連付けてファイルＤＢ３７２に格納する。
迷惑行為特定部３１０は、典型的な迷惑行為の撮影画像を学習させた人工知能と、画像データ取得部３００により取得された画像データとに基づいて、店舗に来店した来店客の迷惑行為を特定する。

【0025】

ステップ１０５（Ｓ１０５）において、サーバプログラム３は、迷惑行為特定部３１０により迷惑行為が特定された場合に、Ｓ１１０の処理に移行し、迷惑行為特定部３１０により迷惑行為が特定されない場合に、Ｓ１００の処理に戻る。
ステップ１１０（Ｓ１１０）において、人物追跡部３２０は、ファイルＤＢ３７２に格納されている画像データの中で、迷惑行為特定部３１０により特定された迷惑行為の行為主（迷惑行為を行った来店客）を追跡し、この来店客の滞在領域及び滞在時間帯を特定する。この際に、行為主の追跡範囲は、複数のカメラ４０により撮影された複数の画像データにわたる場合がある。
対象物追跡部３３０は、ファイルＤＢ３７２に格納されている画像データの中で、迷惑行為特定部３１０により特定された迷惑行為の対象物を追跡して、対象物の移動範囲（空間上の影響範囲）を特定する。この場合の同様に、対象物の追跡範囲は、複数のカメラ４０により撮影された複数の画像データにわたる場合がある。

【0026】

ステップ１１５（Ｓ１１５）において、範囲特定部３４０は、人物追跡部３２０により特定された来店客の滞在領域及び滞在時間帯に基づいて、迷惑行為特定部３１０により特定された迷惑行為の空間上の影響範囲（滞在領域）及び時間上の影響範囲（滞在時間帯）を特定し、対象物追跡部３３０により特定された対象物の移動範囲に基づいて、迷惑行為の空間上の影響範囲（移動範囲）を特定する。
ステップ１２０（Ｓ１２０）において、作業判定部３５０は、店舗内で撮影された現状復帰作業の画像データを学習させた人工知能と、ファイルＤＢ３７２に格納されている画像データとに基づいて、範囲特定部３４０により特定された影響範囲に対して、現状復帰作業が行われたか否かを判定する。

【0027】

ステップ１２５（Ｓ１２５）において、表示部３６０は、範囲特定部３４０により特定された影響範囲（滞在領域、移動範囲、及び滞在時間帯）と、作業判定部３５０による判定結果とを、迷惑行為特定部３１０により特定された迷惑行為に関連付けて表示する。例えば、表示部３６０は、図６に例示するように、範囲特定部３４０により特定された滞在時間の動画像データに、この迷惑行為の空間上の影響範囲を枠線等で重畳して表示し、さらに、行為主の滞在時間帯と、現状復帰作業が行われた時間帯とを同日画面上に表示する。

【0028】

以上説明したように、本実施形態の迷惑行為検知システム１によれば、カメラ４０により撮影された画像データに基づいて迷惑行為を特定し、特定された迷惑行為の影響範囲を他の迷惑行為の探索範囲として提示することができる。店舗の営業活動に対する迷惑行為といえるものは、非常に多岐にわたり、その全ての判定条件を予め定義することは現実的ではない。そこで、典型的な迷惑行為を行った行為主を起点として、迷惑行為が行わる可能性が高い範囲（影響範囲）を定義して、再探索の対象とすることにより、迷惑行為の特定を効率化する。
さらに、迷惑行為検知システム１によれば、特定された迷惑行為の影響範囲を現状復帰作業が必要な範囲として提示し、その範囲内で現状復帰作業が適切になされているか否かを判定することができる。これにより、迷惑行為が行われた後の現状復帰作業が適切に行われたことを明示して、以後の来店客に安心してもらうことが期待できる。

【0029】

なお、本発明の実施形態及び変形例を説明したが、上記実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0030】

１ 迷惑行為検知システム
２ 管理装置
３ サーバプログラム
４０ カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】