特開 2024-60664 無人店舗行動通知システムおよびその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024060664

(43)【公開日】2024-05-07

(54)【発明の名称】無人店舗行動通知システムおよびその方法

(51)【国際特許分類】

   G08B 25/04 20060101AFI20240425BHJP

   G08B 25/00 20060101ALI20240425BHJP

【ＦＩ】

G08B25/04 E

G08B25/00 510M

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2022168069

(22)【出願日】2022-10-20

(71)【出願人】

【識別番号】518054858

【氏名又は名称】ＮＳＥＮＳＥ株式会社

(74)【代理人】

【識別番号】100083138

【弁理士】

【氏名又は名称】相田 伸二

(74)【代理人】

【識別番号】100189625

【弁理士】

【氏名又は名称】鄭 元基

(74)【代理人】

【識別番号】100196139

【弁理士】

【氏名又は名称】相田 京子

(74)【代理人】

【識別番号】100199004

【弁理士】

【氏名又は名称】服部 洋

(72)【発明者】

【氏名】ハン サンジョン

(72)【発明者】

【氏名】ミン ギョンファン

【テーマコード（参考）】

5C087

【Ｆターム（参考）】

5C087AA10

5C087AA19

5C087DD05

5C087EE18

5C087FF01

5C087FF02

5C087FF04

5C087GG02

5C087GG06

5C087GG08

5C087GG10

5C087GG22

5C087GG66

5C087GG70

(57)【要約】      （修正有）

【課題】無人店舗から顧客の特定の行動に対して端末に通知を受ける無人店舗行動通知システム及び無人店舗の行動通知方法を提供する。
【解決手段】映像処理端末１００と、サービス提供サーバー２００と、ユーザ端末３００を含むシステムにおいて、無人店舗で人を検出し、人の行動を推定して通知する無人店舗の行動通知方法方法であって、無人店舗で映像を取得する段階と、取得した映像から特定人を検出する段階と、特定人が検出された映像データが特定の個数になるまで蓄積する段階と、記蓄積された映像データが特定の個数を越えると、蓄積された映像データをもって特定人の行動を判別する段階と判別した行動を予め定められた端末に通知する段階と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

映像を取得する映像取得部と、前記映像からディープラーニング方法によって人を抽出する客体抽出部と検出された客体が既存の人であるか新規の人であるかを判別する客体判別部と、映像の客体の動きを追跡する客体追跡部と前記客体の映像を取りまとめる客体取りまとめ部と、前記取りまとめられた客体の行動を判定する行動判定部を有する映像処理端末と；
前記判定された行動に対するデータを保存する行動履歴ＤＢと、店舗情報と通知する行動パターン情報および連絡先情報を有するユーザ情報ＤＢと、前記行動履歴ＤＢとユーザ情報ＤＢの情報により端末に特定の行動を通知する特定行動通知部と、前記判定された行動に対するデータを行動履歴ＤＢに保存させ、前記特定行動通知部を制御する行動履歴保存部を有するサービス提供サーバーと；
前記サービス提供サーバーと特定行動通知部から通知を受信する通知受信部と、前記受信された特定の行動を表示する特定行動履歴表示部を有する端末を含む、無人店舗行動通知システム。

【請求項2】

無人店舗で映像を取得する段階と；
前記取得した映像から特定人を検出する段階と；
前記特定人が検出された映像データが特定の個数になるまで蓄積する段階と；
前記蓄積された映像データが特定の個数を越えると前記蓄積された映像データをもって前記特定人の行動を判別する段階と；
前記判別された行動を予め定められた端末に通知する段階を含む、無人店舗の行動通知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は無人店舗で人を検出し、人の行動を推定できるシステムに関するもので、ディープラーニングを利用している。

【背景技術】

【0002】

従来無人店舗に関する発明は決済を如何にすべきかに主にフォーカスが合わせられており、無人店舗に入ってきた顧客の行動を正しく分析できるシステムは開示されていなかった。

【0003】

例えば、日本特許公開第２０１９－１２１０１２は無人店舗の決済と販売に集中している。

【0004】

日本特許公開第２０２１－０１２５１８の場合も販売管理に重点を置いている。
本発明の目的は、無人システムで人を検出し、人の行動を推定してそれを特定の端末に通知するシステムを提供することである。

【発明の概要】

【課題を解決するための手段】

【0005】

前記目的を達成するために、本発明は無人店舗に設置される映像処理端末と、クラウドサーバーであるサービス提供サーバーとユーザ端末機からなる無人店舗顧客行動通知方法およびシステムを提供する。

【0006】

前記映像処理端末はカメラである映像取得部と、前記映像から客体を抽出する客体抽出部と、抽出された客体を判別する客体判別部と、判別された客体を追跡する客体追跡部、追跡された客体の映像を取りまとめる客体取りまとめ部と客体取りまとめ部の情報に基づいて客体の行動を判定する行動判定部を有している。

【0007】

前記行動判定部の結果はサービス提供サーバーの行動履歴保存部に送信される。
サービス提供サーバーは前記行動履歴保存部と、行動履歴が蓄積された行動履歴ＤＢと、ユーザ情報を蓄積したユーザ情報ＤＢとユーザ情報ＤＢからユーザの情報と行動履歴ＤＢからの行動情報を通知する特定行動通知部を有している。

【0008】

前記ユーザ情報と行動情報はユーザ端末機の通知受信部に送られて、ユーザ端末に特定行動履歴表示部によって表示されることになる。

【0009】

一方、本発明に係る無人店舗顧客行動検出方法は、カメラで映像を取得する段階と；取得された映像データから人を検出する段階と；前記検出された人データを一時記憶させる段階と；前記記憶された人データのイメージ数が定められた範囲を越える場合には、その人データの行動を推定する段階と；前記推定された行動が信頼可能である場合、ユーザ端末機に送信する段階を含む。

【発明の効果】

【0010】

本システムおよび方法によって、無人店舗から顧客の特定の行動に対して端末に通知を受けることができるようになるので、店舗管理が便利となる。

【図面の簡単な説明】

【0011】

【図1】本発明に係る無人店舗顧客行動通知システムのブロック図である。

【図2】本発明に係る無人店舗顧客行動通知方法を図示したフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明に係る好ましい実施例を添付された図面を参照して詳しく説明する。
図１は、本発明に係る無人店舗顧客行動検出システムのブロック図である。
図示された通り、本発明に係るシステムは映像処理端末１００と、サービス提供サーバー２００と、ユーザ端末３００を含んでおり、映像処理端末１００は店舗内に設置される映像分析用ＰＣである。

【0013】

無人店舗の必要な地点、例えば、カウントやテーブル座席や、商品が陳列されたところなど、必要な数だけのカメラ１０１が設置され、このカメラ１０１から映像を取得（１０１）する。

【0014】

次いで、取得された映像データは客体抽出部１０４に行き、人であるかを検出する。この時、ディープラーニングを使い、すでに知られている畳み込みニューラルネットワークを使う。すなわち、映像データが一定以上の臨界値を越えた場合に人と判定することになる。

【0015】

人と判定した場合には、このデータを関心領域に指定する。関心領域は４個の座標で指定することになるが、位置と大きさすなわち、四角型の位置データとなるのである。この位置データをＰＯＩ（Ｐｏｉｎｔ Ｏｆ Ｉｎｔｅｒｅｓｔ、関心領域または関心地点）として登録するが、このＰＯＩは客体判別部１０６で映像データで把握される客体が新しい人であるか既存の人であるかを判別する役割をすることになる。例えば、他の映像データが取得される場合、既存ＰＯＩと比較して定めておいた値以上に重なると既存客体と見なし、その値以下であれば新しい客体と見なして新しくＰＯＩを登録する。このような方式をＩＯＵという。ＩＯＵの任意の臨界値を基準として判断する。既存客体と見なす場合にもＰＯＩ値は変わるので新しい値に更新することになる。

【0016】

一方、もし客体判別部１０８で複数の客体が判別される場合には、それぞれに対してＰＯＩを分析することになる。

【0017】

同一人物のＰＯＩデータは客体追跡部１１０によって持続的にアップデートされ、客体追跡プログラムを使用するが、例えばテンプレートマッチング方法を使うことができる。この時、客体取りまとめ部１１０は一定時点までのＰＯＩ情報を取りまとめることになり、例えば１秒に１５フレームを取りまとめるとすると、本発明では２秒に該当する３０フレームに決めることができる。この取りまとめられた情報に基づいて行動判定部１１２では行動を判定する。この時もディープラーニングを使う。行動は多様に区分しておくことができ、例えば、倒れる行動、物を持ち上げる行動、店員を呼ぶ行動、暴力的な行動などがあり得る。取りまとめられた特定人のデータをディープラーニングによって特定の行動と判定することになる。この時、コンフィデンス値がこの場合に定められた一定の臨界値を越えるとその行動として把握することになるのである。もちろん、じっとして立っている場合もある。このような場合には、本発明の関心行動ではないのでｕｎｋｎｏｗｎとして判定してもよく、立っているとしてもよい。

【0018】

判定された行動データはサービス提供サーバー２００の行動履歴保存部２０２に送られ、行動履歴保存部２０２はプロセッサとして判定された行動を行動履歴ＤＢ２０４に保存させ、また、特定行動通知部２０８に命令を出す。

【0019】

特定行動通知部２０８はユーザ情報ＤＢ２０６と行動履歴ＤＢ２０４を見て判断するが、ユーザ情報ＤＢ２０６には店舗名、通知すべき特定行動パターン、通知すべき対象などが記録されている。例えば、Ａ店舗に倒れた人がいる場合にはａ氏に連絡するという情報が保存されている。

【0020】

この時、すべての行動データを通知してもよく、特に関心を置くべき行動に対してのみ通知をするようにすることができる。例えば、店員の案内が必要な場合に通知してほしいという店舗がある反面、店員の案内を通知すれば過度に通知が多く来るので、物を盗む行動に対してのみ通知を受けたいという店舗もあり得る。

【0021】

ユーザ端末３００の通知受信部３０２はサービス提供サーバー２００から特定の行動の通知を受信し、特定行動履歴表示部３０４でこれをディスプレーすることになる。ディスプレイする方式は、端末であるスマートフォンの画面に表示するか、関連アプリケーションを通じて表示するようにすることができ、文字方式であってもよく、これは特別な技術を要する分野ではなく、通常の方法を利用すればよいので詳しい説明を省略する。

【0022】

以下では、図２のフローチャートを参照しながら、本発明のシステムを利用した、無人店舗顧客検出方法について説明する。
まず、カメラなどで映像データを取得する。（Ｓ１０）

【0023】

最初の場合、ＰＯＩ登録されたものがないので検出領域のＰＯＩが０以上とならないため（Ｓ２０）、人検出（Ｓ５０）に行く。この時、人検出はディープラーニングを通じて推論して例えば、Ｐという人であることを確定する。

【0024】

比較するＰＯＩがない新規検出（Ｓ６０）であるので検出領域のＰＯＩを登録し（Ｓ８０）、ＰＯＩが０以上であるのでＰに該当する検出領域を切り取り（Ｓ１００）、メモリに検出対象領域を一時記憶させる（Ｓ１１０）。この時、検出対象数が３０に達するかを検討して、もし３０に達していなければ３０に達するまで再び最初の映像取得に戻る。すなわち、本実施例では１秒に１５フレームの映像データを取得するので、３０個のフレームとは２秒を意味する。２秒にならないと人の行動を推論できないという経験則に則り、本実施例は３０個のフレームを基準とする。

【0025】

再び最初に戻って、人Ｐが少し動いた場合の２番目のフレームを例にしてみよう。すでにＰを登録したのでＳ２０段階でＰＯＩは１であるので、下に降りてきて変わったＰＯＩを追跡する（Ｓ３０）。追跡は直前のフレーム（ｎ－１フレームすなわち、一番目のフレーム）で登録したＰＯＩをテンプレートマッチング方法などを利用して対象を追跡する（Ｓ３０）。そして、新しいＰＯＩは更新して登録する（Ｓ４０）。

【0026】

人検出（Ｓ５０）に行くとＰという人が検出され、新規検出（Ｓ６０）ではないので検出領域ＰＯＩを更新する（Ｓ７０）。前で追跡（Ｓ２０）後に検出領域ＰＯＩを更新する段階（Ｓ４０）があるが、ディープラーニング段階で検索されたＰＯＩがより正確であるので、ここでもう一度ＰＯＩ情報を更新することになる（Ｓ７０）。
まだＰに対するフレームが２枚しかないので、３０フレームになるまで継続してＰに対するＰＯＩを臨時記憶させることになる（Ｓ１１０）。

【0027】

次いで、例えば３番目のフレームに人Ｐが新しい人Ｑとともに登場した場合の例をあげて説明する。
検出領域にすでに登録した人Ｐがいて１であるので（Ｓ２０）、人Ｐに対しては検出領域追跡（Ｓ３０）に入り、人Ｐと人Ｑが検出され、Ｐは既存の人なので検出領域ＰＯＩを更新し（Ｓ４０）、人Ｑは新規検出（Ｓ６０）となる。この時、既存ＰＯＩとの面積を比較し、畳み込みニューラルネットワークでのＩｏＵが臨界値以上であるかどうかによってその人が新規検出された人であるか否かを判定する。人Ｑに対する検出領域ＰＯＩを登録し（Ｓ８０）、続けて進行される。

【0028】

検出対象者Ｐが３０フレームになった時（Ｓ１２０）、行動推定（Ｓ１３０）をディープラーニングを通じてすることになり、この時、ディープラーニングは判断した行動とその判断のコンフィデンス（ｃｏｎｆｉｄｅｎｃｅ）を提示することになる。コンフィデンス値は０－１であってもよく、０－１００であってもよく、設定する次第である。高いほどディープラーニングの判断に対する信頼性が高い。

【0029】

人が倒れる行動と判断したのが６０のコンフィデンス値を有し、座ろうとする行動は５０のコンフィデンス値などでディープラーニングの結果が出ることになるが、最も高いコンフィデンスを倒れる行動としよう。ところで、この場合のコンフィデンス値が６０であるが。信頼できる臨界値を６０とするとこれは臨界値以上であるので信頼性があることになる。ところが臨界値を７０と設定すると、この３０フレームで信頼できる行動はなくなるのである。信頼可能であれば（Ｓ１４０）、サーバーに行動判定に対する値を送って、最終的にユーザ端末に通知することになる（Ｓ１５０）。

【0030】

行動判断をディープラーニングによる推論段階とともに、信頼性まで判断する２段階に亘ってすることによって、行動判断に対してより信頼性を高めることができる。
一方、３０フレームを超えると再び新しく３０フレームを集めることになり、３０フレーム前に特定人がなくなるとその人に対しては判断ができなくなる。再び現れるのであれば以前のデータと足してもよく、そうでなければ新しく３０個をカウントしてもよい。

【図1】

【図2】

【手続補正書】

【提出日】2024-01-16

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

映像を取得する映像取得部と、前記映像からディープラーニング方法によって人を抽出する客体抽出部と検出された客体が既存の人であるか新規の人であるかを判別する客体判別部と、映像の客体の動きを追跡する客体追跡部と前記客体の映像を取りまとめる客体取りまとめ部と、前記取りまとめられた客体の行動を判定する行動判定部を有する映像処理端末と；
前記判定された行動に対するデータを保存する行動履歴ＤＢと、店舗情報と通知する行動パターン情報および連絡先情報を有するユーザ情報ＤＢと、前記行動履歴ＤＢとユーザ情報ＤＢの情報により端末に特定の行動を通知する特定行動通知部と、前記判定された行動に対するデータを行動履歴ＤＢに保存させ、前記特定行動通知部を制御する行動履歴保存部を有するサービス提供サーバーと；
前記サービス提供サーバーの特定行動通知部から通知を受信する通知受信部と、前記受信された特定の行動を表示する特定行動履歴表示部を有する端末を含む、無人店舗行動通知システム。