(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-12
(45)【発行日】2024-07-23
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06Q 30/06 20230101AFI20240716BHJP
G06Q 10/04 20230101ALI20240716BHJP
【FI】
G06Q30/06
G06Q10/04
(21)【出願番号】P 2022104955
(22)【出願日】2022-06-29
【審査請求日】2022-12-14
(73)【特許権者】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】川西 庸平
(72)【発明者】
【氏名】金田 麟太郎
(72)【発明者】
【氏名】小林 宏暢
(72)【発明者】
【氏名】山下 滉生
【審査官】板垣 有紀
(56)【参考文献】
【文献】特開2021-114219(JP,A)
【文献】国際公開第2017/163280(WO,A1)
【文献】特開2021-106330(JP,A)
【文献】特開2016-143312(JP,A)
【文献】日経BPムック,この1冊でまるごとわかる!人工知能ビジネス ,日経BP社 Nikkei Business Publications,Inc. 杉山 俊幸,2015年10月12日,pp.94-95
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00 - 99/00
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
サービス提供者から対面でサービスが提供される各サービス提供場所で前記サービスを享受する利用者の検知情報を示す利用者情報として、前記各サービス提供場所で前記サービスを享受している利用者である享受者の検知情報を示す享受者情報と、前記各サービス提供場所で前記サービスを享受するために待機する利用者である待機者の検知情報を示す待機者情報と、前記各サービス提供場所が設けられるサービス提供エリアに来訪する来訪者の検知情報を示す来訪者情報とを取得する取得部と、
前記享受者情報と、前記待機者情報と、前記来訪者情報とを、所定時刻の検知情報に基づくカウント結果
であってデータクレンジング前の検知情報に基づくカウント結果とデータクレンジング後の検知情報に基づくカウント結果とを含むカウント結果を入力すると所定時刻から所定時間内に前記各サービス提供場所に来訪する利用者の人数を出力するよう学習させた学習モデルに入力することで、現時刻から所定の時間内に前記各サービス提供場所に来訪する将来の利用者の人数を推定する推定部と、
を有することを特徴とする情報処理装置。
【請求項2】
前記推定部は、
前記各サービス提供場所で前記サービスを享受した利用者の検知情報を示す利用者情報と、前記各サービス提供場所に来訪した利用者の人数とを学習データとして学習された学習モデルを用いて、前記各サービス提供場所で過去の所定期間に前記サービスを享受した利用者の検知情報を示す利用者情報から、前記各サービス提供場所に来訪する利用者の人数を推定する、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記取得部は、
前記利用者情報として、前記サービス提供エリアに設けられたセンサにより前記利用者が検知され続けている検知期間を示す情報を含む検知情報を取得する、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項4】
前記取得部によって取得された利用者情報に対してデータクレンジングを行うことでノイズを除去する加工部をさらに有し、
前記推定部は、
前記加工部によってノイズが除去された後の利用者情報に基づいて、前記各サービス提供場所に来訪する利用者の人数を推定する、
ことを特徴とする請求項3に記載の情報処理装置。
【請求項5】
前記加工部は、
前記取得部により取得された第1の利用者情報に対応する第1の検知期間の終了時刻から、第2の利用者情報に対応する第2の検知期間の開始時刻までの差が第1閾値以下である場合であって第1の利用者及び第2の利用者が同一人物である場合に、前記第1の検知期間の開始時刻から前記第2の検知期間の終了時刻までを検知期間とする新たな利用者情報を生成することで、前記第1の利用者情報と前記第2の利用者情報とを合成する、
ことを特徴とする請求項4に記載の情報処理装置。
【請求項6】
前記加工部は、
前記センサで検知された情報に基づいて、前記取得部により取得された利用者情報に対応する検知期間の先頭から所定時間、または、前記検知期間の間の位置から最後までの所定時間の少なくともいずれか一方を削除することにより新たな利用者情報を生成する、
ことを特徴とする請求項4に記載の情報処理装置。
【請求項7】
前記推定部は、
前記享受者情報として、前記享受者の人数、前記享受者が前記サービス提供場所に滞在している滞在時間を用い、前記待機者情報として、前記待機者の人数、前記待機者が待機場所に滞在している滞在時間を用い、前記来訪者情報として、サービス提供エリアに来訪した来訪者の人数を用いて、前記各サービス提供場所に来訪する利用者の人数を推定する、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項8】
前記推定部は、
前記サービス提供エリアに設けられたセンサにより前記享受者又は前記待機者が検知され続けている検知期間が所定の閾値の範囲内である場合に、前記享受者又は前記待機者の人数として計数する、
ことを特徴とする請求項7に記載の情報処理装置。
【請求項9】
前記推定部によって推定された
来訪者数に基づいて、前記各サービス提供場所の中で稼働させるサービス提供場所の数を決定する決定部、
をさらに有することを特徴とする請求項1に記載の情報処理装置。
【請求項10】
前記決定部は、
前記サービスを享受するために待機することが許容される待機者の人数に基づいて、前記サービス提供場所の数を決定する、
ことを特徴とする請求項9に記載の情報処理装置。
【請求項11】
コンピュータが実行する情報処理方法であって、
サービス提供者から対面でサービスが提供される各サービス提供場所で前記サービスを享受する利用者の検知情報を示す利用者情報として、前記各サービス提供場所で前記サービスを享受している利用者である享受者の検知情報を示す享受者情報と、前記各サービス提供場所で前記サービスを享受するために待機する利用者である待機者の検知情報を示す待機者情報と、前記各サービス提供場所が設けられるサービス提供エリアに来訪する来訪者の検知情報を示す来訪者情報とを取得する取得工程と、
前記享受者情報と、前記待機者情報と、前記来訪者情報とを、所定時刻の検知情報に基づくカウント結果
であってデータクレンジング前の検知情報に基づくカウント結果とデータクレンジング後の検知情報に基づくカウント結果とを含むカウント結果を入力すると所定時刻から所定時間内に前記各サービス提供場所に来訪する利用者の人数を出力するよう学習させた学習モデルに入力することで、現時刻から所定の時間内に前記各サービス提供場所に来訪する将来の利用者の人数を推定する推定工程と、
を含むことを特徴とする情報処理方法。
【請求項12】
サービス提供者から対面でサービスが提供される各サービス提供場所で前記サービスを享受する利用者の検知情報を示す利用者情報として、前記各サービス提供場所で前記サービスを享受している利用者である享受者の検知情報を示す享受者情報と、前記各サービス提供場所で前記サービスを享受するために待機する利用者である待機者の検知情報を示す待機者情報と、前記各サービス提供場所が設けられるサービス提供エリアに来訪する来訪者の検知情報を示す来訪者情報とを取得する取得手順と、
前記享受者情報と、前記待機者情報と、前記来訪者情報とを、所定時刻の検知情報に基づくカウント結果
であってデータクレンジング前の検知情報に基づくカウント結果とデータクレンジング後の検知情報に基づくカウント結果とを含むカウント結果を入力すると所定時刻から所定時間内に前記各サービス提供場所に来訪する利用者の人数を出力するよう学習させた学習モデルに入力することで、現時刻から所定の時間内に前記各サービス提供場所に来訪する将来の利用者の人数を推定する推定手順と、
をコンピュータに実行させることを特徴とする情報処理プログラム。
【請求項13】
サービス提供者から対面でサービスが提供される各サービス提供場所で前記サービスを享受する利用者の検知情報を示す利用者情報であって、前記各サービス提供場所が設けられるサービス提供エリアに設けられたセンサにより前記利用者が検知され続けている検知期間を示す情報を含む利用者情報を取得する取得部と、
前記取得部により取得された第1の利用者情報に対応する第1の検知期間の終了時刻から、第2の利用者情報に対応する第2の検知期間の開始時刻までの差が第1閾値以下である場合であって第1の利用者及び第2の利用者が同一人物である場合に、前記第1の検知期間の開始時刻から前記第2の検知期間の終了時刻までを検知期間とする新たな利用者情報を生成することで、前記第1の利用者情報と前記第2の利用者情報とを合成する加工部と、
を有し、
前記加工部により生成された新たな利用者情報は、現時刻から所定の時間内に前記各サービス提供場所に来訪する将来の利用者の人数を推定するために、所定時刻の検知情報に基づくカウント結果
であってデータクレンジング前の検知情報に基づくカウント結果とデータクレンジング後の検知情報に基づくカウント結果とを含むカウント結果を入力すると所定時刻から所定時間内に前記各サービス提供場所に来訪する利用者の人数を出力するよう学習させた学習モデルに入力される利用者情報である
ことを特徴とする情報処理装置。
【請求項14】
サービス提供者から対面でサービスが提供される各サービス提供場所で前記サービスを享受する利用者の検知情報を示す利用者情報であって、前記各サービス提供場所が設けられるサービス提供エリアに設けられたセンサにより前記利用者が検知され続けている検知期間を示す情報を含む利用者情報を取得する取得部と、
前記センサで検知された情報に基づいて、前記取得部により取得された利用者情報に対応する検知期間の先頭から所定時間、または、前記検知期間の間の位置から最後までの所定時間の少なくともいずれか一方を削除することにより新たな利用者情報を生成する加工部と、
を有し、
前記加工部により生成された新たな利用者情報は、現時刻から所定の時間内に前記各サービス提供場所に来訪する将来の利用者の人数を推定するために、所定時刻の検知情報に基づくカウント結果
であってデータクレンジング前の検知情報に基づくカウント結果とデータクレンジング後の検知情報に基づくカウント結果とを含むカウント結果を入力すると所定時刻から所定時間内に前記各サービス提供場所に来訪する利用者の人数を出力するよう学習させた学習モデルに入力される利用者情報である
ことを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
従来、有人でサービスを行う業務の生産性を改善するための技術が知られている。例えば、レジ業務をサービスに含む小売店やスーパーなどにおいて、有人レジのレジ業務の生産性を改善するための技術が知られている。例えば、待機列に加わる人数を検知することで待機列の人数を測定する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、有人でサービスを行う業務の稼働調整による回転率の向上を促進させることができなかった。
【0005】
本願は、上記に鑑みてなされたものであって、有人でサービスを行う業務の稼働調整による回転率の向上を促進させることを目的とする。
【0006】
本願に係る情報処理装置は、サービス提供者から対面でサービスが提供される各サービス提供場所で前記サービスを享受する利用者に関する利用者情報として、前記各サービス提供場所で前記サービスを享受している利用者である享受者に関する享受者情報と、前記各サービス提供場所で前記サービスを享受するために待機する利用者である待機者に関する待機者情報と、前記各サービス提供場所が設けられるサービス提供エリアに来訪する来訪者に関する来訪者情報とを取得する取得部と、前記享受者情報と、前記待機者情報と、前記来訪者情報とに基づいて、前記各サービス提供場所に来訪する利用者の人数を推定する推定部と、を有することを特徴とする。
【発明の効果】
【0007】
実施形態の一態様によれば、有人でサービスを行う業務の稼働調整による回転率の向上を促進させることができるという効果を奏する。
【図面の簡単な説明】
【0008】
【
図1】
図1は、実施形態に係る情報処理システムの構成例を示す図である。
【
図2】
図2は、店内に設置された撮像装置の位置と撮像範囲の一例を示す図である。
【
図3A】
図3Aは、撮像装置により撮像された撮像情報の一例を示す。
【
図3B】
図3Bは、撮像装置により撮像された撮像情報の一例を示す。
【
図3C】
図3Cは、撮像装置により撮像された撮像情報の一例を示す。
【
図3D】
図3Dは、撮像装置により撮像された撮像情報の一例を示す。
【
図4】
図4は、実施形態に係る物体検知装置の構成例を示す図である。
【
図5】
図5は、実施形態に係る記憶部の一例を示す図である。
【
図6A】
図6Aは、実施形態に係る立ち止まりの判定方法を説明するための説明図である。
【
図6B】
図6Bは、実施形態に係る方向検知の判定方法を説明するための説明図である。
【
図7】
図7は、実施形態に係る情報処理装置の構成例を示す図である。
【
図8】
図8は、実施形態に係る記憶部の一例を示す図である。
【
図9】
図9は、来店客数のカウント結果に適用されるデータクレンジングを説明するための説明図である。
【
図10A】
図10Aは、ダブルカウントを解消するデータクレンジングを説明するための説明図である。
【
図10B】
図10Bは、時間測定によるズレを解消するデータクレンジングを説明するための説明図である。
【
図11A】
図11Aは、決済客のレジ通過時間のデータに重なりがある場合のデータクレンジングの一例を示す図である。
【
図11B】
図11Bは、決済客のレジ通過時間のデータに重なりがある場合のデータクレンジングの一例を示す図である。
【
図11C】
図11Cは、決済客のレジ通過時間のデータに重なりがある場合のデータクレンジングの一例を示す図である。
【
図12A】
図12Aは、店員の滞在時間のデータに重なりがある場合のデータクレンジングの一例(その1)を示す図である。
【
図12B】
図12Bは、店員の滞在時間のデータに重なりがある場合のデータクレンジングの一例(その2)を示す図である。
【
図15】
図15は、最適レジ稼働台数の算出方法を説明するための説明図である。
【
図16】
図16は、最適レジ稼働台数を示す情報の一例を示す図である。
【
図17】
図17は、実施形態に係る情報処理の一例を示すフローチャートである。
【
図18】
図18は、実施形態2に係る情報処理装置の構成例を示す図である。
【
図19】
図19は、顧客対応をした時間とレジ業務をした時間の一例を示す図である。
【
図20A】
図20Aは、日付ごとにレジ作業効率を可視化した情報の一例を示す図である。
【
図20B】
図20Bは、曜日ごとにレジ作業効率を可視化した情報の一例を示す図である。
【
図20C】
図20Cは、時間帯ごとにレジ作業効率を可視化した情報の一例を示す図である。
【
図21】
図21は、レジ勤務シフト最適化のための提案の一例を示す図である。
【
図22】
図22は、レジ勤務シフト変更の提案の一例を示す図である。
【
図23】
図23は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0009】
以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0010】
(実施形態1)
〔1.はじめに〕
近年、小売店やスーパーなど、様々な場所で撮像された映像を集約し解析することでサービスを提供するプラットフォームの開発が進められている。このようなプラットフォームの開発側は、効率的にサービスを展開するためのプラットフォームの構築を目指す一方で、小売店やスーパーなどのサービスの利用側は、ITを活用した次世代店舗の構築を目指すことで、両者が一体となってプラットフォームの開発が進められている。
【0011】
ここで、小売店やスーパーなどでは、一般的にレジ業務に大きな工数を割く必要があるため、レジ業務の効率化が期待される。例えば、1日の業務の内訳として、レジ業務が約40%も占める場合がある。また、レジ業務は、事前に決められた時間帯別のシフト表に沿って実施されるため、レジ担当として所定の場所に待機していても客が不在の場合には非生産的である。このように、客が不在の場合でも所定の場所に待機しなければならないといった非生産的な時間が生じてしまう場合がある。このため、レジ業務の効率化が重要となる。例えば、レジ業務を効率化することにより、客が不在の空いた時間に商品の品出しや陳列の前面に出す作業(フェイスアップ)を行うといったことが可能となる。
【0012】
本願は、上記に鑑みてなされたものであって、有人でサービスを行う業務の稼働調整による回転率の向上を促進させることができることを目的とする。
【0013】
下記実施形態では、各サービス提供場所の一例としてレジを例に挙げて説明するが、この例に限られないものとする。例えば、各サービス提供場所は、空港の検査場や外国の入国手続き場所などであってもよい。この場合、各サービス提供場所で提供されるサービスは、例えば、入場検査や入国手続きである。また、各サービス提供場所は、駅のホームや劇場や高速道路など、特定の領域への入場時や退場時などに料金の支払いやチケットを確認することを目的とした場所であってもよい。また、下記実施形態では、レジ業務を行う施設として、スーパーを例に挙げて説明するが、これに限定されず、例えば、コンビニなどの小売店などであってもよい。
【0014】
〔2.情報処理システムの構成〕
図1に示す情報処理システム1について説明する。
図1に示すように、情報処理システム1は、撮像装置10と、撮像装置20と、撮像装置30と、物体検知装置50と、情報処理装置100と、店舗端末200とが含まれる。撮像装置10と、撮像装置20と、撮像装置30と、物体検知装置50と、情報処理装置100と、店舗端末200とは所定の通信網(ネットワークN)を介して、有線または無線により通信可能に接続される。
図1は、実施形態に係る情報処理システム1の構成例を示す図である。
【0015】
撮像装置10は、来店客を検知するために、店の入口付近の所定の位置に設置された撮像装置である。撮像装置10は、例えば、来店客を検知可能な方向に撮像方向が固定されたボックス型の撮像装置である。
図1では、撮像装置10が1台である場合を示したが、情報処理システム1に含まれる撮像装置10の数は特に限定されず複数でもよい。すなわち、複数の撮像装置10で来店客を検知してもよい。
【0016】
撮像装置20は、レジで決済処理を行うために客が待つ列である待機列に並ぶ待機客を検知するために、レジ付近(レジ真上を含む)の所定の位置に設置された撮像装置である。撮像装置20は、例えば、待機客を検知可能な方向に撮像方向が固定されたボックス型の撮像装置である。
図1では、撮像装置20が1台である場合を示したが、情報処理システム1に含まれる撮像装置20の数は特に限定されず複数でもよい。すなわち、複数の撮像装置20で待機客を検知してもよい。また、撮像装置20は、レジが複数ある場合には、レジごとに設置されてもよい。例えば、撮像装置20は、レジごとに待機客を検知するためにレジごとに1台以上設置されてもよい。すなわち、レジごとに1台以上の撮像装置20で待機客を検知してもよい。
【0017】
撮像装置30は、レジで決済を行っている客である決済客を検知するために、レジ真上の所定の位置に設置された撮像装置である。例えば、決済客は、店員によりレジ業務(購入品を読み込む作業、現金やクレジットカードにより決済処理を行う作業)が行われる間、レジの位置に居続ける。撮像装置30は、例えば、360度撮像可能な天球型の撮像装置である。
図1では、撮像装置30が1台である場合を示したが、情報処理システム1に含まれる撮像装置30の数は特に限定されず複数でもよい。すなわち、複数の撮像装置30で決済客を検知してもよい。また、撮像装置30は、レジが複数ある場合には、レジごとに設置されてもよい。例えば、撮像装置30は、レジごとに決済客を検知するためにレジごとに1台以上設置されてもよい。すなわち、レジごとに1台以上の撮像装置30で決済客を検知してもよい。
【0018】
物体検知装置50は、人物の検知や追跡を正しく行い、必要なデータを絞り込むことを目的とした情報処理装置である。例えば、物体検知装置50は、レジ業務を行うスーパーのサーバ装置やクラウドシステム等により実現される。
【0019】
情報処理装置100は、有人でサービスを行う業務の稼働調整による回転率の向上を促進させることを目的とした情報処理装置である。例えば、情報処理装置100は、様々な場所で撮像された映像を集約し解析することでサービスを提供するプラットフォームの開発側のサーバ装置やクラウドシステム等により実現される。
【0020】
店舗端末200は、店舗スタッフ(店員)によって利用される情報処理装置である。例えば、店舗端末200は、各レジやバックヤードに設置されたディスプレイを有する情報処理装置である。店舗端末200は、スマートフォンや、タブレット型端末や、ノート型PCや、デスクトップPCや、携帯電話機や、PDA等、実施形態における処理を実現可能であれば、どのような装置であってもよい。
【0021】
図2は、店内に設置された撮像装置の位置と撮像範囲の一例を示す図である。なお、各撮像装置では、撮像範囲に入ったオブジェクトを撮像する。撮像装置10
1は、スーパーP1の入口付近の領域W1の領域内の所定の位置に設置される。撮像装置10
1は、範囲F1を撮像する。また、撮像装置20
1乃至撮像装置20
6は、スーパーP1のレジ付近の領域W2の領域内の所定の位置に設置される。また、撮像装置20
7乃至撮像装置20
9は、スーパーP1のレジ真上の領域W3の領域内の所定の位置に設置される。撮像装置20
1乃至撮像装置20
9は、範囲F2乃至範囲F10を撮像する。また、撮像装置30
1乃至撮像装置30
4は、スーパーP1のレジ真上の領域W3の領域内の所定の位置に設置される。撮像装置30
1乃至撮像装置30
4は、範囲F11乃至範囲F14を撮像する。
【0022】
ここで、撮像装置により撮像された瞬間の撮像情報を説明する。
図3Aは、撮像装置10
1により撮像された撮像情報の一例を示す。撮像情報には、例えば、客K1や客K2の来店の様子が含まれる。また、
図3Bは、撮像装置20
1乃至撮像装置20
9のいずれかにより撮像された撮像情報の一例を示す。撮像情報には、例えば、客K3や客K4の決済のための待機の様子が含まれる。また、
図3Cは、撮像装置30
1乃至撮像装置30
4のいずれかにより撮像された撮像情報の一例を示す。撮像情報には、例えば、客K5の決済の様子が含まれる。また、
図3Dは、撮像装置30
1乃至撮像装置30
4のいずれかにより撮像された撮像情報の一例を示す。撮像情報には、例えば、店員M1の様子が含まれる。また、枠D1乃至枠D4は、各撮像装置の撮像範囲に入ることで検知された人物を処理対象とするか否かを判断するための枠(分析エリア)である。なお、分析エリアの判定方法については後述する。
【0023】
〔3.物体検知装置の構成〕
次に、
図4を用いて、実施形態に係る物体検知装置50の構成について説明する。
図4は、実施形態に係る物体検知装置50の構成例を示す図である。
図4に示すように、物体検知装置50は、通信部51と、記憶部52と、制御部53とを有する。なお、物体検知装置50は、物体検知装置50の管理者から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示させるための表示部(例えば、液晶ディスプレイ等)を有してもよい。
【0024】
(通信部51)
通信部51は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部51は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、情報処理装置100等との間で情報の送受信を行う。
【0025】
(記憶部52)
記憶部52は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
【0026】
記憶部52は、人物の検知情報を記憶する。例えば、記憶部52は、人物が検知され続けている検知期間に関する情報を含む検知情報を記憶する。ここで、
図5に、実施形態に係る記憶部52の一例を示す。
図5に示すように、記憶部52は、「検知ID」、「性別」、「年代」、「検知時刻」、「検知時間」、「撮像装置」といった項目を有する。
【0027】
「検知ID」は、検知情報を識別するための識別情報を示す。「性別」は、検知された人物の性別を示す。「年代」は、検知された人物の年代を示す。このような性別や年代は、撮像情報を基にAIで判断されたものである。例えば、人物の撮像情報を学習することで撮像情報から性別や年代などの人物の属性を推定する学習モデルなどのAIで判断される。なお、AIで判断できなかった性別や年代には「不明」が格納される。「検知時刻」は、検知を開始した時刻を示す。例えば、人物が撮像範囲に入り映像に映った瞬間の時刻である。「検知時間」は、検知を開始してから終了するまでの時間を示す。例えば、人物が撮像範囲内に滞在した時間である。すなわち、映像に映っていた時間である。「撮像装置」は、人物を検知した撮像装置の情報(例えば、設置場所)を示す。
【0028】
すなわち、
図5では、検知ID「T1」によって、性別「女性」及び年代「30代」と判断された人物が撮像装置「〇×〇×店入口(レコード取得用)」により時刻「2021年5月27日14時59分9秒」に撮像され始め、8秒後に撮像装置「〇×〇×店入口(レコード取得用)」の撮像範囲から外れたことを示す。
【0029】
(制御部53)
制御部53は、コントローラであり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、物体検知装置50内部の記憶装置に記憶されている各種プログラムがRAM(Random Access Memory)を作業領域として実行されることにより実現される。また、制御部53は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
【0030】
図4に示すように、制御部53は、取得部531と、判定部532と、提供部533とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部53の内部構成は、
図4に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【0031】
(取得部531)
取得部531は、撮像装置10、撮像装置20又は撮像装置30により撮像された撮像情報を取得する。なお、撮像情報は映像であるためリアルタイムに取得される。
【0032】
(判定部532)
判定部532は、取得部531により取得された撮像情報を基に人物の検知を行う。具体的には、判定部532は、撮像範囲に入り映像に映った人物を検知する。また、判定部532は、例えば、検知した人物の撮像情報にバウンディングボックス(Bounding Box)の矩形を付与する。しかしながら、撮像範囲に入っている人物が検知されずバウンディングボックスが付与されない場合や、人物ではないオブジェクトが人物と判断されてバウンディングボックスが付与されてしまう場合もある。また、判定部532は、検知した人物の追跡を行う。判定部532は、例えば、人物の移動に合わせて、人物の撮像情報に付与されたバウンディングボックスを移動させる。しかしながら、バウンディングボックスが付与された人物の移動によって撮像範囲内でもバウンディングボックスが途中で外れてしまう場合もある。
【0033】
判定部532は、検知した人物を処理対象にカウントするか否かを判定する。例えば、判定部532は、検知した人物が分析エリアに入ったか否かを判定し、さらに、分析エリアに入った人物を処理対象にカウントするか否かを判定する。
【0034】
ここで、実施形態に係る分析エリアの判定方法について説明する。実施形態に係る分析エリアの判定方法は2種類ある。立ち止まりと方向検知による判定方法である。
図6Aは、実施形態に係る立ち止まりの判定方法を説明するための説明図である。立ち止まりの判定方法は、主に、レジ業務を行う店員の場合に用いられる。立ち止まりの判定方法では、判定部532は、分析エリアにバウンディングボックスが触れた瞬間にカウントを開始し、分析エリアから出た瞬間にカウントを終了することで、検知された人物を処理対象にカウントするか否かを判定する。
図6A左側は、処理対象にカウントすると判定される場合の一例を示す。
図6A左側では、バウンディングボックスが付与された人物が分析エリア内に移動したことにより画像上でバウンディングボックスの少なくとも一部が分析エリアに重畳したため処理対象にカウントすると判定される。
図6A右側は、処理対象にカウントしないと判定される場合の一例を示す。
図6A右側では、画像上でバウンディングボックスのどの部分も分析エリアに重畳しないため処理対象にカウントしないと判定される。
【0035】
図6Bは、実施形態に係る方向検知の判定方法を説明するための説明図である。方向検知の判定方法は、主に、客(来店客、待機客、決済客)の場合に用いられる。方向検知の判定方法では、判定部532は、バウンディングボックスが分析エリアを指定の方向に通過したか否かを判定することで、検知された人物を処理対象にカウントするか否かを判定する。
図6B左側は、処理対象にカウントすると判定される場合の一例を示す。
図6B左側では、バウンディングボックスが付与された人物の移動とともに画像上でバウンディングボックスの少なくとも一部が分析エリアに重畳し分析エリア内を所定の方向に移動したため処理対象にカウントすると判定される。
図6B右側は、処理対象にカウントしないと判定される場合の一例を示す。
図6B右側では、画像上でバウンディングボックスのどの部分も分析エリアに重畳しない、又は、画像上でバウンディングボックスの少なくとも一部が分析エリアに重畳したが分析エリア内を所定の方向に移動しなかったため処理対象にカウントしないと判定される。なお、
図6B左側に示したように、分析エリアを跨いで指定の方向に通過した場合に限られず、分析エリア外から分析エリア内の途中まで指定の方向に通過した場合や、分析エリア内の途中から分析エリア外まで指定の方向に通過した場合も、処理対象にカウントすると判定される。また、図示されていないが、分析エリア内の一の位置から分析エリア内の他の位置まで指定の方向に通過した場合も、処理対象にカウントすると判定される。
【0036】
しかしながら、このような判定方法では、適切なカウントができない場合がある。例えば、バウンディングボックスが追跡中に外れ再度付与してしまうダブルカウントや、検知漏れや誤検知などにより、適切なカウントができない場合がある。また、例えば、来店がグループの場合など、決済単位がグループの場合でも、グループ単位ではなく人物単位で人物それぞれを検知してしまうため、適切なカウントができない場合がある。例えば、3人がグループで来店した場合でも、人数をグループ単位ではなく人物単位で3人とカウントしてしまう場合がある。また、例えば、買い物中の待機客でない客と待機客とを判断できないため、適切なカウントができない場合がある。例えば、買い物中の待機客でない客1人が待機客2人に接近した場合には、待機客の人数を2人ではなく3人とカウントしてしまう場合がある。このため、適切なカウントを行うためには更なる処理が必要となる。以下、適切なカウントを行うための更なる処理を、適宜、「データクレンジング」と呼ぶ。なお、データクレンジングは情報処理装置100で実行される。
【0037】
(提供部533)
提供部533は、データクレンジングが行われる前の情報を情報処理装置100へ送信する。例えば、提供部533は、判定部532によって処理対象にカウントすると判定された人物の検知情報を送信する。例えば、提供部533は、人物の性別や年代に関する情報や、人物の検知が開始された時刻に関する情報や、人物の検知が開始されてから終了するまでの時間に関する情報などを送信する。
【0038】
〔4.情報処理装置の構成〕
次に、
図7を用いて、実施形態に係る情報処理装置100の構成について説明する。
図7は、実施形態に係る情報処理装置100の構成例を示す図である。
図7に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130とを有する。なお、情報処理装置100は、情報処理装置100の管理者から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示させるための表示部(例えば、液晶ディスプレイ等)を有してもよい。
【0039】
(通信部110)
通信部110は、例えば、NIC等によって実現される。そして、通信部110は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、物体検知装置50等との間で情報の送受信を行う。
【0040】
(記憶部120)
記憶部120は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
【0041】
記憶部120は、データクレンジング前の検知情報に基づくカウント結果と、データクレンジング後の検知情報に基づくカウント結果とを記憶する。ここで、
図8に、実施形態に係る記憶部120の一例を示す。
図8に示すように、記憶部120は、「カウント結果ID」、「対象日時」、「来店客数(加工前)」、「来店客数(加工後)」、「入口滞在時間」、「レジ1前待機客数(加工前)」、「レジ1前待機客数(加工後)」、「レジ1前滞在時間(加工前)」、「レジ1前滞在時間(加工後)」、「レジ2前待機客数(加工前)」、「レジ2前待機客数(加工後)」、「レジ2前滞在時間(加工前)」、「レジ2前滞在時間(加工後)」、「レジ1決済客数(加工前)」、「レジ1決済客数(加工後)」、「レジ1通過時間(通過前)」、「レジ1通過時間(通過後)」、「レジ2決済客数(加工前)」、「レジ2決済客数(加工後)」、「レジ2通過時間(加工前)」、「レジ2通過時間(加工後)」、「レジ1店員有無」、「レジ1店員滞在時間(加工前)」、「レジ1店員滞在時間(加工後)」、「レジ2店員有無」、「レジ2店員滞在時間(加工前)」、「レジ2店員滞在時間(加工後)」といった項目を有する。
【0042】
「カウント結果ID」は、カウント結果を識別するための識別情報を示す。「対象日時」は、カウント結果の対象日時を示す。「来店客数(加工前)」は、対象日時に、データクレンジング前の検知情報に基づきカウントされた来店客数を示す。「来店客数(加工後)」は、データクレンジング後の検知情報に基づきカウントされた来店客数を示す。「入口滞在時間」は、対象日時にカウントされた来店客が検知された検知時間の総和を示す。なお、検知時間は、来店客が撮像範囲に入り映像に映った時間である。なお、来店客が検知された検知時間に対してデータクレンジングは実行されない。
【0043】
「レジ1前待機客数(加工前)」は、対象日時に、データクレンジング前の検知情報に基づきカウントされたレジ1前の待機客数を示す。「レジ1前待機客数(加工後)」は、対象日時に、データクレンジング後の検知情報に基づきカウントされたレジ1前の待機客数を示す。「レジ1前滞在時間(加工前)」は、対象日時に、データクレンジング前の検知情報に基づきカウントされたレジ1前の待機客の滞在時間の総和を示す。「レジ1前滞在時間(加工後)」は、対象日時に、データクレンジング後の検知情報に基づきカウントされたレジ1前の待機客の滞在時間の総和を示す。待機客の滞在時間のデータクレンジングについては後述する。「レジ2前待機客数」は、対象日時に、データクレンジング前の検知情報に基づきカウントされたレジ2前の待機客数を示す。「レジ2前待機客数(加工後)」は、対象日時に、データクレンジング後の検知情報に基づきカウントされたレジ2前の待機客数を示す。「レジ2前滞在時間(加工前)」は、対象日時に、データクレンジング前の検知情報に基づきカウントされたレジ2前の待機客の滞在時間の総和を示す。「レジ2前滞在時間(加工後)」は、対象日時に、データクレンジング後の検知情報に基づきカウントされたレジ2前の待機客の滞在時間の総和を示す。
【0044】
「レジ1決済客数(加工前)」は、対象日時に、データクレンジング前の検知情報に基づきカウントされたレジ1を通過した決済客数を示す。「レジ1決済客数(加工後)」は、対象日時に、データクレンジング後の検知情報に基づきカウントされたレジ1を通過した決済客数を示す。「レジ1通過時間(加工前)」は、対象日時に、データクレンジング前の検知情報に基づきカウントされたレジ1を通過した決済客の通過時間の総和を示す。「レジ1通過時間(加工後)」は、対象日時に、データクレンジング後の検知情報に基づきカウントされたレジ1を通過した決済客の通過時間の総和を示す。決済客の通過時間のデータクレンジングについては後述する。「レジ2決済客数(加工前)」は、対象日時に、データクレンジング前の検知情報に基づきカウントされたレジ2を通過した決済客数を示す。「レジ2決済客数(加工後)」は、対象日時に、データクレンジング後の検知情報に基づきカウントされたレジ2を通過した決済客数を示す。「レジ2通過時間(加工前)」は、対象日時に、データクレンジング前の検知情報に基づきカウントされたレジ2を通過した決済客の通過時間の総和を示す。「レジ2通過時間(加工後)」は、対象日時に、データクレンジング後の検知情報に基づきカウントされたレジ2を通過した決済客の通過時間の総和を示す。
【0045】
「レジ1店員有無」は、対象日時のレジ1の店員の有無を示す。なお、レジの店員の有無に対してデータクレンジングは実行されない。「レジ1店員滞在時間(加工前)」は、対象日時に、データクレンジング前の検知情報に基づきカウントされたレジ1の店員の滞在時間の総和を示す。「レジ1店員滞在時間(加工後)」は、対象日時に、データクレンジング後の検知情報に基づきカウントされたレジ1の店員の滞在時間の総和を示す。店員の滞在時間のデータクレンジングについては後述する。「レジ2店員有無」は、対象日時のレジ2の店員の有無を示す。「レジ2店員滞在時間(加工前)」は、対象日時に、データクレンジング前の検知情報に基づきカウントされたレジ2の店員の滞在時間の総和を示す。「レジ2店員滞在時間(加工後)」は、対象日時に、データクレンジング後の検知情報に基づきカウントされたレジ2の店員の滞在時間の総和を示す。
【0046】
すなわち、
図8では、カウント結果ID「R1」によって、例えば、「2021年5月27日12時0分0秒~2021年5月27日12時1分0秒」の1分間に来店した人数は、データクレンジング前の検知情報に基づくと「5人」、データクレンジング後の検知情報に基づくと「3人」であり、来店した客が検知された時間の総和は「15秒」であることを示す。また、カウント結果ID「R1」によって、例えば、「2021年5月27日12時0分0秒~2021年5月27日12時1分0秒」の1分間にレジ1前で待機していた人数は、データクレンジング前の検知情報に基づくと「4人」、データクレンジング後の検知情報に基づくと「3人」であり、待機していた客が検知された時間の総和は、データクレンジング前の検知情報に基づくと「60秒」、データクレンジング後の検知情報に基づくと「55秒」であることを示す。また、カウント結果ID「R1」によって、例えば、「2021年5月27日12時0分0秒~2021年5月27日12時1分0秒」の1分間にレジ1を通過した人数は、データクレンジング前の検知情報に基づくと「2人」、データクレンジング後の検知情報に基づくと「1人」であり、決済していた客が検知された時間の総和は、データクレンジング前の検知情報に基づくと「60秒」、データクレンジング後の検知情報に基づくと「55秒」であることを示す。また、カウント結果ID「R1」によって、例えば、「2021年5月27日12時0分0秒~2021年5月27日12時1分0秒」の1分間にレジ1に店員は滞在しており、店員が滞在していた時間は、データクレンジング前の検知情報に基づくと「60秒」、データクレンジング後の検知情報に基づくと「60秒」であることを示す。
【0047】
(制御部130)
制御部130は、コントローラであり、例えば、CPUやMPU等によって、情報処理装置100内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、コントローラであり、例えば、ASICやFPGA等の集積回路により実現される。
【0048】
図7に示すように、制御部130は、取得部131と、加工部132と、決定部133と、生成部134と、推定部135と、算出部136と、提供部137とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部130の内部構成は、
図7に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【0049】
(取得部131)
取得部131は、データクレンジング前の検知情報に基づくカウント結果に関する情報と、データクレンジング後の検知情報に基づくカウント結果に関する情報とを取得する。例えば、取得部131は、人物が撮像範囲に入り映像に映った検知時間を示すデータを取得する。また、例えば、取得部131は、検知時間を示すデータのうち、分析エリアを通過した通過時間を示すデータを取得する。
【0050】
(加工部132)
加工部132は、取得部131により取得された、データクレンジング前の検知情報に基づくカウント結果に関する情報に対してデータクレンジングを行う。以下、実施形態に係るデータクレンジングについて説明する。
【0051】
(来店客のデータクレンジング)
図9は、来店客数のカウント結果に適用されるデータクレンジングを説明するための説明図である。具体的には、来店客数のカウント結果に含まれるノイズを除去する。加工部132は、データクレンジング前の検知情報に基づく来店客数のカウント結果に対して、フィルター(例えば、カルマンフィルター)をかけてノイズを除去することにより来店客数を平滑化したデータを生成する。
【0052】
(待機客及び決済客に共通したデータクレンジング)
ダブルカウントを解消するためのデータクレンジングと時間測定によるズレを解消するためのデータクレンジングがあり、待機客のレジ前滞在時間のカウント結果と決済客のレジ通過時間のカウント結果に共通して適用される。
図10Aは、ダブルカウントを解消するデータクレンジングを説明するための説明図である。第1時刻に人物が検知された後、第1A時刻に人物が検知されなくなり、第2時刻に人物が再度検知された後、第2A時刻に人物が再度検知されなくなった場合である。ここで、第1時刻に検知された人物と第2時刻に検知された人物とが異なる場合もあるが、同一である場合には、データ1とデータ2を基に人物がダブルカウントされてしまう。このため、加工部132は、データ1とデータ2とを結合したデータ(セッション化したデータに対応)を生成する。具体的には、加工部132は、第1A時刻から第2時刻までの時間(以下、適宜、「再検知時間」とする)が所定時間(XA秒)以下である場合に、データ1と、データ2とを、第1時刻から第2A時刻までのデータとする。この際、加工部132は、第1時刻に検知された人物の属性(例えば、性別や年代)と第2時刻に検知された人物の属性とが同一の場合にデータ1とデータ2とを第1時刻から第2A時刻までのデータとしてもよい。なお、加工部132は、再検知時間がXA秒以下でない場合や、第1時刻と第2時刻とに検知された人物の属性が同一でない場合には、データ1とデータ2をそのままにする。また、加工部132は、ダブルカウント解消のための処理の前段として、レジが開いている時間以外のデータを削除してもよい。
【0053】
図10Bは、時間測定によるズレを解消するためのデータクレンジングを説明するための説明図である。加工部132は、
図10Aに示したようなデータ(例えば、データ1、データ2、セッション化したデータ)から、事前に決められた平均ズレ幅を削除することで、平均ズレ幅を引いたデータを生成する。
図10Bでは、加工部132は、検知の開始と終了の両端で平均ズレ幅を削除することで、平均ズレ幅を引いたデータを生成する。ここで、平均ズレ幅は、撮像装置ごとに決められる。例えば、平均ズレ幅は、撮像装置の画角や位置やアングルやズームなどによって撮像範囲に対する分析エリア外のサイズが決まるため撮像装置ごとに決められる。加工部132は、このような撮像装置に関する情報に基づいて、検知時間の少なくとも一部を削除した時間を新たなデータとする。また、加工部132は、時間測定によるズレ解消のための処理の前段として、平均ズレ幅以下のデータを削除してもよい。
【0054】
(決済客のデータクレンジング)
決済客のレジ通過時間のデータに重なりがある場合には、加工部132は、データの重なりの割合を基に更なるデータクレンジングを行う。
図11A乃至
図11Cは、決済客のレジ通過時間のデータに重なりがある場合のデータクレンジングの一例を示す図である。加工部132は、短い方のデータを基に、データの重なりの割合が所定割合(XX%)以上である場合には、重なりがある複数のデータをセッション化したデータを生成(
図11Aに対応)してもよいし、短い方のデータを削除(
図11Bに対応)してもよい。また、加工部132は、短い方のデータを基に、データの重なりの割合が所定割合未満である場合には、それぞれ別の決済客のデータ(
図11Cに対応)とする。
【0055】
(店員のデータクレンジング)
店員の滞在時間のデータに重なりがある場合には、加工部132は、重なりがある複数のデータをセッション化したデータを生成する。
図12Aは、店員の滞在時間のデータに重なりがある場合のデータクレンジングの一例(その1)を示す図である。
図12Aでは、加工部132は、データ1とデータ2、データ4とデータ5を基に、それぞれセッション化したデータを生成する。そして、決定部133は、データ1とデータ2をセッション化したデータと、データ3と、データ4とデータ5をセッション化したデータとを店員の滞在時間とする。また、
図12Bは、店員の滞在時間のデータに重なりがある場合のデータクレンジングの一例(その2)を示す図である。具体的には、データ2の終了からデータ3の開始が所定時間(XF秒)以下である場合である。
図12Bでは、加工部132は、データ1とデータ2とデータ3、データ4とデータ5を基に、それぞれセッション化したデータを生成する。そして、決定部133は、データ1とデータ2とデータ3をセッション化したデータと、データ4とデータ5をセッション化したデータとを店員の滞在時間とする。
【0056】
(決定部133)
決定部133は、検知された人物が通過した分析エリアに応じて、来店客のデータ、待機客のデータ、決済客のデータ、店員のデータを決定する。例えば、決定部133は、検知された人物が通過した分析エリアが来店客をカウントするためのエリアである場合には、データクレンジング後のデータを基に、来店客数を決定する。また、決定部133は、データクレンジング前のデータを基に、来店客の検知時間の総和を決定する。
【0057】
また、例えば、決定部133は、検知された人物が通過した分析エリアが待機客をカウントするためのエリアである場合には、データクレンジング後のデータを基に、待機客数を決定する。例えば、決定部133は、待機客の滞在時間のデータ数から、データ数に応じた人数を待機客数とする。
図13Aは、待機客のデータの決定を説明するための説明図である。決定部133は、待機列を横切る通過客のデータ(<XB秒)や棚補充店員や買い物客のデータ(>XC秒)を除外するために、滞在時間が所定閾値の範囲(XB秒以上且つXC秒以下)のデータを、待機客のデータとする。また、決定部133は、データクレンジング後のデータを基に、待機客の滞在時間の総和を決定する。
【0058】
また、例えば、決定部133は、検知された人物が通過した分析エリアが決済客をカウントするためのエリアである場合には、データクレンジング後のデータを基に、決済客数を決定する。例えば、決定部133は、決済客の通過時間のデータ数から、データ数に応じた人数を決済客数とする。
図13Bは、決済客のデータの決定を説明するための説明図である。決定部133は、レジを横切る通過客のデータ(<XD秒)や店員や作業員のデータ(>XE秒)を除外するために、通過時間が所定閾値の範囲(XD秒以上且つXE秒以下)のデータを、決済客のデータとする。また、決定部133は、データクレンジング後のデータを基に、決済客の通過時間の総和を決定する。
【0059】
以下、レジ開閉の最適化のために、最適なレジ稼働台数を算出するための処理を説明する。
【0060】
(生成部134)
生成部134は、所定時間後(例えば、数分後)の最適レジ稼働台数を推定するためのモデルを生成する。なお、所定時間は、店員のオペレーションとのラグを考慮した時間である。この時間で、最適レジ稼働台数を店員へ通知し、店員が知得し、最終的なレジ稼働台数を店員が判断することが可能となる。
【0061】
生成部134は、記憶部120に記憶されたデータを入力すると、対象日時から所定時間内にレジに来る客数を出力するモデルを生成する。具体的には、生成部134は、対象日時のデータクレンジング前の検知情報に基づくカウント結果(来店客数、入口滞在時間、待機客数、レジ前滞在時間、決済客数、レジ通過時間、店員有無、レジ店員滞在時間)と、データクレンジング後の検知情報に基づくカウント結果(来店客数、待機客数、レジ前滞在時間、決済客数、レジ通過時間、レジ店員滞在時間)とを入力データに追加する。また、対象日時から所定時間内に実際にレジに来た客数を店員の目視によりカウントすることで、対象日時に対応した入力情報の正解情報とする。生成部134は、過去の対象日時の検知情報を用いて推定された客数と、その対象日時から所定時間内に実際にレジに来た客数とに基づいて学習させたモデルを生成する。
【0062】
ここで、来店客数のカウントを例に挙げて学習データの生成について説明する。
図14は、学習データの生成の一例を示す図である。対象日時の3月1日10時0分から、1分ごとに1分間の来店客数を記録したデータである。例えば、3月1日10時0分~10時1分の1分間の来店客数が12人であったため、「入口の人数カウント」に12が入力される。また、この期間中に実際にレジに来た客数は2人であったため、「目的変数」に2が入力される。また、例えば、3月1日10時1分~10時2分の1分間の来店客数が9人であったため、「入口の人数カウント」に9が入力される。また、1分前の3月1日10時0分~10時1分の来店客数が12人であったため、「入口の人数カウント(1分前)」に12が入力される。また、この期間中に実際にレジに来た客数は0人であったため、「目的変数」に0が入力される。また、例えば、3月1日10時2分~10時3分の1分間の来店客数が8人であったため、「入口の人数カウント」に8が入力される。また、1分前の3月1日10時1分~10時2分の来店客数が9人であったため、「入口の人数カウント(1分前)」に9が入力され、2分前の3月1日10時0分~10時1分の来店客数が12人であったため、「入口の人数カウント(2分前)」に12が入力される。また、この期間中に実際にレジに来た客数は1人であったため、「目的変数」に1が入力される。生成部134は、このような来店客数のデータを集計することで来店客数のカウント結果を生成し、他の項目についても同様にカウント結果を生成することで、学習データを生成する。
【0063】
(推定部135)
推定部135は、生成部134により生成されたモデルに、現時刻の検知情報に基づくカウント結果を入力することで、現時刻から所定時間内にレジに来る客数を推定する。具体的には、推定部135は、現時刻のデータクレンジング前の検知情報に基づくカウント結果(来店客数、入口滞在時間、待機客数、レジ前滞在時間、決済客数、レジ通過時間、店員有無、レジ店員滞在時間)と、データクレンジング後の検知情報に基づくカウント結果(来店客数、待機客数、レジ前滞在時間、決済客数、レジ通過時間、レジ店員滞在時間)とを入力データに追加する。
【0064】
(算出部136)
算出部136は、推定部135により推定された客数と、事前に決められたレジ稼働可能台数と平均決済時間と待機許容人数とに基づいて、所定時間後の最適レジ稼働台数を算出する。
図15は、最適レジ稼働台数の算出方法を説明するための説明図である。
図15では、待機許容人数は2人であり、平均決済時間は60秒に設定される。そして、単位時間にレジ1台が捌ける人数にレジ台数を掛け合わせた人数に2人を加えた人数が、レジで捌く必要がある人数以上となるようにレジ台数を求めた際に可能な最小のレジ台数を最適レジ稼働台数とする。12時からの5分間でレジに来た人数は6人であるため、この5分間にレジで捌く必要がある人数は6人となる。ここで、待機許容人数は2人であるため、この5分間の最適レジ稼働台数は1台となる。この結果、1台のレジ処理可能人数は5分間で5人であるため、6人のうち1人が次の5分間に繰り越される。そして、12時5分からの5分間でレジに来た人数は8人であるため、この5分間にレジで捌く必要がある人数は前の1人と合わせて9人となる。このため、この5分間の最適レジ稼働台数は2台となる。この結果、2台のレジ処理可能人数は5分間で10人であるため、この5分間で9人全てを捌くことが可能となり、次の5分間に繰り越される人数は0人となる。そして、12時10分からの5分間でレジに来た人数は3人であるため、この5分間にレジで捌く必要がある人数は3人となる。このため、この5分間の最適レジ稼働台数は1台となる。
【0065】
(提供部137)
提供部137は、算出部136により算出された最適レジ稼働台数を示す情報を表示させるための情報を店舗端末200へ送信する。店舗端末200は、提供部137から送信された情報を受信すると、最適レジ稼働台数を示す情報を表示させる。
図16は、最適レジ稼働台数を示す情報(ユーザインターフェース)の一例を示す図である。
図16では、現時刻が2021年10月21日11時15分であり、現在のレジ稼働台数が2台であり、5分後の最適レジ稼働台数が3台であり、10分後の最適レジ稼働台数が2台であり、15分後の最適レジ稼働台数が1台であることを示す情報が表示される。なお、
図16では、5分後、10分後、15分後の最適レジ稼働台数を示す情報が表示されるが、表示態様は特に限定されないものとする。
【0066】
〔5.情報処理のフロー〕
次に、
図17を用いて、実施形態に係る情報処理システム1による情報処理の手順について説明する。
【0067】
図17に示すように、情報処理装置100は、現時刻のデータクレンジング前の検知情報に基づくカウント結果を取得する(ステップS101)。
【0068】
情報処理装置100は、取得したカウント結果に対するデータクレンジング後のカウント結果を取得する(ステップS102)。
【0069】
情報処理装置100は、対象日時のデータクレンジング前の検知情報に基づくカウント結果とデータクレンジング後のカウント結果とを入力すると、対象日時から所定時間内にレジに来る客数を出力するモデルに、取得したデータクレンジング前のカウント結果とデータクレンジング後のカウント結果とを入力することで、現時刻から所定時間内にレジに来る客数を推定する(ステップS103)。
【0070】
情報処理装置100は、推定した客数と、レジ稼働可能台数と平均決済時間と待機許容人数とに基づいて、現時刻から所定時間後の最適レジ稼働台数を算出する(ステップS104)。
【0071】
(実施形態2)
上述した実施形態に係る情報処理システム1は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム1の他の実施形態について説明する。なお、上記実施形態と同様の説明は適宜省略する。
【0072】
〔6.情報処理装置の構成〕
図18を用いて、実施形態2に係る情報処理装置100Aの構成について説明する。
図18は、実施形態2に係る情報処理装置100Aの構成例を示す図である。
図18に示すように、情報処理装置100Aは、通信部110と、記憶部120と、制御部130Aとを有する。なお、情報処理装置100Aは、情報処理装置100Aの管理者から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示させるための表示部(例えば、液晶ディスプレイ等)を有してもよい。
【0073】
(制御部130A)
制御部130Aは、コントローラであり、例えば、CPUやMPU等によって、情報処理装置100A内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部130Aは、コントローラであり、例えば、ASICやFPGA等の集積回路により実現される。
【0074】
図18に示すように、制御部130Aは、取得部131と、加工部132と、決定部133と、算出部234と、生成部235と、特定部236と、提供部137Aとを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部130Aの内部構成は、
図18に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【0075】
以下、レジ作業効率を可視化することで、レジ勤務シフト最適化のための提案を行う処理を説明する。下記実施形態では、レジ作業効率を式(1)のように定義する。式(1)は、実施形態2に係るレジ作業効率を算出するための算出式である。また、
図19は、顧客対応をした時間とレジ業務をした時間の一例を示す図である。
【0076】
【0077】
(算出部234)
算出部234は、決定部133により決定された決済客のデータ(顧客対応をした時間)と店員のデータ(レジ業務をした時間)とに基づいて、レジ作業効率を算出する。なお、レジ作業効率は、例えば、日付、曜日、時間帯ごとに算出されてもよい。例えば、算出部234は、日付ごとの決済客のデータと店員のデータとに基づいて、レジ作業効率を日付ごとに算出してもよい。また、例えば、算出部234は、曜日ごとの決済客のデータと店員のデータとに基づいて、レジ作業効率を曜日ごとに算出してもよい。また、例えば、算出部234は、時間帯ごとの決済客のデータと店員のデータとに基づいて、レジ作業効率を時間帯ごとに算出してもよい。また、算出部234は、決済客のデータと店員のデータとに基づいて、レジ業務をした時間のうち顧客対応をしなかった非顧客対応時間を算出してもよい。例えば、算出部234は、店員のデータから決済客のデータを差し引くことで、非顧客対応時間を算出してもよい。
【0078】
(生成部235)
生成部235は、算出部234により算出されたレジ作業効率を可視化した情報を表示させるための情報を生成する。
図20A乃至
図20Cは、それぞれ、日付、曜日、時間帯ごとにレジ作業効率を可視化した情報(ユーザインターフェース)の一例を示す図である。
図20A乃至
図20Cでは、顧客対応時間と非顧客対応時間とともに、レジ作業効率が可視化される。
【0079】
(特定部236)
特定部236は、算出部234により算出されたレジ作業効率に基づいて、レジ作業効率が低い情報(例えば、日付、曜日、時間帯)や、レジ作業効率が高い情報を特定する。
図21は、レジ勤務シフト最適化のための提案の一例を示す図である。時間帯ごとにレジ作業効率を可視化した情報の一例(
図20C参照)を基とした提案である。
図21では、特定部236は、レジ作業効率が50%に満たない9時と10時の時間帯を特定し、レジ作業効率が低い時間帯とする。また、特定部236は、レジ作業効率が60%を超えた16時から18時までの時間帯を特定し、レジ作業効率が高い時間帯とする。なお、特定部236は、レジ作業効率が50%から60%の範囲内の11時から15時までの時間帯を特定し、レジ作業効率が適切な時間帯としてもよい。
【0080】
(提供部137A)
提供部137Aは、生成部235により生成された情報を店舗端末200へ送信する。店舗端末200は、提供部137Aから送信された情報を受信すると、レジ作業効率を可視化した情報を表示させる。また、提供部137Aは、特定部236により特定された情報に基づいて、レジ勤務シフトを変更するよう提案する情報を送信する。
図22は、レジ勤務シフト変更の提案の一例を示す図である。
図22では、特定部236によりレジ作業効率が低いと特定された9時と10時の時間帯のシフト人数を現在の2人から1人に減らすよう提案し、レジ作業効率が高いと特定された16時から18時までの時間帯のシフト人数を現在の3人から4人に増やすよう提案する。店舗端末200は、
図22に示したようなレジ勤務シフトを変更するよう提案する情報を表示させてもよい。
【0081】
〔7.効果〕
上述してきたように、実施形態に係る情報処理装置100は、取得部131と、推定部135とを有する。取得部131は、サービス提供者から対面でサービスが提供される各サービス提供場所でサービスを享受する利用者に関する利用者情報として、各サービス提供場所でサービスを享受している利用者である享受者に関する享受者情報と、各サービス提供場所でサービスを享受するために待機する利用者である待機者に関する待機者情報と、各サービス提供場所が設けられるサービス提供エリアに来訪する来訪者に関する来訪者情報とを取得する。推定部135は、享受者情報と、待機者情報と、来訪者情報とに基づいて、各サービス提供場所に来訪する利用者の人数を推定する。
【0082】
これにより、実施形態に係る情報処理装置100は、各サービス提供場所に来訪する利用者の人数を精度よく推定できるため、有人でサービスを行う業務の稼働調整による回転率の向上を促進させることができる。また、情報処理装置100は、有人でサービスを行う業務の稼働調整による回転率の向上を促進させることができるため、持続可能な開発目標(SDGs)の目標9「産業と技術革新の基盤をつくろう」の達成に貢献できる。
【0083】
また、推定部135は、各サービス提供場所でサービスを享受した利用者に関する利用者情報と、各サービス提供場所に来訪した利用者の人数とを学習データとして学習された学習モデルを用いて、各サービス提供場所で過去の所定期間にサービスを享受した利用者に関する利用者情報から、各サービス提供場所に来訪する利用者の人数を推定する。
【0084】
これにより、実施形態に係る情報処理装置100は、学習モデルを用いることにより、利用者情報を入力することで、各サービス提供場所に来訪する利用者の人数を精度よく推定することができる。
【0085】
また、取得部131は、利用者情報として、サービス提供エリアに設けられたセンサにより利用者が検知され続けている検知期間に関する情報を含む検知情報を取得する。
【0086】
これにより、実施形態に係る情報処理装置100は、利用者の検知情報を基に学習モデルを生成できるため、利用者の検知情報を利用者情報として学習モデルの入力データに用いることができる。
【0087】
また、実施形態に係る情報処理装置100は、取得部131によって取得された利用者情報を加工する加工部132をさらに有する。また、推定部135は、加工部132によって加工された後の利用者情報に基づいて、各サービス提供場所に来訪する利用者の人数を推定する。
【0088】
これにより、実施形態に係る情報処理装置100は、加工により適切な利用者情報を生成できるため、加工後の利用者情報を用いることで、各サービス提供場所に来訪する利用者の人数を精度よく推定することができる。
【0089】
また、加工部132は、取得部131により取得された第1の利用者情報に対応する第1の検知期間の終了時刻から、第2の利用者情報に対応する第2の検知期間の開始時刻までの差が第1閾値以下である場合に、第1の検知期間の開始時刻から第2の検知期間の終了時刻までを検知期間とする新たな利用者情報を生成することで、第1の利用者情報と第2の利用者情報とを合成する。
【0090】
これにより、実施形態に係る情報処理装置100は、第1の利用者情報と第2の利用者情報とで同一の利用者をダブルカウントしてしまうリスクを回避できるため、より適切に人数カウントが行われた利用者情報を生成することができる。
【0091】
また、加工部132は、センサに関する情報に基づいて、取得部131により取得された利用者情報に対応する検知期間の先頭から所定時間、または、検知期間の間の位置から最後までの所定時間の少なくともいずれか一方を削除することにより新たな利用者情報を生成する。
【0092】
これにより、実施形態に係る情報処理装置100は、センサの時間測定によるズレを適切に解消することができるため、より適切に検知時間が測定された利用者情報を生成することができる。
【0093】
また、推定部135は、享受者情報として、享受者の人数、享受者がサービス提供場所に滞在している滞在時間を用い、待機者情報として、待機者の人数、待機者が待機場所に滞在している滞在時間を用い、来訪者情報として、サービス提供エリアに来訪した来訪者の人数を用いて、各サービス提供場所に来訪する利用者の人数を推定する。
【0094】
これにより、実施形態に係る情報処理装置100は、享受者、待機者、来訪者と対象が異なる種々の情報を用いて、各サービス提供場所に来訪する利用者の人数を精度よく推定することができる。
【0095】
また、推定部135は、サービス提供エリアに設けられたセンサにより享受者又は待機者が検知され続けている検知期間が所定の閾値の範囲内である場合に、享受者又は待機者の人数として計数する。
【0096】
これにより、実施形態に係る情報処理装置100は、単なる通過客などの人数をカウントすることなく、享受者や待機者の人数カウントを適切に行うことができる。
【0097】
また、実施形態に係る情報処理装置100は、推定部135によって推定された来訪者数に基づいて、各サービス提供場所の中で稼働させるサービス提供場所の数を決定する決定部133をさらに有する。
【0098】
これにより、実施形態に係る情報処理装置100は、稼働させるサービス提供場所の数の最適化を行うことができる。
【0099】
また、決定部133は、サービスを享受するために待機することが許容される待機者の人数に基づいて、サービス提供場所の数を決定する。
【0100】
これにより、実施形態に係る情報処理装置100は、待機許容人数に基づいて、稼働させるサービス提供場所の数の最適化を行うことができる。
【0101】
また、実施形態に係る情報処理装置100は、取得部131と、加工部132とを有する。取得部131は、サービス提供者から対面でサービスが提供される各サービス提供場所でサービスを享受する利用者に関する利用者情報であって、各サービス提供場所が設けられるサービス提供エリアに設けられたセンサにより利用者が検知され続けている検知期間に関する情報を含む利用者情報を取得する。加工部132は、取得部131により取得された第1の利用者情報に対応する第1の検知期間の終了時刻から、第2の利用者情報に対応する第2の検知期間の開始時刻までの差が第1閾値以下である場合に、第1の検知期間の開始時刻から前記第2の検知期間の終了時刻までを検知期間とする新たな利用者情報を生成することで、第1の利用者情報と第2の利用者情報とを合成する。
【0102】
これにより、実施形態に係る情報処理装置100は、加工後の利用者情報に基づいて、各サービス提供場所に来訪する利用者の人数を精度よく推定できるため、有人でサービスを行う業務の稼働調整による回転率の向上を促進させることができる。
【0103】
また、実施形態に係る情報処理装置100は、取得部131と、加工部132とを有する。取得部131は、サービス提供者から対面でサービスが提供される各サービス提供場所でサービスを享受する利用者に関する利用者情報であって、各サービス提供場所が設けられるサービス提供エリアに設けられたセンサにより利用者が検知され続けている検知期間に関する情報を含む利用者情報を取得する。加工部132は、センサに関する情報に基づいて、取得部131により取得された利用者情報に対応する検知期間の先頭から所定時間、または、検知期間の間の位置から最後までの所定時間の少なくともいずれか一方を削除することにより新たな利用者情報を生成する。
【0104】
これにより、実施形態に係る情報処理装置100は、加工後の利用者情報に基づいて、各サービス提供場所に来訪する利用者の人数を精度よく推定できるため、有人でサービスを行う業務の稼働調整による回転率の向上を促進させることができる。
【0105】
〔8.ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置100及び情報処理装置100Aは、例えば
図23に示すような構成のコンピュータ1000によって実現される。
図23は、情報処理装置100及び情報処理装置100Aの機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を備える。
【0106】
CPU1100は、ROM1300またはHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
【0107】
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、所定の通信網を介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータを所定の通信網を介して他の機器へ送信する。
【0108】
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、生成したデータを入出力インターフェイス1600を介して出力装置へ出力する。
【0109】
メディアインターフェイス1700は、記録媒体1800に格納されたプログラムまたはデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0110】
例えば、コンピュータ1000が実施形態に係る情報処理装置100及び情報処理装置100Aとして機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部130及び制御部130Aの機能を実現する。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
【0111】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0112】
〔9.その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0113】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0114】
また、上述した情報処理装置100及び情報処理装置100Aは、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をAPI(Application Programming Interface)やネットワークコンピューティング等で呼び出して実現するなど、構成は柔軟に変更できる。
【0115】
また、上述してきた実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【符号の説明】
【0116】
100、100A 情報処理装置
110 通信部
120 記憶部
130、130A 制御部
131 取得部
132 加工部
133 決定部
134 生成部
135 推定部
136 算出部
137、137A 提供部
234 算出部
235 生成部
236 特定部