特許 7435587 物品推定装置、物品推定方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-13

(45)【発行日】2024-02-21

(54)【発明の名称】物品推定装置、物品推定方法、及びプログラム

(51)【国際特許分類】

   B65G 1/137 20060101AFI20240214BHJP

【ＦＩ】

B65G1/137 C

【請求項の数】 12

(21)【出願番号】P 2021503960

(86)(22)【出願日】2020-02-20

(86)【国際出願番号】 JP2020006860

(87)【国際公開番号】W WO2020179480

(87)【国際公開日】2020-09-10

【審査請求日】2023-01-11

(31)【優先権主張番号】P 2019037829

(32)【優先日】2019-03-01

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】仲村 元亨

(72)【発明者】

【氏名】村 尚幸

(72)【発明者】

【氏名】山崎 晋哉

【審査官】小川 悟史

(56)【参考文献】

【文献】特開２０１８－２０６３７２（ＪＰ，Ａ）

【文献】特開２０１４－１９４７３２（ＪＰ，Ａ）

【文献】特開２０１８－１６０１０７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／００３９４５８（ＵＳ，Ａ１）

【文献】国際公開第２０１７／１６３９０９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６５Ｇ １／１３７

Ｇ０６Ｑ ２０／００

Ｇ０６Ｑ ３０／００

Ａ４７Ｆ ５／００

Ａ４７Ｆ １０／００

(57)【特許請求の範囲】

【請求項1】

複数の物品が載置可能な棚に設けられた重量センサの検出値の変化に基づいたデータである重量変化データと、前記棚の前の空間である棚前空間に位置する人物の手の動きを示す動作データと、を取得する取得手段と、
前記重量変化データ及び前記動作データを用いて、前記手が取り出したと推定される前記物品の物品特定情報を出力する出力手段と、
を備え、
前記取得手段は、前記棚前空間を検出範囲に含む深度センサの検出値を用いて前記動作データを生成し、
前記出力手段は、前記重量センサの検出値の変化があった棚の高さと、前記動作データを取得可能な深度センサによって検出された前記手の高さと、の関係が基準を満たした場合に、当該棚に紐付いた前記物品特定情報を出力し、
高さが異なる複数の前記棚があり、
少なくとも一つの前記物品特定情報は、前記複数の棚のそれぞれに紐付いており、
前記重量変化データは、前記複数の棚別の重量の変動を示している、
物品推定装置。

【請求項2】

請求項１に記載の物品推定装置において、
前記出力手段は、前記棚の複数の部分領域における重量の変化が基準を満たした前記部分領域に紐づけられた前記物品特定情報を出力する物品推定装置。

【請求項3】

請求項１または２に記載の物品推定装置において、
前記出力手段が出力した前記物品特定情報を、前記人物を特定する人物特定情報に紐づけて記憶手段に記憶させる記憶処理手段をさらに備える物品推定装置。

【請求項4】

請求項３に記載の物品推定装置において、
前記記憶処理手段は、前記人物の動きを追跡する人物追跡装置から、前記人物特定情報を取得する物品推定装置。

【請求項5】

請求項１～４のいずれか一項に記載の物品推定装置において、
前記取得手段は、前記棚前空間の少なくとも一部を含む画像である第１画像を繰り返し取得し、
前記出力手段は、さらに前記第１画像に含まれる前記物品の画像を用いて、前記手が取り出した前記物品を推定する物品推定装置。

【請求項6】

請求項１～４のいずれか一項に記載の物品推定装置において、
前記取得手段は、前記棚を前方から撮像した画像である第２画像を繰り返し取得し、
前記出力手段は、さらに前記第２画像の変化を用いて、前記手が取り出した前記物品の前記物品特定情報を特定する物品推定装置。

【請求項7】

請求項１～６のいずれか一項に記載の物品推定装置において、
前記棚には、複数の重量センサが互いに離れて設けられており、
前記取得手段は、前記複数の重量センサの検出値を用いて前記重量変化データを生成する物品推定装置。

【請求項8】

請求項１～７のいずれか一項に記載の物品推定装置において、
前記棚は店舗に設置されており、
前記人物は顧客であり、
前記出力手段が出力した前記物品特定情報を用いて精算処理を行う精算処理手段と、
前記精算処理に基づいた電子レシートを出力する電子レシート出力手段と、
を備える物品推定装置。

【請求項9】

コンピュータが、
複数の物品が載置可能な棚に設けられた重量センサの検出値の変化に基づいたデータである重量変化データと、前記棚の前の空間である棚前空間に位置する人物の手の動きを示す動作データと、を取得し、
前記重量変化データ及び前記動作データを用いて、前記手が取り出したと推定される前記物品の物品特定情報を出力する、ことを含み、
前記コンピュータは、
前記棚前空間を検出範囲に含む深度センサの検出値を用いて前記動作データを生成し、
前記重量センサの検出値の変化があった棚の高さと、前記動作データを取得可能な深度センサによって検出された前記手の高さと、の関係が基準を満たした場合に、当該棚に紐付いた前記物品特定情報を出力し、
高さが異なる複数の前記棚があり、
少なくとも一つの前記物品特定情報は、前記複数の棚のそれぞれに紐付いており、
前記重量変化データは、前記複数の棚別の重量の変動を示している、
物品推定方法。

【請求項10】

コンピュータに、
複数の物品が載置可能な棚に設けられた重量センサの検出値の変化に基づいたデータである重量変化データと、前記棚の前の空間である棚前空間に位置する人物の手の動きを示すデータであって、前記棚前空間を検出範囲に含む深度センサの検出値を用いて生成される動作データと、を取得する機能と、
前記重量変化データ及び前記動作データを用いて、前記手が取り出したと推定される前記物品の物品特定情報を出力する機能であって、前記重量センサの検出値の変化があった棚の高さと、前記動作データを取得可能な深度センサによって検出された前記手の高さと、の関係が基準を満たした場合に、当該棚に紐付いた前記物品特定情報を出力する機能と、
を持たせるプログラムであって、
高さが異なる複数の前記棚があり、
少なくとも一つの前記物品特定情報は、前記複数の棚のそれぞれに紐付いており、
前記重量変化データは、前記複数の棚別の重量の変動を示しているプログラム。

【請求項11】

請求項１～８のいずれか一項に記載の物品推定装置において、
前記深度センサは、前記棚前空間の上方および下方の少なくとも一方に配置されている、物品推定装置。

【請求項12】

請求項１～８、１１のいずれか一項に記載の物品推定装置において、
前記棚前空間は、前記棚の外部前方の空間である物品推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は物品推定装置、物品推定方法、及びプログラムに関する。

【背景技術】

【0002】

近年は店舗や工場などで省力化を行うための技術開発が進められている。例えば特許文献１には、在庫棚から取り出された複数種類の物品を１セットとして箱詰めする作業において、在庫棚に収納されている物品５の総重量を計測し、この計測結果を用いて警告を行うか否かを判定することが記載されている。

【0003】

また特許文献２には、物品の取扱いを管理するために、物品のバーコードやＱＲコード（登録商標）を撮影した画像を処理した結果を用いて棚卸データを生成することが記載されている。棚卸データは、物品の取扱い状況を示した情報であり、例えば、撮影された物品の識別情報、当該物品の照合が行われた日時、当該物品が設置された場所、及び当該物品を取扱ったユーザの識別情報等を互いに対応付けた情報である。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－２１８２８９号公報

【文献】特開２０１７－２１０３１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

省力化を進めるためには、棚から取り出した物品を自動で判別できるようにすることが好ましい。本発明は、棚から取り出された物品の判別精度を上げることを目的の一つとする。

【課題を解決するための手段】

【0006】

本発明によれば、複数の物品が載置可能な棚に設けられた重量センサの検出値の変化に基づいたデータである重量変化データと、前記棚の前の空間である棚前空間に位置する人物の手の動きを示す動作データと、を取得する取得手段と、
前記重量変化データ及び前記動作データを用いて、前記手が取り出したと推定される前記物品の物品特定情報を出力する出力手段と、
を備え、
前記取得手段は、前記棚前空間を検出範囲に含む深度センサの検出値を用いて前記動作データを生成し、
前記出力手段は、前記重量センサの検出値の変化があった棚の高さと、前記動作データを取得可能な深度センサの検出値と、の関係が基準を満たした場合に、当該棚に紐付いた前記物品特定情報を出力し、
高さが異なる複数の前記棚があり、
少なくとも一つの前記物品特定情報は、前記複数の棚のそれぞれに紐付いており、
前記重量変化データは、前記複数の棚別の重量の変動を示している、
物品推定装置が提供される。

【0007】

本発明によればコンピュータが、
複数の物品が載置可能な棚に設けられた重量センサの検出値の変化に基づいたデータである重量変化データと、前記棚の前の空間である棚前空間に位置する人物の手の動きを示す動作データと、を取得し、
前記重量変化データ及び前記動作データを用いて、前記手が取り出したと推定される前記物品の物品特定情報を出力する、ことを含み、
前記コンピュータは、
前記棚前空間を検出範囲に含む深度センサの検出値を用いて前記動作データを生成し、
前記重量センサの検出値の変化があった棚の高さと、前記動作データを取得可能な深度センサの検出値と、の関係が基準を満たした場合に、当該棚に紐付いた前記物品特定情報を出力し、
高さが異なる複数の前記棚があり、
少なくとも一つの前記物品特定情報は、前記複数の棚のそれぞれに紐付いており、
前記重量変化データは、前記複数の棚別の重量の変動を示している、
物品推定方法が提供される。

【0008】

本発明によれば、コンピュータに、
複数の物品が載置可能な棚に設けられた重量センサの検出値の変化に基づいたデータである重量変化データと、前記棚の前の空間である棚前空間に位置する人物の手の動きを示すデータであって、前記棚前空間を検出範囲に含む深度センサの検出値を用いて生成される動作データと、を取得する機能と、
前記重量変化データ及び前記動作データを用いて、前記手が取り出したと推定される前記物品の物品特定情報を出力する機能であって、前記重量センサの検出値の変化があった棚の高さと、前記動作データを取得可能な深度センサの検出値と、の関係が基準を満たした場合に、当該棚に紐付いた前記物品特定情報を出力する機能と、
を持たせるプログラムであって、
高さが異なる複数の前記棚があり、
少なくとも一つの前記物品特定情報は、前記複数の棚のそれぞれに紐付いており、
前記重量変化データは、前記複数の棚別の重量の変動を示しているプログラムが提供される。

【発明の効果】

【0009】

本発明によれば、棚から取り出された物品の判別精度が上がる。

【図面の簡単な説明】

【0010】

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

【0011】

【図1】本実施形態に係る物品情報推定装置の機能構成を、物品情報推定装置の使用環境とともに示す図である。

【図2】棚割情報記憶部が記憶しているデータの一例を示す図である。

【図3】図１に示す物品情報推定装置のハードウエア構成を例示するブロック図である。

【図4】物品情報推定装置の動作例を説明するためのフローチャートである。

【図5】ステップＳ１０４で行われる処理の詳細を説明するためのフローチャートである。

【図6】変形例に係る棚及び重量センサのレイアウト例を示す図である。

【図7】第２実施形態に係る物品情報推定装置の機能構成を、物品情報推定装置の使用環境とともに示す図である。

【図8】第３実施形態に係る重量センサのレイアウトを説明するための平面図である。

【図9】第３実施形態における物品の特定処理（図４のステップＳ１０４）の詳細を説明するためのフローチャートである。

【図10】第４実施形態に係る物品情報推定装置の機能構成を、物品情報推定装置の使用環境とともに示す図である。

【図11】第４実施形態におけるステップＳ１０４の詳細を説明するためのフローチャートである。

【図12】第５実施形態に係る物品情報推定装置の機能構成を、物品情報推定装置の使用環境とともに示す図である。

【図13】第５実施形態に係る物品情報推定装置の動作例を説明するためのフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

【0013】

［第１実施形態］
図１は、本実施形態に係る物品情報推定装置１０の機能構成を、物品情報推定装置１０の使用環境とともに示す図である。実施形態に係る物品情報推定装置１０は、人が棚２０から取り出した物品２００を推定する装置であり、重量センサ３０及び深度センサ４０とともに使用される。本図において棚２０は側面から見た状態で示されている。

【0014】

棚２０は、複数の物品２００が載置可能である。例えば棚２０が店舗又は物流センタに配置されている場合、棚２０は商品棚であり、物品２００は商品であり、物品２００を取り出す人は顧客又は店員（社員）である。また棚２０が薬局に配置されている場合、棚２０は薬品棚であり、物品２００は薬品であり、物品２００を取り出す人は薬剤師である。

【0015】

本実施形態において、物品２００は、複数段の棚２０のそれぞれに配置されている。複数段の棚２０には、複数種類の物品２００が載置される。そして、物品２００毎に、その物品２００が載置される棚２０が予め定められている。このため、物品２００が取り出された棚２０が分かると、その物品２００の種類を推定することができる。ただし、棚２０は一段であってもよい。

【0016】

深度センサ４０は、棚２０の前の空間（以下、棚前空間と記載）を検出範囲に含んでおり、棚前空間に位置する人物の手の動きを示すデータを生成する。例えば深度センサ４０は、棚前空間の上方に配置されているが、棚前空間の側方に配置されていてもよいし、棚前空間の下方に配置されていてもよい。そして、深度センサ４０は、手のｘｙ面（すなわち水平面）内における位置、及び手のｚ方向（すなわち高さ方向）の位置を示すデータを生成し、このデータを物品情報推定装置１０に出力する。このため、人が手を棚２０に入れた場合、物品情報推定装置１０は、深度センサ４０が生成したデータを用いることにより、その棚２０を特定することができる。深度センサ４０は例えばステレオカメラを用いたものであってもよいし、ＬｉＤＡＲ（Light Detection and Ranging）を用いたものであってもよい。また、物品情報推定装置１０が、深度センサ４０からの出力データを処理することにより、手の位置を示すデータを生成してもよい。

【0017】

また、棚２０の上に載置されている物品の総重量が基準値以上減ったこと、すなわち棚２０の重さが基準値以上減ったことを検知しても、棚２０から取り出された物品２００を推定することができる。具体的には、重量センサ３０は、棚２０の総重量を検知している。重量センサ３０の検出値は、その重量センサ３０に割り振られた重量センサ識別情報とともに、物品情報推定装置１０に出力される。そしてこの重量センサ識別情報を用いることにより、物品情報推定装置１０は、取り出された物品２００の種類を推定できる。

【0018】

＜機能構成例＞
物品情報推定装置１０は、取得部１１０及び出力部１２０を有している。

【0019】

取得部１１０は、重量センサ３０の検出値の変化に基づいたデータ（以下、重量変化データと記載）を取得する。例えば取得部１１０は、重量センサ３０から取得したデータを時系列で整理することにより、重量変化データを生成する。ただし、物品情報推定装置１０の外部に、重量センサ３０が生成したデータを用いて重量変化データを生成するデータ処理装置が設けられていてもよい。この場合、取得部１１０は、このデータ処理装置から重量変化データを取得する。

【0020】

また、取得部１１０は、棚前空間に位置する人物の手の動きを示すデータ（以下、動作データと記載）を取得する。取得部１１０は、例えば、深度センサ４０から物品情報推定装置１０に出力されるデータを時系列で整理することにより、動作データを生成する。

【0021】

出力部１２０は、重量変化データ及び動作データを用いて、棚前空間に位置する人の手が取り出したと推定される物品の物品特定情報を出力する。本実施形態において、物品情報推定装置１０は棚割情報記憶部１３０を有している。棚割情報記憶部１３０は、棚２０毎に、その棚２０に配置されている物品を特定する物品特定情報を記憶している。出力部１２０は、例えば、取り出された商品が載置されていた棚２０を特定し、特定した棚２０に対応する物品特定情報を棚割情報記憶部１３０から読み出し、読み出した物品特定情報を出力する。物品特定情報は、例えばその物品に割り振られたＩＤ（コード情報の場合もある）、又はその物品の品名（例えば商品名）である。

【0022】

図２は、棚割情報記憶部１３０が記憶しているデータの一例を示す図である。本実施形態において、棚割情報記憶部１３０は、棚２０の位置を示す情報（以下、棚位置情報と記載）別に、その棚２０に取り付けられている重量センサ３０の重量センサ識別情報、その位置に載置される物品２００の物品特定情報、及び閾値情報を記憶している。棚位置情報は、その棚２０の高さを特定する情報（例えば床からの高さ、又は下からの段数）を含んでいる。閾値情報は、物品２００が一つその棚から取り出されたときの重量センサ３０の検出値の減少量として想定される値であり、例えばその物品２００の重量の９０％以上１１０％以下の値に設定されている。この閾値情報が示す閾値は、後述するように、出力部１２０に用いられる。

【0023】

＜ハードウエア構成例＞
図３は、図１に示す物品情報推定装置１０のハードウエア構成を例示するブロック図である。物品情報推定装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

【0024】

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

【0025】

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

【0026】

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

【0027】

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は物品情報推定装置１０の各機能（例えば取得部１１０及び出力部１２０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。

【0028】

入出力インタフェース１０５０は、物品情報推定装置１０と各種入出力機器とを接続するためのインタフェースである。

【0029】

ネットワークインタフェース１０６０は、物品情報推定装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

【0030】

そして、物品情報推定装置１０は、入出力インタフェース１０５０又はネットワークインタフェース１０６０を介して、必要な機器（例えば重量センサ３０及び深度センサ４０などのセンサ群）に接続する。

【0031】

＜動作例＞
図４は、物品情報推定装置１０の動作例を説明するためのフローチャートである。本図に示す例において、重量センサ３０は、常にデータ及び重量センサ識別情報を物品情報推定装置１０に送信し続けている。また深度センサ４０も常にデータを物品情報推定装置１０に送信し続けている。取得部１１０は、これらのデータ、すなわち重量変化データ及び動作データを取得し続ける。また取得部１１０は、取得したデータを必要に応じてストレージに記憶させ続ける。

【0032】

出力部１２０は、取得部１１０が取得した重量センサ３０の検出値を分析し、検出値（すなわち重量）が基準値以上減少した重量センサ３０の重量センサ識別情報を特定する（ステップＳ１０２）。この基準値は、例えば図２に示したように棚割情報記憶部１３０に記憶されている。そして出力部１２０は、ステップＳ１０２で特定された重量センサ識別情報、及び深度センサ４０の検出値を用いて、物品の特定処理を行う（ステップＳ１０４）。

【0033】

図５は、ステップＳ１０４で行われる処理の詳細を説明するためのフローチャートである。まず出力部１２０は、棚割情報記憶部１３０から、ステップＳ１０２で特定した重量センサ識別情報に対応する棚位置情報を読み出す（ステップＳ２０２）。次いで出力部１２０は、深度センサ４０が出力してきたデータを分析し、棚２０に差し込まれた手の高さを検出する（ステップＳ２０４）。

【0034】

次いで出力部１２０は、ステップＳ２０４で検出された手の高さと、ステップＳ２０２で読み出された棚位置情報の関係が基準を満たすか否かを判断する（ステップＳ２０６）。例えば出力部１２０は、ステップＳ２０４で検出された手の高さが、棚位置情報が示す高さとその上の棚２０の高さの間にある場合に、基準を満たすと判断する。なお、この基準は棚２０別に棚割情報記憶部１３０に記憶されていてもよい。この場合、出力部１２０は、ステップＳ１０２で特定された棚位置情報に紐付いた基準を読み出して用いる。また棚割情報記憶部１３０は、棚位置情報の代わりに、その棚２０に差し込まれた手の高さが取り得る範囲を記憶していてもよい。この場合、出力部１２０は、深度センサ４０が取得したての高さが、この範囲内にあるかどうかを判断する。

【0035】

手の高さと棚位置情報の関係が基準を満たしていた場合（ステップＳ２０６：Ｙｅｓ）、出力部１２０は、ステップＳ１０２で特定した重量センサ識別情報に対応する物品特定情報を棚割情報記憶部１３０から読み出すことによって、人物によって取り出された物品２００を推定する（ステップＳ２０８）。そして出力部１２０は、読み出した物品特定情報を出力する。

【0036】

一方、手の高さと棚位置情報の関係が基準を満たしてなかった場合（ステップＳ２０６：Ｎｏ）、出力部１２０は、アラート処理を行う。このアラート処理は、例えば物品２００の管理者（例えば棚２０が店舗であった場合には店員）の端末に所定の画面を標示させることなどである（ステップＳ２１０）。なお、このアラート処理とともに、又はアラート処理の代わりに、深度センサ４０が生成したデータや、後述する実施形態に記載の第１撮像部７０による画像や第２撮像部８０による画像を管理者の端末に送信してもよい。この場合、管理者が、画像等を確認することで取り出された物品２００を推定し、その結果を端末を介して出力部１２０に送信してもよい。

【0037】

なお、本実施形態において、出力部１２０は、まず、手の位置がいずれかの棚２０に対応する高さになったことを検出し、その後、その棚２０の重量変化が基準を満たしたときに、その棚２０に対応する物品特定情報を読み出してもよい。

【0038】

＜変形例１＞
図６は、変形例に係る棚２０及び重量センサ３０のレイアウト例を示す図である。本図において棚２０は正面から見た状態で示されている。本図に示す例において、少なくとも一つの段において、棚２０は複数の部分領域２２を有している。複数の部分領域２２の少なくとも一つには、他の部分領域２２とは異なる物品２００が載置されている。重量センサ３０は、部分領域２２別に設けられている。そして棚割情報記憶部１３０は、複数の部分領域２２別に、図２に示した情報、すなわち棚位置情報、重量センサ識別情報、物品特定情報、及び閾値情報を記憶している。

【0039】

また、棚前空間は部分領域２２別に設定されており、深度センサ４０も部分領域２２別に設けられている。複数の深度センサ４０のそれぞれは、当該深度センサ４０を他の深度センサ４０から識別する深度センサ識別情報を記憶している。そして深度センサ４０は、この深度センサ識別情報を、データとともに物品情報推定装置１０に送信する。棚割情報記憶部１３０には、棚位置情報毎に、その棚位置に対応する深度センサ４０の深度センサ識別情報が記憶されている。物品情報推定装置１０は、棚割情報記憶部１３０に記憶されている重量センサ識別情報と深度センサ識別情報の組み合わせを用いることにより、深度センサ４０から送信されたデータと、重量センサ３０から送信されたデータの組み合わせを特定する。

【0040】

そして物品情報推定装置１０は、このデータの組み合わせ毎、すなわち部分領域２２単位で図４及び図５に示した処理を行う。本変形例によれば、同じ高さの棚２０に複数種類の物品２００が配置されていた場合でも、人物が取り出した物品２００を推定することができる。

【0041】

以上、本実施形態によれば、重量変化が検出された棚２０の位置と、深度センサ４０によって特定された手の高さが基準を満たしていたときに、その棚２０の物品２００がその手によって取り出されたと判断する。従って、棚２０から取り出された物品２００の判別精度は向上する。

【0042】

［第２実施形態］
＜機能構成例＞
図７は、本実施形態に係る物品情報推定装置１０の機能構成を、物品情報推定装置１０の使用環境とともに示す図であり、第１実施形態の図１に対応している。本実施形態に係る物品情報推定装置１０は、以下の点を除いて第１実施形態に係る物品情報推定装置１０と同様の構成である。

【0043】

まず、物品情報推定装置１０は人物追跡装置５０から、棚２０の前の棚前空間に存在する人の人物識別情報を取得する。

【0044】

人物追跡装置５０は、例えば、互いに異なる場所を撮像範囲とする複数の撮像部から送られてきた画像を解析することにより、人物ごとに、その人物の動線を示す動線情報を生成する。そして人物追跡装置５０は、動線情報を、人物識別情報に紐づけて記憶している。人物識別情報は、例えば人物の画像から得られる特徴量である。また、棚２０が店舗に設置されている場合、人物識別情報は会員番号などの顧客ＩＤであってもよい。そして人物追跡装置５０は、ある人物が棚２０の前の棚前空間に一定時間滞在すると、その人物の人物識別情報を物品情報推定装置１０に出力する。

【0045】

そして物品情報推定装置１０は、記憶処理部１４０を有している。記憶処理部１４０は、出力部１２０が図５のステップＳ２０８で取得した物品特定情報を、人物追跡装置５０から取得した人物識別情報に紐づけて登録物品記憶部６０に記憶させる。

【0046】

例えば棚２０が店舗に設置されている場合、物品情報推定装置１０及び登録物品記憶部６０は、ＰＯＳ（Point of sale system）の商品登録装置や店舗サーバとして用いることができる。そしてＰＯＳの精算装置は、登録物品記憶部６０が記憶している情報を用いて決済処理を行う。

【0047】

例えば人物追跡装置５０は、店舗に入った顧客の顔の特徴量を記憶している。この場合、人物追跡装置５０は、例えば店舗の入口を撮像範囲に含む撮像装置から画像を取得し、この画像を処理することにより、顧客の顔の特徴量を取得して記憶する。

【0048】

そして上記したように、人物追跡装置５０は、この特徴量を用いて顧客の動線情報を生成する。動線情報は、特徴量又はこの特徴量に紐付いた顧客ＩＤに紐づけられる。また、物品情報推定装置１０の記憶処理部１４０は、顧客の特徴量（又はこの特徴量に紐付いた顧客ＩＤ）に紐づけて、その顧客が取り出した商品の物品特定情報を登録物品記憶部６０に記憶させる。この処理は、顧客が決済処理を行うまで繰り返されるため、顧客が複数の商品を取り出した場合、登録物品記憶部６０は、これら複数の商品の物品特定情報を、その顧客の特徴量（又はこの特徴量に紐付いた顧客ＩＤ）に紐づけて記憶する。

【0049】

また、顧客は、顧客の端末を用いて登録物品記憶部６０が記憶している情報を読み出すことができる。例えば顧客の端末は、その顧客の特徴量（又は顧客ＩＤ）を記憶処理部１４０に送信する。記憶処理部１４０は、登録物品記憶部６０から、送信されてきた特徴量（又は顧客ＩＤ）に紐付いた物品特定情報を読み出し、この物品特定情報を商品のリストとして顧客の端末に送信する。この際、物品特定情報はデータベースを用いて商品名に変換されてもよい。また物品特定情報（又は商品名）とともに、その商品の価格が送られてもよい。後者の場合、顧客の端末には、登録されている商品の合計金額がさらに送信されてもよい。

【0050】

そして顧客の端末は、送信されてきた商品のリストを表示する。この画面には、例えば決済を行わせるための入力ボタンが含まれる。

【0051】

そして、顧客は、例えば顧客の端末を操作することにより、商品の決済を行う旨の情報を、その顧客の特徴量（又は顧客ＩＤ）とともに精算装置に送信する。精算装置は、受信した特徴量（又は顧客ＩＤ）に対応している物品特定情報を登録物品記憶部６０から読み出し、読み出した情報を用いて決済処理を行う。その後、精算装置は電子レシートを生成して顧客の端末に送信する。なお、この精算装置は物品情報推定装置１０に組み込まれていてもよい。

【0052】

なお、商品の決済を行う旨の情報は、店舗に設置された端末から入力されてもよい。この場合、この端末は、顧客の顔を撮像して特徴量を生成し、この特徴量を精算装置に送信してもよい。

【0053】

また棚２０が物流センタや薬局に設置されている場合、登録物品記憶部６０が記憶している情報を用いることにより、物品２００を取り出した人物を確認できる。

【0054】

なお、図７に示す例において登録物品記憶部６０は物品情報推定装置１０の外にあるが、登録物品記憶部６０は物品情報推定装置１０の一部であってもよい。また、人物特定情報は、例えば棚２０に取り付けられた入力装置（例えばカードリーダ）を用いて人が入力してもよい。

【0055】

本実施形態によっても、第１実施形態と同様に、棚２０から取り出された物品２００の判別精度は向上する。また、登録物品記憶部６０は、ある人が取り出した物品２００の物品特定情報を、その人の人物識別情報に紐づけて記憶している。従って、誰がどの物品２００を取り出したかを確認できる。

【0056】

［第３実施形態］
＜機能構成例＞
図８は、本実施形態に係る重量センサ３０のレイアウトを説明するための平面図である。本実施形態において、一つの棚２０又は部分領域２２（以下、棚２０と記載）には複数の重量センサ３０が互いに離れて設けられている。本図に示す例において、棚２０は矩形であり、重量センサ３０は棚２０の４つの角のそれぞれに設けられている。

【0057】

そして出力部１２０が用いる重量変化データは、これら複数の重量センサ３０の検出値の変化に基づいている。一例として、重量変化データは、複数の重量センサ３０の検出値の時間推移を示している。そして物品情報推定装置１０の出力部１２０は、複数の重量センサ３０の検出値の変化が基準を満たしたときに、その棚２０の上の物品２００が取り出されたと判断する。例えば出力部１２０は、複数の重量センサ３０の検出値の減少量の合計値が基準を満たしたときに、物品２００が取り出されたと判断する。この際、出力部１２０は、複数の重量センサ３０の検出値の減少量を用いて、棚２０のどの位置の物品２００が取り出されたかを判断する。

【0058】

なお、同一の棚２０に設けられた複数の重量センサ３０の重量センサ識別情報は、棚割情報記憶部１３０において互いに紐づけられて、一組の重量センサ３０として管理されている。例えば同一の棚２０に設けられた複数の重量センサ３０の重量センサ識別情報は、その棚２０を他の棚２０から識別する情報、例えば棚位置情報に紐づけられている。このため、出力部１２０は、棚割情報記憶部１３０が記憶している情報を用いることにより、上記した処理を行える。

【0059】

＜動作例＞
物品情報推定装置１０は、まず、検出値の変化が基準を満たした重量センサ３０の組を特定する（図４のステップＳ１０２）。次いで、特定した重量センサ３０の組の検出結果を用いて、物品の特定処理を実行する（図４のステップＳ１０４）。

【0060】

図９は、本実施形態における物品の特定処理（図４のステップＳ１０４）の詳細を説明するためのフローチャートである。まず出力部１２０は、ステップＳ１０２で特定した重量センサ３０の重量センサ識別情報に対応する棚位置情報を読み出す（ステップＳ２２２）。

【0061】

次いで、出力部１２０は、複数の重量センサ３０の検出値の変化を用いて、棚２０のうち重量の変化が生じた位置、すなわち取り出された物品２００が配置されていた位置を推定する。例えば出力部１２０は、各重量センサ３０の変化量を重さとみなし、これらの重さの重心となる位置を、上記した位置と推定する（ステップＳ２２４）。

【0062】

また出力部１２０は、深度センサ４０から送信されてきたデータを用いて、手の高さを特定するとともに、手が伸びている方向を特定する。例えば深度センサ４０が、高さ情報を２次元で示した深度マップを出力する場合、出力部１２０は、この深度マップを用いることにより、手の高さ及び方向を特定する（ステップＳ２２６）。

【0063】

そして出力部１２０は、手の高さと棚位置情報の関係が基準を満たしており、かつ手の方向とステップＳ２２４で特定した物品２００位置との関係が基準を満たすかどうかを判断する。手の高さと棚位置情報の関係が基準を満たしているか否かの判断は、図５のステップＳ２０６で説明した判断と同様である。手の方向と物品２００の位置との関係については、例えば手の方向が物品２００の位置と重なった場合又はその最短距離が基準値以下の場合、基準を満たすと判断する（ステップＳ２２８）。

【0064】

そしてステップＳ２２８においてＹｅｓの場合、出力部１２０は、人物によって取り出された物品２００を推定する（ステップＳ２３０）。ステップＳ２３０で行われる処理は、図５のステップＳ２０８で行われる処理と同様である。一方、ステップＳ２２４においてＮｏの場合、出力部１２０は、アラート処理を行う（ステップＳ２３２）。ステップＳ２３２で行われる処理は、図５のステップＳ２１０で行われる処理と同様である。

【0065】

本実施形態によっても、第１実施形態と同様に、棚２０から取り出された物品２００の判別精度は向上する。また、物品情報推定装置１０は、手の高さと棚位置情報の関係（すなわち高さ方向の関係）のみではなく、手の方向と物品２００の位置との関係（すなわち水平面内の関係）も、物品２００を推定する際に用いている。このため、棚２０から取り出された物品２００の判別精度は、さらに向上する。

【0066】

［第４実施形態］
＜機能構成例＞
図１０は、本実施形態に係る物品情報推定装置１０の機能構成を、物品情報推定装置１０の使用環境とともに示す図である。本実施形態に係る物品情報推定装置１０は、第１撮像部７０からの画像（以下、第１画像と記載）を繰り返し取得し、これらの第１画像を用いて物品２００を特定する点を除いて、第１～第３実施形態のいずれかに係る物品情報推定装置１０と同様の構成である。図１０は、第１実施形態と同様の場合を示している。

【0067】

第１撮像部７０は、棚２０の前の空間である棚前空間の少なくとも一部を撮像領域に含んでいる。このため、第１撮像部７０が生成する第１画像は、棚前空間の少なくとも一部を含んでおり、かつ、棚２０から取り出された物品２００を含んでいる。

【0068】

そして出力部１２０は、第１画像に含まれる物品２００の画像を用いて、人が棚２０から取り出した物品２００を推定する。具体的には、棚割情報記憶部１３０は、物品特定情報とともに、その物品２００の画像上の特徴量を記憶している。そして出力部１２０は、この特徴量を第１画像に照合した結果を用いて、物品２００を推定する。

【0069】

＜動作例＞
図１０に示した物品情報推定装置１０が行う処理は、第１実施形態において図４を用いて説明した通りである。ただし、ステップＳ１０４に示した処理の詳細は、第１実施形態と異なる。

【0070】

図１１は、本実施形態におけるステップＳ１０４の詳細を説明するためのフローチャートである。ステップＳ２０２，Ｓ２０４，Ｓ２０６，Ｓ２０８，Ｓ２１０で行われる処理は、図５を用いて説明した通りである。ただし出力部１２０は、ステップＳ２０８において、物品特定情報とともに、その物品２００の特徴量も読み出す。

【0071】

そして、出力部１２０は、重量センサ３０の検出値が変化してから基準時間以内（たとえば１０秒以内）の第１画像を処理し、第１画像に含まれる物品２００の特徴量を抽出する。そして抽出した特徴量と、ステップＳ２０８において読み出した特徴量が一致していた場合、例えばスコアが基準値以上であった場合（ステップＳ２０９：Ｙｅｓ）、ステップＳ２０８で読み出された物品特定情報をそのまま出力する。一方、これらの特徴量が互いに一致しなかった場合（ステップＳ２０９：Ｎｏ）、アラート処理を行う（ステップＳ２１０）。

【0072】

なお、第３実施形態に示した物品情報推定装置１０に対して上記した処理を適用した場合、ステップＳ２０９に示した処理は、図９のステップＳ２３０の後に行われる。

【0073】

本実施形態によれば、第１実施形態と同様に、人が棚２０から取り出した物品２００の推定精度は向上する。また、第１画像には、人が取り出した物品２００が含まれている。そして物品情報推定装置１０の出力部１２０は、深度センサ４０及び重量センサ３０の検出値で推定された物品２００を、さらに第１画像を用いて検証する。従って、さらに物品２００の推定精度は向上する。

【0074】

［第５実施形態］
＜機能構成例＞
図１２は、本実施形態に係る物品情報推定装置１０の機能構成を、物品情報推定装置１０の使用環境とともに示す図である。本実施形態に係る物品情報推定装置１０は、第２撮像部８０からの画像（以下第２画像と記載）を繰り返し取得し、これら複数の第２画像を用いて物品２００を特定する点を除いて、第１～第４実施形態のいずれかに係る物品情報推定装置１０と同様の構成である。図１２は、第４実施形態と同様の場合を示している。

【0075】

第２撮像部８０は、棚２０を前方（例えば斜め上の前方）から撮像する。このため、第２画像は、棚２０に載置されている物品２００を含んでいる。また第２撮像部８０が棚２０の斜め上の前方から撮像する場合、棚２０の奥に位置する物品２００も撮像できる。そして物品情報推定装置１０の出力部１２０は、第２画像の変化をさらに用いて人が棚２０から取り出した物品２００を推定する。具体的には、出力部１２０は、深度センサ４０が人の手を検出する前（すなわち棚前空間に人が来る前）の第２画像と、深度センサ４０が人の手を検出しなくなってから（すなわち棚前空間から人が去った後）の第２画像の差分を用いて物品２００を推定する。

【0076】

＜動作例＞
図１２に示した物品情報推定装置１０が行う処理は、第１実施形態において図４を用いて説明した通りである。ただし、ステップＳ１０４に示した処理の詳細は、第１実施形態と異なる。

【0077】

図１３は、本実施形態に係る物品情報推定装置１０の動作例を説明するためのフローチャートである。ステップＳ２０２，Ｓ２０４，Ｓ２０６，Ｓ２０８，Ｓ２０９，Ｓ２１０で行われる処理は、図１１を用いて説明した通りである。

【0078】

そして物品情報推定装置１０の出力部１２０は、第１画像に含まれる物品２００の特徴量と棚割情報記憶部１３０から読み出された物品の特徴量が一致した場合（ステップＳ２０９：Ｙｅｓ）、第２画像を処理し、ステップＳ２０８で読み出した物品特定情報に対し、第２画像に基づいた補正が必要かどうかを判断する（ステップＳ２１２）。補正が必要な場合（ステップＳ２１２：Ｙｅｓ）、出力部１２０は補正を実行する（ステップＳ２１４）。

【0079】

例えば出力部１２０は、深度センサ４０が人の手を検出する前（すなわち棚前空間に人が来る前）の第２画像と、深度センサ４０が人の手を検出しなくなってから（すなわち棚前空間から人が去った後）の第２画像の差分を抽出し、この差分に対してマッチング処理を行うことにより、ステップＳ２０８で読み出された物品特定情報に対応する物品２００が、本来あるべき棚２０とは異なる棚２０に移動しているか否かを判断する。この処理において、移動後の物品２００の位置が、例えば物品２００の特徴量を用いたマッチング処理により特定される。そしてこの移動が検知された場合（ステップＳ２１２：Ｙｅｓ）、出力部１２０は、物品特定情報を出力しない。例えば第２実施形態にこの機能を追加した場合、登録物品記憶部６０にはこの物品２００の物品特定情報は記憶されない（ステップＳ２１４）。

【0080】

その他、出力部１２０には、人による物品２００の移動パターン毎に、重量センサ３０の検出結果、深度センサ４０の検出結果、及び第２画像の処理結果の組み合わせが予め記憶されている。そして出力部１２０は、この組み合わせに該当する結果が検出された場合、その組み合わせに相当する移動パターンが生じたと推定する。

【0081】

一方、補正が不要な場合（ステップＳ２１２：Ｎｏ）、出力部１２０は、ステップＳ２０８で読み出した物品特定情報を出力する。

【0082】

そして、この物品特定情報は、例えば第２実施形態で記載したように、店舗における商品の決済処理に用いられる。

【0083】

本実施形態によれば、第１実施形態と同様に、人が棚２０から取り出した物品２００の推定精度は向上する。また、物品情報推定装置１０の出力部１２０は、棚２０の中で移動された物品２００を特定する。このため、人が棚２０の中で移動させた物品２００があった場合に、その人がその物品２００を取り出したと誤認識することを抑制できる。

【0084】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

【0085】

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

【0086】

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．複数の物品が載置可能な棚に設けられた重量センサの検出値の変化に基づいたデータである重量変化データと、前記棚の前の空間である棚前空間に位置する人物の手の動きを示す動作データと、を取得する取得手段と、
前記重量変化データ及び前記動作データを用いて、前記手が取り出したと推定される前記物品の物品特定情報を出力する出力手段と、
を備える物品推定装置。
２．上記１に記載の物品推定装置において、
前記取得手段は、前記棚前空間を検出範囲に含む深度センサの検出値を用いて前記動作データを生成し、
前記出力手段は、前記重量センサの検出値の変化があった棚の高さと、前記動作データを取得可能な深度センサの検出値と、の関係が基準を満たした場合に、当該棚に紐付いた前記物品特定情報を出力する物品推定装置。
３．上記２に記載の物品推定装置において、
高さが異なる複数の前記棚があり、
少なくとも一つの前記物品特定情報は、前記複数の棚のそれぞれに紐付いており、
前記重量変化データは、前記複数の棚別の重量の変動を示している物品推定装置。
４．上記１～３のいずれか一つに記載の物品推定装置において、
前記出力手段は、前記棚の複数の部分領域における重量の変化が基準を満たした前記部分領域に紐づけられた前記物品特定情報を出力する物品推定装置。
５．上記１～４のいずれか一つに記載の物品推定装置において、
前記出力手段が出力した前記物品特定情報を、前記人物を特定する人物特定情報に紐づけて記憶手段に記憶させる記憶処理手段をさらに備える物品推定装置。
６．上記５に記載の物品推定装置において、
前記記憶処理手段は、前記人物の動きを追跡する人物追跡装置から、前記人物特定情報を取得する物品推定装置。
７．上記１～６のいずれか一つに記載の物品推定装置において、
前記取得手段は、前記棚前空間の少なくとも一部を含む画像である第１画像を繰り返し取得し、
前記出力手段は、さらに前記第１画像に含まれる前記物品の画像を用いて、前記手が取り出した前記物品を推定する物品推定装置。
８．上記２～６のいずれか一つに記載の物品推定装置において、
前記取得手段は、前記棚を前方から撮像した画像である第２画像を繰り返し取得し、
前記出力手段は、さらに前記第２画像の変化を用いて、前記手が取り出した前記物品の前記物品特定情報を特定する物品推定装置。
９．上記１～８のいずれか一つに記載の物品推定装置において、
前記棚には、複数の重量センサが互いに離れて設けられており、
前記取得手段は、前記複数の重量センサの検出値を用いて前記重量変化データを生成する物品推定装置。
１０．上記１～９のいずれか一つに記載の物品推定装置において、
前記棚は店舗に設置されており、
前記人物は顧客であり、
前記出力手段が出力した前記物品特定情報を用いて精算処理を行う精算処理手段と、
前記精算処理に基づいた電子レシートを出力する電子レシート出力手段と、
を備える物品推定装置。
１１．コンピュータが、
複数の物品が載置可能な棚に設けられた重量センサの検出値の変化に基づいたデータである重量変化データと、前記棚の前の空間である棚前空間に位置する人物の手の動きを示す動作データと、を取得し、
前記重量変化データ及び前記動作データを用いて、前記手が取り出したと推定される前記物品の物品特定情報を出力する、物品推定方法。
１２．上記１１に記載の物品推定方法において、
前記コンピュータは、
前記棚前空間を検出範囲に含む深度センサの検出値を用いて前記動作データを生成し、
前記重量センサの検出値の変化があった棚の高さと、前記動作データを取得可能な深度センサの検出値と、の関係が基準を満たした場合に、当該棚に紐付いた前記物品特定情報を出力する物品推定方法。
１３．上記１２に記載の物品推定方法において、
高さが異なる複数の前記棚があり、
少なくとも一つの前記物品特定情報は、前記複数の棚のそれぞれに紐付いており、
前記重量変化データは、前記複数の棚別の重量の変動を示している物品推定方法。
１４．上記１１～１３のいずれか一つに記載の物品推定方法において、
前記コンピュータは、前記棚の複数の部分領域における重量の変化が基準を満たした前記部分領域に紐づけられた前記物品特定情報を出力する物品推定方法。
１５．上記１１～１４のいずれか一つに記載の物品推定方法において、
前記コンピュータは、出力した前記物品特定情報を、前記人物を特定する人物特定情報に紐づけて記憶手段に記憶させる物品推定方法。
１６．上記１５に記載の物品推定方法において、
前記コンピュータは、前記人物の動きを追跡する人物追跡装置から、前記人物特定情報を取得する物品推定方法。
１７．上記１１～１６のいずれか一つに記載の物品推定方法において、
前記コンピュータは、
前記棚前空間の少なくとも一部を含む画像である第１画像を繰り返し取得し、
さらに前記第１画像に含まれる前記物品の画像を用いて、前記手が取り出した前記物品を推定する物品推定方法。
１８．上記１２～１６のいずれか一つに記載の物品推定方法において、
前記コンピュータは、前記棚を前方から撮像した画像である第２画像を繰り返し取得し、さらに前記第２画像の変化を用いて、前記手が取り出した前記物品の前記物品特定情報を特定する物品推定方法。
１９．上記１１～１８のいずれか一つに記載の物品推定方法において、
前記棚には、複数の重量センサが互いに離れて設けられており、
前記コンピュータは、前記複数の重量センサの検出値を用いて前記重量変化データを生成する物品推定方法。
２０．上記１１～１９のいずれか一つに記載の物品推定方法において、
前記棚は店舗に設置されており、
前記人物は顧客であり、
前記コンピュータは、出力した前記物品特定情報を用いて精算処理を行い、前記精算処理に基づいた電子レシートを出力する物品推定方法。
２１．コンピュータに、
複数の物品が載置可能な棚に設けられた重量センサの検出値の変化に基づいたデータである重量変化データと、前記棚の前の空間である棚前空間に位置する人物の手の動きを示す動作データと、を取得する機能と、
前記重量変化データ及び前記動作データを用いて、前記手が取り出したと推定される前記物品の物品特定情報を出力する機能と、
を持たせるプログラム。
２２．上記２１に記載のプログラムにおいて、
前記コンピュータに、
前記棚前空間を検出範囲に含む深度センサの検出値を用いて前記動作データを生成する機能と、
前記重量センサの検出値の変化があった棚の高さと、前記動作データを取得可能な深度センサの検出値と、の関係が基準を満たした場合に、当該棚に紐付いた前記物品特定情報を出力する機能と、
を持たせるプログラム。
２３．上記２２に記載のプログラムにおいて、
高さが異なる複数の前記棚があり、
少なくとも一つの前記物品特定情報は、前記複数の棚のそれぞれに紐付いており、
前記重量変化データは、前記複数の棚別の重量の変動を示しているプログラム。
２４．上記２１～２３のいずれか一つに記載のプログラムにおいて、
前記コンピュータに、前記棚の複数の部分領域における重量の変化が基準を満たした前記部分領域に紐づけられた前記物品特定情報を出力する機能を持たせるプログラム。
２５．上記２１～２４のいずれか一つに記載のプログラムにおいて、
前記コンピュータに、出力した前記物品特定情報を、前記人物を特定する人物特定情報に紐づけて記憶手段に記憶させる機能を持たせるプログラム。
２６．上記２５に記載のプログラムにおいて、
前記コンピュータに、前記人物の動きを追跡する人物追跡装置から、前記人物特定情報を取得する機能を持たせるプログラム。
２７．上記２１～２６のいずれか一つに記載のプログラムにおいて、
前記コンピュータに、
前記棚前空間の少なくとも一部を含む画像である第１画像を繰り返し取得する機能と、
さらに前記第１画像に含まれる前記物品の画像を用いて、前記手が取り出した前記物品を推定する機能と、
を持たせるプログラム。
２８．上記２２～２６のいずれか一つに記載のプログラムにおいて、
前記コンピュータに、前記棚を前方から撮像した画像である第２画像を繰り返し取得し、さらに前記第２画像の変化を用いて、前記手が取り出した前記物品の前記物品特定情報を特定する機能を持たせるプログラム。
２９．上記２１～２８のいずれか一つに記載のプログラムにおいて、
前記棚には、複数の重量センサが互いに離れて設けられており、
前記コンピュータに、前記複数の重量センサの検出値を用いて前記重量変化データを生成する機能を持たせるプログラム。
３０．上記２１～２９のいずれか一つに記載のプログラムにおいて、
前記棚は店舗に設置されており、
前記人物は顧客であり、
前記コンピュータに、出力した前記物品特定情報を用いて精算処理を行い、前記精算処理に基づいた電子レシートを出力する機能を持たせるプログラム。

【0087】

この出願は、２０１９年３月１日に出願された日本出願特願２０１９－０３７８２９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】