特開 2024-136180 情報管理システム、情報管理装置、情報管理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024136180

(43)【公開日】2024-10-04

(54)【発明の名称】情報管理システム、情報管理装置、情報管理方法及びプログラム

(51)【国際特許分類】

   G06Q 10/087 20230101AFI20240927BHJP

   G06Q 30/06 20230101ALI20240927BHJP

   G06V 20/60 20220101ALI20240927BHJP

   H04N 7/18 20060101ALI20240927BHJP

【ＦＩ】

G06Q10/087

G06Q30/06

G06V20/60

H04N7/18 D

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023047205

(22)【出願日】2023-03-23

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＱＲコード

(71)【出願人】

【識別番号】519372663

【氏名又は名称】ＨＭＳ株式会社

(72)【発明者】

【氏名】コ シンテイ

【テーマコード（参考）】

5C054

5L010

5L030

5L049

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FC15

5C054HA05

5L010AA16

5L030BB72

5L049AA16

5L049BB72

5L096BA02

5L096FA52

5L096FA59

5L096HA13

(57)【要約】

【課題】簡易的な構成で、効率的に商品等の物品情報を管理することができる情報管理システム、情報管理装置、情報管理方法及びプログラムを提供する。
【解決手段】本開示における情報管理システムは、管理対象領域を撮影した画像データを取得する処理と、画像データからマーカ、特定色領域、特定模様領域の少なくとも何れかを検出する処理と、検出した前記マーカの数、特定色領域の面積、特定模様領域の面積の少なくとも何れかに基づいて、前記管理対象領域に存在する対象体の量を推定する推定処理と、を実行する制御部を備え、マーカ、特定色領域、特定模様領域の少なくとも何れかは、管理対象領域に存在する対象体の量が減少することによって露出して撮影可能となる位置に配置される。
【選択図】図１

【特許請求の範囲】

【請求項1】

管理対象領域を撮影した画像データを取得する処理と、
前記画像データからマーカ、特定色領域、特定模様領域の少なくとも何れかを検出する処理と、
検出した前記マーカの数、特定色領域の面積、特定模様領域の面積の少なくとも何れかに基づいて、前記管理対象領域に存在する対象体の量を推定する推定処理と、を実行する制御部を備え、
前記マーカ、特定色領域、特定模様領域の少なくとも何れかは、前記管理対象領域に存在する対象体の量が減少することによって露出して撮影可能となる位置に配置される、物品情報管理システム。

【請求項2】

前記制御部は、推定した前記対象体の量が所定の条件を満たす場合に、前記対象体に関する出力データを生成する出力データ生成処理を実行する、請求項１に記載の物品情報管理システム。

【請求項3】

前記出力データは、前記対象体の有無の情報、又は、前記対象体の量の情報を含む、請求項２に記載の物品情報管理システム。

【請求項4】

前記マーカ、特定色領域、特定模様領域の少なくとも何れかは、前記対象体としての物品を載せる前記管理対象領域の載置面に配置される、請求項１又は２に記載の物品情報管理システム。

【請求項5】

前記マーカ、特定色領域、特定模様領域の少なくとも何れかは、前記対象体としての液体を収容する収容空間の側面又は底面に配置される、請求項１又は２に記載の物品情報管理システム。

【請求項6】

前記マーカ、特定色領域、特定模様領域の少なくとも何れかは、前記管理対象領域に存在する対象体の量の減少に伴って撮影可能となる数が増大するように、所定の間隔で配置されている、請求項１又は２に記載の物品情報管理システム。

【請求項7】

前記マーカ、特定色領域、特定模様領域の少なくとも何れかには、それぞれの前記マーカ、特定色領域、特定模様領域を隠す位置に存在する前記対象体に対応する情報が関連付けられる、請求項１又は２に記載の物品情報管理システム。

【請求項8】

前記検出する処理は、少なくとも前記マーカを検出し、
前記マーカは、ＡＲマーカである、請求項１又は２に記載の物品情報管理システム。

【請求項9】

前記検出する処理は、少なくとも前記マーカを検出し、
前記マーカは、ＡＲマーカではない特定の図形である、請求項１又は２に記載の物品情報管理システム。

【請求項10】

前記マーカ、特定色領域、特定模様領域の少なくとも何れかは、不可視インクで構成される、請求項１又は２に記載の物品情報管理システム。

【請求項11】

管理対象領域を撮影した画像データを取得する処理と、
前記画像データからマーカ、特定色領域、特定模様領域の少なくとも何れかを検出する処理と、
検出した前記マーカの数、特定色領域の面積、特定模様領域の面積の少なくとも何れかに基づいて、前記管理対象領域に存在する対象体の量を推定する推定処理と、を実行する制御部を備え、
前記マーカ、特定色領域、特定模様領域の少なくとも何れかは、前記管理対象領域に存在する対象体の量が減少することによって露出して撮影可能となる位置に配置される、物品情報管理装置。

【請求項12】

管理対象領域を撮影した画像データを取得する処理と、
前記画像データからマーカ、特定色領域、特定模様領域の少なくとも何れかを検出する処理と、
検出した前記マーカの数、特定色領域の面積、特定模様領域の面積の少なくとも何れかに基づいて、前記管理対象領域に存在する対象体の量を推定する推定処理と、をコンピュータに実行させ、
前記マーカ、特定色領域、特定模様領域の少なくとも何れかは、前記管理対象領域に存在する対象体の量が減少することによって露出して撮影可能となる位置に配置される、物品情報管理方法。

【請求項13】

管理対象領域を撮影した画像データを取得する処理と、
前記画像データからマーカ、特定色領域、特定模様領域の少なくとも何れかを検出する処理と、
検出した前記マーカの数、特定色領域の面積、特定模様領域の面積の少なくとも何れかに基づいて、前記管理対象領域に存在する対象体の量を推定する推定処理と、をコンピュータに実行させ、
前記マーカ、特定色領域、特定模様領域の少なくとも何れかは、前記管理対象領域に存在する対象体の量が減少することによって露出して撮影可能となる位置に配置される、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報管理システム、情報管理装置、情報管理方法及びプログラム
に関する。

【背景技術】

【0002】

従来、各種小売り店等においては、商品棚に並べた商品が品切れにならないように、店員が定期的に商品の残数を確認して商品を補充しているが、店員の負担が大きく、非効率であった。

【0003】

そこで、特許文献１には、カメラで撮影した商品棚の画像を解析して商品の残数を確認し、補充を指示する通知を行うことで、品切れとなることを防ぐシステムが提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２２－０４８３５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載のシステムでは、画像から商品の１つ１つを認識、計数しており、さらに、正面画像を撮影するカメラと、側面画像を撮影するカメラとを設けているため、画像解析の情報処理が複雑で、システム全体としてのコストが大きくなることが予想される。

【0006】

そこで、本開示は上記技術課題に鑑みてなされたものであり、その目的は、簡易的な構成で、効率的に商品残数等の情報を管理することができる情報管理システム、情報管理装置、情報管理方法及びプログラムを提供することである。

【課題を解決するための手段】

【0007】

本開示における情報管理システム及び情報管理装置は、
管理対象領域を撮影した画像データを取得する処理と、
前記画像データからマーカ、特定色領域、特定模様領域の少なくとも何れかを検出する処理と、
検出した前記マーカの数、特定色領域の面積、特定模様領域の面積の少なくとも何れかに基づいて、前記管理対象領域に存在する対象体の量を推定する推定処理と、を実行する制御部を備え、
前記マーカ、特定色領域、特定模様領域の少なくとも何れかは、前記管理対象領域に存在する対象体の量が減少することによって露出して撮影可能となる位置に配置されることを特徴とする。

【0008】

本開示における情報管理方法及びプログラムは、

管理対象領域を撮影した画像データを取得する処理と、
前記画像データからマーカ、特定色領域、特定模様領域の少なくとも何れかを検出する処理と、
検出した前記マーカの数、特定色領域の面積、特定模様領域の面積の少なくとも何れかに基づいて、前記管理対象領域に存在する対象体の量を推定する推定処理と、をコンピュータに実行させ、
前記マーカ、特定色領域、特定模様領域の少なくとも何れかは、前記管理対象領域に存在する対象体の量が減少することによって露出して撮影可能となる位置に配置されることを特徴とする。

【発明の効果】

【0009】

本開示によれば、簡易的な構成で、効率的に商品等の物品情報を管理することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本開示の一実施形態に係る情報管理システムを採用する空間の構成例を示す図である。

【図2】図１の物品陳列領域を別方向から見た図である。

【図3】本実施形態に係る情報処理装置及びカメラの構成例を示すブロック図である。

【図4】本実施形態における情報管理方法の一例を示すフローチャート図である。

【図5】本実施形態に係るマーカの配置例を示す図である。

【図6】図５のマーカ上に物品が配置される様子を示す図である。

【図7】本実施形態の変形例を示す図である。

【図8】マーカの変形例を示す図である。

【図9】マーカの変形例を示す図である。

【図10】マーカの変形例を示す図である。

【発明を実施するための形態】

【0011】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0012】

図１は、本発明の一実施形態に係る情報管理方法を実施し得る店舗Ａの内部の概要を示す。図１は、管理対象領域としての物品陳列領域１０を側方から見た図の一例であり、図２は、物品陳列領域１０を正面側から見た図の一例であり、例えば、カメラ２０からの見え方を示している。小売店等の店舗Ａには、商品である物品Ｂ（対象体）が陳列される物品陳列領域１０と、物品陳列領域１０を撮影するためのカメラ２０と、物品陳列領域１０に配置されるマーカ３０と、が設置されている。なお、物品陳列領域１０は、陳列棚に限られず、物品を陳列可能なものであれば、床面等であってもよい。また、物品Ｂは、店舗で販売される商品に限られず、物品陳列領域１０で管理される任意の物品とすることができる。対象体は、固体に限られず、液体であってもよい。対象体は、タンクや川等に配置される液体、穀物や塩砂糖などの粉、粒状の物質、気体等の流体であってもよい。管理対象領域は、任意の対象体を保持できるものであれば特に限定されず、液体を収容する容器や空間であってもよい。

【0013】

物品陳列領域１０は、例えば、商品を陳列するための陳列棚である。陳列棚は、図１、２に示すように上下に複数段（本例では３段）の棚板１１を有するようにしてもよいし、１段のみでもよい。棚板１１は、本例では、前側ほど下方に位置するように斜めに延在しており、前側の商品を顧客が取り出すと、後側の商品が前側に自動的に滑って移動するようになっている。棚板１１の前端部には、物品の落下を防ぐための前壁が設けられている。この場合、棚板１１には、例えばローラーのように、摩擦を軽減して滑りをよくするための移動促進部が設けられていてもよい。なお、棚板１１の構造は図示例に限定されず、例えば、水平であってもよい。また、物品陳列領域１０は、前方の商品を取り出すと自動的に後方の商品を前方に押し出す付勢部または押圧部を備えていてもよい。すなわち、物品陳列領域１０は、前方の商品を取り出すと自動的に後方の商品が前方に移動するようにしてもよい。

【0014】

物品陳列領域１０は、複数の区画を有していてもよい。例えば、図２に示すように、物品が前後方向に一列に並ぶように、物品陳列領域１０が区画壁によって複数の領域に区画されていてもよい。それぞれの区画は、各物品の幅よりも大きく、物品の２倍の幅未満の幅となっている。それぞれの区画には、同一種類の物品が陳列される。なお、異なる種類の物品が同一区画に陳列されるようにしてもよい。

【0015】

カメラ２０（撮像部）は、物品陳列領域１０（管理対象領域）に配置されるマーカ３０を撮影可能な位置に設置される。換言すると、カメラ２０の撮影範囲に物品陳列領域１０のマーカ３０が含まれる位置及び向きにカメラ２０が設置される。カメラは、例えば、物品陳列領域１０の斜め上側に設置されてもよいし、真上に設置されてもよいし、正面に設置されてもよい。図１に示す本例のカメラ２０は、物品陳列領域１０に対向する壁に、物品陳列領域１０よりも上方の高さで、斜め下向きに撮影方向を向けて設置される。カメラ２０は、少なくとも１台設置されていればよいが、複数のカメラ２０を設置することが好ましい。カメラ２０で撮影した画像データは、情報処理装置４０（情報管理装置）に送信される。カメラ２０と情報処理装置４０は一体に形成されていてもよいし、別の装置として形成されていてもよい。カメラ２０と情報処理装置４０は、通信ケーブルで有線接続されていてもよいし、近距離無線通信やインターネット等のネットワークによって無線接続されていてもよい。カメラ２０は、ネットワークカメラ（ＩＰカメラ）とすることができる。

【0016】

カメラ２０は、ユーザ（システム管理者等）の操作に応じて、あるいは予め設定された情報に基づいて、所定時間にわたって連続した画像を撮像することができる。例えば、店舗の営業時間のみ、カメラ２０が撮影を行うように設定してもよい。設定情報は、例えば情報処理装置４０の記憶部４２等に記憶される。また、カメラ２０は、ユーザの操作、あるいは予め設定された情報に基づいて、非連続的な１時点の画像を撮像することもできる。つまり、撮像部１５は、静止画、動画の撮像が可能である。

【0017】

カメラ２０は、ユーザ（システム管理者、店舗従業員等）の操作に応じて、あるいは予め設定された情報に基づいて、撮影範囲を変更可能であってもよい。その場合、１台のカメラ２０で撮影可能な範囲を大きくすることができる。例えば、上下左右に撮影方向を変更することで、撮影範囲を変更することができる。カメラ２０は、固定されていても、移動可能であってもよい。カメラ２０は、ユーザが装着または把持して使用するものであってもよい。

【0018】

マーカ３０は、管理対象領域に存在する対象体の量が減少することによって露出して撮影可能となる位置に複数配置される。マーカ３０は、例えば、物品陳列領域１０に陳列される物品Ｂが取り出されることによって露出して撮影可能となる位置に配置される。つまりマーカ３０は、陳列される物品Ｂによって隠される（覆われる）位置に配置される。本例では、マーカ３０は、棚板１１の上面（載置面）に配置されているが、これに限られず、陳列棚の側面（物品によって隠れる面）等に配置されていてもよい。

【0019】

マーカ３０は、各マーカ３０の一部が物品によって隠れている場合には読み取ることができず、各マーカ３０の全体が撮影されることによって、認識することができる。なお、マーカ３０は、一部が物品によって隠れていても認識されるものであってもよい。

【0020】

マーカ３０は、物品陳列領域１０に少なくとも１つ配置されていればよいが、複数配置されていることが好ましい。例えば、陳列される複数の物品のそれぞれに対応する位置にマーカ３０を配置するようにしてもよい。その場合、物品陳列領域１０に陳列される全ての物品の中で、何れかの１つの物品Ｂが取り出された場合に、その物品Ｂに対応するマーカ３０が露出してカメラ２０に撮影され、１つの当該物品Ｂが取り出されたことを情報処理装置４０で認識することができる。なお、各区画の全てのマーカ３０が露出している場合には、その区画には物品Ｂがない、つまり欠品していることが認識できる。

【0021】

マーカ３０は、物品陳列領域１０で最も前方に位置する物品Ｂを取り出すことで露出する位置に配置されるようにしてもよいし、物品の配列方向（図１，２では前後方向）に沿って、複数のマーカ３０が一定の間隔で配置されるようにしてもよい。

【0022】

マーカ３０は、例えば、ＡＲＵｃｏマーカー、ＡｐｒｉｌＴａｇとすることができるが、これに限られず、ＡＲＴａｇ、ＡＲＴｏｏｌｋｉｔ、ＡＲＴｏｏｌｋｉｔＰｌｕｓ、ＲＵＮＥ－Ｔａｇ、ｒｅａｃＴＩＶｉｓｏｎ等の、他のＡＲマーカ（ＡＲタグ）とすることができる。マーカ３０は、ＱＲコードやバーコード等であってもよい。マーカ３０は、例えば、全体として正方形である。マーカ３０は、複数の正方形をした画素が二次元に配列されたマトリクス構造を有するものであり、各画素が白または黒で表示される。マーカ３０の形状、描かれた図形はこれに限定されない。マーカ３０は、白、黒以外の色を有するカラーマーカであってもよいし、不可視インク（隠顕インク、ＩＲ透過インク、紫外線反応インク、赤外線吸収インク等を含む）を用いて印刷されてもよい。このような構成により、デザイン性の高い様々なインテリアに対応することができたり、マーカを目立ちにくくしたりすることができる。マーカ３０は、ＡＲマーカではない特定の図形であってもよい。図形とは、例えば図８に示す円形、図９に示す星形等でもよいし、楕円形でも、三角形、四角形、五角形等の多角形でもよいし、記号や文字であってもよい。

【0023】

マーカ３０は、固有の２次元画像が印刷された平面状のシール等で構成され、各マーカ３０は、各種情報に関連付けられている。それぞれのマーカ及び当該マーカに関連付けられる情報は、データベース（記憶部４２等）に記憶される。マーカ３０は、例えば、カメラ２０で撮影することにより、それぞれのマーカ３０固有の識別情報等を取得することができる。なお、１台のカメラ２０で、例えば１００以上等の複数のマーカ３０を読み取るようにしてもよい。

【0024】

マーカ３０は、複数のマーカを１セットとして使用してもよい。例えば、１つの物品に複数のマーカを１セットして関連付けて記憶してもよい。これによれば、１つのマーカで表現できる情報量よりも、複数のマーカで表現できる情報量が大きくなる。

【0025】

情報処理装置４０は、システム管理者等が各種サービス等を運営・管理する際に利用する情報処理装置であり、例えば、ワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティング技術によって論理的に実現されてもよい。情報処理装置４０はカメラ２０に内蔵されるものでもよい。

【0026】

図３に示すように、情報処理装置４０は、例えば、制御部４１、記憶部４２、出力部４３、通信部４４、入力部４５を備え、これらが互いにバス４６を介して接続される。情報処理装置４０は、通信部４４を介してカメラ２０と通信可能である。情報処理装置４０は、カメラ２０からの画像データを取得することができる。また、情報処理装置４０は、カメラ２０に対して起動、停止を指示するための制御信号等を送ることができる。情報処理装置４０は、各種の要求信号を受信すると、または記憶部に記憶される情報に基づいて、制御部４１においてプログラムによる処理を実行し、処理結果（例えば、生成された画像や音声等）を適宜出力部から出力したり、カメラ２０や、他の情報処理装置（店舗Ａの店員が持つスマートフォン、タブレット端末等）に送信したり、記憶部４２に記憶したりする。なお、上記プログラムの一部は、他の情報処理装置に送信されて他の情報処理装置上で実行されてもよい。

【0027】

制御部４１は、各部間のデータの受け渡しを行うとともに、情報処理装置４０全体の制御を行うものであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が所定のメモリ（記憶部）に格納されたプログラムを実行することによって実現される。

【0028】

記憶部４２は、システムプログラムが記憶された読取専用の記憶領域である不揮発性記憶装置と、制御部４１による演算処理のワーク領域として使用される書き換え可能な記憶領域である揮発性記憶装置とを有している。不揮発性記憶装置は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ、ハードディスクなどによって実現され、揮発性記憶装置は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などによって実現される。

【0029】

記憶部４２は、物品陳列領域１０に関する情報、カメラ２０に関する情報、マーカ３０に関する情報、物品Ｂに関する情報、店舗Ａに関する情報等を記憶することができる。マーカ３０は、物品Ｂの情報及び物品陳列領域１０の情報に関連付けて記憶されてもよい。物品陳列領域１０に関する情報は、例えば複数の陳列棚の位置、大きさ、棚板の段数、区画、陳列棚（区画）に配置されるマーカの種類、物品の種類、棚番号、マーカの位置、向きの情報を含んでもよい。物品陳列領域１０におけるどの位置（座標、区画を含む）に、各マーカ及び各物品が配置されるかの情報を含んでもよい。例えば、棚番号と物品情報を関連付けて記憶してもよい。物品に関する情報は、例えば、物品の識別情報（型番、商品ＩＤ）、物品の陳列位置（区画の識別情報）、物品の種類、属性（例えば、飲料、食品、玩具、文具等）、陳列開始日、賞味期限、大きさ、重量、色、材質、物品に関連付けられたマーカ情報、物品に関する画像等とすることができるが、これに限られない。また、記憶部４２は、物品ごとの残数の閾値の情報を記憶している。閾値は、例えば、物品補充が必要か否かを判定する際の基準なる数値である。つまり、制御部は、物品の残数が閾値よりも少ない場合には、物品補充が必要と判定し、閾値よりも多い場合には物品補充不要と判定することができる。

【0030】

記憶部４２は、カメラ２０から受信した情報、及びその情報に基づいて生成した情報を記憶することができる。生成した情報は、例えば、物品の欠品情報、残数情報、補充指示通知情報等である。

【0031】

記憶部４２は、出力データとして補充指示情報を通知する情報処理装置（スマートフォン、タブレット端末等）に関する情報を記憶するようにしてもよい。

【0032】

出力部４３は、音声を出力するスピーカ、画像を表示するディスプレイ、タッチパネル等で構成される。

【0033】

通信部４４は、情報処理装置４０を、カメラ２０のみならず、インターネットを含むネットワークに接続することができる。この通信部４４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。通信部４４を介して、出力データを他の情報処理装置に送信したり、他の情報処理装置からの信号を受信したりすることができる。

【0034】

入力部４５は、キーボードやマウス、タッチパネル、あるいは音声入力するためのマイク等とすることができる。

【0035】

情報処理装置４０は、画像データに含まれる複数のマーカ３０を同時に認識することができる。情報処理装置４０は、カメラ２０から画像データを取得すると、記憶部を参照し、そのマーカ３０に対応する情報を取得する。

【0036】

図４は、カメラ２０で撮影する画像データ（映像動画または静止画）を用いて物品情報を管理する方法を示す。まずは、予め物品陳列領域１０にマーカ３０を配置する（貼り付ける）とともに、それぞれのマーカ３０の情報と、陳列する物品Ｂの情報とを関連付けて記憶部に記憶する。複数のマーカを１枚の紙またはシール台紙に印刷して、物品陳列領域１０に接着等により配置するようにしてもよい。

【0037】

情報処理装置４０の制御部は、カメラ２０からの画像データを取得する（Ｓ１）。情報処理装置４０は例えば、店舗の営業中にわたって、連続的にカメラ２０が撮影した映像をリアルタイムで取得するようにしてもよいし、一定間隔（１０秒、１分、１０分、１時間等の間隔）で繰返し画像データを取得するようにしてもよい。この場合、画像データを取得する間隔を時間帯（午前、午後、１時間ごと等）に応じて変更してもよい。

【0038】

情報処理装置４０の制御部は、取得した画像データに含まれるマーカ３０を全て検出する（Ｓ２）。すなわち、カメラ２０の撮影範囲にマーカ３０が映りこんでいるか否か、いくつ映りこんでいるかを画像認識で検出する。

【0039】

次いで、検出したマーカの数に基づいて、管理対象領域に存在する対象体の量を推定する推定処理を実行する（Ｓ３）。対象体の量とは、対象体としての物品等の個数、液体の体積、粉体の重量、平面、湾曲面等の対象表面の面積等であってもよい。

【0040】

情報処理装置４０の制御部は、マーカ３０の検出の有無、及び、マーカを認識して得られる情報の少なくとも何れかに基づいて、物品陳列領域に陳列される物品に関する出力データを生成する出力データ生成処理を実行する（Ｓ４）。例えば、画像データからマーカが１つも検出されない場合、制御部は、欠品となっている物品が存在しない、または、物品の残数が十分であり、補充の必要がない、と判定することができる。そして、欠品となっている物品が存在しない、または、物品の残数が十分であり、補充の必要がない、という状況を示す出力データを生成することができる。また、マーカ３０が検出される場合、当該マーカに関連づけられた物品が欠品している、もしくは、物品の残数が減少していると判定することができる。さらに、複数のマーカが配置されている場合には、制御部が物品の残数を推定するようにしてもよい。例えば、１つの区画に５つの物品が配列され、それぞれの物品の下側に５つのマーカが配置されている場合、画像データから検出されるマーカが５つの場合には残数が０（欠品している）と推定し、画像データから検出されるマーカが４つの場合には残数が１と推定することができる。この場合、予め設定された数値（この例では５）と、画像データから検出されるマーカの数との差が、残数であると推定することができる。すなわち、画像データから検出されるマーカの数に応じて、物品の残数を推定することができる。なお、１つの物品ごとに１つのマーカを配置する場合に限られず、複数（２、３、４・・等）の物品ごとに１つのマーカを配置するようにしてもよいし、逆に、１つの物品ごとに複数（２、３、４・・等）のマーカを配置するようにしてもよい。

【0041】

情報処理装置４０の制御部は、推定した残数と、予め記憶された閾値とを比較して、閾値よりも残数が小さくなった場合に、当該物品の補充を指示する出力データを生成し、閾値よりも残数が大きい場合に、当該物品の補充が不要である旨の出力データを生成するようにしてもよい。物品の補充を指示する出力データは、補充すべき物品の数量の情報を含んでもよい。補充数量は、物品の残数と、閾値の差としてもよいし、物品の残数と、最大陳列数との差としてもよいし、物品の残数に基づいて、他の方法により制御部が算出してもよい。物品の補充を指示する出力データは、補充すべき物品の画像、名称、棚番号等の補充位置情報を含んでもよい。

【0042】

情報処理装置４０の制御部は、出力データをユーザに通知する（Ｓ５）。なお、Ｓ４，Ｓ５は必須の構成ではない。Ｓ５は具体的に、ユーザが所有するスマートフォン等の情報処理装置に、テキストまたは画像等を含むメッセージを送信するようにしてもよい。出力データは、例えば、補充が必要と判定された物品の種類（名称、画像等）、陳列棚の位置（棚番号）、補充数量等の情報を含むようにしてもよい。これによれば、店舗Ａの従業員等のユーザが、補充が必要な物品に関する情報を把握して、補充作業をすることができ、欠品を防ぐことができる。

【0043】

以上の通り、本実施形態の情報管理システム及び情報処理装置にあっては、管理対象領域を撮影した画像データを取得する処理と、画像データからマーカを検出する処理と、検出した前記マーカの数に基づいて、前記管理対象領域に存在する対象体の量を推定する推定処理と、を実行する制御部を備え、マーカは、前記管理対象領域に存在する対象体の量が減少することによって露出して撮影可能となる位置に複数配置される。このような構成により、カメラで撮影した画像データからマーカを認識するだけで、対象体（物品）の量（数量）を推定することができ、例えば、欠品（残数が０）や残数が不足していることなどを把握することができる。その結果、簡易的な構成で、効率的に商品等の物品情報を管理することが可能となる。

【0044】

本開示の方法によれば、複数並べられたマーカを検出してマーカ数をカウントすることで、例えばタンクや川等の液面の高さの計測や、液量の計測、穀物や塩砂糖などの粉、粒状の物質の計量にも適用可能であり、情報処理においては全て共通のアルゴリズムを採用することができる。また、マーカを対象体のケースの床等に貼ることで、様々な物体の個数の計測、にも使える。ここで、これまでは通常計量する物体に貼るまたは印刷していた二次元コード等を物体ではなく、物体を配置する周囲の面に配置することで、その物体や液体や流体が、存在する場合に、二次元コードの読取りを遮る事を利用して、数や量を測る仕組みである。カメラとしてはＩＰカメラやエッジＡＩカメラなどを使用できる。そして、エッジまたはクラウドに実装された、複数のマーカを同時に読み取るアルゴリズムにより、認識したマーカをカウントすることで実現する、単一アルゴリズムによるあらゆる物質の計量方式とすることができる。

【0045】

また、本実施形態において、制御部は、推定した対象体の量が所定の条件を満たす場合に、対象体に関する出力データを生成する出力データ生成処理を実行するようにしてもよい。条件は、推定された対象体の量が予め設定された値と一致する、予め設定された閾値以上である、閾値以下であることであってもよい。

【0046】

また、本実施形態において、出力データは、対象体の有無の情報、又は、対象体の量の情報を含むようにしてもよい。対象体の有無の情報は、対象体が存在しているか、存在していない（欠品）か、を示す情報である。対象体の量の情報は、個数、体積、重量等の情報である。

【0047】

また、本実施形態において、マーカは、対象体としての物品を載せる管理対象領域の載置面に配置されるようにしてもよい。また、本実施形態において、マーカは、前記対象体としての液体を収容する収容空間の側面又は底面に配置されるようにしてもよい。マーカを配置する面は、鉛直な面、水平な面に限らず、水平面に対して傾斜する斜めの面でもよいし、平坦な面に限られず、湾曲した面でもよい。

【0048】

また、本実施形態において、マーカは、管理対象領域に存在する対象体の量の減少に伴って撮影可能となる数が増大するように、所定の間隔で配置されているようにしてもよい。対象体の量が減少するほど、カメラで検出されるマーカの数が増えることで、容易に対象体の数を推定することができる。

【0049】

また、本実施形態において、マーカはＡＲマーカ、ＱＲマーカ等の情報を関連付けたマーカとすることも可能である。その場合、マーカには、それぞれの前記マーカを隠す位置に陳列される物品に対応する情報が関連付けられていてもよい。このような構成により、画像データからマーカを認識することで、マーカに関連付けられた物品の情報を取得することができる。

【0050】

また、本実施形態において、物品陳列領域は、複数の区画を有し、それぞれの前記区画にマーカが配置されるようにしてもよい。これによれば、区画ごとに物品を管理することができ、より詳細に物品情報を管理することができる。また、区画ごとに異なるマーカを配置して、区画ごとに物品を区別することも可能であり、物品ごとの欠品や残数情報が把握しやすくなる。

【0051】

また、本実施形態において、マーカは、物品を載せる前記物品陳列領域の上面に配置されるようにしてもよい。これによれば、マーカの設置が容易となる。また、斜め上に設置したカメラからマーカを撮影し易くなる。

【0052】

また、本実施形態において、物品陳列領域に複数のマーカが配置され、制御部は、画像データに含まれるマーカの数に応じて、前記物品の数量を推定する処理を実行するようにしてもよい。これによれば、マーカが１つだけである場合に比べて、詳細に物品の残数に関する情報を管理することができる。

【0053】

また、本実施形態において、マーカは、ＡＲマーカであるようにしてもよい。これによれば、簡易な構成で、情報量を大きくすることができるので、詳細に物品の残数に関する情報を管理することができる。

【0054】

また、本実施形態において、マーカは、白と黒以外の色で構成される有色部分を有し、前記制御部は、前記有色部分の色の違いに基づいて、物品の情報を取得するようにしてもよい。これによれば、白と黒のみの場合に比べて、デザイン性の高い様々なインテリアに対応することができる。また、マーカの情報量も大きくなるので、より詳細に物品の残数に関する情報を管理することができる。

【0055】

また、本実施形態において、マーカは、不可視インクで構成されるようにしてもよい。これによれば、一般の顧客等から視認されないので、マーカによって陳列領域の外観が阻害されることを防ぐことができる。

【0056】

また、本実施形態において、出力データは、物品の有無の情報、又は、物品の残数の情報を含むようにしてもよい。これによれば、欠品や残数を把握して、補充作業を容易化することができる。

【0057】

また、本実施形態において、出力データは、物品の補充指示の情報を含むようにしてもよい。これによれば、店舗従業員等に、物品の補充が必要であることを直接的に知らせることができる。

【0058】

ここで、図５、図６は、１枚のシート状部材（紙、シール等でもよい）に、等間隔で縦横に配列された複数のマーカを印刷したものを、陳列棚の上面に配置した場合を示す。マーカは全て同一種類でもよいが、異なる種類を組み合わせてもよい。例えば、縦の列または横の列ごとにマーカの種類を異なるようにしてもよいし、あるいは全て異なるマーカであってもよい。また、図示例では縦３列、横３列であるが、縦横それぞれ任意の数の列であってよい。物品Ｂの形状は特に限定されず、例えば図示のような球体であってもよい。

【0059】

図５、図６のように、所謂碁盤の目状に沢山のマーカを印刷したシートを商品の下に敷いておけば、認識できるマーカ３０の個数に応じて、エリア（区画）ごとに（もしくはコードの種類毎に）欠品または在庫（残数）の状況を確認することができる。認識できるマーカの数が大きいほど、物品の残数が少ない。また、認識できるマーカの数から、物品の残数を算出することができる。具体的に、図６の例では、認識できるマーカの数が３であり、予め記憶部に記憶された計算式、もしくは、認識できるマーカの数と、物品の残数との関係を示すデータベースから、物品の残数が９であることを算出（推定）してもよい。また、閾値を設定することで、エリアごとに、またはコードの種類毎に、通知（アラート）を出すことが出来る。

【0060】

図７は、物品Ｂの下に位置するマーカ３０が、コイルバネ、板バネ等の付勢部材Ｓにより付勢されている場合を示している。この場合、物品Ｂを取り出すことによりマーカ３０が上方に移動し、また、マーカ３０の角度がカメラ側に向かうことにより、マーカ３０をカメラで撮影し易くなる。

【0061】

図８、９は、ＡＲマーカではないマーカ３０の例を示す。マーカ３０は、図８のような円形でもよいし、図９のような星形であってもよいし、他の形状であってもよい。このような単純な図形の印刷を採用することで、ＡＲマーカよりもコストを低減することができる。

【0062】

図１０は、液体を収容するタンクや川などの壁面にマーカ３０が複数配置された例を示す。複数のマーカ３０が、鉛直方向（上下方向）に一定間隔を空けて配置されている。液面Ｌより上に位置するマーカ３０はカメラに撮影されて検出され、液面Ｌより下方に位置するマーカ３０はカメラに検出されない。これにより、検出されるマーカの数に応じて液体の量（液面の高さ、液体の体積）を推定することができる。この場合、推定した液面の高さ又は液体の体積と閾値とを比較して、閾値以上である場合、又は閾値以下である場合に、アラートや問題ない旨の通知をユーザに送信するようにしてもよい。あるいは、推定した液面の高さ又は液体の体積を示す出力データを出力するようにしてもよい。

【0063】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0064】

本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置（例えばクラウドサーバ）等により実現されてもよい。例えば、サーバの制御部および記憶部は、互いにネットワークで接続された異なるサーバにより実現されてもよい。また、上述の装置、サーバ等で行われる情報処理は、例えば一部でディープラーニングなどの所謂機械学習による処理を含んでもよい。また、装置はエッジデバイスと呼ばれている端末装置（情報処理装置）自体に、判断ができる人工知能・AIを搭載した機器であってもよい。

【0065】

上記実施形態では、管理対象領域に配置されたマーカの数を検出することで対象体の量を推定していたが、例えば、マーカに代えて、またはマーカとともに、管理対象領域に配置された特定色領域および特定模様領域の少なくとも何れかを検出することで対象体の量を推定するようにしてもよい。あるいは、特定色領域および特定模様領域の面積を推定するようにしてもよい。その場合、画像データから検出される特定色領域、特定模様領域の面積から、対象体の量を推定することができる。検出された特定色領域、特定模様領域の面積と、対象体の量の対応関係の情報は、記憶部に記憶される。

【0066】

特定色領域は、例えば、統一された色（赤、青、黄、黒、白、金、銀、その他の色など）の領域とすることができる。特定の色の情報は、例えば、対象体の情報や、対象体の量の情報に関連づけられ、予め記憶部に記憶される。そして、カメラで撮影した画像データに含まれる特定色領域が検出された場合に、対象体の量が閾値以下（例えば、商品が欠品もしくは一定個数以下である、液体が一定量以下もしくは存在しない）と推定（判定）するようにしてもよい。

【0067】

特定模様領域は、縞模様（縦、横、斜めの縞模様）、水玉模様（ドット柄模様）、タイル模様、レンガ模様、織物模様、木材模様、石材模様等のテクスチャーに関する模様が示された領域とすることができる。特定の色の情報は、例えば、対象体の情報や、対象体の量の情報に関連づけられ、予め記憶部に記憶される。そして、カメラで撮影した画像データに含まれる特定模様領域が検出された場合に、対象体の量が閾値以下（例えば、商品が欠品もしくは一定個数以下である、液体が一定量以下もしくは存在しない）と推定（判定）するようにしてもよい。

【0068】

また、赤外線、紫外線等の光を照射する外部照明を、管理対象領域のマーカ、特定色領域および特定模様領域の少なくとも何れかに向けて照射するようにしてもよい。その場合、検出すべきマーカ等を、当該照明の特別な波長の光を反射する素材で構成することにより、マーカ等を、効率的に、高い精度で検出することができる。このような照明装置は、管理対象領域としての商品棚の冗談の天井裏に設置するようにしてもよいし、上述のカメラの設置位置の近傍に設けてもよいし、カメラと一体化して撮影と照射を行うようにしてもよい。なお、外部照明は、上記商品棚の裏面側など、カメラを直接照射しない位置に設けることが好ましい。外部照明の光が直接カメラに照射されないようにすることで、マーカ、特定色領域、特定模様領域等の検出を阻害しないようにすることができる。

【0069】

本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係るユーザ端末、サーバの各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

【0070】

また、本明細書においてフローチャート図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

【0071】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0072】

なお、以下のような構成も本開示の技術的範囲に属する。
（項目１）
管理対象領域を撮影した画像データを取得する処理と、
前記画像データからマーカ、特定色領域、特定模様領域の少なくとも何れかを検出する処理と、
検出した前記マーカの数、特定色領域の面積、特定模様領域の面積の少なくとも何れかに基づいて、前記管理対象領域に存在する対象体の量を推定する推定処理と、を実行する制御部を備え、
前記マーカ、特定色領域、特定模様領域の少なくとも何れかは、前記管理対象領域に存在する対象体の量が減少することによって露出して撮影可能となる位置に配置される、物品情報管理システム。
（項目２）
前記制御部は、推定した前記対象体の量が所定の条件を満たす場合に、前記対象体に関する出力データを生成する出力データ生成処理を実行する、項目１に記載の物品情報管理システム。
（項目３）
前記出力データは、前記対象体の有無の情報、又は、前記対象体の量の情報を含む、項目２に記載の物品情報管理システム。
（項目４）
前記マーカ、特定色領域、特定模様領域の少なくとも何れかは、前記対象体としての物品を載せる前記管理対象領域の載置面に配置される、請求項１又は２に記載の物品情報管理システム。
（項目５）
前記マーカ、特定色領域、特定模様領域の少なくとも何れかは、前記対象体としての液体を収容する収容空間の側面又は底面に配置される、請求項１又は２に記載の物品情報管理システム。
（項目６）
前記マーカ、特定色領域、特定模様領域の少なくとも何れかは、前記管理対象領域に存在する対象体の量の減少に伴って撮影可能となる数が増大するように、所定の間隔で配置されている、請求項１又は２に記載の物品情報管理システム。
（項目７）
前記マーカ、特定色領域、特定模様領域の少なくとも何れかには、それぞれの前記マーカを隠す位置に存在する前記対象体に対応する情報が関連付けられる、請求項１又は２に記載の物品情報管理システム。
（項目８）
前記検出する処理は、少なくとも前記マーカを検出し、
前記マーカは、ＡＲマーカである、請求項１又は２に記載の物品情報管理システム。
（項目９）
前記検出する処理は、少なくとも前記マーカを検出し、
前記マーカは、ARマーカではない特定の図形である、請求項１又は２に記載の物品情報管理システム。
（項目１０）
前記マーカ、特定色領域、特定模様領域の少なくとも何れかは、不可視インクで構成される、請求項１又は２に記載の物品情報管理システム。
（項目１１）
管理対象領域を撮影した画像データを取得する処理と、
前記画像データからマーカ、特定色領域、特定模様領域の少なくとも何れかを検出する処理と、
検出した前記マーカの数、特定色領域の面積、特定模様領域の面積の少なくとも何れかに基づいて、前記管理対象領域に存在する対象体の量を推定する推定処理と、を実行する制御部を備え、
前記マーカ、特定色領域、特定模様領域の少なくとも何れかは、前記管理対象領域に存在する対象体の量が減少することによって露出して撮影可能となる位置に配置される、物品情報管理装置。
（項目１２）
管理対象領域を撮影した画像データを取得する処理と、
前記画像データからマーカ、特定色領域、特定模様領域の少なくとも何れかを検出する処理と、
検出した前記マーカの数、特定色領域の面積、特定模様領域の面積の少なくとも何れかに基づいて、前記管理対象領域に存在する対象体の量を推定する推定処理と、をコンピュータに実行させ、
前記マーカ、特定色領域、特定模様領域の少なくとも何れかは、前記管理対象領域に存在する対象体の量が減少することによって露出して撮影可能となる位置に配置される、物品情報管理方法。
（項目１３）
管理対象領域を撮影した画像データを取得する処理と、
前記画像データからマーカ、特定色領域、特定模様領域の少なくとも何れかを検出する処理と、
検出した前記マーカの数、特定色領域の面積、特定模様領域の面積の少なくとも何れかに基づいて、前記管理対象領域に存在する対象体の量を推定する推定処理と、をコンピュータに実行させ、
前記マーカ、特定色領域、特定模様領域の少なくとも何れかは、前記管理対象領域に存在する対象体の量が減少することによって露出して撮影可能となる位置に配置される、プログラム。

【符号の説明】

【0073】

１０ 物品陳列領域
２０ カメラ
３０ マーカ
４０ 情報処理装置（情報管理装置）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】