知財求人 - 知財ポータルサイト「IP Force」
特許7459947商品検知装置、商品検知システム、商品検知方法および商品検知プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-25
(45)【発行日】2024-04-02
(54)【発明の名称】商品検知装置、商品検知システム、商品検知方法および商品検知プログラム
(51)【国際特許分類】
G06Q 30/0601 20230101AFI20240326BHJP
【ＦＩ】
G06Q30/0601 338
【請求項の数】
10
(21)【出願番号】P 2022539938
(86)(22)【出願日】2020-07-31
(86)【国際出願番号】 JP2020029427
(87)【国際公開番号】W WO2022024341
(87)【国際公開日】2022-02-03
【審査請求日】2023-01-10
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100109313
【弁理士】
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100149618
【弁理士】
【氏名又は名称】北嶋 啓至
(72)【発明者】
【氏名】富田 莉奈
(72)【発明者】
【氏名】田原 裕司
【審査官】田上 隆一
(56)【参考文献】
【文献】特開２０１６－２０７１６４（ＪＰ，Ａ）
【文献】特開２０１６－０５８１０５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００－９９／００
(57)【特許請求の範囲】
【請求項1】
商品を陳列する棚の画像を取得する画像取得手段と、前記画像内の領域を、前記商品が写る商品領域と前記商品以外が写る非商品領域とに二値化する二値化手段と、
前記二値化された前記商品領域の幅に対する当該商品に隣接する隙間領域の幅の比率に基づいて、前記棚に陳列された前記商品の陳列の状態を検知する検知手段と
を備える商品検知装置。
【請求項2】
前記検知手段は前記商品領域の幅に対する前記隙間領域の幅の比率が所定値以上であると、前記商品の前記陳列の異常を検知する請求項1に記載の商品検知装置。
【請求項3】
前記二値化された前記商品領域の幅と前記隙間領域の幅とに応じて近似曲線を生成する生成手段をさらに備え、前記検知手段は、前記比率が所定値以上となることに起因して前記近似曲線の少なくとも一部が所定の閾値を下回ると、前記商品の前記陳列の異常を検知する
請求項２に記載の商品検知装置。
【請求項4】
前記商品領域の幅は、複数の角度から撮影された前記商品に紐づけられる前記商品領域の幅を含む請求項１から請求項３のいずれかに記載の商品検知装置。
【請求項5】
前記棚の形状毎に、前記棚に陳列された前記商品の陳列の状態を検知するために学習されたモデルを一つ以上記憶するモデル記憶手段を更に備え、前記検知手段は、前記モデル記憶手段から取得された前記モデルを用いて前記検知を行う
請求項１に記載の商品検知装置。
【請求項6】
前記商品の陳列において、前記棚の手前から奥に向かって、前記商品領域および前記非商品領域の画素が大きくなるよう重み付けする重み付け手段を更に備え、
前記検知手段は、前記重み付された前記商品領域の幅に対する前記隙間領域の幅の比率に基づいて、前記棚に陳列された前記商品の陳列の状態を検知する、
請求項１に記載の商品検知装置。
【請求項7】
前記検知手段によって前記商品の前記陳列の状態の異常が検知されると、当該検知の結果を外部の端末に通知する通知手段を更に備える請求項１または請求項３に記載の商品検知装置。
【請求項8】
請求項１から請求項７のいずれかに記載の商品検知装置と、前記画像を撮影し、前記商品検知装置に向けて送信するカメラと、
前記商品検知装置から前記検知に関する通知を受信する端末と、
を備える商品検知システム。
【請求項9】
コンピュータが、
商品を陳列する棚の画像を取得し
前記画像内の領域を、前記商品が写る商品領域と前記商品以外が写る非商品領域とに二値化し、
前記二値化された前記商品領域の幅に対する当該商品に隣接する隙間領域の幅の比率に基づいて、前記棚に陳列された前記商品の陳列の状態を検知する
処理を実行する商品検知方法。
【請求項10】
商品を陳列する棚の画像を取得し前記画像内の領域を、前記商品が写る商品領域と前記商品以外が写る非商品領域とに二値化し、
前記二値化された前記商品領域の幅に対する当該商品に隣接する隙間領域の幅の比率に基づいて、前記棚に陳列された前記商品の陳列の状態を検知することをコンピュータに実現させるための商品検知プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、商品検知装置、商品検知システム、商品検知方法および商品検知プログラムに関する。
【背景技術】
【0002】
現在、人手不足による店舗従業員の確保の問題は深刻さを増している。そのような環境の中で、商品の在庫管理、陳列棚の商品補充作業などを省力化し、従業員の負担を軽減するための技術の開発が望まれている。
【0003】
店舗において、陳列された商品の画像を学習させた学習済モデル（以下、モデルとも記載）を用いて、商品棚等に陳列された商品の欠品および陳列乱れを検知する手法が知られている。
【0004】
特許文献１には、商品棚の状況を撮像し、陳列不足状態が分かるように、陳列状態に応じて色分けされた画像を重畳表示する技術が開示されている。特許文献２には、商品棚に商品が少ないときに補充するように通知して、在庫保管のための再注文を行う技術が記載されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１６－５８１０５号公報
【文献】特表２０１０－５１７１４８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１および特許文献２は、店舗毎において商品の欠品や陳列乱れの検知精度を向上させるための技術を開示しない。商品棚に陳列された商品の欠品および陳列乱れを検知するとき、店舗毎に検知条件を設定する必要がある。例えば、店舗毎に商品棚が異なることで、当該商品棚に陳列される商品同士の間隔（隙間）が異なることがある。よってこの間隔を考慮しないと、各店舗における商品の検知において、誤認識が発生しやすく、検知精度が落ちる。ひいては不要は陳列異常通知を発生させ、店員の作業効率を下げる。
【0007】
本開示の目的の１つは、上記の課題を解決し、店舗における商品陳列状態の検知精度を向上させ、陳列棚への商品の補充作業の効率化を図る技術を提供することである。
【課題を解決するための手段】
【0008】
本開示の一態様における商品検知装置は、
商品を陳列する棚の画像を取得する画像取得部と、
前記画像内の領域を、前記商品が写る商品領域と前記商品以外が写る非商品領域とに二値化する二値化部と、
前記二値化された前記商品領域の幅と当該商品に隣接する隙間領域の幅とに応じて、前記棚に陳列された前記商品の陳列の状態を検知する検知部と
を備える。
商品を陳列する棚の画像を取得する画像取得部と、
前記画像内の領域を、前記商品が写る商品領域と前記商品以外が写る非商品領域とに二値化する二値化部と、
前記二値化された前記商品領域の幅と当該商品に隣接する隙間領域の幅とに応じて、前記棚に陳列された前記商品の陳列の状態を検知する検知部と
を備える。
【0009】
本開示の一態様における商品検知システムは、
上記に記載の商品検知装置と、
前記画像を撮影し、前記商品検知装置に向けて送信するカメラと、
前記商品検知装置から前記検知に関する通知を受信する端末と、
を備える。
上記に記載の商品検知装置と、
前記画像を撮影し、前記商品検知装置に向けて送信するカメラと、
前記商品検知装置から前記検知に関する通知を受信する端末と、
を備える。
【0010】
本開示の一態様における商品検知方法は、
商品を陳列する棚の画像を取得し
前記画像内の領域を、前記商品が写る商品領域と前記商品以外が写る非商品領域とに二値化し、
前記二値化された前記商品領域の幅と当該商品に隣接する隙間領域の幅とに応じて前記棚に陳列された前記商品の陳列の状態を検知する。
商品を陳列する棚の画像を取得し
前記画像内の領域を、前記商品が写る商品領域と前記商品以外が写る非商品領域とに二値化し、
前記二値化された前記商品領域の幅と当該商品に隣接する隙間領域の幅とに応じて前記棚に陳列された前記商品の陳列の状態を検知する。
【0011】
本開示の一態様における商品検知プログラムは、
商品を陳列する棚の画像を取得し
前記画像内の領域を、前記商品が写る商品領域と前記商品以外が写る非商品領域とに二値化し、
前記二値化された前記商品領域の幅と当該商品に隣接する隙間領域の幅とに応じて前記棚に陳列された前記商品の陳列の状態を検知する
ことをコンピュータに実現させる。
商品を陳列する棚の画像を取得し
前記画像内の領域を、前記商品が写る商品領域と前記商品以外が写る非商品領域とに二値化し、
前記二値化された前記商品領域の幅と当該商品に隣接する隙間領域の幅とに応じて前記棚に陳列された前記商品の陳列の状態を検知する
ことをコンピュータに実現させる。
【0012】
プログラムは非一時的なコンピュータ読み取り可能な記録媒体に格納されていてもよい。
【0013】
なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。
【0014】
また、本開示の各種の構成要素は、必ずしも個々に独立した存在である必要はない。複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
【0015】
また、本開示の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本開示の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。
【0016】
さらに、本開示の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生してもよい。ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複してもよい。
【発明の効果】
【0017】
本開示の効果は、店舗における商品陳列状態の検知精度を向上させ、陳列棚への商品の補充作業の効率化を図る技術を提供できることである。
【図面の簡単な説明】
【0018】
【図1】本開示の第１実施形態に係る商品検知システムの構成例を概念的に示す図である。
【図2】本開示の第１実施形態に係る商品検知装置の内部構成例を示す図である。
【図3】棚情報のデータ構造例を示す図である。
【図4】二値化画像（正常）の一例を示す図である。
【図5】二値化画像（異常）の一例を示す図である。
【図6】二値化画像（例外正常）の一例を示す図である。
【図7】二値化画像（正常）の一例を示す図である。
【図8】棚画像内の隙間（商品同士の間隔）の一例を示す図である。
【図9】棚画像と二値化画像の関係を示す例図である。
【図10】二値化画像、グラフおよび近似曲線の関係を示す例図である。
【図11】二値化画像、グラフおよび近似曲線の関係を示す例図である。
【図12】店舗端末の内部構成例を示す図である。
【図13】本開示の第１実施形態に係る商品検知装置の動作例を表すフローチャートである。
【図14】本開示の第２実施形態に係る商品検知システムの構成例を示す図である。
【図15】正面から撮影された棚画像の一例を示す図である。
【図16】斜め上から撮影された棚画像の一例を示す図である。
【図17】手前から奥へ向けての画素の重み付けを模式的に表した図である。
【図20】本開示の第２実施形態に係る商品検知装置の動作例を表すフローチャートである。
【図21】欠品アラート除外パターン画面の一例を示す図である。
【図22】本開示の第３実施形態に係る商品検知装置の構成例を示す図である。
【図23】商品検知システムの各装置を実現するコンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0019】
以下、本開示の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。以下の各図において、本開示の本質に関わらない部分の構成については省略してあり、図示されていない。
【0020】
実施形態において「取得」とは、自装置が他の装置や記録媒体に格納されているデータまたは情報を取りに行くこと（能動的な取得）、および、自装置に他の装置から出力されるデータまたは情報が入力されること（受動的な取得）の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、及び、他の装置や記録媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信（または、送信、プッシュ通知等）される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。
【0021】
＜第１実施形態＞
（商品検知システム）
図１は、本開示の第１実施形態に係る商品検知システム１００の構成例を概念的に示すブロック図である。商品検知システム１００は、商品検知装置１と、店舗端末２と、カメラ３と、を含む。カメラ３および店舗端末２と商品検知装置１との間はインターネット、イントラネット等の通信ネットワーク４を介して接続されている。尚、店舗内に商品検知装置１を備えさせ、有線ケーブル等でカメラ３と接続させてもよい。
（商品検知システム）
図１は、本開示の第１実施形態に係る商品検知システム１００の構成例を概念的に示すブロック図である。商品検知システム１００は、商品検知装置１と、店舗端末２と、カメラ３と、を含む。カメラ３および店舗端末２と商品検知装置１との間はインターネット、イントラネット等の通信ネットワーク４を介して接続されている。尚、店舗内に商品検知装置１を備えさせ、有線ケーブル等でカメラ３と接続させてもよい。
【0022】
カメラ３は、店舗毎に備えられる、商品棚を撮影するためのカメラである。カメラ３は魚眼レンズを備えた広域を撮影するカメラであってもよい。カメラ３は店舗内を移動する機構（例えば、天井に設置されたレール上を移動する機構）を備えたカメラでもよい。カメラ３は複数存在してもよく、各々のカメラ３は商品棚の一区画である棚画像（図１参照）を撮影する。
【0023】
カメラが撮影した商品棚の画像は商品検知装置１に送信され、商品検知装置１は商品不足、商品欠品または陳列乱れを検知する。商品検知装置１は商品不足、商品欠品または陳列乱れが検知された場合、店舗端末２に検知結果を通知する。店舗端末２は、店員に対し商品不足、商品欠品または陳列乱れを是正するための情報を提示する。
【0024】
（商品検知装置）
次に、図２を参照して商品検知装置１の内部構造の例について説明する。
次に、図２を参照して商品検知装置１の内部構造の例について説明する。
【0025】
商品検知装置１は、画像取得部１１、二値化部１２、生成部１３、棚情報記憶部１５、モデル記憶部１６、検知部１４および通知部１７を備えている。
【0026】
棚情報記憶部１５は、棚情報を格納する。棚情報とは、カメラ３から予め取得された棚の画像と、当該棚に関する情報とを紐づけたものである。棚情報は、例えば図３に示すように、棚名称、棚種類、仕切り有無および棚画像を含む。
【0027】
棚名称は、棚を識別するための名称である。棚ＩＤ（Identifier）であってもよい。図３においては、棚名称は、棚Ａ、棚Ｂ、棚Ｃとなっている。棚種類とは、棚の種類を示す情報である。例えば、ホットショーケース、常温陳列棚、冷蔵棚などである。仕切りの有無とは、商品を仕切るための仕切り機構（例えば、仕切り、レールなど）があるか、仕切り機構が無い（平らな面のみ）かを示す情報である。棚画像は、陳列棚の画像である。
【0028】
モデル記憶部１６は、棚の形状毎に、棚に陳列された商品の陳列の状態を検知するために学習されたモデルを格納する。モデルは複数種類格納されていてよい。
【0029】
画像取得部１１は、カメラ３にて撮影された、商品を陳列する商品棚の一区画である棚画像を取得する。当該画像には商品および背景（棚など）が写っている。尚、撮影後、棚画像からは商品のサイズが検出されるため、当該サイズ検出が可能な手法で棚画像は撮影される必要がある。画像取得部１１は取得した画像を、二値化部１２に引き渡す。
【0030】
二値化部１２は、棚画像内の領域において、商品が写る商品領域であるか商品以外が写る非商品領域（例えば、棚台面、背景）であるかを基に二値化する。商品領域であるか非商品領域であるかを基にした二値化は一般的な二次元画像処理技術（例えば、セマンティックセグメンテーション手法）を用いて実現できる。セマンティックセグメンテーション手法とは、画像内の全画素にラベルやカテゴリを関連付けるディープラーニングアルゴリズムの一種であり、特徴的なカテゴリを形成する画素の集まりを認識することで、物体と背景とを分離する。
【0031】
二値化された画像について説明する。図４は、上段が商品おにぎりの画像、下段が当該画像を二値化した画像（以下、二値化画像とも称呼する）を示す。図４では商品おにぎりは正常に陳列されている。尚、二値化部１２は、例えば図４下段に示すように、商品を黒、背景をグレーに変換し、画像上に写す。
【0032】
【0033】
図６は、上段が商品サンドイッチの画像、下段が当該画像の二値化画像を示す。図６では、一見、画像の左側に陳列異常（商品不足）が見られるが、左側に棚の仕切り機構があり商品が移動できない。そのため、陳列状態としては例外的に正常である。例外的な陳列の処理については後述する。
【0034】
【0035】
図８は、商品パスタカップの正常な陳列状態を示す。商品パスタカップはその幅が大きいため、これに合わせて商品同士の隙間も大きい。しかし同じ隙間が図４の商品おにぎり同士の間にあると陳列異常と判断する必要がある。即ち、商品の幅によって、当該商品同士の適正な隙間は異なり、商品の幅を基に、隙間が商品不足を示しているのか、商品同士の間隔を示しているのかを判別する必要がある。
【0036】
二値化部１２は二値化された画像を生成部１３および検知部１４に引き渡す。
【0037】
検知部１４は、二値化画像における商品領域の幅に対する当該商品に隣接する隙間領域の幅の比率が所定値以上である場合、当該商品の陳列の異常を検知する。陳列の異常を検知すると、検知部１４は当該検知結果を通知部１７に送信する。
【0038】
商品の幅には、複数の角度から撮影された当該商品の幅を含むものとする（例えば、ある商品を縦置きにしたときの幅、横置きにしたときの幅）。
【0039】
検知部１４は、上記の比率を、方形波グラフを用いて求める。ここで方形波グラフとは、二値化画像内における水平方向の基準線上における、二値のうちのいずれかの値を示す線である（図１０参照。詳細は後述する）。しかしながら、実際の二値化画像にノイズが含まれることで、方形波グラフから求められる上記の比率を示す値には、外れ値が含まれることがある。そこで、検知部１４は方形波グラフを平滑化した近似曲線を用いて、陳列の異常を検知してもよい。この場合、検知部１４は、例えば、生成部１３から近似曲線を受け取り、近似曲線において、上記の比率が所定値以上である場合に、当該商品の陳列の異常を検知する。また、検知部１４は、上記の比率が所定値以上となることに起因して近似曲線の少なくとも一部において、その値が所定の閾値を下回ると、当該商品の陳列の異常を検知してもよい。
【0040】
生成部１３は生成した近似曲線を検知部１４に引き渡す。商品に隣接する隙間領域とは、商品と隣の商品との間（隙間）の領域、商品と商品棚の壁や仕切りとの間（隙間）、商品と画像の一端（左右の辺）との間（隙間）の領域を指す。
【0041】
近似曲線は、例えば、方形波グラフを、所定の項数（正弦波数）のフーリエ級数展開により近似させることで得ることができる。更に、上記の方形波グラフを近似化（平滑化）できるのであれば、フーリエ級数展開以外の手法を用いてもよい。
【0042】
近似曲線を用いて陳列の異常を検知する場合の生成部１３および検知部１４の動作の具体例について説明する。図９上段は商品おにぎりの棚画像、図９下段は当該棚画像の二値化画像を示す。生成部１３は、二値化画像を高さ方向の中央で水平分断して上領域と下領域に分けた際の、下領域に図９に示すような基準線を設ける。当該基準線の位置は予め設定してあるものとする（例えば、下領域の下辺と平行で１センチメートル上に離れた線を基準線とする）。尚、下領域に基準線を設けるのは、下領域に商品が陳列されているからである。
【0043】
次に図１０は、上段が二値化画像、中段が方形波状のグラフ、下段が近似曲線を示す。図１０中段の方形波グラフは、図１０上段に示す二値画像の基準線を基に生成された方形波のグラフである。方形波グラフのエッジの立ち上がりから立ち下がりまでの幅は基準線上の商品の幅ａ、方形波グラフのエッジの立ち下がりから立ち上がりまでの幅は商品間または商品と壁の間等の隙間ｂを示す。
【0044】
生成部１３は、方形波グラフの近似曲線を生成する（図１０下段参照）。近似曲線グラフの横軸は棚画像の幅（定数）、縦軸は近似曲線の振幅（例えば、０から１まで）を示す。縦軸の閾値は、異常を検知するための値である。
【0045】
検知部１４は、近似曲線が、所定の基準値を上回る幅を商品の幅ａ、下回る幅を隙間ｂとして、商品の幅ａに対する隙間ｂの比率を求める。検知部１４が、このように、近似曲線を用いて、商品の幅ａに対する商品同士の隙間ｂの比率を求めることにより、二値化画像に含まれるノイズを起因とする外れ値を排除し、検知精度を上げ、ひいては、不要な検知結果通知を店舗端末２に送信することを防止できる。
【0046】
また、検知部１４は、近似曲線の少なくとも一部がこの値を下回ると異常と判定してもよい。この閾値の設定は設計者によって行われる。例えば、商品カップ麺の幅を１とすると、その商品同士の間隔（隙間幅）は、商品棚の大きさにも影響されるが、０．３より下（即ち商品と隙間の比は１：０．３以下）と設定される。
【0047】
図１０においては、商品おにぎりは正常に配置されているため、近似曲線は所定幅の振幅で規則的でなだらかな山谷の曲線となる。ここで、図９上段の３つの商品おにぎりのうち、中央のおにぎりが無くなった（購買された）とする。この場合、商品おにぎりの中央に商品が無いこと示す広い隙間ができ、図１１に示すように、上段の二値化画像が変化するため、中段の方形波状のグラフの商品の幅ａよりも隙間ｂが大きくなり、商品の幅ａに対する隙間ｂの比率が０．３より大きくなる。よって検知部１４は商品の幅ａに対する商品同士の隙間ｂの比率が所定値以上であるとして当該商品の陳列の異常を検知する。更に、検知部１４は、当該グラフを基に生成された近似曲線の一部が、図１１下段に示すように、閾値を下回ることにより、当該商品の陳列の異常を検知する。
【0048】
検知部１４は、モデル記憶部１６に格納されるモデルを用いて上記の比率に基づいた検知を行う。
【0049】
尚、検知部１４は、検知の際に棚の形状を考慮してもよい。これは、棚の形状によって、例外的に商品が並べられない領域（隙間）があったり、棚台の幅が広い方が、狭い方よりも、商品同士の間隔が広くとれたりと、商品の陳列に違いが出てくるからである。棚の形状とは、例えば、商品棚の種類や商品棚の形状（陳列段の数、陳列段の形状など）である。棚の形状は予め棚情報記憶部１５の棚情報に含めておいてもよい。
【0050】
通知部１７は、検知部１４から商品の陳列の状態の異常（例えば、商品不足、商品欠品、陳列乱れ）が検知された旨の通知を受けると、当該検知の結果を店舗端末２に通知する。
【0051】
（店舗端末）
次に、店舗端末２について図１２を用いて説明する。店舗端末２は、店舗毎に備えられる、店員が商品管理のために使用する端末である。店舗端末２は、例えば、読み取り部２１、通信部２２、出力部２３、入力部２４および制御部２５を備える。
次に、店舗端末２について図１２を用いて説明する。店舗端末２は、店舗毎に備えられる、店員が商品管理のために使用する端末である。店舗端末２は、例えば、読み取り部２１、通信部２２、出力部２３、入力部２４および制御部２５を備える。
【0052】
読み取り部２１は、商品の情報（バーコードなど）を読み取る。通信部２２は、店舗端末２と外部装置（例えば、商品検知装置１）との通信を行う。
【0053】
出力部２３は、読み取り部２１が読み取った情報や外部装置（商品検知装置１の通知部１７）から受信した情報（例えば、検知結果や後述する例外設定画面）を、ディスプレイ（不図示）に表示する。
【0054】
入力部２４は、店員が店舗端末２に情報を入力するためのキーボード、タッチパネル等である。
【0055】
制御部２５は、読み取り部２１、通信部２２、出力部２３および入力部２４と接続され、これらの部の動作を制御する。
【0056】
（商品検知装置の動作）
商品検知システム１００における商品検知装置１の動作を図１３に示すフローチャートを参照して説明する。尚、前提として、棚情報記憶部１５には棚情報が格納され、モデル記憶部１６にはモデルが格納されているものとする。
商品検知システム１００における商品検知装置１の動作を図１３に示すフローチャートを参照して説明する。尚、前提として、棚情報記憶部１５には棚情報が格納され、モデル記憶部１６にはモデルが格納されているものとする。
【0057】
まずステップＳ１０１において、画像取得部１１はカメラ３が撮影した商品棚の一区画である棚画像を取得する。取得した棚画像は二値化部１２に引き渡される。
【0058】
ステップＳ１０２において、二値化部１２は、棚画像内の領域を、商品が写る商品領域と商品以外が写る非商品領域とに二値化する。二値化部１２は二値化画像を生成部１３へ引き渡す。
【0059】
ステップＳ１０３において、検知部１４は、二値化画像において、商品領域の幅に対する当該商品に隣接する隙間領域の幅（商品同士の隙間など）の比率を算出する。ステップＳ１０４において、当該比率が所定値以上である場合、検知部１４は、当該商品の陳列の異常を検知する。
【0060】
ステップＳ１０３およびＳ１０４は、近似曲線を用いて検知してもよい。この場合、生成部１３は、二値化された商品領域の幅と当該商品に隣接する隙間領域の幅とに応じて近似曲線を生成する。生成部１３は、生成した近似曲線を検知部１４へ引き渡す。検知部１４は、当該比率が所定値以上となることに起因して、生成部１３から受け取る近似曲線の少なくとも一部において、その値が所定の閾値を下回る場合、当該商品の前記陳列の異常を検知する。
【0061】
検知部１４が棚画像に含まれる商品の陳列の異常（例えば、商品不足、商品欠品、陳列乱れ）を検知すると（ステップＳ１０５においてＹＥＳ）、検知部１４は検知結果（例えば、商品不足や商品欠品発生の旨、陳列乱れ発生の旨）を通知部１７に送信し、処理はステップＳ１０６へ進められる。検知部１４が異常を検知しなければ（ステップＳ１０５においてＮＯ）、本処理を終了する。
【0062】
ステップＳ１０６において、通知部１７は、検知結果を店舗端末２に向けて送信する。
【0063】
以上により、商品検知システム１００における商品検知装置１の動作を終了する。
【0064】
（第１実施形態の効果）
本開示の第１実施形態によると、店舗における商品陳列状態の検知精度を向上させ、陳列棚への商品の補充作業の効率化を図ることができる。これは、画像取得部１１が商品を陳列する棚の画像を取得し、二値化部１２が画像内の領域を商品が写る商品領域と商品以外が写る非商品領域とに二値化し、検知部１４が二値化された商品領域の幅と当該商品に隣接する隙間領域の幅とに応じて棚に陳列された商品の陳列の状態を検知するからである。
本開示の第１実施形態によると、店舗における商品陳列状態の検知精度を向上させ、陳列棚への商品の補充作業の効率化を図ることができる。これは、画像取得部１１が商品を陳列する棚の画像を取得し、二値化部１２が画像内の領域を商品が写る商品領域と商品以外が写る非商品領域とに二値化し、検知部１４が二値化された商品領域の幅と当該商品に隣接する隙間領域の幅とに応じて棚に陳列された商品の陳列の状態を検知するからである。
【0065】
＜第２実施形態＞
本開示の第１実施形態においては、棚画像は正面から撮影されたものであった。実際には、棚台には奥行きがあり、手前から奥まで商品は陳列される。しかしながら、正面から撮影された棚画像では奥に陳列された商品の個数や状態が把握しづらい。よって第２実施形態においては、商品の陳列において、棚台の手前から奥に向かって、商品領域および非商品領域が大きくなるよう重み付け（例えば、立体化）することで、奥に陳列された商品の状態等を検知する手法について開示する。
本開示の第１実施形態においては、棚画像は正面から撮影されたものであった。実際には、棚台には奥行きがあり、手前から奥まで商品は陳列される。しかしながら、正面から撮影された棚画像では奥に陳列された商品の個数や状態が把握しづらい。よって第２実施形態においては、商品の陳列において、棚台の手前から奥に向かって、商品領域および非商品領域が大きくなるよう重み付け（例えば、立体化）することで、奥に陳列された商品の状態等を検知する手法について開示する。
【0066】
（商品検知システム）
図１４は、本開示の第２実施形態に係る商品検知システム２００の構成例を概念的に示すブロック図である。商品検知システム２００は、商品検知装置１ａと、店舗端末２と、カメラ３と、を含む。
図１４は、本開示の第２実施形態に係る商品検知システム２００の構成例を概念的に示すブロック図である。商品検知システム２００は、商品検知装置１ａと、店舗端末２と、カメラ３と、を含む。
【0067】
商品検知装置１ａは、画像取得部１１、二値化部１２、生成部１３、検知部１４、棚情報記憶部１５、モデル記憶部１６、通知部１７、重み記憶部３１および重み付け部３２を備えている。
【0068】
重み付け部３２は、棚画像の棚の手前から奥に向かって、商品領域および非商品領域が大きくなるよう重み付けを行う。重み付け処理について具体例を挙げて説明する。図１５は商品おにぎりの棚画像である。ｘ軸は棚の幅のピクセル数、ｙ軸は棚の高さのピクセル数を示す。この棚画像の棚台は、手前から奥に向かっておにぎりを４列陳列することが可能である。図１５を斜め上から見た図が図１６となり、図１６の棚画像を見ると、左から１列目はおにぎりＡが４個、左から２列目はおにぎりＢが４個、左から３列目は陳列無し、左から４列目（右端）はおにぎりＣが３個並んでいる。尚、グレー領域は商品が陳列されていない非商品領域である。
【0069】
図１５の正面図から奥の個数を正確に把握するために、重み付け部３２は図１５の棚画像の、上段画像に注目して重み付けを行う。即ち、重み付け部３２は、上段画像の複数のおにぎり画像の重なり部分が強調されるように重み付けを行う。重み付け部３２は、図１５の棚画像を構成する各画素に対し、棚の高さが高くなる、即ちｙ軸のピクセル数の値が大きくなるほど、画素が大きくなるように重み付けを行う（図１７参照）。尚、図１７の丸は画素を模式的に示したものである。尚、ピクセルに重み付けを行うための重み付け表や重み付け式は、重み記憶部３１に格納されているものとする。具体的に、重み付け表は、ｙ軸のピクセル数の値に対して画素（ピクセル）の大きさを割り当てる表データであり、重み付け式は、ｙ軸のピクセル数の値から画素の大きさを算出する関数である。
【0070】
重み付け部３２は、重み付けの結果、図１５の正面画像から、図１８に示す３次元画像を出力する。図１８において、ｘ軸は図１５の棚画像の幅のピクセル画素数（単位：万）、ｙ軸は図１５の棚画像の高さのピクセル画素数（単位：万）、ｚ軸は商品領域か非商品領域かの確度を１から０の範囲で示したものである。商品領域との確度が高ければ１、非商品領域との確度が高ければ０と示される。尚、図１８（および図１９）では、確度１に近いほど黒、確度０に近いほど白に表示されている。尚、図１８は、図１５を真上から見た図に等しくなる。図１８をｘ軸の周りに９０度回転させ、さらにｙ軸の周りに約３０度時計回りに回転させたものが図１９の立体画像となる。図１９は、図１５を斜め上から見た図に対応する立体画像である。このように図１８および図１９の立体画像を用いて、図１５の棚画像の奥行き（図１６参照）を判断することができる。
【0071】
このように立体画像を基に判断することにより、正面から撮影した棚画像だと商品が手前か少し奥に配置されているのか分からない場合であっても、正確な商品位置の検知が可能となる。尚、通常は商品が商品棚の一番手前に並べてある必要があり、少し奥に商品が配置されていると検知された場合は、店舗端末２への検知結果通知（異常陳列アラート）の対象となる。
【0072】
その他の装置および部は第１実施形態と同様である。
【0073】
（商品検知装置の動作）
商品検知システム２００における商品検知装置１ａの動作を図２０に示すフローチャートを参照して説明する。尚、前提として、棚情報記憶部１５には棚情報が格納され、モデル記憶部１６にはモデルが格納されているものとする。
商品検知システム２００における商品検知装置１ａの動作を図２０に示すフローチャートを参照して説明する。尚、前提として、棚情報記憶部１５には棚情報が格納され、モデル記憶部１６にはモデルが格納されているものとする。
【0074】
まずステップＳ２０１～Ｓ２０２は第１実施形態のステップＳ１０１～Ｓ１０２と同様である。
【0075】
ステップＳ２０３において、重み付け部３２は、二値化された棚画像の画素の重み付けを行う。重み付けの結果、重み付け部３２は、図１８に示す立体画像を生成する。
【0076】
ステップＳ２０４において、検知部１４は、重み付けされた二値化画像（図１８参照）から、商品領域および当該商品領域と隣り合う隙間との比率を算出する。具体的に検知部１４は、図１８のｘｙ平面において、上記比率の算出処理を行う。
【0077】
この他、検知部１４は、図１９の立体画像（重み付けされた二値化画像）において、ｙ軸のピクセルを２０万ピクセル増加毎に、ｘｚ平面に平行な平面に裁断してもよい。これにより検知部１４は、図１５の棚画像の手前から奥側の棚画像正面図（図１０参照）と同様の画像を得て、当該画像において商品領域および当該商品領域と隣り合う隙間との比率を算出することもできる。
【0078】
ステップＳ２０５～Ｓ２０７については、第１実施形態のステップＳ１０４～Ｓ１０６と同様である。
【0079】
以上により、商品検知システム２００における商品検知装置１ａの動作を終了する。
【0080】
（第２実施形態の効果）
本開示の第２実施形態によると、店舗における商品陳列状態の検知精度を向上させ、陳列棚への商品の補充作業の効率化を図ることができる。これは、画像取得部１１が商品を陳列する棚の画像を取得し、二値化部１２が画像内の領域を商品が写る商品領域と商品以外が写る非商品領域とに二値化し、検知部１４が二値化された商品領域の幅と当該商品に隣接する隙間領域の幅とに応じて棚に陳列された商品の陳列の状態を検知するからである。
本開示の第２実施形態によると、店舗における商品陳列状態の検知精度を向上させ、陳列棚への商品の補充作業の効率化を図ることができる。これは、画像取得部１１が商品を陳列する棚の画像を取得し、二値化部１２が画像内の領域を商品が写る商品領域と商品以外が写る非商品領域とに二値化し、検知部１４が二値化された商品領域の幅と当該商品に隣接する隙間領域の幅とに応じて棚に陳列された商品の陳列の状態を検知するからである。
【0081】
更に重み付け部３２が、商品の陳列において、棚の手前から奥に向かって商品領域および非商品領域が大きくなるよう重み付けして立体画像化することで、棚の奥側においても商品の陳列の状態を検知するからである。
【0082】
＜変形例＞
第１実施形態および第２実施形態の変形例について以下に説明する。二値化部１２による二値化処理の際に、隙間があっても例外的に正常と判断する場合がある（図６参照）。例外的に正常と判断するとは、例えば、棚の形状の都合で隙間ができる場合や、陳列すべきであっても商品の在庫数が足りない場合などがある。このような場合に検知部１４が異常と検知しないように、通知部１７は、店舗端末２に検知結果（陳列異常）を通知する際に、図２１に示すような欠品アラート除外パターン画面を送信してもよい。店舗端末２から欠品アラート除外パターンとする（図２１で「はい」）旨の通知を通知部１７が受け取ると、通知部１７は検知部１４にこの通知を引き渡し、検知部１４は棚情報記憶部１５の該当する棚の情報に欠品アラート除外パターンとする情報を保存する。これにより、検知部１４は、陳列異常の結果であっても、棚情報記憶部１５の該当する棚の情報に欠品アラート除外パターンとして格納してあるものは、陳列異常から除外する。即ち、店舗端末２対し不要な通知を送信することを防止する。尚、欠品アラート除外パターンとしては、多数の商品の組合せが考えられる。このため、機械学習を用いて欠品アラート除外パターンを学習し、当該欠品アラート除外パターンに類似したパターンもこれに含めることが好ましい。
第１実施形態および第２実施形態の変形例について以下に説明する。二値化部１２による二値化処理の際に、隙間があっても例外的に正常と判断する場合がある（図６参照）。例外的に正常と判断するとは、例えば、棚の形状の都合で隙間ができる場合や、陳列すべきであっても商品の在庫数が足りない場合などがある。このような場合に検知部１４が異常と検知しないように、通知部１７は、店舗端末２に検知結果（陳列異常）を通知する際に、図２１に示すような欠品アラート除外パターン画面を送信してもよい。店舗端末２から欠品アラート除外パターンとする（図２１で「はい」）旨の通知を通知部１７が受け取ると、通知部１７は検知部１４にこの通知を引き渡し、検知部１４は棚情報記憶部１５の該当する棚の情報に欠品アラート除外パターンとする情報を保存する。これにより、検知部１４は、陳列異常の結果であっても、棚情報記憶部１５の該当する棚の情報に欠品アラート除外パターンとして格納してあるものは、陳列異常から除外する。即ち、店舗端末２対し不要な通知を送信することを防止する。尚、欠品アラート除外パターンとしては、多数の商品の組合せが考えられる。このため、機械学習を用いて欠品アラート除外パターンを学習し、当該欠品アラート除外パターンに類似したパターンもこれに含めることが好ましい。
【0083】
＜第３実施形態＞
本開示の第３実施形態に係る商品検知装置４０について図２２を参照して説明する。商品検知装置４０は、第１実施形態および第２実施形態の最小構成態様である。商品検知装置４０は、画像取得部４１、二値化部４２および検知部４３を備える。
本開示の第３実施形態に係る商品検知装置４０について図２２を参照して説明する。商品検知装置４０は、第１実施形態および第２実施形態の最小構成態様である。商品検知装置４０は、画像取得部４１、二値化部４２および検知部４３を備える。
【0084】
画像取得部４１は、商品を陳列する棚の画像を取得する。二値化部４２は、画像内の領域を、商品が写る商品領域と商品以外が写る非商品領域とに二値化する。検知部４３は、二値化された商品領域の幅と当該商品に隣接する隙間領域の幅とに応じて、棚に陳列された商品の陳列の状態を検知する。
【0085】
本開示の第３実施形態によると、店舗における商品陳列状態の検知精度を向上させ、陳列棚への商品の補充作業の効率化を図ることができる。これは、画像取得部４１が商品を陳列する棚の画像を取得し、二値化部４２が画像内の領域を商品が写る商品領域と商品以外が写る非商品領域とに二値化し、検知部４３が二値化された商品領域の幅と当該商品に隣接する隙間領域の幅とに応じて棚に陳列された商品の陳列の状態を検知するからである。
【0086】
＜ハードウェア構成＞
本開示の各実施形態において、商品検知システム１００、２００に含まれる各装置（商品検知装置１、１ａ、４０など）の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図２３に示すような情報処理装置（コンピュータ）５００とプログラムとの任意の組み合わせにより実現される。情報処理装置５００は、一例として、以下のような構成を含む。
本開示の各実施形態において、商品検知システム１００、２００に含まれる各装置（商品検知装置１、１ａ、４０など）の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図２３に示すような情報処理装置（コンピュータ）５００とプログラムとの任意の組み合わせにより実現される。情報処理装置５００は、一例として、以下のような構成を含む。
【0087】
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３
・ＲＡＭ５０３にロードされるプログラム５０４
・プログラム５０４を格納する記憶装置５０５
・記録媒体５０６の読み書きを行うドライブ装置５０７
・通信ネットワーク５０９と接続する通信インターフェース５０８
・データの入出力を行う入出力インターフェース５１０
・各構成要素を接続するバス５１１
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム５０４をＣＰＵ５０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム５０４は、例えば、予め記憶装置５０５やＲＡＭ５０３に格納されており、必要に応じてＣＰＵ５０１が読み出す。なお、プログラム５０４は、通信ネットワーク５０９を介してＣＰＵ５０１に供給されてもよいし、予め記録媒体５０６に格納されており、ドライブ装置５０７が当該プログラムを読み出してＣＰＵ５０１に供給してもよい。
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３
・ＲＡＭ５０３にロードされるプログラム５０４
・プログラム５０４を格納する記憶装置５０５
・記録媒体５０６の読み書きを行うドライブ装置５０７
・通信ネットワーク５０９と接続する通信インターフェース５０８
・データの入出力を行う入出力インターフェース５１０
・各構成要素を接続するバス５１１
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム５０４をＣＰＵ５０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム５０４は、例えば、予め記憶装置５０５やＲＡＭ５０３に格納されており、必要に応じてＣＰＵ５０１が読み出す。なお、プログラム５０４は、通信ネットワーク５０９を介してＣＰＵ５０１に供給されてもよいし、予め記録媒体５０６に格納されており、ドライブ装置５０７が当該プログラムを読み出してＣＰＵ５０１に供給してもよい。
【0088】
各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置５００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置５００とプログラムとの任意の組み合わせにより実現されてもよい。
【0089】
また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
【0090】
各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
【0091】
各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
【0092】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
［付記１］
商品を陳列する棚の画像を取得する画像取得部と、
前記画像内の領域を、前記商品が写る商品領域と前記商品以外が写る非商品領域とに二値化する二値化部と、
前記二値化された前記商品領域の幅と当該商品に隣接する隙間領域の幅とに応じて、前記棚に陳列された前記商品の陳列の状態を検知する検知部と
を備える商品検知装置。
［付記２］
前記検知部は前記商品領域の幅に対する前記隙間領域の幅の比率が所定値以上であると、前記商品の前記陳列の異常を検知する
付記1に記載の商品検知装置。
［付記３］
前記二値化された前記商品領域の幅と前記隙間領域の幅とに応じて近似曲線を生成する生成部をさらに備え、
前記検知部は、前記比率が所定値以上となることに起因して前記近似曲線の少なくとも一部が所定の閾値を下回ると、前記商品の前記陳列の異常を検知する
付記２に記載の商品検知装置。
［付記４］
前記商品領域の幅は、複数の角度から撮影された前記商品に紐づけられる前記商品領域の幅を含む
付記１乃至付記３のいずれかに記載の商品検知装置。
［付記５］
前記棚の形状毎に、前記棚に陳列された前記商品の陳列の状態を検知するために学習されたモデルを一つ以上記憶するモデル記憶部を更に備え、
前記検知部は、前記モデル記憶部から取得された前記モデルを用いて前記検知を行う
付記１に記載の商品検知装置。
［付記６］
前記商品の陳列において、前記棚の手前から奥に向かって、前記商品領域および前記非商品領域の画素が大きくなるよう重み付けする重み付け部
を更に備え、
前記二値化部は、前記重み付された前記商品領域および前記非商品領域を二値化する
付記１に記載の商品検知装置。
［付記７］
前記検知部によって前記商品の前記陳列の状態の異常が検知されると、当該検知の結果を外部の端末に通知する通知部
を更に備える付記１または付記３のいずれかに記載の商品検知装置。
［付記８］
付記１乃至付記７のいずれかに記載の商品検知装置と、
前記画像を撮影し、前記商品検知装置に向けて送信するカメラと、
前記商品検知装置から前記検知に関する通知を受信する端末と、
を備える商品検知システム。
［付記９］
商品を陳列する棚の画像を取得し
前記画像内の領域を、前記商品が写る商品領域と前記商品以外が写る非商品領域とに二値化し、
前記二値化された前記商品領域の幅と当該商品に隣接する隙間領域の幅とに応じて前記棚に陳列された前記商品の陳列の状態を検知する
ことを備える商品検知方法。
［付記１０］
前記検知することは、前記商品領域の幅に対する前記隙間領域の幅の比率が所定値以上であると、前記商品の前記陳列の異常を検知する
付記９に記載の商品検知方法。
［付記１１］
前記二値化された前記商品領域の幅と前記隙間領域の幅とに応じて近似曲線を生成することをさらに備え、
前記検知することは、前記比率が所定値以上となることに起因して前記近似曲線の少なくとも一部が所定の閾値を下回ると、前記商品の前記陳列の異常を検知する
付記１０に記載の商品検知方法。
［付記１２］
前記商品領域の幅は、複数の角度から撮影された前記商品に紐づけられる前記商品領域の幅を含む
付記９乃至付記１１のいずれかに記載の商品検知方法。
［付記１３］
前記検知することは、前記棚の形状毎に、前記棚に陳列された前記商品の陳列の状態を検知するために学習されたモデルを一つ以上記憶するモデル記憶手段から取得された前記モデルを用いて前記検知を行う
付記９に記載の商品検知方法。
［付記１４］
前記商品の陳列において、前記棚の手前から奥に向かって、前記商品領域および前記非商品領域の画素が大きくなるよう重み付けすること
を更に備え、
前記二値化することは、前記重み付された前記商品領域および前記非商品領域を二値化する
付記９に記載の商品検知方法。
［付記１５］
前記検知することにおいて前記商品の前記陳列の状態の異常が検知されると、当該検知の結果を外部の端末に通知すること
を更に備える付記９または付記１１のいずれかに記載の商品検知方法。
［付記１６］
商品を陳列する棚の画像を取得し
前記画像内の領域を、前記商品が写る商品領域と前記商品以外が写る非商品領域とに二値化し、
前記二値化された前記商品領域の幅と当該商品に隣接する隙間領域の幅とに応じて前記棚に陳列された前記商品の陳列の状態を検知する
ことをコンピュータに実現させるための商品検知プログラムを格納する記録媒体。
［付記１７］
前記検知することは、前記商品領域の幅に対する前記隙間領域の幅の比率が所定値以上であると、前記商品の前記陳列の異常を検知する
付記１６に記載の記録媒体。
［付記１８］
前記二値化された前記商品領域の幅と前記隙間領域の幅とに応じて近似曲線を生成することをさらに備え、
前記検知することは、前記比率が所定値以上となることに起因して前記近似曲線の少なくとも一部が所定の閾値を下回ると、前記商品の前記陳列の異常を検知する
付記１７に記載の記録媒体。
［付記１９］
前記商品領域の幅は、複数の角度から撮影された前記商品に紐づけられる前記商品領域の幅を含む
付記１６乃至付記１８のいずれかに記載の記録媒体。
［付記２０］
前記検知することは、前記棚の形状毎に、前記棚に陳列された前記商品の陳列の状態を検知するために学習されたモデルを一つ以上記憶するモデル記憶手段から取得された前記モデルを用いて前記検知を行う
付記１６に記載の記録媒体。
［付記２１］
前記商品の陳列において、前記棚の手前から奥に向かって、前記商品領域および前記非商品領域の画素が大きくなるよう重み付けすること
を更に備え、
前記二値化することは、前記重み付された前記商品領域および前記非商品領域を二値化する
付記１６に記載の記録媒体。
［付記２２］
前記検知することにおいて前記商品の前記陳列の状態の異常が検知されると、当該検知の結果を外部の端末に通知すること
を更に備える付記１６または付記１８のいずれかに記載の記録媒体。
［付記１］
商品を陳列する棚の画像を取得する画像取得部と、
前記画像内の領域を、前記商品が写る商品領域と前記商品以外が写る非商品領域とに二値化する二値化部と、
前記二値化された前記商品領域の幅と当該商品に隣接する隙間領域の幅とに応じて、前記棚に陳列された前記商品の陳列の状態を検知する検知部と
を備える商品検知装置。
［付記２］
前記検知部は前記商品領域の幅に対する前記隙間領域の幅の比率が所定値以上であると、前記商品の前記陳列の異常を検知する
付記1に記載の商品検知装置。
［付記３］
前記二値化された前記商品領域の幅と前記隙間領域の幅とに応じて近似曲線を生成する生成部をさらに備え、
前記検知部は、前記比率が所定値以上となることに起因して前記近似曲線の少なくとも一部が所定の閾値を下回ると、前記商品の前記陳列の異常を検知する
付記２に記載の商品検知装置。
［付記４］
前記商品領域の幅は、複数の角度から撮影された前記商品に紐づけられる前記商品領域の幅を含む
付記１乃至付記３のいずれかに記載の商品検知装置。
［付記５］
前記棚の形状毎に、前記棚に陳列された前記商品の陳列の状態を検知するために学習されたモデルを一つ以上記憶するモデル記憶部を更に備え、
前記検知部は、前記モデル記憶部から取得された前記モデルを用いて前記検知を行う
付記１に記載の商品検知装置。
［付記６］
前記商品の陳列において、前記棚の手前から奥に向かって、前記商品領域および前記非商品領域の画素が大きくなるよう重み付けする重み付け部
を更に備え、
前記二値化部は、前記重み付された前記商品領域および前記非商品領域を二値化する
付記１に記載の商品検知装置。
［付記７］
前記検知部によって前記商品の前記陳列の状態の異常が検知されると、当該検知の結果を外部の端末に通知する通知部
を更に備える付記１または付記３のいずれかに記載の商品検知装置。
［付記８］
付記１乃至付記７のいずれかに記載の商品検知装置と、
前記画像を撮影し、前記商品検知装置に向けて送信するカメラと、
前記商品検知装置から前記検知に関する通知を受信する端末と、
を備える商品検知システム。
［付記９］
商品を陳列する棚の画像を取得し
前記画像内の領域を、前記商品が写る商品領域と前記商品以外が写る非商品領域とに二値化し、
前記二値化された前記商品領域の幅と当該商品に隣接する隙間領域の幅とに応じて前記棚に陳列された前記商品の陳列の状態を検知する
ことを備える商品検知方法。
［付記１０］
前記検知することは、前記商品領域の幅に対する前記隙間領域の幅の比率が所定値以上であると、前記商品の前記陳列の異常を検知する
付記９に記載の商品検知方法。
［付記１１］
前記二値化された前記商品領域の幅と前記隙間領域の幅とに応じて近似曲線を生成することをさらに備え、
前記検知することは、前記比率が所定値以上となることに起因して前記近似曲線の少なくとも一部が所定の閾値を下回ると、前記商品の前記陳列の異常を検知する
付記１０に記載の商品検知方法。
［付記１２］
前記商品領域の幅は、複数の角度から撮影された前記商品に紐づけられる前記商品領域の幅を含む
付記９乃至付記１１のいずれかに記載の商品検知方法。
［付記１３］
前記検知することは、前記棚の形状毎に、前記棚に陳列された前記商品の陳列の状態を検知するために学習されたモデルを一つ以上記憶するモデル記憶手段から取得された前記モデルを用いて前記検知を行う
付記９に記載の商品検知方法。
［付記１４］
前記商品の陳列において、前記棚の手前から奥に向かって、前記商品領域および前記非商品領域の画素が大きくなるよう重み付けすること
を更に備え、
前記二値化することは、前記重み付された前記商品領域および前記非商品領域を二値化する
付記９に記載の商品検知方法。
［付記１５］
前記検知することにおいて前記商品の前記陳列の状態の異常が検知されると、当該検知の結果を外部の端末に通知すること
を更に備える付記９または付記１１のいずれかに記載の商品検知方法。
［付記１６］
商品を陳列する棚の画像を取得し
前記画像内の領域を、前記商品が写る商品領域と前記商品以外が写る非商品領域とに二値化し、
前記二値化された前記商品領域の幅と当該商品に隣接する隙間領域の幅とに応じて前記棚に陳列された前記商品の陳列の状態を検知する
ことをコンピュータに実現させるための商品検知プログラムを格納する記録媒体。
［付記１７］
前記検知することは、前記商品領域の幅に対する前記隙間領域の幅の比率が所定値以上であると、前記商品の前記陳列の異常を検知する
付記１６に記載の記録媒体。
［付記１８］
前記二値化された前記商品領域の幅と前記隙間領域の幅とに応じて近似曲線を生成することをさらに備え、
前記検知することは、前記比率が所定値以上となることに起因して前記近似曲線の少なくとも一部が所定の閾値を下回ると、前記商品の前記陳列の異常を検知する
付記１７に記載の記録媒体。
［付記１９］
前記商品領域の幅は、複数の角度から撮影された前記商品に紐づけられる前記商品領域の幅を含む
付記１６乃至付記１８のいずれかに記載の記録媒体。
［付記２０］
前記検知することは、前記棚の形状毎に、前記棚に陳列された前記商品の陳列の状態を検知するために学習されたモデルを一つ以上記憶するモデル記憶手段から取得された前記モデルを用いて前記検知を行う
付記１６に記載の記録媒体。
［付記２１］
前記商品の陳列において、前記棚の手前から奥に向かって、前記商品領域および前記非商品領域の画素が大きくなるよう重み付けすること
を更に備え、
前記二値化することは、前記重み付された前記商品領域および前記非商品領域を二値化する
付記１６に記載の記録媒体。
［付記２２］
前記検知することにおいて前記商品の前記陳列の状態の異常が検知されると、当該検知の結果を外部の端末に通知すること
を更に備える付記１６または付記１８のいずれかに記載の記録媒体。
【0093】
以上、実施形態および実施例を参照して本発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0094】
１ 商品検知装置
１ａ 商品検知装置
２ 店舗端末
３ カメラ
４ 通信ネットワーク
１１ 画像取得部
１２ 二値化部
１３ 生成部
１４ 検知部
１５ 棚情報記憶部
１６ モデル記憶部
１７ 通知部
２１ 読み取り部
２２ 通信部
２３ 出力部
２４ 入力部
２５ 制御部
３１ 重み記憶部
３２ 重み付け部
４０ 商品検知装置
４１ 画像取得部
４２ 二値化部
４３ 検知部
１００ 商品検知システム
２００ 商品検知システム
５００ 情報処理装置
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ プログラム
５０５ 記憶装置
５０６ 記録媒体
５０７ ドライブ装置
５０８ 通信インターフェース
５０９ 通信ネットワーク
５１０ 入出力インターフェース
５１１ バス
１ａ 商品検知装置
２ 店舗端末
３ カメラ
４ 通信ネットワーク
１１ 画像取得部
１２ 二値化部
１３ 生成部
１４ 検知部
１５ 棚情報記憶部
１６ モデル記憶部
１７ 通知部
２１ 読み取り部
２２ 通信部
２３ 出力部
２４ 入力部
２５ 制御部
３１ 重み記憶部
３２ 重み付け部
４０ 商品検知装置
４１ 画像取得部
４２ 二値化部
４３ 検知部
１００ 商品検知システム
２００ 商品検知システム
５００ 情報処理装置
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ プログラム
５０５ 記憶装置
５０６ 記録媒体
５０７ ドライブ装置
５０８ 通信インターフェース
５０９ 通信ネットワーク
５１０ 入出力インターフェース
５１１ バス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】