特許 7428244 商品特定装置、商品特定方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-29

(45)【発行日】2024-02-06

(54)【発明の名称】商品特定装置、商品特定方法、およびプログラム

(51)【国際特許分類】

   G06T 7/12 20170101AFI20240130BHJP

【ＦＩ】

G06T7/12

【請求項の数】 7

(21)【出願番号】P 2022522437

(86)(22)【出願日】2020-05-14

(86)【国際出願番号】 JP2020019258

(87)【国際公開番号】W WO2021229753

(87)【国際公開日】2021-11-18

【審査請求日】2022-11-09

【前置審査】

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】米澤 八栄子

(72)【発明者】

【氏名】菊池 克

(72)【発明者】

【氏名】白石 壮馬

(72)【発明者】

【氏名】鍋藤 悠

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２０１６－０７１７８２（ＪＰ，Ａ）

【文献】特開２０１８－１３９０６２（ＪＰ，Ａ）

【文献】特開２０１６－２２４８３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／１２

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｇ０６Ｑ ３０／０６

(57)【特許請求の範囲】

【請求項1】

商品が載置されている複数の棚を含む画像を取得する取得手段と、
前記画像を処理することにより前記棚の連続性が途絶える位置を特定し、当該位置を用いて、上下方向に並んでいる少なくとも二つの前記棚を含む単位領域を前記画像上で設定するとともに、前記商品を特定する画像処理手段と、
前記単位領域別に、当該単位領域に位置する前記商品の商品識別情報を記憶手段に記憶させる記憶処理手段と、
を備え、
前記画像処理手段は、
前記画像を処理することにより前記複数の棚それぞれの延在方向を検出し、
隣接する二つの前記棚のそれぞれについて検出される前記延在方向の上下方向のずれを検出することにより、前記棚の連続性が途絶える位置を特定する、
商品特定装置。

【請求項2】

請求項１に記載の商品特定装置において、
前記画像は、高さが異なる複数の前記棚を含んでおり、
前記単位領域は横方向に区切られることにより設定されており、
前記画像処理手段は、前記複数の棚毎に、連続性が途絶える位置を特定し、少なくとも一つの前記棚において連続性が途絶えた位置に、前記単位領域を定義する境界を設定する商品特定装置。

【請求項3】

請求項２に記載の商品特定装置において、
前記画像処理手段は、二つ以上の前記棚において連続性が途絶えた位置に、前記境界を設定する商品特定装置。

【請求項4】

請求項２又は３に記載の商品特定装置において、
前記複数の棚は、横方向に並んだ複数の画像に分けて撮像されており、
前記画像処理手段は、前記複数の画像をつなげた連続画像を生成し、当該連続画像を用いて前記単位領域を設定する商品特定装置。

【請求項5】

請求項２から４のいずれか一項に記載の商品特定装置において、
前記画像処理手段は、前記単位領域別に、当該単位領域における棚の数を特定し、
前記記憶処理手段は、前記単位領域別に、当該単位領域における棚の数を前記記憶手段に記憶させる、商品特定装置。

【請求項6】

コンピュータが、
商品が載置されている複数の棚を含む画像を取得し、
前記画像を処理することにより前記複数の棚それぞれの延在方向を検出し、
隣接する二つの前記棚のそれぞれについて検出される前記延在方向の上下方向のずれを検出することにより、前記棚の連続性が途絶える位置を特定し、
当該位置を用いて、上下方向に並んでいる少なくとも二つの前記棚を含む少なくとも一つの単位領域を前記画像上で設定するとともに、前記商品を特定し、
前記単位領域別に、当該単位領域に位置する前記商品の商品識別情報を記憶手段に記憶させる、商品特定方法。

【請求項7】

コンピュータに、
商品が載置されている棚を含む画像を取得する取得機能と、
前記画像を処理することにより前記棚の連続性が途絶える位置を特定し、当該位置を用いて、上下方向に並んでいる少なくとも二つの前記棚を含む少なくとも一つの単位領域を前記画像上で設定するとともに、前記商品を特定する画像処理機能と、
前記単位領域別に、当該単位領域に位置する前記商品の商品識別情報を記憶手段に記憶させる記憶処理機能と、
を持たせ、
前記画像処理機能は、
前記複数の棚それぞれの延在方向を検出し、
隣接する二つの前記棚のそれぞれについて検出される前記延在方向の上下方向のずれを検出することにより、前記棚の連続性が途絶える位置を特定する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、商品特定装置、商品特定方法、およびプログラムに関する。

【背景技術】

【0002】

商品を販売している店舗において、商品棚における商品の位置すなわち棚割りは、その店舗の売り上げに影響を与えるため、重要である。例えば特許文献１及び２には、商品棚を撮像した画像を処理することにより、当該画像に含まれる商品領域画像を特定し、商品領域画像ごとに商品を特定することが記載されている。また特許文献２には、画像に対して斜め補正や歪み補正を行うことも記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１９／１０７１５７号

【文献】特開２０１５－２１０６５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一つの店舗には複数の商品棚が並んでいることが多い。このため、棚割りの状態を効率よく管理するためには、商品棚を、意味のある位置で複数の領域に区切り、領域ごとに商品の種類を特定することが望ましい。

【0005】

本発明の目的の一例は、商品棚を、意味のある位置で複数の領域に区切り、領域ごとに商品の種類を特定することにある。

【課題を解決するための手段】

【0006】

本発明によれば、商品が載置されている棚を含む画像を取得する取得手段と、
前記画像を処理することにより前記棚の連続性が途絶える位置を特定し、当該位置を用いて前記棚を単位領域に区分けするとともに、前記商品を特定する画像処理手段と、
前記単位領域別に、当該単位領域に位置する前記商品の商品識別情報を記憶手段に記憶させる記憶処理手段と、
を備える商品特定装置が提供される。

【0007】

本発明によれば、コンピュータが、
商品が載置されている棚を含む画像を取得し、
前記画像を処理することにより前記棚の連続性が途絶える位置を特定し、当該位置を用いて前記棚を少なくとも一つの単位領域に区分けするとともに、前記商品を特定し、
前記単位領域別に、当該単位領域に位置する前記商品の商品識別情報を記憶手段に記憶させる、商品特定方法が提供される。

【0008】

本発明によれば、コンピュータに、
商品が載置されている棚を含む画像を取得する取得機能と、
前記画像を処理することにより前記棚の連続性が途絶える位置を特定し、当該位置を用いて前記棚を少なくとも一つの単位領域に区分けするとともに、前記商品を特定する画像処理機能と、
前記単位領域別に、当該単位領域に位置する前記商品の商品識別情報を記憶手段に記憶させる記憶処理機能と、
を持たせるプログラムが提供される。

【発明の効果】

【0009】

本発明によれば、商品棚を、意味のある位置で複数の領域に区切り、領域ごとに商品の種類を特定することができる。

【図面の簡単な説明】

【0010】

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

【0011】

【図1】第１実施形態に係る商品特定装置の使用環境を説明するための図である。

【図2】商品特定装置の機能構成の一例を示す図である。

【図3】商品棚を単位領域に区分けする方法の第１例を示す図である。

【図4】商品棚を単位領域に区分けする方法の第２例を示す図である。

【図5】記憶部が記憶している情報の一例を示す図である。

【図6】商品特定装置のハードウェア構成例を示す図である。

【図7】商品特定装置が行う処理を示すフローチャートである。

【図8】第２実施形態に係る商品特定装置の機能を説明するための図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

【0013】

［第１実施形態］
図１は、本実施形態に係る商品特定装置２０の使用環境を説明するための図である。商品特定装置２０は撮像装置１０と共に使用される。撮像装置１０は商品棚４０を撮像する。撮像装置１０が生成した画像は商品特定装置２０に送信される。商品特定装置２０は、撮像装置１０が生成した画像を処理することにより、商品棚４０における商品５０の位置を特定する。商品特定装置２０を使用する人は、商品特定装置２０の処理結果を用いて、商品５０の位置が所望の位置になっているか否かを確認する。

【0014】

撮像装置１０は携帯型の装置である。撮像装置１０は、いわゆるスマートフォンなど、撮像機能付きの通信装置であってもよい。撮像装置１０の使用者は、商品棚４０を複数の領域に分け、領域毎に画像を生成し、この画像を外部の装置、例えば商品特定装置２０に送信する。そして商品特定装置２０は、複数の画像それぞれに対して、商品５０の位置を特定する処理を行う。

【0015】

一般的に、複数の商品棚４０が上下に重ねて設けられることが多い。そして商品棚４０の上下の間隔は、そこに載置される商品５０の種類に応じて設定されることが多い。このため、商品５０の種類が変わる位置で商品棚４０の高さが不連続になることが多い。商品特定装置２０は、撮像装置１０が生成した画像を処理することにより商品棚４０の連続性が途絶える位置を特定し、当該位置を用いて商品棚４０を単位領域に区分けする。また撮像装置１０は、画像を処理して商品５０を特定し、単位領域別に、当該単位領域に位置する商品５０の商品識別情報、例えばＪＡＮコードを記憶手段（例えば後述する記憶部２４０）に記憶させる。

【0016】

図２は、商品特定装置２０の機能構成の一例を示す図である。本図に示す例において、商品特定装置２０は、取得部２１０、画像処理部２２０、及び記憶処理部２３０を備えている。取得部２１０は、撮像装置１０が生成した画像を取得する。この画像は、商品棚４０及び商品５０を含んでいる。画像処理部２２０は、取得部２１０が取得した画像を処理することにより、商品棚４０の連続性が途絶える位置を特定し、当該位置を用いて商品棚４０を単位領域に区分けする。また画像処理部２２０は、取得部２１０が取得した画像を処理することにより、商品５０の種類や品名を特定する。例えば画像処理部２２０は、商品５０の種類ごとに、その商品５０の商品識別情報及び特徴量を記憶している記憶部を用いて、商品５０の種類や品名、及びその商品識別情報を特定する。記憶処理部２３０は、商品棚４０の単位領域別に、当該単位領域に位置する商品５０の商品識別情報を記憶部２４０に記憶させる。

【0017】

本図に示す例において、記憶部２４０は商品特定装置２０の一部となっている。ただし記憶部２４０は商品特定装置２０の外部の装置であってもよい。

【0018】

また、画像処理部２２０は、歪み補正処理を行ってもよい。ここで補正される歪みは、例えば、撮像装置１０の光学系等（例えばレンズ）に起因した歪みである。また画像処理部２２０は、端面が湾曲している商品棚４０が画像に含まれている場合、当該商品棚４０が直線になるように、歪み補正を行ってもよい。この場合、商品５０の位置も、商品棚４０の端面の補正量に合わせて補正される。

【0019】

図３は、商品棚４０を単位領域に区分けする方法の第１例を示している。本図に示す例において、複数の商品棚４０は、互いに上下に重なっており、かつ同一方向（図３における左右方向）に延在している。画像処理部２２０は、まず、エッジ検出処理や特徴量マッチングなどを用いることにより、複数の商品棚４０それぞれを検出するとともに、これら複数の商品棚４０それぞれの延在方向を検出する。そして画像処理部２２０は、複数の商品棚４０それぞれについて、当該商品棚４０が延在している方向において、商品棚４０が不連続になる位置を検出する。例えば画像処理部２２０は、商品棚４０の端面に重なるように線（例えば直線）を生成し、この線が不連続になる位置を検出する。そして画像処理部２２０は、この位置で商品棚４０を区切り、単位領域Ａ_１，Ａ_２を設定する。図３に示す例において、商品棚４０が上下にずれている。画像処理部２２０は、このずれが生じている位置を検出し、この位置に単位領域の境界を設定する。

【0020】

なお、本図に示すように、複数の商品棚４０が上下に重なっている場合、画像処理部２２０は、少なくとも一つの商品棚４０において不連続になっている位置に、単位領域の境界を設定するのが好ましい。ただし、画像処理部２２０は、規定数以上の商品棚４０が不連続になっている位置に、単位領域の境界を設定してもよい。ここで規定数は、２以上である。

【0021】

図４は、商品棚４０を単位領域に区分けする方法の第２例を示している。本図に示す例において、複数の商品棚４０は、角部を有している。画像処理部２２０は、商品棚４０が不連続になる位置としてこの角部を検出し、この位置で商品棚４０を区切り、単位領域Ａ_１，Ａ_２を設定する。

【0022】

図５は、記憶部２４０が記憶している情報の一例を示す図である。本図に示す例において、記憶部２４０は、商品棚４０の単位領域別に、当該単位領域に配置されている商品５０の商品識別情報を記憶している。図５に示す例において、商品識別情報はテーブル形式で記憶されているが、このテーブルにおける商品識別情報の並び順は、実際の商品５０の並び順に対応している。このようにすると、記憶部２４０における商品識別情報の並び順を確認することにより、商品棚４０における商品５０の並び順を確認することができる。

【0023】

また本図に示す例において、記憶部２４０は、さらに単位領域毎に、その単位領域における商品棚４０の数（段数）を記憶している。この商品棚４０の数は、画像処理部２２０が特定している。これにより、記憶部２４０に記憶されている情報を見た人は、その単位領域の店舗における位置を推定しやすくなる。

【0024】

図６は、商品特定装置２０のハードウェア構成例を示す図である。商品特定装置２０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

【0025】

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

【0026】

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

【0027】

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

【0028】

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は商品特定装置２０の各機能（例えば取得部２１０、画像処理部２２０、及び記憶処理部２３０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は記憶部２４０としても機能する。

【0029】

入出力インタフェース１０５０は、商品特定装置２０と各種入出力機器とを接続するためのインタフェースである。

【0030】

ネットワークインタフェース１０６０は、商品特定装置２０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。商品特定装置２０は、ネットワークインタフェース１０６０を介して撮像装置１０と通信してもよい。

【0031】

図７は、商品特定装置２０が行う処理を示すフローチャートである。商品特定装置２０の取得部２１０は、撮像装置１０が生成した画像を取得する（ステップＳ１０）。例えば商品特定装置２０が、撮像装置１０が生成した画像を記憶する記憶部を有している場合、取得部２１０は、この記憶部から画像を取得する。また取得部２１０は、撮像装置１０から直接画像を取得してもよい。

【0032】

次いで商品特定装置２０の画像処理部２２０は、ステップＳ１０で取得された画像を処理することにより、商品棚４０の連続性が途絶える位置を特定し（ステップＳ２０）、この位置に単位領域の境界を設定する（ステップＳ３０）。

【0033】

また画像処理部２２０は、ステップＳ１０で取得された画像を処理することにより、商品５０の種類及びその位置を検出する（ステップＳ４０）。そして記憶処理部２３０は、画像処理部２２０が設定した単位領域毎に、画像処理部２２０が検出した商品５０の商品識別情報を記憶する（ステップＳ５０）。

【0034】

なお、画像処理部２２０は、ステップＳ２０及びステップＳ３０の前にステップＳ４０を行ってもよいし、ステップＳ２０及びステップＳ３０と並行してステップＳ４０を行ってもよい。

【0035】

以上、本実施形態によれば、商品特定装置２０は、商品棚４０の連続性が途絶える位置を特定し、この位置を用いて単位領域を設定する。一般的に、商品５０の種類が変わる位置で商品棚４０の高さが不連続になることが多い。このため、商品特定装置２０のように単位領域を設定し、単位領域毎に商品５０の商品識別情報を記憶しておくと、棚割りの状態を効率よく管理することができる。

【0036】

［第２実施形態］
図８は、本実施形態に係る商品特定装置２０の機能を説明するための図である。本実施形態において、撮像装置１０の使用者は、横方向すなわち商品棚４０が延在する方向において、商品棚４０を複数の領域（例えば第１棚領域Ｂ_１及び第２棚領域Ｂ_２）に分け、領域毎に画像を生成する。この際、撮像装置１０の使用者は、第１棚領域Ｂ_１を撮像して第１画像を生成した後、第２棚領域Ｂ_２を撮像して第２画像を生成する際に、第１画像の端部と第２画像の端部とが重なる（すなわち同一の領域の画像になる）ようにする。

【0037】

そして商品特定装置２０の画像処理部２２０は、撮像装置１０が生成した複数の画像（例えば第１画像及び第２画像）を横方向につなげた連続画像を生成し、当該連続画像を、第１実施形態に示した処理の対象にする。

【0038】

本実施形態によれば、商品棚４０が横方向に長い場合においても、商品棚４０に単位領域を設定し、単位領域毎に商品５０の商品識別情報を記憶することができる。

【0039】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

【0040】

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

【0041】

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．商品が載置されている棚を含む画像を取得する取得手段と、
前記画像を処理することにより前記棚の連続性が途絶える位置を特定し、当該位置を用いて前記棚を単位領域に区分けするとともに、前記商品を特定する画像処理手段と、
前記単位領域別に、当該単位領域に位置する前記商品の商品識別情報を記憶手段に記憶させる記憶処理手段と、
を備える商品特定装置。
２．上記１に記載の商品特定装置において、
前記画像は、高さが異なる複数の前記棚を含んでおり、
前記単位領域は横方向に区切られることにより設定されており、
前記画像処理手段は、前記複数の棚毎に、連続性が途絶える位置を特定し、少なくとも一つの前記棚において連続性が途絶えた位置に、前記単位領域を定義する境界を設定する商品特定装置。
３．上記２に記載の商品特定装置において、
前記複数の棚は、横方向に並んだ複数の画像に分けて撮像されており、
前記画像処理手段は、前記複数の画像をつなげた連続画像を生成し、当該連続画像を用いて前記単位領域を設定する商品特定装置。
４．上記２又は３に記載の商品特定装置において、
前記画像処理手段は、前記単位領域別に、当該単位領域における棚の数を特定し、
前記記憶処理手段は、前記単位領域別に、当該単位領域における棚の数を前記記憶手段に記憶させる、商品特定装置。

５．コンピュータが、
商品が載置されている棚を含む画像を取得する取得処理と、
前記画像を処理することにより前記棚の連続性が途絶える位置を特定し、当該位置を用いて前記棚を少なくとも一つの単位領域に区分けするとともに、前記商品を特定する画像処理と、
前記単位領域別に、当該単位領域に位置する前記商品の商品識別情報を記憶手段に記憶させる記憶処理と、
を行う商品特定方法。
６．上記５に記載の商品特定方法において、
前記画像は、高さが異なる複数の前記棚を含んでおり、
前記単位領域は横方向に区切られることにより設定されており、
前記画像処理において、前記コンピュータは、前記複数の棚毎に、連続性が途絶える位置を特定し、少なくとも一つの前記棚において連続性が途絶えた位置に、前記単位領域を定義する境界を設定する商品特定方法。
７．上記６に記載の商品特定方法において、
前記複数の棚は、横方向に並んだ複数の画像に分けて撮像されており、
前記画像処理において、前記コンピュータは、前記複数の画像をつなげた連続画像を生成し、当該連続画像を用いて前記単位領域を設定する商品特定方法。
８．上記６又は７に記載の商品特定方法において、
前記画像処理において、前記コンピュータは、前記単位領域別に、当該単位領域における棚の数を特定し、
前記記憶処理において、前記コンピュータは、前記単位領域別に、当該単位領域における棚の数を前記記憶手段に記憶させる、商品特定方法。
９．コンピュータに、
商品が載置されている棚を含む画像を取得する取得機能と、
前記画像を処理することにより前記棚の連続性が途絶える位置を特定し、当該位置を用いて前記棚を少なくとも一つの単位領域に区分けするとともに、前記商品を特定する画像処理機能と、
前記単位領域別に、当該単位領域に位置する前記商品の商品識別情報を記憶手段に記憶させる記憶処理機能と、
を持たせるプログラム。
１０．上記９に記載のプログラムにおいて、
前記画像は、高さが異なる複数の前記棚を含んでおり、
前記単位領域は横方向に区切られることにより設定されており、
前記画像処理機能は、前記複数の棚毎に、連続性が途絶える位置を特定し、少なくとも一つの前記棚において連続性が途絶えた位置に、前記単位領域を定義する境界を設定するプログラム。
１１．上記１０に記載のプログラムにおいて、
前記複数の棚は、横方向に並んだ複数の画像に分けて撮像されており、
前記画像処理機能は、前記複数の画像をつなげた連続画像を生成し、当該連続画像を用いて前記単位領域を設定するプログラム。
１２．上記１０又は１１に記載のプログラムにおいて、
前記画像処理機能は、前記単位領域別に、当該単位領域における棚の数を特定し、
前記記憶処理機能は、前記単位領域別に、当該単位領域における棚の数を前記記憶手段に記憶させる、プログラム。

【符号の説明】

【0042】

１０ 撮像装置
２０ 商品特定装置
４０ 商品棚
５０ 商品
２１０ 取得部
２２０ 画像処理部
２３０ 記憶処理部
２４０ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】