特許 7613360 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-06

(45)【発行日】2025-01-15

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06Q 30/06 20230101AFI20250107BHJP

【ＦＩ】

G06Q30/06

【請求項の数】 9

(21)【出願番号】P 2021546649

(86)(22)【出願日】2020-09-11

(86)【国際出願番号】 JP2020034551

(87)【国際公開番号】W WO2021054266

(87)【国際公開日】2021-03-25

【審査請求日】2023-08-04

(31)【優先権主張番号】P 2019167973

(32)【優先日】2019-09-17

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】米澤 八栄子

(72)【発明者】

【氏名】堀田 開登

(72)【発明者】

【氏名】岩渕 隆亮

(72)【発明者】

【氏名】久保 明子

【審査官】谷川 智秀

(56)【参考文献】

【文献】特開２０１４－０２９６８６（ＪＰ，Ａ）

【文献】国際公開第２０１６／０６３４８４（ＷＯ，Ａ１）

【文献】特開２０１１－２５３３４４（ＪＰ，Ａ）

【文献】国際公開第２０１９／０６４９２５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

棚の上に配置された複数の物品を撮影した画像を処理することにより、当該画像に写っている前記複数の物品それぞれの品名を特定する画像処理手段と、
前記画像処理手段によって品名が特定できなかった前記物品である未特定物品について、特定条件を満たしたときに、前記未特定物品の品名を、当該未特定物品の隣に位置する前記物品の品名と推定する物品推定手段と、
を備え、
前記特定条件は、前記未特定物品の両隣の前記物品の品名が同一の場合である画像処理装置。

【請求項2】

棚の上に配置された複数の物品を撮影した画像を処理することにより、当該画像に写っている前記複数の物品それぞれの品名を特定する画像処理手段と、
前記画像処理手段によって品名が特定できなかった前記物品である未特定物品について、特定条件を満たしたときに、前記未特定物品の品名を、当該未特定物品の隣に位置する前記物品の品名と推定する物品推定手段と、
を備え、
前記特定条件は、前記未特定物品が前記棚の端に位置している場合である画像処理装置。

【請求項3】

棚の上に配置された複数の物品を撮影した画像を処理することにより、当該画像に写っている前記複数の物品それぞれの品名を特定する画像処理手段と、
前記画像処理手段によって品名が特定できなかった前記物品である未特定物品について、特定条件を満たしたときに、前記未特定物品の品名を、当該未特定物品の隣に位置する前記物品の品名と推定する物品推定手段と、
を備え、
前記特定条件は、前記複数の物品の品名の特定結果に基づいて得られる同一の品名の物品が連続して並ぶ数に規則性がある場合であり、
前記物品推定手段は、前記未特定物品の両隣に位置する２つ物品のうち前記規則性を維持する一方の物品の品名を用いて前記未特定物品の品名を推定する、画像処理装置。

【請求項4】

コンピュータが、
棚の上に配置された複数の物品を撮影した画像を処理することにより、当該画像に写っている前記複数の物品それぞれの品名を特定し、
品名が特定できなかった前記物品である未特定物品について、特定条件を満たしたときに、前記未特定物品の品名を、当該未特定物品の隣に位置する前記物品の品名と推定することを含み、
前記特定条件は、前記未特定物品の両隣の前記物品の品名が同一の場合である画像処理方法。

【請求項5】

コンピュータが、
棚の上に配置された複数の物品を撮影した画像を処理することにより、当該画像に写っている前記複数の物品それぞれの品名を特定し、
品名が特定できなかった前記物品である未特定物品について、特定条件を満たしたときに、前記未特定物品の品名を、当該未特定物品の隣に位置する前記物品の品名と推定することを含み、
前記特定条件は、前記未特定物品が前記棚の端に位置している場合である画像処理方法。

【請求項6】

コンピュータが、
棚の上に配置された複数の物品を撮影した画像を処理することにより、当該画像に写っている前記複数の物品それぞれの品名を特定し、
品名が特定できなかった前記物品である未特定物品について、特定条件を満たしたときに、前記未特定物品の品名を、当該未特定物品の隣に位置する前記物品の品名と推定することを含み、
前記特定条件は、前記複数の物品の品名の特定結果に基づいて得られる同一の品名の物品が連続して並ぶ数に規則性がある場合であり、
前記コンピュータが、前記未特定物品の両隣に位置する２つ物品のうち前記規則性を維持する一方の物品の品名を用いて前記未特定物品の品名を推定する、
画像処理方法。

【請求項7】

コンピュータに、
棚の上に配置された複数の物品を撮影した画像を処理することにより、当該画像に写っている前記複数の物品それぞれの品名を特定する機能と、
品名が特定できなかった前記物品である未特定物品について、特定条件を満たしたときに、前記未特定物品の品名を、当該未特定物品の隣に位置する前記物品の品名と推定する機能と、
を持たせ、
前記特定条件は、前記未特定物品の両隣の前記物品の品名が同一の場合であるプログラム。

【請求項8】

コンピュータに、
棚の上に配置された複数の物品を撮影した画像を処理することにより、当該画像に写っている前記複数の物品それぞれの品名を特定する機能と、
品名が特定できなかった前記物品である未特定物品について、特定条件を満たしたときに、前記未特定物品の品名を、当該未特定物品の隣に位置する前記物品の品名と推定する機能と、
を持たせ、
前記特定条件は、前記未特定物品が前記棚の端に位置している場合であるプログラム。

【請求項9】

コンピュータに、
棚の上に配置された複数の物品を撮影した画像を処理することにより、当該画像に写っている前記複数の物品それぞれの品名を特定する機能と、
品名が特定できなかった前記物品である未特定物品について、特定条件を満たしたときに、前記未特定物品の品名を、当該未特定物品の隣に位置する前記物品の品名と推定する機能と、
を持たせ、
前記特定条件は、前記複数の物品の品名の特定結果に基づいて得られる同一の品名の物品が連続して並ぶ数に規則性がある場合であり、
前記物品の品名を推定する前記機能は、前記未特定物品の両隣に位置する２つ物品のうち前記規則性を維持する一方の物品の品名を用いて前記未特定物品の品名を推定する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

店舗における物品の並べ方は、物品の売り上げに影響を与える。このため、物品の並べ方は予め計画されている場合が多い。この場合、物品の担当者は、物品の並べ方が計画通りになっていることを確認する。

【0003】

この確認作業を補助する技術として、特許文献１には、陳列された物品を撮影した画像を処理することにより、陳列された物品を認識することが記載されている。特許文献１には、さらに、認識されなかった物品があった場合に、その物品の周囲の物品であって、既に認識された物品を、その物品の候補とすることが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１６／０６３４８４号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明者は、画像処理によって認識されなかった物品があった場合に、その物品の品名を高い精度で推定することを検討した。本発明の目的は、画像処理によって認識されなかった物品があった場合に、その物品の品名を高い精度で推定することにある。

【課題を解決するための手段】

【0006】

本発明によれば、棚の上に配置された複数の物品を撮影した画像を処理することにより、当該画像に写っている前記複数の物品それぞれの品名を特定する画像処理手段と、
前記画像処理手段によって品名が特定できなかった前記物品である未特定物品について、特定条件を満たしたときに、前記未特定物品の品名を、当該未特定物品の隣に位置する前記物品の品名と推定する物品推定手段と、
を備える画像処理装置が提供される。

【0007】

本発明によれば、コンピュータが、
棚の上に配置された複数の物品を撮影した画像を処理することにより、当該画像に写っている前記複数の物品それぞれの品名を特定し、
品名が特定できなかった前記物品である未特定物品について、特定条件を満たしたときに、前記未特定物品の品名を、当該未特定物品の隣に位置する前記物品の品名と推定する、画像処理方法が提供される。

【0008】

本発明によれば、コンピュータに、
棚の上に配置された複数の物品を撮影した画像を処理することにより、当該画像に写っている前記複数の物品それぞれの品名を特定する機能と、
品名が特定できなかった前記物品である未特定物品について、特定条件を満たしたときに、 前記未特定物品の品名を、当該未特定物品の隣に位置する前記物品の品名と推定する機能と、
を持たせるプログラムが提供される。

【発明の効果】

【0009】

本発明によれば、画像処理によって認識されなかった物品があった場合に、その物品の品名を高い精度で推定することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係る画像処理装置の機能構成の一例を示す図である。

【図2】結果記憶部のデータ構成の一例を示す図である。

【図3】画像処理装置のハードウエア構成を例示するブロック図である。

【図4】画像処理装置が行う処理の一例を示すフローチャートである。

【図5】図４のステップＳ３０の第１例を示すフローチャートである。

【図6】ステップＳ１２０における特定条件の第１例を示す図である。

【図7】ステップＳ１２０における特定条件の第２例を示す図である。

【図8】ステップＳ１２０における特定条件の第３例を示す図である。

【図9】ステップＳ１２０における特定条件の第４例を示す図である。

【図10】図４のステップＳ３０の第２例を示すフローチャートである。

【図11】図１０のステップＳ１３２の後にユーザ端末に表示される画面の一例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

【0012】

図１は、実施形態に係る画像処理装置１０の機能構成の一例を示す図である。この画像処理装置１０は、画像処理部１２０及び物品推定部１３０を備えている。画像処理部１２０は、棚の上に配置された複数の物品（例えば商品）を撮影した画像を処理することにより、当該画像に写っている複数の物品それぞれの品名（例えば商品名）を特定する。ここで、品名を特定するとは、品名に紐付いた識別情報を特定することも含む。物品推定部１３０は、画像処理部１２０によって品名が特定できなかった物品（以下、未特定物品と記載）について、特定条件を満たしたときに、未特定物品の品名を、当該未特定物品の隣に位置する物品の品名と推定する。以下、画像処理装置１０について詳細に説明する。

【0013】

画像処理装置１０は、上記した画像処理部１２０及び物品推定部１３０の他に、取得部１１０、基準データ記憶部１４０、結果記憶部１４２、及び出力部１５０を有している。

【0014】

取得部１１０は、画像処理部１２０が処理をする画像、すなわち複数の物品を含む画像をユーザ端末２０から取得する。ユーザ端末２０は、例えば画像処理装置１０のユーザが所持する携帯型の端末であり、撮影機能を有している。ユーザは店舗において棚を撮影して画像を生成する。この画像には、棚に載置された複数の物品が含まれている。ユーザ端末２０は、生成した画像を画像処理装置１０に送信する。なおユーザ端末２０は、この画像と共に、撮影対象となった棚が設置されている店舗を特定する情報（以下、店舗特定情報と記載）、及び画像を生成したときの条件（以下、生成条件と記載）を送信する。生成条件は、少なくとも画像の生成日時を含んでいる。取得部１１０は、店舗特定情報及び生成条件も受信する。

【0015】

画像処理部１２０は、ユーザ端末２０が送信した画像を処理することにより、その画像に含まれる物品の品名を特定する。例えば画像処理部１２０は、画像に含まれる複数の物品それぞれの領域を特定し、特定した複数の領域それぞれに対して特徴量マッチングを行うことにより、複数の物品それぞれの品名を特定する。基準データ記憶部１４０は、ここで用いられる物品別の特徴量、および物品の領域を特定するための特徴量を記憶している。そして画像処理部１２０は、特定結果を含む情報を、結果記憶部１４２に記憶させる。

【0016】

なお、画像処理部１２０は、機械学習の結果を用いて物品の品名を特定してもよい。この場合、機械学習の結果は基準データ記憶部１４０に記憶されている。

【0017】

また画像処理部１２０は、物品があると推定されたがその物品の品名を特定できなかった場合（例えばスコアが基準値以上の品名が存在しなかった場合）、その物品すなわち未特定物品の領域を示す情報と、その未特定物品の周囲に位置する物品の品名及びその位置と、を、物品推定部１３０に出力する。

【0018】

物品推定部１３０は、上記したように、特定条件を満たしたときに、未特定物品の品名を、当該未特定物品の隣に位置する物品の品名と推定する。この特定条件の具体例については後述する。物品推定部１３０は、推定結果を結果記憶部１４２に記憶させる。

【0019】

出力部１５０は、物品推定部１３０による推定結果をユーザ端末２０に出力する。ここで出力部１５０は、物品推定部１３０による推定結果が正しいことを示す情報をユーザ端末２０から受信した場合に、結果記憶部１４２に、物品推定部１３０による推定結果、すなわち未特定物品の品名を記憶させてもよい。この場合、物品推定部１３０は推定結果を結果記憶部１４２に記憶させなくてもよい。

【0020】

また出力部１５０は、必要に応じて、結果記憶部１４２が記憶している情報を読み出してユーザ端末２０に出力する。なお、出力部１５０は、ユーザ端末２０以外の端末に、結果記憶部１４２に記憶されているデータを出力してもよい。

【0021】

図２は、結果記憶部１４２のデータ構成の一例を示す図である。結果記憶部１４２は、取得部１１０が取得した画像及びその画像の生成条件（例えば日時）とともに、その画像に含まれる物品の位置、及びその物品の品名を記憶している。また結果記憶部１４２は、物品の品名が物品推定部１３０によって推定されていた場合に、そのことを示す情報もその物品に対応付けて記憶している。

【0022】

なお、物品推定部１３０によっても未特定物品の品名が推定できなかった場合、結果記憶部１４２には、未特定物品の位置は記憶されるが、その未特定物品の品名は記憶されない。

【0023】

図３は、画像処理装置１０のハードウエア構成を例示するブロック図である。画像処理装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

【0024】

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

【0025】

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

【0026】

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

【0027】

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は画像処理装置１０の各機能（例えば取得部１１０、画像処理部１２０、物品推定部１３０、及び出力部１５０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は各種記憶部（例えば基準データ記憶部１４０及び結果記憶部１４２）としても機能する。

【0028】

入出力インタフェース１０５０は、画像処理装置１０と各種入出力機器とを接続するためのインタフェースである。

【0029】

ネットワークインタフェース１０６０は、画像処理装置１０をネットワーク上の他の装置（例えばユーザ端末２０）に接続するためのインタフェースである。

【0030】

図４は、画像処理装置１０が行う処理の一例を示すフローチャートである。

【0031】

まずユーザ端末２０のユーザは、所望する店舗（例えば自分が勤務または監督する店舗）において棚を撮影し、この撮影によって生成した画像を、その店舗の店舗特定情報及び画像の生成条件（例えば生成日時）と共に、画像処理装置１０に送信する。この処理は、画像が生成される毎に行われてもよい。またユーザ端末２０のユーザは、棚のうち互いに異なる場所それぞれを撮影し、これらの撮影によって生成した複数の画像を、まとめて画像処理装置１０に送信してもよい。

【0032】

ユーザ端末２０が画像及び店舗特定情報を送信すると、画像処理装置１０の取得部１１０は、この画像、画像の生成条件、及び店舗特定情報を取得する（ステップＳ１０）。すると画像処理装置１０の画像処理部１２０は、取得部１１０が取得した画像を処理することにより、物品の領域を特定する（ステップＳ２０）。ここで画像に複数の物品が含まれていた場合、画像処理部１２０は、これら複数の物品の領域それぞれを特定する。次いで画像処理部１２０及び物品推定部１３０は、特定した物品の領域を処理することにより、その物品の品名を特定する（ステップＳ３０）。次いで画像処理部１２０及び物品推定部１３０は、ステップＳ３０で特定された物品名を結果記憶部１４２に記憶させる（ステップＳ４０）。

【0033】

なお、ステップＳ２０において複数の棚札の領域が特定されていた場合、ステップＳ３０に示した処理は、これら複数の棚札の領域それぞれに対して行われる。また、ステップＳ２０に示した処理は、機械学習の結果を用いて行われてもよい。

【0034】

図５は、図４のステップＳ３０の第１例を示すフローチャートである。画像処理部１２０は、ステップＳ２０で特定された物品の領域に対して、結果記憶部１４２が記憶している特徴量と照合し、品名別にスコアを算出する（ステップＳ１００）。なお、ステップＳ１００に示した処理は、機械学習の結果を用いて行われてもよい。そしてスコアが基準値以上かつ最大になった特徴量に対応する品名を、その領域に位置する物品の品名として特定し（ステップＳ１１０：Ｙｅｓ）、特定された品名を、その領域を特定する情報及び処理対象となった画像に対応付けて、結果記憶部１４２に記憶させる（ステップＳ１４０）。

【0035】

スコアが基準値以上になった特徴量が無かった場合（ステップＳ１１０：Ｎｏ）、物品推定部１３０は、その領域が特定条件を満たすか否かを判断する（ステップＳ１２０）。特定条件の具体例については、図６～図９を用いて後述する。

【0036】

特定条件を満たしている場合（ステップＳ１２０：Ｙｅｓ）、物品推定部１３０は、その領域の物品（未特定物品）の品名を、当該未特定物品の隣に位置する物品の品名と推定する（ステップＳ１３０）。そして物品推定部１３０は、推定された品名を、その領域を特定する情報及び処理対象となった画像に対応付けて、結果記憶部１４２に記憶させる（ステップＳ１４０）。この際、物品推定部１３０は、その品名が物品推定部１３０によって推定されたことを示す情報も、結果記憶部１４２に記憶させる。

【0037】

なお、特定条件を満たしていない場合（ステップＳ１２０：Ｎｏ）、物品推定部１３０は、その領域を特定する情報を処理対象になった画像に対応付けて結果記憶部１４２に記憶させる（ステップＳ１４０）。この場合、品名の欄は実質的に空欄となる。

【0038】

図６は、ステップＳ１２０における特定条件の第１例を示す図である。本図に示す例において、複数の物品４０が同一の棚３０の上に配置されている。そして特定条件は、未特定物品４０ａの両隣の物品４０の品名が同一の場合である

【0039】

図７は、ステップＳ１２０における特定条件の第２例を示す図である。本図に示す例において、特定条件は、未特定物品４０ａは棚３０の端に位置していることである。言い換えると、特定条件は、未特定物品４０ａと商品棚の側面３２との距離が基準値以下であり、かつ側面３２と未特定物品４０ａの間には他の物品は存在しないことである。本図に示す例を特定条件とする理由は、側面３２によって店内の光源の光が反射したり、側面３２に照明が埋め込まれていることに起因して、画像のうち未特定物品４０ａに相当する領域が白飛びする場合があるためである。

【0040】

図８は、ステップＳ１２０における特定条件の第３例を示す図である。本図に示す例において、特定条件は、複数の物品４０の品名の配列に規則性があり、かつ、この規則性において未特定物品４０ａが隣の物品４０と同一の品名と推定される場合である。

【0041】

図９は、ステップＳ１２０における特定条件の第４例を示す図である。本図に示す例において、画像には第１の棚３０ａ、及び第１の棚３０ａの一つ上の棚（以下、第２の棚３０ｂと記載）が含まれている。そして特定条件は、第１の棚３０ａの上に配置されている第１の未特定物品４０ａ－１と、第２の棚の上に配置されている第２の未特定物品４０ａ－２と、の横方向の位置の差が基準値以下、すなわち第１の未特定物品４０ａ－１及び第２の未特定物品４０ａ－２が横方向にほぼ同じ位置に配置されている場合である。一例として、特定条件は、未特定物品４０ａ－１，４０ａ－２が、それぞれ棚３０ａおよび棚３０ｂの端に位置している場合である。そして本図に示す例を特定条件とする理由も、図７に示した例と同様である。

【0042】

図１０は、図４のステップＳ３０の第２例を示すフローチャートである。本図に示す例において、ステップＳ１００～ステップＳ１３０までの処理、並びにステップＳ１４０に示した処理は、図５に示した第１例と同様である。

【0043】

物品推定部１３０が、未特定物品の品名を、当該未特定物品の隣に位置する物品の品名と推定する（ステップＳ１３０）と、出力部１５０は、物品推定部１３０によって推定された品名を、その未特定物品の画像と共にユーザ端末２０に出力する（ステップＳ１３２）。なお、物品推定部１３０は、未特定物品４０ａの品名の推定結果を結果記憶部１４２に記憶させないのが好ましい。

【0044】

ユーザ端末２０は、出力部１５０から受信した品名（すなわち物品推定部１３０が推定した品名）を、その未特定物品の画像とともに表示する。ユーザ端末２０のユーザは、その品名が正しいことを確認すると、その旨を示す入力をユーザ端末２０に対して行う。するとユーザ端末２０は、その品名が正しいことを示す情報を画像処理装置１０に送信する。

【0045】

出力部１５０は、物品推定部１３０による推定結果が正しいことを示す情報をユーザ端末２０から受信する（ステップＳ１３４）と、結果記憶部１４２に、物品推定部１３０による推定結果、すなわち未特定物品の品名を記憶させる（ステップＳ１４０）。

【0046】

なお、ユーザ端末２０のユーザは、出力部１５０から受信した品名（すなわち物品推定部１３０が推定した品名）が誤っていた場合、正しい品名を入力して画像処理装置１０に送信するのが好ましい。この場合、出力部１５０は、ユーザ端末２０から送信された正しい品名を、結果記憶部１４２に記憶させてもよい。

【0047】

図１１は、図１０のステップＳ１３２の後にユーザ端末２０に表示される画面の一例を示す図である。本図に示す例において、ユーザ端末２０は、画像処理部１２０が処理した画像の全体、又はその画像のうち未特定物品４０ａを含む領域を切り出した画像を表示する。この画像は、未特定物品４０ａを特定可能な情報（例えば未特定物品４０ａを囲む枠線）を含んでいる。さらにユーザ端末２０は、その未特定物品４０ａに対して推定された品名も表示している。これにより、ユーザ端末２０のユーザは、未特定物品４０ａの画像、及び、その未特定物品４０ａの品名の推定結果を対応付けて確認することができる。

【0048】

以上、本実施形態によれば、画像処理装置１０の画像処理部１２０は、画像処理によって棚の上の物品の品名を特定する。そして物品推定部１３０は、画像処理部１２０が特定できなかった未特定物品４０ａがあった場合、特定条件を満たしたときに、その未特定物品４０ａの品名を、当該未特定物品４０ａの隣に位置する物品４０の品名と推定する。これにより、画像処理によって認識されなかった物品があった場合に、その物品の品名を高い精度で推定することができる。

【0049】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

【0050】

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

【0051】

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．棚の上に配置された複数の物品を撮影した画像を処理することにより、当該画像に写っている前記複数の物品それぞれを特定する画像処理手段と、
前記画像処理手段によって品名が特定できなかった前記物品である未特定物品について、特定条件を満たしたときに、前記未特定物品の品名を、当該未特定物品の隣に位置する前記物品の品名と推定する物品推定手段と、
を備える画像処理装置。
２．上記１に記載の画像処理装置において、
前記特定条件は、前記未特定物品の両隣の前記物品の品名が同一の場合である画像処理装置。
３．上記１に記載の画像処理装置において、
前記特定条件は、前記未特定物品が前記棚の端に位置している場合である画像処理装置。
４．上記１に記載の画像処理装置において、
前記画像には、第１の前記棚と、前記第１の棚の一つ上の第２の前記棚が写っており、
前記特定条件は、前記第１の棚の上に配置されている第１の前記未特定物品と、前記第２の棚の上に配置されている第２の前記未特定物品と、の横方向の位置の差が基準値以下の場合である、画像処理装置。
５．上記１に記載の画像処理装置において、
前記特定条件は、前記複数の物品の品名の配列に規則性があり、かつその規則性において前記未特定物品が前記隣の物品と同一の品名である場合である、画像処理装置。
６．コンピュータが、
棚の上に配置された複数の物品を撮影した画像を処理することにより、当該画像に写っている前記複数の物品それぞれの品名を特定し、
品名が特定できなかった前記物品である未特定物品について、特定条件を満たしたときに、前記未特定物品の品名を、当該未特定物品の隣に位置する前記物品の品名と推定する、画像処理方法。
７．上記６に記載の画像処理方法において、
前記特定条件は、前記未特定物品の両隣の前記物品の品名が同一の場合である画像処理方法。
８．上記６に記載の画像処理方法において、
前記特定条件は、前記未特定物品が前記棚の端に位置している場合である画像処理方法。
９．上記６に記載の画像処理方法において、
前記画像には、第１の前記棚と、前記第１の棚の一つ上の第２の前記棚が写っており、
前記特定条件は、前記第１の棚の上に配置されている第１の前記未特定物品と、前記第２の棚の上に配置されている第２の前記未特定物品と、の横方向の位置の差が基準値以下の場合である、画像処理方法。
１０．上記６に記載の画像処理方法において、
前記特定条件は、前記複数の物品の品名の配列に規則性があり、かつその規則性において前記未特定物品が前記隣の物品と同一の品名である場合である、画像処理方法。
１１．コンピュータに、
棚の上に配置された複数の物品を撮影した画像を処理することにより、当該画像に写っている前記複数の物品それぞれの品名を特定する機能と、
品名が特定できなかった前記物品である未特定物品について、特定条件を満たしたときに、前記未特定物品の品名を、当該未特定物品の隣に位置する前記物品の品名と推定する機能と、
を持たせるプログラム。
１２．上記１１に記載のプログラムにおいて、
前記特定条件は、前記未特定物品の両隣の前記物品の品名が同一の場合であるプログラム。
１３．上記１１に記載のプログラムにおいて、
前記特定条件は、前記未特定物品が前記棚の端に位置している場合であるプログラム。
１４．上記１１に記載のプログラムにおいて、
前記画像には、第１の前記棚と、前記第１の棚の一つ上の第２の前記棚が写っており、
前記特定条件は、前記第１の棚の上に配置されている第１の前記未特定物品と、前記第２の棚の上に配置されている第２の前記未特定物品と、の横方向の位置の差が基準値以下の場合である、プログラム。
１５．上記１１に記載のプログラムにおいて、
前記特定条件は、前記複数の物品の品名の配列に規則性があり、かつその規則性において前記未特定物品が前記隣の物品と同一の品名である場合である、プログラム。

【0052】

この出願は、２０１９年９月１７日に出願された日本出願特願２０１９ー１６７９７３号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0053】

１０ 画像処理装置
２０ ユーザ端末
３０ 棚
３０ａ 第１の棚
３０ｂ 第２の棚
３２ 側面
４０ 物品
４０ａ 未特定物品
１１０ 取得部
１２０ 画像処理部
１３０ 物品推定部
１４０ 基準データ記憶部
１４２ 結果記憶部
１５０ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】