(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-11
(45)【発行日】2023-12-19
(54)【発明の名称】商品特定装置、商品特定方法、及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231212BHJP
G06V 10/40 20220101ALI20231212BHJP
【ＦＩ】
G06T7/00 300F
G06V10/40
【請求項の数】
9
(21)【出願番号】P 2022522438
(86)(22)【出願日】2020-05-14
(86)【国際出願番号】 JP2020019259
(87)【国際公開番号】W WO2021229754
(87)【国際公開日】2021-11-18
【審査請求日】2022-11-09
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】米澤 八栄子
(72)【発明者】
【氏名】菊池 克
(72)【発明者】
【氏名】白石 壮馬
(72)【発明者】
【氏名】鍋藤 悠
【審査官】千葉 久博
(56)【参考文献】
【文献】特開２０２０－７１８０９（ＪＰ，Ａ）
【文献】特開２０１９－２１１８６９（ＪＰ，Ａ）
【文献】特開２０１９－１６０３２８（ＪＰ，Ａ）
【文献】特開２０１９－１２４１３（ＪＰ，Ａ）
【文献】特開２０１８－５６８２（ＪＰ，Ａ）
【文献】特開２００９－１８７４８２（ＪＰ，Ａ）
【文献】国際公開第２０１８／１８６３９８（ＷＯ，Ａ１）
【文献】国際公開第２０１６／１１７６００（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ １０／４０
(57)【特許請求の範囲】
【請求項1】
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像であって、撮像時の撮像手段のパラメータが互いに異なる複数の画像を取得する取得手段と、前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品及び／又は前記商品サンプルを特定し、当該特定結果を出力する画像処理手段と、
を備え、
前記複数の画像は、同一の商品陳列領域を撮影することにより生成されており、
前記画像処理手段は、
前記複数の画像毎に、商品又は商品サンプルの特徴点及び当該特徴点の位置を示す特徴点データを生成し、
前記複数の前記特徴点データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いて前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定装置。
【請求項2】
請求項１に記載の商品特定装置において、前記画像処理手段は、前記複数の画像毎に、商品又は商品サンプルの位置及び当該商品又は商品サンプルの種類を認識し、当該画像毎の認識結果を用いて、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定装置。
【請求項3】
請求項１又は２に記載の商品特定装置において、前記パラメータは露出であり、
前記複数の画像は、前記撮像手段が異なるパラメータで複数回、商品陳列領域を撮影することで得られた画像である商品特定装置。
【請求項4】
請求項１～３のいずれか一項に記載の商品特定装置において、前記取得手段は、特定の条件を満たしたときに、前記撮像手段に前記複数の画像を要求する商品特定装置。
【請求項5】
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像を処理した結果であって、商品又は商品サンプルの特徴点及び当該特徴点の位置を前記複数の画像別に示す解析データを取得する取得手段と、前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力するデータ処理手段と、
を備え、
前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なり、かつ、同一の商品陳列領域を撮影することにより生成されており、
前記解析データを処理することでは、前記商品又は前記商品サンプルを特定するために、前記複数の前記解析データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いる商品特定装置。
【請求項6】
コンピュータが、商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像であって、撮像時の撮像手段のパラメータが互いに異なる複数の画像を取得し、
前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力することを含み、
前記複数の画像は、同一の商品陳列領域を撮影することにより生成されており、
前記複数の画像を処理することでは、
前記複数の画像毎に、商品又は商品サンプルの特徴点及び当該特徴点の位置を示す特徴点データを生成し、
前記複数の前記特徴点データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いて前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定方法。
【請求項7】
コンピュータが、商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像を処理した結果であって、商品又は商品サンプルの特徴点及び当該特徴点の位置を前記複数の画像別に示す解析データを取得し、
前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力し、
前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なり、かつ、同一の商品陳列領域を撮影することにより生成されており、
前記解析データを処理することでは、前記商品又は前記商品サンプルを特定するために、前記複数の前記解析データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いる、商品特定方法。
【請求項8】
コンピュータに、商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像であって、撮像時の撮像手段のパラメータが互いに異なる複数の画像を取得する取得機能と、
前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力する画像処理機能と、
を持たせ、
前記複数の画像は、同一の商品陳列領域を撮影することにより生成されており、
前記画像処理機能は、
前記複数の画像毎に、商品又は商品サンプルの特徴点及び当該特徴点の位置を示す特徴点データを生成し、
前記複数の前記特徴点データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いて前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定するプログラム。
【請求項9】
コンピュータに、商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像を処理した結果であって、商品又は商品サンプルの特徴点及び当該特徴点の位置を前記複数の画像別に示す解析データを取得する取得機能と、
前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力するデータ処理機能と、
を持たせ、
前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なり、かつ、同一の商品陳列領域を撮影することにより生成されており、
前記解析データを処理することでは、前記商品又は前記商品サンプルを特定するために、前記複数の前記解析データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、商品特定装置、商品特定方法、及びプログラムに関する。
【背景技術】
【0002】
商品を販売している店舗において、商品棚における商品の位置すなわち棚割りは、その店舗の売り上げに影響を与えるため、重要である。例えば特許文献１には、商品棚を撮像した画像を処理することにより、当該画像に含まれる商品領域画像を特定し、商品領域画像ごとに商品を特定することが記載されている。特に特許文献１では、商品棚を異なる角度で複数回撮像することにより複数の画像を生成し、これら複数の画像を用いて商品の識別情報を特定することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－１６０３２８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
商品棚や自動販売機など、商品や商品サンプルが陳列されている商品陳列領域の近くには、光源が配置されていることが多い。また自動販売機においては、商品陳列領域の前には透光製のカバー部材が配置されているが、このカバー部材で外光が反射することがある。このため、撮像時の条件によっては、画像の一部が白飛びしたり、逆に露光が不足して画像が不鮮明になる可能性がある。画像がこのようになった場合、画像解析の精度は低下する。
【0005】
本発明の目的の一例は、商品及び／又は商品サンプルが陳列されている商品陳列領域を撮像した画像を解析して商品及び／又は商品サンプルを特定する場合において、画像解析の精度が低下しないようにすることにある。
【課題を解決するための手段】
【0006】
本発明によれば、商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像であって、撮像時の撮像手段のパラメータが互いに異なる複数の画像を取得する取得手段と、
前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品及び／又は前記商品サンプルを特定し、当該特定結果を出力する画像処理手段と、
を備え、
前記複数の画像は、同一の商品陳列領域を撮影することにより生成されており、
前記画像処理手段は、
前記複数の画像毎に、商品又は商品サンプルの特徴点及び当該特徴点の位置を示す特徴点データを生成し、
前記複数の前記特徴点データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いて前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定装置が提供される。
前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品及び／又は前記商品サンプルを特定し、当該特定結果を出力する画像処理手段と、
を備え、
前記複数の画像は、同一の商品陳列領域を撮影することにより生成されており、
前記画像処理手段は、
前記複数の画像毎に、商品又は商品サンプルの特徴点及び当該特徴点の位置を示す特徴点データを生成し、
前記複数の前記特徴点データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いて前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定装置が提供される。
【0007】
本発明によれば、商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像を処理した結果であって、商品又は商品サンプルの特徴点及び当該特徴点の位置を前記複数の画像別に示す解析データを取得する取得手段と、
前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力するデータ処理手段と、
を備え、
前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なり、かつ、同一の商品陳列領域を撮影することにより生成されており、
前記解析データを処理することでは、前記商品又は前記商品サンプルを特定するために、前記複数の前記解析データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いる商品特定装置が提供される。
前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力するデータ処理手段と、
を備え、
前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なり、かつ、同一の商品陳列領域を撮影することにより生成されており、
前記解析データを処理することでは、前記商品又は前記商品サンプルを特定するために、前記複数の前記解析データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いる商品特定装置が提供される。
【0008】
本発明によれば、コンピュータが、
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像であって、撮像時の撮像手段のパラメータが互いに異なる複数の画像を取得し、
前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力することを含み、
前記複数の画像は、同一の商品陳列領域を撮影することにより生成されており、
前記複数の画像を処理することでは、
前記複数の画像毎に、商品又は商品サンプルの特徴点及び当該特徴点の位置を示す特徴点データを生成し、
前記複数の前記特徴点データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いて前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定方法が提供される。
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像であって、撮像時の撮像手段のパラメータが互いに異なる複数の画像を取得し、
前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力することを含み、
前記複数の画像は、同一の商品陳列領域を撮影することにより生成されており、
前記複数の画像を処理することでは、
前記複数の画像毎に、商品又は商品サンプルの特徴点及び当該特徴点の位置を示す特徴点データを生成し、
前記複数の前記特徴点データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いて前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定方法が提供される。
【0009】
本発明によれば、コンピュータが、
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像を処理した結果であって、商品又は商品サンプルの特徴点及び当該特徴点の位置を前記複数の画像別に示す解析データを取得し、
前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力し、
前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なり、かつ、同一の商品陳列領域を撮影することにより生成されており、
前記解析データを処理することでは、前記商品又は前記商品サンプルを特定するために、前記複数の前記解析データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いる、商品特定方法が提供される。
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像を処理した結果であって、商品又は商品サンプルの特徴点及び当該特徴点の位置を前記複数の画像別に示す解析データを取得し、
前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力し、
前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なり、かつ、同一の商品陳列領域を撮影することにより生成されており、
前記解析データを処理することでは、前記商品又は前記商品サンプルを特定するために、前記複数の前記解析データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いる、商品特定方法が提供される。
【0010】
本発明によれば、コンピュータに、
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像であって、撮像時の撮像手段のパラメータが互いに異なる複数の画像を取得する取得機能と、
前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力する画像処理機能と、
を持たせ、
前記複数の画像は、同一の商品陳列領域を撮影することにより生成されており、
前記画像処理機能は、
前記複数の画像毎に、商品又は商品サンプルの特徴点及び当該特徴点の位置を示す特徴点データを生成し、
前記複数の前記特徴点データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いて前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定するプログラムが提供される。
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像であって、撮像時の撮像手段のパラメータが互いに異なる複数の画像を取得する取得機能と、
前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力する画像処理機能と、
を持たせ、
前記複数の画像は、同一の商品陳列領域を撮影することにより生成されており、
前記画像処理機能は、
前記複数の画像毎に、商品又は商品サンプルの特徴点及び当該特徴点の位置を示す特徴点データを生成し、
前記複数の前記特徴点データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いて前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定するプログラムが提供される。
【0011】
本発明によれば、コンピュータに、
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像を処理した結果であって、商品又は商品サンプルの特徴点及び当該特徴点の位置を前記複数の画像別に示す解析データを取得する取得機能と、
前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力するデータ処理機能と、
を持たせ、
前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なり、かつ、同一の商品陳列領域を撮影することにより生成されており、
前記解析データを処理することでは、前記商品又は前記商品サンプルを特定するために、前記複数の前記解析データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いるプログラムが提供される。
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像を処理した結果であって、商品又は商品サンプルの特徴点及び当該特徴点の位置を前記複数の画像別に示す解析データを取得する取得機能と、
前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力するデータ処理機能と、
を持たせ、
前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なり、かつ、同一の商品陳列領域を撮影することにより生成されており、
前記解析データを処理することでは、前記商品又は前記商品サンプルを特定するために、前記複数の前記解析データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いるプログラムが提供される。
【発明の効果】
【0012】
本発明によれば、商品及び／又は商品サンプルが陳列されている商品陳列領域を撮像した画像を解析して商品及び／又は商品サンプルを特定する場合において、画像解析の精度の低下を抑制できる。
【図面の簡単な説明】
【0013】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
【0014】
【図1】実施形態に係る商品特定装置の使用環境を説明するための図である。
【図2】商品特定装置の機能構成の一例を示す図である。
【図3】商品特定装置のハードウェア構成例を示す図である。
【図4】商品特定装置が行う処理の第１例を示すフローチャートである。
【図7】
統合特徴点データを例示する図である。
【図8】商品特定装置が行う処理の第２例を示すフローチャートである。
【図9】第１の変形例に係る商品特定装置が行う処理を示すフローチャートである。
【発明を実施するための形態】
【0015】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0016】
［実施形態］
図１は、本実施形態に係る商品特定装置２０の使用環境を説明するための図である。商品特定装置２０は撮像装置１０と共に使用される。撮像装置１０は商品陳列領域を撮像する。商品陳列領域は、店舗に設置された商品棚４０であってもよいし、自動販売機において商品及び／又は商品サンプルが陳列されている領域であってもよい。
図１は、本実施形態に係る商品特定装置２０の使用環境を説明するための図である。商品特定装置２０は撮像装置１０と共に使用される。撮像装置１０は商品陳列領域を撮像する。商品陳列領域は、店舗に設置された商品棚４０であってもよいし、自動販売機において商品及び／又は商品サンプルが陳列されている領域であってもよい。
【0017】
撮像装置１０が生成した画像は商品特定装置２０に送信される。商品特定装置２０は、撮像装置１０が生成した画像を処理することにより、商品陳列領域における商品５０及び／また商品サンプルの位置を特定する。商品特定装置２０を使用する人は、商品特定装置２０の処理結果を用いて、商品５０及び／また商品サンプルの位置が所望の位置になっているか否かを確認する。
【0018】
撮像装置１０は携帯型の装置である。撮像装置１０は、いわゆるスマートフォンなど、撮像機能付きの通信装置であってもよい。撮像装置１０の使用者は、商品棚４０を撮像して画像を生成し、この画像を外部の装置、例えば商品特定装置２０に送信する。そして商品特定装置２０は、撮像装置１０が生成した画像を処理することにより、商品５０及び／また商品サンプルの位置を特定する。
【0019】
商品棚４０の近くには光源が配置されている場合が多い。また自動販売機においては、商品及び／又は商品サンプルが配置されている商品陳列領域の前には、透光製のカバー部材が配置されているが、このカバー部材で外光が反射することがある。このため、撮像時の条件によっては、画像の一部が白飛びしたり、逆に露光が不足して画像が不鮮明になる可能性がある。そこで本実施形態において、撮像装置１０は、撮像時のパラメータを変えて商品陳列領域を複数回撮像することにより、複数の画像を生成する。そして商品特定装置２０は、これら複数の画像を処理することにより、商品陳列領域に位置する前記商品及び／又は前記商品サンプルを特定し、当該特定結果を出力する。
【0020】
以下、商品陳列領域を商品棚４０として、商品及び／又は商品サンプルを商品棚４０に載置されている商品５０として、説明を行う。
【0021】
なお、撮像時のパラメータの一例は、露出である。露出を設定するためのパラメータの例としては、露光時間及び絞りの少なくとも一方がある。
【0022】
図２は、商品特定装置２０の機能構成の一例を示す図である。本図に示す例において、商品特定装置２０は取得部２１０及び画像処理部２２０を有している。取得部２１０は、撮像装置１０が撮像した複数の画像を取得する。これら複数の画像は、同一の商品棚４０を、パラメータを変えながら撮像することにより生成されている。画像処理部２２０は、これら複数の画像を処理することにより、商品棚４０に位置する商品５０を特定し、当該特定結果を出力する。特定結果は、例えば商品５０の商品識別情報（例えばＪＡＮコード）と、商品棚４０におけるその商品５０の位置を対応付けたものである。なお、画像処理部２２０が行う処理の詳細については、フローチャートを用いて後述する。
【0023】
本実施形態において、商品特定装置２０は記憶処理部２３０を備えている。記憶処理部２３０は、画像処理部２２０の特定結果の出力先となっており、この特定結果を記憶部２４０に記憶させる。記憶部２４０は、商品特定装置２０の一部であってもよいし、商品特定装置２０の外部の記憶装置であってもよい。
【0024】
図３は、商品特定装置２０のハードウェア構成例を示す図である。商品特定装置２０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。
【0025】
バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
【0026】
プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
【0027】
メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
【0028】
ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は商品特定装置２０の各機能（例えば取得部２１０、画像処理部２２０、及び記憶処理部２３０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は記憶部２４０としても機能する。
【0029】
入出力インタフェース１０５０は、商品特定装置２０と各種入出力機器とを接続するためのインタフェースである。
【0030】
ネットワークインタフェース１０６０は、商品特定装置２０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。商品特定装置２０は、ネットワークインタフェース１０６０を介して撮像装置１０と通信してもよい。
【0031】
なお、撮像装置１０のハードウェア構成も、図３に示した例と同様である。
【0032】
図４は、商品特定装置２０が行う処理の第１例を示すフローチャートである。本図に示す例において、撮像装置１０は、商品棚４０を、パラメータを変えながら複数回撮像する。ここで商品棚４０を複数の領域に分けて撮像する場合、撮像装置１０は、領域毎に、パラメータを変えながら複数回撮像する。また、撮像装置１０は、撮像装置１０にインストールされているプログラムに従ってこの撮像を行ってもよいし、ユーザからの入力に従ってこの撮像を行ってもよい。
【0033】
そして商品特定装置２０の取得部２１０は、撮像装置１０が生成した複数の画像を取得する（ステップＳ１０）。ここで取得部２１０は、撮像装置１０から通信回線を介して複数の画像を取得してもよいし、これら複数の画像を記憶している記憶装置からその画像を取得してもよい。後者の場合、商品特定装置２０が処理を行うタイミングは、撮像装置１０が複数の画像を生成した直後であってもよいし、直後でなくてもよい。
【0034】
次いで商品特定装置２０の画像処理部２２０は、複数の画像を処理することにより、商品棚４０に載置されている商品５０の位置及び種類を特定する（ステップＳ２０）。そして記憶処理部２３０は、画像処理部２２０による特定結果を示す情報を記憶部２４０に記憶させる（ステップＳ３０）。
【0035】
図５は、図４のステップＳ２０の第１詳細例を示すフローチャートである。まず画像処理部２２０は、複数の画像それぞれを個別に処理して、画像別に商品５０の位置及び種類を認識する（ステップＳ１０２）。具体的には、画像処理部２２０は、画像別に商品の特徴点及びその位置を特定する。そして画像処理部２２０は、特徴点のマッチング処理を行うことにより、画像別に商品５０の位置及び種類を認識する。このマッチング処理において、画像処理部２２０は、特徴点と商品識別情報とを対応付けたデータを用いる。そして画像処理部２２０は、これら複数の認識結果を用いて、商品棚４０に配置されている商品５０の位置及び種類を特定する（ステップＳ１０４）。
【0036】
一例として、画像処理部２２０は、複数の認識結果を集計し、当該集計結果を用いる。具体的には、画像処理部２２０は、商品５０の位置毎にその商品５０の種類を集計し、最もＮ数が多い種類を、その位置における商品５０の種類と判断する。ここで、複数の認識結果を比較した場合、同一の商品５０の位置に多少の差が生じることもあるが、集計を行うにあたり、この差は許容して同一の位置として扱う。
【0037】
ここで画像処理部２２０は、一つの認識結果においてのみ存在が検知されている商品５０については、当該認識結果が示す種類を、当該商品５０の種類と判断する。ただし画像処理部２２０は所定数以上（ただし、所定数は２以上の整数）の認識結果において存在が検知されている商品５０についてのみ、商品棚４０の上に載置されているとみなしてもよい。
【0038】
図６は、図４のステップＳ２０の第２詳細例を示すフローチャートである。まず画像処理部２２０は、画像毎に、商品５０の特徴点データを生成する。この特徴点データは、商品５０の特徴点及び当該特徴点の位置を示している（ステップＳ１１２）。次いで画像処理部２２０は、ステップＳ１１２で生成した複数の特徴点データを一つの統合特徴点データとしてまとめる（ステップＳ１１４）。具体的には、複数の特徴点データのそれぞれは、特徴点及び当該特徴点の位置の組み合わせを少なくとも一組有している。統合特徴点データは、複数の特徴点データが有している上記組み合わせを、一つのデータとしてまとめたものである。
【0039】
例えば図７に示すように、第１の画像から商品５０の右側の特徴点のみが特定され、第２の画像から同一の商品５０の左側の特徴点のみが特定されることがある。統合特徴点データは、第１の画像データの特徴点及び第２の画像データの特徴点の双方を含んでいる。このため、統合特徴点データは、その商品５０の全体の特徴点を含むことになる。
【0040】
そして画像処理部２２０は、統合特徴点データに対して特徴点マッチングを行うことにより、商品５０の位置及びその種類を特定する（ステップＳ１１６）。
【0041】
図８は、商品特定装置２０が行う処理の第２例を示すフローチャートである。本図に示す例において、商品特定装置２０は、特定の条件を満たしたときに、撮像装置１０に、撮像時のパラメータが互いに異なる複数の画像を要求する。
【0042】
一例として、撮像装置１０は、まず、商品棚４０を撮像した画像（以下、第１の画像と記載）を一枚生成する。商品特定装置２０の取得部２１０は、この第１の画像を取得する（ステップＳ１２）。ここで取得部２１０は、撮像装置１０が第１の画像を生成した直後（すなわち次の画像を生成する前）に、撮像装置１０から通信回線を介して第１の画像を取得するのが好ましい。
【0043】
そして画像処理部２２０は、第１の画像が再撮像のための基準を満たすか否かを判断する（ステップＳ１４）。ここで用いられる基準の第１例は、第１の画像の少なくとも一部に白飛びが生じていた場合（例えば赤色の画素、緑色の画素、および青色の画素のすべての値が基準値以上になっている領域が所定面積以上存在した場合）である。またこの基準の第２例は、第１の画像の露光が不足していた場合（例えばすべての画素の値が基準値以下の場合）である。
【0044】
第１の画像が再撮像のための基準を満たしていなかった場合（ステップＳ１４：Ｎｏ）、画像処理部２２０は、第１の画像を処理することにより、商品棚４０における商品５０の種類及びその位置を特定する（ステップＳ２０）。そして記憶処理部２３０は、画像処理部２２０による特定結果を記憶部２４０に記憶させる（ステップＳ３０）。
【0045】
一方、第１の画像が再撮像のための基準を満たしていた場合（ステップＳ１４：Ｙｅｓ）、画像処理部２２０は、撮像装置１０に、第１の画像とは撮像時のパラメータが異なる他の画像を要求する処理を行う（ステップＳ１６）。撮像装置１０は、この要求を示す信号を受信すると、その旨を表示する。撮像装置１０の使用者は、第１の画像から撮像時のパラメータを変更して、商品棚４０を再度撮像して画像を生成する。ここで撮像装置１０は、撮像時のパラメータを変更しながら複数の画像を生成するのが好ましい。そして撮像装置１０は、生成した画像を商品特定装置２０に送信する。商品特定装置２０の取得部２１０は、この画像を取得する（ステップＳ１８）。そして商品特定装置２０の画像処理部２２０は、図５又は図６に示した処理を行うことにより、商品棚４０における商品５０の種類及びその位置を特定する（ステップＳ２０）。そして記憶処理部２３０は、画像処理部２２０による特定結果を記憶部２４０に記憶させる（ステップＳ３０）。
【0046】
以上、本実施形態によれば、撮像装置１０は、撮像時のパラメータを変更しながら複数回商品棚４０を撮像し、複数の画像を生成する。そして商品特定装置２０は、これら複数の画像を処理することにより、商品棚４０に配置された商品５０の位置及び種類を特定する。このため、画像解析による商品５０の認識精度は低下しない。
【0047】
［変形例］
本変形例では、商品特定装置２０の画像処理部２２０が行う処理の一部を、撮像装置１０が行う。
本変形例では、商品特定装置２０の画像処理部２２０が行う処理の一部を、撮像装置１０が行う。
【0048】
図９は、第１の変形例に係る商品特定装置２０が行う処理を示すフローチャートである。本図に示す例は、図５に示した処理に対応している。具体的には、撮像装置１０は、複数の画像毎に、商品５０の特徴点及び当該特徴点の位置を示すデータを生成する。
【0049】
そして撮像装置１０は、このデータを複数の画像別に示す解析データを商品特定装置２０に送信する。商品特定装置２０の取得部２１０は、この解析データを取得する（ステップＳ２００）。次いで商品特定装置２０の画像処理部２２０は、図５又は図６に示した処理を行うことにより、商品棚４０に載置されている商品５０の位置及び種類を特定する（ステップＳ２０２）。そして記憶処理部２３０は、画像処理部２２０による特定結果を記憶部２４０に記憶させる（ステップＳ２０４）。
【0050】
本変形例によっても、実施形態と同様に、画像解析による商品５０の認識精度は低下しない。
【0051】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【0052】
また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【0053】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像であって、撮像時の撮像手段のパラメータが互いに異なる複数の画像を取得する取得手段と、
前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品及び／又は前記商品サンプルを特定し、当該特定結果を出力する画像処理手段と、
を備える商品特定装置。
２．上記１に記載の商品特定装置において、
前記画像処理手段は、前記複数の画像毎に、商品又は商品サンプルの位置及び当該商品又は商品サンプルの種類を認識し、当該画像毎の認識結果を用いて、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定装置。
３．上記１に記載の商品特定装置において、
前記画像処理手段は、
前記複数の画像毎に、商品又は商品サンプルの特徴点及び当該特徴点の位置を示す特徴点データを生成し、
前記複数の前記特徴点データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いて前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定装置。
４．上記１～３のいずれか一項に記載の商品特定装置において、
前記パラメータは露出である商品特定装置。
５．上記１～４のいずれか一項に記載の商品特定装置において、
前記取得手段は、特定の条件を満たしたときに、前記撮像手段に前記複数の画像を要求する商品特定装置。
６．上記５に記載の商品特定装置において、
前記取得手段は、
前記撮像手段から第１の前記画像を取得し、
前記第１の画像が基準を満たしていた場合、前記特定の条件を満たしたとして、前記撮像手段に、前記第１の画像とは前記パラメータが異なる他の前記画像を要求し、
前記画像処理手段は、前記第１の画像が前記基準を満たしていなかった場合、当該第１の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する、商品特定装置。
７．商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像を処理した結果であって、商品又は商品サンプルの特徴点及び当該特徴点の位置を前記複数の画像別に示す解析データを取得する取得手段と、
前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力するデータ処理手段と、
を備え、
前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なる商品特定装置。
８．コンピュータが、
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像であって、撮像時の撮像手段のパラメータが互いに異なる複数の画像を取得する取得処理と、
前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力する画像処理と、
を行う商品特定方法。
９．上記８に記載の商品特定方法において、
前記画像処理において、前記コンピュータは、前記複数の画像毎に、商品又は商品サンプルの位置及び当該商品又は商品サンプルの種類を認識し、当該画像毎の認識結果を用いて、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定方法。
１０．上記８に記載の商品特定方法において、
前記画像処理において、前記コンピュータは、
前記複数の画像毎に、商品又は商品サンプルの特徴点及び当該特徴点の位置を示す特徴点データを生成し、
前記複数の前記特徴点データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いて前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定方法。
１１．上記８～１０のいずれか一項に記載の商品特定方法において、
前記パラメータは露出である商品特定方法。
１２．上記８～１１のいずれか一項に記載の商品特定方法において、
前記取得処理において、前記コンピュータは、特定の条件を満たしたときに、前記撮像手段に前記複数の画像を要求する商品特定方法。
１３．上記１２に記載の商品特定方法において、
前記取得処理において、前記コンピュータは、
前記撮像手段から第１の前記画像を取得し、
前記第１の画像が基準を満たしていた場合、前記特定の条件を満たしたとして、前記撮像手段に、前記第１の画像とは前記パラメータが異なる他の前記画像を要求し、
前記画像処理において、前記コンピュータは、前記第１の画像が前記基準を満たしていなかった場合、当該第１の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する、商品特定方法。
１４．コンピュータが、
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像を処理した結果であって、商品又は商品サンプルの特徴点及び当該特徴点の位置を前記複数の画像別に示す解析データを取得し、
前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力し、
前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なる、商品特定方法。
１５．コンピュータに、
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像であって、撮像時の撮像手段のパラメータが互いに異なる複数の画像を取得する取得機能と、
前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力する画像処理機能と、
を持たせるプログラム。
１６．上記１５に記載のプログラムにおいて、
前記画像処理機能は、前記複数の画像毎に、商品又は商品サンプルの位置及び当該商品又は商品サンプルの種類を認識し、当該画像毎の認識結果を用いて、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定するプログラム。
１７．上記１５に記載のプログラムにおいて、
前記画像処理機能は、
前記複数の画像毎に、商品又は商品サンプルの特徴点及び当該特徴点の位置を示す特徴点データを生成し、
前記複数の前記特徴点データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いて前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定するプログラム。
１８．上記１５～１７のいずれか一項に記載のプログラムにおいて、
前記パラメータは露出であるプログラム。
１９．上記１５～１８のいずれか一項に記載のプログラムにおいて、
前記取得機能は、特定の条件を満たしたときに、前記撮像手段に前記複数の画像を要求するプログラム。
２０．上記１９に記載のプログラムにおいて、
前記取得機能は、
前記撮像手段から第１の前記画像を取得し、
前記第１の画像が基準を満たしていた場合、前記特定の条件を満たしたとして、前記撮像手段に、前記第１の画像とは前記パラメータが異なる他の前記画像を要求し、
前記画像処理機能は、前記第１の画像が前記基準を満たしていなかった場合、当該第１の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する、プログラム。
２１．コンピュータに、
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像を処理した結果であって、商品又は商品サンプルの特徴点及び当該特徴点の位置を前記複数の画像別に示す解析データを取得する取得機能と、
前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力するデータ処理機能と、
を持たせ、
前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なるプログラム。
１．商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像であって、撮像時の撮像手段のパラメータが互いに異なる複数の画像を取得する取得手段と、
前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品及び／又は前記商品サンプルを特定し、当該特定結果を出力する画像処理手段と、
を備える商品特定装置。
２．上記１に記載の商品特定装置において、
前記画像処理手段は、前記複数の画像毎に、商品又は商品サンプルの位置及び当該商品又は商品サンプルの種類を認識し、当該画像毎の認識結果を用いて、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定装置。
３．上記１に記載の商品特定装置において、
前記画像処理手段は、
前記複数の画像毎に、商品又は商品サンプルの特徴点及び当該特徴点の位置を示す特徴点データを生成し、
前記複数の前記特徴点データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いて前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定装置。
４．上記１～３のいずれか一項に記載の商品特定装置において、
前記パラメータは露出である商品特定装置。
５．上記１～４のいずれか一項に記載の商品特定装置において、
前記取得手段は、特定の条件を満たしたときに、前記撮像手段に前記複数の画像を要求する商品特定装置。
６．上記５に記載の商品特定装置において、
前記取得手段は、
前記撮像手段から第１の前記画像を取得し、
前記第１の画像が基準を満たしていた場合、前記特定の条件を満たしたとして、前記撮像手段に、前記第１の画像とは前記パラメータが異なる他の前記画像を要求し、
前記画像処理手段は、前記第１の画像が前記基準を満たしていなかった場合、当該第１の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する、商品特定装置。
７．商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像を処理した結果であって、商品又は商品サンプルの特徴点及び当該特徴点の位置を前記複数の画像別に示す解析データを取得する取得手段と、
前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力するデータ処理手段と、
を備え、
前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なる商品特定装置。
８．コンピュータが、
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像であって、撮像時の撮像手段のパラメータが互いに異なる複数の画像を取得する取得処理と、
前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力する画像処理と、
を行う商品特定方法。
９．上記８に記載の商品特定方法において、
前記画像処理において、前記コンピュータは、前記複数の画像毎に、商品又は商品サンプルの位置及び当該商品又は商品サンプルの種類を認識し、当該画像毎の認識結果を用いて、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定方法。
１０．上記８に記載の商品特定方法において、
前記画像処理において、前記コンピュータは、
前記複数の画像毎に、商品又は商品サンプルの特徴点及び当該特徴点の位置を示す特徴点データを生成し、
前記複数の前記特徴点データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いて前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定方法。
１１．上記８～１０のいずれか一項に記載の商品特定方法において、
前記パラメータは露出である商品特定方法。
１２．上記８～１１のいずれか一項に記載の商品特定方法において、
前記取得処理において、前記コンピュータは、特定の条件を満たしたときに、前記撮像手段に前記複数の画像を要求する商品特定方法。
１３．上記１２に記載の商品特定方法において、
前記取得処理において、前記コンピュータは、
前記撮像手段から第１の前記画像を取得し、
前記第１の画像が基準を満たしていた場合、前記特定の条件を満たしたとして、前記撮像手段に、前記第１の画像とは前記パラメータが異なる他の前記画像を要求し、
前記画像処理において、前記コンピュータは、前記第１の画像が前記基準を満たしていなかった場合、当該第１の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する、商品特定方法。
１４．コンピュータが、
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像を処理した結果であって、商品又は商品サンプルの特徴点及び当該特徴点の位置を前記複数の画像別に示す解析データを取得し、
前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力し、
前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なる、商品特定方法。
１５．コンピュータに、
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像であって、撮像時の撮像手段のパラメータが互いに異なる複数の画像を取得する取得機能と、
前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力する画像処理機能と、
を持たせるプログラム。
１６．上記１５に記載のプログラムにおいて、
前記画像処理機能は、前記複数の画像毎に、商品又は商品サンプルの位置及び当該商品又は商品サンプルの種類を認識し、当該画像毎の認識結果を用いて、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定するプログラム。
１７．上記１５に記載のプログラムにおいて、
前記画像処理機能は、
前記複数の画像毎に、商品又は商品サンプルの特徴点及び当該特徴点の位置を示す特徴点データを生成し、
前記複数の前記特徴点データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いて前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定するプログラム。
１８．上記１５～１７のいずれか一項に記載のプログラムにおいて、
前記パラメータは露出であるプログラム。
１９．上記１５～１８のいずれか一項に記載のプログラムにおいて、
前記取得機能は、特定の条件を満たしたときに、前記撮像手段に前記複数の画像を要求するプログラム。
２０．上記１９に記載のプログラムにおいて、
前記取得機能は、
前記撮像手段から第１の前記画像を取得し、
前記第１の画像が基準を満たしていた場合、前記特定の条件を満たしたとして、前記撮像手段に、前記第１の画像とは前記パラメータが異なる他の前記画像を要求し、
前記画像処理機能は、前記第１の画像が前記基準を満たしていなかった場合、当該第１の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する、プログラム。
２１．コンピュータに、
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像を処理した結果であって、商品又は商品サンプルの特徴点及び当該特徴点の位置を前記複数の画像別に示す解析データを取得する取得機能と、
前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力するデータ処理機能と、
を持たせ、
前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なるプログラム。
【符号の説明】
【0054】
１０ 撮像装置
２０ 商品特定装置
４０ 商品棚
５０ 商品
２１０ 取得部
２２０ 画像処理部
２３０ 記憶処理部
２４０ 記憶部
２０ 商品特定装置
４０ 商品棚
５０ 商品
２１０ 取得部
２２０ 画像処理部
２３０ 記憶処理部
２４０ 記憶部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】