特許 7590009 処理装置、処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-18

(45)【発行日】2024-11-26

(54)【発明の名称】処理装置、処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241119BHJP

   G06V 10/70 20220101ALI20241119BHJP

【ＦＩ】

G06T7/00 300F

G06V10/70

【請求項の数】 15

(21)【出願番号】P 2022529218

(86)(22)【出願日】2020-06-03

(86)【国際出願番号】 JP2020021911

(87)【国際公開番号】W WO2021245835

(87)【国際公開日】2021-12-09

【審査請求日】2022-12-01

【審判番号】

【審判請求日】2024-02-14

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】鍋藤 悠

(72)【発明者】

【氏名】菊池 克

(72)【発明者】

【氏名】佐藤 貴美

(72)【発明者】

【氏名】白石 壮馬

【合議体】

【審判長】中木 努

【審判官】本郷 彰

【審判官】圓道 浩史

(56)【参考文献】

【文献】国際公開第２０１９／０３８９６５（ＷＯ，Ａ１）

【文献】国際公開第２０１５／１４０８５３（ＷＯ，Ａ１）

【文献】特開２０１８－１５１８４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T 7/00-7/90

G06V 10/70

(57)【特許請求の範囲】

【請求項1】

顧客が第１の商品棚から商品を取り出す様子を示す商品取出画像を取得する取得手段と、
各商品棚に陳列されている商品を示す棚毎陳列情報に基づき、前記第１の商品棚に陳列されている商品群を特定する特定手段と、
複数の商品の外観の特徴量を示す商品特徴量情報のうち、特定された前記商品群を照合対象とした認識処理により、前記商品取出画像に含まれる商品を認識する第１の認識手段と、
を有し、
前記取得手段は、店員が前記第１の商品棚に商品を補充する様子を示す商品補充画像をさらに取得し、
前記商品特徴量情報が示す商品を照合対象とした認識処理により、前記商品補充画像に含まれる商品を認識する第２の認識手段と、
前記商品補充画像に含まれると認識された商品を、前記第１の商品棚に陳列されている商品として前記棚毎陳列情報に登録する棚毎陳列情報生成手段と、
を有する処理装置。

【請求項2】

同一のカメラが前記商品取出画像及び前記商品補充画像を生成し、
前記カメラが生成した画像を、前記商品取出画像と前記商品補充画像とに分類する分類手段をさらに有する請求項１に記載の処理装置。

【請求項3】

前記分類手段は、前記画像の撮影時刻、前記画像に含まれる人物の外観の特徴量、又は、前記画像の撮影時に設定されていたモードに基づき、前記分類を行う請求項２に記載の処理装置。

【請求項4】

顧客が第１の商品棚から商品を取り出す様子を示す商品取出画像を取得する取得手段と、
前記商品取出画像に基づき、前記第１の商品棚から取り出された商品が陳列されていた段である対象段を特定し、複数の商品棚各々の各段に陳列されている商品を示す棚毎陳列情報に基づき、前記第１の商品棚の前記対象段に陳列されている商品群を特定する特定手段と、
複数の商品の外観の特徴量を示す商品特徴量情報のうち、前記対象段に陳列されていることを特定された前記商品群を照合対象とした認識処理により、前記商品取出画像に含まれる商品を認識する第１の認識手段と、
を有する処理装置。

【請求項5】

顧客が第１の商品棚から商品を取り出す様子を示す商品取出画像を取得する取得手段と、
各商品棚に陳列されている商品を示す棚毎陳列情報に基づき、前記第１の商品棚に陳列されている商品群を特定する特定手段と、
複数の商品の外観の特徴量を示す商品特徴量情報のうち、特定された前記商品群を照合対象とした認識処理により、前記商品取出画像に含まれる商品を認識する第１の認識手段と、
前記第１の認識手段の認識結果に基づき、商品毎に前記第１の商品棚から取り出された個数をカウントし、前記個数が基準値に達した商品を、前記棚毎陳列情報が示す前記第１の商品棚に陳列されている商品から削除する手段と、
を有する処理装置。

【請求項6】

顧客が第１の商品棚から商品を取り出す様子を示す商品取出画像を取得する取得手段と、
各商品棚に陳列されている商品を示す棚毎陳列情報に基づき、前記第１の商品棚に陳列されている商品群を特定する特定手段と、
複数の商品の外観の特徴量を示す商品特徴量情報のうち、特定された前記商品群を照合対象とした認識処理により、前記商品取出画像に含まれる商品を認識する第１の認識手段と、
ＰＯＳ（point of sales）システムで管理されている販売情報で示される販売個数が基準値に達した商品を、前記棚毎陳列情報が示す前記第１の商品棚に陳列されている商品から削除する手段と、
を有する処理装置。

【請求項7】

前記取得手段は、前記第１の商品棚に陳列されている商品を含む商品棚画像をさらに取得し、
前記商品特徴量情報が示すすべての商品を照合対象とした認識処理により、前記商品棚画像に含まれる商品を認識する第２の認識手段と、
前記商品棚画像に含まれると認識された商品を、前記第１の商品棚に陳列されている商品として前記棚毎陳列情報に登録する棚毎陳列情報生成手段と、
を有する請求項４から６のいずれか１項に記載の処理装置。

【請求項8】

コンピュータが、
顧客が第１の商品棚から商品を取り出す様子を示す商品取出画像を取得し、
各商品棚に陳列されている商品を示す棚毎陳列情報に基づき、前記第１の商品棚に陳列されている商品群を特定し、
複数の商品の外観の特徴量を示す商品特徴量情報のうち、特定された前記商品群を照合対象とした認識処理により、前記商品取出画像に含まれる商品を認識し、
店員が前記第１の商品棚に商品を補充する様子を示す商品補充画像をさらに取得し、
前記商品特徴量情報が示す商品を照合対象とした認識処理により、前記商品補充画像に含まれる商品を認識し、
前記商品補充画像に含まれると認識された商品を、前記第１の商品棚に陳列されている商品として前記棚毎陳列情報に登録する処理方法。

【請求項9】

コンピュータが、
顧客が第１の商品棚から商品を取り出す様子を示す商品取出画像を取得し、
前記商品取出画像に基づき、前記第１の商品棚から取り出された商品が陳列されていた段である対象段を特定し、
複数の商品棚各々の各段に陳列されている商品を示す棚毎陳列情報に基づき、前記第１の商品棚の前記対象段に陳列されている商品群を特定し、
複数の商品の外観の特徴量を示す商品特徴量情報のうち、前記対象段に陳列されていることを特定された前記商品群を照合対象とした認識処理により、前記商品取出画像に含まれる商品を認識する処理方法。

【請求項10】

コンピュータが、
顧客が第１の商品棚から商品を取り出す様子を示す商品取出画像を取得し、
各商品棚に陳列されている商品を示す棚毎陳列情報に基づき、前記第１の商品棚に陳列されている商品群を特定し、
複数の商品の外観の特徴量を示す商品特徴量情報のうち、特定された前記商品群を照合対象とした認識処理により、前記商品取出画像に含まれる商品を認識し、
前記認識の結果に基づき、商品毎に前記第１の商品棚から取り出された個数をカウントし、前記個数が基準値に達した商品を、前記棚毎陳列情報が示す前記第１の商品棚に陳列されている商品から削除する処理方法。

【請求項11】

コンピュータが、
顧客が第１の商品棚から商品を取り出す様子を示す商品取出画像を取得し、
各商品棚に陳列されている商品を示す棚毎陳列情報に基づき、前記第１の商品棚に陳列されている商品群を特定し、
複数の商品の外観の特徴量を示す商品特徴量情報のうち、特定された前記商品群を照合対象とした認識処理により、前記商品取出画像に含まれる商品を認識し、
ＰＯＳシステムで管理されている販売情報で示される販売個数が基準値に達した商品を、前記棚毎陳列情報が示す前記第１の商品棚に陳列されている商品から削除する処理方法。

【請求項12】

コンピュータを、
顧客が第１の商品棚から商品を取り出す様子を示す商品取出画像を取得する取得手段、
各商品棚に陳列されている商品を示す棚毎陳列情報に基づき、前記第１の商品棚に陳列されている商品群を特定する特定手段、
複数の商品の外観の特徴量を示す商品特徴量情報のうち、特定された前記商品群を照合対象とした認識処理により、前記商品取出画像に含まれる商品を認識する第１の認識手段、
として機能させ、
前記取得手段は、店員が前記第１の商品棚に商品を補充する様子を示す商品補充画像をさらに取得し、
前記コンピュータを、さらに、
前記商品特徴量情報が示す商品を照合対象とした認識処理により、前記商品補充画像に含まれる商品を認識する第２の認識手段、
前記商品補充画像に含まれると認識された商品を、前記第１の商品棚に陳列されている商品として前記棚毎陳列情報に登録する棚毎陳列情報生成手段、
として機能させるプログラム。

【請求項13】

コンピュータを、
顧客が第１の商品棚から商品を取り出す様子を示す商品取出画像を取得する取得手段、
前記商品取出画像に基づき、前記第１の商品棚から取り出された商品が陳列されていた段である対象段を特定し、複数の商品棚各々の各段に陳列されている商品を示す棚毎陳列情報に基づき、前記第１の商品棚の前記対象段に陳列されている商品群を特定する特定手段、
複数の商品の外観の特徴量を示す商品特徴量情報のうち、前記対象段に陳列されていることを特定された前記商品群を照合対象とした認識処理により、前記商品取出画像に含まれる商品を認識する第１の認識手段、
として機能させるプログラム。

【請求項14】

コンピュータを、
顧客が第１の商品棚から商品を取り出す様子を示す商品取出画像を取得する取得手段、
各商品棚に陳列されている商品を示す棚毎陳列情報に基づき、前記第１の商品棚に陳列されている商品群を特定する特定手段、
複数の商品の外観の特徴量を示す商品特徴量情報のうち、特定された前記商品群を照合対象とした認識処理により、前記商品取出画像に含まれる商品を認識する第１の認識手段、
前記第１の認識手段の認識結果に基づき、商品毎に前記第１の商品棚から取り出された個数をカウントし、前記個数が基準値に達した商品を、前記棚毎陳列情報が示す前記第１の商品棚に陳列されている商品から削除する手段、
として機能させるプログラム。

【請求項15】

コンピュータを、
顧客が第１の商品棚から商品を取り出す様子を示す商品取出画像を取得する取得手段、
各商品棚に陳列されている商品を示す棚毎陳列情報に基づき、前記第１の商品棚に陳列されている商品群を特定する特定手段、
複数の商品の外観の特徴量を示す商品特徴量情報のうち、特定された前記商品群を照合対象とした認識処理により、前記商品取出画像に含まれる商品を認識する第１の認識手段、
ＰＯＳシステムで管理されている販売情報で示される販売個数が基準値に達した商品を、前記棚毎陳列情報が示す前記第１の商品棚に陳列されている商品から削除する手段、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理装置、処理方法及びプログラムに関する。

【背景技術】

【0002】

非特許文献１及び２は、レジカウンターでの決済処理（商品登録及び支払い等）をなくした店舗システムを開示している。当該技術では、店内を撮影するカメラが生成した画像に基づき顧客が手に持っている商品を認識し、顧客が店舗を出たタイミングで認識結果に基づき自動的に決済処理を行う。

【0003】

特許文献１は、監視カメラの撮影画像に基づき顧客が商品棚から取り出した商品個数を特定し、精算時にＰＯＳ端末に登録された商品個数と、事前に特定した商品取出個数とを照合することで、不正を検出する技術を開示している

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００４－１７１２４１号公報

【非特許文献】

【0005】

【文献】宮田拓弥、"Ａｍａｚｏｎ Ｇｏの仕組み「カメラとマイク」で実現するレジなしスーパー"、[online]、２０１６年１２月１０日、［２０１９年１２月６日検索］、インターネット<URL:https://www.huffingtonpost.jp/tak-miyata/amazon-go_b_13521384.html>

【文献】"ＮＥＣ、レジレス店舗「ＮＥＣ ＳＭＡＲＴ ＳＴＯＲＥ」を本社内にオープン--顔認証活用、退店と同時決済"、[online]、２０２０年２月２８日、［２０２０年３月２７日検索］、インターネット<URL: https://japan.cnet.com/article/35150024/>

【発明の概要】

【発明が解決しようとする課題】

【0006】

予め登録されている複数の商品各々の情報（外観の特徴量等）と、画像で示される物体の情報（外観の特徴量等）との照合により商品を認識する技術においては、店舗で扱っている商品の数が増え、照合対象の商品の数が増えるほどコンピュータの処理負担が大きくなるという課題がある。非特許文献１及び２、及び、特許文献１は当該課題を開示していない。

【0007】

本発明は、予め登録されている複数の商品各々の情報と、画像で示される物体の情報との照合により商品を認識する技術において、コンピュータの処理負担を軽減することを課題とする。

【課題を解決するための手段】

【0008】

本発明によれば、
顧客が第１の商品棚から商品を取り出す様子を示す商品取出画像を取得する取得手段と、
各商品棚に陳列されている商品を示す棚毎陳列情報に基づき、前記第１の商品棚に陳列されている商品群を特定する特定手段と、
複数の商品の外観の特徴量を示す商品特徴量情報のうち、特定された前記商品群を照合対象とした認識処理により、前記商品取出画像に含まれる商品を認識する第１の認識手段と、
を有する処理装置が提供される。

【0009】

また、本発明によれば、
コンピュータが、
顧客が第１の商品棚から商品を取り出す様子を示す商品取出画像を取得し、
各商品棚に陳列されている商品を示す棚毎陳列情報に基づき、前記第１の商品棚に陳列されている商品群を特定し、
複数の商品の外観の特徴量を示す商品特徴量情報のうち、特定された前記商品群を照合対象とした認識処理により、前記商品取出画像に含まれる商品を認識する処理方法が提供される。

【0010】

また、本発明によれば、
コンピュータを、
顧客が第１の商品棚から商品を取り出す様子を示す商品取出画像を取得する取得手段、
各商品棚に陳列されている商品を示す棚毎陳列情報に基づき、前記第１の商品棚に陳列されている商品群を特定する特定手段、
複数の商品の外観の特徴量を示す商品特徴量情報のうち、特定された前記商品群を照合対象とした認識処理により、前記商品取出画像に含まれる商品を認識する第１の認識手段、
として機能させるプログラムが提供される。

【発明の効果】

【0011】

本発明によれば、予め登録されている複数の商品各々の情報と、画像で示される物体の情報との照合により商品を認識する技術において、コンピュータの処理負担が軽減される。

【図面の簡単な説明】

【0012】

【図1】本実施形態の処理装置のハードウエア構成の一例を示す図である。

【図2】本実施形態の処理装置の機能ブロック図の一例である。

【図3】本実施形態のカメラの設置例を説明するための図である。

【図4】本実施形態のカメラの設置例を説明するための図である。

【図5】本実施形態のカメラが生成する画像の一例を示す図である。

【図6】本実施形態の処理装置とカメラと商品棚の関係を説明するための図である。

【図7】本実施形態の処理装置が処理する情報の一例を示す図である。

【図8】本実施形態の処理装置が処理する情報の一例を示す図である。

【図9】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。

【図10】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。

【図11】本実施形態の処理装置が処理する情報の一例を示す図である。

【図12】本実施形態の処理装置の機能ブロック図の一例である。

【図13】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。

【図14】本実施形態の処理装置の機能ブロック図の一例である。

【図15】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。

【図16】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。

【図17】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0013】

＜第１の実施形態＞
「概要」
本実施形態の処理装置は、顧客が商品棚から商品を取り出す様子を示す商品取出画像を取得すると、予め生成された棚毎陳列情報に基づき、顧客が商品を取り出した商品棚に陳列されている商品群を特定する。そして、処理装置は、複数の商品の外観の特徴量を示す商品特徴量情報のうち、特定された商品群の外観の特徴量を照合対象とした認識処理により、商品取出画像に含まれる商品を認識する。

【0014】

このような処理装置によれば、複数の商品の外観の特徴量を示す商品特徴量情報の中の一部のみを照合対象とすることができるので、処理装置の処理負担が軽減される。

【0015】

「ハードウエア構成」
次に、処理装置のハードウエア構成の一例を説明する。

【0016】

処理装置の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

【0017】

図１は、処理装置のハードウエア構成を例示するブロック図である。図１に示すように、処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置は周辺回路４Ａを有さなくてもよい。なお、処理装置は物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び／又は論理的に一体となった１つの装置で構成されてもよい。処理装置が物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。

【0018】

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサー、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

【0019】

「機能構成」
図２に、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、特定部１２と、第１の認識部１３と、記憶部１４とを有する。

【0020】

取得部１１は、顧客が商品棚から商品を取り出す様子を示す商品取出画像を取得する。

【0021】

ここで、商品取出画像を生成するカメラについて説明する。カメラは、顧客が商品棚から商品を取り出す様子を撮影する位置及び向きで設置される。カメラは、商品棚に設置されてもよいし、天井に設置されてもよいし、床に設置されてもよいし、壁面に設置されてもよいし、その他の場所に設置されてもよい。

【0022】

また、一の商品棚から顧客が商品を取り出す様子を撮影するカメラは１台であってもよいし、複数台であってもよい。一の商品棚から顧客が商品を取り出す様子を複数台のカメラで撮影する場合、複数台のカメラは互いに異なる位置及び方向から顧客がその商品棚から商品を取り出す様子を撮影するように設置されるのが好ましい。

【0023】

また、商品棚毎にカメラが設置されてもよいし、複数の商品棚毎にカメラが設置されてもよいし、商品棚の段毎にカメラが設置されてもよいし、商品棚の複数の段毎にカメラが設置されてもよい。

【0024】

カメラは動画像を常時（例えば、営業時間中）撮影してもよいし、動画像のフレーム間隔よりも大きい時間間隔で静止画像を継続的に撮影してもよいし、人感センサー等で所定位置（商品棚の前等）に存在する人を検出している間のみこれらの撮影を実行してもよい。

【0025】

カメラが生成した商品取出画像は、リアルタイム処理で処理装置１０に入力されてもよいし、バッチ処理で処理装置１０に入力されてもよい。いずれの処理とするかは、例えば商品認識結果の利用内容に応じて決定することができる。

【0026】

ここで、カメラ設置の一例を示す。なお、ここで説明するカメラ設置例はあくまで一例であり、これに限定されない。図３に示す例では、商品棚１毎に２つのカメラ２が設置されている。図４は、図３の枠４を抽出した図である。枠４を構成する２つの部品各々には、カメラ２と照明（不図示）とが設けられる。

【0027】

照明の光放射面は一方向に延在しており、発光部及び発光部を覆うカバーを有している。照明は、主に、光放射面の延在方向に直交する方向に光を放射する。発光部は、ＬＥＤなどの発光素子を有しており、カバーによって覆われていない方向に光を放射する。なお、発光素子がＬＥＤの場合、照明が延在する方向（図において上下方向）に、複数のＬＥＤが並んでいる。

【0028】

そしてカメラ２は、直線状に延伸する枠４の部品の一端側に設けられており、照明の光が放射される方向を撮影範囲としている。例えば図４の左側の枠４の部品において、カメラ２は下方及び右斜め下を撮影範囲としている。また、図４の右側の枠４の部品において、カメラ２は上方及び左斜め上を撮影範囲としている。

【0029】

図３に示すように、枠４は、商品載置スペースを構成する商品棚１の前面フレーム（又は両側の側壁の前面）に取り付けられる。枠４の部品の一方は、一方の前面フレームに、カメラ２が下方に位置する向きに取り付けられる。枠４の部品の他方は、他方の前面フレームに、カメラ２が上方に位置する向きに取り付けられる。そして、枠４の部品の一方に取り付けられたカメラ２は、商品棚１の開口部を撮影範囲に含むように、上方及び斜め上方を撮影する。一方、枠４の部品の他方に取り付けられたカメラ２は、商品棚１の開口部を撮影範囲に含むように、下方及び斜め下方を撮影する。このように構成することで、２つのカメラ２で商品棚１の開口部の全範囲を撮影することができる。図３及び図４に示す構成を採用した場合、図５に示すように、顧客が商品棚１から商品を取り出す様子を２つのカメラ２で撮影することが可能となる。このようなカメラ２が生成した画像７及び８には、顧客が商品棚１から取り出した商品が含まれる。

【0030】

図６に示すように、本実施形態では、顧客が複数の商品棚１各々から商品を取り出す様子を撮影する複数のカメラ２が設置される。そして、取得部１１は、複数のカメラ２が生成した複数の商品取出画像を取得する。なお、図６に示す例では、１つの商品棚１に対応して１つのカメラ２が設置されているが、上述の通りこの構成はあくまで一例であり、この構成に限定されない。

【0031】

図２に戻り、特定部１２は、まず、取得部１１が取得した複数の商品取出画像の中の１つである第１の商品取出画像が、複数の商品棚の中のどの商品棚から商品を取り出す様子を示す画像であるかを特定する。

【0032】

例えば、複数の商品棚を撮影する複数のカメラの設置位置が固定されている場合、特定部１２は、第１の商品取出画像を生成したカメラを特定することで、第１の商品取出画像がどの商品棚から商品を取り出す様子を示す画像であるかを特定してもよい。その他、商品取出画像に撮影位置を示す情報が付与されている場合、特定部１２は、この撮影位置を示す情報と、予め用意されている複数の商品棚各々の設置位置を示す情報とを照合することで、第１の商品取出画像がどの商品棚から商品を取り出す様子を示す画像であるかを特定してもよい。その他、商品棚各々に互いを識別するための情報（棚番号等）が物理的に付与されており、商品取出画像が当該情報を含む場合、特定部１２は、商品取出画像を解析して商品棚に付与された当該情報を認識することで、第１の商品取出画像がどの商品棚から商品を取り出す様子を示す画像であるかを特定してもよい。

【0033】

なお、以下では、「第１の商品取出画像」は、複数の商品棚の中の「第１の商品棚」から商品を取り出す様子を示す画像であるものとする。

【0034】

特定部１２は、第１の商品取出画像が第１の商品棚から商品を取り出す様子を示す画像であることを特定した後、棚毎陳列情報に基づき、第１の商品棚に陳列されている商品群を特定する。棚毎陳列情報は、複数の商品棚各々に陳列されている商品を示す。

【0035】

図７に、棚毎陳列情報の一例を示す。図示する棚毎陳列情報は、複数の商品棚を互いに識別する棚識別情報と、各商品棚に陳列されている商品の商品識別情報とを互いに紐付けた情報である。例えば、記憶部１４が棚毎陳列情報を記憶する。

【0036】

棚毎陳列情報は、オペレータの入力作業で生成された情報であってもよいし、画像解析等で自動的に生成された情報であってもよい。後者の自動生成の例は、以下の実施形態で詳細を説明する。

【0037】

図２に戻り、第１の認識部１３は、複数の商品の外観の特徴量を示す商品特徴量情報の中の一部を照合対象とした認識処理により、第１の商品取出画像に含まれる商品を認識する。当該認識処理では、当該一部に含まれない他の商品の特徴量は、照合対象とならない。照合対象となる一部は、特定部１２により、第１の商品棚に陳列されている商品として特定された商品群の特徴量である。

【0038】

図８に、複数の商品の外観の特徴量を示す商品特徴量情報の一例を模式的に示す。商品特徴量情報は、例えば、その店舗で扱っている複数の商品の外観の特徴量を示す。例えば、記憶部１４が商品特徴量情報を記憶する。

【0039】

次に、図９のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

【0040】

まず、取得部１１が、処理対象とする商品取出画像を取得すると（Ｓ１０）、特定部１２は、その商品取出画像が、複数の商品棚の中のどの商品棚から商品を取り出す様子を示す画像であるかを特定する（Ｓ１１）。次いで、特定部１２は、複数の商品棚各々に陳列されている商品を示す棚毎陳列情報（図７参照）に基づき、Ｓ１１で特定した商品棚に陳列されている商品群を特定する（Ｓ１２）。

【0041】

次いで、第１の認識部１３は、複数の商品の外観の特徴量を示す商品特徴量情報（図８参照）のうち、Ｓ１２で特定された商品群の外観の特徴量を照合対象とした認識処理により、Ｓ１０で取得された商品取出画像に含まれる商品を認識する（Ｓ１３）。そして、処理装置１０は、認識結果を出力する（Ｓ１４）。

【0042】

次に、図１０のフローチャートを用いて、処理装置１０の処理の流れの他の一例を説明する。

【0043】

まず、取得部１１が、処理対象とする商品取出画像を取得すると（Ｓ２０）、特定部１２は、その商品取出画像が、複数の商品棚の中のどの商品棚から商品を取り出す様子を示す画像であるかを特定する（Ｓ２１）。次いで、特定部１２は、複数の商品棚各々に陳列されている商品を示す棚毎陳列情報（図７参照）に基づき、Ｓ２１で特定した商品棚に陳列されている商品群を特定する（Ｓ２２）。

【0044】

次いで、第１の認識部１３は、複数の商品の外観の特徴量を示す商品特徴量情報（図８参照）の中のＳ２２で特定された商品群の外観の特徴量を照合対象とした認識処理により、Ｓ２０で取得された商品取出画像に含まれる商品を認識する（Ｓ２３）。そして、処理装置１０は、Ｓ２３での認識処理に成功した場合（Ｓ２４のＹｅｓ）、認識結果を出力する（Ｓ２６）。

【0045】

「認識処理に成功」とは、信頼度が基準値以上の認識結果が得られたことを意味する。信頼度は、例えば、マッチングした特徴量の数や、予め登録されている特徴量の数に対するマッチングした特徴量の数の割合等に基づき算出される。

【0046】

例えば、顧客が商品棚から取り出した商品を元の商品棚と異なる商品棚に戻した場合などに、商品が本来あるべき商品棚に陳列されていないという状況が発生し得る。すなわち、ある商品棚に、棚毎陳列情報で示されるその商品棚に陳列されている商品と異なる商品が陳列されているという状況が発生し得る。この場合、棚毎陳列情報に基づき特定された商品群の特徴量のみを照合対象とした認識処理では商品を正しく認識できない状況（認識処理に失敗）が発生し得る。

【0047】

当該処理例では、Ｓ２３での認識処理に失敗した場合（Ｓ２４のＮｏ）、第１の認識部１３は、商品特徴量情報（図８参照）が示すすべての商品の外観の特徴量を照合対象とした認識処理により、Ｓ２０で取得された商品取出画像に含まれる商品を認識する（Ｓ２５）。そして、処理装置１０は、認識結果を出力する（Ｓ２６）。

【0048】

なお、本実施形態では、第１の認識部１３による認識処理の結果（商品認識結果）に対するその後の処理内容は特段制限されない。

【0049】

例えば、商品認識結果は、非特許文献１及び２に開示のようなレジカウンターでの決済処理（商品登録及び支払い等）をなくした店舗システムにおける決済処理で利用されてもよい。以下、一例を説明する。

【0050】

まず、店舗システムは、出力された商品認識結果（商品識別情報）を、その商品を手に持っている顧客を特定する情報に紐付けて登録する。例えば、店内には、商品を手に持っている顧客の顔を撮影するカメラが設置されており、店舗システムは、当該カメラが生成した画像から顧客の顔の外観の特徴量を抽出してもよい。そして、店舗システムは、当該顔の外観の特徴量（顧客を特定する情報）に紐付けて、その顧客が手に持っている商品の商品識別情報やその他の商品情報（単価、商品名等）を登録してもよい。その他の商品情報は、予め店舗システムに記憶されている商品マスタ（商品識別情報と、その他の商品情報とを紐づけた情報）から取得することができる。

【0051】

その他、予め、顧客の顧客識別情報（会員番号、氏名等）と、顔の外観の特徴量とが紐付けて任意の場所（店舗システム、センターサーバ等）に登録されていてもよい。そして、店舗システムは、商品を手に持っている顧客の顔を含む画像から顧客の顔の外観の特徴量を抽出すると、当該予め登録された情報に基づきその顧客の顧客識別情報を特定してもよい。そして、店舗システムは、特定した顧客識別情報に紐付けて、その顧客が手に持っている商品の商品識別情報やその他の商品情報を登録してもよい。

【0052】

また、店舗システムは、登録内容に基づき決済金額を算出し、決済処理を実行する。例えば、顧客がゲートから退場したタイミングや、顧客が出口から店舗外に出たタイミング等で、決済処理が実行される。これらのタイミングの検出は、ゲートや出口に設置されたカメラが生成した画像で顧客の退店を検出することで実現されてもよいし、ゲートや出口に設置された入力装置（近距離無線通信するリーダ等）に対する退店する顧客の顧客識別情報の入力で実現されてもよいし、その他の手法で実現されてもよい。決済処理の詳細は、予め登録されたクレジットカード情報に基づくクレジットカードでの決済処理であってもよいし、予めチャージされたお金に基づく決済であってもよいし、その他であってもよい。

【0053】

第１の認識部１３による認識処理の結果（商品認識結果）のその他の利用場面として、顧客の嗜好調査やマーケティング調査等が例示される。例えば、各顧客が手に取った商品を各顧客に紐付けて登録することで、各顧客が興味を有する商品などを分析することができる。また、商品ごとに顧客が手に取った旨を登録することで、どの商品が顧客に興味を持たれているかを分析することができる。さらに、従来の画像解析技術を利用して顧客の属性（性別、年代、国籍等）を推定し、各商品を手に取った顧客の属性を登録することで、各商品がどのような属性の顧客に興味を持たれているかを分析することができる。

【0054】

「作用効果」
以上説明した本実施形態の処理装置１０によれば、複数の商品の外観の特徴量を示す商品特徴量情報の中の『すべての商品』の外観の特徴量を照合対象とするのでなく、『商品を取り出された商品棚に陳列されている商品群』の外観の特徴量のみを照合対象とした認識処理により、画像に含まれる商品を認識することができる。このような処理装置１０によれば、照合対象の数を減らすことができるので、処理装置１０の処理負担が軽減される。

【0055】

また、処理装置１０は、処理対象の画像がどの商品棚から商品を取り出す様子を示す画像であるかを特定し、特定した商品棚に陳列されている商品群の特徴量を照合対象にする。このような処理装置１０によれば、照合対象を適切に絞り込むことができるので、照合対象の中にマッチングする情報が含まれないという不都合の発生を抑制できる。

【0056】

また、処理装置１０は、例えば図１０のフローチャートに示すように、一部の商品の特徴量を照合対象とした第１の認識処理と、すべての商品の特徴量を照合対象とした第２の認識処理との２ステップ構成とし、第１の認識処理で正しく商品認識できない場合に、第２の認識処理を行うことができる。この場合、例えば、顧客が商品棚から取り出した商品を元の商品棚と異なる商品棚に戻したことなどに起因して、商品が本来あるべき商品棚に陳列されていないという状況が発生した場合であっても、顧客が商品棚から取り出した商品を正しく認識することができる。また、２ステップ構成とすることで、処理装置１０の処理負担が大きい第２の認識処理を不要に行う不都合を抑制できる。

【0057】

＜第２の実施形態＞
本実施形態の棚毎陳列情報は、図１１に示すように、複数の商品棚各々の各段に陳列されている商品を示す。図示する棚毎陳列情報は、複数の商品棚を互いに識別する棚識別情報と、各商品棚が備える複数の段を互いに識別する段識別情報と、各商品棚の各段に陳列されている商品の商品識別情報とを互い紐付けた情報である。

【0058】

特定部１２は、第１の商品取出画像が第１の商品棚から商品を取り出す様子を示す画像であることを特定した後、第１の商品取出画像を解析して、その商品が第１の商品棚のどの段から取り出されたかを特定する。当該特定を実現するアルゴリズムは、特段制限されない。例えば、図５の画像７及び８に示すように、第１の商品取出画像の中に第１の商品棚が含まれる場合、予め画像内で各段が占める領域を登録しておき、当該画像内の各段の領域と、取り出された商品の位置との関係に基づき、各商品がどの段から取り出されたかを特定できる。

【0059】

なお、以下では、「第１の商品取出画像」は、「第１の商品棚」の「第１の段」から商品を取り出す様子を示す画像であるものとする。

【0060】

特定部１２は、第１の商品取出画像が第１の商品棚の第１の段から商品を取り出す様子を示す画像であることを特定した後、「複数の商品棚各々の各段に陳列されている商品を示す棚毎陳列情報（図１１参照）」に基づき、第１の商品棚の第１の段に陳列されている商品群を特定する。

【0061】

そして、第１の認識部１３は、複数の商品の外観の特徴量を示す商品特徴量情報の中の一部を照合対象とした認識処理により、第１の商品取出画像に含まれる商品を認識する。照合対象となる一部は、特定部１２により、第１の商品棚の第１の段に陳列されている商品として特定された商品群の特徴量である。

【0062】

なお、第１の認識部１３は、第１の実施形態で説明した通り、認識処理を複数ステップで構成してもよい。

【0063】

例えば、第１の商品棚の第１の段に陳列されている商品として特定された商品群の特徴量を照合対象とした第１の認識処理と、すべての商品の特徴量を照合対象とした第２の認識処理との２ステップ構成とし、第１の認識処理で正しく商品認識できない場合に、第２の認識処理を行ってもよい。

【0064】

その他、第１の商品棚の第１の段に陳列されている商品として特定された商品群の特徴量を照合対象とした第１の認識処理と、第１の商品棚に陳列されている商品として特定された商品群の特徴量を照合対象とした第２の認識処理と、すべての商品の特徴量を照合対象とした第３の認識処理との３ステップ構成とし、第１の認識処理で正しく商品認識できない場合に第２の認識処理を行い、第２の認識処理で正しく商品認識できない場合に第３の認識処理を行ってもよい。

【0065】

処理装置１０のその他の構成は、第１の実施形態と同様である。

【0066】

本実施形態の処理装置１０によれば、第１の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、認識処理の照合対象をさらに絞り込むことができるので、処理装置１０の処理負担がより軽減される。

【0067】

＜第３の実施形態＞
本実施形態の処理装置１０は、棚毎陳列情報を自動生成する機能を有する。図１２に、本実施形態の処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、特定部１２と、第１の認識部１３と、記憶部１４と、第２の認識部１５と、棚毎陳列情報生成部１６とを有する。

【0068】

取得部１１は、店員が複数の商品棚各々に商品を補充する様子を示す複数の商品補充画像を取得する。商品補充画像を生成するカメラの構成は、第１の実施形態で説明した商品取出画像を生成するカメラの構成と同様である。例えば、図３乃至図５に示すようなカメラ２により、店員が商品棚１に商品を補充する様子を撮影することができる。商品補充画像を生成するカメラは、商品取出画像を生成するカメラと同じカメラであってもよいし、異なるカメラであってもよい。

【0069】

カメラが生成した商品補充画像は、リアルタイム処理で処理装置１０に入力されてもよいし、バッチ処理で処理装置１０に入力されてもよい。しかし、棚毎陳列情報と実際の陳列状況とのズレをなくすためには、リアルタイム処理で商品補充画像を処理装置１０に入力し、補充からより少ないタイムロスで棚毎陳列情報を更新するのが好ましい。

【0070】

第２の認識部１５は、商品特徴量情報が示すすべての商品の外観の特徴量を照合対象とした認識処理により、商品補充画像に含まれる商品を認識する。顧客が商品棚から取り出した商品を認識する第１の認識部１３は、商品特徴量情報の中の一部の商品の特徴量を照合対象とするのに対し、店員が商品棚に補充する商品を認識する第２の認識部１５は、商品特徴量情報が示すすべての商品の外観の特徴量を照合対象とする点で異なる。

【0071】

棚毎陳列情報生成部１６は、取得部１１が取得した複数の商品補充画像の中の１つである第１の商品補充画像が、複数の商品棚の中のどの商品棚に商品を補充する様子を示す画像であるかを特定する。

【0072】

例えば、複数の商品棚を撮影する複数のカメラの設置位置が固定されている場合、棚毎陳列情報生成部１６は、第１の商品補充画像を生成したカメラを特定することで、第１の商品補充画像がどの商品棚に商品を補充する様子を示す画像であるかを特定してもよい。その他、商品補充画像に撮影位置を示す情報が付与されている場合、棚毎陳列情報生成部１６は、この撮影位置を示す情報と、予め用意されている複数の商品棚各々の設置位置を示す情報とを照合することで、第１の商品補充画像がどの商品棚に商品を補充する様子を示す画像であるかを特定してもよい。その他、商品棚各々に互いを識別するための情報（棚番号等）が物理的に付与されており、商品補充画像が当該情報を含む場合、棚毎陳列情報生成部１６は、商品補充画像を解析して商品棚に付与された当該情報を認識することで、第１の商品補充画像がどの商品棚に商品を補充する様子を示す画像であるかを特定してもよい。

【0073】

なお、以下では、「第１の商品補充画像」は、複数の商品棚の中の「第１の商品棚」に商品を補充する様子を示す画像であるものとする。

【0074】

棚毎陳列情報生成部１６は、第１の商品補充画像が第１の商品棚に商品を補充する様子を示す画像であることを特定した後、第２の認識部１５により第１の商品補充画像に含まれると認識された商品を、第１の商品棚に陳列されている商品として棚毎陳列情報（図７参照）に登録する。

【0075】

次に、図１３のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

【0076】

まず、取得部１１が、処理対象とする商品補充画像を取得すると（Ｓ３０）、第２の認識部１５が、商品特徴量情報が示すすべての商品の外観の特徴量を照合対象とした認識処理により、Ｓ３０で取得された商品補充画像に含まれる商品を認識する（Ｓ３１）。

【0077】

次いで、棚毎陳列情報生成部１６は、Ｓ３０で取得された商品補充画像が、複数の商品棚の中のどの商品棚に商品を補充する様子を示す画像であるかを特定する（Ｓ３２）。次いで、棚毎陳列情報生成部１６は、Ｓ３０で取得された商品補充画像に含まれると認識された商品を、Ｓ３２で特定された商品棚に陳列されている商品として棚毎陳列情報に登録する（Ｓ３３）。なお、既に登録済みである場合は登録処理を行わず、登録されていない場合のみ登録処理を行ってもよい。

【0078】

ここで、本実施形態の変形例を説明する。棚毎陳列情報生成部１６は、第１の商品補充画像が第１の商品棚に商品を補充する様子を示すことを特定した後、第１の商品補充画像を解析して、その商品が第１の商品棚のどの段に補充されたかを特定してもよい。当該特定を実現するアルゴリズムは、特段制限されない。例えば、図５の画像７及び８に示すように、第１の商品補充画像の中に第１の商品棚が含まれる場合、予め画像内で各段が占める領域を登録しておき、当該画像内の各段の領域と、商品の補充位置との関係に基づき、各商品がどの段に補充されたかを特定できる。

【0079】

棚毎陳列情報生成部１６は、第１の商品補充画像が第１の商品棚のどの段に商品を補充する様子を示しているかを特定した後、第２の認識部１５により第１の商品補充画像に含まれると認識された商品を、第１の商品棚の特定した段に陳列されている商品として棚毎陳列情報（図１１参照）に登録する。

【0080】

処理装置１０のその他の構成は、第１及び第２の実施形態と同様である。

【0081】

本実施形態の処理装置１０によれば、第１及び第２の実施形態と同様の作用効果が実現される。また、処理装置１０によれば、人手を介さずに棚毎陳列情報を自動的に作成することができる。このため、店員の作業負担を軽減できる。

【0082】

また、処理装置１０によれば、店員が商品棚に商品を補充する様子を示す商品補充画像を解析することで各商品棚に補充された商品を特定し、その特定結果に基づき棚毎陳列情報を生成する。このような処理装置１０によれば、誤りの少ない棚毎陳列情報を生成することができる。

【0083】

また、処理装置１０によれば、商品特徴量情報が示すすべての商品の外観の特徴量を照合対象とした認識処理により、店員が商品棚に補充している商品を認識することができる。このため、各商品棚に陳列される商品が変化しても、正しくその商品を認識し、棚毎陳列情報に正しい情報を登録することができる。

【0084】

＜第４の実施形態＞
本実施形態の処理装置１０は、第３の実施形態で説明した手法で、棚毎陳列情報を生成する。そして、同一のカメラが「顧客が商品棚から商品を取り出す様子」及び「店員が商品棚に商品を補充する様子」を撮影し、商品取出画像及び商品補充画像を生成する。このように構成することで、設置するカメラの台数が減り、設備に要するコストが軽減される。

【0085】

ところで、第１乃至第３の実施形態で説明したように、カメラが生成した画像が商品取出画像か商品補充画像かに応じて処理装置１０が実行する処理内容が異なる。そこで、処理装置１０は、カメラが生成した画像を、商品取出画像及び商品補充画像に分類する機能を有する。

【0086】

図１４に、本実施形態の処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、特定部１２と、第１の認識部１３と、記憶部１４と、第２の認識部１５と、棚毎陳列情報生成部１６と、分類部１７とを有する。

【0087】

分類部１７は、カメラが生成した画像を商品取出画像と商品補充画像とに分類する。例えば、分類部１７は、画像の撮影時刻、画像に含まれる人物の外観の特徴量、又は、画像の撮影時に設定されていたモードに基づき、当該分類を行う。以下、分類処理の例を説明する。

【0088】

「分類処理例１」
当該例では、商品棚に商品を補充する時間帯が予め定まっている。例えば、開店前の時間帯等が、商品棚に商品を補充する時間帯となる。そして、分類部１７は、撮影時刻が商品棚に商品を補充する時間帯に含まれる画像を商品補充画像に分類し、その他の画像を商品取出画像に分類する。

【0089】

「分類処理例２」
当該例では、店員が予め定められた制服を着て商品の補充を行う。分類部１７は、画像に含まれる人物がその制服を着ているか否かに基づき、画像に含まれる「商品を手に持っている人物」が店員であるか否かを判断する。そして、分類部１７は、商品を手に持っている店員が含まれる画像を商品補充画像に分類し、その他の画像を商品取出画像に分類する。

【0090】

「分類処理例３」
当該例では、予め店員の顔の外観の特徴量がデータベースに登録されている。分類部１７は、画像に含まれる人物の顔の外観の特徴量を当該データベースの特徴量と照合することで、画像に含まれる「商品を手に持っている人物」が店員であるか否かを判断する。そして、分類部１７は、商品を手に持っている店員が含まれる画像を商品補充画像に分類し、その他の画像を商品取出画像に分類する。

【0091】

「分類処理例４」
当該例では、カメラは、通常撮影モードと商品補充撮影モードとが存在する。当該モードの切り替えは、店員による入力で実現される。当該入力は、商品棚付近又は店舗のバックヤード等に設置された入力装置（物理ボタン、マイク、タッチパネル、キーボード、マウス等）を介して行われてもよいし、商品棚付近に設置されたカメラに所定のジェスチャーを撮影させるジェスチャー入力で行われてもよいし、スマートフォン、タブレット端末、スマートウォッチ、携帯電話等の持ち運び可能な携帯デバイスを介した入力で行われてもよい。所定のジェスチャーを撮影するカメラは、「顧客が商品棚から商品を取り出す様子」及び「店員が商品棚に商品を補充する様子」を撮影するカメラと同じカメラであってもよい。

【0092】

そして、分類部１７は、商品補充撮影モード時に生成された画像を商品補充画像に分類し、通常撮影モード時に生成された画像を商品取出画像に分類する。

【0093】

例えば、カメラが生成した画像に、いずれのモード時に生成された画像であるかを示す情報が付与されてもよい。そして、分類部１７は、当該情報に基づき、各画像がいずれのモード時に生成されたかを特定してもよい。

【0094】

その他、カメラはモードの履歴情報を保持してもよい。当該履歴情報は、各モードであった時間帯を示す。そして、分類部１７は、当該履歴情報と、各画像の撮影時刻とに基づき、各画像がいずれのモード時に生成されたかを特定してもよい。

【0095】

次に、図１５のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

【0096】

まず、取得部１１が処理対象とする画像を取得すると（Ｓ４０）、分類部１７は分類処理を実行し、その画像を商品取出画像又は商品補充画像に分類する（Ｓ４１）。

【0097】

商品補充画像に分類された場合（Ｓ４２の「商品補充画像」）、処理装置１０は、Ｓ４３乃至Ｓ４５の処理を行う。Ｓ４３乃至Ｓ４５の処理は、図１３のＳ３１乃至Ｓ３３の処理と同じである。

【0098】

一方、商品取出画像に分類された場合（Ｓ４２の「商品取出画像」）、処理装置１０は、Ｓ４６乃至Ｓ４９の処理を行う。Ｓ４６乃至Ｓ４９の処理は、図９のＳ１１乃至Ｓ１４の処理と同じである。

【0099】

処理装置１０のその他の構成は、第１乃至第３の実施形態と同様である。

【0100】

本実施形態の処理装置１０によれば、第１乃至第３の実施形態と同様の作用効果が実現される。また、処理装置１０によれば、同一のカメラで「顧客が商品棚から商品を取り出す様子」及び「店員が商品棚に商品を補充する様子」を撮影し、商品取出画像及び商品補充画像を生成することができる。このように構成することで、設置するカメラの台数が減り、設備に要するコストが軽減される。

【0101】

また、処理装置１０によれば、カメラが生成した画像を自動的に商品取出画像及び商品補充画像に分類することができる。人手が不要であるので、店員の作業負担を軽減できる。

【0102】

＜第５の実施形態＞
本実施形態の処理装置１０は、第３及び第４の実施形態と異なる手法で、棚毎陳列情報を自動生成する機能を有する。図１２に、本実施形態の処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、特定部１２と、第１の認識部１３と、記憶部１４と、第２の認識部１５と、棚毎陳列情報生成部１６とを有する。

【0103】

取得部１１は、複数の商品棚各々を撮影することで生成された複数の商品棚画像を取得する。商品棚画像は、商品棚に陳列されている商品を含む。商品棚画像を生成するカメラの構成は、第１の実施形態で説明した商品取出画像を生成するカメラの構成と同様である。例えば、図３乃至図５に示すようなカメラ２の撮影方向を調整することで、商品棚に陳列されている商品を含むように撮影することができる。

【0104】

商品棚画像を生成するカメラは、商品取出画像を生成するカメラと同じカメラであってもよいし、異なるカメラであってもよい。同じカメラとする場合、例えば、図３乃至図５に示すようなカメラ２の撮影方向を調整することで、「顧客が商品棚から商品を取り出す様子」及び「商品棚に陳列されている商品」の両方を含むように撮影することができる。

【0105】

カメラが生成した商品棚画像は、リアルタイム処理で処理装置１０に入力されてもよいし、バッチ処理で処理装置１０に入力されてもよい。しかし、棚毎陳列情報と実際の陳列状況とのズレをなくすためには、リアルタイム処理で商品棚画像を処理装置１０に入力し、商品棚画像撮影からより少ないタイムロスで棚毎陳列情報を更新するのが好ましい。

【0106】

第２の認識部１５は、商品特徴量情報が示すすべての商品の外観の特徴量を照合対象とした認識処理により、商品棚画像に含まれる商品を認識する。顧客が商品棚から取り出した商品を認識する第１の認識部１３は、商品特徴量情報の中の一部の商品の特徴量を照合対象とするのに対し、商品棚に陳列されている商品を認識する第２の認識部１５は、商品特徴量情報が示すすべての商品の外観の特徴量を照合対象とする点で異なる。

【0107】

棚毎陳列情報生成部１６は、取得部１１が取得した複数の商品棚画像の中の１つである第１の商品棚画像が、複数の商品棚の中のどの商品棚を含む画像であるかを特定する。

【0108】

例えば、複数の商品棚を撮影する複数のカメラの設置位置が固定されている場合、棚毎陳列情報生成部１６は、第１の商品棚画像を生成したカメラを特定することで、第１の商品棚画像がどの商品棚を含む画像であるかを特定してもよい。その他、商品棚画像に撮影位置を示す情報が付与されている場合、棚毎陳列情報生成部１６は、この撮影位置を示す情報と、予め用意されている複数の商品棚各々の設置位置を示す情報とを照合することで、第１の商品棚画像がどの商品棚を含む画像であるかを特定してもよい。その他、商品棚各々に互いを識別するための情報（棚番号等）が物理的に付与されており、商品棚画像が当該情報を含む場合、棚毎陳列情報生成部１６は、商品棚画像を解析して商品棚に付与された当該情報を認識することで、第１の商品棚画像がどの商品棚を含む画像であるかを特定してもよい。

【0109】

なお、以下では、「第１の商品棚画像」は、複数の商品棚の中の「第１の商品棚」を含む画像であるものとする。

【0110】

棚毎陳列情報生成部１６は、第１の商品棚画像が第１の商品棚を含む画像であることを特定した後、第２の認識部１５により第１の商品棚画像に含まれると認識された商品を、第１の商品棚に陳列されている商品として棚毎陳列情報（図７参照）に登録する。

【0111】

次に、図１６のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

【0112】

まず、取得部１１が、処理対象とする商品棚画像を取得すると（Ｓ５０）、第２の認識部１５が、商品特徴量情報が示すすべての商品の外観の特徴量を照合対象とした認識処理により、Ｓ５０で取得された商品棚画像に含まれる商品を認識する（Ｓ５１）。

【0113】

次いで、棚毎陳列情報生成部１６は、Ｓ５０で取得された商品棚画像が、複数の商品棚の中のどの商品棚を含む画像であるかを特定する（Ｓ５２）。次いで、棚毎陳列情報生成部１６は、Ｓ５０で取得された商品棚画像に含まれると認識された商品を、Ｓ５２で特定された商品棚に陳列されている商品として棚毎陳列情報に登録する（Ｓ５３）。なお、既に登録済みである場合は登録処理を行わず、登録されていない場合のみ登録処理を行ってもよい。

【0114】

ここで、本実施形態の変形例を説明する。棚毎陳列情報生成部１６は、第１の商品棚画像が第１の商品棚を含む画像であることを特定した後、第１の商品棚画像を解析して、第１の商品棚画像に含まれると認識された商品が第１の商品棚のどの段に陳列されているか特定してもよい。当該特定を実現するアルゴリズムは、特段制限されない。例えば、第１の商品棚画像の中に複数の段が含まれる場合、予め画像内で各段が占める領域を登録しておき、当該画像内の各段の領域と、認識された商品の画像内の位置との関係に基づき、各商品がどの段に陳列されているかを特定できる。また、段毎に撮影して段毎に商品棚画像が生成される場合、例えば上述した「第１の商品棚画像が複数の商品棚の中のどの商品棚を含む画像であるかを特定する処理」と同様の処理で、各商品棚画像が各商品棚のどの段を含む画像であるかを特定できる。

【0115】

棚毎陳列情報生成部１６は、第１の商品棚画像が第１の商品棚のどの段を含むかを特定した後、第２の認識部１５により第１の商品棚画像に含まれると認識された商品を、第１の商品棚の特定した段に陳列されている商品として棚毎陳列情報（図１１参照）に登録する。

【0116】

処理装置１０のその他の構成は、第１及び第２の実施形態と同様である。

【0117】

本実施形態の処理装置１０によれば、第１及び第２の実施形態と同様の作用効果が実現される。また、処理装置１０によれば、人手を介さずに棚毎陳列情報を自動的に作成することができる。このため、店員の作業負担を軽減できる。

【0118】

また、処理装置１０によれば、商品棚に陳列された商品を含む商品棚画像を解析することで各商品棚に陳列されている商品を特定し、その特定結果に基づき棚毎陳列情報を生成する。このような処理装置１０によれば、誤りの少ない棚毎陳列情報を生成することができる。

【0119】

また、処理装置１０によれば、商品特徴量情報が示すすべての商品の外観の特徴量を照合対象とした認識処理により、陳列棚に陳列されている商品を認識することができる。このため、各商品棚に陳列される商品が変化しても、正しくその商品を認識し、棚毎陳列情報に正しい情報を登録することができる。

【0120】

＜第６の実施形態＞
本実施形態の処理装置１０は、第５の実施形態で説明した手法で、棚毎陳列情報を生成する。そして、同一のカメラが「顧客が商品棚から商品を取り出す様子」及び「商品棚に陳列されている商品」を含むように撮影する。すなわち、当該カメラが生成した画像は、「顧客が商品棚から商品を取り出す様子」及び「商品棚に陳列されている商品」の両方を示す。このように構成することで、設置するカメラの台数が減り、設備に要するコストが軽減される。

【0121】

ところで、カメラが生成したすべての画像に対して、第５の実施形態で説明した第２の認識部１５及び棚毎陳列情報生成部１６による処理を実行すると、処理装置１０の処理負担が大きくなる。

【0122】

そこで、本実施形態の処理装置１０は、予め定められた陳列内容確認条件を満たす場合に、その条件を満たすタイミングでカメラが生成した画像に対して第２の認識部１５及び棚毎陳列情報生成部１６による処理を実行し、その他のタイミングでカメラが生成した画像に対しては第２の認識部１５及び棚毎陳列情報生成部１６による処理を実行しない。

【0123】

陳列内容確認条件は、例えば「予め定められた時刻になったこと」や、「店員からの陳列内容確認指示入力があったこと」等が例示される。例えば、店員は、陳列棚に商品を陳列した後に、陳列内容確認指示を入力する。

【0124】

次に、図１７のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

【0125】

まず、取得部１１が、処理対象とする画像を取得すると（Ｓ６０）、処理装置１０は、Ｓ６０で取得された画像が、複数の商品棚の中のどの商品棚を含む画像であるかを特定する（Ｓ６１）。

【0126】

次いで、陳列内容確認条件を満たす場合（Ｓ６２のＹｅｓ）、処理装置１０は、Ｓ６３及びＳ６４の処理を行う。Ｓ６３及びＳ６４の処理は、図１６のＳ５１及びＳ５３の処理と同じである。その後、処理装置１０は、Ｓ６５乃至Ｓ６７の処理を行う。Ｓ６５乃至Ｓ６７の処理は、図９のＳ１２乃至Ｓ１４の処理と同じである。

【0127】

一方、陳列内容確認条件を満たさない場合（Ｓ６２のＮｏ）、処理装置１０は、Ｓ６３及びＳ６４の処理を行わずに、Ｓ６５乃至Ｓ６７の処理を行う。

【0128】

処理装置１０のその他の構成は、第１、第２及び第５の実施形態と同様である。

【0129】

本実施形態の処理装置１０によれば、第１、第２及び第５の実施形態と同様の作用効果が実現される。また、処理装置１０によれば、同一のカメラで「顧客が商品棚から商品を取り出す様子」及び「商品棚に陳列されている商品」を含むように撮影することができる。このように構成することで、設置するカメラの台数が減り、設備に要するコストが軽減される。

【0130】

また、処理装置１０によれば、予め定められた商品棚の陳列内容を確認する条件を満たす場合に、第２の認識部１５及び棚毎陳列情報生成部１６による処理を実行し、棚毎陳列情報を生成する処理を実行することができる。この場合、コンピュータの処理負担が大きい第２の認識部１５及び棚毎陳列情報生成部１６による処理を不要に頻繁に行う不都合を抑制できる。結果、処理装置１０の処理負担が軽減される。

【0131】

＜第７の実施形態＞
本実施形態の処理装置１０の棚毎陳列情報生成部１６は、商品棚から取り出されたことにより商品棚に１つも陳列されていない状態となった商品を、棚毎陳列情報（図７、図１１参照）が示すその商品棚に陳列されている商品から削除する。

【0132】

例えば、棚毎陳列情報生成部１６は、第１の認識部１３の認識結果に基づき、商品毎に各商品棚から取り出された個数をカウントし、その個数が基準値に達した商品を、棚毎陳列情報が示す各商品棚に陳列されている商品から削除する。

【0133】

他の例として、棚毎陳列情報生成部１６は、ＰＯＳ（point of sales）システムで管理されている販売情報で示される販売個数が基準値に達した商品を、棚毎陳列情報が示す各商品棚に陳列されている商品から削除することができる。

【0134】

基準値は、商品棚に陳列された商品の個数である。店員が商品毎に基準値を処理装置１０に入力し、登録してもよい。その他、処理装置１０は、第３乃至第６の実施形態で説明した第２の認識部１５の認識結果に基づき、商品棚に陳列された商品の個数を特定し、基準値としてもよい。

【0135】

処理装置１０のその他の構成は、第１乃至第６の実施形態と同様である。

【0136】

本実施形態の処理装置１０によれば、第１乃至第６の実施形態と同様の作用効果が実現される。また、処理装置１０によれば、商品棚からなくなった商品の特徴量を照合対象から外すことができる。結果、処理装置１０の処理負担をより軽減できる。

【0137】

また、処理装置１０は、人手を介さずに商品棚からなくなった商品を特定し、棚毎陳列情報を自動的に更新することができる。このため、店員の作業負担を軽減できる。

【0138】

また、処理装置１０は、顧客が商品棚から取り出した商品を認識する第１の認識部１３の認識結果や、ＰＯＳシステムで管理されている販売情報等に基づき、商品棚からなくなった商品を特定することができる。このため、精度よく商品棚からなくなった商品を特定することができる。

【0139】

なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等、および、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること、また、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」の少なくともいずれか一方を含む。

【0140】

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0141】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１． 顧客が第１の商品棚から商品を取り出す様子を示す商品取出画像を取得する取得手段と、
各商品棚に陳列されている商品を示す棚毎陳列情報に基づき、前記第１の商品棚に陳列されている商品群を特定する特定手段と、
複数の商品の外観の特徴量を示す商品特徴量情報のうち、特定された前記商品群を照合対象とした認識処理により、前記商品取出画像に含まれる商品を認識する第１の認識手段と、
を有する処理装置。
２． 前記取得手段は、店員が前記第１の商品棚に商品を補充する様子を示す商品補充画像をさらに取得し、
前記商品特徴量情報が示すすべての商品を照合対象とした認識処理により、前記商品補充画像に含まれる商品を認識する第２の認識手段と、
前記商品補充画像に含まれると認識された商品を、前記第１の商品棚に陳列されている商品として前記棚毎陳列情報に登録する棚毎陳列情報生成手段と、
を有する１に記載の処理装置。
３． 同一のカメラが前記商品取出画像及び前記商品補充画像を生成し、
前記カメラが生成した画像を、前記商品取出画像と前記商品補充画像とに分類する分類手段をさらに有する１又は２に記載の処理装置。
４． 前記分類手段は、前記画像の撮影時刻、前記画像に含まれる人物の外観の特徴量、又は、前記画像の撮影時に設定されていたモードに基づき、前記分類を行う３に記載の処理装置。
５． 前記取得手段は、前記第１の商品棚に陳列されている商品を含む商品棚画像をさらに取得し、
前記商品特徴量情報が示すすべての商品を照合対象とした認識処理により、前記商品棚画像に含まれる商品を認識する第２の認識手段と、
前記商品棚画像に含まれると認識された商品を、前記第１の商品棚に陳列されている商品として前記棚毎陳列情報に登録する棚毎陳列情報生成手段と、
を有する１に記載の処理装置。
６． 前記特定手段は、
前記商品取出画像に基づき、前記第１の商品棚から取り出された商品が陳列されていた段を特定し、
複数の前記商品棚各々の各段に陳列されている商品を示す前記棚毎陳列情報に基づき、前記第１の商品棚の前記特定した段に陳列されている商品群を特定し、
前記第１の認識手段は、前記商品特徴量情報のうち、前記特定した段に陳列されていることを特定された前記商品群を照合対象とした認識処理により、前記商品取出画像に含まれる商品を認識する１から５のいずれかに記載の処理装置。
７． 前記棚毎陳列情報生成手段は、前記第１の認識手段の認識結果に基づき、商品毎に前記第１の商品棚から取り出された個数をカウントし、前記個数が基準値に達した商品を、前記棚毎陳列情報が示す前記第１の商品棚に陳列されている商品から削除する１から６のいずれかに記載の処理装置。
８． 前記棚毎陳列情報生成手段は、ＰＯＳシステムで管理されている販売情報で示される販売個数が基準値に達した商品を、前記棚毎陳列情報が示す前記第１の商品棚に陳列されている商品から削除する１から６のいずれかに記載の処理装置。
９． コンピュータが、
顧客が第１の商品棚から商品を取り出す様子を示す商品取出画像を取得し、
各商品棚に陳列されている商品を示す棚毎陳列情報に基づき、前記第１の商品棚に陳列されている商品群を特定し、
複数の商品の外観の特徴量を示す商品特徴量情報のうち、特定された前記商品群を照合対象とした認識処理により、前記商品取出画像に含まれる商品を認識する処理方法。
１０． コンピュータを、
顧客が第１の商品棚から商品を取り出す様子を示す商品取出画像を取得する取得手段、
各商品棚に陳列されている商品を示す棚毎陳列情報に基づき、前記第１の商品棚に陳列されている商品群を特定する特定手段、
複数の商品の外観の特徴量を示す商品特徴量情報のうち、特定された前記商品群を照合対象とした認識処理により、前記商品取出画像に含まれる商品を認識する第１の認識手段、
として機能させるプログラム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】