(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-18
(45)【発行日】2023-12-26
(54)【発明の名称】処理装置、処理方法及びプログラム
(51)【国際特許分類】
G06Q 30/06 20230101AFI20231219BHJP
【ＦＩ】
G06Q30/06
【請求項の数】
9
(21)【出願番号】P 2021540605
(86)(22)【出願日】2019-08-22
(86)【国際出願番号】 JP2019032810
(87)【国際公開番号】W WO2021033310
(87)【国際公開日】2021-02-25
【審査請求日】2022-02-02
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】佐藤 貴美
(72)【発明者】
【氏名】岩元 浩太
(72)【発明者】
【氏名】白石 壮馬
【審査官】齊藤 貴孝
(56)【参考文献】
【文献】特開２０１６－１８５８５２（ＪＰ，Ａ）
【文献】国際公開第２０１９／１０７１５７（ＷＯ，Ａ１）
【文献】特開２０１７－１８２６５３（ＪＰ，Ａ）
【文献】国際公開第２０１９／０６５２１２（ＷＯ，Ａ１）
【文献】特開２０１７－２１５７８４（ＪＰ，Ａ）
【文献】国際公開第２０１７／０８３４２４（ＷＯ，Ａ１）
【文献】特開２０１６－１１５２９５（ＪＰ，Ａ）
【文献】特開２０１６－０６２５４５（ＪＰ，Ａ）
【文献】赤塚 隼他，<優秀賞>画像認識AIを活用した商品棚認識システム，月刊自動認識，日本，日本工業出版株式会社，2018年01月10日，第31巻 第1号，p.10-12
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００－９９／００
Ｇ０６Ｆ １６／００－１６／９５８
(57)【特許請求の範囲】
【請求項1】
商品が陳列された棚を含む棚画像を取得する取得手段と、商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品との類似度が第１の基準値以上である商品を前記棚画像内で検索する検索手段と、
検索された商品の中の前記類似度が第２の基準値以上という所定条件を満たさない商品の前記棚画像内の画像と前記商品データベースに登録された画像との差分を判定する判定手段と、
差分があると判定された商品を通知する処理手段と、
を有し、
前記第２の基準値は前記第１の基準値より大きい処理装置。
【請求項2】
前記判定手段は、検索された商品の前記棚画像内の画像と前記商品データベースに登録された画像とを表示装置に表示させた後、前記差分を示すユーザ入力を受付ける請求項１に記載の処理装置。
【請求項3】
前記判定手段は、検索された商品の前記棚画像内の画像と前記商品データベースに登録された画像との類似度に基づき、前記差分を判定する請求項１に記載の処理装置。
【請求項4】
前記処理手段は、差分があると判定された商品の前記棚画像内の画像を、前記商品データベースに登録する請求項１から３のいずれか１項に記載の処理装置。
【請求項5】
前記検索手段は、前記商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録されていないが、前記商品データベースに登録されている商品との類似度が所定値以上である類似商品を前記棚画像内で検索し、前記処理手段は、前記類似商品を通知する請求項１から４のいずれか１項に記載の処理装置。
【請求項6】
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品を通知する登録手段をさらに有する請求項１から５のいずれか１項に記載の処理装置。
【請求項7】
前記登録手段は、前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、
特定した領域内の画像を前記商品データベースに登録する請求項６に記載の処理装置。
【請求項8】
コンピュータが、商品が陳列された棚を含む棚画像を取得し、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品との類似度が第１の基準値以上である商品を前記棚画像内で検索し、
検索された商品の中の前記類似度が第２の基準値以上という所定条件を満たさない商品の前記棚画像内の画像と前記商品データベースに登録された画像との差分を判定し、
差分があると判定された商品を通知し、
前記第２の基準値は前記第１の基準値より大きい処理方法。
【請求項9】
コンピュータを、商品が陳列された棚を含む棚画像を取得する取得手段、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品との類似度が第１の基準値以上である商品を前記棚画像内で検索する検索手段、
検索された商品の中の前記類似度が第２の基準値以上という所定条件を満たさない商品の前記棚画像内の画像と前記商品データベースに登録された画像との差分を判定する判定手段、
差分があると判定された商品を通知する処理手段、
として機能させ、
前記第２の基準値は前記第１の基準値より大きいプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、処理装置、処理方法及びプログラムに関する。
【背景技術】
【0002】
特許文献１乃至３は、会計対象の商品を撮影した画像と予め登録された各商品の参照画像とに基づき会計対象の商品を認識・登録する技術において、複数のカメラで複数の向きから会計対象の商品を撮影する技術を開示している。
【0003】
特許文献４は、会計対象の商品を撮影した画像と予め登録された各商品の参照画像とに基づき会計対象の商品を認識・登録する技術において、鏡を利用して会計対象の商品の複数の外面を撮影する技術を開示している。
【0004】
特許文献５は、カメラが生成した画像と、バーコードリーダで読み取られた商品識別情報とを紐付ける技術を開示している。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１７－２２０１９８号公報
【文献】特開２０１７－６２７０３号公報
【文献】特開２０１６－１１０５３７号公報
【文献】国際公開第２０１５／１４０８５５号
【文献】特開２００４－３０４０９号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
会計対象の商品を撮影した画像と予め登録された各商品の参照画像とに基づき会計対象の商品を認識・登録する技術においては、各商品の参照画像を事前にデータベースに登録しておく必要がある。そして、リニューアルによる商品パッケージのデザイン変更や、店舗での取扱商品の追加等に応じて、データベースを更新する必要がある。従来、参照画像を更新／登録すべき商品を容易に把握する手段が存在しなかった。特許文献１乃至５はいずれも、当該課題及びその解決手段を記載も示唆もしていない。
【0007】
本発明の課題は、参照画像を更新／登録すべき商品を容易に把握する技術を実現することである。
【課題を解決するための手段】
【0008】
本発明によれば、
商品が陳列された棚を含む棚画像を取得する取得手段と、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段と、
前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との間の差分の有無を判定する判定手段と、
差分があると判定された商品を通知する処理手段と、
を有する処理装置が提供される。
商品が陳列された棚を含む棚画像を取得する取得手段と、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段と、
前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との間の差分の有無を判定する判定手段と、
差分があると判定された商品を通知する処理手段と、
を有する処理装置が提供される。
【0009】
また、本発明によれば、
コンピュータが、
商品が陳列された棚を含む棚画像を取得し、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索し、
前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との間の差分の有無を判定し、
差分があると判定された商品を通知する処理方法が提供される。
コンピュータが、
商品が陳列された棚を含む棚画像を取得し、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索し、
前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との間の差分の有無を判定し、
差分があると判定された商品を通知する処理方法が提供される。
【0010】
また、本発明によれば、
コンピュータを、
商品が陳列された棚を含む棚画像を取得する取得手段、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段、
前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との間の差分の有無を判定する判定手段、
差分があると判定された商品を通知する処理手段、
として機能させるプログラムが提供される。
コンピュータを、
商品が陳列された棚を含む棚画像を取得する取得手段、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段、
前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との間の差分の有無を判定する判定手段、
差分があると判定された商品を通知する処理手段、
として機能させるプログラムが提供される。
【0011】
また、本発明によれば、
商品が陳列された棚を含む棚画像を取得する取得手段と、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段と、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する登録手段と、
を有する処理装置が提供される。
商品が陳列された棚を含む棚画像を取得する取得手段と、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段と、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する登録手段と、
を有する処理装置が提供される。
【0012】
また、本発明によれば、
コンピュータが、
商品が陳列された棚を含む棚画像を取得し、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索し、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する処理方法が提供される。
コンピュータが、
商品が陳列された棚を含む棚画像を取得し、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索し、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する処理方法が提供される。
【0013】
また、本発明によれば、
コンピュータを、
商品が陳列された棚を含む棚画像を取得する取得手段、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する登録手段、
として機能させるプログラムが提供される。
コンピュータを、
商品が陳列された棚を含む棚画像を取得する取得手段、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する登録手段、
として機能させるプログラムが提供される。
【発明の効果】
【0014】
本発明によれば、参照画像を更新／登録すべき商品を容易に把握する技術が実現される。
【図面の簡単な説明】
【0015】
上述した目的、および、その他の目的、特徴および利点は、以下に述べる好適な実施の形態、および、それに付随する以下の図面によって、さらに明らかになる。
【0016】
【図1】本実施形態の処理装置の機能ブロック図の一例である。
【図2】本実施形態の処理装置のハードウエア構成の一例を示す図である。
【図3】棚画像の一例を模式的に示す図である。
【図4】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。
【図5】本実施形態の処理装置が出力する情報の一例を模式的に示す図である。
【図6】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。
【図7】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。
【図8】本実施形態の処理装置の機能ブロック図の一例である。
【図9】本実施形態の処理装置が出力する情報の一例を模式的に示す図である。
【図10】本実施形態の処理装置の機能ブロック図の一例である。
【発明を実施するための形態】
【0017】
＜第１の実施形態＞
本実施形態の処理装置は、店舗内の棚を撮影した棚画像で示される各商品の外観と、商品データベースに登録された画像で示される各商品の外観との間における差分の有無を判定し、差分があると判定した商品をユーザに通知する点を特徴とする。以下、詳細に説明する。
本実施形態の処理装置は、店舗内の棚を撮影した棚画像で示される各商品の外観と、商品データベースに登録された画像で示される各商品の外観との間における差分の有無を判定し、差分があると判定した商品をユーザに通知する点を特徴とする。以下、詳細に説明する。
【0018】
図１に、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、検索部１２と、判定部１３と、処理部１４と、記憶部１５とを有する。なお、処理装置１０は記憶部１５を有さなくてもよい。この場合、処理装置１０と通信可能に構成された外部装置が記憶部１５を備える。
【0019】
処理装置１０の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【0020】
図２は、処理装置１０のハードウエア構成を例示するブロック図である。図２に示すように、処理装置１０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置１０は周辺回路４Ａを有さなくてもよい。なお、処理装置１０は物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び／又は論理的に一体となった１つの装置で構成されてもよい。処理装置１０が物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。
【0021】
バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサー、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
【0022】
【0023】
例えば、複数の棚の複数のエリア各々を撮影する位置及び向きで、複数のカメラが店舗内に設置されてもよい。そして、カメラは、所定のタイミングで棚を撮影し、撮影した棚画像を処理装置１０に送信してもよい。カメラが撮影する所定のタイミングは、予め定められたタイミングであってもよい。予め定められたタイミングは、例えば、「毎日１回所定の時刻」や、「毎日複数回所定の時刻」等が考えられる。所定の時刻は、新たな商品が店舗に入荷され、棚への陳列が終了する予定時刻の直後であってもよい。また、カメラが撮影する所定のタイミングは、オペレータ（店員等）が撮影指示を入力したタイミングであってもよい。この場合、オペレータは、任意の装置（処理装置１０、スマートフォン、パーソナルコンピュータ、タブレット端末等）に撮影指示を入力してもよい。そして、当該任意の装置は、入力された撮影指示をカメラに送信してもよい。
【0024】
その他、オペレータがカメラやカメラ機能を備える携帯端末（例：タブレット端末、スマートフォン、携帯電話等）を持って店内を移動しながら、複数の棚の複数のエリア各々を手動で撮影してもよい。その他、カメラ機能及び移動手段を備えるロボットが、店内を移動しながら、複数の棚の複数のエリア各々を撮影してもよい。そして、撮影された棚画像が、任意の手段で処理装置１０に入力されてもよい。なお、カメラ、カメラ機能を備える携帯端末又はロボットは通信ネットワークを介して処理装置１０と通信する通信機能を備えてもよい。そして、カメラ、カメラ機能を備える携帯端末又はロボットは、通信ネットワークを介して、棚画像を処理装置１０に送信してもよい。処理装置１０は、サーバ（例；クラウドサーバ）として機能することができる。
【0025】
なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等を含んでもよい。また、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること等を含んでもよい。また、「取得」とは、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」を含んでもよい。
【0026】
図１に戻り、検索部１２は、商品データベースに登録された複数の商品各々の画像に基づき、商品データベースに登録された商品を棚画像内で検索する。検索部１２は、商品データベースに登録された複数の商品各々の画像に基づくパターンマッチングで、商品データベースに登録された商品を棚画像内で検索することができる。例えば、検索部１２は、商品データベースに登録された各商品の画像との類似度が所定値Ｍ１以上である棚画像内の領域を検索することで、各商品が存在する棚画像内の領域を特定することができる。類似度は、例えば０～１００％の値で示されてもよいし（１００％に近づくほど類似している）、０～１の値で示されてもよいし（１に近づくほど類似している）、その他の手法で表されてもよい。Ｍ１の詳細は設計的事項であるが、例えば類似度が０～１００％で示される場合、Ｍ１は例えば８０～９０％の間の任意の値としてもよい。Ｍ１を適切な値に調整することで、商品データベースに登録された商品の画像と一致する領域のみならず、よく類似する領域をも棚画像内で検索できる。このため、リニューアル等で商品パッケージのデザインがわずかに変更された商品が棚画像内に含まれており、かつ、商品データベースに商品パッケージのデザイン変更前の商品画像が登録されている場合に、デザイン変更前の商品画像に基づく検索により、デザイン変更後の商品が存在する領域を検索することが可能となる。
【0027】
図４に商品データベースに登録された情報の一例を模式的に示す。図示する商品データベースでは、複数の商品を互いに識別する商品識別情報と、商品名と、単価と、各商品の外観画像の識別情報（画像ファイル名等）とが互いに対応付けられている。なお、商品データベースは、その他の情報を含んでもよい。記憶部１５がこれらの情報を記憶する。この商品データベースは、例えば、ＰＯＳ（point of sales）による会計処理で利用される。
【0028】
図１に戻り、判定部１３は、棚画像内の検索された商品の画像と、検索された商品の商品データベースに登録された画像との間の差分の有無（商品の外観の差分の有無）を判定する。
【0029】
具体的には、判定部１３は、棚画像内の検索された商品の画像と、検索された商品の商品データベースに登録された画像とを表示装置に表示させる。そして、判定部１３は、２つの画像の間の差分の有無を示すユーザ入力を受付ける。例えば、判定部１３は、図５に示すように、当該２つの画像を並べるとともに、差分の有無を示すユーザ入力を受付けるためのＵＩ部品を表示した画面を表示装置に表示させる。棚画像内の検索された商品の画像は、棚画像の中から検索された商品が存在する領域のみを切り出した画像であってもよい。表示装置は、処理装置１０のディスプレイであってもよいし、処理装置１０と通信可能に構成された外部装置（オペレータが操作する携帯端末（例：タブレット端末、スマートフォン、携帯電話等）、パーソナルコンピュータ、店舗のバックヤードにある店舗端末等）であってもよい。なお、表示装置が当該外部装置である場合、外部装置は、上述した図５に示す画面を表示するとともに、差分の有無を示すユーザ入力を受付ける。そして、外部装置は、受付けたユーザ入力の内容を処理装置１０に送信する。すなわち、判定部１３は、外部装置を介して、差分の有無を示すユーザ入力を受付ける。
【0030】
なお、図５に示す画面において、判定部１３は、２つの画像の類似度を表示してもよい。また、判定部１３は、図５に示す画面において、パターンマッチングにより互いに対応すると判定された箇所（一致する箇所）同志を繋ぐ対応線を表示してもよい。また、判定部１３は、図５に示す画面において、上記対応線の数を表示してもよい。
【0031】
このように、判定部１３は、陳列されている各商品を撮影して生成された画像と、商品データベースに登録されている各商品の画像とを容易に比較できる画面を生成し、オペレータに提供することができる。そして、オペレータから、２つの画像の間の差分の有無を示すユーザ入力を受付けることができる。
【0032】
図１に戻り、処理部１４は、差分があると判定された商品をオペレータに通知する。例えば、処理部１４は、差分があると判定された商品を登録する。そして、処理部１４は、任意のタイミングで、登録内容をオペレータに通知する。
【0033】
例えば、商品データベースの項目の中には、差分があると判定された商品を識別するための差分有フラグが含まれてもよい。そして、処理部１４は、差分があると判定された商品の差分有フラグを立ててもよい。オペレータは、任意のタイミングで、処理装置１０に対して、差分があると判定された商品を確認する入力を行う。処理部１４は、オペレータの操作に応じて商品データベースを確認し、差分有フラグが立っている商品、すなわち差分があると判定された商品をオペレータに通知する。
【0034】
その他、処理部１４は、差分があると判定された商品を識別する情報（商品名等）を、オペレータが操作する携帯端末（例：タブレット端末、スマートフォン、携帯電話等）や、店舗のバックヤードにある店舗端末等に送信し、表示させてもよい。
【0035】
次に、図６のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。
【0036】
まず、取得部１１は、商品が陳列された棚を含む棚画像を取得する（Ｓ１０）。例えば、取得部１１は、図３に示すような棚画像を取得する。
【0037】
次いで、検索部１２は、商品データベースに登録された複数の商品各々の画像に基づき、商品データベースに登録された商品を棚画像内で検索する（Ｓ１１）。例えば、検索部１２は、商品データベースに登録された複数の商品各々の画像に基づくパターンマッチングで、商品データベースに登録された各商品の画像との類似度が所定値Ｍ１以上である棚画像内の領域を検索することで、各商品が存在する棚画像内の領域を特定する。Ｍ１を適切な値に調整することで、商品データベースに登録された各商品の画像と一致する領域のみならず、よく類似する領域をも棚画像内で検索できる。このため、リニューアル等で商品パッケージのデザインがわずかに変更された商品が棚画像内に含まれており、かつ、商品データベースに商品パッケージのデザイン変更前の商品画像が登録されている場合に、デザイン変更前の商品画像に基づく検索により、デザイン変更後の商品が存在する領域を検索することが可能となる。
【0038】
次いで、判定部１３は、棚画像内の検索された商品の画像と、検索された商品の商品データベースに登録された画像との間の差分の有無を判定する（Ｓ１２）。
【0039】
ここで、Ｓ１２の処理の流れの一例を、図７のフローチャートを用いて説明する。まず、判定部１３は、図５に示すように、棚画像内の検索された商品の画像と、検索された商品の商品データベースに登録された画像とを表示装置に表示させる（Ｓ２０）。そして、判定部１３は、２つの画像の間の差分の有無を示すユーザ入力を受付ける（Ｓ２１）。Ｓ１０で取得した棚画像内で複数の商品が検索された場合、判定部１３は、検索された商品毎に、Ｓ２０及びＳ２１の処理を行うことができる。
【0040】
図６に戻り、Ｓ１２の後、処理部１４は、差分があると判定された商品をオペレータに通知するための処理を行う（Ｓ１３）。例えば、処理部１４は、差分があると判定された商品を登録する。そして、処理部１４は、その後の任意のタイミングで、登録内容をオペレータに通知する。
【0041】
ここで、本実施形態の変形例を説明する。処理部１４は、差分があると判定された商品の棚画像内の画像を商品データベースに登録してもよい。このようにすれば、上記通知に応じてオペレータがその商品を所定の撮影条件で撮影し、商品データベースにおけるその商品の画像を更新するまでの間、棚画像に基づき商品データベースの画像を暫定的に更新することができる。結果、会計対象の商品を認識・登録する処理における認識処理の精度を向上させることができる。
【0042】
以上説明した本実施形態の処理装置１０は、商品が陳列された棚を含む棚画像内から各商品を検索し、検索した商品の棚画像内の画像と商品データベースに登録されている画像との間に差分が有るか否か（商品パッケージのデザイン変更の有無）を判定することができる。実際に棚に陳列されている商品の画像と、商品データベースに登録されている画像との比較に基づき上記判定を行うことができるので、高精度、かつ、比較的容易に、商品パッケージのデザイン変更の有無を判定することができる。
【0043】
また、処理装置１０は、図５に示すように、検索した商品の棚画像内の画像と商品データベースに登録されている画像とを並べて表示するとともに、その２つの画像の間に差分が有るか否かの入力をオペレータから受付けることができる。この場合、オペレータが行うべき作業は、表示された２つの画像を見比べ、差分が有るか否かの入力を行うだけとなる。このように、本実施形態の処理装置１０によれば、オペレータによる比較的簡単な作業により、商品パッケージのデザイン変更の有無を判定することができる。
【0044】
また、処理装置１０は、図５に示すように検索した商品の棚画像内の画像と商品データベースに登録されている画像とを並べて表示するとともに、表示させた２つの画像の類似度を表示したり、パターンマッチングにより互いに対応すると判定された箇所（一致する箇所）同志を繋ぐ対応線を表示したり、上記対応線の数を表示したりできる。このようは補助的な情報により、オペレータは、２つの画像の間に差分が有るか否かを、高精度、かつ、比較的容易に判断することができる。
【0045】
＜第２の実施形態＞
本実施形態の処理装置１０は、判定部１３の構成が第１の実施形態と異なる。以下、当該点を説明する。
本実施形態の処理装置１０は、判定部１３の構成が第１の実施形態と異なる。以下、当該点を説明する。
【0046】
処理装置１０の機能ブロック図の一例は、図１で示される。処理装置１０は、取得部１１と、検索部１２と、判定部１３と、処理部１４と、記憶部１５とを有する。なお、処理装置１０は記憶部１５を有さなくてもよい。この場合、処理装置１０と通信可能に構成された外部装置が記憶部１５を備える。
【0047】
判定部１３は、検索部１２により検索された商品の中の、棚画像内の画像と商品データベースに登録された画像との間の外観の類似度が所定条件を満たす商品に対しては、上記差分の有無を判定する処理を行わない。そして、判定部１３は、検索された商品の中の当該所定条件を満たさない商品に対してのみ、上記差分の有無を判定する処理を行う。
【0048】
所定条件は、「棚画像内の画像と商品データベースに登録された画像との間の外観の類似度が所定値Ｍ２以上（なお、Ｍ２＞Ｍ１）」である。Ｍ１及びＭ２の詳細は設計的事項であるが、例えば類似度が０～１００％で示される場合、Ｍ１は例えば８０～９０％の間の任意の値とし、Ｍ２は例えば９８％以上の任意の値としてもよい。
【0049】
当該類似度が非常に高い場合、棚画像内の画像と商品データベースに登録された画像との間には差分がないと推定できる。このような商品に対しては判定部１３による上記判定処理を省略することで、コンピュータやオペレータの負担を軽減できる。
【0050】
判定部１３のその他の構成は、第１の実施形態と同様である。また、取得部１１、検索部１２、処理部１４及び記憶部１５の構成は、第１の実施形態と同様である。さらに、処理装置１０のハードウエア構成の一例、及び、処理の流れの一例は、第１の実施形態と同様である。
【0051】
以上、本実施形態の処理装置１０によれば、第１の実施形態の処理装置１０と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、判定部１３による判定処理を必要な商品に対してのみ行うことができるので、コンピュータやオペレータの負担を軽減できる。
【0052】
＜第３の実施形態＞
本実施形態の処理装置１０は、判定部１３の構成が第１及び第２の実施形態と異なる。以下、当該点を説明する。
本実施形態の処理装置１０は、判定部１３の構成が第１及び第２の実施形態と異なる。以下、当該点を説明する。
【0053】
処理装置１０の機能ブロック図の一例は、図１で示される。処理装置１０は、取得部１１と、検索部１２と、判定部１３と、処理部１４と、記憶部１５とを有する。なお、処理装置１０は記憶部１５を有さなくてもよい。この場合、処理装置１０と通信可能に構成された外部装置が記憶部１５を備える。
【0054】
判定部１３は、棚画像内の検索された商品の画像と、検索された商品の商品データベースに登録された画像との類似度に基づき、２つの画像の間の差分の有無を判定する。例えば、判定部１３は、当該類似度が、Ｍ１より大かつＭ３より小の場合（なお、Ｍ２＞Ｍ３＞Ｍ１）、２つの画像の間に差分があると判定してもよい。Ｍ１及びＭ３の詳細は設計的事項であるが、例えば類似度が０～１００％で示される場合、Ｍ１は例えば８０～９０％の間の任意の値とし、Ｍ３は例えば８０～９３％未満の任意の値としてもよい。
【0055】
取得部１１、検索部１２、処理部１４及び記憶部１５の構成は、第１の実施形態と同様である。さらに、処理装置１０のハードウエア構成の一例、及び、処理の流れの一例は、第１の実施形態と同様である。
【0056】
以上、本実施形態の処理装置１０によれば、第１の実施形態の処理装置１０と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、判定部１３による判定処理を自動化できるので、オペレータの負担を軽減できる。
【0057】
＜第４の実施形態＞
本実施形態の処理装置１０は、検索部１２及び処理部１４の構成が第１乃至第３の実施形態と異なる。以下、当該点を説明する。
本実施形態の処理装置１０は、検索部１２及び処理部１４の構成が第１乃至第３の実施形態と異なる。以下、当該点を説明する。
【0058】
処理装置１０の機能ブロック図の一例は、図１で示される。処理装置１０は、取得部１１と、検索部１２と、判定部１３と、処理部１４と、記憶部１５とを有する。なお、処理装置１０は記憶部１５を有さなくてもよい。この場合、処理装置１０と通信可能に構成された外部装置が記憶部１５を備える。
【0059】
検索部１２は、商品データベースに登録された複数の商品各々の画像に基づき、商品データベースに登録されていないが、商品データベースに登録されている商品との類似度が所定値以上である類似商品を棚画像内で検索する。例えば、検索部１２は、商品データベースに登録された複数の商品各々の画像に基づくパターンマッチングで、商品データベースに登録された各商品の画像との類似度が所定値Ｍ４以上かつＭ１未満（なお、Ｍ１＞Ｍ４）である棚画像内の領域を検索することで、類似商品が存在する棚画像内の領域を特定する。Ｍ１及びＭ４の詳細は設計的事項であるが、例えば類似度が０～１００％で示される場合、Ｍ１は例えば８０～９０％の間の任意の値とし、Ｍ３４例えば６０～８０％の間の任意の値としてもよい。
【0060】
処理部１４は、類似商品をオペレータに通知する。すなわち、処理部１４は、商品データベースに登録されていないが、商品データベースに登録されている商品と類似する類似商品の存在をオペレータに通知する。処理部１４は、当該通知において、類似商品の棚画像内の画像を出力してもよい。また、処理部１４は、商品データベースに登録されている商品の中の類似商品と類似していると判断された商品を識別する情報を、オペレータに通知してもよい。なお、処理部１４は、類似商品を登録し、任意のタイミングで、登録内容に基づき上記通知を行ってもよい。
【0061】
処理部１４は、ディスプレイ、スピーカ、メーラ、プリンター等の任意の出力装置を介して、当該通知を実現する。
【0062】
検索部１２及び処理部１４のその他の構成は、第１の実施形態と同様である。また、取得部１１、判定部１３及び記憶部１５の構成は、第１乃至第３の実施形態のいずれかと同様である。さらに、処理装置１０のハードウエア構成の一例、及び、処理の流れの一例は、第１の実施形態と同様である。
【0063】
以上、本実施形態の処理装置１０によれば、第１乃至第３の実施形態の処理装置１０と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、棚画像の中から、商品データベースに登録されていないが、商品データベースに登録されている商品と類似する類似商品を検索し、オペレータに通知することができる。
【0064】
商品データベースに登録されていない商品は、会計対象の商品を撮影した画像と予め登録された各商品の参照画像とに基づき会計対象の商品を認識・登録する処理において、認識されないはずである。しかし、会計対象となった商品が、商品データベースに登録されている商品と類似する類似商品である場合、誤って他の商品として認識される恐れがある。本実施形態の処理装置１０によれば、このように誤認識される恐れがあり、商品データベースへの登録を迅速に行う必要がある商品（類似商品）を検索し、オペレータに通知することができる。
【0065】
＜第５の実施形態＞
本実施形態の処理装置は、商品が陳列された棚を含む棚画像に基づき、商品データベースに登録されていない商品の有無をオペレータが認識できるようにするための機能を備える。以下、詳細に説明する。
本実施形態の処理装置は、商品が陳列された棚を含む棚画像に基づき、商品データベースに登録されていない商品の有無をオペレータが認識できるようにするための機能を備える。以下、詳細に説明する。
【0066】
図８に、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、検索部１２と、判定部１３と、処理部１４と、記憶部１５と、登録部１６を有する。なお、処理装置１０は記憶部１５を有さなくてもよい。この場合、処理装置１０と通信可能に構成された外部装置が記憶部１５を備える。
【0067】
登録部１６は、棚画像に含まれる商品の中の商品データベースに登録されていない商品をオペレータに通知する。例えば、登録部１６は、図９に示すように、棚画像と、棚画像に重畳した枠Ｗとを示す画面を表示装置に表示させることで、当該通知を行う。枠Ｗは、検索部１２により検索された「商品データベースに登録されている商品」の表示領域に対応して表示される。例えば、当該表示領域を囲う枠Ｗが表示されてもよい。このような画面によれば、棚画像に含まれる商品の中の対応する枠Ｗが表示されていない商品２１を、商品データベースに登録されていない商品として、オペレータに通知することができる。
【0068】
なお、登録部１６は、棚画像に含まれる商品の中の商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を、新たな商品の画像として商品データベースに登録してもよい。例えば、登録部１６は、棚画像上でオペレータが指定した領域を、商品データベースに登録されていない商品が存在する領域として特定することができる。なお、登録部１６は、新たな商品の画像を、ユーザにより入力された商品識別情報に紐付けて登録することができる。
【0069】
取得部１１、検索部１２、判定部１３、処理部１４及び記憶部１５の構成は、第１乃至第４の実施形態のいずれかと同様である。さらに、処理装置１０のハードウエア構成の一例、及び、処理の流れの一例は、第１の実施形態と同様である。
【0070】
以上、本実施形態の処理装置１０によれば、第１乃至第４の実施形態の処理装置１０と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、棚画像に含まれる商品の中の商品データベースに登録されていない商品をオペレータに通知することができる。このため、オペレータは、棚に陳列されているが、商品データベースに登録されていない商品を容易に把握することができる。
【0071】
＜第６の実施形態＞
図１０に、本実施形態の処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、検索部１２と、記憶部１５と、登録部１６とを有する。なお、処理装置１０は記憶部１５を有さなくてもよい。この場合、処理装置１０と通信可能に構成された外部装置が記憶部１５を備える。
図１０に、本実施形態の処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、検索部１２と、記憶部１５と、登録部１６とを有する。なお、処理装置１０は記憶部１５を有さなくてもよい。この場合、処理装置１０と通信可能に構成された外部装置が記憶部１５を備える。
【0072】
取得部１１、検索部１２、記憶部１５及び登録部１６の構成は、第１乃至第５の実施形態のいずれかと同様である。さらに、処理装置１０のハードウエア構成の一例、及び、処理の流れの一例は、第１の実施形態と同様である。
【0073】
以上、本実施形態の処理装置１０によれば、第１乃至第５の実施形態の処理装置１０と同様の作用効果が実現される。
【0074】
以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0075】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１． 商品が陳列された棚を含む棚画像を取得する取得手段と、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段と、
前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との差分を判定する判定手段と、
差分があると判定された商品を通知する処理手段と、
を有する処理装置。
２． 前記判定手段は、前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像とを表示装置に表示させた後、前記差分を示すユーザ入力を受付ける１に記載の処理装置。
３． 前記判定手段は、前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との類似度に基づき、前記差分を判定する１に記載の処理装置。
４． 前記判定手段は、前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との類似度が所定条件を満たさない場合、前記差分を判定する１から３のいずれかに記載の処理装置。
５． 前記処理手段は、差分があると判定された商品の前記棚画像内の画像を、前記商品データベースに登録する１から４のいずれかに記載の処理装置。
６． 前記検索手段は、前記商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録されていないが、前記商品データベースに登録されている商品との類似度が所定値以上である類似商品を前記棚画像内で検索し、
前記処理手段は、前記類似商品を通知する１から５のいずれかに記載の処理装置。
７． 前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品を通知する登録手段をさらに有する１から６のいずれかに記載の処理装置。
８． 前記登録手段は、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、
特定した領域内の画像を前記商品データベースに登録する７に記載の処理装置。
９． コンピュータが、
商品が陳列された棚を含む棚画像を取得し、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索し、
前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との差分を判定し、
差分があると判定された商品を通知する処理方法。
１０． コンピュータを、
商品が陳列された棚を含む棚画像を取得する取得手段、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段、
前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との差分を判定する判定手段、
差分があると判定された商品を通知する処理手段、
として機能させるプログラム。
１１． 商品が陳列された棚を含む棚画像を取得する取得手段と、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段と、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する登録手段と、
を有する処理装置。
１２． コンピュータが、
商品が陳列された棚を含む棚画像を取得し、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索し、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する処理方法。
１３． コンピュータを、
商品が陳列された棚を含む棚画像を取得する取得手段、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する登録手段、
として機能させるプログラム。
１． 商品が陳列された棚を含む棚画像を取得する取得手段と、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段と、
前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との差分を判定する判定手段と、
差分があると判定された商品を通知する処理手段と、
を有する処理装置。
２． 前記判定手段は、前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像とを表示装置に表示させた後、前記差分を示すユーザ入力を受付ける１に記載の処理装置。
３． 前記判定手段は、前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との類似度に基づき、前記差分を判定する１に記載の処理装置。
４． 前記判定手段は、前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との類似度が所定条件を満たさない場合、前記差分を判定する１から３のいずれかに記載の処理装置。
５． 前記処理手段は、差分があると判定された商品の前記棚画像内の画像を、前記商品データベースに登録する１から４のいずれかに記載の処理装置。
６． 前記検索手段は、前記商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録されていないが、前記商品データベースに登録されている商品との類似度が所定値以上である類似商品を前記棚画像内で検索し、
前記処理手段は、前記類似商品を通知する１から５のいずれかに記載の処理装置。
７． 前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品を通知する登録手段をさらに有する１から６のいずれかに記載の処理装置。
８． 前記登録手段は、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、
特定した領域内の画像を前記商品データベースに登録する７に記載の処理装置。
９． コンピュータが、
商品が陳列された棚を含む棚画像を取得し、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索し、
前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との差分を判定し、
差分があると判定された商品を通知する処理方法。
１０． コンピュータを、
商品が陳列された棚を含む棚画像を取得する取得手段、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段、
前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との差分を判定する判定手段、
差分があると判定された商品を通知する処理手段、
として機能させるプログラム。
１１． 商品が陳列された棚を含む棚画像を取得する取得手段と、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段と、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する登録手段と、
を有する処理装置。
１２． コンピュータが、
商品が陳列された棚を含む棚画像を取得し、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索し、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する処理方法。
１３． コンピュータを、
商品が陳列された棚を含む棚画像を取得する取得手段、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する登録手段、
として機能させるプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】