特許 7476905 処理装置、処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-22

(45)【発行日】2024-05-01

(54)【発明の名称】処理装置、処理方法及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240423BHJP

   G08B 25/00 20060101ALI20240423BHJP

   A47F 5/00 20060101ALI20240423BHJP

   G06Q 30/06 20230101ALI20240423BHJP

【ＦＩ】

H04N7/18 K

G08B25/00 510M

A47F5/00 Z

G06Q30/06

【請求項の数】 14

(21)【出願番号】P 2021554913

(86)(22)【出願日】2020-10-29

(86)【国際出願番号】 JP2020040581

(87)【国際公開番号】W WO2021090753

(87)【国際公開日】2021-05-14

【審査請求日】2023-09-07

(31)【優先権主張番号】P 2019200590

(32)【優先日】2019-11-05

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】内村 淳

(72)【発明者】

【氏名】田原 裕司

(72)【発明者】

【氏名】富田 莉奈

(72)【発明者】

【氏名】加増 康代

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２０１７－１８２６５３（ＪＰ，Ａ）

【文献】特開２０１８－１５１８１９（ＪＰ，Ａ）

【文献】特開２０１８－１３３０４２（ＪＰ，Ａ）

【文献】特開２００８－００５３９９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２５／００

Ａ４７Ｆ ５／００

Ｇ０６Ｑ ３０／０６

(57)【特許請求の範囲】

【請求項1】

店舗に関連する管理対象を含む撮影画像を取得する取得手段と、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段と、
前記異物領域の大きさに応じて、警告処理を実行する警告手段と、
を有し、
前記異物領域検出手段は、前記撮影画像に含まれる前記管理対象において指定色と異なる色である領域を前記異物領域として検出する処理装置。

【請求項2】

前記異物領域検出手段は、前記指定色と異なる色である領域に許可物が存在するか判断し、前記許可物が存在しないと判断した前記指定色と異なる領域を前記異物領域として検出する請求項１に記載の処理装置。

【請求項3】

店舗に関連する管理対象を含む撮影画像を取得する取得手段と、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段と、
前記異物領域の大きさが基準値以上である場合、警告処理を実行する警告手段と、
を有し、
前記取得手段は、所定位置に固定されたカメラが生成した前記撮影画像を取得し、
前記基準値は、前記撮影画像内の位置毎に定められており、
前記警告手段は、検出された前記異物領域の前記撮影画像内の位置に基づき前記基準値を決定し、検出された前記異物領域の大きさが決定した前記基準値以上であるか判断する処理装置。

【請求項4】

店舗に関連する管理対象を含む撮影画像を取得する取得手段と、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段と、
前記異物領域の大きさが基準値以上である場合、警告処理を実行する警告手段と、
を有し、
前記取得手段は、所定位置に固定された複数のカメラが生成した前記撮影画像を取得し、
前記基準値は、前記カメラ毎に定められており、
前記警告手段は、検出された前記異物領域を含む前記撮影画像を生成した前記カメラに基づき前記基準値を決定し、検出された前記異物領域の大きさが決定した前記基準値以上であるか判断する処理装置。

【請求項5】

前記異物領域検出手段は、前記撮影画像に含まれる前記管理対象において物体が存在する領域を検出した後、前記物体が存在する領域に許可物が存在するか判断し、前記許可物が存在しないと判断した前記物体が存在する領域を前記異物領域として検出する請求項３又は４に記載の処理装置。

【請求項6】

前記管理対象は商品の陳列棚であり、
前記許可物は、前記陳列棚に陳列される商品である請求項２又は５に記載の処理装置。

【請求項7】

前記許可物は、前記陳列棚の陳列エリア毎に定められている請求項６に記載の処理装置。

【請求項8】

前記警告手段は、前記異物領域の大きさが基準値以上である場合、前記警告処理を実行する請求項１又は２に記載の処理装置。

【請求項9】

コンピュータが、
店舗に関連する管理対象を含む撮影画像を取得し、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出し、
前記異物領域の大きさに応じて、警告処理を実行し、
前記異物領域を検出する処理では、前記撮影画像に含まれる前記管理対象において指定色と異なる色である領域を前記異物領域として検出する処理方法。

【請求項10】

コンピュータが、
店舗に関連する管理対象を含む撮影画像を取得し、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出し、
前記異物領域の大きさが基準値以上である場合、警告処理を実行し、
前記撮影画像を取得する処理では、所定位置に固定されたカメラが生成した前記撮影画像を取得し、
前記基準値は、前記撮影画像内の位置毎に定められており、
前記異物領域の大きさが基準値以上である場合に前記警告処理を行う処理では、検出された前記異物領域の前記撮影画像内の位置に基づき前記基準値を決定し、検出された前記異物領域の大きさが決定した前記基準値以上であるか判断する処理方法。

【請求項11】

コンピュータが、
店舗に関連する管理対象を含む撮影画像を取得し、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出し、
前記異物領域の大きさが基準値以上である場合、警告処理を実行し、
前記撮影画像を取得する処理では、所定位置に固定された複数のカメラが生成した前記撮影画像を取得し、
前記基準値は、前記カメラ毎に定められており、
前記異物領域の大きさが基準値以上である場合に前記警告処理を行う処理では、検出された前記異物領域を含む前記撮影画像を生成した前記カメラに基づき前記基準値を決定し、検出された前記異物領域の大きさが決定した前記基準値以上であるか判断する処理方法。

【請求項12】

コンピュータを、
店舗に関連する管理対象を含む撮影画像を取得する取得手段、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段、
前記異物領域の大きさに応じて、警告処理を実行する警告手段、
として機能させ、
前記異物領域検出手段は、前記撮影画像に含まれる前記管理対象において指定色と異なる色である領域を前記異物領域として検出するプログラム。

【請求項13】

コンピュータを、
店舗に関連する管理対象を含む撮影画像を取得する取得手段、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段、
前記異物領域の大きさが基準値以上である場合、警告処理を実行する警告手段、
として機能させ、
前記取得手段は、所定位置に固定されたカメラが生成した前記撮影画像を取得し、
前記基準値は、前記撮影画像内の位置毎に定められており、
前記警告手段は、検出された前記異物領域の前記撮影画像内の位置に基づき前記基準値を決定し、検出された前記異物領域の大きさが決定した前記基準値以上であるか判断するプログラム。

【請求項14】

コンピュータを、
店舗に関連する管理対象を含む撮影画像を取得する取得手段、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段、
前記異物領域の大きさが基準値以上である場合、警告処理を実行する警告手段、
として機能させ、
前記取得手段は、所定位置に固定された複数のカメラが生成した前記撮影画像を取得し、
前記基準値は、前記カメラ毎に定められており、
前記警告手段は、検出された前記異物領域を含む前記撮影画像を生成した前記カメラに基づき前記基準値を決定し、検出された前記異物領域の大きさが決定した前記基準値以上であるか判断するプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理装置、処理方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１は、店員が商品整理した後の棚の状態（基準状態）を記憶しておき、客が棚に対して行動した後の棚の状態と基準状態とを比較して変化を検出し、検出結果に応じて棚の商品整理が必要となった旨を通知する装置を開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－８１３６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

売上向上、安全確保等の観点から、店内に存在する異物を早期に検出し、それを取り除くことが望まれる。特に、近年検討されている無人店舗や省人店舗においては、店員が存在しなかったり店員の数が少なかったりするので、異物検出が遅れたり、異物の存在に気付かない等という不都合が発生し得る。なお、異物は、商品棚に置かれた商品以外の物や、商品棚の商品Ａを陳列する領域に置かれた他の商品や、店内の床、テーブル、コピー機、カウンター、店舗の駐車場等に置かれた店舗運営に関係ないもの等が挙げられる。

【0005】

本発明は、店舗に関連する管理対象に存在する異物を検出する技術を提供することを課題とする。

【課題を解決するための手段】

【0006】

本発明によれば、
店舗に関連する管理対象を含む撮影画像を取得する取得手段と、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段と、
前記異物領域の大きさに応じて、警告処理を実行する警告手段と、
を有する処理装置が提供される。

【0007】

また、本発明によれば、
コンピュータが、
店舗に関連する管理対象を含む撮影画像を取得し、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出し、
前記異物領域の大きさに応じて、警告処理を実行する処理方法が提供される。

【0008】

また、本発明によれば、
コンピュータを、
店舗に関連する管理対象を含む撮影画像を取得する取得手段、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段、
前記異物領域の大きさに応じて、警告処理を実行する警告手段、
として機能させるプログラムが提供される。

【発明の効果】

【0009】

本発明によれば、店舗に関連する管理対象に存在する異物を検出することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本実施形態の処理装置のハードウエア構成の一例を示す図である。

【図2】本実施形態の処理装置の機能ブロック図の一例である。

【図3】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。

【図4】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。

【図5】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。

【図6】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。

【図7】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。

【図8】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。

【図9】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。

【図10】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。

【図11】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。

【図12】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。

【発明を実施するための形態】

【0011】

＜第１の実施形態＞
まず、本実施形態の処理装置の概要を説明する。処理装置は、店舗に関連する管理対象を含む撮影画像を取得する。管理対象は、異物の検出／除去が望まれる対象であり、例えば商品の陳列棚、床、テーブル、コピー機、カウンター、駐車場等であるが、これらに限定されない。そして、処理装置は、撮影画像に含まれる管理対象において異物が存在する領域である異物領域を検出し、検出した異物領域の大きさに応じて、警告処理を実行する。

【0012】

このように、撮影画像に含まれる管理対象において異物領域を検出することができる処理装置によれば、管理対象に存在する異物を画像解析で自動的に検出することが可能となる。そして、処理装置は、検出した異物領域の大きさに応じて警告処理を行うことができるので、店舗運営に影響しない無視してよい大きさの異物に対する警告や、そもそも異物でない画像データのノイズに基づく誤った警告を回避することができる。

【0013】

次に、処理装置のハードウエア構成の一例を説明する。本実施形態の処理装置が備える機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

【0014】

図１は、本実施形態の処理装置のハードウエア構成を例示するブロック図である。図１に示すように、処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。なお、周辺回路４Ａは有さなくてもよい。なお、処理装置は物理的及び／又は論理的に一体となった１つの装置で構成されてもよいし、物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。

【0015】

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）等の演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイス等を含む。入力装置は、例えばキーボード、マウス、マイク、タッチパネル、物理ボタン、カメラ等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

【0016】

次に、処理装置の機能構成を説明する。図２に、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、異物領域検出部１２と、警告部１３とを有する。

【0017】

取得部１１は、店舗に関連する管理対象を含む撮影画像を取得する。管理対象は、異物の検出／除去が望まれる対象であり、商品の陳列棚、床、テーブル、コピー機、カウンター及び駐車場の中の少なくとも１つを含む。なお、管理対象はその他の対象を含んでもよい。

【0018】

取得部１１は、管理対象を撮影するカメラが生成した撮影画像を取得する。なお、取得部１１は、当該カメラが生成した撮影画像に対して編集処理を行った後の撮影画像を取得してもよい。編集処理は、利用するカメラの種類や設置したカメラの向き等に応じ必要に応じて行うことが可能であり、例えば、射影変換や、魚眼カメラで撮影した画像を平面展開する処理等が例示されるがこれらに限定されない。取得部１１が当該編集を行ってもよい。その他、処理装置１０と異なる外部装置が当該編集を行い、取得部１１は編集後の撮影画像を取得してもよい。

【0019】

カメラは、管理対象を撮影するように所定位置に固定されている。なお、カメラの向きも固定されていてもよい。カメラは動画像を連続的に撮影してもよいし、所定のタイミングで静止画像を撮影してもよい。また、複数のカメラが設置され、取得部１１は複数のカメラ各々が生成した撮影画像を取得してもよいし、１つのカメラが設置され、取得部１１はそのカメラが生成した撮影画像を取得してもよい。本実施形態は、複数のカメラが設置され、取得部１１は複数のカメラ各々が生成した撮影画像を取得するものとする。

【0020】

図３に、撮影画像Ｐの一例を模式的に示す。当該例の場合、管理対象は商品の陳列棚である。棚板１００の上に商品１０１が陳列されている状況が示されている。

【0021】

図２に戻り、異物領域検出部１２は、撮影画像に含まれる管理対象において異物領域を検出する。異物領域は、異物が存在すると推定される領域である。

【0022】

異物領域検出部１２は、撮影画像に含まれる管理対象において指定色と異なる色である領域を異物領域として検出する。なお、異物領域検出部１２は、指定色と異なる色である領域を検出した場合、その領域に許可物が存在するか判断し、許可物が存在しないと判断した指定色と異なる領域を異物領域として検出してもよい。そして、異物領域検出部１２は、指定色と異なる色の領域であるが、許可物が存在すると判断された領域を、異物領域として検出しなくてもよい。

【0023】

指定色は、管理対象毎に定められる。例えば、管理対象が商品の陳列棚である場合、指定色は、商品や物が置かれる棚板の色となる。また、管理対象が床である場合、指定色は、床の色となる。また、管理対象がテーブルである場合、指定色は、テーブルの物が置かれる台の色となる。また、管理対象がコピー機である場合、指定色は、物が置かれる可能性があるコピー機の上面の色となる。また、管理対象が駐車場である場合、指定色は、駐車場の地面の色となる。

【0024】

例えば、処理装置１０は、図４に示すように、カメラ毎に撮影画像内の管理対象が存在する領域を示す情報、及び、指定色を示す情報を記憶していてもよい。そして、異物領域検出部１２は、当該情報に基づき、各カメラが生成した撮影画像内で管理対象を特定し、特定した管理対象内で指定色と異なる色となっている領域を特定してもよい。図４に示す例では、各カメラを識別するカメラ識別情報と、撮影画像内の管理対象が存在する領域を示す管理対象情報と、各管理対象の指定色とが互いに紐付けられている。図示する管理対象情報の例では、撮影画像に対して定められた２次元座標系の座標を利用して四角形の領域を特定することで、管理対象が存在する領域を示しているが、あくまで一例であり当該手法に限定されない。図示するように、１つの撮影画像内に１つの管理対象が存在する場合もあれば、１つの撮影画像内に複数の管理対象が存在する場合もある。いずれになるかは、カメラの設置の仕方次第である。

【0025】

管理対象の指定色は、ピンポイントで１つの色を指定してもよいし、一定の幅を持たせて指定してもよい。

【0026】

許可物は、管理対象に存在することが許可される物体である。例えば、管理対象が商品の陳列棚である場合、許可物は商品である。なお、管理対象が商品の陳列棚である場合、許可物は陳列エリア毎に定められてもよい。この場合、許可物は各陳列エリアに陳列される商品である。すなわち、陳列エリアＡに陳列される商品Ａは、陳列エリアＡにおいては許可物であるが、陳列エリアＢにおいては許可物でない。

【0027】

また、管理対象が床である場合、許可物は、床に一時的に配置される配送物等である。また、管理対象がテーブルである場合、許可物は、商品や客の荷物等である。また、管理対象がコピー機である場合、許可物は、客の荷物やコピー用紙等である。また、管理対象が駐車場である場合、許可物は、自動車や二輪車等である。

【0028】

例えば、処理装置１０は、図５に示すように、カメラ毎に許可物を示す情報を記憶していてもよい。そして、異物領域検出部１２は、当該情報に基づき、各カメラが生成した撮影画像に含まれる管理対象における許可物を把握してもよい。なお、商品の陳列棚のように、１つの管理対象を複数の領域（複数の陳列エリア）に分類し、領域毎に許可物を指定する場合、図示するカメラ識別情報「Ｃ００１」の例のように、撮影画像内で領域を指定し、指定した領域毎に許可物を紐付けて記録することができる。

【0029】

指定色と異なる色である領域に許可物が存在するか否かの判断手法は特段制限されず、あらゆる画像解析処理を利用することができる。例えば、機械学習により、画像から、物品種別（例：おにぎり、弁当、自動車、二輪車、客の荷物等）を推定する推定モデルが予め生成されていてもよい。そして、異物領域検出部１２は、指定色と異なる色である領域の画像を当該推定モデルに入力することで当該領域に存在する物品種別を推定し、推定結果に基づき、指定色と異なる色である領域に許可物が存在するか否かを判断してもよい。

【0030】

その他、管理対象が商品の陳列棚である場合、陳列エリア毎に予め処理装置１０に登録されている許可物の画像（テンプレート画像）と、指定色と異なる色である領域の画像との照合処理（テンプレートマッチング等）により、指定色と異なる色である領域に許可物が存在するか否かを判断してもよい。

【0031】

図２に戻り、警告部１３は、異物領域検出部１２により検出された異物領域の大きさに応じて、警告処理を実行する。具体的には、警告部１３は、異物領域検出部１２により検出された異物領域の大きさが基準値以上である場合、警告処理を実行する。なお、警告部１３は、一塊となっている異物領域毎に、大きさが基準値以上であるか判断する。すなわち、互いに離れた複数の異物領域が検出された場合、警告部１３は、異物領域毎に大きさが基準値以上であるか判断する。

【0032】

基準値は、例えば画素数で示すことができるが、これに限定されない。

【0033】

なお、基準値は全ての撮影画像に対して一律同じ値であってもよい。しかし、以下の理由から、撮影画像を生成したカメラ毎に、さらには撮影画像内の領域毎に、基準値が定められてもよい。

【0034】

管理対象毎に除去する必要がある異物の大きさは異なり得る。例えば、商品の陳列棚の場合、清潔さを高いレベルで維持するため、比較的小さい異物も除去することが望まれる。一方、駐車場や床等の場合、商品の陳列棚に比べて清潔さの要求レベルが低くなる。このため、労働者負担とのバランスをとり、比較的小さい異物はそのまま放置することが許容される場合がある。また、商品の陳列棚の中でも、陳列する商品の種類（例：食品、雑貨、本等）に応じて清潔さの要求レベルが異なり得る。このように、同一の管理対象の中でも、除去する必要がある異物の大きさは異なり得る。

【0035】

また、同一の異物であっても、カメラの向きやカメラと被写体との距離等に応じて、撮影画像内での大きさは異なり得る。

【0036】

撮影画像を生成したカメラ毎に、さらには撮影画像内の領域毎に基準値を定めることで、不要な警告処理を回避し、適切な警告処理のみを行うことが可能となる。

【0037】

例えば、処理装置１０は、図６に示すように、カメラ毎に基準値を定めた情報を記憶しておいてもよい。そして、警告部１３は、検出された異物領域を含む撮影画像を生成したカメラに基づき基準値を決定し、検出された異物領域の大きさが決定した基準値以上であるか判断してもよい。

【0038】

また、処理装置１０は、図７に示すように、撮影画像内の位置毎に基準値を定めた情報を記憶しておいてもよい。そして、警告部１３は、検出された異物領域の撮影画像内の位置に基づき基準値を決定し、検出された異物領域の大きさが決定した基準値以上であるか判断してもよい。

【0039】

警告処理は、異物領域検出部１２による検出に応じて、リアルタイム処理で、異物を検出した旨を所定のユーザに通知する処理であってもよい。その他、警告処理は、大きさが基準値以上である異物領域を示す情報を蓄積し、所定のタイミング（例：１時間毎、ユーザからの閲覧入力があったタイミング等）でそれまでに蓄積された情報を所定のユーザに通知（例：所定の端末装置に所定の情報を送信）する処理であってもよい。ユーザへの通知は、ディスプレイ、投影装置、スピーカ等の出力装置を介した情報の出力であってもよいし、メーラ等を介した情報の送信であってもよいし、アプリやウェブページ上での情報の表示であってもよいし、警告ランプの点灯等であってもよいし、その他であってもよい。

【0040】

ユーザに通知する処理で出力される情報は、大きさが基準値以上である異物領域を検出した撮影画像を含んでもよい。また、大きさが基準値以上である異物領域を枠等で強調表示する情報をさらに含んでもよい。図８に一例を示す。図示する例では、商品の陳列棚（管理対象）を示す撮影画像において、検出した大きさが基準値以上である異物領域１０３を枠１０２で囲んで強調表示している。

【0041】

また、異物領域を検出した撮影画像に加えて、その撮影画像を生成したカメラが、その撮影画像を生成する前に生成した撮影画像（例：直前のフレーム画像、数フレーム前のフレーム画像等）を合わせて出力してもよい。これにより、異物が存在する状態と、異物が存在しない状態との比較が容易になる。

【0042】

また、ユーザに通知する処理で出力される情報は、作業者への指示（例：異物除去、所定のユーザへの通知等）を示す情報が含まれてもよい。

【0043】

次に、図９及び図１０のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

【0044】

取得部１１が撮影画像を取得すると、図９に示す処理が実行される。まず、異物領域検出部１２は、撮影画像に含まれる管理対象において異物が存在する領域である異物領域を検出する処理を行う（Ｓ１１）。

【0045】

図１０は、Ｓ１１の異物領域を検出する処理の流れの一例を示す。まず、異物領域検出部１２は、撮影画像に含まれる管理対象において指定色と異なる色である領域を検出する（Ｓ２１）。例えば、異物領域検出部１２は、図４に示す情報、及び、取得された撮影画像を生成したカメラを識別する情報に基づき、撮影画像の中の管理対象を特定するとともに、その管理対象の指定色を特定する。そして、異物領域検出部１２は、特定した管理対象において特定した指定色と異なる色である領域を検出する。

【0046】

指定色と異なる色である領域が検出されなかった場合（Ｓ２２のＮｏ）、異物領域検出部１２は、異物領域はないと判定する（Ｓ２８）。

【0047】

一方、指定色と異なる色である領域が検出された場合（Ｓ２２のＹｅｓ）、異物領域検出部１２は、検出された領域を一塊の領域毎に分類し、その中から１つを指定する（Ｓ２３）。そして、異物領域検出部１２は、指定した領域に許可物が存在するか判断する（Ｓ２４）。例えば、異物領域検出部１２は、図５に示す情報、取得された撮影画像を生成したカメラを識別する情報、指定された領域の撮影画像内の位置等に基づき、指定された領域に対応する許可物を特定する。そして、異物領域検出部１２は、上述した推定モデルを利用する手法や、テンプレートマッチング等を利用して、指定した領域に許可物が存在するか判断する。

【0048】

許可物が存在すると判定した場合（Ｓ２４のＹｅｓ）、異物領域検出部１２は、指定した領域は異物領域でないと判定する（Ｓ２６）。一方、許可物が存在しないと判定した場合（Ｓ２４のＮｏ）、異物領域検出部１２は、指定した領域は異物領域であると判定する（Ｓ２５）。

【0049】

そして、Ｓ２３で指定していない領域が残っている場合（Ｓ２７のＹｅｓ）、Ｓ２３に戻って同様の処理を繰り返す。

【0050】

図９に戻り、Ｓ１１の処理で異物領域が検出されなかった場合（Ｓ１２のＮｏ）、処理装置１０は処理を終了する。一方、Ｓ１１の処理で異物領域が検出された場合（Ｓ１２のＹｅｓ）、警告部１３は、検出された異物領域の大きさが基準値以上であるか判定する（Ｓ１３）。例えば、警告部１３は、図６又は図７に示す情報、取得された撮影画像を生成したカメラを識別する情報、検出された異物領域の撮影画像内の位置等に基づき、基準値を決定する。そして、警告部１３は、検出された異物領域の大きさが決定した基準値以上であるか判定する。

【0051】

検出された異物領域の中に大きさが基準値以上であるものが含まれる場合（Ｓ１３のＹｅｓ）、警告部１３は、警告処理を実行する。警告処理の詳細は上述の通りであるので、ここでの説明は省略する。一方、検出された異物領域の中に大きさが基準値以上のものが含まれない場合（Ｓ１３のＮｏ）、処理装置１０は処理を終了する。

【0052】

次に、本実施形態の処理装置１０の作用効果を説明する。撮影画像に含まれる管理対象において異物領域を検出することができる処理装置１０によれば、管理対象に存在する異物を画像解析で自動的に検出することが可能となる。そして、処理装置１０は、検出した異物領域の大きさが基準値以上である場合に警告処理を行い、検出した異物領域の大きさが基準値未満である場合に警告処理を行わないので、店舗運営に影響しない無視してよい異物に対する警告や、そもそも異物でない画像データのノイズに基づく誤った警告を回避することができる。

【0053】

また、処理装置１０によれば、上記基準値をカメラ毎や撮影画像内の位置毎に設定できるので、管理対象毎や、管理対象内の所定のエリア毎（例：商品の陳列棚の陳列エリア毎）に、例えば要求される清潔さ等に応じて適切な基準値を設定することができる。結果、適切に異物を検出して取り除きつつ、不要に多くの警告を発して労働者の負担（例：異物確認／除去作業）が増大する不都合を回避することができる。

【0054】

また、カメラの向きやカメラと被写体との距離等に応じてカメラ毎や撮影画像内の位置毎に基準値を設定できるので、カメラの向きやカメラと被写体との距離に関わらず、所望の大きさ以上の異物を精度よく検出することが可能となる。

【0055】

また、指定色を指定しておき、指定色と異なる色である領域を異物領域として検出することができるので、異物領域を検出する処理のコンピュータ負担を比較的軽くすることができる。

【0056】

また、予め許可物を定めておき、許可物が存在しない領域を異物領域として検出できるので、管理対象に存在することが問題でない物体を異物として検出する不都合を回避できる。

【0057】

＜第２の実施形態＞
本実施形態の処理装置１０は、異物領域検出部１２による異物領域を検出する処理の内容が、第１の実施形態と異なる。

【0058】

具体的には、異物領域検出部１２は、周知の物体検出技術に基づき撮影画像に含まれる管理対象において物体が存在する領域を検出する。その後、異物領域検出部１２は、物体が存在する領域に許可物が存在するか判断する。具体的には、異物領域検出部１２は、検出した物体及び許可物の外観の特徴に基づき、検出した物体が許可物か否かを判断する。当該判断は、第１の実施形態で説明した「指定色と異なる色である領域に許可物が存在するか否かの判断」と同様の手法で実現される。そして、異物領域検出部１２は、許可物が存在しないと判断した領域（物体が存在する領域）を異物領域として検出する。一方、異物領域検出部１２は、許可物が存在すると判断した領域（物体が存在する領域）を異物領域として検出しない。

【0059】

次に、図９及び図１１のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

【0060】

取得部１１が撮影画像を取得すると、図９に示す処理が実行される。図９に示す処理は第１の実施形態で説明した通りであるので、ここでの説明は省略する。

【0061】

図１１は、Ｓ１１の異物領域を検出する処理の流れの一例を示す。まず、異物領域検出部１２は、任意の物体検出技術に基づき、撮影画像に含まれる管理対象において物体を検出する処理を行う（Ｓ３１）。例えば、異物領域検出部１２は、図１２に示す情報、及び、取得された撮影画像を生成したカメラを識別する情報に基づき、撮影画像の中の管理対象を特定する。そして、異物領域検出部１２は、任意の物体検出技術に基づき、特定した管理対象において物体を検出する。

【0062】

物体が検出されなかった場合（Ｓ３２のＮｏ）、異物領域検出部１２は、異物領域はないと判定する（Ｓ３８）。

【0063】

一方、物体が検出された場合（Ｓ３２のＹｅｓ）、異物領域検出部１２は、検出された物体の中から１つを指定する（Ｓ３３）。そして、異物領域検出部１２は、指定した物体が存在する領域に許可物が存在するか判断する（Ｓ３４）。例えば、異物領域検出部１２は、図５に示す情報、取得された撮影画像を生成したカメラを識別する情報、指定された物体が存在する領域の撮影画像内の位置等に基づき、指定された物体に対応する許可物を特定する。そして、異物領域検出部１２は、上述した推定モデルを利用する手法や、テンプレートマッチング等を利用して、指定された物体が存在する領域に許可物が存在するか判断する。

【0064】

許可物が存在すると判定した場合（Ｓ３４のＹｅｓ）、異物領域検出部１２は、指定した物体が存在する領域は異物領域でないと判定する（Ｓ３６）。一方、許可物が存在しないと判定した場合（Ｓ３４のＮｏ）、異物領域検出部１２は、指定した物体が存在する領域は異物領域であると判定する（Ｓ３５）。

【0065】

そして、Ｓ３３で指定していない領域が残っている場合（Ｓ３７のＹｅｓ）、Ｓ３３に戻って同様の処理を繰り返す。

【0066】

処理装置１０のその他の構成は、第１の実施形態と同様である。

【0067】

次に、本実施形態の処理装置１０の作用効果を説明する。本実施形態の処理装置１０によれば、第１の実施形態の処理装置１０と同様の作用効果が実現される。また、指定色の事前登録などが不要となるので、その分の処理負担が軽減される。

【0068】

なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等を含んでもよい。また、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること等を含んでもよい。また、「取得」とは、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」を含んでもよい。

【0069】

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0070】

この出願は、２０１９年１１月５日に出願された日本出願特願２０１９－２００５９０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0071】

１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス
１０ 処理装置
１１ 取得部
１２ 異物領域検出部
１３ 警告部
１００ 棚板
１０１ 商品
１０２ 枠
１０３ 異物領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】