(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-09
(45)【発行日】2024-05-17
(54)【発明の名称】監視装置、監視方法、及び、コンピュータプログラム
(51)【国際特許分類】
G06Q 30/06 20230101AFI20240510BHJP
【FI】
G06Q30/06
(21)【出願番号】P 2020103135
(22)【出願日】2020-06-15
【審査請求日】2023-04-27
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】柳 一寛
(72)【発明者】
【氏名】高木 丈史
(72)【発明者】
【氏名】柿沢 哲郎
【審査官】星野 昌幸
(56)【参考文献】
【文献】特開2002-366621(JP,A)
【文献】特開2016-194833(JP,A)
【文献】米国特許出願公開第2020/0151421(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00 ~ 99/00
G06T 7/20
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
物品の配置を監視する監視装置であって、
配置された前記物品が撮影された画像を取得する画像取得部と、
前記画像に、前記物品が陳列されるべき区画である陳列区画を設定する陳列区画設定部と、
前記画像における前記陳列区画の隣に、前記物品の誤配置の判定に用いられる区画である中間区画を設定する中間区画設定部と、
前記画像から、前記物品の画像領域である物品領域を検出する物品検出部と、
検出された前記物品領域の少なくとも一部が前記陳列区画と重複していない場合に、前記物品領域と前記中間区画との位置関係に基づいて、前記物品領域が前記陳列区画との関係において誤配置であるか否かを判定する誤配置判定部とを備える、
監視装置。
【請求項2】
前記誤配置判定部は、前記物品領域の全体が前記陳列区画及び前記中間区画を合成した合成区画と重複する場合、前記物品領域を前記陳列区画との関係において誤配置でないと判定する、
請求項1に記載の監視装置。
【請求項3】
前記誤配置判定部は、前記物品領域の少なくとも一部が前記陳列区画及び前記中間区画を合成した合成区画と重複する場合、前記物品領域を前記陳列区画との関係において誤配置でないと判定する、
請求項1に記載の監視装置。
【請求項4】
前記誤配置判定部は、前記物品領域の前記陳列区画及び前記中間区画に対する重複度に基づいて、前記物品領域が前記陳列区画との関係において誤配置であるか否かを判定する、
請求項1に記載の監視装置。
【請求項5】
前記誤配置判定部は、前記物品領域の前記陳列区画に対する重複度である第1の重複度が前記物品領域の前記中間区画に対する重複度である第2の重複度以上である場合、前記物品領域を前記陳列区画との関係において誤配置でないと判定する、
請求項4に記載の監視装置。
【請求項6】
前記誤配置判定部は、前記物品領域の前記陳列区画に対する重複度である第1の重複度が前記物品領域の前記中間区画に対する重複度である第2の重複度よりも小さい場合、前記物品領域を前記陳列区画との関係において誤配置の疑いありと判定する、
請求項4に記載の監視装置。
【請求項7】
前記誤配置判定部は、少なくとも2つの前記物品領域が前記中間区画に含まれる場合、当該少なくとも2つの前記物品領域を前記陳列区画との関係において誤配置であると判定する、
請求項2に記載の監視装置。
【請求項8】
前記誤配置判定部は、前記陳列区画に陳列されるべき物品の物品領域と前記陳列区画に隣接する他の陳列区画に陳列されるべき物品の物品領域とが、前記陳列区画および前記他の陳列区間との関係で入れ替わっていることが検知された場合、前記物品領域と前記中間区画との位置関係に関わらず、前記物品領域を前記陳列区画との関係において誤配置であると判定する、
請求項1に記載の監視装置。
【請求項9】
前記中間区画設定部は、前記陳列区画に隣接する他の陳列区画と重複する中間区画の幅を、前記他の陳列区画を超えない幅に設定する、
請求項1に記載の監視装置。
【請求項10】
前記中間区画設定部は、前記他の陳列区画と重複する中間区画の幅を、前記他の陳列区画と同じ幅に設定する、
請求項9に記載の監視装置。
【請求項11】
前記誤配置判定部は、前記物品領域に対応する陳列区画を判定し、前記物品領域についての誤配置の判定結果を、前記物品領域に対応する陳列区画に対する誤配置の判定結果として出力する、
請求項1に記載の監視装置。
【請求項12】
装置によって物品の配置を監視する監視方法であって、
前記装置が、配置された前記物品が撮影された画像を取得し、
前記装置が、前記画像に、前記物品が陳列されるべき区画である陳列区画を設定し、
前記装置が、前記画像における前記陳列区画の隣に、前記物品の誤配置の判定に用いられる区画である中間区画を設定し、
前記装置が、前記画像から、前記物品の画像領域である物品領域を検出し、
前記装置が、検出された前記物品領域の少なくとも一部が前記陳列区画と重複していない場合に、前記物品領域と前記中間区画との位置関係に基づいて、前記物品領域が前記陳列区画との関係において誤配置であるか否かを判定する、
棚監視方法。
【請求項13】
物品の配置を監視するコンピュータプログラムであって、
配置された前記物品が撮影された画像を取得し、
前記画像に、前記物品が陳列されるべき区画である陳列区画を設定し、
前記画像における前記陳列区画の隣に、前記物品の誤配置の判定に用いられる区画である中間区画を設定し、
前記画像から、前記物品の画像領域である物品領域を検出し、
検出された前記物品領域の少なくとも一部が前記陳列区画と重複していない場合に、前記物品領域と前記中間区画との位置関係に基づいて、前記物品領域が前記陳列区画との関係において誤配置であるか否かを判定する処理を、コンピュータに実行させる、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、監視装置、監視方法、及び、コンピュータプログラムに関する。
【背景技術】
【0002】
店舗に設置された、商品が陳列される棚(以下「陳列棚」という)は、商品が配置されるべき区画が棚割りとして予め定められる。しかし、店員が陳列棚の誤った区画に商品を配置したり、客が陳列棚から一度取った商品を誤った区画に置き直したりして、商品が誤った区画に配置(以下「誤配置」という)される状況が発生し得る。そのため、店員は、陳列棚において誤配置が発生していないかを確認したり、誤配置されている商品を正しい区画に置き直したりする作業を行う。この作業は店員にとって大きな負担となっている。
【0003】
この作業負担を軽減するために、陳列棚の棚割りを示す情報(どの商品がどの陳列棚のどの区画に配置されるべきかを示す情報であり、プラノグラムとも呼ばれる)と、陳列棚における商品の実際の配置状況を示す情報(リアログラムとも呼ばれる)とを比較し、商品が陳列棚の正しい区画に配置されている否かを判定する技術が知られている。
【0004】
例えば、特許文献1には、陳列棚をカメラ装置で撮影した画像を解析して、陳列棚における商品の配置状況を特定し、その特定した商品の配置状況が、陳列棚における商品の正しい配置状況と異なる場合、エラーを出力することが開示されている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に開示されている技術は、商品の配置状況が、陳列棚における商品の正しい配置状況と少しでも異なると、エラーを出力する。そのため、商品の配置状況と、陳列棚における商品の正しい配置状況との違いが、人間の感覚では許容し得るぐらいのもの(一例として、商品が正しい配置位置からわずかにはみ出している場合など)であっても、エラーが出力されてしまう。その結果、店員が商品を陳列棚の正しい区画に戻す作業が増えてしまい、店員の作業量がかえって高くなってしまうという課題がある。
【0007】
本開示の目的は、陳列棚における商品の誤配置の判定を柔軟に制御することにある。
【課題を解決するための手段】
【0008】
本開示の一態様に係る監視装置は、物品の配置を監視する監視装置であって、配置された前記物品が撮影された画像を取得する画像取得部と、前記画像に、前記物品が陳列されるべき区画である陳列区画を設定する陳列区画設定部と、前記画像における前記陳列区画の隣に、前記物品の誤配置の判定に用いられる区画である中間区画を設定する中間区画設定部と、前記画像から、前記物品の画像領域である物品領域を検出する物品検出部と、検出された前記物品領域の少なくとも一部が前記陳列区画と重複していない場合に、前記物品領域と前記中間区画との位置関係に基づいて、前記物品領域が前記陳列区画との関係において誤配置であるか否かを判定する誤配置判定部とを備える。
【0009】
本開示の一態様に係る監視方法は、装置によって物品の配置を監視する監視方法であって、前記装置が、配置された前記物品が撮影された画像を取得し、前記装置が、前記画像に、前記物品が陳列されるべき区画である陳列区画を設定し、前記装置が、前記画像における前記陳列区画の隣に、前記物品の誤配置の判定に用いられる区画である中間区画を設定し、前記装置が、前記画像から、前記物品の画像領域である物品領域を検出し、前記装置が、検出された前記物品領域の少なくとも一部が前記陳列区画と重複していない場合に、前記物品領域と前記中間区画との位置関係に基づいて、前記物品領域が前記陳列区画との関係において誤配置であるか否かを判定する。
【0010】
本開示の一態様に係るコンピュータプログラムは、物品の配置を監視するコンピュータプログラムであって、配置された前記物品が撮影された画像を取得し、前記画像に、前記物品が陳列されるべき区画である陳列区画を設定し、前記画像における前記陳列区画の隣に、前記物品の誤配置の判定に用いられる区画である中間区画を設定し、前記画像から、前記物品の画像領域である物品領域を検出し、検出された前記物品領域の少なくとも一部が前記陳列区画と重複していない場合に、前記物品領域と前記中間区画との位置関係に基づいて、前記物品領域が前記陳列区画との関係において誤配置であるか否かを判定する処理を、コンピュータに実行させる。
【0011】
なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0012】
本開示によれば、陳列棚における商品の誤配置の判定を柔軟に制御できる。
【図面の簡単な説明】
【0013】
【
図1】本実施の形態に係る監視システムの構成例を示す模式図
【
図2】本実施の形態に係る監視装置の構成例を示す機能ブロック図
【
図3】棚画像に対する陳列区画の設定と、物品領域の検出を説明するための図
【
図5】棚画像に対する中間区画の設定を説明するための図
【
図6】誤配置判定部の動作の一例を示すフローチャート
【
図10A】重複分析処理の詳細を説明するための第1の図
【
図10B】重複分析処理の詳細を説明するための第2の図
【
図12A】誤配置判定の変形例2を説明するための第1の図
【
図12B】誤配置判定の変形例2を説明するための第2の図
【
図13】監視装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図
【発明を実施するための形態】
【0014】
以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。
【0015】
(本実施の形態)
<監視システムの構成>
図1は、本実施の形態に係る監視システム20の構成例を示す模式図である。
【0016】
例えば店舗には、物品2が陳列される陳列棚10が備えられる。監視システム20は、陳列棚10における物品2の配置状況を監視するシステムである。なお、物品2は、商品又は品物といった他の用語に読み替えられてもよい。物品2の例としては、日用品、飲食物、薬、雑貨、書籍といった様々なものが挙げられる。
【0017】
陳列棚10は、物品2を載せる棚段11と、棚段11の正面に設置された棚札12とを含む。棚札12には、例えば、物品2の名称及び値段等が記載される。また、棚札12には、物品2に関する情報を取得するためのQRコード(登録商標)が記載されてもよい。
【0018】
監視システム20は、少なくとも1つのカメラ装置21と、監視装置100とを備える。カメラ装置21及び監視装置100は、有線及び/又は無線の通信ネットワーク22を介して、互いにデータを送受信できる。通信ネットワーク22の例としては、有線LAN(Local Area Network)、無線LAN、移動体通信網、インターネット網等が挙げられる。
【0019】
カメラ装置21は、定期的に陳列棚10を撮影し、撮影した画像データ(以下「棚画像」という)121(
図2参照)を、監視装置100へ送信する。棚画像121は、静止画又は動画のいずれであってもよい。
【0020】
監視装置100は、カメラ装置21から棚画像121を受信する。監視装置100は、受信した棚画像121に基づいて、陳列棚10における物品2の配置状況を監視する。監視装置100は、ある物品2が、陳列棚10におけるその物品2が陳列されるべき区画(以下「陳列区画」という)200(
図3参照)とは異なる区画に配置されていること(以下「誤配置」という)を検知した場合、誤配置の発生を、例えば店員が所持する端末に通知(以下「誤配置通知」という)してよい。これにより、店員は、誤配置通知によって誤配置の発生に素早く気付き、誤配置されている物品2を陳列区画200に戻すことができる。
【0021】
特許文献1に開示されているような従来の装置は、物品2が陳列区画200から少しでも外れている場合、誤配置通知を行う。すなわち、物品2の陳列区画200からの外れ方が人間の感覚では許容し得るものであったとしても、誤配置通知が行われてしまう。その結果、店員に対する誤配置通知の頻度が高すぎて、店員の負担がかえって増してしまうという問題が生じる。
【0022】
上記の問題に鑑み、本実施の形態に係る監視装置100は、物品2と陳列区画200との位置関係に基づいて、当該物品2の陳列区画200に対する誤配置の判定を制御する。これにより、誤配置通知も制御され、店員の負担が増してしまうことを防止できる。以下、本実施の形態に係る監視装置100について説明する。
【0023】
<監視装置の構成>
図2は、本実施の形態に係る監視装置100の構成例を示す機能ブロック図である。
【0024】
監視装置100は、情報格納部101、画像取得部102、陳列区画設定部103、中間区画設定部104、物品検出部105、誤配置判定部106、及び、誤配置通知部108の機能を備える。なお、これらの機能は、監視装置100が備えるハードウェア(
図13参照)の協調動作によって実現されてよい。
【0025】
情報格納部101は、監視装置100が取り扱う情報及びデータを格納する。情報格納部101は、
図13に示すRAM1006及び記憶装置1007によって実現されてよい。
【0026】
画像取得部102は、カメラ装置21から通信ネットワーク22を介して棚画像121を受信し、情報格納部101に格納する。
【0027】
陳列区画設定部103は、情報格納部101に格納されている棚割情報122に基づいて、棚画像121に陳列区画200(
図3参照)を設定する。棚割情報122は、陳列棚10のどの区画にどの物品2を配置すべきかを示す情報である。なお、棚割情報122の詳細については後述する(
図4参照)。陳列区画設定部103は、設定した陳列区画200に関する情報を含む陳列区画情報123を生成し、情報格納部101に格納する。陳列区画200の設定は、カメラ装置21が設置されたタイミング、及び/又は、任意のタイミングで行われてよい。なお、陳列区画設定部103の詳細については後述する。
【0028】
中間区画設定部104は、棚画像121に中間区画201(
図5参照)を設定する。中間区画201は、物品2の誤配置の判定に用いられる区画であり、陳列区画200に隣接して設定される。中間区画設定部104は、設定した中間区画201に関する情報を含む中間区画情報124を生成し、情報格納部101に格納する。なお、中間区画設定部104及び中間区画201の詳細については後述する。
【0029】
物品検出部105は、棚画像121を画像解析し、物品2の画像を検出する。物品検出部105は、検出した物品2の画像領域(以下「物品領域」という)210(
図3参照)、及び、検出した物品2の識別情報(以下「物品情報」という)を含む物品検出情報125を生成し、情報格納部101に格納する。
【0030】
誤配置判定部106は、物品検出情報125に含まれる各物品領域210が陳列区画200との関係において誤配置であるか否かを判定する。誤配置判定部106は、その誤配置の判定結果を示す誤配置情報127を生成し、情報格納部101に格納する。
【0031】
誤配置判定部106は、重複分析部107を含んでよい。重複分析部107は、物品領域210の陳列区画200及び中間区画201に対する重複を分析する。重複分析部107は、その分析結果を示す重複分析情報126を生成し、情報格納部101に格納する。この場合、誤配置判定部106は、重複分析情報126に基づいて、物品領域210が陳列区画200との関係において誤配置であるか否かを判定してよい。なお、誤配置判定部106及び重複分析部107の詳細については後述する。
【0032】
誤配置通知部108は、誤配置情報127に基づき、誤配置通知を行う。誤配置通知には、誤配置と判定された物品(以下「誤配置物品」という)2が存在する陳列棚10の番号が含まれてよい。あるいは、誤配置通知には、棚画像121に誤配置物品2の物品領域210を示す枠を加えた画像が含まれてよい。誤配置通知は、例えば、店員が所持する端末に送信される。これにより、店員は、誤配置通知を受けて誤配置の発生を認識し、誤配置物品2を正しい陳列区画200に戻すことができる。
【0033】
<陳列区画の設定>
次に、
図3及び
図4を参照して、陳列区画200の設定について詳細に説明する。
図3は、棚画像121に対する陳列区画200の設定と、物品領域210の検出を説明するための図である。
図4は、棚割情報122の構成の一例を示す図である。
【0034】
図3に示すように、陳列棚10には、物品2ごとに陳列されるべき区画(陳列区画200)が予め定められる。すなわち、ある陳列区画200には、ある定められた物品2が配置される
【0035】
陳列区画200は、陳列棚10における棚札12の位置に基づいて定められてよい。例えば、棚札12Aが示す物品2Aの陳列区画200Aは、その棚札12Aの左端から、その棚札12Aよりも右に位置する棚札12Bの左端までの距離を横幅Wとし、その棚札12Aが取り付けられている棚段11Aからその棚段11Aよりも上に位置する棚段11Bまでの距離を縦幅Hとする矩形の区画であってよい。なお、陳列棚10の上部にまで物品2Aが配置される場合、上に位置する棚段11Bは存在しない。この場合、陳列区画の縦幅は、他の棚における縦幅Hに基づいて推定してよい。具体的には、他の棚の縦幅Hと同じ縦幅であるものと見なしたり、他の縦幅の平均値等を縦幅と見なしたりすることが考えられる。
【0036】
棚割情報122は、陳列棚10における陳列区画200と、その陳列区画200に配置されるべき物品2の物品情報との対応関係を示す情報である。例えば、棚割情報122は、
図4に示すように、データ項目として、棚番号、縦位置、横位置、物品コード、及び、物品名を有する。
【0037】
棚番号は、陳列棚10を識別するための番号である。縦位置は、陳列区画200の縦方向の位置を示し、例えば、陳列棚10の一番下の棚段11を「1」とし、上の棚段11に向かうにつれて1ずつ増加する値である。横位置は、陳列区画200の横方向の位置を示し、例えば、ある棚段11において、一番左を「1」とし、右に向かうにつれて1ずつ増加する値である。すなわち、縦位置及び横位置は、棚番号が示す陳列棚10における、陳列区画200の位置を特定するための情報である。物品コードは、物品を識別するためのコードを示す。物品名は、物品の名称を示す。物品コード及び物品名は、物品情報の一例である。
【0038】
例えば、
図4に示す棚割情報122の1行目は、次のことを示す。すなわち、棚番号「1」の陳列棚10における、縦位置「1」及び横位置「1」の陳列区画200A(
図3参照)には、物品コード「111-1111」及び物品名「AAA」の物品2Aが配置されるべきである。例えば、
図4に示す棚割情報122の4行目は、次のことを示す。すなわち、棚番号「1」の陳列棚10における、縦位置「2」及び横位置「2」の陳列区画200B(
図3参照)には、物品コード「444-4444」及び物品名「DDD」の物品2Dが配置されるべきである。
【0039】
陳列区画設定部103は、棚割情報122に基づいて、棚画像121に対して陳列区画200を設定する。例えば、陳列区画設定部103は、棚割情報122が示す棚番号「1」、縦位置「1」及び横位置「1」に対応する、棚画像121における区画を、物品コード「111-1111」及び物品名「AAA」が示す物品2Aの陳列区画200Aに設定する。例えば、陳列区画設定部103は、棚割情報122が示す棚番号「1」、縦位置「2」及び横位置「2」に対応する、棚画像121における区画を、物品コード「444-4444」及び物品名「DDD」が示す物品2Dの陳列区画200Dに設定する。
【0040】
また、陳列区画設定部103は、陳列棚10における棚札12を画像認識や無線通信等により検出し、その棚札12の位置を用いて陳列区画200を設定してもよい。例えば、陳列区画設定部103は、棚画像121から棚札12Aを検出した場合、棚札12Aが検出された位置の右上に存在する区画を陳列区画200Aに設定する。陳列区画設定部103は、棚札12Aがどの陳列区画200に対応しているのかを、検出された棚札12の位置と棚割情報122とに基づいて決定してよい。また、陳列区画設定部103は、棚札12の文字をOCR(Optical Character Recognition)で読み取ったり、棚札12自体に備えられた無線通信の機能を用いたりすることにより、棚札12に対応する物品名を認識し、その物品名に基づいて陳列区画200を設定してよい。なお、本実施の形態では、棚札12は各陳列区画200の左下に配置しているので、各棚札12が検出された位置の右上にその棚札12に対応する陳列区画200を設定しているが、他の規則に従って棚札12が配置されている場合は、その規則に応じた設定を行えばよい。例えば、棚札12が各陳列区画200の右下に配置される規則が採用されている場合、陳列区画設定部103は、棚札12Aの左上に位置する区画を陳列区画200Aと設定してよい。
【0041】
なお、陳列区画設定部103は、正しく物品2が配置された陳列棚10を撮影した棚画像121に基づいて、陳列棚10における陳列区画200を設定してもよい。例えば、陳列区画設定部103は、棚画像121から物品2を検出し、共通の物品2Aが検出された区画を当該物品2Aの陳列区画200Aに設定する。あるいは、陳列区画設定部103は、棚画像121から、棚段11ごとに左から右に向けて物品2を検出し、共通の物品2Aが検出され続ける区画を1つの陳列区画200Aに設定してよい。この場合、異なる物品2Bが検出された位置を、新たな陳列区画200Bの開始位置としてよい。なお、この場合、棚札12の位置は陳列区画200の設定に用いられないため、陳列区画設定部103は、棚札12が設置されていない陳列棚10の棚画像121についても陳列区画200を設定できる。
【0042】
物品検出部105は、棚画像121に対して物品2を検出する画像解析を行い、物品領域210を検出する。物品2を検出する画像解析には、パターンマッチング又は人工知能に基づく画像認識技術が用いられてよい。また、人工知能に基づく画像認識技術には、ディープラーニングによって予め生成された学習器が用いられてよい。
【0043】
例えば、物品検出部105は、
図4に示す棚画像121から、物品名「AAA」の物品領域210A、物品「BBB」の物品領域210B、物品名「CCC」の物品領域210C、物品名「DDD」の物品領域210D、物品名「EEE」の物品領域210Eを検出する。そして、物品検出部105は、棚画像121における各物品領域210の位置と、当該物品領域210の物品名(つまり物品情報)とを対応付けて、物品検出情報125を生成する。
【0044】
<中間区画の設定>
図5は、棚画像121に対する中間区画201の設定を説明するための図である。ここでは、陳列区画200Dに着目して説明するが、他の陳列区画200A、200B、200C、200Eについても同様である。
【0045】
中間区画設定部104は、陳列区画200Dの左隣に中間区画201DLを、陳列区画200Dの右隣に中間区画201DRを設定する。中間区画201DL、201DRは、陳列区画200Dに配置されるべき物品2D(物品領域210D)の誤配置の判定に用いられる。
【0046】
中間区画201DLの幅WLは、陳列区画200Dの左隣の陳列区画200Cの幅W以下である。なお、中間区画201DLの幅WLは、左隣の陳列区画200Cの幅Wと同一であってもよい。中間区画201DRの幅WRは、陳列区画200Dの右隣の陳列区画200Eの幅W以下である。なお、中間区画201DRの幅WRは、右隣の陳列区画200Eの幅Wと同一であってもよい。ここで、中間区画201DLおよび中間区画201DRは、典型的には、陳列区画200Dから物品がはみ出して陳列されている場合に、そのはみ出しが許容できるものであるかの判定に使う区画である。左隣の陳列区画200Cあるいは右隣の陳列区画200Eの幅を超えた位置まで、陳列区画200Dに配置されるべき物品がはみ出している状態を「誤陳列ではない」と判定することは不自然であるため、本実施の形態では、中間区画201DLの幅WL、および、中間区画201DRの幅WRは、それぞれ隣接する陳列区画の幅以下としている。なお、各中間区画201DL、201DRの幅WL、WRは、より狭くすれば、「誤陳列ではない」と判定されうる領域が狭くなり、広くすれば「誤陳列ではない」と判定されうる領域が広くなる。そのため、各中間区画201DL、201DRの幅WL、WRは、どの程度の厳格さで誤陳列を判定すべきかに応じて調整可能としてよい。また、中間区画201DL、201DRそれぞれの幅WL、WRを個別に調整可能としてよい。このようにすることで、中間区画201DL、201DRそれぞれについて判定の厳格さに差をつけることができる。
【0047】
また、中間区画201DL、201DRの幅WL、WRは、一律に設定されてよい。このようにすることで、各中間区画201DL、201DRの幅WL、WRを個別に調整する必要がなくなるため、中間区画201の幅を容易に設定することができる。
【0048】
あるいは、中間区画201DL、201DRの幅WL、WRは、陳列区画200Dの幅Wに応じて設定されてよい。例えば、中間区画201DL、201DRの幅WL、WRは、陳列区画200Dの幅Wのn1%(0≦n1≦100)として設定されてよい。あるいは、中間区画201DL、201DRの幅WL、WRは、陳列区画200Dに配置されるべき物品領域210Dの幅Wgに応じて設定されてよい。例えば、中間区画201DL、201DRの幅WL、WRは、陳列区画200Dに配置されるべき物品領域210Dの幅Wgのn2%(0≦n2≦100)として設定されてよい。
【0049】
一般的に、幅の広い物品ほど隣接する区画に大きくはみ出す可能性が高い。例えば、陳列区画201Dに物品が一つだけ配置できず、やむを得ず、隣接する区画に配置した場合、当該物品が占有する幅は、物品の幅Wgが広いほど広くなる。このような場合に、幅Wgの狭い物品と同じ幅WL、WRの中間区画201が設定されていると、幅Wgの広い物品の物品領域210が中間区画201をはみ出してしまい、適切な判定ができなくなる。逆に、幅Wgの狭い物品に対して広い物品向けのものと同一の幅WL、WRの中間区画201が設定された場合は、多数の物品が隣接する区画に配置されていたとしても「誤陳列でない」と判定され得るため、人間の感覚と食い違う結果となってしまう。このような問題は、中間区画201の幅WL、WRを、物品の幅Wgに応じて設定することで解決することができる。ここで、物品の幅Wgは、当該物品が配置されるべき陳列区画200の幅Wに比例する可能性が高く、少なくとも幅Wgの大きな物品に狭い陳列区画200が割り当てられる可能性は低い。そこで、中間区画201の幅WL、WRを陳列区画200の幅Wに応じて設定することで、簡易的に物品の幅Wgに比例した幅を持つ中間区画201を設定することができる。また、物品領域210を正確に検知できるのであれば、陳列区画200に配置されるべき物品領域210の幅Wgに応じて中間区画201の幅WL、WRを設定してよい。これにより、物品の幅Wgの広狭を厳密に中間区画201の幅WL、WRに反映することができる。
【0050】
中間区画201の幅WL、WRは、陳列区画200ごとに個別に設定されてよい。中間区画201の幅WLと幅WRとは、同じ値に設定されてもよいし、互いに異なる値に設定されてもよい。中間区画201DL、201DRの幅WL、WRの値は、ピクセル数で表現されてよい。
【0051】
なお、上記の何れの手法を用いる場合であっても、中間区画201の幅WL、WRは、その中間区画201と重複する陳列区画200(すなわち、隣接する物品が陳列されるべき区画)の幅を超えないようにしてよい。また、上記の手法で計算あるいは設定された中間区画201の幅WL、WRがその中間区画201と重複する陳列区画200の幅を超える場合は、その超過分を切り捨て、中間区画201と重複する陳列区画200の幅と同じ値に丸めてよい。中間区画201は、誤配置ではないと判定され得る領域であるため、中間区画201と重複する陳列区画200を超えてまで設定されると、本来2つ隣の物品が配置されるべき領域にまで物品がはみ出すほどの大きな誤配置が発生していても誤配置ではないと判定されてしまうおそれがあるためである。
【0052】
また、中間区画設定部104は、複数の陳列区画200によって構成されるグループを、中間区画201に設定してもよい。例えば、中間区画設定部104は、同じ棚段11の複数の陳列区画200を1つのグループとし、当該グループを中間区画201に設定してよい。あるいは、中間区画設定部104は、指定の物品(例えば同一メーカーの物品)が陳列される複数の陳列区画200を1つのグループとし、当該グループを中間区画201に設定してよい。例えば、物品を提供しているメーカー等から特定の棚段11への配置が求められているものの、当該棚段11内での配置は任意でよい場合にこのような設定を行ってよい。この場合、中間区画201に設定されたグループ内において、物品2が当該物品2の陳列区画200とは異なる区画に配置されていても、誤配置判定部106は、当該物品2を誤配置と判定しなくてもよい。すなわち、誤配置判定部106は、グループ内における物品2の配置の入れ替わりを許可してよい。
【0053】
<誤配置判定部の動作の詳細>
図6は、誤配置判定部106の動作の一例を示すフローチャートである。次に、
図6を参照して、誤配置判定部106の処理の一例を説明する。
【0054】
誤配置判定部106は、物品検出情報125を参照し、棚画像121から検出された複数の物品領域210の中から、処理対象とする1つの物品領域210を選択する(S101)。
【0055】
誤配置判定部106は、陳列区画情報123を参照し、棚画像121に設定された複数の陳列区画200の中から、処理対象とする1つの陳列区画200を選択する(S102)。
【0056】
重複分析部107は、S101で選択した物品領域210の、S102で選択した陳列区画200に対する重複分析処理を実行する(S103)。なお、当該重複分析処理の詳細については後述する。
【0057】
誤配置判定部106は、すべての陳列区画200の選択が完了したか否かを判定する(S104)。未選択の陳列区画200が残っている場合(S104:NO)、誤配置判定部106は、S102の処理に戻り、残りの陳列区画200のうちの1つを処理対象に選択する。すべての陳列区画200の選択が完了した場合(S104:YES)、誤配置判定部106は、次のS105の処理に進む。
【0058】
誤配置判定部106は、すべての物品領域210の選択が完了したか否かを判定する(S105)。未選択の物品領域210が残っている場合(S105:NO)、誤配置判定部106は、S101の処理に戻り、残りの物品領域210のうちの1つを処理対象に選択する。すべての物品領域210の選択が完了した場合(S105:YES)、誤配置判定部106は、次のS106の処理に進む。
【0059】
誤配置判定部106は、各陳列区画200における誤配置判定処理を実行する(S106)。なお、誤配置判定処理の詳細については後述する。そして、誤配置判定部106は、本処理を終了する。
【0060】
図7は、重複分析処理の一例を示すフローチャートである。当該フローチャートは、
図6のS103の処理の詳細に相当する。また、当該フローチャートの説明において、物品領域210は、
図6のS101で選択されたものであり、陳列区画200は、
図6のS102で選択されたものである。
【0061】
重複分析部107は、物品領域210の少なくとも一部が、陳列区画200と当該陳列区画200に隣接する中間区画201とを合成した区画(以下「合成区画」という)と重複しているか否かを判定する(S201)。
【0062】
重複分析部107は、物品領域210が合成区画と重複していない場合(S201:NO)、本処理を終了する。この場合、当該物品領域210は、別の合成区画において重複判定されることとなる。重複分析部107は、物品領域210の少なくとも一部が合成区画と重複している場合(S201:YES)、次のS202の処理に進む。
【0063】
重複分析部107は、物品領域210の少なくとも一部が上下のマージン区画230(
図8参照)からはみ出しているか否かを判定する(S202)。上下のマージン区画230は、
図8に示すように、陳列区画200の上及び下に、所定の縦幅Hmにて設定されてよい。なお、上のマージン区画230の縦幅Hmと下のマージン区画230の縦幅Hmは、共通であってもよいし、互いに異なってもよい。また、マージン区画230は、設定されなくてもよい。この場合、重複分析部107は、S202の処理を実行せずに、S203の処理に進む。
【0064】
図8に例示するように、物品領域210の少なくとも一部がマージン区画230からはみ出している場合(S202:YES)、重複分析部107は、本処理を終了する。すなわち、重複分析部107は、当該物品領域210について、重複分析を行わない。物品領域210がマージン区画230からはみ出していない場合(S202:NO)、重複分析部107は、次のS203の処理に進む。本実施の形態の陳列棚10では、棚段11の上下方向の幅は棚板等によって限定されており、上下方向における物品2の配置は左右方向における物品2の配置よりも物理的に規制される。そのため、上下方向にはみ出しが発生している場合、本来配置されるべき物品2と異なる高さを持つ物品2が配置されている可能性が高く、そのような配置は、許容可能か否かを判断するまでもなく誤配置である可能性が高い。したがって、本実施の形態では、上下方向へのはみ出しが発生している場合には、そのはみ出しが許容可能か否かの判断に繋がる重複分析の処理を行わないようにしている。なお、物品2を任意の数積み重ねることができたり、陳列する物品2の角度を変えることができる場合など、上下方向における物品領域210の大きさが多様に変化し得る場合には、上下方向のはみ出しを厳格に評価するとかえって店員の感覚と異なる結果が得られてしまうことになる。このような場合には、S202の処理を省略してよい。
【0065】
重複分析部107は、物品領域210の陳列区画200及び中間区画201に対する重複度を算出する(S203)。なお、当該重複度の算出の詳細については後述する。
【0066】
重複分析部107は、陳列区画200及び物品領域210と、算出した重複度とを対応付けて重複分析情報126に書き込む(S204)。そして、重複分析部107は、本処理を終了する。
【0067】
図9は、誤配置判定処理の一例を示すフローチャートである。当該フローチャートは、
図6のS106の処理の詳細に相当する。
【0068】
誤配置判定部106は、陳列区画情報123を参照し、棚画像121に設定された複数の陳列区画200の中から、処理対象とする1つの陳列区画200を選択する(S301)。
【0069】
誤陳列判定部は、重複分析情報126から、S301で選択した陳列区画200に対応付けられている各物品領域210と、その物品領域210に関する重複度とを抽出する(S302)。
【0070】
誤配置判定部106は、S302で抽出した重複度に基づいて、S301で選択した陳列区画200において、物品領域210の誤配置が発生しているか否かを判定する(S303)。
【0071】
誤配置判定部106は、S302で抽出した重複度に基づいて、S301で抽出した物品領域210が誤配置であるか否かを判定する(S304)。なお、重複度に基づく誤配置の判定方法の詳細については後述する。
【0072】
誤配置判定部106は、S303及びS304の判定結果を誤配置情報127に書き込む(S305)。誤配置情報127は、上述したように、誤配置通知部108による誤配置通知に用いられる。
【0073】
誤配置判定部106は、すべての陳列区画200の選択を完了したか否かを判定する(S306)。誤配置判定部106は、未選択の陳列区画200が残っている場合(S306:NO)、S301の処理に戻り、残りの陳列区画200の1つを処理対象に選択する。誤配置判定部106は、すべての陳列区画200の選択を完了した場合(S306:YES)、本処理を終了する。
【0074】
<重複分析処理の詳細>
図10A、10Bは、重複分析処理の詳細を説明するための図である。次に、
図10A及び
図10Bを参照して、重複分析の処理対象として物品領域210D及び陳列区画200Dが選択された場合における重複分析処理の一例について詳細に説明する。
【0075】
図10Aの(a)に示すように、物品領域210Dの100%が陳列区画200Dと重複する場合、重複分析部107は、物品領域210Dの陳列区画200Dとの関係における重複度を、次のように算出する。すなわち、重複分析部107は、物品領域210Dの陳列区画200Dに対する重複度を「1.0」、物品領域210Dの中間区画201DLに対する重複度を「0」、物品領域210Dの中間区画201DRに対する重複度を「0」と算出する。
【0076】
なお、物品領域210Dの陳列区画200Dに対する重複度は、物品領域210の幅Wgの陳列区画200Dの幅Wに対する重複度を意味してもよい。物品領域210Dの中間区画201DLに対する重複度は、物品領域210Dの幅Wgの中間区画201DLの幅WLに対する重複度を意味してもよい。物品領域210Dの中間区画201DRに対する重複度は、物品領域210Dの幅Wgの中間区画201DRの幅WRに対する重複度を意味してもよい。あるいは、物品領域210Dの陳列区画200Dに対する重複度は、物品領域210の面積の陳列区画200Dの面積に対する重複度を意味してもよい。物品領域210Dの中間区画201DLに対する重複度は、物品領域210Dの面積の中間区画201DLの面積に対する重複度を意味してもよい。物品領域210Dの中間区画201DRに対する重複度は、物品領域210Dの面積の中間区画201DRの面積に対する重複度を意味してもよい。
【0077】
図10Aの(b)に示すように、物品領域210Dの70%が陳列区画200Dと重複し、物品領域210Dの30%が中間区画201DLと重複する場合、重複分析部107は、物品領域210Dの陳列区画200Dとの関係における重複度を、次のように算出する。すなわち、重複分析部107は、物品領域210Dの陳列区画200Dに対する重複度を「0.7」、物品領域210Dの中間区画201DLに対する重複度を「0.3」、物品領域210Dの中間区画201DRに対する重複度を「0」と算出する。
【0078】
図10Aの(c)に示すように、物品領域210Dの100%が中間区画201DLと重複する場合、重複分析部107は、物品領域210Dの陳列区画200Dとの関係における重複度を、次のように算出する。すなわち、重複分析部107は、物品領域210Dの陳列区画200Dに対する重複度を「0」、物品領域210Dの中間区画201DLに対する重複度を「1.0」、物品領域210Dの中間区画201DRに対する重複度を「0」と算出する。
【0079】
図10Aの(d)に示すように、物品領域210Dの少なくとも一部が中間区画201DLからはみ出している場合、重複分析部107は、物品領域210Dの陳列区画200Dとの関係における重複度を算出しなくてよい。この場合、物品領域210Dは陳列区画200Cと100%重複しているので、物品領域210Dの陳列区画200Cとの関係における重複度が算出される。
【0080】
図10Bの(e)に示すように、物品領域210Cの100%が陳列区画200Dと重複する場合、重複分析部107は、物品領域210Cの陳列区画200Dとの関係における重複度を、次のように算出する。すなわち、重複分析部107は、物品領域210Cの陳列区画200Dに対する重複度を「1.0」、物品領域210Cの中間区画201DLに対する重複度を「0」、物品領域210Cの中間区画201DRに対する重複度を「0」と算出する。
【0081】
図10Bの(f)に示すように、物品領域210Cの70%が陳列区画200Dと重複し、物品領域210Cの30%が中間区画201DLと重複する場合、重複分析部107は、物品領域210Cの陳列区画200Dとの関係における重複度を、次のように算出する。すなわち、重複分析部107は、物品領域210Cの陳列区画200Dに対する重複度を「0.7」、物品領域210Cの中間区画201DLに対する重複度を「0」、物品領域210Cの中間区画201DRに対する重複度を「0」と算出する。物品領域210Cの物品2Cは、陳列区画200Dにおいて陳列されるべき物品2Dでないため、中間区画201DL、201DRは無視される。なお、この場合、重複分析部107は、物品領域210Cの陳列区画200Cに対する重複度を「0.3」、物品領域210Cの中間区画201CRに対する重複度を「0.7」と算出する。
【0082】
図10Bの(g)に示すように、物品領域210Eの70%が陳列区画200Dと重複し、物品領域210Eの30%が陳列区画200Cと重複する場合、重複分析部107は、物品領域210Eの陳列区画200Dとの関係における重複度、及び、物品領域210Eの陳列区画200Eとの関係における重複度を、次のように算出する。すなわち、重複分析部107は、物品領域210Eの陳列区画200Dに対する重複度を「0.7」、物品領域210Eの中間区画201DLに対する重複度を「0」、物品領域210Eの中間区画201DRに対する重複度を「0」と算出する。また、重複分析部107は、物品領域210Eの陳列区画200Cに対する重複度を「0.3」、物品領域210Eの中間区画201CRに対する重複度を「0」と算出する。
【0083】
上述した物品領域210の陳列区画200との関係における重複度は、重複分析情報126に書き込まれる。
【0084】
<誤配置判定処理の詳細>
次に、誤配置判定の処理対象として陳列区画200Dが選択された場合における誤配置判定処理の一例について詳細を説明する。
【0085】
誤配置判定部106は、誤配置判定の処理対象として陳列区画200Dを選択した場合、当該陳列区画200Dに対する重複度が0よりも大きい物品領域210について、誤配置判定を行う。また、誤配置判定部106は、誤配置の判定結果が得られた物品領域210を適切な陳列区画200と対応付けることで、当該物品領域210の判定結果を陳列区画200に対する判定結果とする。この処理は、当該物品領域210が、処理対象の陳列区画200Dに陳列されるべきものであるか否かによって、次に述べるように、異なる手順で行われる。
【0086】
<<物品領域が処理対象の陳列区画に陳列されるべきものである場合>>
誤配置判定部106は、物品領域210に対する判定結果を、処理対象の陳列区画200に対する判定結果とする。判定処理の詳細を以下に示す。
【0087】
誤配置判定部106は、物品領域210Dの陳列区画200Dに対する重複度と、物品領域210Dの中間区画201DLに対する重複度と、物品領域210Dの中間区画201DRに対する重複度との合計(以下「重複度合計」という)が、予め定められた閾値T以上である場合、当該物品領域210Dを誤配置でない(つまり正配置である)と判定してよい。別言すると、誤配置判定部106は、物品領域210Dに関する重複度合計が閾値T未満である場合、当該物品領域210Dを誤配置であると判定してよい。
【0088】
なお、物品領域210Dが上記の正配置の条件を満たす場合であっても、物品領域210Dの陳列区画200Dに対する重複度が、物品領域210Dの中間区画201DLに対する重複度と物品領域210Dの中間区画201DRに対する重複度との合計よりも小さい場合、誤配置判定部106は、当該物品領域210Dを誤配置の疑いあり(以下「疑惑配置」という)と判定してもよい。重複度がこのようになる状況では、陳列区画200Dに対する重複度が低いことが原因であれば物品2の配置全体が本来の配置から左右の何れかにずれている可能性が高く、中間区画201DLに対する重複度と物品領域210Dの中間区画201DRに対する重複度との合計が大きいことが原因であれば物品2が過剰に配置されている可能性が高い。いずれの場合も他の物品2との相対的な位置関係が誤っているわけではなく、誤配置ほど修正の緊急度は高くないため、誤配置と区別するために疑惑配置として通知してよい。また、上述の通り、疑惑配置と判定される原因ごとに想定される状況が異なる可能性があるため、原因毎に異なる通知を行ってよい。なお、疑惑配置を他の状態と区別する必要がなければ、正配置又は誤配置のいずれかとして判定してよい。また、疑惑配置を他の状態と区別する必要があるか否かを店員の指示等によって切り替え可能にしてもよい。
【0089】
例えば、
図10Aの(a)の場合、物品領域210Dは、陳列区画200Dに陳列されるべきものである。そして、物品領域210Dの陳列区画200Dに対する重複度が「1.0」、物品領域210Dの中間区画201DLに対する重複度が「0」、物品領域210Dの中間区画201DRに対する重複度が「0」である。例えば、閾値Tを「0.8」に設定した場合、物品領域210Dに関する重複度合計「1.0」は、閾値T「0.8」以上である。加えて、物品領域210Dの陳列区画200Dに対する重複度「1.0」は、物品領域210Dの中間区画201DLに対する重複度「0」と物品領域210Dの中間区画201DRに対する重複度「0」との合計「0」以上である。よって、誤配置判定部106は、物品領域210Dを正配置であると判定してよい。
【0090】
例えば、
図10Aの(b)の場合、物品領域210Dは、陳列区画200Dに陳列されるべきものである。そして、物品領域210Dの陳列区画200Dに対する重複度が「0.7」、物品領域210Dの中間区画201DLに対する重複度が「0.3」、物品領域210Dの中間区画201DRに対する重複度が「0」である。よって、物品領域210Dに関する重複度合計は「1.0」であり、閾値T「0.8」以上である。加えて、物品領域210Dの陳列区画200Dに対する重複度「0.7」は、物品領域210Dの中間区画201DLに対する重複度「0.3」と物品領域210Dの中間区画201DRに対する重複度「0」との合計「0.3」以上である。よって、誤配置判定部106は、物品領域210Dを正配置であると判定してよい。
【0091】
例えば、物品領域210Dの陳列区画200Dに対する重複度が「0.2」、物品領域210Dの中間区画201DLに対する重複度が「0.8」、物品領域210Dの中間区画201DRに対する重複度が「0」であるとする。この場合、物品領域210Dに関する重複度合計は「1.0」であり、閾値T「0.8」以上である。しかし、物品領域210Dの陳列区画200Dに対する重複度「0.2」は、物品領域210Dの中間区画201DLに対する重複度「0.8」と物品領域210Dの中間区画201DRに対する重複度「0」との合計「0.8」よりも小さい。よって、誤配置判定部106は、物品領域210Dを疑惑配置であると判定してよい。
【0092】
<<物品領域が処理対象の陳列区画に陳列されるべきものでない場合>>
誤配置判定部106は、物品領域210Cを誤配置であると判定するのみならず、どの陳列区画200に対する誤配置であるのか判定する必要がある。物品領域210が処理対象の陳列区画200に陳列されるべきものである場合と異なり、物品領域210Cが重複している陳列区画200には、物品領域210Cと明確に紐づけられた区画はないためである。そこで、誤配置判定部106は、物品領域210Cと処理対象の各陳列区画200との重複度に基づいて、どの陳列区画200に誤配置の判定結果を紐づけるのかを判定する。例えば、物品領域210Cの陳列区画200Dに対する重複度が「1.0」である場合、当該物品領域210Cは、陳列区画200Dに対する誤配置であると判定してよい。また、物品領域210Cが複数の陳列区画200に跨って誤配置されている場合、基本的には重複度が所定の閾値を超えている陳列区画200についての誤配置であると判定してよい。しかしながら、この基準で判定を行う場合、閾値の設定によっては、誤配置の生じている陳列区画200を特定できない場合がある。例えば、重複度「0.8」が閾値である場合、陳列区画200Cに重複度「0.3」で重複し、陳列区画200Dに重複度「0.7」で重複している場合、物品領域210Cの重複度はどちらの陳列区画200C、200Dにおいても閾値を超えない。
【0093】
そこで、本実施の形態では、跨っている陳列区画200の数に応じて閾値を調整する「跨り係数α」を用いる。例えば、誤配置判定部106は、物品領域210Cの陳列区画200Dに対する重複度が「1.0」でない場合、次の判定を行ってよい。すなわち、誤配置判定部106は、物品領域210Cの陳列区画200Dに対する重複度が、予め定められた跨り係数αに閾値Tを乗じた値以上である場合、当該物品領域210Cを陳列区画200Dにおける誤配置であると判定してよい。加えて、誤配置判定部106は、物品領域210Cの陳列区画200Dに対する重複度が、跨り係数αに閾値Tを乗じた値よりも小さい場合、当該物品領域210Cについては陳列区画200Dにおける誤配置であるとの判定を行わなくてよい。なお、跨り係数αは定数であってよい。あるいは、跨り係数αは、物品領域210が重複する陳列区画200の数に応じて変化する変数であってもよい。例えば、物品領域210が2つの陳列区画200に重複する場合、跨り係数αは「1/2」、物品領域210が3つの陳列区画200に重複する場合、跨り係数αは「1/3」であってよい。
【0094】
例えば、
図10Bの(e)の場合、物品領域210Cは、陳列区画200Dに配置されるべきものでない。そして、物品領域210Cの陳列区画200Dに対する重複度が「1.0」であるので、誤配置判定部106は、当該物品領域210Cを誤配置であると判定してよい。
【0095】
例えば、
図10Bの(g)の場合、物品領域210Eは、陳列区画200Dに配置されるべきものでない。そして、跨り係数αを「0.5」と設定した場合、物品領域210Eの陳列区画200Dに対する重複度「0.7」は、跨り係数α「0.5」に閾値T「0.8」を乗じた値「0.45」以上である。よって、誤配置判定部106は、物品領域210Eを誤配置であると判定してよい。
【0096】
例えば、物品領域210Eの陳列区画200Dに対する重複度が「0.2」である場合、この重複度「0.2」は、跨り係数α「0.5」に閾値T「0.8」を乗じた値「0.45」よりも小さい。この場合、誤配置判定部106は、物品領域210Eについて判定を行わなくてよい。
【0097】
このようにすることで、誤配置判定部106は、物品領域210を陳列区画200にもれなく紐づけることができる。したがって、店員等に対して、どの陳列区画200において誤配置等が発生しているか等を通知することが可能となる。誤配置が発生している場合、本来の陳列場所からかけ離れた場所に誤配置されている物品2については、物品領域210の情報のみ通知されてもどこで誤配置が発生しているのか店員等には認識しにくい。そこで、本実施の形態では、誤配置が発生している物品領域210も含めて、いずれかの陳列区画200に紐づける処理を行っている。これにより、店員等に対して、誤配置が発生している位置(陳列区画200)を通知することが可能となるので、より容易に誤配置の修正を行うことが可能となる。
【0098】
なお、上記では閾値Tに跨り係数αを乗算することで、物品領域210Cがどの陳列区画200にも紐づかない状態が発生しないよう調整したが、閾値そのものを直接的に増減させるなど他の手法を用いても同様の結果が得られる。また、どの物品2について誤配置等が発生しているかを通知するのみで十分であれば、上述した「物品領域が処理対象の陳列区画に陳列されるべきものでない場合」の処理は不要となる。
【0099】
なお、誤配置判定部106による判定結果は、上述した正配置、誤配置、及び疑惑配置に限られない。例えば、誤配置判定部106は、物品領域210の陳列区画200及び/又は中間区画201に対する重複度を、判定結果としてもよい。例えば、誤配置判定部106は、物品領域210が中間区画201に存在する場合、その旨を判定結果としてもよい。例えば、誤配置判定部106は、物品領域210が陳列区画200からはみ出している場合、その旨を判定結果としてもよい。この場合、はみ出しているか否かと、正配置、誤配置、及び疑惑配置のいずれであるかを、同時に表示してよい。上述したとおり、本実施の形態では、はみ出していることが検知されたとしても、所定の条件下で正配置であると判定され得る。そのため、「はみ出しが発生しているものの、正配置であると判定した」等の状況が発生し得る。このような情報を店員等に通知することで、店員は、誤配置判定部106の判定の厳しさが適正かどうか評価することができる。特に、正配置か否かの判定に影響するパラメータを店員が手動で調整可能な場合には、調整の要否の判断をより正確に行うことができるようになる。
【0100】
<変形例>
図11は、誤配置判定の変形例1を説明するための図である。
【0101】
誤配置判定部106は、中間区画201DL内に1つの物品領域210Dが存在する場合、当該物品領域210Dを誤配置でないと判定し、
図12に示すように、中間区画201DL内に複数の物品領域210Dが存在する場合、当該複数の物品領域210Dを誤配置であると判定してよい。
【0102】
図12A、12Bは、誤配置判定の変形例2を説明するための図である。
【0103】
誤配置判定部106は、中間区画201内に存在する物品領域210であっても、これらの物品領域210が互いに隣接する陳列区画200との間で入れ替わっているものである場合、これらの物品領域210を誤配置と判定してよい。
【0104】
例えば、
図12Aに示すように、中間区画201DL内に物品領域210Dが存在し、中間区画201CR内に物品領域210Cが存在する。この場合、物品領域210Dと210Cは、互いに隣接する陳列区画200Dと200Cとの間で配置が入れ替わっているものであるため、誤配置判定部106は、当該物品領域210D、210Cを誤配置と判定してよい。1つの陳列区画200とそれに対応する中間区画201に基づく判断では、陳列全体が若干左右にずれている場合と、隣接する陳列区画200同士で物品2が入れ替わっている場合の区別がつかない。どちらの場合であっても、中間区画201に正しい物品2が含まれていることまでしか分からないためである。しかしながら、物品領域210の入れ替わりは、物品2を陳列した店員等が配置の順序を誤って認識している場合等に比較的発生し易い誤配置である。そこで、本変形例では、物品領域210が互いに隣接する陳列区画200との間で入れ替わっている場合には、誤配置が発生していると判定することで、1つの陳列区画200に着目している場合に見逃してしまう誤配置を検出している。
【0105】
また、
図12Bに示すように、誤配置判定部106は、物品領域210C、210Dが、互いに隣接する陳列区画200C、200Dとの間で入れ替わっているものである場合、中間区画201DL、201CLと物品領域210C、210Dとの位置関係を問わずに、これらの物品領域210C、210Dを誤配置と判定してよい。入れ替わりが確認できた時点で、中間区画201Dl、201CLとの位置関係を確認するまでもなく誤配置であるからである。
【0106】
また、上記では、入れ替わりの発生している両方の物品領域210C、210Dを誤配置と判定しているが、いずれか一方の物品領域210C(又は210D)を誤配置と判定してよい。
【0107】
<ハードウェア構成>
以上、本開示に係る実施形態について図面を参照して詳述してきたが、上述した監視装置100の構成要素101~108は、コンピュータプログラムにより実現され得る。
【0108】
図13は、監視装置100の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。
【0109】
このコンピュータ1000は、キーボード又はマウス、タッチパッドなどの入力装置1001、ディスプレイ又はスピーカーなどの出力装置1002、CPU(Central Processing Unit)1003、GPU(Graphics Processing Unit)1004、ROM(Read Only Memory)1005、RAM(Random Access Memory )1006、ハードディスク装置又はSSD(Solid State Drive)などの記憶装置1007、DVD-ROM(Digital Versatile Disk Read Only Memory)又はUSB(Universal Serial Bus)メモリなどの記録媒体から情報を読み取る読取装置1008、通信ネットワークを介して通信を行う送受信装置1009を備え、各部はバス1010により接続される。
【0110】
そして、読取装置1008は、監視装置100の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置1007に記憶させる。あるいは、送受信装置1009が、通信ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記監視装置100の機能を実現するためのプログラムを記憶装置1007に記憶させる。
【0111】
そして、CPU1003が、記憶装置1007に記憶されたプログラムをRAM1006にコピーし、そのプログラムに含まれる命令をRAM1006から順次読み出して実行することにより、監視装置100の機能が実現される。
【0112】
上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
【0113】
<その他の変形例>
上述した実施の形態において、中間区画201DLおよび中間区画201DLはいずれか一方のみを設けてもよい。例えば、陳列区画200が陳列棚10の右端に位置する場合、右側の中間区画201DRにおいて、許容すべき誤配置が発生する可能性は極めて低いため、左側の中間区画201DLのみ設けるものとしてよい。
【0114】
上述した実施の形態では、棚段11ごとに水平方向に物品2が陳列される陳列棚10の例を示したが、本開示は、陳列棚10とは異なる形態の陳列に対しても応用できる。例えば、平面状に並べられている物品2の誤配置の判断や、縦方向に積み上げられている陳列されている物品2の誤配置の判断にも適用可能である。縦方向の陳列の場合は、陳列区画200に対して、上下方向に隣接する位置に中間区画201を設定すればよい。平面状の陳列の場合は、陳列区画200に対して、当該平面における上下左右に隣接する位置に中間区画201を設定すればよい。また、より誤配置を許容する範囲を広げる場合には、斜め方向に隣接する位置にも中間区画201を設定すればよい。
【0115】
(本開示のまとめ)
本開示に係る、物品(2)の配置を監視する監視装置(100)は、配置された物品が撮影された画像(121)を取得する画像取得部(102)と、画像に、物品が陳列されるべき区画である陳列区画(200)を設定する陳列区画設定部(103)と、画像における陳列区画の隣に、物品の誤配置の判定に用いられる区画である中間区画(201)を設定する中間区画設定部(104)と、画像から、物品の画像領域である物品領域(210)を検出する物品検出部(105)と、検出された物品領域の少なくとも一部が陳列区画と重複していない場合に、物品領域と中間区画との位置関係に基づいて、当該物品領域が当該陳列区画との関係において誤配置であるか否かを判定する誤配置判定部(106)と、を備える。
【0116】
この構成によれば、物品領域の少なくとも一部が陳列区画と重複していない場合、陳列区画の隣に設定された中間区画と物品領域との位置関係に基づいて、物品領域が、当該陳列区画との関係において誤配置であるか否か判定される。よって、中間区画の設定を調整することにより、誤配置の判定を柔軟に制御できる。
【0117】
また、誤配置判定部は、物品領域の全体が陳列区画及び中間区画を合成した合成区画と重複する場合、物品領域を、陳列区画との関係において誤配置でないと判定してよい。
【0118】
この構成によれば、陳列区画からはみ出していても、中間区画からはみ出していない物品領域は、誤配置でないと判定される。よって、中間区画の設定を調整することにより、誤配置の判定を柔軟に制御できる。
【0119】
また、誤配置判定部は、物品領域の少なくとも一部が陳列区画及び中間区画を合成した合成区画と重複する場合、物品領域を、陳列区画との関係において誤配置でないと判定してよい。
【0120】
この構成によれば、陳列区画からはみ出していても、少なくとも一部が中間区画と重複している物品領域は、誤配置でないと判定される。よって、中間区画の設定を調整することにより、誤配置の判定を柔軟に制御できる。
【0121】
また、誤配置判定部は、物品領域の陳列区画及び中間区画に対する重複の割合に基づいて、物品領域の陳列区画との関係における誤配置の可能性を判定してよい。
【0122】
この構成によれば、物品領域の陳列区画及び中間区画に対する重複の割合に基づいて、当該物品領域の誤配置の可能性が判定される。よって、重複の割合に対する判定基準を調整することにより、誤配置の判定を柔軟に制御できる。
【0123】
また、誤配置判定部は、物品領域の陳列区画に対する重複度である第1の重複度が物品領域の中間区画に対する重複度である第2の重複度以上である場合、物品領域を陳列区画との関係において誤配置でないと判定してよい。
【0124】
この構成によれば、物品領域の陳列区画に対する重複度に応じて、誤配置であるか否かが判定される。よって、重複度に対する閾値を調整することにより、誤配置の判定をより柔軟に制御できる。
【0125】
また、誤配置判定部は、物品領域の陳列区画に対する重複度である第1の重複度が物品領域の中間区画に対する重複度である第2の重複度よりも小さい場合、物品領域を陳列区画との関係において誤配置の疑いありと判定してよい。
【0126】
この構成によれば、物品領域の陳列区画に対する重複度に応じて、誤配置の疑いがあるか否かが判定される。よって、重複度に対する閾値を調整することにより、誤配置の判定をより柔軟に制御できる。
【0127】
また、誤配置判定部は、少なくとも2つの物品領域が中間区画に含まれる場合、当該少なくとも2つの物品領域を陳列区画との関係において誤配置であると判定してよい。
【0128】
この構成によれば、中間区画に含まれる物品領域の数に応じて、当該物品領域の誤配置が判定される。よって、中間区画に含まれる物品領域の数に応じて、誤配置の判定を柔軟に制御できる。
【0129】
また、誤配置判定部は、陳列区画に陳列されるべき物品の物品領域と陳列区画に隣接する他の陳列区画に陳列されるべき物品の物品領域とが、陳列区画および他の陳列区間との関係で入れ替わっていることが検知された場合、物品領域と中間区画との位置関係に関わらず、物品領域を陳列区画との関係において誤配置であると判定してよい。
【0130】
この構成によれば、隣接する陳列区画の間で物品領域が互いに入れ替わっている場合、当該物品領域は誤配置と判定される。これにより、1つの陳列区画に着目している場合に見逃し得る誤配置を検出できる。
【0131】
また、中間区画設定部は、陳列区画に隣接する他の陳列区画と重複する中間区画の幅を、他の陳列区画を超えない幅に設定してよい。また、中間区画設定部は、他の陳列区画と重複する中間区画の幅を、他の陳列区画と同じ幅に設定してよい。
【0132】
この構成によれば、陳列区画に隣接する他の陳列区画と重複する中間区画の幅は、当該他の陳列区画の幅を超えないように、又は、当該他の陳列区画の幅と同じに設定される。これにより、例えば、陳列区画の2つ隣の他の陳列区画にまでも中間区画が設定され、当該陳列区画に配置されるべき物品が、2つ隣の他の陳列区画に配置されているにも関わらず、誤配置でないと判定されることを防止できる。すなわち、人間の感覚と食い違うような誤配置の判定結果が出力されることを防止できる。
【0133】
また、誤配置判定部は、物品領域に対応する陳列区画を判定し、物品領域についての誤配置の判定結果を、物品領域に対応する陳列区画に対する誤配置の判定結果として出力してよい。
【0134】
この構成によれば、物品領域についての誤配置の判定結果が、当該物品領域に対応する陳列区画についての誤配置の判定結果として出力される。これにより、どの陳列区画において誤配置が発生しているのかを、例えば店員に通知できる。
【0135】
以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0136】
本開示の技術は、物品の配置状況の監視に有用である。
【符号の説明】
【0137】
2 物品
10 陳列棚
11 棚段
12 棚札
20 監視システム
21 カメラ装置
22 通信ネットワーク
100 監視装置
101 情報格納部
102 画像取得部
103 陳列区画設定部
104 中間区画設定部
105 物品検出部
106 誤配置判定部
107 重複分析部
108 誤配置通知部
121 棚画像
122 棚割情報
123 陳列区画情報
124 中間区画情報
125 物品検出情報
126 重複分析情報
127 誤配置情報
200 陳列区画
201 中間区画
210 物品領域
230 マージン区画
1000 コンピュータ
1001 入力装置
1002 出力装置
1003 CPU
1004 GPU
1005 ROM
1006 RAM
1007 記憶装置
1008 読取装置
1009 送受信装置
1010 バス