特開 2024-19591 情報処理装置、情報処理システム、制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024019591

(43)【公開日】2024-02-09

(54)【発明の名称】情報処理装置、情報処理システム、制御方法、及びプログラム

(51)【国際特許分類】

   G06Q 30/06 20230101AFI20240201BHJP

   A47F 5/00 20060101ALI20240201BHJP

【ＦＩ】

G06Q30/06

A47F5/00 E

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023212804

(22)【出願日】2023-12-18

(62)【分割の表示】P 2023004493の分割

【原出願日】2018-09-11

(31)【優先権主張番号】P 2017191790

(32)【優先日】2017-09-29

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】米澤 八栄子

(72)【発明者】

【氏名】堀田 開登

(72)【発明者】

【氏名】矢島 明

(72)【発明者】

【氏名】関根 瑞人

(72)【発明者】

【氏名】江原 誉典

(57)【要約】

【課題】商品の陳列の正しさを容易に把握できる技術を提供する。
【解決手段】情報処理装置２０００は、商品棚が撮像されている棚画像を画像解析して、商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析部２０２０と、実陳列情報と、商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較部２０４０と、比較情報を用いて、基準陳列情報が示す基準に合致しない商品を表す結果画像を生成する生成部２０６０と、を備え、結果画像は、基準陳列情報が示す基準に合致しない商品と、基準陳列情報が示す基準に合致する商品とを識別可能な態様で表し、生成部２０６０は、結果画像において、比較の結果を示す重畳データとして、基準陳列情報と合致しない商品に対応する部分の色が比較的濃く、基準陳列情報と合致する商品に対応する部分の色が比較的薄いヒートマップを棚画像に重畳させる。
【選択図】図１０

【特許請求の範囲】

【請求項1】

商品棚が撮像されている棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析手段と、
前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較手段と、
前記比較情報を用いて、前記基準陳列情報が示す基準に合致しない商品と欠品している商品とを識別可能な態様で表す結果画像を生成する生成手段と、を有する情報処理装置。

【請求項2】

前記生成手段は、前記棚画像のうち、前記基準陳列情報が示す基準に合致しない商品と前記欠品している商品に対応する領域に、互いに異なる模様または色の重畳データを重畳した前記結果画像を生成する、請求項１に記載の情報処理装置。

【請求項3】

前記生成手段は、前記棚画像のうち、前記基準陳列情報が示す基準に合致しない商品と前記欠品している商品に対応する領域に、互いに異なる形状の重畳データを重畳した前記結果画像を生成する、請求項１または２に記載の情報処理装置。

【請求項4】

前記生成手段は、前記画像解析手段による前記画像解析では認識されなかった不明商品を表す前記結果画像を生成する、請求項１から３のいずれか一項に記載の情報処理装置。

【請求項5】

前記比較手段は、前記商品棚における前記商品の陳列状況が、前記基準陳列情報に示される前記商品棚における各商品の基準と合致する度合いを表す合致率を算出して前記比較情報に含める、請求項１から４のいずれか一項に記載の情報処理装置。

【請求項6】

前記生成手段は、前記基準陳列情報が示す基準に合致しない部分の色は相対的暗く、かつ、前記基準陳列情報と合致する部分の色は相対的明るくした、ヒートマップを用いた重畳データを前記棚画像に重畳して前記結果画像を生成する、請求項５に記載の情報処理装置。

【請求項7】

前記結果画像には、前記商品棚ごとの前記合致率を表す文字列と、前記比較結果を表す重畳データが重畳された前記棚画像とが含まれる、請求項５または６に記載の情報処理装置。

【請求項8】

前記比較手段は、メーカの識別子を取得し、前記識別子で特定されるメーカの商品の陳列状況が、前記基準陳列情報に示される前記商品棚における各商品の基準と合致する度合いを表す第２の合致率を算出し、当該第２の合致率を前記比較情報に含める、請求項１から４のいずれか一項に記載の情報処理装置。

【請求項9】

前記生成手段は、前記基準陳列情報が示す基準に合致しない商品について、その商品を陳列すべき修正位置、又はその商品が陳列されている現在位置に陳列すべき商品を表す修正情報を前記結果画像に含める、請求項１から８のいずれか一項に記載の情報処理装置。

【請求項10】

情報処理装置と、携帯端末とを備え、
前記携帯端末は、商品棚が撮像されている棚画像を前記情報処理装置に送信し、
前記情報処理装置は、
前記棚画像を受信し、当該棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析手段と、
前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較手段と、
前記比較情報を用いて、前記基準陳列情報が示す基準に合致しない商品と欠品している商品とを識別可能な態様で表す結果画像を生成する生成手段と、を有する、情報処理システム。

【請求項11】

１以上のコンピュータが、
商品棚が撮像されている棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成し、
前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成し、
前記比較情報を用いて、前記基準陳列情報が示す基準に合致しない商品と欠品している商品とを識別可能な態様で表す結果画像を生成する、制御方法。

【請求項12】

コンピュータに、
商品棚が撮像されている棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析ステップと、
前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較ステップと、
前記比較情報を用いて、前記基準陳列情報が示す基準に合致しない商品と欠品している商品とを識別可能な態様で表す結果画像を生成する生成ステップと、を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は商品の管理に関する。

【背景技術】

【0002】

コンビニエンスストアやスーパーマーケットなどの店舗では、商品棚に商品が陳列されている。そして、このような商品の陳列に関する作業を効率化する情報処理技術が開発されている。例えば特許文献１は、商品棚に置かれている商品と、商品棚に付されている棚札との関係が正しいかどうかを自動的に判定する技術を開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１６／０５２３８３号

【発明の概要】

【発明が解決しようとする課題】

【0004】

商品棚に各商品をどのように陳列すべきか（陳列位置やフェイス数など）を予め規定しておき、その規定に従って商品を陳列するという運用がなされることがある。しかしながら、このような運用をしていても、実際には商品が規定に従って陳列されてないことがある。そこで、メーカの担当者などが商品の陳列状況を目視で確認し、商品が正しく陳列されているかどうかをチェックするという作業が行われている。しかしながら、目視でのチェックには、作業者の作業負担が大きいなどといった問題がある。

【0005】

本願発明は上記の課題に鑑みてなされたものであり、その目的の一つは、商品の陳列の正しさを容易に把握できる技術を提供することである。

【課題を解決するための手段】

【0006】

本発明の情報処理装置は、
商品棚が撮像されている棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析手段と、
前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較手段と、
前記比較情報を用いて、前記基準陳列情報が示す基準に合致しない商品と欠品している商品とを識別可能な態様で表す結果画像を生成する生成手段と、を有する。

【0007】

本発明の情報処理システムは、情報処理装置及び携帯端末を有する。
携帯端末は、商品棚が撮像されている棚画像を情報処理装置に送信する。
情報処理装置は、
前記棚画像を受信し、当該棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析手段と、
前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較手段と、
前記比較情報を用いて、前記基準陳列情報が示す基準に合致しない商品と欠品している商品とを識別可能な態様で表す結果画像を生成する生成手段と、を有する。

【0008】

本発明の制御方法は、コンピュータによって実行される。
当該制御方法は、
１以上のコンピュータが、
商品棚が撮像されている棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成し、
前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成し、
前記比較情報を用いて、前記基準陳列情報が示す基準に合致しない商品と欠品している商品とを識別可能な態様で表す結果画像を生成する、ことを含む。

【0009】

本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。

【発明の効果】

【0010】

本発明によれば、商品の陳列の正しさを容易に把握できる技術が提供される。

【図面の簡単な説明】

【0011】

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

【0012】

【図1】実施形態１に係る情報処理装置の動作を概念的に例示する図である。

【図2】情報処理装置の機能構成を例示する図である。

【図3】情報処理装置を実現する計算機の構成を例示する図である。

【図4】情報処理装置の利用形態を例示する図である。

【図5】実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。

【図6】同一の商品が離れて陳列されているケースを例示する図である。

【図7】実陳列情報の構成を例示する図である。

【図8】基準陳列情報の構成を例示する図である。

【図9】比較情報を例示する図である。

【図10】実施形態２の情報処理装置の機能構成を例示するブロック図である。

【図11】結果画像を例示する第１の図である。

【図12】結果画像を例示する第２の図である。

【図13】結果画像を例示する第３の図である。

【図14】棚別合致率を含む結果画像を例示する図である。

【図15】商品のリストを含む結果画像を例示する図である。

【図16】商品リストに対する操作に応じて結果画像が変化する様子を例示する図である。

【図17】商品の画像に対する操作に応じて結果画像が変化する様子を例示する図である。

【図18】不明商品を表す重畳データが含まれる結果画像を例示する図である。

【図19】修正情報を例示する図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

【0014】

［実施形態１］
＜概要＞
図１は、実施形態１に係る情報処理装置（図２でその構成を例示する情報処理装置２０００）の動作を概念的に例示する図である。ここで、図１を用いて説明する情報処理装置２０００の動作は、情報処理装置２０００の理解を容易にするための例示であり、情報処理装置２０００の動作を限定するものではない。情報処理装置２０００の動作の詳細やバリエーションについては後述する。

【0015】

情報処理装置２０００は、商品が陳列されている商品棚が撮像された棚画像を取得する。図１では、カメラ１０によって商品棚２０が撮像された結果、棚画像１２が生成されている。棚画像１２には、商品棚２０及び商品棚２０に陳列されている商品が含まれている。なお、情報処理装置２０００が対象とする商品棚は、商品が陳列される場所であればよく、図１に示されるような複数の段を持つものに限定されない。例えば、机に商品が平積みにされるようなケースでは、この机が商品棚として扱われる。

【0016】

情報処理装置２０００は、商品棚２０における商品の陳列の基準を表す基準陳列情報を取得する。例えば基準陳列情報は、商品棚２０に陳列されるべき商品や、商品棚２０における各商品の位置などに関する情報を示す。

【0017】

情報処理装置２０００は、棚画像１２によって表される実際の陳列状況と、基準陳列情報とを比較して、その比較結果を表す情報を生成する。例えば図１では、２つの商品の配置に誤りがあることを示す情報が生成されている。

【0018】

上述の処理を実現するために、情報処理装置２０００は、棚画像１２を画像解析して、商品棚２０における商品の陳列状況に関する情報（以下、実陳列情報）を生成する。実陳列情報は、例えば、商品棚２０に陳列されている商品の名称や、各商品の位置などを示す。

【0019】

情報処理装置２０００は、棚画像１２を画像解析することで生成した実陳列情報と、取得した基準陳列情報とを比較し、その結果を表す比較情報を生成する。

【0020】

＜作用・効果＞
本実施形態の情報処理装置２０００によれば、棚画像１２が画像解析されることで生成される実陳列情報と、基準陳列情報とが比較されることにより、その結果を表す比較情報が生成される。このように実陳列情報と基準陳列情報とを比較することにより、商品棚２０における商品の陳列状況が基準に合致しているか否かを把握することができる。よって、商品の陳列状況が基準に合致しているか否かを人が目視で確認するケースと比較し、商品の陳列状況が基準に合致しているか否かを容易に把握することができる。

【0021】

また、人が目視で確認するケースでは、見間違いなどの人為的なミスが生じる恐れがある。情報処理装置２０００によれば、このような人為的なミスの発生も防ぐことができる。

【0022】

＜機能構成の例＞
図２は、情報処理装置２０００の機能構成を例示する図である。情報処理装置２０００は、画像解析部２０２０及び比較部２０４０を有する。画像解析部２０２０は、棚画像１２を画像解析することで、実陳列情報を生成する。比較部２０４０は、実陳列情報と基準陳列情報とを比較することで、比較情報を生成する。

【0023】

＜情報処理装置２０００のハードウエア構成の例＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

【0024】

計算機１０００は種々の計算機である。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

【0025】

図３は、情報処理装置２０００を実現する計算機１０００の構成を例示する図である。計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などで実現されるプロセッサである。メモリ１０６０は、RAM (Random Access Memory) などで実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD (Solid State Drive)、メモリカード、又は ROM (Read Only Memory) などで実現される補助記憶装置である。入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。ネットワークインタフェース１１２０は、計算機１０００をネットワークに接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

【0026】

ストレージデバイス１０８０は情報処理装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。

【0027】

＜カメラ１０について＞
カメラ１０は、撮像を行い、撮像結果を表す画像を生成することができる任意の撮像装置である。例えばカメラ１０は、スマートフォンやタブレット端末などに設けられているカメラである。

【0028】

＜情報処理装置２０００の利用形態の例＞
例えば情報処理装置２０００のユーザは、携帯端末を介して情報処理装置２０００を利用する。情報処理装置２０００のユーザは、例えばラウンダーなど、商品の陳列状況をチェックする作業を行う人である。図４は、情報処理装置２０００の利用形態を例示する図である。図４では、情報処理装置２０００と携帯端末３０００により、情報処理システム４０００が構成されている。携帯端末３０００は、ユーザによって利用される携帯端末である。情報処理装置２０００は、例えばサーバ装置として実現される。

【0029】

携帯端末３０００には、カメラ１０が設けられている。また、携帯端末３０００には、情報処理装置２０００を利用するためのアプリケーション１００が予めインストールされている。アプリケーション１００は、カメラ１０を制御して撮像を行わせる。さらにアプリケーション１００は、カメラ１０によって生成された棚画像１２を含むリクエストを、情報処理装置２０００に送信する。情報処理装置２０００は、このアプリケーションから上記リクエストを受信する。

【0030】

情報処理装置２０００は、リクエストに示されている棚画像１２を画像解析して実陳列情報を生成し、これを基準陳列情報と比較することで、比較情報を生成する。そして情報処理装置２０００は、生成した比較情報を携帯端末３０００へ送信する。

【0031】

なお、比較情報は必ずしも携帯端末３０００に送信される必要はない。生成された比較情報の扱い方については後述する。また、情報処理装置２０００は必ずしも携帯端末３０００を介して利用される必要はない。

【0032】

＜処理の流れ＞
図５は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。画像解析部２０２０は、棚画像１２を取得する（Ｓ１０２）。画像解析部２０２０は、棚画像１２を画像解析することで、実陳列情報を生成する（Ｓ１０４）。比較部２０４０は基準陳列情報を取得する（Ｓ１０６）。比較部２０４０は、実陳列情報と基準陳列情報とを比較することで、比較情報を生成する（Ｓ１０８）。

【0033】

なお、情報処理装置２０００によって実行される処理の流れは、上述の例に限定されない。例えば基準陳列情報の取得は、実陳列情報の生成より前に行われてもよい。

【0034】

情報処理装置２０００が図５に示した一連の処理を実行するタイミングは任意である。例えば情報処理装置２０００は、前述したアプリケーション１００からリクエストを受信したことに応じて、図５に示す一連の処理を実行する。その他にも例えば、情報処理装置２０００は、情報処理装置２０００に接続されている入力デバイスを操作するユーザから、棚画像１２を指定する入力操作を受け付けてもよい。この場合、情報処理装置２０００は、ユーザから入力操作を受け付けたことを契機として、図５に示す一連の処理を実行する。

【0035】

＜棚画像１２を取得する方法：Ｓ１０２＞
画像解析部２０２０が棚画像１２を取得する方法は任意である。例えば画像解析部２０２０は、前述した携帯端末３０００によって送信されるリクエストに含まれる棚画像１２を取得する。その他にも例えば、画像解析部２０２０は、棚画像１２を指定するユーザ操作を受け付けたことに応じて、指定された棚画像１２が記憶されている記憶装置にアクセスして、その棚画像１２を取得してもよい。

【0036】

ここで、１つの商品棚２０が、複数の棚画像１２によって表されてもよい。例えば商品棚２０が横に長い場合、カメラ１０の撮像範囲を横方向にずらしながら商品棚２０を複数回撮像することで、商品棚２０の全ての部分を撮像することができる。

【0037】

この際、商品棚２０に陳列されている全ての商品が撮像されることを担保するために、商品棚２０の互いに隣接する領域を含む２つの棚画像１２について、その境界上（棚画像１２の端）にある商品が、双方の棚画像１２に含まれるように商品棚２０を撮像することが好適である。例えば、情報処理装置２０００は、複数の棚画像１２を、共通の商品を含む部分で結合されるものとして扱うことにより、複数の棚画像１２から１つの商品棚２０の状況を把握することができる。これは例えば、パノラマ写真を得るために、２つの写真で互いの一部が重複するように、複数の写真を撮影することに相当する。

【0038】

＜棚画像１２に含まれる商品棚２０を特定する方法＞
情報処理装置２０００は、取得した棚画像１２に含まれる商品棚２０が、店舗等に設置されているどの商品棚であるのかを特定する必要がある。例えば情報処理装置２０００は、棚画像１２を取得する際に、その棚画像１２に含まれる商品棚２０を特定する識別子も取得するようにする。

【0039】

例えば前述したように、携帯端末３０００上で動作するアプリケーション１００から情報処理装置２０００に対し、棚画像１２を含むリクエストが送信されるとする。この場合、アプリケーション１００は、このリクエストに、棚画像１２に含まれる商品棚２０の識別子を含めるようにする。例えばアプリケーション１００は、携帯端末３０００のユーザから、商品棚２０の識別子を指定する入力を受け付け、入力された識別子をリクエストに含める。

【0040】

棚画像１２に含まれる商品棚２０を特定する方法は、棚画像１２と共に商品棚２０の識別子を取得する方法に限定されない。例えば、商品棚２０の識別子がカメラ１０によって撮像されるようにしておく。具体的には、商品棚２０の識別子を表すマークなどを、商品棚２０に予め付しておく。こうすることで、カメラ１０で商品棚２０を撮像した結果生成される棚画像１２に、その商品棚２０の識別子を表すマークが含まれるようになる。情報処理装置２０００は、このマークを画像解析することによって、棚画像１２に含まれる商品棚２０を特定することができる。例えばこのマークとしては、商品棚２０の識別子を表す文字列や QR コード（登録商標）などを利用することができる。

【0041】

＜実陳列情報の生成：Ｓ１０４＞
画像解析部２０２０は、棚画像１２を画像解析することで、実陳列情報を生成する（Ｓ１０４）。以下、実陳列情報に含める情報について説明する。

【0042】

＜＜商品の識別情報＞＞
実陳列情報は、商品棚２０に陳列されている各商品の識別情報を含む。例えば商品の識別情報は、商品名や、JAN（Japanese Article Number）コードなどの識別子である。以下では、特に断らない限り、商品の識別情報として商品名が使用されることを前提として説明を行う。後述する基準陳列情報においても同様である。

【0043】

例えば、画像解析部２０２０は、棚画像１２から、各商品を表す画像領域を抽出する。画像解析部２０２０は、抽出した画像領域と、商品データベースに登録されている商品の画像特徴とを比較することで、商品データベースから、その画像領域によって表される商品に関する情報を取得する。商品データベースには、各商品について、少なくとも、商品名、識別子（JAN（Japanese Article Number）コードなど）、商品が属するグループの名称（例えばブランド名）、商品が属する商品カテゴリ、商品の内容量（例えば、350ml）、商品のサイズ、商品の標準価格、及びメーカなどの情報の何れかが登録されているものとする。なお、商品のメーカとは、その商品に関連する任意のメーカ（例えば、製造メーカや販売メーカ）である。

【0044】

画像解析部２０２０は、上述のように商品データベースから取得した情報により、棚画像１２に含まれる各商品の商品名を特定することができる。

【0045】

＜＜グループ名＞＞
その他にも例えば、実陳列情報は、商品が属するグループの名称を示す。商品が属するグループは、例えば前述した商品名と同様に、商品データベースから取得することができる。なお、グループ名の代わりに、メーカの識別子など、メーカを識別できる任意の情報を利用することもできる。後述する基準陳列情報においても同様である。

【0046】

＜＜メーカ名＞＞
その他にも例えば、実陳列情報は、商品のメーカを示す。商品のメーカは、例えば前述した商品名と同様に、商品データベースから取得することができる。なお、メーカ名の代わりに、メーカの識別子など、メーカを識別できる任意の情報を利用することもできる。後述する基準陳列情報においても同様である。

【0047】

＜＜位置＞＞
その他にも例えば、実陳列情報は、商品の商品棚２０における位置を示す。商品の位置は、例えば、段方向の位置（例えば、最上段から何段目に位置するか）と、列方向の位置（例えば、左端の列から何列目に位置するか）との組み合わせで表される。ここで、商品棚が含まれる画像から各商品の位置を特定する技術には、既存の技術を利用することができる。

【0048】

なお、同じ種類の商品（商品名が同一の商品）が複数の位置に配置されている場合、実陳列情報は、１つの商品について、複数の位置を示す。

【0049】

＜＜フェイス数＞＞
その他にも例えば、実陳列情報は、商品のフェイス数を示す。なお、商品棚２０において、同一の商品が離れて陳列されることもありうる。図６は、同一の商品が離れて陳列されているケースを例示する図である。図６において、商品Ａは、エリア７０－１とエリア７０－２とに分けて配置されている。エリア７０－１におけるフェイス数は２であり、エリア７０－２におけるフェイス数は３である。

【0050】

このように互いに離れた場所に同一の商品が配置されている場合、例えば実陳列情報は、互いに離れた複数の場所それぞれについて個別にフェイス数を示す。例えば図６の場合、実陳列情報は、商品Ａのフェイス数として、エリア７０－１について２を示し、エリア７０－２について３を示す。

【0051】

その他にも例えば、実陳列情報は、互いに離れた複数の場所におけるフェイスを合計した値を、商品のフェイス数としてもよい。例えば図６の場合、実陳列情報は、商品Ａのフェイス数として５を示す。

【0052】

＜＜実陳列情報の構成の例＞＞
図７は、実陳列情報の構成を例示する図である。図７の陳列情報を、テーブル４００と表記する。テーブル４００は、商品４０２、グループ４０４、メーカ４０６、位置４０８、及びフェイス数４１０という列を有する。

【0053】

ここで、実陳列情報が含むべき情報、すなわち、棚画像１２を画像解析することで得るべき情報は、予め画像解析部２０２０に設定されていてもよいし、動的に決定されてもよい。後者の場合、例えば画像解析部２０２０は、取得した基準陳列情報に基づいて、棚画像１２から得るべき情報を決定する。例えば基準陳列情報が、棚に置かれるべき商品と、各商品が置かれるべき位置を示している場合、画像解析部２０２０が棚画像１２から得るべき情報は、商品名及び商品の位置となる。

【0054】

＜基準陳列情報について＞
前述したように、基準陳列情報は、商品棚２０における商品の陳列の基準を表す。以下、基準陳列情報に示される情報について説明する。

【0055】

＜＜商品の識別情報＞＞
例えば基準陳列情報は、商品棚２０に陳列されるべき各商品の識別情報（商品名や JAN コードなど）を示す。以下の説明では、特に断らない限り、基準陳列情報が示す商品の識別情報は商品名であるとする。

【0056】

＜＜位置＞＞
その他にも例えば、基準陳列情報は、商品棚２０において各商品が置かれるべき位置を示す。基準陳列情報が示す商品の位置は、例えば、段方向の位置と列方向の位置との組み合わせで表される。この場合、基準陳列情報は、商品の段方向の位置及び列方向の位置の双方が、基準陳列情報によって示される位置となるべきことを示している。

【0057】

基準陳列情報が示す商品の位置は、列方向や縦方向の位置の範囲であってもよい。例えば、基準陳列情報は、「２段目から４段目」や「３列目から５列目」などのような範囲を示す。その他にも例えば、基準陳列情報は、或る商品について段方向の位置のみを示してもよい。この場合、その商品は、基準陳列情報に示されている段の任意の列に陳列することができる。同様に、基準陳列情報は、或る商品について列方向の位置のみを示してもよい。

【0058】

＜＜フェイス数＞＞
その他にも例えば、基準陳列情報は、商品のフェイス数を示す。例えば、基準陳列情報が商品Ａのフェイス数として５を示している場合、商品Ａは、フェイス数が５となるように陳列されるべきことを示している。

【0059】

＜＜並列要求＞＞
その他にも例えば、基準陳列情報は、或る商品について、その商品がまとめて配置されるべきこと（並列要求）を示していてもよい。言い換えれば、並列要求が基準陳列情報に示されている商品は、図６で例示したように複数のエリアに分かれて配置されてはいけないことを意味する。

【0060】

ここで、並列要求が指定される単位は、商品に限定されない。例えば並列要求は、商品グループの単位で指定されてもよい。この場合、例えば基準陳列情報は、特定のブランドの商品について並列要求を示す。基準陳列情報において並列要求が示されているブランドに属する各商品は、商品棚２０においてまとまった位置に配置されることが要求される。

【0061】

その他にも例えば、並列要求は、メーカ単位で指定されてもよい。この場合、例えば基準陳列情報は、特定のメーカの商品について並列要求を示す。基準陳列情報において並列要求が示されているメーカの各商品は、商品棚２０においてまとまった位置に配置されることが要求される。

【0062】

その他にも例えば、並列要求は、商品の内容量で指定されてもよい。この場合、例えば基準陳列情報は、特定の内容量の商品について並列要求を示す。基準陳列情報において並列要求が示されている特定の内容量の各商品は、商品棚２０においてまとまった位置に配置されることが要求される。より具体的に、例えば、係る特定の内容量が 500ml を示す場合に、内容量 500ml の商品、例えば、メーカから販売されているビール 500ml 缶が商品棚２０においてまとまった位置に配置されることとする。

【0063】

＜＜配列要求＞＞
その他にも例えば、基準陳列情報は、複数の商品間の配置関係についての要求（以下、配列要求）を示してもよい。例えば、配列要求は、「商品Ａと商品Ｂを互いに隣接させて配置する」という要求である。例えば基準陳列情報が、商品Ａと商品Ｂについて、位置を示さずに配列要求を示しているとする。この場合、商品Ａと商品Ｂは、互いに隣接している限り、商品棚２０の任意の位置に配置してよいこととなる。

【0064】

逆に、配列要求は、複数の商品を離して置くべきことを示してもよい。例えば、「商品Ａと商品Ｂは異なる段に配置する」といった配列要求を定義することが考えられる。

【0065】

ここで、配列要求が指定される単位は、商品に限定されない。例えば配列要求は、商品グループの単位で指定されてもよい。例えば、「グループＤとグループＥを互いに隣接させて配置する」という要求である。この場合、商品棚２０において、グループＤに属する商品が配置される領域と、グループＥに属する商品が配置される領域とは、互いに隣接している必要がある。なお、商品の配列要求と同様に、グループの配列要求も、複数のグループを離して配置すべきことを示してもよい。

【0066】

その他にも例えば、配列要求は、メーカ単位で指定されてもよい。この場合、例えば、「メーカＸの商品とメーカＹの商品とを互いに隣接させて配置する」という要求である。この場合、商品棚２０において、メーカＸの商品が配置される領域と、メーカＹの商品が配置される領域とは、互いに隣接している必要がある。なお、商品の配列要求と同様に、メーカの配列要求も、複数のメーカの商品を互いに離して配置すべきことを示してもよい。

【0067】

＜＜適用期間＞＞
その他にも例えば、基準陳列情報は、各商品について、その商品に基準陳列情報が適用される期間を示してもよい。例えば基準陳列情報が、商品Ａについて、「2017/10/01 から 2017/10/31」という適用期間を示している場合、基準陳列情報が示す商品Ａについての情報（例えば位置など）は、上記適用期間内において守るべき必要があることを意味する。なお、適用期間は、商品毎ではなく、商品のグループや、基準陳列情報全体について定められていてもよい。

【0068】

＜＜基準陳列情報の構成の例＞＞
図８は、基準陳列情報の構成を例示する図である。図８のテーブルを、テーブル５００と表記する。テーブル５００は、商品５０２、グループ５０４、メーカ５０６、位置５０８、フェイス数５１０、並列要求５１２、配列要求５１４、及び適用期間５１６、という列を有している。

【0069】

商品５０２、グループ５０４、及びメーカ５０６は、いずれか１つにデータが示されている。商品５０２に商品名が示されているレコードは、その名称の商品に関する基準を示す。グループ５０４にグループ名が示されているレコードは、その名称のグループに関する基準を示す。メーカ５０６にメーカ名が示されているレコードは、その名称のメーカに関する基準を示す。なお、商品棚２０に配置されるべき商品は、商品５０２に商品名が示されている商品である。なお、図８を参照して説明したテーブル５００は、上述した構成に限定されない。例えば、テーブル５００は、さらに、少なくとも、識別子、商品カテゴリ、内容量及び商品のサイズの何れかを含んでいてもよい。

【0070】

基準陳列情報は、商品棚２０に置かれる全ての商品に関する情報であってもよいし、一部の商品に関する情報であってもよい。後者の場合、例えば基準陳列情報は、特定のメーカの商品について、その商品の陳列の基準を示す。この場合、１つの商品棚２０についての基準陳列情報が、メーカごとに用意される。そのため、図８の基準陳列情報は、メーカ５０６を有さなくてよい。

【0071】

基準陳列情報がメーカごとに用意されている場合、情報処理装置２０００は、特定のメーカの基準陳列情報のみを、実陳列情報と比較するようにしてもよい。この場合、例えば情報処理装置２０００は、比較対象とする基準陳列情報を特定する情報（例えばメーカ名）を取得する。この情報は、情報処理装置２０００のユーザによって入力される。例えばユーザは、前述した携帯端末３０００に対して、メーカ名を指定する入力操作を行う。アプリケーション１００は、ユーザによって入力されたメーカ名を前述したリクエストに含めて送信する。情報処理装置２０００は、このリクエストを受信することで、ユーザによって指定されたメーカ名を把握することができる。その他にも例えば、ユーザは、情報処理装置２０００に接続された入力デバイスを操作することで、メーカ名を入力してもよい。

【0072】

＜基準陳列情報を取得する方法：Ｓ１０６＞
情報処理装置２０００が基準陳列情報を取得する方法は様々である。例えば、情報処理装置２０００からアクセス可能な記憶装置に、基準陳列情報を予め記憶させておく。この場合、情報処理装置２０００は、この記憶装置にアクセスすることで、基準陳列情報を取得する。この際、情報処理装置２０００は、処理対象とする商品棚２０の識別子を用いて、その商品棚２０に関する基準陳列情報を取得する。また、特定のメーカの基準陳列情報を取得する場合、情報処理装置２０００は、上述の方法で取得したメーカ名等を用いて、特定のメーカの基準陳列情報を取得する。

【0073】

その他にも例えば、基準陳列情報は、管理サーバが有する記憶装置に記憶されていてもよい。この場合、例えば情報処理装置２０００は、商品棚２０の識別子を含めたリクエストを管理サーバに送信することで、その識別子で特定される商品棚２０の基準陳列情報を取得する。なお、特定のメーカの基準陳列情報を取得する場合、このリクエストに、そのメーカの識別子（例えばメーカ名）も含めるようにする。

【0074】

＜実陳列情報と基準陳列情報との比較：Ｓ１０８＞
比較部２０４０は、実陳列情報と基準陳列情報とを比較し、その比較結果を表す比較情報を生成する（Ｓ１０８）。そのために、比較部２０４０は、基準陳列情報が示す各基準（商品、商品のグループ、又はメーカについての各基準）が、実陳列情報において満たされているか否かの判定を行う。

【0075】

例えば比較部２０４０は、実陳列情報に示される商品名（商品の識別情報）と、基準陳列情報に示される商品名（商品の識別情報）とを比較することで、基準陳列情報に示されている各商品が、実陳列情報に示されているかを判定する。

【0076】

その他にも例えば、基準陳列情報が或る商品の位置を示している場合、比較部２０４０は、実陳列情報におけるその商品の位置が、基準陳列情報に示されている位置に合致するか否かを判定する。

【0077】

その他にも例えば、基準陳列情報が或る商品のフェイス数を示している場合、比較部２０４０は、実陳列情報が示すその商品のフェイス数が、基準陳列情報に示されているフェイス数に合致するか否かを判定する。ここで、実陳列情報が示す商品のフェイス数が、基準陳列情報が示すその商品のフェイス数よりも多いことがありうる。例えば、フェイス数を３とすべき商品について、実際の陳列状況ではフェイス数が５となっているような状況である。このように実際の陳列状況における商品のフェイス数が基準陳列情報によって示されるフェイス数を超えている場合、その商品は、フェイス数が基準に合致していると判定されてもよいし、基準に合致されていないと判定されてもよい。判定結果をどちらにするかを定める情報は、例えば基準陳列情報に含めておく。

【0078】

基準陳列情報が並列要求や配列要求を示す場合、比較部２０４０は、実陳列情報に示されている各商品の位置に基づいて、並列要求や配列要求が満たされているか否かを判定する。例えば基準陳列情報が、或る商品グループに属する商品がまとめて置かれるべきことを表す並列要求を示しているとする。この場合、比較部２０４０は、実陳列情報におけるその商品グループに属する各商品の位置に基づいて、その商品グループの商品がまとめて置かれているか否かを判定する。具体的には、その商品グループに属する各商品の位置が段方向や列方向について連続していれば、それらの商品はまとめて置かれていることになるため、並列要求が満たされる。また、例えば基準陳列情報が、或る複数の商品が隣接して置かれるべきことを表す配列要求を示しているとする。この場合、比較部２０４０は、実陳列情報において、それら複数の商品の位置が隣接しているか否かを判定することで、配列要求が満たされているか否かを判定する。

【0079】

なお、基準陳列情報が適用期間を示す場合、比較部２０４０は、実陳列情報に示される商品のうち、基準陳列情報において適用期間が現在時点を含んでいる商品についてのみ、基準陳列情報との比較を行う。

【0080】

図９は、比較情報を例示する図である。図９のテーブルをテーブル６００と呼ぶ。テーブル６００は、商品６０２、グループ６０４、メーカ６０６、陳列６０８、位置６１０、フェイス数６１２、並列要求６１４、及び配列要求６１６という列を有している。商品６０２に商品名が示されているレコードは、基準陳列情報において示されるその商品名の商品の基準と実陳列情報との比較結果を示す。グループ６０４にグループ名が示されているレコードは、基準陳列情報において示されるそのグループ名の商品グループの基準と実陳列情報との比較結果を示す。メーカ６０６にメーカ名が示されているレコードは、基準陳列情報において示されるそのメーカ名の商品の基準と実陳列情報との比較結果を示す。

【0081】

陳列６０８、位置６１０、フェイス数６１２、並列要求６１４、及び配列要求６１６はそれぞれ、実陳列情報が基準に合致しているか否かを示す。例えばテーブル６００において、或る商品のレコードの陳列６０８が「非合致」を示している場合、基準陳列情報にはその商品の名称が示されている一方で、実陳列情報にはその商品の名称が示されていないことを表す。すなわち、商品棚２０に陳列されるべき商品が陳列されていないことを表す。その他にも例えば、テーブル６００において、或る商品のレコードの位置６１０が「非合致」である場合、実陳列情報が示すその商品の位置が、基準陳列情報に示される基準に合致していないことを表す。

【0082】

比較情報の扱い方は様々である。例えば比較部２０４０は、比較情報を記憶装置に記憶させる。その他にも例えば、比較部２０４０は、後述の実施形態で説明するように、比較情報を利用して、比較結果を表す画像データ等を生成してもよい。

【0083】

＜＜比較項目の限定＞＞
基準陳列情報が、商品棚２０に陳列されるべき商品の商品名、各商品の位置、各商品のフェイス数などといった複数の項目について基準を示しているとする。この場合、比較部２０４０は、基準陳列情報に示されている項目全てについて実陳列情報と基準陳列情報とを比較してもよいし、一部の項目について実陳列情報と基準陳列情報とを比較してもよい。後者の場合、例えばユーザによる入力操作により、比較する項目が指定される。

【0084】

また、比較部２０４０は、実陳列情報と基準陳列情報との比較を、一部の商品についてのみ行うようにしてもよい。例えば比較部２０４０は、特定のメーカの商品のみについて実陳列情報と基準陳列情報とを比較する。この場合、例えば、ユーザによる入力操作により、上記特定のメーカが指定される。

【0085】

なお、特定のメーカについてのみ実陳列情報と基準陳列情報とを比較する方法は、上述の方法に限定されない。例えば前述したように、基準陳列情報をメーカごとに用意しておき、特定のメーカの基準陳列情報のみが比較部２０４０によって取得されるようにすればよい。

【0086】

＜＜合致率の算出＞＞
比較部２０４０は、実陳列情報によって表される商品の陳列状況が基準陳列情報に示される基準と合致している度合いを表す指標値を算出してよい。この指標値を合致率と呼ぶ。例えば合致率は、「商品棚２０に陳列されている、基準陳列情報に示される基準と合致している商品の数」を、「その商品棚２０に陳列すべき商品の総数」で割った値として定義することができる。以下の数式（１）は、この定義を表している。ここで、「或る商品が基準に合致している」とは、実陳列情報が示すその商品の情報が、基準陳列情報が示す全ての基準（位置やフェイス数など）に合致していることを意味する。

【数1】

【0087】

また、合致率は、個々の商品棚２０についてだけでなく、店舗全体について算出されてもよい。この場合、複数の商品棚２０それぞれについて生成された比較情報を用いて、店舗全体の合致率が算出される。具体的には、「店舗に陳列されている、基準陳列情報に示される基準に合致する商品の数」を、「その店舗に陳列すべき商品の総数」で割った値として、この合致率を定義することができる。以下の数式（２）は、この定義を表している。

【数2】

【0088】

以下、棚ごとに算出した合致率（数式（１））を「棚別合致率」と呼び、店舗全体について算出された合致率（数式（２））を「店舗別合致率」と呼ぶ。例えば１つの企業が複数の店舗を経営している場合、各店舗の運営状況を把握する指標の一つとして、各店舗の店舗別合致率を利用することができる。店舗別合致率が高い店舗は、基準に沿って適切に商品の陳列が行われていると言える。一方、店舗別合致率が低い店舗では、商品の陳列が適切に行われていない可能性がある。

【0089】

ここで、情報処理装置２０００が店舗別合致率を算出する契機は任意である。例えば情報処理装置２０００は、店舗に存在する全ての商品棚２０について比較情報が生成されたことを契機に、その店舗について店舗別合致率を算出する。

【0090】

なお、棚別合致率や店舗別合致率は、陳列されている全ての商品についてではなく、特定のメーカの商品についてのみ算出されてもよい。例えば或るメーカについての棚別合致率を算出するとする。この場合、比較部２０４０は、「商品棚２０に置かれているそのメーカの商品のうち、基準陳列情報に示されている基準に合致する商品の数」を「商品棚２０に陳列すべきそのメーカの商品の総数」で割った値を、そのメーカについての棚別合致率として算出する。また、比較部２０４０は、「店舗に置かれているそのメーカの商品のうち、基準陳列情報に示されている基準に合致する商品の数」を「店舗に陳列すべきそのメーカの商品の数」で割った値を、そのメーカについての店舗別合致率として算出する。

【0091】

なお、特定のメーカについて棚別合致率や店舗別合致率を算出する場合、情報処理装置２０００は、そのメーカを特定する識別情報（メーカ名やメーカの識別子など）を取得する。メーカの識別情報は、例えば、携帯端末３０００から送信されるリクエストに含められる。

【0092】

＜＜合致率を利用したアラート＞＞
前述したように、情報処理装置２０００は、棚画像１２に含まれる商品棚２０を特定するために、商品棚２０の識別子を取得する。そして、情報処理装置２０００は、その識別子で特定される商品棚２０についての基準陳列情報を取得する。ここで仮に、棚画像１２に含まれる商品棚２０とは別の商品棚２０の識別子を情報処理装置２０００が取得してしまうと、情報処理装置２０００は、棚画像１２に含まれる商品棚２０の陳列状況と、他の商品棚２０についての基準陳列情報とを比較してしまう。そのため、この場合に算出される棚別合致率は、低くなる蓋然性が高い。

【0093】

そこで情報処理装置２０００は、比較部２０４０によって算出された棚別合致率が所定値以下であるか否かを判定し、所定値以下である場合には、商品棚２０の識別子が誤っている可能性がある旨のアラートを出力するように構成されていてもよい。

【0094】

例えば情報処理装置２０００が、携帯端末３０００から、棚画像１２及び商品棚２０の識別子を含むリクエストを受信するとする。この場合、情報処理装置２０００は、算出した棚別合致率が所定値以上であれば、上記リクエストに対するレスポンスとして、前述したアラートを表すメッセージを送信する。このメッセージを受信した携帯端末３０００のユーザは、例えば、正しい商品棚２０の識別子を指定してリクエストの送信をやり直すといった対処ができる。

【0095】

上述では、商品棚２０の識別子を誤った可能性がある状況でアラートを出力することを例示したが、アラートを出力される状況はこのような状況に限定されない。例えば、情報処理装置２０００は、比較部２０４０によって算出された棚別合致率及び店舗別合致率の少なくとも何れかの合致率を利用して、合致率が所定の条件を満たさない場合に、基準に沿った適切な陳列が行われていない旨を表すアラートを出力してもよい。例えば所定の条件は、合致率が所定値以上であるという条件である。

【0096】

［実施形態２］
図１０は、実施形態２の情報処理装置２０００の機能構成を例示するブロック図である。以下で説明する事項を除き、実施形態２の情報処理装置２０００は、実施形態１の情報処理装置２０００と同様の機能を有する。

【0097】

実施形態２の情報処理装置２０００は、生成部２０６０を有する。生成部２０６０は、商品棚２０について生成された比較情報を用いて、その商品棚２０について結果画像を生成する。商品棚２０についての結果画像は、基準陳列情報が示す基準に合致しない商品と、基準陳列情報が示す基準に合致する商品とを識別可能な態様で表す画像データである。結果画像は、画像ファイルとして記憶装置に記憶されてもよいし、画面データとしてディスプレイ装置に表示されてもよい。

【0098】

本実施形態の情報処理装置２０００によれば、商品棚２０における商品の陳列状況と、基準陳列情報とを比較した結果が、結果画像という形でグラフィカルに表される。そのため、商品棚２０における商品の陳列状況と陳列の基準との差異を、直感的に容易に把握することができる。

【0099】

＜ディスプレイ装置について＞
結果画像が表示されるディスプレイ装置は、任意のディスプレイ装置とすることができる。例えばディスプレイ装置は、情報処理装置２０００に接続されているディスプレイ装置や携帯端末３０００のディスプレイ装置などである。その他にも例えば、ディスプレイ装置は、商品棚２０が設置されている店舗のスタッフルームなどに設置されている端末や、その店舗を運営する会社のオフィスに設置されている端末に接続されているディスプレイ装置であってもよい。その他にも例えば、或るメーカのラウンダーなどが、商品棚２０においてそのメーカの商品が正しく陳列されているかを調べるために、情報処理装置２０００を利用するとする。この場合、結果画像が表示されるディスプレイ装置は、そのメーカのオフィスなどに設置されている端末に接続されているディスプレイ装置であってもよい。なお、スタッフルームやオフィスに設置されている端末は、例えば PC である。

【0100】

ここで、結果画像が表示されるディスプレイ装置が情報処理装置２０００と接続されているものでない場合、情報処理装置２０００は、そのディスプレイ装置が接続されている端末に対して、結果画像を送信する。そのため、情報処理装置２０００は、結果画像の送信先を特定できる必要がある。

【0101】

結果画像の送信先を特定する方法は様々である。例えば結果画像の送信先を特定する情報を、予め情報処理装置２０００からアクセス可能な記憶装置に記憶させておく。この場合、情報処理装置２０００は、上記記憶装置にアクセスすることで、結果画像の送信先を特定する。

【0102】

その他にも例えば、携帯端末３０００から送信されたリクエストに応じて情報処理装置２０００が処理を行う場合、情報処理装置２０００は、上記リクエストの送信元に結果画像を送信する。また、上記リクエストに結果画像の送信先を含めるようにしてもよい。この場合、情報処理装置２０００は、リクエストに示されている送信先に、結果画像を送信する。

【0103】

＜結果画像について＞
結果画像の具体的な内容は様々である。以下、結果画像のバリエーションについて例示する。

【0104】

例えば生成部２０６０は、実陳列情報と基準陳列情報の比較結果を表す重畳データを棚画像１２に重畳させることで、結果画像を生成する。図１１は、結果画像を例示する第１の図である。図１１の結果画像８０において、棚画像１２には、比較結果を示す重畳データが重畳されている。基準陳列情報が示す基準に合致する商品の画像領域には、重畳データ９０（ドット柄の矩形）が重畳されている。また、基準陳列情報が示す基準に合致しない商品の画像領域には、重畳データ９２（斜線柄の矩形）が重畳されている。さらに、商品が陳列されていない画像領域のうち、基準陳列情報によれば商品が陳列されるべきである位置を表す画像領域（すなわち、商品が欠品している位置を表す画像領域）には、重畳データ９４（格子柄の矩形）が重畳されている。例えば、基準陳列情報が商品Ａの位置として「２段目、３列目」という位置を示しているにもかかわらず、この位置に商品が配置されていない場合、この位置において商品が欠品しているといえる。

【0105】

なお、重畳データには、ドット柄等の模様ではなく色を利用してもよい。例えば、ドット柄、斜線柄、及び格子柄それぞれの代わりに、緑色、赤色、及び黄色を利用する。

【0106】

ここで、基準陳列情報が示す基準に合致していない部分を表す重畳データ（図１１の重畳データ９２又は重畳データ９４）は、点滅させるなどの方法で強調するようにしてもよい。

【0107】

基準に合致している商品と基準に合致していない商品とは、重畳データの柄や色ではなく、重畳データの形状で識別されてもよい。図１２は、結果画像８０を例示する第２の図である。図１２の結果画像８０において、基準陳列情報が示す基準に合致しない商品の画像領域には、重畳データ９６（黒丸印）が重畳されている。また、商品が欠品している位置を表す画像領域には、重畳データ９７（バツ印）が重畳されている。

【0108】

その他にも例えば、重畳データとしてヒートマップが利用されてもよい。図１３は、結果画像８０を例示する第３の図である。図１３では、１つの重畳データ９８が棚画像１２に重畳されている。重畳データ９８は、基準陳列情報と合致しない部分の色が比較的濃く、基準陳列情報と合致する部分の色が比較的薄いヒートマップである。

【0109】

結果画像８０は、比較結果を表す重畳データが重畳された棚画像１２に加え、棚別合致率を表す文字列等を含んでもよい。図１４は、棚別合致率を含む結果画像８０を例示する図である。図１４の結果画像８０は、棚画像１２の上に、棚別合致率を表す文字列７０を含んでいる。

【0110】

結果画像８０は、比較結果を表す重畳データが重畳された棚画像１２に加え、棚画像１２に陳列されている商品のリストを含んでいてもよい。図１５は、商品のリストを含む結果画像８０を例示する図である。図１５において、エリア１２０には、重畳データが重畳された棚画像１２が表示されている。一方、エリア１３０は、商品リスト１４０が表示されている。

【0111】

ここで、結果画像をディスプレイ装置に表示させる場合、生成部２０６０は、商品リスト１４０に対してユーザが入力操作を加えることに応じて、エリア１２０の表示を変更してもよい。例えばユーザが、商品リスト１４０の或るレコードを選択したとする。この場合、比較部２０４０は、エリア１２０において、選択されたレコードが示す商品に対応する画像領域が強調される様にする。

【0112】

図１６は、商品リスト１４０に対する操作に応じて結果画像８０が変化する様子を例示する図である。図１６では、図１５で表される結果画像８０に対し、ユーザが、商品Ａのレコードを選択する入力操作を加えたことを想定している。この入力操作に応じ、結果画像８０には、重畳データ１６０が表示されている。重畳データ１６０は、図１５の結果画像８０から商品Ａに対応する画像領域を抽出して拡大したものであり、棚画像１２よりも前面に位置するように表示されている。これにより、ユーザが選択した商品Ａに対応する画像領域が、前面に浮き出したように強調されて見えている。なお、レコードを選択する操作はタッチ操作には限定されず、マウス操作などであってもよい。

【0113】

逆に、生成部２０６０は、エリア１２０に表示されている商品の画像に対してユーザが入力操作を加えたことに応じて、商品リスト１４０の表示を変更してもよい。具体的には、ユーザが或る商品の画像を選択すると、その商品を示す商品リスト１４０のレコードが強調表示される。

【0114】

図１７は、商品の画像に対する操作に応じて結果画像８０が変化する様子を例示する図である。図１７では、ユーザが、エリア１２０において商品Ａを表している画像領域１７０を選択したことに応じて、商品Ａを示すレコードの背景色が変更されている。

【0115】

＜ディスプレイ装置の表示を更新する方法＞
結果画像８０を表示させるディスプレイ装置が情報処理装置２０００以外の端末に接続されている場合、結果画像８０に対する入力操作はその端末によって検出される。例えば結果画像８０が、携帯端末３０００のディスプレイ装置に表示される場合、結果画像８０に対する入力操作は携帯端末３０００によって検出される。

【0116】

このように情報処理装置２０００以外の端末によって結果画像８０に対する入力操作が検出される場合に、その入力操作に応じてディスプレイ装置の表示を更新する方法には、様々な方法を採用できる。例えば結果画像８０に対する入力操作を検出した端末は、情報処理装置２０００に対し、その入力操作の内容（例えば、入力操作の対象となった重畳データに関する情報など）を送信する。情報処理装置２０００は、受信した情報に基づいて内容を更新した結果画像８０を生成し、その結果画像８０を端末へ送信する。そして端末が、受信した結果画像８０をディスプレイ装置に表示させる。この一連の流れにより、ディスプレイ装置に表示される結果画像８０が更新される。

【0117】

その他にも例えば、携帯端末３０００などの端末に、結果画像８０に対する入力操作に応じてディスプレイ装置の表示を更新する機能を持たせてもよい。この場合、端末は、ユーザの入力操作を検出した際、その内容を情報処理装置２０００に送信することなく、自身で結果画像８０の変更を行う。この場合、端末には、結果画像８０を閲覧するためのアプリケーションを予めインストールしておく。例えば携帯端末３０００の場合、前述したアプリケーション１００に、結果画像８０を閲覧するための機能を持たせておく。

【0118】

＜棚画像１２から認識できなかった商品がある場合について＞
棚画像１２の一部が不鮮明などの理由から、棚画像１２に含まれる商品の一部を認識できないことがありうる。この場合、実陳列情報は、特定できない何らかの商品（不明商品）が置かれている位置を示してもよい。

【0119】

実陳列情報に不明商品の位置が示されている場合、結果画像８０は不明商品の位置を示すことが好適である。具体的には、生成部２０６０は、不明商品を表す重畳データを結果画像８０に含める。図１８は、不明商品を表す重畳データが含まれる結果画像８０を例示する図である。図１８において、重畳データ１１０は、不明商品を表している。すなわち、図１８の結果画像８０は、重畳データ１１０が重畳されている位置の商品が特定されていないことを表している。

【0120】

不明商品については、カメラ１０による撮像をやり直すことが好ましい。そこで例えば、重畳データ１１０は、カメラ機能を呼び出すためのボタンとして実現されてもよい。この場合、例えば結果画像８０は、カメラ１０が設けられている携帯端末３０００のディスプレイ装置に表示される。この場合、アプリケーション１００は、ユーザが重畳データ１１０を押下等したことを検知し、これに応じてカメラ１０を制御するカメラアプリケーションを起動させる。ユーザがカメラアプリケーションを操作してカメラ１０に撮像を行わせると、アプリケーション１００は、生成された棚画像１２を情報処理装置２０００へ送信する。情報処理装置２０００は、取得した棚画像１２を用いて実陳列情報を再度生成する。

【0121】

ここで、新たに生成された棚画像１２において、不明商品であった商品が認識可能に（鮮明に）含まれていれば、新たに生成された実陳列情報には、不明商品であった商品の商品名などが示されることになる。そこで、情報処理装置２０００は、新たに生成された実陳列情報と基準陳列情報とを比較することで再度比較情報を生成し、結果画像８０を更新する。この際、情報処理装置２０００は、前回生成した実陳列情報において不明商品であったものについてのみ比較情報を生成し、前回生成した比較情報とマージするようにしてもよい。

【0122】

なお、不明商品を表す重畳データ１１０の利用方法は、カメラ１０により撮像をやり直せるようにすることに限定されない。例えば、重畳データ１１０には、不明商品の位置に配置されるべき商品に関する情報を含む構成を採用してもよい。係る商品に関する情報の表示態様は、後述する図１９に示す情報（修正情報１５０－１及び修正情報１５０－２）と同様な構成を採用してもよい。その場合に、情報処理装置２０００は、基準陳列情報から不明商品の位置に関連付けられた商品に関する情報を求めることによって実現することができる。表示された商品に関する情報がユーザに選択された場合に、その選択に応じて、情報処理装置２０００は、選択された商品に関する情報と、既に取得された棚画像１２を用いて生成された実陳列情報とに基づいて、当該実陳列情報と異なる実陳列情報を再度生成してもよい（つまり、実陳列情報に選択された商品に関する情報を含める）。

【0123】

＜商品の陳列を修正するための情報の表示＞
結果画像８０は、基準陳列情報が示す基準に合致しない部分について、基準陳列情報が示す基準を表す情報（すなわち、どのように陳列状況を修正すれば基準に合致するかを表す情報）を含んでもよい。以下、この情報を修正情報と呼ぶ。

【0124】

図１９は、修正情報を例示する図である。図１９の結果画像８０は、２つの修正情報１５０を含んでいる。修正情報１５０－１を見ることにより、重畳データ９２が重畳されている場所に置かれている商品を、商品Ａに置き換えるべきことが分かる。また、修正情報１５０－２を見ることにより、重畳データ９４が重畳されている場所に、商品Ｂを置くべきことが分かる。

【0125】

ここで、結果画像８０がディスプレイ装置に表示される場合、生成部２０６０は、修正情報１５０を最初から結果画像８０に含めてもよいし、基準に合致していないことを表す重畳データ（重畳データ９２や重畳データ９４など）に対して入力操作が加えられたタイミングで、結果画像８０に修正情報１５０を含めてもよい。

【0126】

また、生成部２０６０は、修正情報１５０に対して入力操作が加えられたことに応じて、修正情報１５０に示されている商品に関する詳細な情報を示す画面データを生成してもよい。商品に関する情報とは、例えば、その商品の識別子、その商品が属するグループ、その商品のメーカ、その商品が保管されている場所（倉庫に設置されている棚の場所やその棚における商品の位置）などである。例えば商品が欠品している場合、商品を保管場所から持ってきて補充する必要がある。そこで、商品の保管場所が表示されるようにすることで、このような商品の補充作業を容易にすることができる。

【0127】

ここで、修正情報１５０は、基準陳列情報が示す基準に合致しない全ての商品について表示されてもよいし、一部の商品について表示されてもよい。後者の場合、商品に対して修正情報１５０を表示するか否かは、その商品の重要度に基づいて決定される。この場合、各商品に対して重要度を予め設定しておく。

【0128】

例えば生成部２０６０は、重要度が所定値以上の商品についてのみ修正情報１５０を生成し、結果画像８０に含める。その他にも例えば、生成部２０６０は、基準陳列情報が示す基準に合致しない商品のうち、重要度が上位所定数の商品についてのみ修正情報１５０を生成し、結果画像８０に含めるようにしてもよい。

【0129】

［ハードウエア構成の例］
実施形態２の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。

【0130】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。

【0131】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． 商品棚が撮像されている棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析手段と、
前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較手段と、を有する情報処理装置。
２． 前記基準陳列情報は、前記商品棚に陳列されるべき各商品の識別情報を示し、
前記画像解析手段は、前記商品棚に陳列されている各商品の識別情報を示す前記実陳列情報を生成する、１．に記載の情報処理装置。
３． 前記基準陳列情報は、前記商品棚における前記商品の陳列位置と、フェイス数と、他の商品との配置関係とのうちの少なくとも１つを示す、２．に記載の情報処理装置。
４． 前記比較手段は、商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、１．乃至３．いずれか一つに記載の情報処理装置。
５． 前記比較手段は、メーカの識別子を取得し、前記識別子で特定されるメーカの商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、１．乃至３．いずれか一つに記載の情報処理装置。
６． 前記比較情報を用いて、前記基準陳列情報が示す基準に合致しない商品を表す結果画像を生成する生成手段を有する、１．乃至５．いずれか一つに記載の情報処理装置。
７． 前記結果画像は、前記基準陳列情報が示す基準に合致しない商品と、前記基準陳列情報が示す基準に合致する商品とを識別可能な態様で表す、６．に記載の情報処理装置。
８． 前記生成手段は、前記基準陳列情報が示す基準に合致しない商品について、その商品を陳列すべき位置、又はその商品が陳列されている位置に陳列すべき商品を表す修正情報を前記結果画像に含める、６．又は７．に記載の情報処理装置。

【0132】

９． 情報処理装置及び携帯端末を有する情報処理システムであって、
前記携帯端末は、商品棚が撮像されている棚画像を前記情報処理装置に送信し、
前記情報処理装置は、
前記送信された棚画像を受信し、その棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析手段と、
前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較手段と、
前記基準陳列情報が示す基準に合致しない商品を表す結果画像を生成し、前記携帯端末へ送信する生成手段と、を有し、
前記携帯端末は、前記結果画像を受信してディスプレイ装置に表示させる、情報処理システム。
１０． 前記基準陳列情報は、前記商品棚における前記商品の陳列位置と、フェイス数と、他の商品との配置関係とのうちの少なくとも１つを示す前記実陳列情報を生成する、９．に記載の情報処理システム。
１１． 前記基準陳列情報は、前記商品棚における前記商品の陳列位置、フェイス数、又は他の商品との配置関係を示す、１０．に記載の情報処理システム。
１２． 前記比較手段は、商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、９．乃至１１．いずれか一つに記載の情報処理システム。
１３． 前記比較手段は、メーカの識別子を取得し、前記識別子で特定されるメーカの商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、９．乃至１１．いずれか一つに記載の情報処理システム。
１４． 前記結果画像は、前記基準陳列情報が示す基準に合致しない商品と、前記基準陳列情報が示す基準に合致する商品とを識別可能な態様で表す、９．乃至１３．いずれか一つに記載の情報処理システム。
１５． 前記生成手段は、前記基準陳列情報が示す基準に合致しない商品について、その商品を陳列すべき位置、又はその商品が陳列されている位置に陳列すべき商品を表す修正情報を前記結果画像に含める、９．乃至１４．いずれか一つに記載の情報処理システム。

【0133】

１６． コンピュータによって実行される制御方法であって、
商品棚が撮像されている棚画像を画像解析して、前記商品棚における商品の陳列状況を表す実陳列情報を生成する画像解析ステップと、
前記実陳列情報と、前記商品棚における商品の陳列の基準を表す基準陳列情報とを比較し、その比較の結果を表す比較情報を生成する比較ステップと、を有する制御方法。
１７． 前記基準陳列情報は、前記商品棚に陳列されるべき各商品の識別情報を示し、
前記画像解析ステップにおいて、前記商品棚に陳列されている各商品の識別情報を示す前記実陳列情報を生成する、１６．に記載の制御方法。
１８． 前記基準陳列情報は、前記商品棚における前記商品の陳列位置と、フェイス数と、他の商品との配置関係とのうちの少なくとも１つを示す、１７．に記載の制御方法。
１９． 前記比較ステップにおいて、商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、１６．乃至１８．いずれか一つに記載の制御方法。
２０． 前記比較ステップにおいて、メーカの識別子を取得し、前記識別子で特定されるメーカの商品の陳列状況が前記基準陳列情報によって示される基準に合致する度合いを表す合致率を算出して前記比較情報に含める、１６．乃至１８．いずれか一つに記載の制御方法。
２１． 前記比較情報を用いて、前記基準陳列情報が示す基準に合致しない商品を表す結果画像を生成する生成ステップを有する、１６．乃至２０．いずれか一項に記載の制御方法。
２２． 前記結果画像は、前記基準陳列情報が示す基準に合致しない商品と、前記基準陳列情報が示す基準に合致する商品とを識別可能な態様で表す、２１．に記載の制御方法。
２３． 前記生成ステップにおいて、前記基準陳列情報が示す基準に合致しない商品について、その商品を陳列すべき位置、又はその商品が陳列されている位置に陳列すべき商品を表す修正情報を前記結果画像に含める、２１．又は２２．に記載の制御方法。

【0134】

２４． １６．乃至２３．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。

【0135】

この出願は、２０１７年９月２９日に出願された日本出願特願２０１７－１９１７９０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】