(58)【調査した分野】(Int.Cl.,DB名)
前記取得部は、前記特定部によって特定された商品のうち、他の商品よりも販売数の多い商品について、販売数が多いことを示す情報を取得する、請求項1または請求項2記載のサーバ装置。
【発明を実施するための形態】
【0023】
以下、本発明によるサーバ装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。本実施の形態によるサーバ装置は、店舗における商品の陳列画像に含まれる商品に関する情報に応じた提供情報をユーザに提供することによって、ユーザから陳列画像が送信されるようにするものである。
【0024】
図1は、本実施の形態によるサーバ装置1の構成を示すブロック図である。本実施の形態によるサーバ装置1は、受信部11と、特定部12と、出力部13と、記憶部14と、取得部15と、送信部16とを備える。サーバ装置1は、有線または無線の通信回線500を介して、端末装置2から情報を受信したり、端末装置2に情報を送信したりすることができる。通信回線500は、例えば、インターネットや公衆電話回線網等であってもよい。また、端末装置2は、例えば、スマートフォンやタブレット端末であってもよく、パーソナルコンピュータであってもよく、その他の端末装置であってもよい。端末装置2は、撮影機能を有する装置であることが好適である。
【0025】
受信部11は、ユーザの端末装置2から送信された送信情報を受信する。送信情報には、ユーザによって撮影された、店舗における商品の陳列画像と、その陳列画像の撮影場所を示す場所情報とが含まれる。送信情報には、陳列画像の撮影日が含まれてもよい。また、送信情報には、ユーザを識別するためのユーザ識別子が含まれてもよい。本実施の形態では、撮影日及びユーザ識別子が送信情報に含まれる場合について主に説明する。
【0026】
商品は、例えば、食品であってもよく、日用品であってもよく、家電製品であってもよく、その他の商品であってもよい。本実施の形態では、商品が食品である場合について主に説明する。商品は、通常、店舗における販売対象となる商品である。
【0027】
陳列画像は、店舗において陳列されている商品を撮影した画像である。したがって、陳列画像は、通常、並んでいる複数の商品(厳密には「商品の画像」であるが、簡単のために「商品」と呼ぶことにする。)を含む画像である。陳列画像は、通常、静止画像であるが、動画像であってもよい。陳列画像が動画像である場合には、動画像に含まれる少なくとも1つのフレームについて、後述する各処理が行われてもよい。陳列画像は、例えば、棚に並べられた複数の商品を撮影した画像であってもよい。陳列画像は、カラーの画像であることが好適であるが、白黒の画像であってもよい。
【0028】
場所情報は、陳列画像の撮影された位置を示す情報であれば、どのようなものであってもよい。この場所情報によって、陳列画像に基づいて取得される商品の陳列に関する情報が、どの店舗の情報であるのかがわかることになる。場所情報は、例えば、端末装置2がGPS(Global Positioning System)によって取得した緯度、経度などの座標情報であってもよく、店舗の名称であってもよく、撮影位置を示すその他の情報であってもよい。店舗の名称である場所情報は、ユーザによって端末装置2に手入力されてもよい。例えば、複数の候補からユーザによって選択された店舗の名称が、端末装置2で受け付けられてもよい。場所情報に、店舗の中における位置を示す情報、例えば、「入り口に近い場所」や「入り口から遠い場所」などが含まれていてもよい。本実施の形態では、場所情報が端末装置2において取得された緯度、経度である場合について主に説明する。場所情報は、陳列画像の画像データに含まれていてもよい。
【0029】
撮影日は、例えば、陳列画像の撮影された年月日を示すものであってもよく、さらに撮影時刻も含んでいてもよい。この撮影日によって、陳列画像に基づいて取得される商品の陳列に関する情報が、どの時点の情報であるのかがわかることになる。撮影日は、例えば、端末装置2のカレンダー部や時計部から取得された情報であってもよい。本実施の形態では、撮影日が、陳列画像が撮影された年月日である場合について主に説明する。撮影日は、陳列画像の画像データに含まれていてもよい。
【0030】
ユーザ識別子は、例えば、ユーザの氏名や電話番号等であってもよく、ユーザを識別するために設定された数字や番号、記号等であってもよい。ユーザ識別子は、例えば、端末装置2において記憶されており、それが読み出されて送信情報に含められてもよい。
【0031】
なお、受信部11は、受信を行うための有線または無線の受信デバイス(例えば、モデムやネットワークカードなど)を含んでもよく、または含まなくてもよい。また、受信部11は、ハードウェアによって実現されてもよく、または受信デバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【0032】
特定部12は、陳列画像に含まれる商品を特定し、その特定した商品の陳列に関する陳列情報を取得する。陳列画像に含まれる商品の特定は、例えば、陳列画像に含まれる各商品について、商品を識別する商品識別子をそれぞれ取得することであってもよい。商品識別子は、例えば、商品の名称であってもよく、商品を識別するために設定された数字や番号、記号等であってもよい。陳列画像における商品の特定は、例えば、陳列画像に含まれる商品の領域の特定と、その特定した領域における商品の認識とによって行われてもよい。
【0033】
陳列画像における商品の領域の特定は、例えば、陳列画像における輪郭抽出によって行われてもよく、陳列画像について畳み込みニューラルネットワークなどを用いたセグメンテーションを行い、そのセグメンテーションの結果において商品と認識された領域を特定することによって行われてもよい。商品の領域を特定する処理はすでに公知であり、その詳細な説明を省略する。なお、商品の領域が特定されても、その特定した領域の商品が何であるのかは不明である。その商品が何であるのかについては、次の商品の認識によってわかることになる。
【0034】
特定された領域の商品の認識は、例えば、パターンマッチングによって行われてもよく、商品の名称を文字認識することによって行われてもよく、畳み込みニューラルネットワーク等を用いた物体認識によって行われてもよい。この商品の認識が行われることによって、特定された領域の商品が、どの商品であるのかが特定されることになる。例えば、その領域の商品を識別する商品識別子が特定されることになる。商品を認識する処理はすでに公知であり、その詳細な説明を省略する。
【0035】
陳列画像には、通常、複数の商品が含まれている。したがって、特定部12は、陳列画像に含まれる各商品について、商品識別子と、陳列画像における位置とを取得してもよい。陳列画像における位置は、例えば、特定された商品の領域を示す情報(例えば、領域の輪郭を示す情報など)であってもよく、その領域の代表点(例えば、重心など)の座標であってもよい。
【0036】
特定部12は、陳列画像における各商品の商品識別子と、位置とを用いて、陳列情報を取得する。陳列情報は、陳列画像において、商品がどのように陳列されているのかを示す情報である。例えば、陳列情報は、商品識別子と、その商品識別子で識別される商品のフェイス数と、その商品識別子で識別される商品が陳列されている高さとを対応付ける情報であってもよい。フェイス数は、陳列画像において商品が並べられている個数である。陳列画像において、ある商品について2箇所の領域が特定された場合には、その商品のフェイス数は「2」になる。特定部12は、例えば、陳列画像に含まれる各商品について取得した商品識別子ごとの個数をカウントすることによって、フェイス数を取得することができる。商品の高さは、例えば、商品の陳列棚の段数(例えば、最上段から順番に1段目、2段目など)であってもよく、その他の高さを示す情報であってもよい。特定部12は、例えば、陳列画像に含まれる各商品について取得した高さ方向の座標値について、クラスタリングを行なって複数のクラスタに分類し、高さが最も高いクラスタから順番に1段目、2段目のように特定してもよい。また、陳列情報は、陳列画像に含まれる各商品について、商品識別子と、その商品識別子で識別される商品の位置とを対応付ける情報であってもよい。また、陳列情報は、陳列画像と、その陳列画像において特定された商品識別子とを含む情報であってもよい。なお、陳列情報は、商品の棚割を示す情報であると考えてもよい。
【0037】
出力部13は、出力情報を出力する。出力情報は、陳列情報と場所情報とを含む情報である。送信情報に撮影日が含まれる場合には、出力情報にも撮影日が含まれてもよい。出力情報に含まれる場所情報や撮影日は、その出力情報に含まれる陳列情報の取得元である陳列画像の撮影場所を示す場所情報や、その撮影の日を示す撮影日である。出力部13によって出力された出力情報は、例えば、小売の本部や、製造会社、卸業者等によって用いられてもよい。
【0038】
ここで、この出力は、例えば、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、記録媒体への蓄積でもよく、表示デバイス(例えば、液晶ディスプレイや有機ELディスプレイなど)への表示でもよく、他の構成要素への引き渡しでもよい。なお、出力部13は、出力を行うデバイス(例えば、通信デバイスやプリンタなど)を含んでもよく、または含まなくてもよい。また、出力部13は、ハードウェアによって実現されてもよく、または、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【0039】
記憶部14では、食品に関するユーザの摂取制限を示す摂取制限情報が記憶される。摂取制限情報は、ユーザごとの情報である。食品に関する摂取制限は、例えば、健康の維持のための摂取制限(例えば、塩分の多い食品は食べない、特定のアレルギー物質を含む食品は食べないなど)であってもよく、宗教上の理由による摂取制限(例えば、ハラルのみを食べるなど)であってもよく、思想上の理由による摂取制限(例えば、ビーガン(完全菜食主義者)が食べることができる食品のみを食べるなど)であってもよく、食品に関するその他の摂取制限であってもよい。摂取制限情報は、例えば、ユーザを識別するユーザ識別子と、そのユーザに関する食品の摂取制限に関連する情報とを有する情報であってもよい。食品の摂取制限に関連する情報は、例えば、摂取してはいけないアレルギー物質を示す情報を含んでもよく、栄養素ごとに、多量に摂取してはならないことを示す情報を含んでもよい。栄養素は、例えば、タンパク質、脂質、炭水化物、糖質、食塩相当量、ミネラル、ビタミン、コレステロール、食物繊維などの1以上を含んでもよい。なお、食品分野においては、栄養成分にエネルギーも含まれることが一般的であるため、栄養素に熱量が含まれると考えてもよい。食品の摂取制限に関連する情報は、例えば、ユーザがビーガンかどうかを示す情報や、ユーザがハラルのみを食べるかどうかを示す情報を含んでいてもよい。
【0040】
記憶部14では、例えば、商品情報が記憶されていてもよい。商品情報は、商品に関連する情報であり、商品ごとの情報である。商品情報は、例えば、商品を識別する商品識別子と、その商品識別子で識別される商品の属性を示す情報とを含んでいてもよい。商品が食品である場合には、商品の属性を示す情報は、例えば、商品に含まれるアレルギー物質を示す情報、塩分、糖質、たんぱく質、熱量などの栄養素が多く含まれるかどうかを示す情報、ビーガンが食べることができるかどうかを示す情報、ハラルであるかどうかを示す情報などであってもよい。また、商品が食品でない場合には、商品の属性を示す情報は、例えば、アレルギー物質を含むかどうかの情報や、商品に含まれる添加物に関する情報、商品に関する注意点を示す情報(例えば、薬の副作用を示す情報など)であってもよい。
【0041】
記憶部14に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が記憶部14で記憶されるようになってもよく、通信回線等を介して送信された情報が記憶部14で記憶されるようになってもよく、または、入力デバイスを介して入力された情報が記憶部14で記憶されるようになってもよい。記憶部14は、不揮発性の記録媒体によって実現されることが好適であるが、揮発性の記録媒体によって実現されてもよい。記録媒体は、例えば、半導体メモリや磁気ディスク、光ディスクなどであってもよい。
【0042】
取得部15は、特定部12によって特定された商品に関する情報を取得する。すなわち、陳列画像に含まれる各商品に対応する情報が取得部15によって取得されることになる。本実施の形態では、取得部15が、特定部12によって特定された食品(商品)が、送信情報に含まれるユーザ識別子で識別されるユーザの摂取制限に抵触するかどうかを示す情報を取得する場合について主に説明する。摂取制限に抵触するかどうかを示す情報は、例えば、摂取制限に抵触することを示す情報であってもよく、摂取制限に抵触しないことを示す情報であってもよい。また、取得部15は、例えば、特定部12によって特定された商品のうち、一部の商品についてのみ情報を取得してもよく、すべての商品について情報を取得してもよい。例えば、摂取制限に抵触することを示す情報が取得される場合には、摂取制限に抵触する商品についてのみ、その情報が取得されることになる。商品に関する情報の取得は、例えば、特定部12によって取得された商品識別子を用いて、記憶部14で記憶されている情報を検索することによって行われてもよい。
【0043】
例えば、摂取制限情報によってユーザが卵アレルギーであることが示される場合には、取得部15は、特定部12によって特定された食品が、アレルギー物質である卵を含まない食品であるかどうかを示す情報を取得してもよい。より具体的には、摂取制限情報によってユーザが卵アレルギーであることが示される場合には、取得部15は、特定部12によって特定された食品のそれぞれについて、記憶部14から、食品の情報を読み出し、その読み出した食品の情報から、アレルギー物質である卵を含むかどうかを示す情報を取得してもよい。または、摂取制限情報によってユーザが卵アレルギーであることが示される場合には、取得部15は、特定部12によって特定された食品の商品識別子と、アレルギー物質である卵を含まないという条件(または、アレルギー物質である卵を含むという条件)とを検索キーとして記憶部14で記憶されている食品の情報を検索し、ヒットした商品識別子で識別される食品について、その食品を食べることができる旨の情報(または、食べることができない旨の情報)を取得してもよい。その他のアレルギー物質、栄養素、ビーガン、ハラル等の摂取制限がある場合にも、取得部15は、同様にして、特定部12によって特定された食品について、ユーザが食べることができるかどうかを示す情報を取得することができる。
【0044】
また、例えば、摂取制限情報によってユーザが多量に摂取してはならない栄養素が示される場合には、取得部15は、特定部12によって特定された食品に、その栄養素が多量に含まれるかどうかを示す情報を取得してもよい。また、例えば、摂取制限情報によってユーザが、ビーガンが食べることができる食品のみを食べることが示される場合には、取得部15は、特定部12によって特定された食品が、ビーガンが食べることができる食品であるかどうかを示す情報を取得してもよい。また、例えば、摂取制限情報によってユーザがハラルのみを食べることが示される場合には、取得部15は、特定部12によって特定された食品がハラルであるかどうかを示す情報を取得してもよい。
【0045】
送信部16は、取得部15によって取得された商品に関する情報に応じた提供情報を、送信情報を送信した端末装置2に送信する。提供情報は、例えば、取得部15によって取得された商品に関する情報そのものを含む情報であってもよく、取得部15によって取得された商品に関する情報を用いて生成された情報であってもよい。後者の場合には、例えば、提供情報は、取得部15によって取得された商品に関する情報を陳列画像上において示すための情報であってもよい。具体的には、提供情報は、食品に禁止アレルギー物質が含まれるかどうかを陳列画像上において示すための情報であってもよい。その提供情報は、取得部15によって取得された情報に対応する図形や文字列等の表示された陳列画像であってもよく、または、端末装置2において、取得部15によって取得された情報に対応する図形や文字列等を陳列画像上に表示するための情報(例えば、陳列画像における座標値と、その座標値に表示する図形や文字列等を示す情報など)であってもよい。本実施の形態では、提供情報が、取得部15によって取得された情報に対応する図形の表示された陳列画像である場合について主に説明する。取得部15によって取得された商品に関する情報を用いて生成された提供情報が送信部16によって送信される場合に、その提供情報は、例えば、取得部15によって生成されてもよく、他の構成要素によって生成されてもよい。
【0046】
なお、取得部15によって取得された商品に関する情報そのものを含む提供情報は、例えば、テキスト形式の情報や、表形式の情報などであってもよい。例えば、商品識別子と、その商品識別子で識別される商品に関する情報とを対応付ける情報が提供情報に含まれていてもよい。
【0047】
また、送信部16は、例えば、受信部11によって受信された送信情報の送信元のアドレスを送信先のアドレスとして、その送信情報に含まれる陳列画像に基づいて取得された商品に関する情報に応じた提供情報を送信してもよい。また、送信部16は、送信を行うための送信デバイス(例えば、モデムやネットワークカードなど)を含んでもよく、または含まなくてもよい。また、送信部16は、ハードウェアによって実現されてもよく、または送信デバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【0048】
次に、サーバ装置1の動作について
図2のフローチャートを用いて説明する。
【0049】
(ステップS101)受信部11は、ユーザの端末装置2から送信された送信情報を受信したかどうか判断する。そして、送信情報を受信した場合には、ステップS102に進み、そうでない場合には、ステップS101の処理を繰り返す。
【0050】
(ステップS102)特定部12は、送信情報に含まれる陳列画像において商品を特定する。この商品の特定は、前述のように、陳列画像に含まれる商品を識別する商品識別子を取得することによって行われてもよい。
【0051】
(ステップS103)特定部12は、特定した商品に関する陳列情報を取得する。この陳列情報の取得は、前述のように、商品識別子と、その商品識別子で識別される商品の陳列画像における位置とを用いて行われてもよい。
【0052】
(ステップS104)出力部13は、特定部12によって取得された陳列情報と、場所情報と、撮影日とを含む出力情報を出力する。
【0053】
(ステップS105)取得部15は、特定部12によって特定された商品に関する情報を取得する。例えば、取得部15は、特定部12によって特定された食品が、送信情報に含まれるユーザ識別子で識別されるユーザの摂取制限に抵触するかどうかを示す情報を取得してもよい。
【0054】
(ステップS106)送信部16は、取得部15によって取得された商品に関する情報に応じた提供情報を、送信情報を送信した端末装置2に送信する。そして、ステップS101に戻る。
【0055】
なお、
図2のフローチャートにおける処理の順序は一例であり、同様の結果を得られるのであれば、各ステップの順序を変更してもよい。また、
図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0056】
次に、本実施の形態によるサーバ装置1の動作について、具体例を用いて説明する。この具体例では、商品は食品であるとする。また、記憶部14では、
図3で示される商品情報と、
図4で示される摂取制限情報とが記憶されているものとする。
【0057】
図3の商品情報には、商品識別子と、その商品識別子で識別される食品に含まれるアレルギー物質を示す情報(「1」なら含まれており、「0」なら含まれていないとする。)と、その商品識別子で識別される食品に所定量以上の塩分が含まれているかどうかを示す情報(「1」なら所定量以上の塩分が含まれており、「0」ならそうでないとする。)と、その商品識別子で識別される食品に所定量以上の糖質が含まれているかどうかを示す情報(「1」なら所定量以上の糖質が含まれており、「0」ならそうでないとする。)とが含まれる。なお、
図3で示される卵や、乳、塩分、糖質等の情報は、それらに関するフラグであると考えてもよい。
図3の商品情報では、例えば、商品識別子「ポテトチップABC」で識別される食品は、塩分が所定量以上含まれており、糖質が所定量以上含まれていることが示されている。
【0058】
図4の摂取制限情報には、ユーザを識別するユーザ識別子と、そのユーザ識別子で識別されるユーザが摂取してはならないアレルギー物質を示す情報(「1」なら摂取できず、「0」なら摂取できるとする。)と、そのユーザ識別子で識別されるユーザが、所定量以上の塩分が含まれる食品を食べることができるかどうかを示す情報(「1」なら所定量以上の塩分が含まれる食品を食べることができず、「0」ならそうでないとする。)と、そのユーザ識別子で識別されるユーザが、所定量以上の糖質が含まれる食品を食べることができるかどうかを示す情報(「1」なら所定量以上の糖質が含まれる食品を食べることができず、「0」ならそうでないとする。)とが含まれる。なお、
図4で示される卵や、乳、塩分、糖質等の情報も、それらに関するフラグであると考えてもよい。
【0059】
図4では、ユーザ識別子に対応付けられている情報が「1」である場合には、その情報について摂取制限があることになる。例えば、禁止アレルギー物質「乳」が「1」に設定されているユーザ識別子「U002」で識別されるユーザ(以下、「ユーザU002」と呼ぶこともある。他のユーザについても同様であるとする。)は、アレルギー物質「乳」を含む食品を食べることができない。また、例えば、塩分が「1」に設定されているユーザU004は、塩分が所定量以上含まれている食品を食べることができない。また、例えば、糖質が「1」に設定されているユーザU003、U006は、糖質が所定量以上含まれている食品を食べることができない。
【0060】
まず、ユーザU002が店舗に行き、自分の端末装置2を操作して提供情報を取得するアプリケーションを起動し、そのアプリケーションにおいて、ポテトチップやスナック菓子の棚の陳列画像を撮影したとする。その撮影画像は、
図5で示されるものであったとする。また、その端末装置2は、その時点の撮影日「2020年4月1日」をカレンダー部から取得し、その位置を示す場所情報「N34°41'…、E135°37'…」をGPSを用いて取得する。そして、その端末装置2は、陳列画像と、撮影日と、場所情報と、端末装置2において記憶されているユーザ識別子「U002」とを含む送信情報を、あらかじめ設定されているサーバ装置1のアドレスに送信する。
【0061】
そのようにして送信された送信情報は、サーバ装置1の受信部11で受信され、特定部12に渡される(ステップS101)。送信情報を受け取ると、特定部12は、
図5で示される陳列画像に含まれる各商品の領域を特定する。次に、特定部12は、特定した各商品の領域について、商品の認識を行い、商品を識別する商品識別子を取得する(ステップS102)。また、特定部12は、陳列画像において、特定した各商品の領域の重心の座標を取得する。その結果、陳列画像に含まれる各商品について、陳列画像における位置と、商品識別子との組が特定されたことになる。
【0062】
次に、特定部12は、陳列画像に含まれる各商品の高さ方向の位置(すなわち、
図5における上下方向の位置)についてクラスタリングを行い、複数のクラスタに分類する。ここでは、4段の棚に対応する4つのクラスタに分けられたとする。そして、高さ方向の位置が最も高いクラスタから順番に、段識別子「1」「2」「3」「4」をそれぞれ割り当てる。その結果、段識別子と、商品識別子との組が特定されることになる。なお、段識別子「1」で識別される棚は最も高い棚であり、段識別子「4」で識別される棚は最も低い棚である。
【0063】
その後、特定部12は、段識別子ごとに、特定された商品識別子の個数をカウントする。そのカウント値がフェイス数となる。したがって、最終的に商品識別子と、段識別子と、フェイス数との組が特定されたことになる。その組の集合が、陳列情報となる。例えば、
図5で示される陳列画像からは、
図6で示される陳列情報が取得される(ステップS103)。
図6の陳列情報は、商品識別子と、段識別子と、フェイス数とを含んでいる。例えば、商品識別子「ポテトチップABC」で識別される商品は、段識別子「1」で識別される最上段の棚に置かれており、フェイス数が「2」であることが示されている。
【0064】
陳列情報を取得すると、特定部12は、取得した陳列情報と、送信情報に含まれる撮影日と場所情報とを出力部13に渡すと共に、陳列画像と、陳列画像における各商品の位置と商品識別子との組と、ユーザ識別子とを取得部15に渡す。
【0065】
陳列情報等を受け取ると、出力部13は、陳列情報、撮影日、場所情報を含む出力情報を、あらかじめ決められたように出力する(ステップS104)。このようにして出力された情報は、場所情報を用いて店舗ごとにまとめられてもよい。そして、例えば、小売の本部等が要求する店舗の陳列情報と撮影日とが、小売の本部等に渡されてもよい。
【0066】
商品識別子等を受け取ると、取得部15は、ユーザ識別子「U002」を検索キーとして摂取制限情報を検索し、ヒットしたレコードから、摂取制限の対象となるアレルギー物質等に関する情報を読み出す。摂取制限情報において、ユーザ識別子「U002」に対応する情報で「1」が設定されているのは、アレルギー物質「乳」だけであったとする。すると、取得部15は、
図3で示される商品情報において、受け取った商品識別子と、アレルギー物質「乳」の情報「1」とを含む商品情報を検索する。この場合には、商品識別子「ポテトチップDEF」を含む商品情報がヒットすることになる。そのため、商品識別子「ポテトチップDEF」で識別される食品が、ユーザU002の摂取制限に抵触する旨の情報が取得される。そして、取得部15は、陳列画像における商品識別子「ポテトチップDEF」に対応する位置に、摂取制限に抵触することを示す図形「×」を表示した提供情報を生成し、送信部16に渡す(ステップS105)。その提供情報は、
図7Aで示されるものであったとする。
【0067】
図7Aで示される提供情報を受け取ると、送信部16は、送信情報の送信元アドレスを受信部11から取得し、その送信元アドレスを送信先として、受け取った提供情報を送信する(ステップS106)。その提供情報は、ユーザU002の端末装置2で受信され、表示されたとする。このようにして、ユーザU002は、
図7Aの画像を見ることができ、商品識別子「ポテトチップDEF」で識別される食品を食べることができないことを知ることができ、それ以外の食品を購入することができるようになる。また、摂取制限に抵触する食品がどれであるのかが画像によって示されることによって、ユーザU002は、最上段の棚の右側の2つの商品を食べてはいけないことを容易に把握することができる。
【0068】
なお、例えば、
図5で示される陳列画像を送信したユーザが、糖質に関する摂取制限のあるユーザU003である場合には、提供情報は、糖質が所定量以上含まれている食品を示す
図7Bで示されるものとなる。また、
図7Aや
図7Bでは、摂取制限に抵触した食品について、食べることができないことを示す図形が設定されたが、そうでなくてもよい。逆に、摂取制限に抵触しない食品について、食べることができることを示す図形が設定されてもよい。具体的には、
図5で示される陳列画像を送信したユーザが、塩分に関する摂取制限のあるユーザU004である場合には、提供情報は、塩分が所定量より少ない食品を示す
図7Cで示されるものとなってもよい。また、摂取制限に抵触する食品、そうでない食品の両方について、食べることができるかどうかを示す図形がそれぞれ設定されてもよい。また、
図7Aから
図7Cでは、食品を食べることができるかどうかを示す図形のみが陳列画像上に表示される場合について示しているが、例えば、食べることができない理由(例えば、アレルギー物質「乳」が含まれることなど)、または、食べることができる理由(例えば、塩分が所定量より少ないことなど)が、その図形に対応付けられて表示されてもよい。
【0069】
提供情報において、摂取制限に抵触することを示す図形、すなわち食べることができないことを示す図形が表示されるのか、摂取制限に抵触しないことを示す図形、すなわち食べることができることを示す図形が表示されるのかは、陳列画像に含まれる商品の総数と、そのうち摂取制限に抵触する商品の個数とを用いて決められてもよい。例えば、摂取制限に抵触する商品の個数が、陳列画像に含まれる商品の総数の半分より多い場合には、摂取制限に抵触しないことを示す図形を表示する提供情報が生成され、摂取制限に抵触する商品の個数が、陳列画像に含まれる商品の総数の半分より少ない場合には、摂取制限に抵触することを示す図形を表示する提供情報が生成されてもよい。このようにすることで、提供情報に表示される図形の個数を少なくすることができ、提供情報が見やすくなる。なお、例えば、摂取制限に抵触する商品の個数が、陳列画像に含まれる商品の総数の半分に等しい場合には、どちらの図形が表示されるようにしてもよい。
【0070】
以上のように、本実施の形態によるサーバ装置1によれば、提供情報をユーザに提供することによって、ユーザが自ら進んで陳列画像をサーバ装置1に送信するようにすることができる。すなわち、ユーザは、提供情報を入手したいために、店舗における商品の陳列画像を積極的に撮影して送信するようになる。したがって、陳列情報を取得するために担当者等が各店舗において商品の撮影を行わなくてもよいことになり、低コストで陳列情報を取得することができるようになる。また、送信情報に陳列画像の撮影日も含まれている場合には、陳列情報に対応する年月日を知ることができ、陳列情報の時間変化を知ることもできる。また、送信情報にユーザ識別子が含まれている場合には、陳列画像に含まれる各商品が、そのユーザ識別子で識別されるユーザの摂取制限に抵触するかどうかを示す情報をユーザに提供することができ、ユーザにより有用な情報を提供することができるようになる。その結果として、より多くのユーザが陳列画像を送信するようになり、より多くの陳列情報を取得することができるようになると考えられる。また、提供情報が、商品に関する情報を陳列画像上において示すための情報である場合には、商品に関する情報と、商品との関係を容易に把握することができるようになる。
【0071】
なお、本実施の形態では、送信情報にユーザ識別子が含まれる場合について主に説明したが、そうでなくてもよい。送信情報にユーザ識別子が含まれない場合には、例えば、陳列画像に含まれる商品に対応する情報を、商品ごとに示す提供情報が送信されてもよい。例えば、商品が食品であり、送信情報にユーザ識別子が含まれない場合には、取得部15は、特定部12によって特定された食品が、食品に関する摂取制限に抵触するかどうかを示す情報を取得してもよい。具体的には、陳列画像上に、どのようなアレルギー物質を含むのか、所定量以上の塩分を含むかどうか、所定量以上の糖質を含むかどうかなどを示す提供情報が端末装置2に送信されてもよい。また、そのような情報を、表形式やテキスト形式などによって示す提供情報が端末装置2に送信されてもよい。なお、送信情報にユーザ識別子が含まれない場合には、記憶部14において、摂取制限情報が記憶されていなくてもよい。
【0072】
また、本実施の形態では、取得部15によって取得される情報が、食品が摂取制限に抵触するかどうかを示す情報である場合について主に説明したが、そうでなくてもよい。取得部15によって取得される情報は、それ以外の商品に関する情報であってもよい。例えば、取得部15は、特定部12によって特定された商品のうち、他の商品よりも販売数の多い商品について、販売数が多いことを示す情報を取得してもよい。この場合には、ユーザに対して、より多く売れている商品、すなわち人気の高い商品がどれであるのかが示されることになる。なお、他の商品よりも販売数の多い商品とは、その商品が属する分野において、販売数が最も多い商品であってもよく、販売数が上位N番以内の商品であってもよい。Nは2以上の整数である。また、他の商品よりも販売数の多い商品とは、特定部12によって特定された複数の商品において、販売数が最も多い商品であってもよく、販売数が上位N番以内の商品であってもよい。そのような商品を特定できるようにするため、記憶部14において、例えば、商品の分野ごとに、販売数が最大である商品の商品識別子や、販売数が上位N番以内の商品の商品識別子が記憶されていてもよく、商品識別子と、販売数の順位との組が商品ごとに記憶されていてもよい。そして、取得部15は、その記憶部14で記憶されている情報を用いて、特定された各商品のうち、他の商品よりも販売数の多い商品を特定してもよい。また、他の商品よりも販売数の多い商品について取得される、販売数が多いことを示す情報は、例えば、単に販売数が多いことを示す情報であってもよく、販売数の順位を示す情報(例えば、最も売れていることを示す情報や、N番目に売れていることを示す情報など)であってもよい。この場合には、提供情報は、例えば、陳列画像上に、販売数が多い商品に対応付けて販売数が多いことを示す図形や文字列等を表示した情報であってもよく、販売数の順位が上位である商品に対応付けて販売数の順位を示す図形や文字列等を表示した情報であってもよい。また、提供情報は、例えば、商品識別子と、その商品識別子で識別される商品の販売数が多いことを示す文字列等とを対応付けるテキスト形式の情報や表形式の情報であってもよく、商品識別子と、その商品識別子で識別される商品の販売数の順位を示す文字列等とを対応付けるテキスト形式の情報や表形式の情報であってもよい。
【0073】
また、本実施の形態では、送信情報に撮影日が含まれている場合について説明したが、そうでなくてもよい。送信情報に撮影日が含まれていない場合には、サーバ装置1は、送信情報の受信日が撮影日であると推定して、陳列情報に年月日を設定してもよい。
【0074】
また、送信情報に含まれる撮影場所に、撮影方向や、撮影時の仰角などが含まれてもよい。それらが含まれることによって、陳列画像に含まれる各商品が、どこに配置されているのかをより細かく特定することができるようになる。
【0075】
また、多くの陳列画像が端末装置2から送信される場合には、同じ棚について、複数の陳列画像が取得されることもある。その場合には、複数の陳列画像から取得された複数の陳列情報を統合することによって、より精度の高い陳列情報を取得できるようになる。例えば、商品が倒れた状態で撮影された場合には、適切な商品の認識を行うことができない。また、例えば、買い物客が商品を棚に返却する際に、異なる位置に戻した場合には、本来の陳列情報とは異なる陳列情報が取得されることになる。したがって、例えば、複数の陳列情報を統合する際には、各商品について、最も多いフェイス数を、最終的なフェイス数とするようにしてもよい。また、統合の対象となる陳列情報は、撮影日の近いものであることが好適である。例えば、撮影日によって示される年月日が同じである複数の陳列情報が統合されてもよい。
【0076】
また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、または、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
【0077】
また、上記実施の形態において、各構成要素間で行われる情報の受け渡しは、例えば、その情報の受け渡しを行う2個の構成要素が物理的に異なるものである場合には、一方の構成要素による情報の出力と、他方の構成要素による情報の受け付けとによって行われてもよく、または、その情報の受け渡しを行う2個の構成要素が物理的に同じものである場合には、一方の構成要素に対応する処理のフェーズから、他方の構成要素に対応する処理のフェーズに移ることによって行われてもよい。
【0078】
また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いる閾値や数式、アドレス等の情報等は、上記説明で明記していなくても、図示しない記録媒体において、一時的に、または長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、または、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、または、図示しない読み出し部が行ってもよい。
【0079】
また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いる閾値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していなくても、ユーザが適宜、それらの情報を変更できるようにしてもよく、または、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。
【0080】
また、上記実施の形態において、サーバ装置1に含まれる2以上の構成要素が通信デバイスや入力デバイス等を有する場合に、2以上の構成要素が物理的に単一のデバイスを有してもよく、または、別々のデバイスを有してもよい。
【0081】
また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、または、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをCPU等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、記憶部や記録媒体にアクセスしながらプログラムを実行してもよい。なお、上記実施の形態におけるサーバ装置1を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、ユーザによって撮影された、店舗における商品の陳列画像と、陳列画像の撮影場所を示す場所情報とを含む送信情報をユーザの端末装置から受信する受信部、陳列画像に含まれる商品を特定し、特定した商品の陳列に関する陳列情報を取得する特定部、陳列情報と場所情報とを含む出力情報を出力する出力部、特定部によって特定された商品に関する情報を取得する取得部、取得部によって取得された商品に関する情報に応じた提供情報を、送信情報を送信した端末装置に送信する送信部として機能させるためのプログラムである。
【0082】
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を受信する受信部、情報を取得する取得部、情報を出力する出力部、情報を送信する送信部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。
【0083】
また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体(例えば、CD−ROMなどの光ディスクや磁気ディスク、半導体メモリなど)に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。
【0084】
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、または分散処理を行ってもよい。
【0085】
図8は、上記プログラムを実行して、上記実施の形態によるサーバ装置1を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
【0086】
図8において、コンピュータシステム900は、CD−ROMドライブ905を含むコンピュータ901と、キーボード902と、マウス903と、モニタ904とを備える。
【0087】
図9は、コンピュータシステム900の内部構成を示す図である。
図9において、コンピュータ901は、CD−ROMドライブ905に加えて、MPU(Micro Processing Unit)911と、ブートアッププログラム等のプログラムを記憶するためのROM912と、MPU911に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するRAM913と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク914と、MPU911、ROM912等を相互に接続するバス915とを備える。なお、コンピュータ901は、LANやWAN等への接続を提供する図示しないネットワークカードを含んでいてもよい。
【0088】
コンピュータシステム900に、上記実施の形態によるサーバ装置1の機能を実行させるプログラムは、CD−ROM921に記憶されて、CD−ROMドライブ905に挿入され、ハードディスク914に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ901に送信され、ハードディスク914に記憶されてもよい。プログラムは実行の際にRAM913にロードされる。なお、プログラムは、CD−ROM921、またはネットワークから直接、ロードされてもよい。また、CD−ROM921に代えて他の記録媒体(例えば、DVD等)を介して、プログラムがコンピュータシステム900に読み込まれてもよい。
【0089】
プログラムは、コンピュータ901に、上記実施の形態によるサーバ装置1の機能を実行させるオペレーティングシステム(OS)、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能やモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム900がどのように動作するのかについては周知であり、詳細な説明は省略する。
【0090】
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【解決手段】サーバ装置1は、ユーザによって撮影された、店舗における商品の陳列画像と、陳列画像の撮影場所を示す場所情報とを含む送信情報をユーザの端末装置2から受信する受信部11と、陳列画像に含まれる商品を特定し、特定した商品の陳列に関する陳列情報を取得する特定部12と、陳列情報と場所情報とを含む出力情報を出力する出力部13と、特定部12によって特定された商品に関する情報を取得する取得部15と、取得部15によって取得された商品に関する情報に応じた提供情報を、送信情報を送信した端末装置2に送信する送信部16と、を備える。