(58)【調査した分野】(Int.Cl.,DB名)
前記管理手段は、前記撮影対象の位置と近い位置情報を有する店舗を1つに特定できない場合、前記画像情報の輝度重心に基づいて複数の候補から店舗を特定する請求項1又は2に記載の撮影対象管理プログラム。
前記カタログ情報から画像情報が選択され、注文指示を受け付けた場合、当該選択された画像情報に関連付けられた店舗に撮影対象を発注する発注手段としてさらに機能させる請求項2に記載の撮影対象管理プログラム。
【発明を実施するための形態】
【0010】
[実施の形態]
(情報処理システムの構成)
図1は、実施の形態に係る情報処理システムの構成の一例を示す概略図である。
【0011】
この情報処理システムは、情報処理サーバ1と、携帯端末2と、端末3a、3bとをネットワーク5によって互いに通信可能に接続することで構成される。携帯端末2は利用者4によって操作されるものであり、端末3a、3bはそれぞれ店舗30a、30bに設置されて各店舗の店員により操作されるものである。
【0012】
上記した構成において、利用者4は、店舗30a、30b又はその近辺において商品300a、300bから気になる商品があればこれを撮影対象とし、携帯端末2で撮影する。撮影された商品の画像情報は撮影情報とともにネットワーク5を介して情報処理サーバ1に送信され、情報処理サーバ1は当該画像情報の商品を扱う店舗を特定し、当該店舗に設置された端末を送信先として画像情報を送信して商品に関する情報の確認を要求し、取得する。情報処理サーバ1は取得した商品に関する情報と画像情報とを関連付け、カタログ形式にして携帯端末2に送信し、利用者4は携帯端末2でカタログを閲覧し、気に入った商品があれば購入手続きをするものである。
【0013】
情報処理サーバ1は、サーバ型の情報処理装置であり、携帯端末2の要求に応じて動作するものであって、本体内に情報を処理するための機能を有するCPU(Central Processing Unit)やフラッシュメモリ等の電子部品を備える。
【0014】
携帯端末2は、携帯電話やタブレット端末等であって、本体内に情報を処理するための機能を有するCPUやフラッシュメモリに加え、商品を撮影するためのカメラ、位置情報を取得するためのGPS(Global Positioning System)、撮影時の携帯端末2の姿勢を検出する加速度センサ、撮影方向を検出する電子コンパス等を備える。なお、GPS、加速度センサ、電子コンパス等は携帯端末2と別体のデジタルカメラ等が有し、通信することで携帯端末2が情報を受信するものであってもよい。
【0015】
端末3a、3bは、PC(Personal Computer)等の情報処理装置であって、本体内に情報を処理するための機能を有するCPUやフラッシュメモリ等の電子部品を備える。
【0016】
ネットワーク5は、通信ネットワークであり、例えば、インターネットやLAN(Local Area Network)等の有線及び無線の通信網である。
【0017】
なお、情報処理サーバ1は図中で単体を示しているが、複数台用意してジョブを分散処理してもよい。また、携帯端末2は図中で単体を示しているが、利用者の人数に合わせて複数台用意するものであってもよい。また、端末3a、3bは店舗毎に用意されるものであり、店舗の数によって増減してもよいし、1の店舗に複数台用意されるものであってもよい。
【0018】
(情報処理装置の構成)
図2は、実施の形態に係る情報処理サーバ1の構成例を示すブロック図である。
【0019】
情報処理サーバ1は、CPU等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部10と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部11と、ネットワーク5を介して外部と通信する通信部12とを備える。
【0020】
制御部10は、後述する商品管理プログラム110を実行することで、画像受付手段100、撮影情報受付手段101、店舗管理手段102、商品管理手段103、商品確認手段104、メタタグ管理手段105、カタログ生成手段106、カタログ表示手段107及び商品発注手段108等として機能する。
【0021】
画像受付手段100は、携帯端末2において撮影され、携帯端末2から送信される画像情報を受け付ける。
【0022】
撮影情報受付手段101は、携帯端末2から画像情報とともに送信される撮影情報を受け付ける。ここで、撮影情報とは、画像受付手段100が受け付けた画像情報を撮影した際の携帯端末2の位置を表す位置情報、撮影方向、焦点距離等の情報をいう。位置情報、撮影方向、焦点距離は、それぞれ携帯端末2のGPS、加速度センサ、カメラから得られる情報である。
【0023】
店舗管理手段102は、撮影情報受付手段101が受け付けた撮影情報に基づいて、商品の位置を特定し、店舗情報112に登録された複数の情報から、少なくとも一の画像情報に含まれる商品を扱う店舗を特定する。なお、店舗情報112は位置情報と店舗に関する情報を関連付けた情報である。
【0024】
商品管理手段103は、画像情報に含まれる商品に関する情報を画像情報に関連付けて商品情報111に登録する。画像受付手段100が画像情報を受け付けた時点では商品に関する情報が不明であるため情報がブランクのまま登録され、以下に述べる商品確認手段104及びメタタグ管理手段105によって商品に関する情報が得られたタイミングで、追加で情報が登録される。なお、受け付けた画像情報に似た画像情報が既に登録されている場合は、当該既に登録された画像情報と当該商品と同一として商品情報111に登録してもよい。
【0025】
商品確認手段104は、店舗管理手段102が特定した店舗に画像情報を送信して、画像情報に含まれる商品に関する情報の確認を要求し、店舗から返信された商品に関する情報を受け付けて商品情報111に登録する。商品に関する情報の具体例は、商品名、商品の在庫、納期、価格等である。送信方法は、電子メール、FAX、SNSのメッセージ機能等、情報を伝達できるものであれば手段は問わない。なお、商品の確認は自動化してもよいし、人手による問い合わせを支援するものであってもよい。
【0026】
メタタグ管理手段105は、画像情報に含まれる商品と同一商品の情報が予め登録されている場合に、当該情報をメタタグ情報として商品情報111に登録する。
【0027】
カタログ生成手段106は、商品情報111に基づいて画像情報と商品に関する情報とを関連付けたカタログ情報113を利用者毎に生成する。
【0028】
カタログ表示手段107は、カタログ情報113を携帯端末2に表示処理する。具体的には携帯端末2で撮影した画像情報と、当該画像情報に含まれる商品に関する情報とを関連付けて表示する。
【0029】
商品発注手段108は、携帯端末2において商品を発注する操作がなされると、当該商品を扱う店舗に商品の発注処理を行う。
【0030】
記憶部11は、制御部10を上述した各手段100−108として動作させる撮影対象管理プログラムとしての商品管理プログラム110、商品情報111、店舗情報112及びカタログ情報113等を記憶する。
【0031】
(携帯端末の構成)
図3は、実施の形態に係る携帯端末2の構成例を示すブロック図である。
【0032】
携帯端末2は、CPU等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部20と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部21と、撮影により画像情報を生成する撮像部22と、位置情報を取得するためのGPS、撮影時の携帯端末2の姿勢を検出する加速度センサ、撮影方向を検出する電子コンパス等から構成されるセンサ部23と、ネットワーク5を介して外部と通信する通信部24と、LCD等から構成されて文字や画像を表示する表示部25と、スイッチやタッチセンサ等から構成される操作部26とを備える。
【0033】
制御部20は、後述する携帯端末制御プログラム210を実行することで、撮像手段200、撮影情報取得手段201、通信手段202、カタログ情報受付手段203及びカタログ表示手段204等として機能する。
【0034】
撮像手段200は、撮像部22を制御して撮像対象を撮影させ、生成された画像情報211を記憶部21に格納する。
【0035】
撮影情報取得手段201は、撮影時にセンサ部23から撮影情報212を取得し、記憶部21に格納する。なお、撮影情報212は、GPSから取得される位置情報、加速度センサから取得される姿勢情報、電子コンパスから取得される撮影方向情報に加え、撮像部22から取得される焦点距離も含むものである。
【0036】
通信手段202は、画像情報211及びこれに対応した撮影情報212を通信部24を介して情報処理サーバ1に送信する。
【0037】
カタログ情報受付手段203は、情報処理サーバ1からカタログ情報213を受け付けて記憶部21に格納する。
【0038】
カタログ表示手段204は、カタログ情報213を表示部25に表示する。
【0039】
記憶部21は、制御部20を上述した各手段200−204として動作させる携帯端末制御プログラム210、画像情報211、撮影情報212及びカタログ情報213等を記憶する。
【0040】
図4は、商品情報111の構成の一例を示す概略図である。
【0041】
商品情報111は、商品を識別するための商品IDと、商品を扱う店舗を識別するための店舗IDと、商品を含む画像情報を識別するための画像IDと、画像情報を撮影した利用者を識別するための撮影者IDと、画像情報を撮影した場所を示す撮影場所と、商品に関する情報を示すメタタグ情報とを有する。
【0042】
図5は、店舗情報112の構成の一例を示す概略図である。
【0043】
店舗情報112は、商品を扱う店舗を識別するための店舗IDと、店舗の所在地を示す店舗位置と、店舗の連絡先の一例としてのメールアドレス、URL及び電話番号とを有する。
【0044】
図6は、カタログ情報113の構成の一例を示す概略図である。
【0045】
カタログ情報113は、利用者を識別するための利用者IDと、利用者が撮影した画像情報を識別するための画像IDと、画像情報に含まれる商品を識別するための商品IDと、商品に関する情報の一例としての商品名、価格、店舗名、在庫及び人気度とを有する。
【0046】
(情報処理装置の動作)
次に、本実施の形態の作用を、(1)携帯端末2側の動作、(2)情報処理サーバ1側の動作、(3)店舗判断動作に分けて説明する。
【0047】
(1)携帯端末2側の動作
図7(a)−(c)は、携帯端末2側の動作の一例を示す概略図である。
【0048】
まず、
図7(a)に示すように、利用者4は、例えば、店舗30aにおいて商品300aが気になったとする。すると、
図7(b)に示すように、利用者4は携帯端末2で商品300aを撮影する。
【0049】
携帯端末2の撮像手段200は、撮影ボタンが操作されると、商品300aが含まれる画像情報211を生成し、同時に撮影情報取得手段201はGPSにより位置情報を取得し、加速度センサ及び電子コンパス等により撮影姿勢及び撮影方向を取得し、カメラにより焦点距離を取得して撮影情報212とする。
【0050】
通信手段202は、撮影された商品の画像情報211と、撮影情報212(位置情報、撮影方向及び焦点距離)をネットワーク5を介して情報処理サーバ1に送信する。次に、以下の「(2)情報処理サーバ1側の動作」で説明する処理が情報処理サーバ1で行われた後、カタログ情報受付手段203は、情報処理サーバ1で生成された商品に関する情報と画像情報とを関連付けたカタログ情報113をカタログ情報213として受け付け、カタログ表示手段204は、
図7(c)に示すように、携帯端末2の表示部25に表示する。
【0051】
図7(c)に示すように、携帯端末2の表示部25には利用者が撮影した画像情報25a−25fが一例として一覧表示される。
【0052】
次に、利用者4は携帯端末2でカタログを閲覧し、気になった商品があれば画像情報25a−25fから選択操作する。
【0053】
図7(d)に示すように、携帯端末2の表示部25には利用者が選択した商品の詳細情報250aが表示される。利用者4は必要であれば購入操作し、携帯端末2は購入要求を情報処理サーバ1に送信する。
【0054】
(2)情報処理サーバ1側の動作
図8は、情報処理サーバ1の動作の一例を示すフローチャートである。
【0055】
まず、画像受付手段100は、携帯端末2において撮影され、携帯端末2から送信される画像情報を受け付ける(S1)。
【0056】
また、撮影情報受付手段101は、携帯端末2から画像情報とともに送信される撮影情報を受け付ける(S1)。ここで、撮影情報とは、画像受付手段100が受け付けた画像情報を撮影した際の携帯端末2の位置を表す位置情報、撮影方向、焦点距離である
【0057】
商品管理手段103は、画像情報に含まれる商品に関する情報を画像情報に関連付けて商品情報111に登録する。画像受付手段100が画像情報を受け付けた時点では商品に関する情報が不明であるため情報がブランクのまま登録される(S2)。例えば、
図4に示す例では全ての項目が登録されているが、撮影者ID「005」の利用者が、画像IDが「00017」の画像情報を撮影した場合、この時点では商品ID、店舗ID及びメタタグ情報はブランクとなる。
【0058】
次に、店舗管理手段102は、撮影情報受付手段101が受け付けた撮影情報に基づいて、商品の位置を特定し、店舗情報112に登録された情報から、画像情報に含まれる商品を扱う店舗を検索し、特定する(S3)。具体的には、撮影情報のGPSから得た位置情報から、加速度センサ及び電子コンパスから得た撮影方向に見て、撮像部から得た焦点距離に対応した距離の位置を特定する。そして、当該位置が
図5に示す店舗位置に近い店舗に特定し、商品と店舗とを関連付ける。なお、店舗の候補が複数存在する場合の特定方法は「(3)店舗判断動作」にて後述する。
【0059】
また、商品管理手段103は、店舗管理手段102が特定した店舗の店舗IDを
図4に示す商品情報111のブランクだった店舗IDに登録する(S4)。
【0060】
次に、商品確認手段104は、店舗管理手段102が特定した店舗の端末に画像情報を送信して、画像情報に含まれる商品に関する情報の確認を要求し(S5)、店舗から返信があった場合(S6;Yes)、当該商品に関する情報を受け付けて商品情報111のメタタグ情報に登録する(S7)。店舗では、端末に届いた画像情報を店員等が確認し、画像情報に含まれる商品に関する情報を情報処理サーバ1に返信する。なお、店舗の端末が自動的に商品を特定して、商品に関する情報を返信するものであってもよい。
【0061】
なお、既に登録された商品と同じメタタグ情報が存在する場合、例えば、
図4に示す撮影者ID「007」によって撮影された画像ID「00104」及び撮影者ID「013」によって撮影された画像ID「00030」の商品ID「001」の商品と同じメタタグ情報が存在した場合、同じ商品であるとして撮影者ID「005」によって撮影された画像ID「00017」の画像情報を登録する。
【0062】
また、メタタグ管理手段105は、画像情報に含まれる商品と同一商品の情報が記憶部11に予め登録されている場合やインターネット上のサイト等から情報が得られる場合、当該情報をメタタグ情報として商品情報111に登録する。なお、当該情報は類似画像や商品名で検索されるものであってもよいし、位置情報から検索されるものであってもよい。また、店舗に関するものであってもよい。また、情報処理サーバ1によって記憶部11に予め登録されたメタタグ情報に比べてその他の手段によって得られたメタタグ情報の信頼度を低く設定してもよい。
【0063】
次に、カタログ生成手段106は、商品情報111に基づいて利用者ID毎に、画像情報と商品に関する情報とを関連付けて、
図6に示すように、カタログ情報113を生成する(S8)。
図6の例は、利用者ID「005」についてのカタログ情報113を示している。
【0064】
次に、カタログ表示手段107は、カタログ情報113を携帯端末2に表示処理する(S9)。
図7(c)に示したように、携帯端末2で撮影した画像情報と、当該画像情報に含まれる商品に関する情報とを関連付けて表示する。
【0065】
次に、商品発注手段108は、
図7(d)に示したように、携帯端末2において商品を発注する「購入するボタン」が操作されると(S10;Yes)、当該商品を扱う店舗に商品の発注処理を行う(S11)。
【0066】
(3)店舗判断動作
図9(a)及び(b)は、店舗管理手段102の動作の一例を示す概略図である。
【0067】
店舗管理手段102は、上記したステップS3において、撮影情報受付手段101が受け付けた撮影情報に基づいて、店舗情報112に登録された情報から、画像情報に含まれる商品を扱う店舗を検索し、特定するが、まず、
図5に示す店舗情報112の店舗位置から予め定めた幅内に撮影情報の位置情報が含まれるか否か判断する。
【0068】
店舗情報112の店舗位置から予め定めた幅内とは、
図9(a)に示すように、一例として、店舗30aについてはx
a1<x<x
a2、0<y<y
1、0<z<z
1の空間をいい、店舗30bについてはx
b1<x<x
b2、0<y<y
1、0<z<z
1の空間をいう。
【0069】
例えば、画像情報の位置情報がP
1(x
a1<x<x
b1)である場合、店舗管理手段102は当該画像情報に含まれる商品情報は店舗30aが扱うものであると判断し、画像情報の位置情報がP
3(x
a2<x<x
b2)である場合、店舗管理手段102は当該画像情報に含まれる商品情報は店舗30bが扱うものであると判断する。
【0070】
ここで、両空間が重なる部分、P
3(x
b1<x<x
a2)については店舗30a又は30bのいずれにも特定できないため、店舗管理手段102は、
図9(b)に示すように、画像情報100aの輝度重心B
cを求め、当該輝度重心B
cの座標が画像情報のx方向の中心であるx=x
cより負の方向にあるか、正の方向にあるかによって店舗30a又は30bのいずれに属するか判断する。店舗管理手段102は、
図9(a)及び(b)に示す例では、負の方向にある場合は店舗30aが扱うものとし、正の方向にある場合は店舗30bが扱うものと判断する。
【0071】
[他の実施の形態]
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。
【0072】
例えば、店舗位置さえ登録されていれば露店であっても本発明を適用できる。また、露店の場合は、バーコードやQRコード(登録商標)等の識別記号を店舗領域付近に提示しておき、当該識別記号と店舗位置を関連づけた情報を登録しておいて、利用者に商品と識別記号とを同時に撮影させてもよい。これによりGPS、加速度センサ、電子コンパス等を有さない携帯端末であっても本発明を適用できる。
【0073】
なお、情報処理サーバ1の機能の一部又は全部を携帯端末2に実行させる構成としてもよいし、その逆であってもよい。
【0074】
また、店舗は独立した店舗だけでなく、複数の店舗を有するショッピングセンター等の施設でもよく、この場合、施設内のいずれの店舗の商品を撮影したか特定される。
【0075】
上記実施の形態では制御部10の各手段100〜108の機能をプログラムで実現したが、各手段の全て又は一部をASIC等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをCD−ROM等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。