特開 2022-14485 リモートショッピングシステムおよびリモートショッピング方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022014485

(43)【公開日】2022-01-20

(54)【発明の名称】リモートショッピングシステムおよびリモートショッピング方法

(51)【国際特許分類】

   G06Q 30/06 20120101AFI20220113BHJP

   G06Q 10/08 20120101ALI20220113BHJP

【ＦＩ】

G06Q30/06 300

G06Q10/08 330

G06Q30/06 330

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2020116789

(22)【出願日】2020-07-07

(71)【出願人】

【識別番号】000155469

【氏名又は名称】株式会社野村総合研究所

(74)【代理人】

【識別番号】100216677

【弁理士】

【氏名又は名称】坂次 哲也

(72)【発明者】

【氏名】日野 典明

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049BB22

5L049BB58

5L049BB63

5L049BB72

(57)【要約】      （修正有）

【課題】特別な商品マスタの用意や改変、メンテナンス等を必要とせずに、在庫ズレの影響や、無用な店内捜索を排除することを可能とするリアルタイムＥＣを提供する。
【解決手段】店舗に陳列されている商品を電子的手段で取引するリモートショッピングシステム１は、ネットワーク５経由での、利用者からの利用者端末４１を介した要求に基づいて、小売店舗２に設置された棚カメラ２４により撮影された商品の陳列棚２３の画像を利用者端末４１に提示し、利用者端末４１を介した利用者からの陳列棚２３の画像中の所望の商品に対する指定を受け付けて、店員端末２２に、指定に係る商品を識別する識別マークを含む商品選択画像を表示し、識別マークを含む商品選択画像を参照した店員の操作に基づいて注文情報を生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

店舗に陳列されている商品を電子的手段で取引するリモートショッピングシステムであって、
ネットワーク経由での、利用者からの利用者端末を介した要求に基づいて、前記店舗に設置されたカメラにより撮影された商品の陳列棚の画像を前記利用者端末に提示し、前記利用者端末を介した前記利用者からの前記陳列棚の画像中の所望の商品に対する指定を受け付けて、前記店舗の端末に、前記指定に係る商品を識別する識別マークを含む商品選択画像を表示し、前記識別マークを含む商品選択画像を参照した前記店舗の店員の操作に基づいて注文情報を生成する、リモートショッピングシステム。

【請求項2】

請求項１に記載のリモートショッピングシステムにおいて、
前記商品選択画像に対する人工知能による画像認識により、前記商品選択画像中の前記識別マークに係る商品を識別する、リモートショッピングシステム。

【請求項3】

請求項１に記載のリモートショッピングシステムにおいて、
前記陳列棚の画像に対する人工知能による画像認識により、前記陳列棚に実際に陳列されている商品の在庫数を判別し、当該在庫数に基づいて当該商品の前記陳列棚への補充指示を出力する、リモートショッピングシステム。

【請求項4】

請求項１に記載のリモートショッピングシステムにおいて、
前記利用者の属性情報および／または購買履歴を含む情報に対する人工知能による分析により、前記利用者に対して推奨する商品を抽出し、前記利用者端末に提示する前記陳列棚の画像において、前記推奨する商品に前記利用者を誘導する旨の表示を行う、リモートショッピングシステム。

【請求項5】

店舗に陳列されている商品を電子的手段で取引するリモートショッピング方法であって、
情報処理システムが、ネットワーク経由での、利用者からの利用者端末を介した要求に基づいて、前記店舗に設置されたカメラにより撮影された商品の陳列棚の画像を前記利用者端末に提示するステップと、
前記情報処理システムが、前記利用者端末を介した前記利用者からの前記陳列棚の画像中の所望の商品に対する指定を受け付けるステップと、
前記情報処理システムが、前記店舗の端末に、前記指定に係る商品を識別する識別マークを含む商品選択画像を表示するステップと、
前記情報処理システムが、前記識別マークを含む商品選択画像を参照した前記店舗の店員の操作に基づいて注文情報を生成するステップと、
を実行する、リモートショッピング方法。

【請求項6】

店舗に陳列されている商品を電子的手段で取引するリモートショッピング方法であって、
情報処理システムが、ネットワーク経由での、利用者からの利用者端末を介した要求に基づいて、前記店舗に設置されたカメラにより撮影された商品の陳列棚の画像を前記利用者端末に提示するステップと、
前記情報処理システムが、前記利用者端末を介した前記利用者からの前記陳列棚の画像中の所望の商品に対する指定を受け付けるステップと、
前記情報処理システムが、前記店舗の端末に、前記指定に係る商品を識別する識別マークを含む商品選択画像を表示するステップと、
前記店舗の店員が、前記識別マークに基づいて前記陳列棚から商品を特定するステップと、
前記情報処理システムが、前記特定された商品に付されている商品識別情報を読み取って注文情報を生成するステップと、
を実行する、リモートショッピング方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＥＣ（Electronic Commerce：電子商取引）の技術に関し、特に、小売店等で実際に陳列・販売されている商品を対象としたリモートショッピングシステムおよびリモートショッピング方法に適用して有効な技術に関するものである。

【背景技術】

【0002】

いわゆるネット通販サービスが広く普及している中、高齢者や過疎地の居住者、子育て中の家族、独り暮らしの若者等を中心に、自宅に食事や日用品を届けてくれる宅配サービスに対する需要はますます高まっていくと考えられる。この点、ネット通販サービスは、一般的に、多種・多量の在庫を集中的に備えた配送センター等から計画的に配送を行うものである。したがって、例えば、昼食のおにぎりや惣菜等、少量の食料品を今注文して即時に宅配して欲しい、というような消費者からの急な宅配ニーズに対応することは物理的に困難な場合が多いと考えられる。また、このような商品については、日常的に利用している実際の小売店にいるのと同様の感覚で商品選択などしたいというニーズもあるが、ネット通販サービスではそのような臨場感を出すことは困難である。

【0003】

これに対し、例えば、小売店舗等が実際に陳列・販売している商品の状況を利用者がネットワーク経由で参照できるようにするとともに、利用者からの注文を受けて即時に宅配する、というように、ＥＣにより陳列商品を直接販売するリアルタイムＥＣの仕組みも検討されている。

【0004】

これに関連する技術として、例えば、特開２００５－２１６００５号公報（特許文献１）には、ウェブカメラを店舗に設けて店舗内に陳列した商品を撮影し、商品のライブ映像を見ながら通信回線に接続された利用者端末から商品の発注が可能な買物システムが記載されている。ここでは、ウェブカメラにより撮影された陳列棚の映像を、商品情報とウェブカメラの表示座標情報とが対応付けられた商品データベースに照合することにより、利用者がウェブカメラの映像から選択した商品を特定できるようにしている。

【0005】

また、ＥＣとは直接関連しないが、陳列棚をカメラで撮影することで陳列棚の状況を把握することに関して、例えば、特開２０１２－１７４１５４号公報（特許文献２）には、リアルタイムカメラから得られた商品の陳列棚の画像を監視して、陳列棚に設けられた商品無マーカを検知した場合に、これに関連付けられた商品を割り出し、陳列棚の画像の対応する位置に在庫確認中である旨のメッセージを重ねる在庫状況管理装置が記載されている。

【0006】

また、特開２０１５－１０８９７１号公報（特許文献３）には、複数の書籍が陳列されている本棚をカメラにより撮影した第１画像と、その後に撮影した第２画像とを比較して、第１画像内に存在し、かつ第２画像内には存在しない未陳列書籍を抽出し、未陳列書籍が識別可能な態様で第１画像を表示することで、書店における書籍の発注業務を支援する書籍管理システムが記載されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００５－２１６００５号公報

【特許文献2】特開２０１２－１７４１５４号公報

【特許文献3】特開２０１５－１０８９７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

利用者がスマートフォン等の携帯端末やＰＣ（Personal Computer）等を利用して商品を注文できるようにするためには、店舗側は、販売する商品の商品情報や画像等をＷｅｂサイト上に掲載する必要がある。この点、コンビニエンスストアやスーパーマーケット等の食料品や日用品を取り扱う小売店では、数千種類もの商品が対象となる場合があり、また、商品の改廃も激しいことから、商品情報の登録や更新のメンテナンス負荷は非常に高くなる。また、通常のＥＣであれば、基本的に１つの事業者につき１つのＷｅｂサイトを作成すれば足りるが、例えばコンビニエンスストアのチェーンやフランチャイジーの各店舗が独自に店舗に陳列されている商品を販売する形態をとる場合、理論的には各店舗分のＷｅｂサイトを用意する必要が生じ、全体でのメンテナンス負荷も非常に高くなる。

【0009】

また、Ｗｅｂサイトへの商品の掲載に際しては、店内や店先（以下ではこれらを「店頭」と総称する場合がある）の陳列棚や店舗倉庫等に在庫があり、商品の購入が可能か否かを利用者に示す必要がある。在庫の有無については、通常は理論在庫（＝当初在庫＋納品数－販売数）が用いられるが、何らかの特殊要因（万引きや納品・検品ミス等）によって理論在庫と実在庫が合致しないという事態（在庫ズレ）が頻繁に生じ得る。したがって、理論在庫に基づいて受注を確定したとしても、実際には配送する商品がないという事態も生じ得る。このため、例えば、理論在庫が所定の個数より少ない場合には販売しない（在庫切れとみなす）等の非効率な安全策がとられる場合もある。

【0010】

また、利用者からの注文を受けた場合、店員が注文内容の商品リストを見ながら、陳列棚や店舗倉庫から商品をピッキングする。その際、商品名や店内の配置に精通しているベテランの店員であれば問題はないが、一般の店員の場合は商品リストの文字情報のみから対象の商品を素早く見つけ出すことができずに店内捜索するという非効率な事態も生じ、時間の浪費となってコスト増につながる要因ともなり得る。

【0011】

このように、店頭商品の宅配サービスを実現するに際しては、多くの手間とコストを要する工程を経ることが必要であり、コストを抑えて効率的にサービスを実現することは容易ではない。

【0012】

これに対し、例えば、上記の特許文献１に記載された技術を用いることで、店頭商品を対象とした宅配サービスを実現することは可能である。しかしながら、特許文献１に記載された技術では、各商品情報とウェブカメラの表示座標情報とを対応付けて商品データベースに予め記憶しておく必要がある。したがって、商品の種類が多数になると、商品データベースのメンテナンス負荷は非常に高くなってしまう。また、この各商品情報とウェブカメラの表示座標情報との対応付けを、例えば、１万店舗を超えるコンビニエンスストアのチェーンの全店舗について行うことは非現実的である。

【0013】

また、特許文献２、３に記載されている技術についても、商品毎の陳列棚における位置や座標等をデータベースによって管理する必要がある点では特許文献１に記載された技術と同様である。特に、特許文献３に記載された技術は、商品（書籍）が陳列棚の同じ場所に継続的に配置される場合は適用可能であるが、商品の改廃が激しい小売店舗では、商品の陳列位置や種類が頻繁に変わり得るため、適用できない場面も多くなる。

【0014】

そこで本発明の目的は、リアルタイムＥＣを実現するための特別な商品マスタの用意や改変、メンテナンス等を必要とせず、すなわち、これらの点に係るシステム投資を必要とせずに、在庫ズレの影響や、無用な店内捜索を排除することを可能とするリモートショッピングシステムおよびリモートショッピング方法を提供することにある。

【0015】

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

【課題を解決するための手段】

【0016】

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

【0017】

本発明の代表的な実施の形態によるリモートショッピングシステムは、店舗に陳列されている商品を電子的手段で取引するリモートショッピングシステムであって、ネットワーク経由での、利用者からの利用者端末を介した要求に基づいて、前記店舗に設置されたカメラにより撮影された商品の陳列棚の画像を前記利用者端末に提示し、前記利用者端末を介した前記利用者からの前記陳列棚の画像中の所望の商品に対する指定を受け付けて、前記店舗の端末に、前記指定に係る商品を識別する識別マークを含む商品選択画像を表示し、前記識別マークを含む商品選択画像を参照した前記店舗の店員の操作に基づいて注文情報を生成するものである。

【0018】

また、本発明は、上記のような情報処理システムによって実行される方法にも適用することができる。

【発明の効果】

【0019】

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

【0020】

すなわち、本発明の代表的な実施の形態によれば、リアルタイムＥＣを実現するための特別な商品マスタの用意や改変、メンテナンス等を必要とせず、すなわち、これらの点に係るシステム投資を必要とせずに、在庫ズレの影響や、無用な店内捜索を排除することを可能とするリモートショッピングシステムおよびリモートショッピング方法を実現することができる。

【図面の簡単な説明】

【0021】

【図1】本発明の一実施の形態であるリモートショッピングシステムの構成例について概要を示した図である。

【図2】本発明の一実施の形態における商品の注文から配送に至る処理の流れの例について概要を示した図である。

【図3】本発明の一実施の形態における利用者が仮想的に小売店舗内を回遊する例について概要を示した図である。

【図4】本発明の一実施の形態における利用者が陳列棚の画像上で購入する商品を選択する例について概要を示した図である。

【図5】本発明の一実施の形態における利用者の商品かごの内容の例について概要を示した図である。

【図6】本発明の一実施の形態におけるフライヤー商品の店頭在庫量を把握する例について概要を示した図である。

【発明を実施するための形態】

【0022】

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、他の図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。

【0023】

本発明の一実施の形態であるリモートショッピングシステムは、利用者からの注文を、ネットワークを介して受け付けて、小売店舗において実際に陳列棚に陳列され販売されている商品を配送する宅配サービスを実現する情報処理システムである。利用者は、小売店舗の陳列棚に設置されたＷｅｂカメラにより準リアルタイムで撮影された陳列棚の画像を通して、視覚的・直感的に商品を選択して購入することができる。

【0024】

また、Ｗｅｂカメラにより撮影された商品の画像がそのまま店員による商品特定に用いられるため、商品マスタなどにおいて商品毎に商品画像を関連付ける作業が不要となる。また、陳列棚の画像が、陳列されている各商品の在庫状況をほぼ直接的に表しているため、在庫ズレの影響も排除することができる。また、店員が商品をピッキングする際に、利用者が注文したときの陳列棚の画像をそのまま用いるため、商品の内容や位置を容易に把握することができ、無用な店内捜索を排除することができる。

【0025】

＜システム構成＞
図１は、本発明の一実施の形態であるリモートショッピングシステムの構成例について概要を示した図である。本実施の形態のリモートショッピングシステム１は、コンビニエンスストアのフランチャイジー等である各小売店舗２に設置された情報処理システムである店舗システム２１と、コンビニエンスストアの本部等が中央で運用するセンターシステム３が、インターネット等のネットワーク５を介して接続される構成を有する。ＶＰＮ（Virtual Private Network）等のセキュアなネットワークを用いてもよい。

【0026】

店舗システム２１は、小売店舗２に設置された１つ以上の棚カメラ２４を制御して陳列棚２３の画像データを取得する機能を有する情報処理システムである。また、店員が携行するタブレット型端末である店員端末２２と連携して、商品のピッキングと配送を支援する機能も有する。

【0027】

店舗システム２１は、例えば、ＰＣ等の情報処理端末を用いて構成されていてもよいし、サーバ機器やクラウドコンピューティングサービス上に構築された仮想サーバ等により構成されていてもよい。そして、図示しないＣＰＵ（Central Processing Unit）により、ＨＤＤ（Hard Disk Drive）等の記録装置からメモリ上に展開したＯＳ（Operating System）やＤＢＭＳ（DataBase Management System）、Ｗｅｂサーバプログラム等のミドルウェアや、その上で稼働するソフトウェアを実行することで、小売店舗２における上記の各種機能を実現する。

【0028】

店舗システム２１は、例えば、ソフトウェアとして実装されたセンター連携部２１１、棚カメラ制御部２１２、注文処理部２１３、レジ処理部２１４等の各部を有する。センター連携部２１１は、ネットワーク５を介してセンターシステム３と通信により連携し、データの授受を行う機能を有する。例えば、後述する棚カメラ制御部２１２によって取得した棚カメラ２４により撮影された画像データをセンターシステム３に送信する。また、センターシステム３から送信された注文指示データを後述する注文処理部２１３に受け渡す。

【0029】

棚カメラ制御部２１２は、小売店舗２の各陳列棚２３に１つ以上設置された棚カメラ２４を制御して、陳列棚２３における商品の陳列状況を撮影し、取得した画像データをセンター連携部２１１を介してセンターシステム３に送信する機能を有する。本実施の形態では、棚カメラ２４をＷｅｂカメラにより構成するものとしているが、画像を撮影する機能を有する機器・装置であれば特に限定されない。棚カメラ２４により取得する画像は、動画でもよいし定期的に取得した静止画であってもよい。すなわち、必ずしもリアルタイムのライブ映像である必要はなく、陳列されている商品の状況が大きく変わらない程度にタイムラグが抑えられた準リアルタイム画像であればよい。

【0030】

図１の例では、棚カメラ２４を、各陳列棚２３の両側の側板前方に、それぞれ視線を商品側に向けて設置しているが、これに限られず、各陳列棚２３において各商品の状況を漏れなく撮影できるのであれば、設置位置や設置個数は問わない。例えば、陳列棚２３の天板に設置して上方から撮影するようにしてもよいし、天井や陳列棚２３の対面側に設置してもよい。また、例えば冷凍食品や飲料等、陳列棚２３が扉を備える場合には、扉の内側に棚カメラ２４を設置するようにしてもよいし、扉の外側から内部が把握できる場合には扉の外側に棚カメラ２４を設置するようにしてもよい。陳列棚２３に組み込まれて一体化して構成されていてもよい。本実施の形態では、これら各種の設置方法も全て「陳列棚２３に設置」に含まれるものとする。

【0031】

いずれの設置方法をとっても、例えば、実際に陳列棚２３の前に立って実際に商品を手に取ろうとしている顧客の手や腕等が画像に写り込む場合が生じ得る。棚カメラ２４に対する人や物の接触等により棚カメラ２４の視線がずれることによっても写り込みは生じ得る。設置位置によっては、顧客の顔や体、服装等、個人を特定し得る部位が写り込む可能性もある。これに対し、例えば、棚カメラ制御部２１２もしくは後述するセンターシステム３の画像処理部３２において、画像処理により画像データから顧客の部分を消去したりモザイク等のマスクを施すようにしてもよい。画像処理については、例えば、一時的な写り込み等のノイズを除去するコンポジット法等の公知の画像処理技術を適用することができる。

【0032】

後述するように、本実施の形態では、棚カメラ２４により撮影された画像は、複数の利用者が注文において商品を選択する際に用いられる。すなわち、棚カメラ２４は、複数の利用者間で用いられる共有カメラであるともいえる。したがって、例えば、陳列棚２３を撮影した画像を移動させたり拡大／縮小させたりする場合、棚カメラ２４の「首振り」や光学ズーム等の機械的制御を必要とする機能は、棚カメラ２４の専有につながり、他の利用者との共有・競合に対する制御が難しくなるため利用しないものとする。画像の移動や拡大／縮小等の処理は、ソフトウェアによる画像処理として行うものとする。

【0033】

なお、小売店舗２に複数の陳列棚２３が設置されている場合、後述するように、利用者からの指示に基づいて、参照する棚カメラ２４の画像を切り替えることで、参照する陳列棚２３を切り替える。これにより、利用者が小売店舗２内を回遊して陳列棚２３間を仮想的に移動するようなインタフェースを実現することができる。また、このようなインタフェースを実現するために、例えば、各陳列棚２３を撮影する棚カメラ２４に加えて、小売店舗２内の通路や全景を撮影する１つ以上のカメラが設置され、これらも併せて制御するようにしてもよい。なお、本実施の形態では、陳列棚２３の設置場所は特に限定されず、小売店舗２の店内に設置されているものはもちろん、店先などに設置されているものを含んでいてもよい。

【0034】

注文処理部２１３は、センター連携部２１１によってセンターシステム３から受信した利用者からの注文指示データを取得し、店員端末２２に出力して、店員に対して、対象商品の陳列棚２３からのピッキングを指示する機能を有する。また、店員が陳列棚２３からピッキングしてきた商品について、後述するレジ処理部２１４を介して具体的に特定された商品の情報を、センター連携部２１１を介してセンターシステム３に送信することで注文内容を確定させる機能を有する。確定した注文内容に基づいて、店員端末２２を介して店員に対して家庭４への配送を指示する機能を有していてもよい。

【0035】

本実施の形態では、ピッキングの指示に際して、利用者が商品を選択した際の棚カメラ２４による陳列棚２３の画像と、当該画像中において利用者が選択した商品を識別する識別マーク等の情報を店員端末２２に出力する。これにより、店員は、ピッキングすべき商品の内容や陳列位置を視覚的に容易に把握することができる。これに加えて、後述するように、可能な場合には、上記の画像データに対する画像処理によって利用者が選択した商品を判別し、当該商品の商品名等のテキスト情報を取得して併せて表示するようにしてもよい。

【0036】

レジ処理部２１４は、小売店舗２において顧客により購入される商品のバーコード等による特定と商品情報の入力、売上計上、入金処理などを行う機能を有し、例えば、小売店舗２が一般的に備えるようないわゆるＰＯＳ（Point of Sales）レジやＰＯＳシステムによって実装することができる。小売店舗２に実際に来店した顧客により現実に購入される商品に対する処理だけでなく、本実施の形態では、上述したように店員端末２２を介して指示された内容に基づいて店員がピッキングした商品についても同様に、商品に実際に付されているバーコードやＲＦＩＤ（Radio Frequency Identification）タグ等の商品識別情報を、店員が既存のＰＯＳレジ等により読み取ることで商品を特定する。すなわち、本実施の形態の実装において、この点に係る新たなシステム投資は必要ではない。特定した商品の情報は、利用者の注文に係る商品の情報として、上述した注文処理部２１３に受け渡す。

【0037】

なお、店員端末２２は、例えば、小売店舗２内に構築された無線ＬＡＮ（Local Area Network）等を介して注文処理部２１３からの注文指示や配送指示に係る情報を受信して表示する機能を有する。本実施の形態では、店員に対するピッキングや配送等の指示に係る情報を店員端末２２に表示するものとしているが、これに限られるものではなく、小売店舗２に設置された図示しないディスプレイ等（例えば、店内の壁面に設置されたディスプレイや、ＰＯＳレジのディスプレイ等）に表示するよう構成してもよい。

【0038】

センターシステム３は、フランチャイジー等である各小売店舗２の店舗システム２１と連携して、各小売店舗２における棚カメラ２４により陳列棚２３を撮影した画像を取得・管理する機能を有する情報処理システムである。また、当該画像を利用した利用者からの注文に係る情報を利用者端末４１からネットワーク５経由で取得して、対象の小売店舗２の店舗システム２１に指示するとともに、注文情報を管理する機能も有する。図示しないＡＩ（Artificial Intelligence）エンジンを用いて、棚カメラ２４により撮影された画像の認識や、利用者の購買履歴情報に基づく行動特性の分析、商品の売れ行き予測などの各種分析を行う機能を有していてもよい。

【0039】

センターシステム３は、例えば、サーバ機器やクラウドコンピューティングサービス上に構築された仮想サーバ等により構成され、図示しないＣＰＵにより、ＨＤＤ等の記録装置からメモリ上に展開したＯＳやＤＢＭＳ、Ｗｅｂサーバプログラム等のミドルウェアや、その上で稼働するソフトウェアを実行することで、上記の各種機能を実現する。例えば、ソフトウェアとして実装された店舗連携部３１、画像処理部３２、注文管理部３３、分析処理部３４等の各部を有する。また、データベース等により実装された商品マスタデータベース（ＤＢ）３５を有する。

【0040】

店舗連携部３１は、ネットワーク５を介して各小売店舗２の店舗システム２１と通信により連携し、データの授受を行う機能を有する。例えば、店舗システム２１の棚カメラ制御部２１２によって取得された、棚カメラ２４により撮影された画像データを取得する。画像データの取得は、利用者端末４１からのリクエストがあった場合にオンデマンド的に対象の小売店舗２の棚カメラ制御部２１２から取得してもよいし、各小売店舗２の棚カメラ制御部２１２から定期的に最新の画像データを取得して記録しておくようにしてもよい。

【0041】

また、店舗連携部３１は、利用者端末４１を介して利用者から受け付けた注文の指示内容に係るデータを、対象の小売店舗２の注文処理部２１３に送信する機能を有する。このとき、上述したように、利用者が商品を選択する際に用いた画像データと、選択した商品を識別する識別マーク等の情報を併せて送信するようにしてもよい。

【0042】

画像処理部３２は、各小売店舗２の店舗システム２１から取得した棚カメラ２４により撮影された画像データについて、例えば、後述する分析処理部３４と連携したＡＩ処理等により、所定の画像処理や分析を行う機能を有する。例えば、棚カメラ２４により撮影された陳列棚２３の画像データのうち、識別マークが付されている部分について、商品マスタＤＢ３５に予め商品画像が登録されている場合には、これとマッチングすることで、対象の商品を特定するようにしてもよい。画像データから直接商品の形状や色、デザイン等をＡＩによる画像認識により抽出、分析して、商品やその数を特定するようにしてもよい。陳列棚２３の画像データから商品を特定することができる場合は、特定した商品の属性情報として、商品名や販売単価等の情報を商品マスタＤＢ３５から取得して、利用者端末４１を介して利用者に提示することも可能である。

【0043】

なお、コンビニエンスストアのチェーン等の場合は、展開している各商品の画像データを既に中央の本部等が商品マスタＤＢ３５のデータの一部等として備えている場合があり、その場合は商品マスタＤＢ３５の画像データを用いることは容易である。一方で、本実施の形態のリモートショッピングシステム１は、既存の商品マスタＤＢ３５への影響を排除することを目的としており、上記のように商品マスタＤＢ３５の登録情報を利用して商品を特定することを必要とせずに、すなわち既存の商品マスタＤＢ３５に対する初期投資を必要とせずにリアルタイムＥＣによる宅配サービスを実現することができる。当然ながら、商品マスタＤＢ３５等に各商品の陳列棚２３における陳列位置の座標情報を保持している必要もない。

【0044】

画像処理部３２では、利用者が商品の注文を行う際に利用者端末４１に表示させる画像を得るために、上述したように、棚カメラ２４により撮影された陳列棚２３の画像データに対して所定の画像処理により加工を行なって成形するようにしてもよい。例えば、コンポジット法等の公知の画像処理技術を適用して、画像データに写り込んだ顧客の部分をノイズとして消去したりモザイク等のマスクを施したりしてもよい。また、台形補正等の歪みの補正処理を行なってもよい。

【0045】

注文管理部３３は、利用者からの利用者端末４１を介した注文の指示を受け付けて、注文内容に係るデータを店舗連携部３１を介して対象の小売店舗２の店舗システム２１に送信する機能を有する。店舗システム２１に送信する注文内容に係るデータには、棚カメラ２４により撮影された陳列棚２３の画像データに対して、利用者が選択した商品を識別する識別マーク等が付された画像データが含まれる。可能な場合には、画像処理部３２により商品マスタＤＢ３５に登録されている商品の画像データとの間でマッチングを行なって特定された商品の商品名や販売単価等の属性情報が含まれていてもよい。

【0046】

また、小売店舗２の店舗システム２１から取得した、実際に現物が特定された商品の情報に基づいて注文情報を生成するとともに、利用者端末４１を介して利用者との間で注文内容の承認、確定に係る処理を行い、確定した注文について、配送先の情報として、予めアカウント情報として登録されている利用者の家庭４の住所情報を含むデータを、店舗連携部３１を介して対象の小売店舗２の店舗システム２１に送信する機能も有する。

【0047】

各利用者が保有する利用者端末４１は、例えば、スマートフォンやタブレット端末等、タッチパネルを介して操作が可能な携帯端末や、ＰＣ等の情報処理端末である。利用者は、図示しない専用のアプリケーションやＷｅｂブラウザ等により、ネットワーク５を介してセンターシステム３にアクセスし、後述するように、対象の小売店舗２の棚カメラ２４により撮影された陳列棚２３の画像を参照しながら、購入する商品を画像上で直接指定して注文することができる。

【0048】

＜処理の流れ＞
図２は、本実施の形態における商品の注文から配送に至る処理の流れの例について概要を示した図である。例えば、利用者はまず、利用者端末４１上の専用アプリケーションやＷｅｂブラウザ等を使用してセンターシステム３にアクセスし、アカウント情報を指定してログインを行う（Ｓ０１）。このとき、センターシステム３では、図示しないアカウント管理機能等によりユーザ認証を行う（Ｓ０２）。

【0049】

その後、商品を購入する小売店舗２を特定する。例えば、センターシステム３が利用者端末４１に対して提示した配送可能な小売店舗２のリストから利用者が選択してもよいし、利用者端末４１の位置情報や配送先の家庭４の住所情報等に基づいて、最寄りの小売店舗２をセンターシステム３が自動的に決定するようにしてもよい。また、商品の購入の都度小売店舗２を特定するのではなく、利用者のアカウント情報に関連付けてデフォルトで利用する小売店舗２を予め設定しておくようにしてもよい。小売店舗２が特定されると、利用者端末４１には、対象の小売店舗２の棚カメラ２４により撮影された陳列棚２３の画像が表示される（Ｓ０３、Ｓ０４）。

【0050】

その際、対象の小売店舗２の店舗システム２１では、センターシステム３からの指示に基づいて、棚カメラ制御部２１２により棚カメラ２４を制御して、撮影された陳列棚２３の画像を取得し（Ｓ０５）、センターシステム３に送信する。そして、センターシステム３では、画像処理部３２により、ノイズ除去や補正等の所定の画像処理を行なって表示用の画像を形成し（Ｓ０４）、利用者端末４１に表示させる。

【0051】

上述したように、利用者端末４１からの指示に基づいてオンデマンド的に棚カメラ２４によって撮影された画像を取得するのに代えて、定期的に取得した最新の画像を予めセンターシステム３に送信して保持しておくようにしてもよい。利用者端末４１に表示された陳列棚２３の画像に対して、利用者が、陳列棚２３の他の場所や、他の陳列棚２３の画像を表示するよう操作・指示した場合（すなわち、仮想的に小売店舗２内を回遊・移動した場合）は、その内容に応じてステップＳ０３～Ｓ０５と同様の処理により表示させる陳列棚２３の画像を切り替える。

【0052】

図３は、利用者が仮想的に小売店舗内を回遊する例について概要を示した図である。ここでは、利用者端末４１であるスマートフォン等の画面（タッチパネル）に表示された、棚カメラ２４によって撮影された小売店舗２内の陳列棚２３や通路の画像の例を模式的に示している。通路の部分には、通路上を仮想的に移動するための矢印図形が表示されており、利用者がこれを選択（タップ）することで、その方向に通路上を移動した位置での画像に切り替える（仮想的に移動する）ことができることを示している。

【0053】

このとき、例えば、利用者の年齢・性別、職業、趣味等の属性情報やこれまでの購買履歴などの情報に基づいて、分析処理部３４でのＡＩ処理により当該利用者の嗜好などを分析してお勧めの商品をピックアップしたり、小売店舗２側が販売促進したい商品や売れ行きが良い商品を設定したりすることで、画像処理部３２によって当該商品が陳列されている場所を図中の吹き出しのようにＡＲ（Augmented Reality：拡張現実）技術によって示して、利用者を誘導するようにしてもよい。なお、この場合には、対象の商品がどの陳列棚２３のどの場所に陳列されているかの座標情報を予め設定しておく必要がある。

【0054】

図２に戻り、利用者は、小売店舗２内の所望の場所で陳列棚２３の画像を利用者端末４１に表示させるとともに、陳列棚２３の画像上で、購入する商品を選択する（Ｓ０６）。図４は、利用者が陳列棚２３の画像上で購入する商品を選択する例について概要を示した図である。ここでは、利用者端末４１の画面に表示された、棚カメラ２４によって撮影された陳列棚２３の画像の例を示している。左側の図では、特定の陳列棚２３の全景を撮影した画像が表示されている状態を示している。なお、画面下部の左右の矢印図形を選択（タップ）することで、隣接する陳列棚２３に画像を切り替える（仮想的に移動する）ことができることを示している。

【0055】

左側の図に示した画面において、例えば、利用者が、利用者端末４１上でピンチアウト（ズームイン）のジェスチャーや操作を行うと、右側の図に示すように、陳列棚２３の画像が拡大表示される。この拡大表示は、利用者端末４１上のアプリケーションでの画像処理によりローカルで行ってもよいし、センターシステム３の画像処理部３２によりリモートで行なってもよい。

【0056】

ここで、利用者が購入対象の商品（図４の例では中央のサンドイッチ）付近をタップ等の操作により選択すると、当該商品を識別するための識別マーク（図４の例では実線のリング状の図形）が表示される。なお、利用者が選択した付近に何らかの商品が存在するかについて、例えば、ローカルもしくはセンターシステム３の画像処理部３２において輪郭抽出等の公知の画像処理技術を利用して判別してもよい。判別された商品の大きさや形状等に基づいて識別マークの表示位置や大きさ等を調整するようにしてもよい。

【0057】

選択された商品について利用者が購入を希望する場合、当該商品についての情報は仮想的な商品かごに保持され、利用者はさらに他の商品の選択を継続することができる。図５は、本発明の一実施の形態における利用者の商品かごの内容の例について概要を示した図である。ここでは、利用者端末４１の画面に表示された商品かごの内容として、利用者が選択した複数の商品についてそれぞれ、これらを識別するための識別マークが表示された商品選択画像（図４の右側の図に相当する画像）が表示されている。利用者が各商品について購入数量を指定することも可能である。各商品選択画像について、対象の陳列棚２３を特定することができる陳列棚番号やＩＤ、配置場所等の情報を関連付けておいてもよい。なお、上述したように、本実施の形態では、この段階で対象の商品が何であるかを特定できていることは必要ではなく、店員が対象の商品を把握して実際に陳列棚２３からピッキングできる程度の画像が取得できていればよい。

【0058】

図２に戻り、利用者による購入対象の全ての商品の選択（仮想的な商品かごへの保持）が終わり、利用者が利用者端末４１を介してこれらの商品の注文を指示すると（Ｓ０７）、選択された商品に係る画像データ（図５の商品かごの内容として保持されている各商品選択画像）がセンターシステム３に送信される。センターシステム３の注文管理部３３は、受信した注文指示に係る情報、すなわち選択された商品に係る商品選択画像を含む情報を、店舗連携部３１を介して対象の小売店舗２の店舗システム２１に転送する（Ｓ０８）。

【0059】

店舗システム２１の注文処理部２１３は、センター連携部２１１を介して注文指示に係る情報を取得すると（Ｓ０９）、これを店員端末２２に表示させる（Ｓ１０）。店員は、注文指示に含まれる商品選択画像とその中に表示された識別マークを参照し、対象の商品が実際に陳列されている陳列棚２３から対象の商品をピッキングする（Ｓ１１）。つまり、店員端末２２に表示された陳列棚２３の画像（図５と同様）に基づいて商品をピッキングすることから、単に商品名のテキスト情報のみがリスト表示されたような場合と比べて、対象の商品が小売店舗２内のどの陳列棚２３のどこに陳列されているかを店員が視覚的に把握し易くすることができる。商品選択画像に陳列棚２３を特定する番号等の情報が関連付けられている場合は、店員がこれを参照できるようにして容易に対象の陳列棚２３にアクセスできるようにしてもよい。

【0060】

なお、本実施の形態のように、陳列棚２３に陳列されている商品を購入の対象とする場合、利用者が商品を選択してから店員が商品をピッキングするまでの間に、小売店舗２に現実に来店した顧客が対象商品を購入してしまい、ピッキングの際に商品在庫がないという事態も生じ得る。そこで、ステップＳ１１において、別途、在庫切れの場合の代替品や代替の小売店舗２の指定を予め受け付けるようにしてもよい。例えば、食料品等の日用品を購入する場合、利用者が対象の商品しか許容しない、もしくは特定の店舗でしか購入しないという状況はそれほど多くはないと考えられる。したがって、代替品や代替店舗の指定を受け付けることで販売機会の喪失を回避するとともに、利用者の利便性を向上させることができる。

【0061】

店員は、全ての商品をピッキングすると、実際に来店した顧客の通常の購入時と同様に、ピッキングした商品に付されたバーコード等をレジ処理部２１４（ＰＯＳレジ等）が備えるバーコードリーダー等により読み取らせるレジ処理を行うことで（Ｓ１２）、店舗システム２１において購入対象の商品を具体的に特定するとともに料金を計算する（Ｓ１３）。このように、本実施の形態では、来店した顧客に対する通常の処理と同様のレジ処理によって商品を具体的に特定することから、商品の特定のために、例えば、商品マスタＤＢ３５に商品の画像データや陳列場所の座標等の情報を別途追加したり、最新の情報にメンテナンスしたり等の作業を要せず、既存の商品マスタＤＢ３５をそのまま使用することが可能であり、既存の商品マスタＤＢ３５への影響を回避しながら、リアルタイムＥＣによりリモートショッピングシステム１を実装することができる。

【0062】

小売店舗２にて販売される商品の中には、例えば、レジ付近のケース内で販売される揚げ物惣菜（フライヤー商品）など、商品にバーコード等が付されていないものもある。本実施の形態では、このような商品についても、店頭での通常の販売時と同様に、例えば、レジ付近に用意してあるパネルに予め印刷されている対象商品のバーコードの読取操作を店員が行ったり、ＰＯＳレジのボタンやタッチパネルを介して店員が手動で入力したり等の手段により、商品の特定と入力を行うため、画像によるバーコード識別や商品形状認識が不可能な商品（フライヤー商品、薄い背表紙のみ前面に向けて陳列された雑誌、他の商品に隠れて一部のみが露出している商品等）を含め、あらゆる商品を特定可能としてリモートショッピング対象とすることが可能である。

【0063】

なお、このようなフライヤー商品などの中には、店頭に実際いくつの商品が陳列されているかという店頭在庫量のシステム的な把握が困難なものがある。中には陳列してから一定時間の経過で廃棄しなければならないものもあって、新たな商品の仕込み・補充のタイミングを適切に把握するのが困難な場合もある。

【0064】

図６は、フライヤー商品の店頭在庫量を把握する例について概要を示した図である。上段の図は、フライヤー商品が陳列されたケースの一部を棚カメラ２４により撮影した画像の例を模式的に示している。本実施の形態では、下段の図に示すように、例えば、この画像に対してセンターシステム３の画像処理部３２および分析処理部３４により、ＡＩを用いた画像認識による輪郭抽出（下段の図における破線）と重なりの判定を行い、リアルタイムで店頭在庫量とその遷移を把握する。これにより、店員がフライヤー商品の在庫を切らさないように先回り仕込みが可能となるため、その鮮度を保ちつつ在庫切れを抑止することができる。

【0065】

なお、このような処理は、フライヤー商品に限らず他の商品一般にも適用することができる。また、本実施の形態では、上述したように、利用者が選択した商品が写っている陳列棚２３の商品画像に基づいて、店員が商品のピッキングを行い、レジ処理によってバーコード等を読み取ることで商品の特定を行うものとしているが、その際に、陳列棚２３の商品画像に対して上記のようなＡＩを用いた画像認識を施して商品を識別し、店員端末２２を介して商品情報を店員に提示することで、店員による商品のピッキングをサポートして負荷を低減させるとともに、商品の特定精度を向上させるようにしてもよい。

【0066】

店舗システム２１のレジ処理部２１４および注文処理部２１３でのレジ処理により特定された購入対象の商品の識別情報（例えば、ＪＡＮコード等）は、センター連携部２１１を介してセンターシステム３に送られる。センターシステム３の注文管理部３３では、取得した商品の識別情報に基づいて、商品マスタＤＢ３５から商品名や販売単価等の属性情報を取得するなどして注文情報を生成し（Ｓ１４）、これを利用者端末４１を介して利用者に提示する。利用者が注文内容を確認し、これを承諾すると（Ｓ１５）、センターシステム３の注文管理部３３は、利用者が指定した配送先の情報等と合わせて、店舗システム２１に対して配送の指示情報を送信する（Ｓ１６）。

【0067】

配送指示を受けた店舗システム２１では、利用者の家庭４への実際の配送処理を行う（Ｓ１７）。店舗システム２１では、この段階で売上計上してもよいし、ステップＳ１２のレジ処理の段階で売上計上してもよい。なお、商品の代金については、この時点では未収金として扱う等の処理を行う。店舗システム２１では、注文処理部２１３やレジ処理部２１４での処理内容に基づいて、各商品の売上計上に加えて、配送状況や在庫情報、未収金の受領状況等を併せて管理するようにしてもよい。そして、利用者は、家庭４に配送された商品を受け取り、配送を行った店員に対して代金を支払う（Ｓ１８）。代金を受領した店員は、小売店舗２に戻り、未収金についてレジ処理等により帳簿上記録する処理を行うことで（Ｓ１９）、取引に係る一連の処理を終了する。

【0068】

なお、本実施の形態では、代金の決済手法について、家庭４への商品の配送時に代引きを行うような構成としているが、決済手法については特に限定されず、クレジットカードやポイント利用等、各種のものを適宜利用することができる。また、本実施の形態では、家庭４へ商品の配送は小売店舗２の店員が行うものとしているが、これに限定されず、専門のスタッフや、外部の宅配業者等を利用することも当然可能である。

【0069】

以上に説明したように、本発明の一実施の形態であるリモートショッピングシステム１によれば、利用者からの注文をネットワーク５を介して受け付けて、小売店舗２において実際に陳列棚２３に陳列され販売されている商品を配送するリアルタイムＥＣによる宅配サービスを実現することができる。そして、利用者は、小売店舗２の陳列棚２３に設置された棚カメラ２４により準リアルタイムで撮影された陳列棚２３の画像を通して、視覚的・直感的に商品を選択して購入することができる。

【0070】

そして、棚カメラ２４により撮影された商品の画像が直接的に対象の商品に関連付けられた商品画像となり、店員はこの画像データを注文情報としてそのまま用いて商品のピッキングを行い、商品のバーコードを読み取るなど通常のレジ処理と同様の処理で商品の特定を行う。これにより、商品毎に商品画像を関連付ける等の商品マスタＤＢ３５に対する処置が不要となり、既存の商品マスタＤＢ３５をそのまま用いることができるとともに、商品マスタＤＢ３５のメンテナンス作業も不要となる。すなわち、リアルタイムＥＣによる宅配サービスの実現に際して、この点に係るシステム投資を不要とすることができる。

【0071】

また、このような商品特定の手法をとることで、陳列棚２３の商品画像と商品マスタＤＢ３５等に登録されている商品画像とのマッチング処理によって商品を特定する手法や、陳列棚２３の商品画像に写っているバーコード等によって商品を特定するという手法では特定が困難な商品についても商品の特定を可能とし、小売店舗２内のあらゆる商品を宅配サービスの対象とすることができる。例えば、陳列棚２３に重ねて陳列されて他の商品に隠れている商品や、本棚に並べられた雑誌のように商品のごく一部のみしか前面に露出していない商品、フライヤー商品など、陳列棚２３の商品画像では商品全体の形状や模様等が認識できない、もしくは困難な商品や、バーコードが隠れている（もしくは付されていない）商品等であっても宅配サービスの対象とすることができる。

【0072】

また、陳列棚２３の画像が、陳列されている各商品の在庫状況をほぼ直接的に表しているため、在庫ズレの影響を排除することができる。また、店員が商品をピッキングする際に、利用者が注文したときの陳列棚２３の画像データを注文情報としてそのまま用いるため、商品の内容や陳列位置を容易に把握することができ、無用な店内捜索を排除することができる。

【0073】

また、陳列棚２３の商品画像に対する各種処理や、小売店舗２の販売状況の分析、各利用者の属性情報の分析等の各種処理にＡＩを適用することで、宅配サービスをより効率的かつ有効なものとすることができる。例えば、陳列棚２３の商品画像に基づいてＡＩにより商品を識別し、商品情報を店員に提示することで、店員による商品特定の負荷を低減し、商品特定の精度を向上させることができる。さらに、フライヤー商品など、形状や陳列状況が一定ではなくバーコードも付されていないような商品については、店頭在庫量を把握し、適切なタイミングで在庫補充を指示することも可能となる。また、利用者の嗜好や行動特性などをＡＩにより分析することで、利用者が購入しそうな商品をレコメンドしたり、当該商品が陳列されている場所に誘導したりすることも可能となる。また、売れ行きの分析等により利用者に商品をレコメンドしたり、店員に対して在庫補充やフライヤー商品の仕込みなどを先回りして効率的に指示したりすることも可能である。

【0074】

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0075】

例えば、上記の実施の形態では、小売店舗２における商品の小売についてリアルタイムＥＣによる宅配サービスを実現するものとしているが、販売形態は特に限定されず、問屋等による卸売などを対象としてもよい。また、利用者からの注文を受けて対象の品物を宅配するというサービスに広く適用することができるため、例えば、商品の販売を伴わないレンタル等のサービスを対象とすることも可能である。

【産業上の利用可能性】

【0076】

本発明は、小売店等の店舗で実際に陳列・販売されている商品を対象としたリモートショッピングシステムおよびリモートショッピング方法に利用可能である。

【符号の説明】

【0077】

１…リモートショッピングシステム、２…小売店舗、３…センターシステム、４…家庭、５…ネットワーク、
２１…店舗システム、２２…店員端末、２３…陳列棚、２４…棚カメラ、
３１…店舗連携部、３２…画像処理部、３３…注文管理部、３４…分析処理部、３５…商品マスタＤＢ、
４１…利用者端末、
２１１…センター連携部、２１２…棚カメラ制御部、２１３…注文処理部、２１４…レジ処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】