特開 2025-14766 情報処理装置、及び、情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025014766

(43)【公開日】2025-01-30

(54)【発明の名称】情報処理装置、及び、情報処理方法

(51)【国際特許分類】

   G06Q 30/06 20230101AFI20250123BHJP

   G06Q 50/10 20120101ALI20250123BHJP

【ＦＩ】

G06Q30/06

G06Q50/10

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023117581

(22)【出願日】2023-07-19

【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究等の成果に係る特許出願（令和４年度、国立研究開発法人新エネルギー・産業技術総合開発機構、人と共に進化する次世代人工知能に関する技術開発事業／商品情報データベース構築のための研究開発／決済・在庫管理、商品把持・配置業務の自動化推進に向けた商品画像データベース構築のための基盤技術開発・社会実装推進研究、産業技術力強化法第１７条第１項の適用を受けるもの）

(71)【出願人】

【識別番号】313005318

【氏名又は名称】パナソニックコネクト株式会社

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】加藤 慶太

(72)【発明者】

【氏名】須藤 浩章

(72)【発明者】

【氏名】宮川 雅都

(72)【発明者】

【氏名】池田 雄一

(72)【発明者】

【氏名】縄井 秀彦

【テーマコード（参考）】

5L030

5L049

5L050

【Ｆターム（参考）】

5L030BB72

5L049BB72

5L049CC17

5L050CC17

(57)【要約】

【課題】商品の陳列場所への案内に要するユーザの手間を削減できる情報処理装置、及び、情報処理方法の提供に資する。
【解決手段】情報処理装置は、対象物品の画像を取得する受信部と、画像に基づいて、施設に配置されている第１の登録物品のうち対象物品に類似する第２の登録物品を決定し、第２の登録物品が複数存在する場合に、第２の登録物品それぞれの属するカテゴリに基づいて、対象物品のカテゴリを推定し、推定した対象物品のカテゴリに対応する施設における配置場所をユーザに案内する案内場所に設定する処理部と、設定した案内場所に関する情報をユーザが所有する端末へ送信する送信部と、を備える。
【選択図】図１７

【特許請求の範囲】

【請求項1】

対象物品の画像を取得する受信部と、
前記画像に基づいて、施設に配置されている第１の登録物品のうち前記対象物品に類似する第２の登録物品を決定し、前記第２の登録物品が複数存在する場合に、前記第２の登録物品それぞれの属するカテゴリに基づいて、前記対象物品のカテゴリを推定し、前記推定した前記対象物品のカテゴリに対応する前記施設における配置場所をユーザに案内する案内場所に設定する処理部と、
前記設定した前記案内場所に関する情報を前記ユーザが所有する端末へ送信する送信部と、
を備える情報処理装置。

【請求項2】

前記処理部は、前記第２の登録物品が１つ存在する場合、前記施設における前記第２の登録物品の配置場所を前記案内場所に設定する、
請求項１に記載の情報処理装置。

【請求項3】

前記処理部は、前記第２の登録物品の中で共通する第１のカテゴリの占める割合が、所定の割合以上である場合、前記第１のカテゴリが前記対象物品のカテゴリである、と推定する、
請求項１に記載の情報処理装置。

【請求項4】

前記処理部は、前記第２の登録物品それぞれの属するカテゴリ、及び、前記対象物品と前記第２の登録物品のそれぞれとの間の類似度に基づいて、前記対象物品のカテゴリを推定する、
請求項１に記載の情報処理装置。

【請求項5】

前記処理部は、前記第２の登録物品の中で共通する第１のカテゴリの占める割合が、所定の割合未満である場合、前記第１のカテゴリを含む複数のカテゴリの中から１つを前記ユーザに選択させる、と決定し、
前記送信部は、前記端末に、前記複数のカテゴリの中からの選択を要求する情報を送信する、
請求項１に記載の情報処理装置。

【請求項6】

前記処理部は、前記カテゴリに対応する前記配置場所を、前記第１の登録物品それぞれのカテゴリと、前記第１の登録物品が配置されている状態を示す画像とに基づいて、決定する、
請求項１に記載の情報処理装置。

【請求項7】

前記処理部は、前記推定した前記対象物品のカテゴリに対応する前記配置場所が複数存在する場合、前記端末の位置に基づいて、前記案内場所を設定する、
請求項１に記載の情報処理装置。

【請求項8】

情報処理装置が、
対象物品の画像に基づいて、施設に配置されている第１の登録物品のうち前記対象物品に類似する第２の登録物品を決定し、
前記第２の登録物品が複数存在する場合に、前記第２の登録物品それぞれの属するカテゴリに基づいて、前記対象物品のカテゴリを推定し、
前記推定した前記対象物品のカテゴリに対応する前記施設における配置場所をユーザに案内する案内場所に設定し、
前記設定した前記案内場所に関する情報を前記ユーザが所有する端末へ送信する、
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、及び、情報処理方法に関する。

【背景技術】

【0002】

スーパーマーケット、コンビニエンスストアなどの店舗では、多くの商品が陳列され、販売されている。店舗では、ユーザ（例えば、店員又は顧客）が、所望の商品の陳列場所を探索することが困難であるため、商品の陳列場所を探索するシステムが検討されている。

【0003】

例えば、特許文献１には、記憶手段、位置検出手段、商品指定手段、第１特定手段、第２特定手段、表示制御手段を備える店舗案内システムにおいて、記憶手段は商品の陳列位置と商品の陳列位置に対して設定された販促情報とを記憶し、位置検出手段は情報処理端末の位置を検出し、商品指定手段は経路案内の対象となる商品の指定を受け付け、第１特定手段は位置検出手段によって検出された位置近傍の陳列位置に対して設定された販促情報を記憶手段から特定し、第２特定手段は商品指定手段によって指定された商品の陳列位置を記憶手段から特定し、表示制御手段は特定された販促情報及び陳列位置までの経路案内を情報処理端末の表示手段に表示させる、ことが記載されている。

【0004】

例えば、特許文献２には、店舗内に陳列されて販売される複数種類の商品が属するカテゴリをユーザに指定させるカテゴリ指定手段を備え、経路設定手段は、カテゴリ手段を介して指定されたカテゴリに基づいて当該カテゴリに属する商品の店舗内における陳列位置にユーザを案内するための案内経路を設定し、これにより案内手段は、経路設定手段により設定された案内経路にしたがって、ユーザを案内する、買い物アシストシステムが記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１２－０３８０３５号公報

【特許文献2】特開２０１２－１８１７６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１では、ユーザが経路案内の対象となる商品の指定を行うため、ユーザの手間がかかってしまう。また、特許文献２では、複数種類の商品が属するカテゴリをユーザに指定させるため、ユーザの手間がかかってしまう。

【0007】

本開示の非限定的な実施例は、商品の陳列場所への案内に要するユーザの手間を削減できる情報処理装置、及び、情報処理方法の提供に資する。

【課題を解決するための手段】

【0008】

本開示の一実施例に係る情報処理装置は、対象物品の画像を取得する受信部と、前記画像に基づいて、施設に配置されている第１の登録物品のうち前記対象物品に類似する第２の登録物品を決定し、前記第２の登録物品が複数存在する場合に、前記第２の登録物品それぞれの属するカテゴリに基づいて、前記対象物品のカテゴリを推定し、前記推定した前記対象物品のカテゴリに対応する前記施設における配置場所をユーザに案内する案内場所に設定する処理部と、前記設定した前記案内場所に関する情報を前記ユーザが所有する端末へ送信する送信部と、を備える。

【0009】

本開示の一実施例に係る情報処理方法は、情報処理装置が、対象物品の画像に基づいて、施設に配置されている第１の登録物品のうち前記対象物品に類似する第２の登録物品を決定し、前記第２の登録物品が複数存在する場合に、前記第２の登録物品それぞれの属するカテゴリに基づいて、前記対象物品のカテゴリを推定し、前記推定した前記対象物品のカテゴリに対応する前記施設における配置場所をユーザに案内する案内場所に設定し、前記設定した前記案内場所に関する情報を前記ユーザが所有する端末へ送信する。

【0010】

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0011】

本開示の一実施例によれば、商品の陳列場所への案内に要するユーザの手間を削減できる。

【0012】

本開示の一実施例における更なる利点及び効果は、明細書及び図面から明らかにされる。かかる利点及び／又は効果は、いくつかの実施形態並びに明細書及び図面に記載された特徴によってそれぞれ提供されるが、１つ又はそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

【図面の簡単な説明】

【0013】

【図1】一実施の形態に係る商品案内システムの例を示す図

【図2】登録処理の一例を示す図

【図3】登録された情報のデータベースの一例を示す図

【図4】ユーザ利用時の案内位置の設定処理の一例を示す図

【図5】物体認識の結果の第１の例を示す図

【図6】物体認識の結果の第２の例を示す図

【図7】物体認識の結果の第３の例を示す図

【図8】物体認識の結果の第４の例を示す図

【図9】物体認識の結果の第５の例を示す図

【図10】物体認識の結果の第６の例を示す図

【図11】カテゴリの推定処理の別の例を示す図

【図12】ユーザに案内する場所の選択を要求する表示画面の例を示す図

【図13】ユーザに案内を行う表示の第１の例を示す図

【図14】ユーザに案内を行う表示の第２の例を示す図

【図15】一実施の形態に係る情報処理装置の処理の流れの例を示すフローチャート

【図16】一実施の形態に係る端末の構成例を示す図

【図17】一実施の形態に係る情報処理装置の構成例を示す図

【発明を実施するための形態】

【0014】

以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0015】

（一実施の形態）
スーパーマーケット、コンビニエンスストアなどの店舗では、多くの商品が陳列され、販売されている。多くの商品が販売されているため、ユーザ（例えば、店舗にて買い物する顧客または店舗の店員）が所望の商品を探すには労力がかかってしまう。そのため、ユーザに、所望の商品がどこに配置されているかをナビゲーションする技術が望まれる。

【0016】

このナビゲーション技術においては、ユーザが配置場所を確認したい商品を指定することによって、指定された商品の配置場所が案内される。なお、ユーザが顧客である場合、ユーザが配置場所を確認したい商品は、例えば、顧客が購入を希望する商品に対応する。また、ユーザが店員である場合、ユーザが配置場所を確認したい商品は、例えば、店員が陳列しようとする商品に対応する。以下では、配置場所の案内する対象となる商品（例えば、ユーザが配置場所を確認したい商品）は、対象商品と記載される。また、商品の配置場所は、単に、商品の位置と記載される場合がある。また、配置場所は、陳列場所と記載される場合がある。

【0017】

ナビゲーション技術において対象商品を指定する方法には、ユーザが端末等に対象商品の情報（例えば、商品名、製造メーカ）を入力する方法等が考えられるが、ユーザが情報を入力する方法では、ユーザの手間がかかってしまう。そのため、画像による物体認識技術を用いることによって、対象商品の指定を簡略化することが検討されている。

【0018】

例えば、対象商品を撮影した画像に基づいて物体認識技術を行い、対象商品が何であるかを特定することによって、対象商品の指定を簡略化し、対象商品の位置を案内できる。

【0019】

しかしながら、物体認識技術では、対象商品を撮影する角度、対象商品を撮影する環境（例えば、周囲の明るさ、周囲の光の向き等）によって、物体認識処理の認識精度が低くなってしまう。また、店舗には、色、形等が類似する商品が多く販売されているため、対象商品に該当するものが１つに特定されず、物体認識処理の認識精度が低くなってしまう。物体認識処理の認識精度が低くなり、対象商品が何であるかを特定できない場合、対象商品の位置の案内が困難である。なお、物体認識は、画像を用いた認識であるので、画像認識と称されてもよい。

【0020】

商品は、いくつかのカテゴリに分類される。商品のカテゴリとは、商品の分類するためのグループであり、商品の種類、特性毎のグループを示す。商品のカテゴリには、例えば、「炭酸飲料」、「コーヒー飲料」、「茶系飲料」、「醤油」、「塩」といったような相対的に狭いカテゴリと、「清涼飲料」、「調味料」といったような相対的に広いカテゴリが存在する。「清涼飲料」というカテゴリには、「炭酸飲料」、「コーヒー飲料」、「茶系飲料」が含まれる。また、「調味料」というカテゴリには、「醤油」、「塩」といったようなカテゴリが含まれる。本実施の形態では、「炭酸飲料」、「コーヒー飲料」、「茶系飲料」、「醤油」、「塩」といった相対的に小さなカテゴリは、「小カテゴリ」と記載され、複数の小カテゴリを含み、相対的に大きなカテゴリは、「大カテゴリ」と記載される。１つの商品には、少なくとも１つの小カテゴリと、少なくとも１つの大カテゴリが対応付けられる。なお、１つの商品には、小カテゴリと大カテゴリの一方が対応付けられ、他方が対応付けられない場合があってもよい。

【0021】

店舗では、同じカテゴリの複数の商品は、互いに同じ棚または近くの棚に陳列される可能性が高い。そのため、対象商品の位置の代わりに、対象商品のカテゴリに対応する棚等の位置を案内することによって、案内された棚から目視等で対象商品の位置が把握できるため、対象商品の位置を高い確率で案内できる。

【0022】

そこで、本実施の形態では、認識精度が所定のレベルよりも低い場合には、対象商品の位置の代わりに、対象商品のカテゴリに対応する棚等の位置を案内する。なお、以下では、対象商品のカテゴリに対応する棚等の位置は、対象商品のカテゴリの位置、又は、対象商品のカテゴリの棚と記載される場合がある。

【0023】

図１は、本実施の形態に係る商品案内システム１の例を示す図である。本実施の形態に係る商品案内システム１は、店舗に導入される。図１に示すように、商品案内システム１には、端末１０と、情報処理装置２０とが含まれる。

【0024】

端末１０と、情報処理装置２０とは、例示的に、ネットワークを介して、互いに接続する。端末１０、及び、情報処理装置２０は、図１では省略されている基地局またはアクセスポイントを介して、ネットワークに無線接続してもよい。

【0025】

端末１０は、ユーザ（例えば、店員または顧客）によって使用される。端末１０は、スマートフォン、タブレット等の形態であってもよいし、ヘッドマウントディスプレイを有するウェアラブルデバイスの形態であってもよい。ユーザは、端末１０を操作して、対象商品を撮影し、対象商品の位置に案内することを依頼するための操作を行う。端末１０は、ユーザの操作に応じて、商品案内の依頼を示す依頼情報を情報処理装置２０へ送信する。依頼情報には、撮影された対象商品の商品画像が含まれる。

【0026】

なお、撮影の対象は、対象商品の実物であってもよい。例えば、ユーザが店員である場合、陳列しようとする商品が撮影される。例えば、ユーザが顧客である場合、過去に購入した商品を再び購入するために、過去に購入した商品が撮影される。あるいは、撮影の対象は、広告等の紙媒体に印刷されている対象商品の画像であってもよい。また、端末１０における商品画像の取得は、カメラ等で撮影して取得する方法に限定されない。例えば、端末１０は、ＷＥＢページ等の電子媒体に含まれる対象商品の画像を取得してもよい。

【0027】

情報処理装置２０は、ネットワークを介して、端末１０等と接続するサーバの形態を有する。あるいは、情報処理装置２０は、ネットワーク（例えば、インターネット）に設けられるクラウドサーバの形態であってもよい。情報処理装置２０は、端末１０から依頼情報を取得し、依頼情報に含まれる商品画像を用いた物体認識を行う。情報処理装置２０は、物体認識に基づいて、端末１０を所有するユーザに案内する案内位置を設定し、端末１０に設定した案内位置を示す応答情報を送信する。

【0028】

端末１０は、応答情報に基づいて、端末１０のユーザを案内する表示を行う。ユーザ（例えば、店員または顧客）は、表示を確認し、対象商品の位置へ移動する。

【0029】

図１に示す商品案内システム１では、店舗にて販売される商品に関する情報を登録する登録処理が行われる。次に、登録処理について説明する。

【0030】

＜登録処理＞
店舗にて販売される商品のそれぞれの情報と、商品の配置場所（商品の位置）の情報とが事前に登録される。事前に画像等の情報を登録する商品は、店舗にて販売される全ての商品であってよい。以下、事前に画像等の情報を登録する商品は、登録商品と記載される。なお、事前の登録処理は、情報処理装置２０によって行われてもよいし、情報処理装置２０と異なる処理装置によって行われてもよい。

【0031】

図２は、登録処理の一例を示す図である。図２では、商品に関する情報の登録処理の後の商品の配置場所に関する登録処理が示される。

【0032】

商品に関する情報の登録処理では、商品の物体認識のために、カメラが商品を複数の方向から撮影し、商品の画像が商品情報データベース（以下、商品情報ＤＢ）に登録される。商品情報ＤＢには、撮影された画像の他に、商品に関する情報（例えば、ＪＡＮ（Japanese Article Number）コード、アノテーションデータ）が登録される。

【0033】

商品の配置場所に関する情報の登録処理では、配置場所の登録の対象となる商品を１又は複数の方向から撮影し、商品情報ＤＢを参照した物体認識によって、撮影した画像に含まれる、配置場所の登録の対象となる商品が何であるかを特定し、特定した商品のＪＡＮコードを取得する。そして、カメラが、配置場所の登録の対象となる商品が陳列されている棚を撮影し、撮影された画像の解析を行うことによって、商品棚における、配置場所の登録の対象となる商品の３次元的な位置を示す位置情報が検出される。検出された位置情報は、商品棚の位置に関する情報の一例として、商品ナビゲーションデータベース（以下、商品ナビＤＢ）に登録される。商品棚の位置に関する情報は、当該商品棚に陳列されている、配置場所の登録の対象となる商品の商品に関する情報（例えば、ＪＡＮコード）と対応付けて登録される。

【0034】

なお、商品の配置場所に関する情報の登録処理では、画像の解析を用いる代わりに、店舗の店員等が、商品の位置を、予め手入力等によって登録してもよい。

【0035】

なお、商品の配置場所に関する情報の登録処理は、商品案内システム１が導入される段階において行われる。また、商品の配置場所に関する情報の登録処理は、商品の配置場所が変更される場合に行われる。

【0036】

次に、図２に示す登録処理等によって得られる情報の一例を説明する。

【0037】

図３は、登録された情報のデータベースの一例を示す図である。図３には、商品情報ＤＢと、商品ナビＤＢとが示される。

【0038】

商品情報ＤＢは、複数の店舗間で共通である。商品ナビＤＢは、店舗毎に設けられる。

【0039】

商品情報ＤＢには、商品に関する情報の一例として、商品画像情報と、商品情報とが記憶される。

【0040】

商品画像情報は、商品の物体認識を行うための画像ファイル及びアノテーション情報を含む。商品画像情報は、店舗の管理者等が店舗にて販売される商品の登録を行う際に、商品情報ＤＢに記憶される。

【0041】

商品画像情報には、商品の画像のファイルを識別する画像ファイルＩＤと、画像ファイルの名称と、商品のＪＡＮコードと、画像を撮影した撮影角度と、アノテーション情報とが含まれる。

【0042】

商品情報は、商品を識別するための情報を含む。商品情報は、店舗の管理者等が店舗にて販売される商品の登録を行う際に、商品情報ＤＢに記憶される。あるいは、商品情報は、小売業者のＤＢから商品情報ＤＢにインポートされてもよい。

【0043】

商品情報には、商品のＪＡＮ（Japanese Article Number）コードと、商品名と、商品に対応づけられる大カテゴリの名称である大カテゴリ名と、商品に対応付けられる小カテゴリの名称である小カテゴリ名とが含まれる。

【0044】

商品画像情報と商品情報とは、ＪＡＮコードによって紐付けられる。

【0045】

商品ナビＤＢには、商品の配置場所に関する情報の一例として、商品位置情報と、商品棚位置情報とが含まれる。

【0046】

商品位置情報は、店舗において商品が陳列されている位置に関する情報を含む。商品位置情報は、商品案内システムが導入された際に設定される。また、商品位置情報は、商品の位置に変更があった場合に変更される。

【0047】

商品位置情報には、ＪＡＮコードと、商品位置座標とが含まれる。商品位置座標は、例えば、Ｘ軸、Ｙ軸、Ｚ軸から成る３次元空間の位置を示す。

【0048】

商品棚位置情報は、店舗において商品が陳列されている商品棚の位置に関する情報を含む。商品棚位置情報は、商品案内システムが導入された際に設定される。また、商品位置情報は、商品棚の位置、商品棚のレイアウト、商品棚に陳列されている商品（又はそのカテゴリ）に変更があった場合に変更される。

【0049】

商品棚位置情報には、商品棚を識別する商品棚ＩＤと、商品棚に対応づけられる大カテゴリ名と、商品棚に対応付けられる小カテゴリ名と、商品棚座標とが含まれる。商品棚座標は、例えば、Ｘ軸、Ｙ軸、Ｚ軸から成る３次元空間の位置を示す。

【0050】

なお、大カテゴリは、小カテゴリよりも多くの商品を含むため、１つの大カテゴリに対応付けられる商品棚の数は、その１つの大カテゴリに含まれる小カテゴリに対応づけられる商品棚の数よりも多くてもよい。また、１つの商品棚に、互いに異なるカテゴリ（例えば、小カテゴリまたは大カテゴリ）の商品が陳列されている場合、当該１つの商品棚には、複数のカテゴリが対応付けられてもよい。

【0051】

なお、商品棚のサイズ、商品棚の配置方法、商品棚における商品の陳列方法等は、店舗によって異なる場合がある。そのため、商品棚位置情報に含まれる情報は、店舗毎に独立して設定されてもよい。

【0052】

例えば、商品棚に対応づけられる大カテゴリ名及び商品棚に対応付けられる小カテゴリ名とは、１つであってもよいし、複数であってもよい。１つの大カテゴリ名及び１つの小カテゴリ名に対応付けられる商品棚の数は、当該カテゴリに属する商品の数に応じて規定される。

【0053】

また、店舗内の商品棚がそれぞれ同一平面に配置される場合、商品棚座標は、高さ方向の位置（例えば、Ｚ座標）を示さずに、Ｘ軸、Ｙ軸から成る２次元平面の位置を示してもよい。

【0054】

なお、商品棚に対応付けられるカテゴリは、予め、商品棚毎に設定されてもよい。この場合、カテゴリが商品棚毎に設定された後、予め設定されたカテゴリに応じて、各商品棚に商品が陳列される。例えば、店舗の店員が、商品棚毎にカテゴリを決定し、手入力等によって、カテゴリが商品棚毎に設定される。

【0055】

あるいは、商品棚に対応付けられるカテゴリは、商品棚に陳列されている商品の商品情報に基づいて、設定されてもよい。この場合、カテゴリが商品棚毎に設定される前に、商品が商品棚に陳列され、商品が陳列された後で、陳列された商品の商品情報に基づいて、商品棚に対応付けられるカテゴリが推定される。例えば、或る商品棚に陳列されている商品のカテゴリが特定の比率以上で共通して「炭酸飲料」であることが、商品情報に基づいて検出された場合、当該商品棚に対応づけられる小カテゴリは、「炭酸飲料」と推定される。

【0056】

上述した各ＤＢの情報に基づいて、情報処理装置２０は、案内位置を設定する。

【0057】

図４は、ユーザ利用時の案内位置の設定処理の一例を示す図である。

【0058】

図１に示した商品案内システム１では、案内位置の設定処理において、商品情報ＤＢを参照して、商品の物体認識が行われる。対象商品の物体認識のために、カメラが対象商品を１又は複数の方向から撮影する。情報処理装置２０は、撮影された対象商品の画像を取得し、撮影された対象商品の画像と、登録商品それぞれの商品画像情報に含まれる画像（登録画像）とを比較し、対象商品と登録商品との間の類似度を示す認識スコアを算出する。１つの対象商品についての認識スコアは、１つの対象商品と登録商品それぞれとの間で算出される。１つの認識スコアは、１つの登録商品と対応付けられる。

【0059】

認識スコアは、例示的に、類似度が高いほど大きい値とする。例えば、認識スコアは、０％～１００％の間の値をとり、１００％が、類似度が最も高いことを示す。

【0060】

１つの対象商品と登録商品それぞれとの間で算出された認識スコアのうち、閾値（例えば、６０％）以上である認識スコアが１つである場合、その１つの認識スコアに対応する登録商品が、対象商品に該当する、と判定される。このように、１つの対象商品と登録商品それぞれとの間で算出される認識スコアに基づいて、対象商品に該当する登録商品が特定される。この場合、図４に示すように、商品情報ＤＢを参照して対象商品に該当すると判定された登録商品の商品画像情報及び商品情報に含まれるＪＡＮコードが取得される。そして、図４に示すように、取得したＪＡＮコードに対応付けられる商品位置情報が、商品ナビＤＢを参照して、取得される。そして、取得された商品位置情報に含まれる商品位置座標の位置が、対象商品の案内位置に設定される。また、閾値は、対象商品などによって、可変にしてもよい。

【0061】

１つの対象商品と登録商品それぞれとの間で算出された認識スコアのうち、閾値（例えば、９０％）以上である認識スコアが複数である場合、その複数の認識スコアに対応する登録商品の情報に基づいて、対象商品のカテゴリが推定される。

【0062】

例えば、複数の認識スコアに対応する登録商品それぞれの商品画像情報に含まれるＪＡＮコードに対応付けられる商品情報が、商品情報ＤＢを参照して、取得される。そして、取得した商品情報に含まれる大カテゴリ、及び、小カテゴリに基づいて、対象商品のカテゴリが推定される。そして、図４に示すように、商品ナビＤＢにおいて、推定されたカテゴリに対応する商品棚位置情報を参照し、推定されたカテゴリに対応する商品棚位置情報が示す商品棚座標の位置が、対象商品のカテゴリの位置に設定される。

【0063】

次に、或る対象商品と登録商品それぞれとの間で算出された認識スコアと、その登録商品の商品名、大カテゴリ、小カテゴリに基づく、対象商品の案内位置の設定方法の例を説明する。

【0064】

＜認識スコアと案内位置の設定の例＞
以下、物体認識の認識スコアの例とその例に応じた案内位置の設定の例とを説明する。

【0065】

図５は、物体認識の結果の第１の例を示す図である。図５には、或る対象商品についての認識スコアの上位４つに対応する登録商品が示される。第１の例では、閾値（例えば、６０％）以上である認識スコアが１つである。この例では、対象商品が「Ａ社コーラ」であることが特定されるので、Ａ社コーラの位置が案内位置に設定される。

【0066】

図６は、物体認識の結果の第２の例を示す図である。図６には、或る対象商品についての認識スコアの上位４つに対応する登録商品が示される。第２の例では、閾値（例えば、６０％）以上である認識スコアが２つ存在する。第２の例では、認識スコアが閾値以上である２つの登録商品の小カテゴリが、共通して、「炭酸飲料」である。この場合、認識スコアが閾値以上である登録商品の中で、一定の割合（例えば、３／４）以上の登録商品の小カテゴリが共通しているので、対象商品の小カテゴリが「炭酸飲料」である、と推定される。そして、小カテゴリが「炭酸飲料」である棚が案内位置に設定される。

【0067】

図７は、物体認識の結果の第３の例を示す図である。図７には、或る対象商品についての認識スコアの上位４つに対応する登録商品が示される。第３の例では、閾値（例えば、６０％）以上である認識スコアが４つ存在する。第３の例では、認識スコアが閾値以上である４つの登録商品の中で、小カテゴリが共通して「炭酸飲料」である登録商品が３つ存在する。この場合、認識スコアが閾値以上である登録商品の中で、一定の割合（例えば、３／４）以上の登録商品の小カテゴリが共通しているので、対象商品の小カテゴリが、「炭酸飲料」である、と推定される。そして、小カテゴリが「炭酸飲料」である棚が案内位置に設定される。

【0068】

図８は、物体認識の結果の第４の例を示す図である。図８には、或る対象商品についての認識スコアの上位４つに対応する登録商品が示される。第４の例では、閾値（例えば、６０％）以上である認識スコアが４つ存在する。第４の例では、認識スコアが閾値以上である４つの登録商品の中で、小カテゴリが共通して「炭酸飲料」である登録商品が２つ存在する。この場合、認識スコアが閾値以上である登録商品の中で、一定の割合（例えば、３／４）以上の登録商品の小カテゴリが共通していないため、対象商品の小カテゴリが、推定されない。この場合、小カテゴリの位置が案内されない。そして、第４の例では、認識スコアが閾値以上である４つの登録商品の中で、大カテゴリが「清涼飲料」である登録商品が３つ存在する。この場合、認識スコアが閾値以上である登録商品の中で、一定の割合（例えば、３／４）以上の登録商品の大カテゴリが共通しているので、対象商品の大カテゴリが、「清涼飲料」である、と推定される。そして、大カテゴリが「清涼飲料」である棚が案内位置に設定される。

【0069】

図９は、物体認識の結果の第５の例を示す図である。図９には、或る対象商品についての認識スコアの上位４つに対応する登録商品が示される。第５の例では、閾値（例えば、６０％）以上である認識スコアが３つ存在する。この例では、認識スコアが閾値以上である３つの登録商品の中で、小カテゴリが共通して「炭酸飲料」である登録商品が２つ存在する。この場合、認識スコアが閾値以上である登録商品の中で、一定の割合（例えば、３／４）以上の登録商品の小カテゴリが共通していないため、対象商品の小カテゴリが、推定されない。この場合、小カテゴリの位置が案内されない。そして、第５の例では、認識スコアが閾値以上である３つの登録商品の中で、大カテゴリが「清涼飲料」である登録商品が２つ存在する。この場合、認識スコアが閾値以上である登録商品の中で、一定の割合（例えば、３／４）以上の登録商品の大カテゴリが共通していない。そのため、大カテゴリの位置が案内されない。

【0070】

図１０は、物体認識の結果の第６の例を示す図である。図１０には、或る対象商品についての認識スコアの上位４つに対応する登録商品が示される。第６の例では、閾値（例えば、６０％）以上である認識スコアが存在しない。この場合、認識失敗と判定され、対象商品の撮影のやり直しが指示されてもよい。対象商品の撮影のやり直しでは、ユーザが、対象商品を撮影する方向を変えて、対象商品を撮影する。ただし、対象商品の撮影のやり直しが行われない場合、案内不可と判定されてもよい。対象商品の撮影のやり直しが行われない場合とは、例えば、対象商品が実物ではなく、紙媒体等に印刷された平面の対象商品の画像が撮影される場合である。

【0071】

上述した第１の例のように、閾値以上である認識スコアが１つである場合、その１つの認識スコアに対応する登録商品が対象商品であると特定され、特定された登録商品の位置が案内される。

【0072】

上述した第２の例～第５の例のように、閾値以上である認識スコアが複数である場合、その複数の認識スコアに対応する複数の登録商品のカテゴリに基づいて、対象商品のカテゴリが推定される。対象商品のカテゴリの推定では、先に、小カテゴリの推定処理が行われ、小カテゴリが推定できない場合に、大カテゴリの推定処理が行われる。

【0073】

例えば、小カテゴリの推定処理では、第２の例及び第３の例に示すように、複数の登録商品の小カテゴリの中で共通する小カテゴリが占める割合が、一定の割合以上である場合、共通する小カテゴリが、対象商品の小カテゴリである、と推定される。一方で、第４の例及び第５の例に示すように、複数の登録商品の小カテゴリの中で共通する小カテゴリが占める割合が、一定の割合未満である場合、対象商品の小カテゴリが推定されない。対象商品の小カテゴリが推定されない場合、対象商品の大カテゴリの推定処理が行われる。なお、複数の登録商品の小カテゴリの中で共通する小カテゴリが無い場合、すなわち、複数の登録商品の小カテゴリが互いに異なる場合は、複数の登録商品の小カテゴリの中で共通する小カテゴリが占める割合が一定の割合未満である場合の一例であってよい。

【0074】

例えば、大カテゴリの推定処理では、第４の例に示すように、複数の登録商品のカテゴリの中で共通する大カテゴリが占める割合が、一定の割合以上である場合、共通する大カテゴリが、対象商品の大カテゴリである、と推定される。一方で、第５の例に示すように、複数の登録商品の大カテゴリの中で共通する大カテゴリが占める割合が一定の割合未満である場合、対象商品の大カテゴリが推定されない。なお、複数の登録商品の大カテゴリの中で共通する大カテゴリが無い場合、すなわち、複数の登録商品の大カテゴリが互いに異なる場合は、複数の登録商品の大カテゴリの中で共通する大カテゴリが占める割合が一定の割合未満である場合の一例であってよい。

【0075】

なお、小カテゴリの推定処理において、共通する小カテゴリが示す割合と比較される「一定の割合」と、大カテゴリの推定処理において、共通する大カテゴリが示す割合と比較される「一定の割合」とは、同じ値に設定されてもよいし、互いに独立して設定されてよい。例えば、これら２つの割合は、商品毎及び／又はカテゴリ毎に設定されてもよい。

【0076】

なお、上述したカテゴリの推定処理では、閾値以上である認識スコアが複数である場合に、その複数の認識スコアに対応する複数の登録商品のカテゴリ（小カテゴリまたは大カテゴリ）の中で共通するカテゴリが占める割合が、一定の割合以上であるか否かに基づいてカテゴリが推定されたが、本開示はこれに限定されない。例えば、認識スコアがカテゴリの推定処理に用いられてもよい。

【0077】

以下では、カテゴリの推定処理のバリエーションとして、カテゴリの推定処理に、認識スコアの累計が用いられる例と、商品数の累計が用いられる例と、認識スコアの最大値が用いられる例とを説明する。

【0078】

図１１は、カテゴリの推定処理の別の例を示す図である。図１１には、図５～図１０と同様に、複数の登録商品の商品名とその登録商品に対応するカテゴリと、対象商品と登録商品との間の認識スコアの例が示される。

【0079】

図１１では、小カテゴリが「醤油」に対応する「Ｃ社醤油」の認識スコアが０．９であり、小カテゴリが「炭酸飲料」に対応する「Ａ社コーラ」、「Ｂ社コーラ」、及び、Ｘ社グレープソーダの認識スコアが、それぞれ、０．６、０．６、０．６である。認識スコアの累計がカテゴリの推定処理に用いられる場合、各小カテゴリの認識スコアの累計が小カテゴリを評価する評価値として用いられる。例えば、小カテゴリ「醤油」の評価値が、０．９／（０．９＋０．６＋０．６＋０．６）＝０．３３と算出され、小カテゴリ「炭酸飲料」の評価値が、（０．６＋０．６＋０．６）／（０．９＋０．６＋０．６＋０．６）＝０．６７と算出されてもよい。そして、評価値が大きい小カテゴリである「炭酸飲料」が、対象商品の小カテゴリである、と推定されてもよい。この推定処理によって、認識スコアの外れ値（図１１の例では「醤油」）の影響を抑えることができる。

【0080】

図１１では、小カテゴリが「醤油」に対応する商品数が１つであり、小カテゴリが「炭酸飲料」に対応する商品の数が３つである。商品数の累計がカテゴリの推定処理に用いられる場合、各小カテゴリの商品数の累計が小カテゴリを評価する評価値として用いられる。例えば、小カテゴリ「醤油」の評価値が、１／４と算出され、小カテゴリ「炭酸飲料」の評価値が、３／４と算出されてもよい。そして、この評価値が大きい小カテゴリである「炭酸飲料」が、対象商品の小カテゴリである、と推定されてもよい。この推定処理では、対象商品と同じカテゴリの登録商品の特徴が、互いに類似している場合には、正しいカテゴリの推定ができる可能性が高い。

【0081】

図１１では、小カテゴリが「醤油」に対応する「Ｃ社醤油」の認識スコアが０．９であり、小カテゴリが「炭酸飲料」に対応する「Ａ社コーラ」、「Ｂ社コーラ」、及び、Ｘ社グレープソーダの認識スコアが、それぞれ、０．６、０．６、０．６である。認識スコアの最大値がカテゴリの推定処理に用いられる場合、小カテゴリが「醤油」に対応する「Ｃ社醤油」の認識スコアが最大値であるため、「醤油」が、対象商品の小カテゴリである、と推定されてもよい。この推定処理では、認識スコアに誤りがない場合には、正しいカテゴリが推定できる可能性が高い。

【0082】

なお、上述した第５の例のように、認識スコアが閾値以上である登録商品の中で、共通する小カテゴリが占める割合が一定の割合以上ではなく、共通する大カテゴリが占める割合が一定の割合以上ではない場合、案内する場所をユーザに選択させてもよい。例えば、共通する小カテゴリ（図９の例では「炭酸飲料」）、及び、共通する大カテゴリ（図９の例では、「清涼飲料」）の何れかを選択するための選択肢をユーザの端末１０等に表示させ、ユーザに選択を要求してもよい。

【0083】

図１２は、ユーザに案内する場所の選択を要求する表示画面の例を示す図である。図１２は、図９のような物体認識の結果が得られた場合に、ユーザの端末１０の表示部等に表示させる表示画面である。ユーザは、表示部の選択肢を確認し、表示部に重畳された操作部（例えば、タッチパネル）を操作して、カテゴリを選択する。端末１０は、選択されたカテゴリの情報を、情報処理装置２０へ送信し、情報処理装置２０が、取得した情報に基づいて、選択されたカテゴリの位置を案内する情報を端末１０へ送信する。

【0084】

＜案内のための表示例＞
次に、案内のための表示例を説明する。

【0085】

図１３は、ユーザに案内を行う表示の第１の例を示す図である。図１３では、ユーザがゴーグル型の表示部を有する端末１０を使用する例である。図１３では、ゴーグル型の表示部に表示された、対象商品の位置を示す枠が、ユーザの視界に重畳されている例を示す。

【0086】

図１３では、対象商品の位置がユーザの視界に含まれる商品棚の中に含まれるため、対象商品の位置を示す枠が、ユーザの視界に重畳されて表示されている。ユーザは、この枠を確認することによって、対象商品の位置を探索できる。

【0087】

図１４は、ユーザに案内を行う表示の第２の例を示す図である。図１４では、図１３と同様に、ユーザがゴーグル型の表示部を有する端末１０を使用する例である。図１４では、ゴーグル型の表示部に表示された、対象商品のカテゴリの位置を示す枠が、ユーザの視界に重畳されている例を示す。

【0088】

図１４では、対象商品のカテゴリの位置がユーザの視界に含まれる商品棚の中に含まれるため、対象商品のカテゴリの位置を示す枠が、ユーザの視界に重畳されている。ユーザは、この枠を確認することによって、対象商品のカテゴリの位置を探索できる。そして、カテゴリの位置の中で、対象商品の位置を探索できる。

【0089】

なお、図１３、図１４では、案内位置（対象商品の位置又は対象商品のカテゴリの位置）がユーザの視界に含まれるが、案内位置がユーザの視界に含まれない場合（例えば、案内位置がユーザから離れている場合）、案内位置までの経路を示す情報が、ユーザの視界に重畳されて表示されてもよい。例えば、案内位置までの経路を示す矢印が、ユーザの足元に重畳されて表示されてもよい。

【0090】

なお、図１４では、対象商品のカテゴリの位置を示す枠が重畳される例を示したが、対象商品のカテゴリの位置の中心位置を示す枠が重畳されてもよい。

【0091】

なお、案内の方法は特に限定されない。例えば、２次元平面において、目的地（対象商品の位置またはカテゴリの位置）までの経路を案内してもよいし、３次元空間において、目的地までの経路を案内してもよい。２次元平面における目的地までの経路の案内は、２Ｄナビと称され、３次元空間における目的地までの経路の案内は、３Ｄナビと称されてもよい。

【0092】

例えば、頭部に装着するヘッドマウントディスプレイの形態を有する端末１０において、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ（ＭＲ））を利用した３Ｄナビが行われてもよい。あるいは、スマートフォンの形態を有する端末１０において、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ）））を利用した３Ｄナビが行われてもよい。これらの方法では、端末１０のカメラで撮影した空間上に、案内する方向を示す矢印を重畳して表示し、目的地までの経路を表示してもよい。なお、この場合、目的地までの経路には、高さ方向の情報が含まれる。また、複数のフロアに跨って商品の陳列場所が存在する場合、陳列場所が存在するフロアの情報が含まれてもよい。

【0093】

また、例えば、スマートフォンの形態を有する端末１０において、ＡＲを利用した２Ｄナビが行われてもよい。あるいは、スマートフォンの形態を有する端末１０において、無線技術を利用した２Ｄナビが行われてもよい。例えば、端末１０が、無線技術を用いた屋内測位を行い、屋内測位によって得られた端末１０の位置に基づいて、端末１０の位置から、対象商品の位置またはカテゴリの位置までの２Ｄナビを行ってもよい。これらの方法では、端末１０において、俯瞰して見た地図（例えば、店舗内の俯瞰図）が表示され、案内する方向を示す矢印を重畳して表示し、目的地までの経路を表示してもよい。なお、この場合、目的地までの経路には、高さ方向の情報が含まれない。また、店内のサイネージや電子棚札などに、目的地までの経路を表示してもよい。

【0094】

上述の通り、ユーザが案内を希望する対象商品の物体認識を行い、対象商品に該当する登録商品が特定された場合には、登録商品の位置をユーザに案内する。また、対象商品に該当する登録商品が特定されない場合（例えば、認識精度が低い場合）、対象商品のカテゴリを推定し、推定されたカテゴリの位置をユーザに案内する。この構成により、ユーザが案内を希望する対象商品に関する情報を、ユーザが端末を操作して入力することがないため、商品の陳列場所への案内に要するユーザの手間を削減できる。また、この構成により、画像による認識の精度が十分ではなく、対象商品に該当する登録商品が特定できない場合であっても、対象商品のカテゴリに対応する位置を案内するため、このような場合でも、商品の陳列場所への案内を行うことができる。

【0095】

＜処理の流れ＞
次に、情報処理装置２０の処理の流れの一例を説明する。なお、以下の処理の流れは、一例であり本開示はこれに限定されない。以下に説明する処理の流れの一部の処理が実行されなくてもよいし、以下に説明する処理の流れに含まれない処理が追加されてもよいし、処理の順番が、以下の説明と異なってもよい。

【0096】

図１５は、本実施の形態に係る情報処理装置２０の処理の流れの例を示すフローチャートである。

【0097】

情報処理装置２０は、端末１０から依頼情報を取得し、依頼情報に含まれる対象商品Ａの商品画像を取得する（Ｓ１０１）。

【0098】

情報処理装置２０は、物体認識の対象となる対象商品Ａの物体認識を行う（Ｓ１０２）。物体認識では、対象商品Ａと登録商品それぞれとの間の認識スコアが算出される。

【0099】

情報処理装置２０は、対象商品Ａについて算出した認識スコアの中で、閾値以上の認識スコアが存在するか否かを判定する（Ｓ１０３）。

【0100】

閾値以上の認識スコアが存在しない場合（Ｓ１０３にてＮＯ）、フローはＳ１０１に戻り、情報処理装置２０は、対象商品Ａの商品画像を再び取得し、物体認識を行う。

【0101】

閾値以上の認識スコアが存在する場合（Ｓ１０３にてＹＥＳ）、情報処理装置２０は、閾値以上の認識スコアが複数であるか否かを判定する（Ｓ１０４）。

【0102】

閾値以上の認識スコアが複数ではない場合（Ｓ１０４にてＮＯ）、つまり、閾値以上の認識スコアが１つである場合、情報処理装置２０は、その１つの認識スコアに対応する登録商品Ｃが対象商品Ａである、と特定する（Ｓ１０５）。

【0103】

情報処理装置２０は、事前に設定した登録商品Ｃの位置を特定する（Ｓ１０６）。

【0104】

情報処理装置２０は、特定した登録商品Ｃの位置を案内位置に設定する（Ｓ１０７）。

【0105】

閾値以上の認識スコアが複数である場合（Ｓ１０４にてＹＥＳ）、サーバ装置３０は、閾値以上の認識スコアに対応する登録商品のカテゴリを検索する（Ｓ１０８）。

【0106】

サーバ装置３０は、複数の登録商品のカテゴリに基づいて、対象商品ＡのカテゴリＢを推定する（Ｓ１０９）。

【0107】

情報処理装置２０は、推定した対象商品ＡのカテゴリＢの位置を特定する（Ｓ１１０）。

【0108】

情報処理装置２０は、特定したカテゴリＢの位置を案内位置に設定する（Ｓ１１１）。

【0109】

情報処理装置２０は、設定した案内位置を含む応答情報を送信する（Ｓ１１２）。そして、対象商品Ａについての案内のフローは終了する。

【0110】

＜装置構成の例＞
次に、端末１０、及び、情報処理装置２０のそれぞれの装置構成の例を説明する。なお、以下の装置構成は、一例であり本開示はこれに限定されない。以下に説明する装置構成の一部の構成が省略されてもよいし、以下に説明する装置構成に含まれない構成が追加されてもよい。

【0111】

図１６は、本実施の形態に係る端末１０の構成例を示す図である。図１６に示す端末１０は、画像検出部１０１と、依頼情報生成部１０２と、送信部１０３と、受信部１０４と、表示制御部１０５と、表示部１０６とを有する。画像検出部１０１と、依頼情報生成部１０２と、表示制御部１０５との１つ以上は、まとめて、制御部又は処理部と称されてもよい。また、送信部１０３と受信部１０４とは、まとめて、通信部と称されてもよい。また、端末１０は、情報処理装置と称されてもよい。

【0112】

画像検出部１０１は、撮影された商品画像を取得する。商品画像は、例えば、端末１０に搭載されたカメラ（図１６では省略）、または、端末１０と有線あるいは無線により接続するカメラ（図１６では省略）から取得される。なお、ここで撮影される商品は、案内を依頼する対象となる対象商品である。対象商品は、例えば、端末１０を所有する店員が陳列を行う商品、または、端末１０を使用する顧客が購入を希望する商品である。

【0113】

依頼情報生成部１０２は、案内を依頼する対象となる対象商品の商品画像を含み、案内の依頼内容を示す依頼情報を生成する。

【0114】

送信部１０３は、依頼情報を含む信号を情報処理装置２０へ送信する。

【0115】

受信部１０４は、情報処理装置２０から、依頼情報に対する応答を示す応答情報を含む信号を受信する。

【0116】

表示制御部１０５は、応答情報に含まれる案内位置（対象商品の位置又は対象商品のカテゴリの位置）への案内を行う情報を表示部１０６に表示させる。例えば、表示制御部１０５は、端末１０の現在の位置と、案内位置との関係に基づいて、端末１０の現在の位置から、案内位置までの経路を示す情報を表示部１０６に表示させる。

【0117】

表示部１０６は、表示制御部１０５の制御によって、ユーザに情報を表示する。

【0118】

図１７は、本実施の形態に係る情報処理装置２０の構成例を示す図である。図１７に示す情報処理装置２０は、受信部２０１と、商品情報ＤＢ２０２と、物体認識部２０３と、案内位置設定部２０４と、商品ナビＤＢ２０５と、応答情報生成部２０６と、送信部２０７と、を有する。物体認識部２０３と、案内位置設定部２０４と、応答情報生成部２０６との１つ以上は、まとめて、制御部又は処理部と称されてもよい。また、受信部２０１と送信部２０７とは、まとめて、通信部と称されてもよい。商品情報ＤＢ２０２及び／又は商品ナビＤＢ２０５は、記憶部と称されてもよい。

【0119】

受信部２０１は、端末１０が送信した信号を受信し、信号に含まれる依頼情報を取得する。

【0120】

商品情報ＤＢ２０２には、上述したように、商品画像情報と、商品情報とが記憶されている。

【0121】

物体認識部２０３は、依頼情報に基づいて、物体認識を行う。例えば、物体認識部２０３は、依頼情報に含まれる対象商品の商品画像と、商品情報ＤＢ２０２に記憶されている登録商品の商品画像との間の類似度を示す認識スコアを算出する。

【0122】

物体認識部２０３は、算出した認識スコアの中で、閾値以上の認識スコアが１つである場合、その１つの認識スコアに対応する登録商品が対象商品に該当する、と特定する。

【0123】

物体認識部２０３は、算出した認識スコアの中で、閾値以上の認識スコアが複数である場合、商品情報ＤＢ２０２を参照して、閾値以上を示す複数の認識スコアに対応する登録商品それぞれのカテゴリを検索する。物体認識部２０２は、検索したカテゴリに基づいて、対象商品のカテゴリを推定する。対象商品のカテゴリの推定については、例えば、上述したように、登録商品のカテゴリの中で共通する或るカテゴリの占める割合が、所定の割合以上である場合、当該カテゴリが、対象商品のカテゴリである、と推定される。

【0124】

案内位置設定部２０４は、物体認識結果に基づいて、ユーザに案内する案内位置を設定する。案内位置設定部２０４は、物体認識によって、対象商品に対応する登録商品が特定された場合、商品ナビＤＢ２０５を参照して対象商品に対応する登録商品の位置を特定し、特定した登録商品の位置を案内位置に設定する。また、案内位置設定部２０４は、物体認識によって、対象商品のカテゴリが推定された場合、商品ナビＤＢ２０５を参照して対象商品のカテゴリの位置を特定し、特定したカテゴリの位置を案内位置に設定する。

【0125】

商品ナビＤＢ２０５には、上述した通り、商品位置情報、商品棚位置情報等が記憶されている。

【0126】

応答情報生成部２０６は、案内位置設定部２０４によって設定された案内位置を含む応答情報を生成する。なお、応答情報には、案内位置までの道順等の経路案内に関する情報が含まれてもよい。

【0127】

送信部２０７は、応答情報生成部２０６によって生成された応答情報を含む信号を端末１０へ送信する。

【0128】

なお、図１７では、情報処理装置２０が、商品情報ＤＢ２０２と、商品ナビＤＢ２０５との両方を有し、物体認識の処理と案内位置の設定とを行う例を示したが、本開示はこれに限定されない。図１７に示した情報処理装置２０の構成のそれぞれが、２つ以上の装置の何れかに含まれる構成であってもよい。

【0129】

例えば、店舗等に設けられた情報処理装置が、商品ナビＤＢを有し、複数の店舗の情報処理装置が接続するサーバ装置が、商品情報ＤＢを有する構成であってもよい。この場合、店舗等の情報処理装置が、サーバ装置に物体認識の処理を依頼し、サーバ装置が、物体認識部２０３と同様に、物体認識を行ってもよい。そして、店舗等の情報処理装置が、サーバ装置から物体認識の結果を取得し、物体認識の結果に基づいて、案内位置設定部２０４と同様に、案内位置を設定してもよい。

【0130】

以上説明した情報処理装置では、対象商品（対象物品の一例）の画像を取得する受信部と、取得した画像に基づいて、店舗（施設の一例）に配置されている登録商品（第１の登録物品の一例）のうち対象商品に類似する登録商品（第２の登録物品の一例）が複数存在する場合に、対象商品に類似する登録商品それぞれの属するカテゴリに基づいて、対象商品のカテゴリを推定し、推定した対象商品のカテゴリに対応する店舗における配置場所をユーザに案内する案内場所に設定する処理部と、設定した案内場所に関する情報をユーザが所有する端末へ送信する送信部と、を備える。

【0131】

この構成により、ユーザが案内を希望する商品に関する情報を、ユーザが端末を操作して入力することがないため、商品の陳列場所への案内に要するユーザの手間を削減できる。また、この構成により、画像による認識の精度が十分ではなく、対象商品に該当する登録商品が特定できない場合であっても、対象商品のカテゴリに対応する位置を案内するため、このような場合でも、商品の陳列場所への案内を行うことができる。

【0132】

なお、上述した実施の形態では、店舗において販売されている商品の位置をユーザに案内する例を示したが、本開示はこれに限定されない。例えば、本開示は、倉庫等に保管されている物品の位置をユーザに案内する場合に適用されてもよい。また、本開示を倉庫等に保管されている物品に適用する場合、それらの物品はユーザの視認が容易となるように陳列されていなくともよく、例えば、棚等に収納されていてもよい。すなわち、本開示は、店舗や倉庫等の複数の物品が配置される施設において、配置されている物品の位置をユーザに案内する多様なシステムに適用されてよい。

【0133】

なお、上述した実施の形態では、対象商品と登録商品との間の類似度を商品画像の間の類似度を示す認識スコアに基づいて決定していた。しかし、対象商品と登録商品との類似度を他の基準に基づいて評価してもよい。例えば、対象商品の商品画像から対象商品を識別し、識別した対象商品の属性と同一または類似の属性を持つ登録商品を、対象商品に類似する登録商品として評価してもよい。この場合、同一または類似する属性が多いほど、対象商品と登録商品との間の類似度が高いと評価してもよい。また、評価に用いる属性は、例えば、商品の色、大きさ等が挙げられる。例えば、対象商品の色、大きさと同じ登録商品は、対象商品との類似度が相対的に高く、対象商品の色、大きさと異なる登録商品は、対象商品との類似度が相対的に低い、と評価される。本開示において対象商品のカテゴリに対応する位置を案内する条件は、対象商品に類似する登録商品が複数存在することであるため、対象商品と登録商品の類似度を評価する基準は限定されない。

【0134】

なお、商品画像の識別精度によって、案内を行うカテゴリを大カテゴリと小カテゴリとの間で変更する動作は、案内対象となるユーザである顧客の属性や性格などによって変更してもよい。例えば、比較的大きいカテゴリの案内を行った場合にその案内に関して苦情を言う顧客などに対しては、案内を行うカテゴリを大カテゴリと小カテゴリとの間で変更する動作は行わずに、案内の対象となる対象商品を再度カメラに翳すように対象顧客にお願いするなどの動作も可能である。

【0135】

また、上述した実施の形態は、商品の陳列場所の案内に対して適用する場合について示したが、他のユースケースに対しても適用可能である。例えば、陳列棚から欠品が発生した商品の位置を案内する通知などに対しても、本発明は適用することが可能である。

【0136】

なお、上記実施の形態における「・・・部」は、「・・・回路（circuitry）」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」であってもよい。

【0137】

本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。

【0138】

上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部又は全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

【0139】

集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。

【0140】

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

【0141】

本開示は、通信機能を持つあらゆる種類の装置、デバイス、システム（通信装置と総称）において実施可能である。通信装置の、非限定的な例としては、電話機（携帯電話、スマートフォン等）、タブレット、パーソナル・コンピューター（ＰＣ）（ラップトップ、デスクトップ、ノートブック等）、カメラ（デジタル・スチル／ビデオ・カメラ等）、デジタル・プレーヤー（デジタル・オーディオ／ビデオ・プレーヤー等）、着用可能なデバイス（ウェアラブル・カメラ、スマートウオッチ、トラッキングデバイス等）、ゲーム・コンソール、デジタル・ブック・リーダー、テレヘルス・テレメディシン（遠隔ヘルスケア・メディシン処方）デバイス、通信機能付きの乗り物又は移動輸送機関（自動車、飛行機、船等）、及び上述の各種装置の組み合わせがあげられる。

【0142】

通信装置は、持ち運び可能又は移動可能なものに限定されず、持ち運びできない又は固定されている、あらゆる種類の装置、デバイス、システム、例えば、スマート・ホーム・デバイス（家電機器、照明機器、スマートメーター又は計測機器、コントロール・パネル等）、自動販売機、その他ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）ネットワーク上に存在し得るあらゆる「モノ（Things）」をも含む。

【0143】

通信には、セルラーシステム、無線ＬＡＮシステム、通信衛星システム等によるデータ通信に加え、これらの組み合わせによるデータ通信も含まれる。

【0144】

また、通信装置には、本開示に記載される通信機能を実行する通信デバイスに接続又は連結される、コントローラやセンサ等のデバイスも含まれる。例えば、通信装置の通信機能を実行する通信デバイスが使用する制御信号やデータ信号を生成するような、コントローラやセンサが含まれる。

【0145】

また、通信装置には、上記の非限定的な各種装置と通信を行う、あるいはこれら各種装置を制御する、インフラストラクチャ設備、例えば、基地局、アクセスポイント、その他あらゆる装置、デバイス、システムが含まれる。

【0146】

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。

【0147】

以上、本開示の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。

【産業上の利用可能性】

【0148】

本開示は、商品管理システムに好適である。

【符号の説明】

【0149】

１０ 端末
２０ 情報処理装置
１０１ 画像検出部
１０２ 依頼情報生成部
１０３、２０７ 送信部
１０４、２０１ 受信部
１０５ 表示制御部
１０６ 表示部
２０２ 商品情報ＤＢ
２０３ 物体認識部
２０４ 案内位置設定部
２０５ 商品ナビＤＢ
２０６ 応答情報生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】