知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024128586
(43)【公開日】2024-09-24
(54)【発明の名称】情報処理装置及び物品検索方法
(51)【国際特許分類】
G06Q 30/0601 20230101AFI20240913BHJP
G06F 16/583 20190101ALI20240913BHJP
G06F 3/01 20060101ALI20240913BHJP
G06F 3/0481 20220101ALI20240913BHJP
【ＦＩ】
G06Q30/0601 340
G06F16/583
G06F3/01 510
G06F3/0481
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023037622
(22)【出願日】2023-03-10
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】丸山 貴司
(72)【発明者】
【氏名】縄井 秀彦
(72)【発明者】
【氏名】池田 雄一
(72)【発明者】
【氏名】永井 隆之
(72)【発明者】
【氏名】加藤 慶太
(72)【発明者】
【氏名】中村 陽一
【テーマコード（参考）】
5B175
5E555
5L030
5L049
【Ｆターム（参考）】
5B175DA02
5B175FB03
5E555AA22
5E555AA23
5E555AA25
5E555BA06
5E555BB06
5E555BC17
5E555BE17
5E555CA42
5E555CB45
5E555DB39
5E555DB41
5E555DD01
5E555FA00
5L030BB66
5L049BB66
(57)【要約】
【課題】陳列された商品群の中から、ユーザが求める商品を容易に探し出すことができる情報処理装置を提供すること。
【解決手段】情報処理装置は、複数の物品を含む範囲をカメラが撮影した画像である第１画像データと、キーワードとを受信する受信部と、前記第１画像データに含まれる物品のうち前記キーワードに合致する物品を特定する制御部と、前記カメラが撮影した画像に含まれる物品のうち前記特定した物品を他の物品と区別して表示する第２画像データを出力する出力部と、を備える。
【選択図】図１
【解決手段】情報処理装置は、複数の物品を含む範囲をカメラが撮影した画像である第１画像データと、キーワードとを受信する受信部と、前記第１画像データに含まれる物品のうち前記キーワードに合致する物品を特定する制御部と、前記カメラが撮影した画像に含まれる物品のうち前記特定した物品を他の物品と区別して表示する第２画像データを出力する出力部と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数の物品を含む範囲をカメラが撮影した画像である第１画像データと、キーワードとを受信する受信部と、
前記第１画像データに含まれる物品のうち前記キーワードに合致する物品を特定する制御部と、
前記カメラが撮影した画像に含まれる物品のうち前記特定した物品を他の物品と区別して表示する第２画像データを出力する出力部と、
を備える情報処理装置。
前記第１画像データに含まれる物品のうち前記キーワードに合致する物品を特定する制御部と、
前記カメラが撮影した画像に含まれる物品のうち前記特定した物品を他の物品と区別して表示する第２画像データを出力する出力部と、
を備える情報処理装置。
【請求項2】
前記出力部は、前記第２画像データの画像又は前記第２画像データの画像が示す物品画像が選択された場合に、前記特定した物品の物品情報を表示するためのデータを出力する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記制御部は、予め撮影された物品の画像データ及び予め撮影された物品の包装の画像データの両方又は一方に基づいて、前記第１画像データに含まれる物品を抽出する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項4】
前記出力部は、前記キーワードに合致する物品が複数特定された場合、前記第２画像データとして、前記特定した複数の物品のうち、少なくとも１つの物品の物品画像の全体と、他の物品の物品画像のうちの一部とを表示するためのデータを出力する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項5】
前記制御部は、ユーザの操作に応じて、前記物品画像の全体が表示される物品が入れ替わるように制御する、
請求項４に記載の情報処理装置。
請求項４に記載の情報処理装置。
【請求項6】
前記制御部は、記第２画像データとして表示される複数の物品の物品画像のうちの１つが選択された場合に、前記選択された物品の物品情報を表す画像が表示されるように制御する、
請求項４に記載の情報処理装置。
請求項４に記載の情報処理装置。
【請求項7】
前記受信部は、前記キーワードとして、ユーザが忌避する物品の物品情報を示すＮＧワードを受信し、
前記制御部は、前記第１画像データに含まれる物品のうち前記ＮＧワードに合致する物品を特定する、
請求項１に記載の情報処理装置。
前記制御部は、前記第１画像データに含まれる物品のうち前記ＮＧワードに合致する物品を特定する、
請求項１に記載の情報処理装置。
【請求項8】
前記出力部は、前記ＮＧワードに合致する物品をハイライト表示するためのデータを出力する、
請求項７に記載の情報処理装置。
請求項７に記載の情報処理装置。
【請求項9】
前記物品情報は、前記物品の成分を示す情報と、前記物品と共通の設備を用いて製造された物品の成分を示す情報とを含み、
前記出力部は、前記ＮＧワードが前記物品の成分を示す情報に合致した場合と、前記ＮＧワードが前記物品と共通の設備を用いて製造された物品の成分を示す情報に合致した場合とで、異なる表示を行うためのデータを出力する、
請求項８記載に記載の情報処理装置。
前記出力部は、前記ＮＧワードが前記物品の成分を示す情報に合致した場合と、前記ＮＧワードが前記物品と共通の設備を用いて製造された物品の成分を示す情報に合致した場合とで、異なる表示を行うためのデータを出力する、
請求項８記載に記載の情報処理装置。
【請求項10】
前記出力部は、更に、前記キーワードとして、ユーザが所望する物品の物品情報を示すＯＫワードを受信し、
前記制御部は、前記ＯＫワードに合致する物品であり、かつ、前記ＮＧワードに合致しない物品を特定し、
前記出力部は、特定した前記物品をハイライト表示するためのデータを出力する、
請求項７に記載の情報処理装置。
前記制御部は、前記ＯＫワードに合致する物品であり、かつ、前記ＮＧワードに合致しない物品を特定し、
前記出力部は、特定した前記物品をハイライト表示するためのデータを出力する、
請求項７に記載の情報処理装置。
【請求項11】
前記制御部は、ユーザに対応付けられて登録されたキーワードおよび前記前記受信部が受信したキーワードの少なくとも一方に基づいて、前記ユーザに推奨する物品を特定し、
前記出力部は、前記カメラが撮影した画像に含まれる物品に前記ユーザに推奨する物品が含まれる場合、前記ユーザに推奨する物品を他の物品と区別した広告情報を表示するためのデータを出力する、
請求項１に記載の情報処理装置。
前記出力部は、前記カメラが撮影した画像に含まれる物品に前記ユーザに推奨する物品が含まれる場合、前記ユーザに推奨する物品を他の物品と区別した広告情報を表示するためのデータを出力する、
請求項１に記載の情報処理装置。
【請求項12】
複数の物品を含む範囲をカメラが撮影した画像である第１画像データと、キーワードとを受信し、
前記第１画像データに含まれる物品のうち前記キーワードに合致する物品を特定し、
前記カメラが撮影した画像に含まれる物品のうち前記特定した物品を他の物品と区別して表示する第２画像データを出力する、
物品検索方法。
前記第１画像データに含まれる物品のうち前記キーワードに合致する物品を特定し、
前記カメラが撮影した画像に含まれる物品のうち前記特定した物品を他の物品と区別して表示する第２画像データを出力する、
物品検索方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置及び物品検索方法に関する。
【背景技術】
【0002】
スマートホンといった端末のカメラを用いた様々なサービスが提案されている。例えば、商品棚に値札を付与せず、顧客が携帯端末を用いて各商品の価格や商品情報を見ることができるようにした情報処理システムが提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－１２２６６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
商品棚には、様々な商品が陳列される。その中から、ユーザが求める商品を探し出すことが困難な場合がある。
【0005】
本開示の非限定的な実施例は、陳列された商品群の中から、ユーザが求める商品を容易に探し出すことができる情報処理装置及び商品検索方法の提供に資する。
【課題を解決するための手段】
【0006】
本開示の一実施例に係る情報処理装置は、複数の物品を含む範囲をカメラが撮影した画像である第１画像データと、キーワードとを受信する受信部と、前記第１画像データに含まれる物品のうち前記キーワードに合致する物品を特定する制御部と、前記カメラが撮影した画像に含まれる物品のうち前記特定した物品を他の物品と区別して表示する第２画像データを出力する出力部と、を備える。
【0007】
本開示の一実施例に係る物品検索方法は、複数の物品を含む範囲をカメラが撮影した画像である第１画像データと、キーワードとを受信し、前記第１画像データに含まれる物品のうち前記キーワードに合致する物品を特定し、前記カメラが撮影した画像に含まれる物品のうち前記特定した物品を他の物品と区別して表示する第２画像データを出力する。
【0008】
なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータープログラム、又は、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータープログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0009】
本開示の一実施例によれば、陳列された商品群の中から、ユーザが求める商品を容易に探し出すことができる。
【0010】
本開示の一実施例における更なる利点及び効果は、明細書及び図面から明らかにされる。かかる利点及び／又は効果は、いくつかの実施形態並びに明細書及び図面に記載された特徴によってそれぞれ提供されるが、１つ又はそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
【図面の簡単な説明】
【0011】
【図1】第１の実施の形態に係る商品検索システムの構成例を示した図
【図2】端末の画面例を説明する図
【図3】端末の画面例を説明する図
【図4】端末の画面例を説明する図
【図5】サーバのブロック構成例を示した図
【図6】端末のブロック構成例を示した図
【図7】サーバの記憶部に記憶される商品情報のデータ構成例を示した図
【図8】サーバの動作例を示したフローチャート
【図9】端末の動作例を示したフローチャート
【図10】端末の画面例を説明する図
【図11】端末の画面例を説明する図
【図12】端末の画面例を説明する図
【図13】端末の画面例を説明する図
【図14】端末の画面例を説明する図
【図15】第２の実施の形態に係る端末の画面例を示した図
【図16】第２の実施の形態に係る端末の画面例を示した図
【図17】第２の実施の形態に係る端末の画面例を示した図
【図18】第２の実施の形態に係る端末の画面例を示した図
【図19】サーバの記憶部に記憶されるワード情報のデータ構成例を示した図
【図20】サーバの動作例を示したフローチャート
【図21】第３の実施の形態に係るサーバの記憶部に記憶される商品情報のデータ構成例を示した図
【図22】端末の画面例を示した図
【発明を実施するための形態】
【0012】
以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【0013】
なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0014】
［第１の実施の形態］
＜システム構成例＞
図１は、第１の実施の形態に係る商品検索システムの構成例を示した図である。図１に示すように、商品検索システムは、サーバ１と、端末２と、を有する。図１には、商品検索システムの他に、ネットワークＮ１と、店舗内に置かれた商品棚Ａ１ａと、が示してある。
＜システム構成例＞
図１は、第１の実施の形態に係る商品検索システムの構成例を示した図である。図１に示すように、商品検索システムは、サーバ１と、端末２と、を有する。図１には、商品検索システムの他に、ネットワークＮ１と、店舗内に置かれた商品棚Ａ１ａと、が示してある。
【0015】
ネットワークＮ１は、例えば、携帯電話ネットワークといった無線ネットワーク及びインターネットによって構成される。サーバ１と端末２とは、ネットワークＮ１を介して接続される。
【0016】
サーバ１は、商品棚Ａ１ａに陳列される商品の商品情報を記憶する。例えば、サーバ１は、商品の画像データ、名称、カテゴリ、原材料、及び、商品のメーカによって付与される被検索ワードといった商品情報を、記憶部に記憶する。メーカが商品に付与する被検索ワードには、例えば、“子供用”又は“大人用”といった商品の対象者を示すワードであってもよいし、“１人前”又は“２人前”といった商品の内容量を示すワードであってもよい。
【0017】
端末２は、例えば、スマートホン又はタブレット端末といった、カメラを備える端末である。端末２は、例えば、商品棚Ａ１ａに陳列された商品を購入するお客様（以下、ユーザと称することがある）の端末である。端末２には、商品検索システムが提供する、商品検索サービスを実行するアプリケーション（プログラム）が実装される。
【0018】
なお、サーバ１は、商品検索装置又は情報処理装置と称されてもよい。
【0019】
【0020】
ユーザは、端末２において、商品検索サービスを実行するアプリケーションを起動する。端末２（アプリケーション）は、カメラを起動し、カメラが撮影する画像をディスプレイに表示する。図２の例では、端末２は、商品棚Ａ１ａの画像をディスプレイに表示している。
【0021】
ディスプレイに表示されるカメラの画像は、カメラの撮影方向に応じて、リアルタイムに変わる。すなわち、端末２のディスプレイには、カメラの動画像が表示される。
【0022】
端末２は、図２に示すように、商品を検索するためのテキストボックスＡ２ａをディスプレイに表示する。ユーザは、検索したい商品のキーワードを、テキストボックスＡ２ａに入力する。図２の例では、端末２のユーザが検索するキーワードとして、テキストボックスＡ２ａに“カレー”及び“子供用”というキーワードが入力されている。
【0023】
端末２は、端末２のディスプレイ（例えば、テキストボックスＡ２ａ内）に、商品の検索を開始する検索開始ボタンＡ２ｂを表示する。端末２は、検索開始ボタンＡ２ｂが押下（タップ）されると、検索開始ボタンＡ２ｂがタップされたときのカメラが撮影していた画像（静止画像）を、サーバ１に送信する。図２の例では、商品棚Ａ１ａの画像が、サーバ１に送信される。
【0024】
また、端末２は、検索開始ボタンＡ２ｂがタップされると、テキストボックスＡ２ａに入力されたキーワードを、サーバ１に送信する。図２の例では、“カレー”及び“子供用”というキーワードが、サーバ１に送信される。
【0025】
サーバ１は、端末２から送信される商品棚Ａ１ａの画像と、ユーザが入力したキーワードとを受信する。
【0026】
サーバ１は、端末２から受信した商品棚Ａ１ａの画像データと、端末２から受信したキーワードとに基づいて、記憶部に記憶する商品情報を参照し、端末２から受信したキーワードに合致する商品を特定（取得）する。ここで、キーワードに合致する商品の特定の処理は、一般的な検索エンジンを利用して受信したキーワードを商品情報に含まれる文字列から検索することで実現できるため、詳細は省略する。サーバ１は、キーワードに合致する商品を、商品棚Ａ１ａの画像データから特定すると、特定した商品をガイドする画像データを生成する。以下では、キーワードに合致した商品をガイドする画像を、ガイド画像と称することがある。また、ガイド画像の画像データを、ガイド画像データと称することがある。
【0027】
サーバ１は、生成したガイド画像のガイド画像データを、端末２に送信する。また、サーバ１は、ガイド画像を生成した商品（キーワードに合致した商品）の商品情報を、ガイド画像データに関連付けて、端末２に送信する。
【0028】
【0029】
端末２は、ディスプレイに表示されている商品棚Ａ１ａの画像に、サーバ１から受信したガイド画像データに基づくガイド画像Ａ３ａ，Ａ３ｂを重畳表示する。ガイド画像Ａ３ａ，Ａ３ｂが重畳表示される商品棚Ａ１ａの画像は、検索開始ボタンＡ２ｂがタップされたときの静止画像であってもよい。
【0030】
ガイド画像Ａ３ａ，Ａ３ｂは、ユーザがテキストボックスＡ２ａに入力したキーワードに合致した商品をガイドする画像である。図２で説明したキーワードの例“カレー”及び“子供用”の場合、ガイド画像Ａ３ａ，Ａ３ｂは、“子供用のカレー”の商品をガイドする。ガイド画像Ａ３ａ，Ａ３ｂは、例えば、商品を囲む形状を有し、四角形状の枠状の形状であってもよい。
【0031】
なお、サーバ１は、端末２から受信した商品棚Ａ１ａの画像に、端末２から受信したキーワードに合致する商品が含まれていない場合、例えば、“お探しの商品は、撮影画像に含まれていません”といった画像データを端末２に送信してもよい。端末２は、サーバ１から受信した画像データに基づいて、キーワードに合致する商品が商品棚Ａ１ａに含まれていないことを示す画像を、ディスプレイに表示する。
【0032】
【0033】
図２で説明したように、サーバ１は、ガイド画像データに、ガイド画像が示す商品の商品情報を関連付け、端末２に送信する。例えば、ガイド画像Ａ３ａのガイド画像データには、ガイド画像Ａ３ａが示す商品の商品名、原材料、及び、内容量といった商品情報が関連付けられる。ガイド画像Ａ３ｂのガイド画像データには、ガイド画像Ａ３ｂが示す商品の商品名、原材料、及び、内容量といった商品情報が関連付けられる。
【0034】
端末２は、ユーザによって、ガイド画像、又は、ガイド画像がガイドする商品がタップされると、タップされたガイド画像、又は、ガイド画像がガイドする商品の商品情報を、ディスプレイに表示する。例えば、端末２は、ガイド画像Ａ３ｂがタップされると、図４の画像Ａ４ａに示すように、ガイド画像Ａ３ｂがガイドする商品の商品情報を表示する。
【0035】
上記では、カレーといった食品の検索例について説明したが、サーバ１が検索する商品のジャンルは食品に限られない。サーバ１は、家電製品といった商品の検索を行ってもよい。
【0036】
【0037】
制御部１ａは、サーバ１全体を制御する。制御部１ａは、例えば、ＣＰＵ（Central Processing Unit）で構成されてもよい。
【0038】
記憶部１ｂには、制御部１ａが動作するためのプログラムが記憶される。また、記憶部１ｂには、制御部１ａが計算処理を行うためのデータや、接続されている各部を制御するためのデータが記憶される。記憶部１ｂは、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、及びＨＤＤ（Hard Disk Drive）などの記憶装置によって構成されてもよい。
【0039】
通信部１ｃは、ネットワークＮ１に接続され、ネットワークＮ１に接続される装置と通信を行う。
【0040】
【0041】
制御部２ａは、端末２全体を制御する。制御部２ａは、例えば、ＣＰＵで構成されてもよい。
【0042】
記憶部２ｂには、制御部２ａが動作するためのプログラムが記憶される。また、記憶部２ｂには、制御部２ａが計算処理を行うためのデータや、接続されている各部を制御するためのデータが記憶される。記憶部２ｂは、ＲＡＭ、ＲＯＭ、フラッシュメモリ、及びＨＤＤなどの記憶装置によって構成されてもよい。
【0043】
通信部２ｃは、ネットワークＮ１に接続され、ネットワークＮ１に接続された装置と通信を行う。
【0044】
音声処理部２ｄは、端末２に内蔵されているマイクロフォン（図示せず）から出力されるアナログ音声データを、デジタル音声データに変換し、制御部２ａに出力する。また、音声処理部２ｄは、制御部２ａから出力されるデジタル音声データを、アナログ音声データに変換し、端末２に内蔵されているスピーカ（図示せず）に出力する。
【0045】
表示部２ｅは、制御部２ａから出力されるデジタル映像データに基づいて映像をディスプレイに表示する。ディスプレイは、例えば、液晶ディスプレイである。
【0046】
操作部２ｆは、端末２のユーザの操作を受け付ける。操作部２ｆは、受け付けた操作に対応する情報(信号)を制御部２ａに出力する。操作部２ｆは、例えば、ディスプレイ上に重畳されるタッチパネルである。操作部２ｆは、プッシュボタンであってもよい。
【0047】
カメラ２ｇは、制御部２ａの制御に応じて撮影する。カメラ２ｇは、撮影した画像データを制御部２ａに出力する。
【0048】
【0049】
商品情報ＴＢ１は、商品コードと、商品カテゴリと、情報Ｉ１と、情報Ｉ２と、被検索ワードと、商品画像Ｇ１と、商品画像Ｇ２と、を有する。
【0050】
商品コードは、商品を識別するコードである。
【0051】
商品カテゴリは、商品のカテゴリを示す。図７の例の場合、商品コード“００００１”の商品カテゴリは、“電子レンジ”である。
【0052】
情報Ｉ１は、商品のメーカ、商品名、サイズ、色、容量といった仕様に関する情報である。情報Ｉ２は、商品の機能に関する情報である。情報I１，I２は、区別せずに、１つの情報として、商品情報ＴＢ１に記憶されてもよい。
【0053】
被検索ワードは、商品のメーカによって付与される、情報I１，I２には無いワードである。例えば、メーカは、ユーザが端末２に入力するキーワードによって、メーカの商品がサーバ１により検索（特定）されたいワードを、被検索ワードとして付与する。
【0054】
例えば、商品コード“００００１”の商品のメーカは、“一人暮らし用”というキーワードによって、商品コード“００００１”の商品がサーバ１によって検索されたい場合、商品コード“００００１”の商品に、“一人暮らし用”という被検索ワードを付与する。被検索ワードは、ハッシュタグと称されてもよい。
【0055】
商品画像Ｇ１は、商品が、箱や袋などにより包装されている状態の画像データである。図７では、包装の一例として、商品が段ボール箱に収納されたときの画像データを示している。商品画像Ｇ２は、商品そのものの画像データである。画像データは、１つでなく、例えば、様々な方向から撮影した画像データが、商品画像Ｇ１，Ｇ２として記憶されてもよい。
【0056】
サーバ１は、端末２から受信した商品棚の画像データと、商品情報ＴＢ１に記憶された画像データとに基づいて、商品棚に陳列されている商品を特定する。商品棚には、商品が包装された状態で陳列される場合もあれば、商品がそのままの状態で陳列される場合もある。そのため、商品情報ＴＢ１には、商品が包装された状態の商品画像Ｇ１と、商品のそのままの状態の商品画像Ｇ２とが記憶される。
【0057】
なお、商品情報ＴＢ１は、サーバ１の記憶部１ｂに記憶されてなくてもよい。商品情報ＴＢ１は、例えば、ネットワークＮ１に接続されたストレージサーバといった別のサーバに記憶されてもよい。
【0058】
＜動作例＞
図８は、サーバ１の動作例を示したフローチャートである。サーバ１は、端末２から、カメラ２ｇが撮影した商品棚Ａ１ａの画像データと、ユーザが入力したキーワードとを受信する（Ｓ１）。
図８は、サーバ１の動作例を示したフローチャートである。サーバ１は、端末２から、カメラ２ｇが撮影した商品棚Ａ１ａの画像データと、ユーザが入力したキーワードとを受信する（Ｓ１）。
【0059】
サーバ１は、Ｓ１にて受信した画像データと、キーワードとに基づいて、商品情報ＴＢ１を参照し、画像データの画像の商品の中から、キーワードに合致する商品を特定する（Ｓ２）。
【0060】
例えば、サーバ１は、Ｓ１にて受信した商品棚Ａ１ａの画像データと、商品情報ＴＢ１に含まれる画像データ（例えば、図７に示す商品画像Ｇ１，Ｇ２の画像データ）とを比較して、Ｓ１にて受信した商品棚Ａ１ａの画像に含まれる商品を特定（抽出）する。そして、サーバ１は、画像によって特定した商品の商品情報と、Ｓ１にて受信したキーワードとを比較し、Ｓ１にて受信したキーワードに合致する商品を特定する。
【0061】
サーバ１は、Ｓ２にて特定した商品をガイドするガイド画像データを生成する（Ｓ３）。例えば、サーバ１は、図３に示したガイド画像Ａ３ａ，Ａ３ｂを端末２のディスプレイに表示するためのガイド画像データを生成する。
【0062】
サーバ１は、Ｓ２にて特定した商品の商品情報を、商品情報ＴＢ１を参照して取得する（Ｓ４）。
【0063】
サーバ１は、Ｓ３にて生成したガイド画像データと、Ｓ４にて取得した商品情報とを関連付け、端末２に送信する（Ｓ５）。
【0064】
なお、図８のフローチャートにおいて、Ｓ３とＳ４との処理は、順番が入れ替わってもよい。
【0065】
【0066】
端末２は、カメラ２ｇを起動する（Ｓ１１）。
【0067】
端末２は、ユーザからのキーワード入力を受け付ける（Ｓ１２）。
【0068】
端末２は、ユーザからの検索開始ボタンのタップを受け付ける（Ｓ１３）。
【0069】
端末２は、Ｓ１３にて検索開始ボタンのタップを受け付けると、カメラ２ｇが撮影する画像（静止画像）と、Ｓ１２にてユーザから受け付けたキーワードとをサーバ１に送信する（Ｓ１４）。
【0070】
端末２は、サーバ１から、ガイド画像データと、ガイド画像データに基づくガイド画像によってガイドされる商品の商品情報とを受信する（Ｓ１５）。ガイド画像データと、商品情報とは関連付けられている（図８のＳ５を参照）。
【0071】
端末２は、Ｓ１５にて受信したガイド画像データに基づいて、ガイド画像をディスプレイに表示する（Ｓ１６）。
【0072】
端末２は、ガイド画像がタップされた場合、タップされたガイド画像がガイドする商品の商品情報をディスプレイに表示する（Ｓ１７）。例えば、端末２は、ガイドデータに関連付けられた商品情報をディスプレイに表示する。
【0073】
＜第１の実施の形態のまとめ＞
以上説明したように、サーバ１の通信部１ｃは、カメラ２ｇが撮影した画像をディスプレイに表示する端末２から、ディスプレイに表示された画像の画像データと、端末２に入力されたキーワードとを受信する。制御部１ａは、受信した画像データに含まれる商品のうちキーワードに合致する商品を特定する。制御部１ａは、ディスプレイに表示された画像に含まれる商品のうち特定した商品を表すガイド画像データを生成し、端末２に送信する。
以上説明したように、サーバ１の通信部１ｃは、カメラ２ｇが撮影した画像をディスプレイに表示する端末２から、ディスプレイに表示された画像の画像データと、端末２に入力されたキーワードとを受信する。制御部１ａは、受信した画像データに含まれる商品のうちキーワードに合致する商品を特定する。制御部１ａは、ディスプレイに表示された画像に含まれる商品のうち特定した商品を表すガイド画像データを生成し、端末２に送信する。
【0074】
これにより、ユーザが撮影した商品棚Ａ１ａが表示された端末２のディスプレイには、ユーザがキーワード検索した商品が、ガイド画像データのガイド画像で表される。このため、ユーザは、陳列された商品群の中から、ユーザが求める商品を容易に探し出すことができる。
【0075】
＜変形例＞
・変形例１
上記では、サーバ１が、生成したガイド画像データと、商品情報ＴＢ１から取得した商品情報とを関連付けて端末２に送信していた。しかし、ガイド画像データと商品情報とを必ずしも同時に端末２に送信する必要はない。例えば、商品情報はガイド画像データの表示には必須ではないため、サーバ１を、端末２からの要請に応じて端末２に商品情報を送信するように構成してもよい。
・変形例１
上記では、サーバ１が、生成したガイド画像データと、商品情報ＴＢ１から取得した商品情報とを関連付けて端末２に送信していた。しかし、ガイド画像データと商品情報とを必ずしも同時に端末２に送信する必要はない。例えば、商品情報はガイド画像データの表示には必須ではないため、サーバ１を、端末２からの要請に応じて端末２に商品情報を送信するように構成してもよい。
【0076】
この場合、例えば、サーバ１は、端末２に送信するガイド画像データに、ガイド画像を識別する識別情報を含めて（付与して）もよい。端末２は、ガイド画像に付与された識別情報をサーバ１に送信することで商品情報の送信を要請し、サーバ１は、端末２から、ガイド画像に付与した識別情報を受信した場合に、受信した識別情報に対応する商品情報を端末２に送信してもよい。端末２は、サーバ１から受信した商品情報をディスプレイに表示してもよい。
【0077】
・変形例２
上記では、検索された商品をガイド画像でガイドしたが、これに限られない。
上記では、検索された商品をガイド画像でガイドしたが、これに限られない。
【0078】
図１０は、端末２の画面例を説明する図である。図１０には、キーワード検索する前の端末２の画面例が示してある。なお、図１０では、端末２のディスプレイの縁部分の図示を省略している（以下、図１１－図１４も同じ）。端末２のディスプレイには、例えば、ポテトチップスといったお菓子が置かれた商品棚Ａ１ａが表示されている。
【0079】
【0080】
端末２のディスプレイには、商品棚Ａ１ａの画像に重畳して、サーバ１が検索した商品の画像が表示される。商品棚Ａ１ａの画像に重畳して表示される商品（サーバ１が検索した商品）の画像は、商品情報ＴＢ１に記憶された商品画像であってもよい。
【0081】
端末２は、商品が複数検索され、複数検索された商品を１度にディスプレイに表示できない場合、図１１に示すように、複数検索された商品の一部を表示する。端末２は、例えば、スワイプ操作に応じて、ディスプレイに入り切らない他の商品を表示する。
【0082】
図１２は、端末２の画面例を説明する図である。端末２は、検索結果の商品の画像がタップされた場合、商品の詳細情報を表示する。例えば、端末２は、図１１に示した商品画像Ａ１１ａがタップされた場合、図１２の画像Ａ１２ａに示すように、タップされた商品の商品情報を表示する。
【0083】
また、端末２は、図１２の矢印Ａ１２ｂに示すように、背景画像の商品棚Ａ１ａにおいて、タップされた商品をハイライト表示する。具体的には、図１２では、ハイライト表示の具体例として、タップされた商品全体を枠で囲んでいるが、タップされた商品を個別に枠で囲む表示を行ってもよい。なお、ハイライト表示の方法は、枠の表示に限らない。ハイライト表示は、ユーザが、タップされた商品が商品棚Ａ１ａのどこにあるかの認識の補助となる表示であればどのようなものでも構わない。例えば、タップされた商品を他の商品よりも明るく表示したり、タップされた商品に対して矢印や吹き出しなどの特殊な画像を表示したりすること等が考えられる。
【0084】
以上説明したように、サーバ１は、検索結果を表す複数の商品画像のうち、一部の商品画像が端末２のディスプレイに表示されるように端末２を制御する。サーバ１は、端末２の操作に応じて、端末２のディスプレイに表示される一部の商品画像が入れ替わり表示されるように端末２を制御する。サーバ１は、一部の商品画像のうちの１つが端末２において選択された場合に、選択された商品を表すハイライト画像が端末２のディスプレイに表示されるように制御する。これにより、ユーザは、キーワード検索した商品が、商品棚Ａ１ａのどこに置かれているか、簡単な操作により、容易に認識できる。
【0085】
なお、上記では、タップされた商品を端末２がハイライト表示するとしたが、これに限られない。端末２は、タップされた商品を、例えば、四角形状の枠状のガイド画像でガイドしてもよい。
【0086】
・変形例３
端末２は、図３等で説明した枠状のガイド画像の代わりに、キーワード検索された商品をハイライト表示してもよい。なお、ハイライト表示された商品は、キーワード検索された商品をガイドしていると捉えることができる。従って、ハイライト表示の画像は、ガイド画像と捉えることができる。また、図３等においても枠の表示と異なる態様のハイライト表示を行ってもよい。
端末２は、図３等で説明した枠状のガイド画像の代わりに、キーワード検索された商品をハイライト表示してもよい。なお、ハイライト表示された商品は、キーワード検索された商品をガイドしていると捉えることができる。従って、ハイライト表示の画像は、ガイド画像と捉えることができる。また、図３等においても枠の表示と異なる態様のハイライト表示を行ってもよい。
【0087】
・変形例４
サーバ１は、端末２のディスプレイに、例えば、ユーザに推薦する商品であるおすすめ商品といった広告情報を表示してもよい。
サーバ１は、端末２のディスプレイに、例えば、ユーザに推薦する商品であるおすすめ商品といった広告情報を表示してもよい。
【0088】
図１３は、端末２の画面例を説明する図である。サーバ１は、端末２のカメラ２ｇが撮影する商品棚Ａ１ａに、おすすめ商品が含まれている場合、図１３の矢印Ａ１３ａに示すように、おすすめ商品であることを示す画像を端末２のディスプレイに表示する。
【0089】
図１４は、端末２の画面例を説明する図である。サーバ１は、キーワード検索結果の商品に、おすすめ商品が含まれている場合、図１４の矢印Ａ１４ａに示すように、おすすめ商品であることを示す画像１４ａを端末２のディスプレイに表示する。
【0090】
ユーザは、例えば、商品検索サービスを実行するアプリケーションを端末２にダウンロードした際、ユーザ情報をサーバ１に登録する。サーバ１は、登録されたユーザ情報に基づいて、広告を表示する商品及び広告内容を決定する。例えば、サーバ１は、ユーザの年齢及び性別といったユーザ情報に基づいて、広告を表示する商品及び広告内容を決定する。
【0091】
また、端末１のユーザの過去の検索履歴をユーザ情報に含め、サーバ１が検索履歴を考慮しておすすめ商品を選ぶように構成してもよい。また、ＯＫワード又はＮＧワードをユーザ情報に含めてもよい。この場合、サーバ１は、ＯＫワードに合致する商品がおすすめ商品に優先的に選択され、かつ、ＮＧワードに合致する商品がおすすめ商品から除かれるように制御してもよい。
【0092】
なお、サーバ１は、例えば、ユーザがサーバ１（商品検索サービス）にログインする際に入力するユーザＩＤ等を用いて、ユーザ情報を取得できる。サーバ１は、取得したユーザ情報に基づいて、上記したように、広告を表示する商品及び広告内容を決定する。
【0093】
・変形例５
端末２がサーバ１の機能を有してもよい。例えば、端末２が、カメラ２ｇが撮影した画像の画像データと、入力されたキーワードとに基づいて、商品情報ＴＢ１を参照し、画像データの画像の商品の中から、キーワードに合致する商品を特定してもよい。端末２は、特定した商品をガイドするガイド画像データを生成してもよい。この場合、サーバ１は、不要である。端末２は、商品検索装置又は情報処理装置と称されてもよい。
端末２がサーバ１の機能を有してもよい。例えば、端末２が、カメラ２ｇが撮影した画像の画像データと、入力されたキーワードとに基づいて、商品情報ＴＢ１を参照し、画像データの画像の商品の中から、キーワードに合致する商品を特定してもよい。端末２は、特定した商品をガイドするガイド画像データを生成してもよい。この場合、サーバ１は、不要である。端末２は、商品検索装置又は情報処理装置と称されてもよい。
【0094】
［第２の実施の形態］
第２の実施の形態では、サーバは、ユーザの端末を介し、ユーザから、特定の商品を検索結果から除外するためのワードを予め受け付ける。例えば、サーバは、小麦、大豆、及び、卵といったワードを予め受け付ける。これにより、例えば、ユーザが端末を用いて、或る菓子をキーワード検索する場合に、小麦、大豆、及び、卵といったアレルゲンを含む菓子が、サーバによる検索結果から除外されるようにする。
第２の実施の形態では、サーバは、ユーザの端末を介し、ユーザから、特定の商品を検索結果から除外するためのワードを予め受け付ける。例えば、サーバは、小麦、大豆、及び、卵といったワードを予め受け付ける。これにより、例えば、ユーザが端末を用いて、或る菓子をキーワード検索する場合に、小麦、大豆、及び、卵といったアレルゲンを含む菓子が、サーバによる検索結果から除外されるようにする。
【0095】
また、第２の実施の形態では、サーバは、ユーザの端末を介し、ユーザから、特定の商品が検索されるためのワードを予め受け付ける。例えば、サーバは、“Ｘｃｍ”といった靴のサイズ、及び、“Ｍサイズ”といった服のサイズ等のワードを受け付ける。これにより、例えば、ユーザが端末を用いて、或る靴をキーワード検索する場合に、ユーザが予め登録したサイズの靴が、サーバによって検索される。
【0096】
以下では、ユーザが忌避する商品の商品情報を示すワードを、ＮＧワードと記載することがある。また、ユーザが所望する商品の商品情報を示すワードを、ＯＫワードと記載することがある。ＮＧワード及びＯＫワードを区別しない場合、登録ワードと記載することがある。
【0097】
以下では、第１の実施の形態と異なる部分について説明する。なお、第２の実施の形態におけるシステムの構成、サーバのブロック構成、及び、端末のブロック構成は、第１の実施の形態で説明した図１、図５、及び、図６と同様である。
【0098】
＜画面例＞
図１５は、第２の実施の形態に係る端末２の画面例を示した図である。端末２は、例えば、ユーザの操作に応じて、商品検索サービスのアプリケーションが起動されると、図１５に示す画面をディスプレイに表示する。
図１５は、第２の実施の形態に係る端末２の画面例を示した図である。端末２は、例えば、ユーザの操作に応じて、商品検索サービスのアプリケーションが起動されると、図１５に示す画面をディスプレイに表示する。
【0099】
図１５に示すように、端末２のディスプレイには、ログインボタンＡ１５ａと、設定ボタンＡ１５ｂと、登録ワードに基づくキーワード検索を有効化（オン）するための登録ワード有効ボタンＡ１５ｃと、検索キーワードを受け付けるためのテキストボックスＡ１５ｄと、検索を開始する検索開始ボタンＡ１５ｅと、が表示される。
【0100】
端末２は、ログインボタンＡ１５ａがタップされると、ユーザ名とパスワードとを受け付けるテキストボックスをディスプレイに表示する（図示せず）。端末２は、テキストボックスに入力されたユーザ名とパスワードとをサーバ１へ送信する。
【0101】
サーバ１は、端末２から送信されたユーザ名とパスワードとが、登録された（例えば、記憶部１ｂに記憶された）ユーザ名とパスワードとに一致した場合、テキストボックスＡ１５ｄによる商品の検索を許可する。また、サーバ１は、設定ボタンＡ１５ｂ、及び、登録ワード有効ボタンＡ１５ｃの操作の受付を許可する。
【0102】
なお、ログイン（認証処理）には、OpenID（登録商標）といった認証方式が用いられてもよい。
【0103】
端末２は、ログイン後、設定ボタンＡ１５ｂがタップされると、登録ワードを受け付けるテキストボックスを表示する。
【0104】
図１６は、第２の実施の形態に係る端末２の画面例を示した図である。ログイン後、図１５に示した設定ボタンＡ１５ｂがタップされると、端末２のディスプレイには、図１６に示すように、ＮＧワードを受け付けるテキストボックスＡ１６ａと、ＯＫワードを受け付けるテキストボックスＡ１６ｂとが表示される。また、端末２のディスプレイには、テキストボックスＡ１６ａ，Ａ１６ｂに入力された登録ワードをサーバ１に登録するための登録ボタンＡ１６ｃが表示される。
【0105】
ユーザは、テキストボックスＡ１６ａにおいて、ＮＧワードを入力する。ユーザは、ＮＧワードを、例えば、空白（スペース）を挟み、複数入力できる。ユーザは、例えば、小麦、大豆、及び、卵といったＮＧワードを入力する。
【0106】
ユーザは、テキストボックスＡ１６ｂにおいて、ＯＫワードを入力する。ユーザは、ＯＫワードを、例えば、空白を挟み、複数入力できる。ユーザは、例えば、ハラル、ビーガン、グルテンフリー、靴のサイズ、及び、服のサイズといったＯＫワードを入力する。
【0107】
なお、ユーザは、ＮＧワード及びＯＫワードの両方又は一方をサーバ１に登録できる。
【0108】
端末２は、登録ボタンＡ１６ｃがタップされると、テキストボックスＡ１６ａに入力されたＮＧワード及びテキストボックスＡ１６ｂに入力されたＯＫワードをサーバ１に送信する。サーバ１は、端末２から送信されたＮＧワード及びＯＫワードを、ユーザを識別する識別情報（ユーザＩＤ）と関連付けて、記憶部１ｂに記憶する（後述する図１９を参照）。
【0109】
【0110】
図１５に示したログインボタンＡ１５ａがタップされ、商品検索サービスのシステムにログインした場合、図１７に示す画面が端末２のディスプレイに表示される。図１７に示すように、端末２のディスプレイには、カメラ２ｇが撮影する商品棚Ａ１ａの画像と、ログインしたユーザ名とが表示される。図１７では、登録ワード有効ボタンＡ１５ｃがタップされ、登録ワードに基づくキーワード検索がオンされているとする。
【0111】
なお、登録ワードに基づくキーワード検索がオンになっている状態において、登録ワード有効ボタンＡ１５ｃがタップされると、登録ワードに基づくキーワード検索はオフされる。登録ワードに基づくキーワード検索がオフになっている状態において、登録ワード有効ボタンＡ１５ｃがタップされると、登録ワードに基づくキーワード検索はオンされる。
【0112】
ユーザは、検索したい商品のキーワードを、テキストボックスＡ１５ｄに入力する。図１７の例では、端末２のユーザが検索するキーワードとして、テキストボックスＡ１５ｄに“そば”というキーワードが入力されている。
【0113】
端末２は、検索開始ボタンＡ１５ｅがタップされると、検索開始ボタンＡ１５ｅがタップされたときのカメラ２ｇが撮影していた画像（静止画像）を、サーバ１に送信する。また、端末２は、検索開始ボタンＡ１５ｅがタップされると、テキストボックスＡ１５ｄに入力されたキーワードを、サーバ１に送信する。
【0114】
サーバ１は、ログインの際に端末２から受信したユーザ名（ユーザＩＤ）に基づいて、記憶部１ｂを参照し、ユーザのＮＧワード及びＯＫワードを取得する。サーバ１は、端末２から送信された画像データの画像の中から、端末２から送信されたキーワードと、取得したＯＫワードとに合致し、ＮＧワードに合致しない商品を特定する。具体的には、ＯＫワードとＮＧワードそれぞれで検索を行い、ＯＫワードでの検索結果に含まれ、かつ、ＮＧワードでの検索結果に含まれない商品を特定する。サーバ１は、第１の実施の形態と同様に、特定した商品をガイドするガイドデータを生成する。
【0115】
【0116】
端末２は、ディスプレイに表示されている商品棚Ａ１ａの画像に、サーバ１から受信したガイド画像データに基づくガイド画像Ａ１８ａを重畳表示する。ガイド画像Ａ１８ａは、ユーザがテキストボックスＡ１５ｄに入力したキーワードと、ユーザがサーバ１に登録した登録ワードとに合致した商品をガイドする画像である。
【0117】
【0118】
なお、登録ワード有効ボタンＡ１５ｃの操作によって、登録ワードに基づくキーワード検索がオフにされている場合、サーバ１は、登録ワードに基づくキーワード検索を行わない。この場合において、例えば、キーワード“そば”が入力されると、サーバ１は、“小麦、大豆、及び、卵”が入ったそばを検索し得る。
【0119】
また、端末２は、第１の実施の形態と同様に、ガイド画像Ａ１８ａがタップされた場合、ガイド画像Ａ１８ａをガイドする商品の情報をディスプレイに表示する。
【0120】
また、上記において、ユーザのログインは、無くてもよい。ユーザは、ログインせずに、登録ワードの設定ができ、また、キーワードによる商品検索を行ってもよい。
【0121】
＜データ構成例＞
図１９は、サーバ１の記憶部１ｂに記憶されるワード情報ＴＢ２のデータ構成例を示した図である。
図１９は、サーバ１の記憶部１ｂに記憶されるワード情報ＴＢ２のデータ構成例を示した図である。
【0122】
ワード情報ＴＢ２は、ユーザＩＤと、ＮＧワードと、ＯＫワードとを有する。ユーザＩＤは、ＮＧワード及びＯＫワードを登録したユーザの識別情報である。ＮＧワードは、ユーザが登録したＮＧワードである。ＯＫワードは、ユーザが登録したＯＫワードである。
【0123】
＜動作例＞
図２０は、サーバ１の動作例を示したフローチャートである。以下では、端末２のユーザは、サーバ１にログインし、サーバ１は、端末２のユーザのユーザＩＤを受信（取得）しているとする。また、端末２の登録ワード有効ボタンＡ１５ｃがタップされ、登録ワードに基づくキーワード検索がオンされているとする。また、端末２のユーザの登録ワードが、サーバ１（記憶部１ｂ）に登録されているとする。
図２０は、サーバ１の動作例を示したフローチャートである。以下では、端末２のユーザは、サーバ１にログインし、サーバ１は、端末２のユーザのユーザＩＤを受信（取得）しているとする。また、端末２の登録ワード有効ボタンＡ１５ｃがタップされ、登録ワードに基づくキーワード検索がオンされているとする。また、端末２のユーザの登録ワードが、サーバ１（記憶部１ｂ）に登録されているとする。
【0124】
サーバ１は、端末２から、カメラ２ｇが撮影した商品棚Ａ１ａの画像データと、ユーザが入力したキーワードとを受信する（Ｓ２１）。
【0125】
サーバ１は、端末２のユーザがログインした際に入力したユーザＩＤに基づいて、ワード情報ＴＢ２を参照し、端末２のユーザのユーザＩＤに対応する登録ワードを取得する（Ｓ２２）。
【0126】
サーバ１は、Ｓ２１にて受信した画像データ及びキーワードと、Ｓ２２にて取得した登録ワード（ＯＫワード及びＮＧワード）とに基づいて、商品情報ＴＢ１を参照し、キーワードとＯＫワードとに合致し、ＮＧワードに合致しない商品を特定する（Ｓ２３）。
【0127】
例えば、サーバ１は、Ｓ２１にて受信した商品棚Ａ１ａの画像データと、商品情報ＴＢ１に含まれる画像データ（例えば、図７に示す商品画像Ｇ１，Ｇ２の画像データ）とを比較して、Ｓ２１にて受信した商品棚Ａ１ａの画像に含まれる商品を特定する。そして、サーバ１は、画像によって特定した商品の商品情報と、Ｓ２１にて受信したキーワード及びＳ２２にて取得した登録ワードとを比較し、キーワードとＯＫワードとに合致し、ＮＧワードに合致しない商品を特定する。
【0128】
サーバ１は、Ｓ２３にて特定した商品をガイドするガイド画像データを生成する（Ｓ２４）。例えば、サーバ１は、図１８に示したガイド画像Ａ１８ａを端末２のディスプレイに表示するためのガイド画像データを生成する。
【0129】
サーバ１は、Ｓ２３にて特定した商品の商品情報を、商品情報ＴＢ１を参照して取得する（Ｓ２５）。
【0130】
サーバ１は、Ｓ２４にて生成したガイド画像データと、Ｓ２５にて取得した商品情報とを関連付け、端末２に送信する（Ｓ２６）。
【0131】
なお、図２０のフローチャートにおいて、Ｓ２４とＳ２５との処理は、順番が入れ替わってもよい。
【0132】
端末２のキーワード検索における動作は、図９に示したフローチャートの動作と同様である。例えば、端末２は、ユーザの操作に応じて、商品検索サービスのアプリケーションが起動し、ログイン後、図９に示したフローチャートの処理を実行する。
【0133】
なお、端末２のユーザの登録ワードが、サーバ１に登録されていてもいなくても、端末２のキーワード検索における動作は、図９に示したフローチャートの動作と同様である。また、登録ワードに基づく検索がオン又はオフにされていても、端末２のキーワード検索における動作は、図９に示したフローチャートの動作と同様である。
【0134】
＜第２の実施の形態のまとめ＞
以上説明したように、サーバ１は、予め登録されたＮＧワードに合致せず、かつ、キーワードに合致する商品を特定する。また、サーバ１は、予め登録されたＯＫワードとキーワードとに合致する商品を特定する。これにより、ユーザは、ユーザが求める商品を容易に探し出すことができる。
以上説明したように、サーバ１は、予め登録されたＮＧワードに合致せず、かつ、キーワードに合致する商品を特定する。また、サーバ１は、予め登録されたＯＫワードとキーワードとに合致する商品を特定する。これにより、ユーザは、ユーザが求める商品を容易に探し出すことができる。
【0135】
［第３の実施の形態］
例えば、食品の原材料に、ユーザのアレルゲン（例えば、カニやエビ）が含まれていなくても、その商品が、ユーザのアレルゲン（例えば、カニやエビ）を原材料とする別の商品と共通の設備を用いて製造される場合がある。第３の実施の形態では、ユーザのアレルゲンに直接的に関連しないが、間接的に関連する商品もキーワード検索において、ユーザの端末のディスプレイにおいてガイドする。
例えば、食品の原材料に、ユーザのアレルゲン（例えば、カニやエビ）が含まれていなくても、その商品が、ユーザのアレルゲン（例えば、カニやエビ）を原材料とする別の商品と共通の設備を用いて製造される場合がある。第３の実施の形態では、ユーザのアレルゲンに直接的に関連しないが、間接的に関連する商品もキーワード検索において、ユーザの端末のディスプレイにおいてガイドする。
【0136】
以下では、第１の実施の形態及び第２の実施の形態と異なる部分について説明する。なお、第３の実施の形態におけるシステムの構成、サーバのブロック構成、及び、端末のブロック構成は、第１の実施の形態で説明した図１、図５、及び、図６と同様である。
【0137】
＜データ構成例＞
図２１は、第３の実施の形態に係るサーバ１の記憶部１ｂに記憶される商品情報ＴＢ３のデータ構成例を示した図である。
図２１は、第３の実施の形態に係るサーバ１の記憶部１ｂに記憶される商品情報ＴＢ３のデータ構成例を示した図である。
【0138】
商品情報ＴＢ１は、商品コードと、商品カテゴリと、詳細情報と、アレルゲン関連情報と、商品画像と、を有する。
【0139】
商品コードは、商品を識別するコードである。
【0140】
商品カテゴリは、商品のカテゴリを示す。図２１の例の場合、商品コード“００００１”の商品カテゴリは、“ポテトチップス”である。
【0141】
詳細情報は、商品のメーカ、商品名、原材料、栄養成分、及び、内容量といった情報である。詳細情報は、商品に直接的に関連する情報と捉えることができる。
【0142】
アレルゲン関連情報は、商品の製造設備が、その商品の原材料に含まれていないアレルゲンを含む別の商品も製造している場合、別の商品に含まれているアレルゲンの情報である。
【0143】
例えば、商品コード“００００１”の商品“ポテトチップス”は、原材料として、エビ、カニ、及び、そばといったアレルゲンが含まれていないが、エビ、カニ、及び、そばを原材料とする商品と共通の設備を用いて製造される。
【0144】
なお、アレルゲン関連情報は、アレルゲン関連情報が示すアレルゲンが直接商品に含まれないが、商品に含まれる可能性のあるアレルゲンを示す情報と捉えることができる。アレルゲン関連情報は、詳細情報に含まれてもよい。
【0145】
商品画像は、商品そのものの画像データである。画像データは、１つでなく、例えば、様々な方向から撮影した画像データが、商品画像として記憶されてもよい。
【0146】
なお、商品情報ＴＢ３には、例えば、複数の商品が包装されている状態の画像データが含まれてもよい。また、商品情報ＴＢ３には、図７で説明した商品情報ＴＢ１と同様に、被検索ワードが記憶されてもよい。
【0147】
＜画面例＞
図２２は、端末２の画面例を示した図である。図２２には、ユーザがログインした後、キーワード“ポテトチップス”で検索した場合の画面例が示してある。以下では、ＮＧワードとして、“エビ”が登録されているとする。
図２２は、端末２の画面例を示した図である。図２２には、ユーザがログインした後、キーワード“ポテトチップス”で検索した場合の画面例が示してある。以下では、ＮＧワードとして、“エビ”が登録されているとする。
【0148】
ガイド画像Ａ２２ａは、ユーザが入力したキーワード“ポテトチップス”に合致し、ＮＧワード“エビ”に合致しない商品（例えば、商品情報Ｔ３の詳細情報及びアレルゲン関連情報の両方に“エビ”が含まれない商品）をガイドするガイド画像である。
【0149】
ガイド画像Ａ２２ｂは、ユーザが入力したキーワード“ポテトチップス”に合致し、ＮＧワード“エビ”がアレルゲン関連情報において合致する商品をガイドするガイド画像である。
【0150】
すなわち、第３の実施の形態では、ユーザのアレルゲンを直接含まない（例えば、原材料に含まない）が、含む可能性のある商品をガイドするガイド画像を端末２のディスプレイに表示する。
【0151】
端末２は、ガイド画像Ａ２２ａ，Ａ２２ｂがタップされた場合、アレルゲンに関する情報を表示する。
【0152】
例えば、ガイド画像Ａ２２ａがガイドする商品は、端末２のユーザのアレルゲンを原材料に含まず、かつ、端末２のユーザのアレルゲンを含む別の商品を製造する設備を用いて製造されていない。従って、ガイド画像Ａ２２ａがタップされた場合、端末２は、例えば、“アレルゲンフリー”といった文字画像を表示する。
【0153】
例えば、ガイド画像Ａ２２ｂがガイドする商品は、端末２のユーザのアレルゲンを原材料に含まないが、端末２のユーザのアレルゲンを含む商品を製造する設備を用いて製造される。従って、ガイド画像Ａ２２ｂがタップされた場合、端末２は、例えば、“アレルゲンを含まないが、アレルゲンを含む商品を製造する製造ラインにおいて製造”といった文字画像を表示する。
【0154】
なお、端末２は、ガイド画像Ａ２２ａ，Ａ２２ｂがタップされた場合、アレルゲンの情報を表示するとともに、第１の実施の形態と同様に、商品の詳細情報を表示してもよい。例えば、端末２は、商品のアレルゲンの情報と、商品の原材料といった詳細情報とを表示してもよい。
【0155】
＜動作例＞
サーバ１の動作は、図２０に示したフローチャートの動作と同様である。ただし、Ｓ２３，Ｓ２５，Ｓ２６の処理が異なる。以下、Ｓ２３，Ｓ２５，Ｓ２６の処理について説明する。
サーバ１の動作は、図２０に示したフローチャートの動作と同様である。ただし、Ｓ２３，Ｓ２５，Ｓ２６の処理が異なる。以下、Ｓ２３，Ｓ２５，Ｓ２６の処理について説明する。
【0156】
・Ｓ２３の処理
サーバ１は、Ｓ２１にて受信した画像データ及びキーワードと、Ｓ２２にて取得した登録ワード（ＯＫワード及びＮＧワード）とに基づいて、商品情報ＴＢ３を参照し、キーワードとＯＫワードとに合致し、かつ、ＮＧワードが詳細情報及びアレルゲン関連情報の両方に合致しない商品を特定する。また、サーバ１は、ＮＧワードが詳細情報に合致せず、アレルゲン関連情報に合致する商品を特定する。
サーバ１は、Ｓ２１にて受信した画像データ及びキーワードと、Ｓ２２にて取得した登録ワード（ＯＫワード及びＮＧワード）とに基づいて、商品情報ＴＢ３を参照し、キーワードとＯＫワードとに合致し、かつ、ＮＧワードが詳細情報及びアレルゲン関連情報の両方に合致しない商品を特定する。また、サーバ１は、ＮＧワードが詳細情報に合致せず、アレルゲン関連情報に合致する商品を特定する。
【0157】
・Ｓ２５の処理
サーバ１は、Ｓ２３にて特定した商品に、ＮＧワードが詳細情報及びアレルゲン関連情報に合致しない商品が含まれる場合、特定した商品にアレルゲンが含まれないことを示す情報を生成する。例えば、サーバ１は、“アレルゲンなし”といった文字画像のデータを生成する。
サーバ１は、Ｓ２３にて特定した商品に、ＮＧワードが詳細情報及びアレルゲン関連情報に合致しない商品が含まれる場合、特定した商品にアレルゲンが含まれないことを示す情報を生成する。例えば、サーバ１は、“アレルゲンなし”といった文字画像のデータを生成する。
【0158】
また、サーバ１は、Ｓ２３にて特定した商品に、ＮＧワードが詳細情報に合致しないが、アレルゲン関連情報に合致する商品を特定した場合、特定した商品にアレルゲンが含まれ得ることを示す情報を生成する。例えば、サーバ１は、“アレルゲンを含まないが、アレルゲンを含む商品を製造する製造ラインにおいて製造”といった文字画像のデータを生成する。
【0159】
・Ｓ２６の処理
サーバ１は、Ｓ２４にて生成したガイド画像データと、Ｓ２５にて生成した情報（文字画像データ）とを関連付け、端末２に送信する。
サーバ１は、Ｓ２４にて生成したガイド画像データと、Ｓ２５にて生成した情報（文字画像データ）とを関連付け、端末２に送信する。
【0160】
端末２の動作は、第２の実施の形態の＜動作例＞で説明した動作と同様であり、その説明を省略する。
【0161】
＜第３の実施の形態のまとめ＞
以上説明したように、サーバ１は、予め登録されたＮＧワードに合致せず、キーワードに合致し、かつ、ＮＧワードに合致する商品と共通の設備を用いて製造される商品を特定する。これにより、ユーザは、ユーザのアレルゲンを、原材料として直接含まないが、アレルゲンを扱う設備で製造される商品を、キーワード検索できる。
以上説明したように、サーバ１は、予め登録されたＮＧワードに合致せず、キーワードに合致し、かつ、ＮＧワードに合致する商品と共通の設備を用いて製造される商品を特定する。これにより、ユーザは、ユーザのアレルゲンを、原材料として直接含まないが、アレルゲンを扱う設備で製造される商品を、キーワード検索できる。
【0162】
＜変形例＞
・変形例１
端末２は、アレルゲンのリスクの程度に合わせたアラームをディスプレイに表示してもよい。
・変形例１
端末２は、アレルゲンのリスクの程度に合わせたアラームをディスプレイに表示してもよい。
【0163】
例えば、端末２は、商品がアレルゲンを含まず、かつ、その商品がアレルゲンを含む別の商品を製造する製造ラインにおいて製造されていない場合、ガイド画像の枠を青色にて表示してもよい。一方、端末２は、商品がアレルゲンを含まないが、その商品がアレルゲンを含む別の商品を製造する製造ラインにおいて製造されている場合、ガイド画像の枠を赤色にて表示してもよい。
【0164】
また、アラームは、音であってもよい。例えば、端末２は、ガイド画像がタップされたとき、アレルゲンのリスクに応じた音を出力してもよい。
【0165】
・変形例２
サーバ１は、端末２を介して、ＮＧワードが詳細情報にもアレルゲン関連情報にも合致しないキーワード検索を行うか否か設定されてもよい。この設定は、アレルゲンを含まず、かつ、アレルゲンを含む商品の製造ラインで製造されていない商品を検索する場合に使用する。
サーバ１は、端末２を介して、ＮＧワードが詳細情報にもアレルゲン関連情報にも合致しないキーワード検索を行うか否か設定されてもよい。この設定は、アレルゲンを含まず、かつ、アレルゲンを含む商品の製造ラインで製造されていない商品を検索する場合に使用する。
【0166】
例えば、サーバ１は、ＮＧワードがアレルゲン関連情報にも合致しないキーワード検索を行うように設定された場合、ＮＧワードが詳細情報にも合致せず、かつ、アレルゲン関連情報にも合致しない商品をキーワード検索する。一方、サーバ１は、ＮＧワードがアレルゲン関連情報にも合致しないキーワード検索を行わないように設定された場合、ＮＧワードが詳細情報に合致しない商品をキーワード検索する。
【0167】
・変形例３
情報を上述した各実施の形態において、キーワードとして商品を絞り込む条件を指定してもよい。例えば、「カロリー○ｋｃａｌ以下」「脂質○ｇ以下」等を指定してもよい。この場合、サーバ１は、商品情報がこの条件に合致する商品を検索する。すなわち、「カロリー○ｋｃａｌ以下」であれば、商品情報に含まれているカロリーが○ｋｃａｌ以下である商品を検索する。このようにすることで、ユーザは、キーワードとして指定した条件に合致する商品を容易に検索することができる。
情報を上述した各実施の形態において、キーワードとして商品を絞り込む条件を指定してもよい。例えば、「カロリー○ｋｃａｌ以下」「脂質○ｇ以下」等を指定してもよい。この場合、サーバ１は、商品情報がこの条件に合致する商品を検索する。すなわち、「カロリー○ｋｃａｌ以下」であれば、商品情報に含まれているカロリーが○ｋｃａｌ以下である商品を検索する。このようにすることで、ユーザは、キーワードとして指定した条件に合致する商品を容易に検索することができる。
【0168】
・変形例４
上述した各実施の形態で説明した一連の処理におけるサーバ１と端末２の機能の切り分けは一例である。各実施の形態の動作が実現される範囲において、各機能をサーバ１と端末２のどちらが実施するかは任意に変更されてよい。例えば、端末２が十分な性能を持つ装置であれば、端末２が自ら商品を特定し、ガイド画像データを生成して、ディスプレイに表示するように構成してもよい。また、サーバ１が商品の特定を行い、端末２がガイド画像データを生成する等、各機能を実現する装置の切り分けは様々なものが考えられる。
上述した各実施の形態で説明した一連の処理におけるサーバ１と端末２の機能の切り分けは一例である。各実施の形態の動作が実現される範囲において、各機能をサーバ１と端末２のどちらが実施するかは任意に変更されてよい。例えば、端末２が十分な性能を持つ装置であれば、端末２が自ら商品を特定し、ガイド画像データを生成して、ディスプレイに表示するように構成してもよい。また、サーバ１が商品の特定を行い、端末２がガイド画像データを生成する等、各機能を実現する装置の切り分けは様々なものが考えられる。
【0169】
・変形例５
上述した各実施の形態では、検索する対象は商品であるものとした。しかし、検索する対象は商業的な流通の対象となる商品には限らず、物品一般であってもよい。商品情報と同様の情報が含まれる物品情報が利用可能であれば、上述した各実施の形態と同様の処理を物品一般に適用することができる。例えば、無償で配布されている試供品等に適用してもよいし、ビュッフェ形式で提供されている食品等に適用してもよい。また、検索の対象は店舗で提供される物品には限らず、ホームパーティー等の個人的なイベントで提供されている物品であってもよい。
上述した各実施の形態では、検索する対象は商品であるものとした。しかし、検索する対象は商業的な流通の対象となる商品には限らず、物品一般であってもよい。商品情報と同様の情報が含まれる物品情報が利用可能であれば、上述した各実施の形態と同様の処理を物品一般に適用することができる。例えば、無償で配布されている試供品等に適用してもよいし、ビュッフェ形式で提供されている食品等に適用してもよい。また、検索の対象は店舗で提供される物品には限らず、ホームパーティー等の個人的なイベントで提供されている物品であってもよい。
【0170】
・変形例６
上述した第２の実施の形態および第３の実施の形態において、ＮＧワードおよびＯＫワードは予め登録されているものとして説明したが、これらのキーワードの少なくとも１つを随時入力するように構成してもよい。ただし、これらのキーワードがアレルゲン等のユーザの体質に基づくものである場合、頻繁に変化する可能性は低いため、事前に登録した方がユーザにとっての利便性は高い。
上述した第２の実施の形態および第３の実施の形態において、ＮＧワードおよびＯＫワードは予め登録されているものとして説明したが、これらのキーワードの少なくとも１つを随時入力するように構成してもよい。ただし、これらのキーワードがアレルゲン等のユーザの体質に基づくものである場合、頻繁に変化する可能性は低いため、事前に登録した方がユーザにとっての利便性は高い。
【0171】
・変形例７
上述した第２の実施の形態および第３の実施の形態では、ＮＧワードとして使用する情報としてアレルゲンを例に説明した。しかし、ＮＧワードとして使用する情報は他の情報であってもよい。例えば、栄養の含有量、商品が遺伝子組み換え食品等の特定の属性を持つ成分、または、商品の産地等がＮＧワードとして使用される情報の例として挙げられる。同様に、ＯＫワードも第２の実施の形態および第３の実施の形態で例示した情報以外の情報であってもよい。なお、上述した第３の実施の形態では、アレルゲンを例にＮＧワードに合致する商品と共通の設備を用いて製造される商品を特定する例を示したが、商品を構成する成分に係る情報であれば、他の情報について同様の処理を行ってもよい。
上述した第２の実施の形態および第３の実施の形態では、ＮＧワードとして使用する情報としてアレルゲンを例に説明した。しかし、ＮＧワードとして使用する情報は他の情報であってもよい。例えば、栄養の含有量、商品が遺伝子組み換え食品等の特定の属性を持つ成分、または、商品の産地等がＮＧワードとして使用される情報の例として挙げられる。同様に、ＯＫワードも第２の実施の形態および第３の実施の形態で例示した情報以外の情報であってもよい。なお、上述した第３の実施の形態では、アレルゲンを例にＮＧワードに合致する商品と共通の設備を用いて製造される商品を特定する例を示したが、商品を構成する成分に係る情報であれば、他の情報について同様の処理を行ってもよい。
【0172】
以上、図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例又は修正例に想到し得ることは明らかである。そのような変更例又は修正例についても、本開示の技術的範囲に属するものと了解される。また、本開示の趣旨を逸脱しない範囲において、実施の形態における各構成要素は任意に組み合わされてよい。例えば、各実施の形態及び変形例は、任意に組み合わされてもよい。
【0173】
上述の実施の形態においては、各構成要素に用いる「・・・部」という表記は、「・・・回路（circuitry）」、「・・・アッセンブリ」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されてもよい。
【0174】
本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部又は全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【0175】
集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサー又は専用プロセッサーで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。
【0176】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【産業上の利用可能性】
【0177】
本開示は、端末を用いた、棚に陳列された商品の検索及び商品情報の取得に有用である。
【符号の説明】
【0178】
１ サーバ
１ａ 制御部
１ｂ 記憶部
１ｃ 通信部
２ 端末
２ａ 制御部
２ｂ 記憶部
２ｃ 通信部
２ｄ 音声処理部
２ｅ 表示部
２ｆ 操作部
２ｇ カメラ
Ａ１ａ 商品棚
Ａ３ａ，Ａ３ｂ，Ａ１８ａ，Ａ２２ａ，Ａ２２ｂ ガイド画像
１ａ 制御部
１ｂ 記憶部
１ｃ 通信部
２ 端末
２ａ 制御部
２ｂ 記憶部
２ｃ 通信部
２ｄ 音声処理部
２ｅ 表示部
２ｆ 操作部
２ｇ カメラ
Ａ１ａ 商品棚
Ａ３ａ，Ａ３ｂ，Ａ１８ａ，Ａ２２ａ，Ａ２２ｂ ガイド画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】