ホーム > 特許ランキング > パナソニックコネクト株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024176010
(43)【公開日】2024-12-19
(54)【発明の名称】情報処理装置、及び、情報処理方法
(51)【国際特許分類】
G06Q 30/06 20230101AFI20241212BHJP
【ＦＩ】
G06Q30/06
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023094190
(22)【出願日】2023-06-07
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究等の成果に係る特許出願（令和４年度、国立研究開発法人新エネルギー・産業技術総合開発機構、人と共に進化する次世代人工知能に関する技術開発事業／商品情報データベース構築のための研究開発／決済・在庫管理、商品把持・配置業務の自動化推進に向けた商品画像データベース構築のための基盤技術開発・社会実装推進研究、産業技術力強化法第１７条第１項の適用を受けるもの）
(71)【出願人】
【識別番号】313005318
【氏名又は名称】パナソニックコネクト株式会社
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】須藤 浩章
【テーマコード（参考）】
5L030
5L049
【Ｆターム（参考）】
5L030BB72
5L049BB72
(57)【要約】
【課題】店舗のスタッフの作業量を軽減する。
【解決手段】情報処理装置は、画像識別の識別対象の商品の画像を取得する取得部と、識別対象の商品の画像と、登録されている前記識別対象の候補の画像それぞれとの間の類似度のうち、最も高い類似度と、２番目以降の類似度とを決定し、最も高い類似度に対応する第１の候補と、２番目以降の類似度に対応する第２の候補との関係に基づいて、前記商品の確認を促すか否かを決定する制御部と、前記商品の確認を促すか否かを決定した場合、前記商品の確認を促す指示を出力する出力部と、を備える。
【選択図】図１６
【解決手段】情報処理装置は、画像識別の識別対象の商品の画像を取得する取得部と、識別対象の商品の画像と、登録されている前記識別対象の候補の画像それぞれとの間の類似度のうち、最も高い類似度と、２番目以降の類似度とを決定し、最も高い類似度に対応する第１の候補と、２番目以降の類似度に対応する第２の候補との関係に基づいて、前記商品の確認を促すか否かを決定する制御部と、前記商品の確認を促すか否かを決定した場合、前記商品の確認を促す指示を出力する出力部と、を備える。
【選択図】図１６
【特許請求の範囲】
【請求項1】
画像識別の識別対象の商品の画像を取得する取得部と、
前記識別対象の商品の画像と、登録されている前記識別対象の候補の画像それぞれとの間の類似度のうち、最も高い類似度と、２番目以降の類似度とを決定し、前記最も高い類似度に対応する第１の候補と、前記２番目以降の類似度に対応する第２の候補との関係に基づいて、前記商品の確認を促すか否かを決定する制御部と、
前記商品の確認を促すか否かを決定した場合、前記商品の確認を促す指示を出力する出力部と、
を備える情報処理装置。
前記識別対象の商品の画像と、登録されている前記識別対象の候補の画像それぞれとの間の類似度のうち、最も高い類似度と、２番目以降の類似度とを決定し、前記最も高い類似度に対応する第１の候補と、前記２番目以降の類似度に対応する第２の候補との関係に基づいて、前記商品の確認を促すか否かを決定する制御部と、
前記商品の確認を促すか否かを決定した場合、前記商品の確認を促す指示を出力する出力部と、
を備える情報処理装置。
【請求項2】
前記制御部は、前記第１の候補の価格と、前記第２の候補の価格との差が所定の値未満の場合は、前記商品の確認を促さないと決定する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記制御部は、前記第１の候補と前記第２の候補との関係が、前記第１の候補の価格と、前記第２の候補の価格とが同じである場合と、前記第１の候補の価格と、前記第２の候補の価格とが異なる場合とで、前記商品の確認を促す指示を変更する、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
前記制御部は、前記第１の候補と前記第２の候補との関係が、前記第１の候補が属するカテゴリーと、前記第２の候補が属するカテゴリーとが同一のカテゴリーの場合は、前記商品の確認を促さないと決定する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項5】
前記制御部は、前記最も高い類似度が所定の閾値以上の場合、前記第１の候補と前記第２の候補との関係にかかわらず、前記商品の確認を促さないと決定する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項6】
前記出力部は、前記商品の確認を促す指示に加えて、前記最も高い類似度と、前記２番目以降の類似度とを通知する指示を出力する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項7】
前記出力部は、前記商品の確認を促す指示を含む信号を、前記指示を表示する表示装置に送信する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項8】
表示部を備え、
前記出力部は、前記商品の確認を促す指示を含む信号を、前記表示部へ出力する、
請求項１に記載の情報処理装置。
前記出力部は、前記商品の確認を促す指示を含む信号を、前記表示部へ出力する、
請求項１に記載の情報処理装置。
【請求項9】
前記制御部は、前記第１の候補と前記第２の候補との関係が、前記第１の候補のカテゴリーと、前記第２の候補のカテゴリーとが同じである場合と、前記第１の候補のカテゴリーと、前記第２の候補のカテゴリーとが同じである場合とで、表示するメッセージを変更する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項10】
情報処理装置が、
画像識別の識別対象の商品の画像を取得し、
前記識別対象の商品の画像と、登録されている前記識別対象の候補の画像それぞれとの間の類似度のうち、最も高い類似度と、２番目以降の類似度とを決定し、
前記最も高い類似度に対応する第１の候補と、前記２番目以降の類似度に対応する第２の候補との関係に基づいて、前記商品の確認を促すか否かを決定し、
前記商品の確認を促すか否かを決定した場合、前記商品の確認を促す指示を出力する、
情報処理方法。
画像識別の識別対象の商品の画像を取得し、
前記識別対象の商品の画像と、登録されている前記識別対象の候補の画像それぞれとの間の類似度のうち、最も高い類似度と、２番目以降の類似度とを決定し、
前記最も高い類似度に対応する第１の候補と、前記２番目以降の類似度に対応する第２の候補との関係に基づいて、前記商品の確認を促すか否かを決定し、
前記商品の確認を促すか否かを決定した場合、前記商品の確認を促す指示を出力する、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、及び、情報処理方法に関する。
【背景技術】
【0002】
スーパーマーケット、コンビニエンスストアなどの店舗では、多くの商品が陳列され、販売されている。このような店舗における商品の陳列作業、販売作業に要する店舗のスタッフの作業量を軽減することが検討されている。
【0003】
例えば、特許文献１には、商品のピッキング作業において、商品を、保管場所に保管したことを登録し、ピッキングすべき商品と、ピッキングすべき商品の登録された保管場所とをピッキング作業に応じて、順次出力し、出力された次にピッキングすべき商品が、保管場所に保管されているか否かを判断し、次にピッキングすべき商品が、保管場所に保管されてない場合には、次にピッキングすべき商品を、最後にピッキングする商品としてピッキング作業の優先順位を変更する、方法が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２２－１３１５７４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
店舗のスタッフの作業量を軽減する方法については検討の余地がある。
【0006】
本開示の非限定的な実施例は、店舗のスタッフの作業量を軽減することができる情報処理装置、及び、情報処理方法の提供に資する。
【課題を解決するための手段】
【0007】
本開示の一実施例に係る情報処理装置は、画像識別の識別対象の商品の画像を取得する取得部と、前記識別対象の商品の画像と、登録されている前記識別対象の候補の画像それぞれとの間の類似度のうち、最も高い類似度と、２番目以降の類似度とを決定し、前記最も高い類似度に対応する第１の候補と、前記２番目以降の類似度に対応する第２の候補との関係に基づいて、前記商品の確認を促すか否かを決定する制御部と、前記商品の確認を促すか否かを決定した場合、前記商品の確認を促す指示を出力する出力部と、を備える。
【0008】
本開示の一実施例に係る情報処理方法は、情報処理装置が、画像識別の識別対象の商品の画像を取得し、前記識別対象の商品の画像と、登録されている前記識別対象の候補の画像それぞれとの間の類似度のうち、最も高い類似度と、２番目以降の類似度とを決定し、前記最も高い類似度に対応する第１の候補と、前記２番目以降の類似度に対応する第２の候補との関係に基づいて、前記商品の確認を促すか否かを決定し、前記商品の確認を促すか否かを決定した場合、前記商品の確認を促す指示を出力する。
【0009】
なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0010】
本開示の一実施例によれば、店舗のスタッフの作業量を軽減することができる。
【0011】
本開示の一実施例における更なる利点及び効果は、明細書及び図面から明らかにされる。かかる利点及び／又は効果は、いくつかの実施形態並びに明細書及び図面に記載された特徴によってそれぞれ提供されるが、１つ又はそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
【図面の簡単な説明】
【0012】
【図1】画像識別処理の第１のケースを示す図
【図2】画像識別処理の第２のケースを示す図
【図3】通知される通知信号のフォーマットの例を示す図
【図4】画像識別処理の結果の表示例を示す図
【図5A】一実施の形態における第１の例を示す図
【図5B】一実施の形態における第１の例のバリエーションを示す図
【図6】一実施の形態において通知される通知情報のフォーマットの第１の例を示す図
【図7A】一実施の形態において、情報処理装置に表示される表示の第１の例を示す図
【図7B】一実施の形態において、情報処理装置に表示される表示の第１の例のバリエーションを示す図
【図8A】一実施の形態における第２の例を示す図
【図8B】一実施の形態における第２の例のバリエーションを示す図
【図9】一実施の形態において通知される通知信号のフォーマットの第２の例を示す図
【図10A】一実施の形態において、情報処理装置に表示される表示の第２の例を示す図
【図10B】一実施の形態において、情報処理装置に表示される表示の第２の例のバリエーションを示す図
【図11A】一実施の形態における第３の例を示す図
【図11B】一実施の形態における第３の例のバリエーションを示す図
【図12】一実施の形態において通知される通知信号のフォーマットの第３の例を示す図
【図13A】一実施の形態において、情報処理装置に表示される表示の第３の例を示す図
【図13B】一実施の形態において、情報処理装置に表示される表示の第３の例のバリエーションを示す図
【図14】一実施の形態に係る端末の処理の流れの例を示すフローチャート
【図15】一実施の形態に係る情報処理装置の処理の流れの例を示すフローチャート
【図16】一実施の形態に係る端末の構成例を示す図
【図17】一実施の形態に係る情報処理装置の構成例を示す図
【発明を実施するための形態】
【0013】
以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0014】
（一実施の形態）
スーパーマーケット、コンビニエンスストアなどの店舗における商品の陳列作業、販売作業に要する店舗のスタッフの作業量を軽減するために、物体の画像から、当該物体を特定する（又は、当該物体を識別する）画像識別処理の応用が検討されている。
スーパーマーケット、コンビニエンスストアなどの店舗における商品の陳列作業、販売作業に要する店舗のスタッフの作業量を軽減するために、物体の画像から、当該物体を特定する（又は、当該物体を識別する）画像識別処理の応用が検討されている。
【0015】
例えば、店舗に訪れた顧客が、買い物カゴ、又は、カート等（以下、カートと記載）に商品を入れ、カート内の商品を購入する際の決済において、購入する商品の画像識別処理によって、自動で決済を行うことが検討されている。
【0016】
また、商品が陳列されている商品棚において、商品の欠品、及び、商品の陳列位置の誤りを画像識別処理によって検出することが検討されている。
【0017】
画像識別処理の一例を説明する。画像識別処理は、例えば、識別対象の商品の画像と、予め登録されている商品の候補のそれぞれの画像とを比較し、識別対象の商品が、登録されている商品の候補の何であるかを特定する処理である。
【0018】
ここで、画像識別処理における識別対象の商品は、「識別対象商品」と記載される場合がある。購入する商品の自動決済において、識別対象商品は、買い物客が購入しようとするためにカートに入れた商品である。
【0019】
画像識別処理では、カートに設けられたカメラが、識別対象商品を撮影する。撮影された画像には、識別対象商品が含まれる。
【0020】
画像識別処理では、識別対象商品の画像と、予め登録されている商品の候補のぞれぞれの画像とを比較し、識別対象商品と商品の候補との類似度を示す識別確率が算出される。ここで、予め登録されている商品の候補とは、例えば、店舗内で販売されている商品の全てである。以下、予め登録されている商品の候補は、「候補商品」と記載される場合がある。
【0021】
識別確率は、０％～１００％の範囲で算出される。識別確率は、識別対象商品の画像と、候補商品の画像とが類似しているほど、高い確率を示す。
【0022】
なお、画像識別処理において、予め登録されている候補商品のぞれぞれの画像は、１つであってもよいし、複数であってもよい。例えば、１つの候補商品に対して、当該候補商品を互いに異なる角度から撮影された複数の画像が登録されてもよい。例えば、登録される画像が機械学習等によって更新されてもよい。
【0023】
画像識別処理では、算出した識別確率の中で最も高い識別確率を特定し、最も高い識別確率が閾値以上である場合、識別対象商品が、最も高い識別確率に対応する候補商品に該当する、と判定される。また、最も高い識別確率が閾値未満である場合、識別対象商品に該当する候補商品が特定できないため、識別ができない旨のエラーが出力される。
【0024】
例示的に、商品＃１～商品＃Ｎが販売されている店舗において、画像識別処理によって或る識別対象商品Ｘが何であるかが特定されるケースを説明する。この場合、商品＃１～商品＃Ｎが、候補商品に該当する。商品＃１～商品＃Ｎのそれぞれの画像が予め登録されている。そして、買い物客が識別対象商品Ｘをカートにいれた場合、カメラは、識別対象商品Ｘを撮影する。画像識別処理において、撮影された識別対象商品Ｘの画像と、候補商品である商品＃１～商品＃Ｎの画像のそれぞれとが比較され、識別対象商品Ｘと商品＃１～商品＃Ｎのそれぞれとの類似度を示す識別確率Ｐｘ＿１～Ｐｘ＿Ｎが決定される。なお、Ｐｘ＿ｉは、識別対象商品Ｘと商品＃ｉとの類似度を示す識別確率を表す。
【0025】
図１は、画像識別処理の第１のケースを示す図である。図１には、識別対象商品Ｘの画像と、商品＃１～商品＃Ｎのそれぞれの画像と、識別確率Ｐｘ＿１～Ｐｘ＿Ｎとが示される。なお、第１のケースは、識別結果が良好なケースに対応する。
【0026】
図１の例では、Ｐｘ＿１～Ｐｘ＿Ｎの中で、最も大きい識別確率がＰｘ＿２であり、Ｐｘ＿２が第１閾値以上である。この場合、識別対象商品Ｘが、識別確率Ｐｘ＿２に対応する商品＃２に該当する、と判定される。なお、第１閾値は、識別確率が、画像識別において識別結果が良好であること（又は十分信頼できること）を保証する閾値である。
【0027】
図２は、画像識別処理の第２のケースを示す図である。図２には、図１と同様に、識別対象商品Ｘの画像と、商品＃１～商品＃Ｎのそれぞれの画像と、識別確率Ｐｘ＿１～Ｐｘ＿Ｎとが示される。なお、第２のケースは、識別対象商品Ｘの画像が鮮明ではなく、識別結果が良好ではないケースに対応する。
【0028】
図２の例では、Ｐｘ＿１～Ｐｘ＿Ｎの中で、最も大きい識別確率がＰｘ＿２であるが、Ｐｘ＿２が第１閾値未満である。この場合、識別対象商品Ｘが、識別確率Ｐｘ＿２に対応する商品＃２に該当する、と判定されない。
【0029】
なお、以下では、或る識別確率Ｐｚに対応する候補商品は、識別確率Ｐｚの候補商品、または、識別確率Ｐｚの商品と記載される。また、或る候補商品Ｚに対応する識別確率は、候補商品Ｚの識別確率、または、商品Ｚの識別確率と記載される場合がある。
【0030】
上述したように、画像識別処理では、算出した識別確率の中で最も高い識別確率が第１閾値未満である場合、識別対象商品に該当する候補商品が特定できないため、識別ができない旨のエラーが出力される。
【0031】
エラーが生じるケースとは、例えば、識別対象商品の画像による識別が困難なケースである。画像による識別が困難な商品の例としては、例えば、外観が類似する商品が挙げられる。
【0032】
例えば、外観が類似する商品とは、１つのカテゴリーの中に、複数のタイプが存在し、各タイプのパッケージが類似する商品である。なお、ここで、カテゴリーは、商品の分類において規定される共通の特徴を指す。また、ここで、タイプは、共通の特徴を有する複数の商品の中で、互いに異なる種類を指す。例えば、ブランド名（共通する商品名）が共通し、味、香り、色等が互いに異なる複数の商品は、ブランド名が共通しているので、同じカテゴリーに含まれる。ただし、この場合、各商品の味、香り、色等が互いに異なるので、各商品のタイプは異なる。
【0033】
例示的には、或るメーカのブランド名を有する芳香剤の中に、ジャスミンの香りの芳香剤、ローズの香りの芳香剤、シトラスの香りの芳香剤、といった香りの違う複数のタイプが存在する。この３つの芳香剤は、同じカテゴリーに属するが、互いに異なるタイプである。これらの香りの違う芳香剤のパッケージが類似する場合、これらの芳香剤の画像による識別が困難である。あるいは、或るスナック菓子の中に、塩味、チーズ味、カレー味といった味の違う複数のタイプが存在し、これらの味の違うスナック菓子のパッケージが類似する場合、これらのスナック菓子の識別は困難である。
【0034】
また、例えば、外観が類似する商品とは、商品のカテゴリー等が異なるものの、偶然に外観が類似してしまう商品である。例えば、ボトルに入ったシャンプー剤の外観と、ボトルに入った飲料の外観とが、偶然に類似した場合、このシャンプー剤と飲料との画像による識別は困難である。
【0035】
次のようなユースケースにおいて、エラーが生じた場合の例を説明する。
【0036】
＜ユースケース１＞
カート内の商品の決済を、カートに搭載された端末が画像識別を行うことによって自動決済で行うケースでは、画像識別処理の結果を示す識別結果が良好でない場合（例えば、識別確率が第１閾値未満である場合）、識別結果が良好ではない旨のアラーム及び／又は良好ではない識別確率が、監視場所に設けられる情報処理装置に通知される。なお、監視場所とは、例えば、店舗のスタッフが待機し、店舗内の状況を監視するために設けられる場所である。監視場所の情報処理装置に通知された情報を確認したスタッフは、その通知の要因となる場所（例えば、カートを有する顧客の場所）に駆けつけ、目視等で確認を行う。監視場所の情報処理装置に通知された情報は、スタッフに対応を指示するための情報であってもよい。
カート内の商品の決済を、カートに搭載された端末が画像識別を行うことによって自動決済で行うケースでは、画像識別処理の結果を示す識別結果が良好でない場合（例えば、識別確率が第１閾値未満である場合）、識別結果が良好ではない旨のアラーム及び／又は良好ではない識別確率が、監視場所に設けられる情報処理装置に通知される。なお、監視場所とは、例えば、店舗のスタッフが待機し、店舗内の状況を監視するために設けられる場所である。監視場所の情報処理装置に通知された情報を確認したスタッフは、その通知の要因となる場所（例えば、カートを有する顧客の場所）に駆けつけ、目視等で確認を行う。監視場所の情報処理装置に通知された情報は、スタッフに対応を指示するための情報であってもよい。
【0037】
このようなユースケース１では、識別結果が良好ではない商品が多い場合、スタッフの作業が多くなってしまう。
【0038】
＜ユースケース２＞
スタッフが所持する端末が画像識別処理を行うことによって、商品棚に陳列された商品に欠品があることを検出するケース、あるいは、商品棚に陳列された商品の位置が所定の位置と異なっていることを検出するケースや商品棚に陳列されていない商品があることを検出するケースでは、画像識別処理の結果を示す識別結果が良好でない場合、アラーム及び／又は識別確率が監視場所に設けられる情報処理装置に通知される。監視場所の情報処理装置に通知された情報を確認したスタッフは、その通知の要因となる場所（例えば、欠品が生じている商品棚）に駆けつけ、目視等で確認を行う。
スタッフが所持する端末が画像識別処理を行うことによって、商品棚に陳列された商品に欠品があることを検出するケース、あるいは、商品棚に陳列された商品の位置が所定の位置と異なっていることを検出するケースや商品棚に陳列されていない商品があることを検出するケースでは、画像識別処理の結果を示す識別結果が良好でない場合、アラーム及び／又は識別確率が監視場所に設けられる情報処理装置に通知される。監視場所の情報処理装置に通知された情報を確認したスタッフは、その通知の要因となる場所（例えば、欠品が生じている商品棚）に駆けつけ、目視等で確認を行う。
【0039】
このようなユースケース２でも、識別結果が良好ではない商品が多い場合、スタッフの作業が多くなってしまう。
【0040】
図３は、通知される通知情報のフォーマットの例を示す図である。図３に示すフォーマットには、「カートＩＤ／位置情報」フィールドと、「付加情報」フィールドと、「商品ＩＤ」フィールドと、「個数情報」フィールドと、「識別確率」フィールドとが含まれる。
【0041】
カートＩＤ／位置情報フィールドには、カートを識別する識別情報であるカートＩＤ（identification）と、当該カートの位置情報とが含まれる。カートの位置情報は、例えば、ＷｉＧｉｇ、及び／又は、Ｗｉ－Ｆｉ（登録商標）といった通信方式に基づいて検出される。
【0042】
付加情報フィールドには、当該フィールドの後に、他のフィールド（例えば、商品ＩＤフィールド、個数情報フィールド）が存在するか否かを示す情報が含まれる。例えば、他のフィールドが後続に存在しない場合、付加情報フィールドには、「０」が設定され、他のフィールドが後続に存在する場合、付加情報フィールドには、「１」が設定される。
【0043】
商品ＩＤフィールドには、商品を識別する識別情報である商品ＩＤが含まれる。なお、図３の例では、ｎ通りの商品が検出されている。例えば、商品ＩＤフィールド（＃１）は、商品ＩＤが＃１であることを示す。
【0044】
個数情報フィールドは、商品ＩＤフィールドに対応づけられて設けられる。個数情報フィールドには、対応する商品ＩＤフィールドが示す商品ＩＤの商品の個数を示す情報が含まれる。図３の例では、個数情報フィールド（＃ｉ（ｉは１以上ｎ以下の整数））が、商品ＩＤフィールド（＃ｉ）に対応づけられて設けられる。個数情報フィールド（＃ｉ）には、商品ＩＤ＃ｉの商品の個数を示す情報が含まれる。
【0045】
識別確率フィールドは、商品ＩＤフィールドに対応づけられて設けられる。識別確率フィールドには、対応する商品ＩＤフィールドが示す商品ＩＤの商品の識別確率を示す情報が含まれる。図３の例では、識別確率フィールド（＃ｉ（ｉは１以上ｎ以下の整数））が、商品ＩＤフィールド（＃ｉ）に対応づけられて設けられる。識別確率フィールド（＃ｉ）には、商品ＩＤ＃ｉの商品の識別確率を示す情報が含まれる。
【0046】
例えば、上述したように、商品＃１～商品＃Ｎが販売されている店舗において、画像識別処理によって或る識別対象商品Ｘが商品＃２であると特定されるケースでは、通知情報には、１つの商品ＩＤフィールドと、１つの個数情報フィールドと、１つの識別確率フィールドが含まれる。そして、１つの商品ＩＤフィールドには、商品＃２の商品ＩＤが含まれ、個数情報フィールドには、個数が１つであることを示す情報が含まれ、識別確率フィールドには、識別対象商品Ｘと商品＃２との間の識別確率Ｐｘ＿２が含まれる。
【0047】
図３に示すフォーマットを有する通知情報を受信した情報処理装置は、各商品ＩＤの識別確率を抽出し、識別確率が第１閾値未満である商品ＩＤの有無を判定する。
【0048】
識別確率が第１閾値未満である商品ＩＤが存在した場合、当該商品ＩＤの商品についての対応を行う指示を、スタッフに通知する。
【0049】
図４は、画像識別処理の結果の表示例を示す図である。図４は、例えば、店舗のスタッフが待機する監視場所に設けられる情報処理装置に表示される表示例を示す。図４は、例示的に、図２に示した画像識別処理の結果を表示する例である。
【0050】
図４に示すように、識別対象商品Ｘの画像と、識別対象商品Ｘについて算出された識別確率の中で最も高いＰｘ＿２に対応する商品＃２の画像と、が表示される。また、図４に示すように、Ｐｘ＿２と、Ｐｘ＿２が第１閾値未満であるためスタッフに確認を要求するメッセージが表示される。
【0051】
しかしながら、上述したような２つのユースケースに対して、図３に示したフォーマットを有する信号に基づく情報処理装置の動作では、画像識別処理による識別結果が良好ではない商品が多い場合、スタッフの作業が多くなってしまう。このようなスタッフの作業の増加に対して、作業の優先度付けを行うことが検討される。
【0052】
例えば、収益に影響を与える作業、及び／又は、商品を購入する顧客に影響を与える作業には、相対的に高い優先度がつけられる。
【0053】
そこで、本実施の形態では、画像識別処理による識別結果が良好ではない商品について、その商品の候補となる複数の商品に関する情報と、それらの複数の商品の関係性を示す情報とを通知することによって、スタッフが作業の優先度を付けやすく出来、スタッフの作業量を軽減できる方法を説明する。
【0054】
なお、以下では、例示的に、カート内の商品の決済を、カートに搭載された端末が画像識別を行うことによって自動決済で行うケースを説明する。そして、このケースにおいて、端末１０が、画像識別の識別結果を含む通知情報を生成し、店舗のスタッフが待機する監視場所に設けられる情報処理装置２０に通知情報を送信し、情報処理装置２０において、通知情報に基づく表示が行われる例を説明する。
【0055】
また、以下では、或る識別対象商品Ｘについて算出された識別確率のうち、最も高い識別確率に対応する候補商品は、識別対象商品Ｘに対する「第１候補商品」と記載される。また、以下では、或る識別対象商品Ｘについて算出された識別確率のうち、識別確率の高さが２番目以降の識別確率に対応する候補商品は、識別対象商品Ｘに対する「第２候補商品」と記載される。第２候補商品は、最も高い識別確率を除いた識別確率の中で、第２閾値以上の識別確率に対応する候補商品であってもよい。例えば、第２候補商品は、識別確率が第１候補商品の識別確率以下であるが、第２閾値以上である候補商品に対応する。なお、第２閾値は、上述した第１閾値未満の値である。第２閾値は、識別対象商品Ｘに該当する第２候補商品の識別確率の下限値であってもよい。
【0056】
例えば、或る識別対象商品Ｘについて算出された識別確率のうち、最も高い識別確率が第１閾値未満である場合、識別対象商品Ｘが第１候補商品である、という判定が、誤判定、又は、誤認識となる可能性が高い。そして、第１閾値未満であり、第２閾値以上である識別確率に対応する商品は、識別対象商品Ｘが誤認識された場合の誤認識されている範囲に含まれる。ここでの識別対象商品Ｘの誤認識とは、識別対象商品Ｘが第１候補商品ではないにも関わらず、識別確率に基づいて、識別対象商品Ｘが第１候補商品であると認識されることを示す。
【0057】
＜第１の例＞
識別対象商品に対する第１候補商品の識別確率が閾値以上である場合、当該識別対象商品に対する識別結果が良好である。識別対象商品に対する第１候補商品の識別確率が閾値未満である場合、当該識別対象商品に対する識別結果が良好ではない。識別結果が良好ではない場合、実際の識別対象商品が第１候補商品ではない可能性が、識別結果が良好である場合よりも高くなる。なお、実際の識別対象商品が第１候補商品ではない場合、実際の識別対象商品が第２候補商品の何れかであることが想定される。
識別対象商品に対する第１候補商品の識別確率が閾値以上である場合、当該識別対象商品に対する識別結果が良好である。識別対象商品に対する第１候補商品の識別確率が閾値未満である場合、当該識別対象商品に対する識別結果が良好ではない。識別結果が良好ではない場合、実際の識別対象商品が第１候補商品ではない可能性が、識別結果が良好である場合よりも高くなる。なお、実際の識別対象商品が第１候補商品ではない場合、実際の識別対象商品が第２候補商品の何れかであることが想定される。
【0058】
例えば、識別対象商品が実際に第１候補商品であるケースをケース１と称し、識別対象商品が実際には第２候補商品であるケースをケース２と称する。この２つのケースを考慮した場合、第１候補商品の価格と、第２候補商品との価格が同じであれば、ケース１において顧客が支払う金額と、ケース２において顧客が支払う金額とに差が生じない。
【0059】
そこで、第１の例では、端末１０が、第１候補商品の価格と第２候補商品の価格との関係を示す情報を情報処理装置２０に通知する。そして、第１候補商品の価格と第２候補商品の価格とが同じであるケースでは、情報処理装置２０が、価格が同じであることを表示する。また、第１候補商品の価格と第２候補商品の価格とが異なるケースでは、情報処理装置２０が、価格が異なることを表示する。
【0060】
図５Ａは、本実施の形態における第１の例を示す図である。図５Ａには、図２と同様の画像識別結果が示される。図５Ａに示す例では、最も高い識別確率Ｐｘ＿２が第１閾値よりも低い。そして、Ｐｘ＿２とＰｘ＿３とが第２閾値よりも高い。なお、図５Ａには、各候補商品の価格が示される。
【0061】
図５Ａに示す例では、Ｐｘ＿２に対応する商品＃２の価格が、Ｐｘ＿３に対応する商品＃３の価格と同じである。このように、第１候補商品である商品＃２の価格と、第２候補商品である商品＃３の価格とが同じであれば、仮に、識別対象商品Ｘが実際には第２候補商品である一方で、識別確率に基づいて、識別対象商品Ｘが第１候補商品であると判定された場合でも、顧客が支払う金額とに差が生じない。
【0062】
図５Ｂは、本実施の形態における第１の例のバリエーションを示す図である。図５Ｂには、図２と同様の画像識別結果が示される。図５Ｂに示す例では、最も高い識別確率Ｐｘ＿２が第１閾値よりも低い。そして、Ｐｘ＿２とＰｘ＿３とＰｘ＿１が第２閾値よりも高い。なお、図５Ｂには、各候補商品の価格が示される。
【0063】
図５Ｂに示す例では、Ｐｘ＿２に対応する商品＃２の価格が、Ｐｘ＿３に対応する商品＃３の価格と同じであるが、Ｐｘ＿２に対応する商品＃２の価格が、Ｐｘ＿１に対応する商品＃１の価格と異なる。このように、第１候補商品である商品＃２の価格と、第２候補商品である商品＃１の価格と異なるケースにおいて、仮に、識別対象商品Ｘが実際には第２候補商品の商品＃１である一方で、識別確率に基づいて、識別対象商品Ｘが第１候補商品であると判定された場合、顧客が支払う金額とに差が生じてしまう可能性がある。
【0064】
そこで、第１の例では、第１候補商品の価格と、第２候補商品の価格が同じであるか否かが情報処理装置２０に通知される。第１候補商品は、図５Ａ、図５Ｂの例では、Ｐｘ＿２に対応する商品＃２であり、第２候補商品は、図５Ａでは、Ｐｘ＿３に対応する商品＃３であり、図５Ｂでは、Ｐｘ＿３に対応する商品＃３と、Ｐｘ＿１に対応する商品＃１である。
【0065】
＜第１の例の通知情報の例＞
図６は、本実施の形態において通知される通知情報のフォーマットの第１の例を示す図である。図６には、複数のフィールドを有するフォーマットが示される。なお、図６において、図３と同様のフィールドについては、説明を省略する。
図６は、本実施の形態において通知される通知情報のフォーマットの第１の例を示す図である。図６には、複数のフィールドを有するフォーマットが示される。なお、図６において、図３と同様のフィールドについては、説明を省略する。
【0066】
図６に示すフォーマットには、１種類の購入予定の識別対象商品に対して、複数のフィールドを有するフィールド群が設けられる。１つのフィールド群は、１つの識別対象商品に対応付けられる。例えば、フィールド群＃ｋが、識別対象商品＃ｋ（ｋは１以上ｎ以下の整数）に対応付けられる。なお、図６は、識別対象商品が、ｎ種類（ｎは１以上の整数）存在する例を示す。ここで、例えば、同じ識別対象商品を複数個購入しようとする場合、その複数個の識別対象商品は、１種類の識別対象商品と見なされる。
【0067】
以下、例示的に、フィールド群＃１を説明するが、他のフィールド群＃２～＃ｎについても、フィールド群＃１と同様であってよい。
【0068】
フィールド群＃１には、「第１候補商品フィールド群」と、「同一価格商品フィールド群」と、「異価格商品フィールド群」とが含まれる。なお、図６では、説明の便宜上、「第１候補商品フィールド群」と、「同一価格商品フィールド群」と、「異価格商品フィールド群」とが示されるが、通知情報においては、これらのフィールド群が、付加情報の内容によって区別される。
【0069】
そして、フィールド群＃１には、「付加情報」フィールドと、「商品ＩＤ」フィールドと、「個数情報」フィールドと、「識別確率」フィールドと、が含まれる。
【0070】
第１候補商品フィールド群は、フィールド群＃１のうち、特定の位置（例えば、図６における最も左側の位置）に設けられる。第１候補商品フィールド群の商品ＩＤフィールドには、識別確率が最も高い商品である第１候補商品の商品ＩＤが含まれる。図５Ａ、図５Ｂの例では、商品＃２に関する情報が含まれる。
【0071】
第１候補商品フィールド群の個数情報フィールドには、対応する商品ＩＤフィールドが示す商品ＩＤの商品（つまり、第１候補商品）の個数を示す情報が含まれる。第１候補商品フィールド群の識別確率フィールドには、対応する商品ＩＤフィールドが示す商品ＩＤの商品の識別確率（つまり、第１候補商品の識別確率）を示す情報が含まれる。
【0072】
付加情報フィールドには、例えば、３ビットの情報が含まれる。
【0073】
付加情報フィールドの３ビットのうち、１ビット目は、当該フィールドの後に、他のフィールド（例えば、商品ＩＤフィールド、個数情報フィールド）が存在するか否かを示す。例えば、他のフィールドが後続に存在しない場合、１ビット目には、「０」が設定され、他のフィールドが後続に存在する場合、１ビット目には、「１」が設定される。
【0074】
付加情報フィールドの３ビットのうち、２ビット目は、後続に存在する商品ＩＤフィールドの商品ＩＤの商品が、第１候補商品であるか否かを示す。例えば、後続に存在する商品ＩＤフィールドの商品ＩＤが、第１候補商品である場合、２ビット目には「０」が設定され、後続に存在する商品ＩＤフィールドの商品ＩＤが、第１候補商品ではない場合、２ビット目には「１」が設定される。
【0075】
付加情報フィールドの３ビットのうち、３ビット目は、後続に存在する商品ＩＤフィールドの商品ＩＤの商品が、第１候補商品と同一価格であるか否かを示す。例えば、後続に存在する商品ＩＤの商品の価格が第１候補商品と同じである場合、３ビット目には「０」が設定され、後続に存在する商品ＩＤの商品の価格が第１候補商品と同じではない場合、３ビット目には「１」が設定される。
【0076】
同一価格商品フィールド群には、第１候補商品と同一価格である第２候補商品に関する情報が含まれる。例えば、図５Ａ、図５Ｂの例では、商品＃３に関する情報が含まれる。第１候補商品と同一価格である第２候補商品は、以下では、単に、同一価格商品と記載される場合がある。
【0077】
【0078】
同一価格商品フィールド群の個数情報フィールドは、同一価格商品フィールド群の商品ＩＤフィールドに対応づけられて設けられる。個数情報フィールドには、対応する商品ＩＤフィールドが示す商品ＩＤの商品の個数を示す情報が含まれる。
【0079】
同一価格商品フィールド群の識別確率フィールドは、同一価格商品フィールド群の商品ＩＤフィールドに対応づけられて設けられる。識別確率フィールドには、対応する商品ＩＤフィールドが示す商品ＩＤの商品の識別確率を示す情報が含まれる。例えば、図５Ａ、図５Ｂの例では、商品＃３の識別確率Ｐｘ＿３が含まれる。
【0080】
異価格商品フィールド群には、第１候補商品の価格と異なる価格である第２候補商品に関する情報が含まれる。例えば、図５Ｂの例では、商品＃１に関する情報が含まれる。第１候補商品の価格と異なる価格である第２候補商品は、以下では、単に、異価格商品と記載される場合がある。
【0081】
異価格商品フィールド群の商品ＩＤフィールドには、第１候補商品の価格と異なる価格である第２候補商品の商品ＩＤが含まれる。例えば、図５Ｂの例では、商品＃１の商品ＩＤが含まれる。
【0082】
異価格商品フィールド群の個数情報フィールドは、異価格商品フィールド群の商品ＩＤフィールドに対応づけられて設けられる。個数情報フィールドには、対応する商品ＩＤフィールドが示す商品ＩＤの商品の個数を示す情報が含まれる。
【0083】
異価格商品フィールド群の識別確率フィールドは、異価格商品フィールド群の商品ＩＤフィールドに対応づけられて設けられる。識別確率フィールドには、対応する商品ＩＤフィールドが示す商品ＩＤの商品の識別確率を示す情報が含まれる。例えば、図５Ｂの例では、商品＃１の識別確率Ｐｘ＿１が含まれる。
【0084】
なお、図６では、異価格商品フィールド群が１つである例を示したが、本開示はこれに限定されない。例えば、異価格商品が複数存在する場合、異価格商品フィールド群は、異価格商品の商品数に応じて設けられる。なお、異価格商品フィールド群の前に付される付加情報の３ビット目が「１」である。また、図６では、異価格商品フィールド群が、フィールド群＃１とフィールド群＃ｎのそれぞれに含まれる例を示すが、本開示はこれに限定されない。例えば、図５Ａの例のように、異価格商品が存在しない場合、フィールド群には、異価格商品フィールド群が存在しない場合があってもよい。また、図６では、各フィールド群に、異価格商品フィールド群の後に続く商品ＩＤフィールドが存在する例を示すが、本開示はこれに限定されない。
【0085】
また、図６では、同一価格商品フィールド群が１つである例を示したが、本開示はこれに限定されない。例えば、同一価格である商品が複数存在する場合、同一価格商品フィールド群は、同一価格である商品数に応じて設けられる。なお、同一価格商品フィールド群の前に付される付加情報の３ビット目が「０」である。また、図６では、同一価格商品フィールド群が、フィールド群＃１とフィールド群＃ｎのそれぞれに含まれる例を示すが、本開示はこれに限定されない。フィールド群には、同一価格商品フィールド群が存在しない場合があってもよい。また、図６では、各フィールド群に、同一価格商品フィールド群の後に続く商品ＩＤフィールドが存在する例を示すが、本開示はこれに限定されない。
【0086】
或る識別対象商品についての第２候補商品が、第１候補商品と同一価格の商品である場合、識別対象商品が第１候補商品であっても、第２候補商品であっても、顧客が支払う金額に差が生じない。そのため、同一価格商品に関する情報については、省略、圧縮、間引き等を行ってもよい。
【0087】
例えば、第１候補商品と同一価格である第２候補商品が複数存在する場合、複数の同一価格である第２候補商品の情報は、１つの同一価格商品フィールド群に纏められてもよい。１つの同一価格商品フィールド群に纏められる場合、複数の同一価格商品は、互いに異なる商品ＩＤを有してもよい。
【0088】
１つの同一価格商品フィールド群に纏められる場合の同一価格商品フィールド群の商品ＩＤフィールドには、複数の同一価格商品が纏められることを示すための専用のＩＤが含まれる。この専用のＩＤは、同一価格商品の商品ＩＤと異なる。この専用のＩＤは、例えば、候補商品それぞれの商品ＩＤと異なるＩＤである。
【0089】
１つの同一価格商品フィールド群に纏められる場合の同一価格商品フィールド群の個数情報フィールドには、同一価格商品の個数を示す情報が含まれる。
【0090】
１つの同一価格商品フィールド群に纏められる場合の同一価格商品フィールド群の識別確率フィールドには、複数の同一価格商品のそれぞれの識別確率に基づく確率を示す情報が含まれる。複数の同一価格商品のそれぞれの識別確率に基づく確率は、例えば、複数の同一価格商品のそれぞれの識別確率の合算値であってもよいし、平均値であってもよいし、同一価格商品のそれぞれの識別確率の中の最大値または最小値であってもよい。
【0091】
このように、複数の同一価格商品の情報が１つの同一価格商品フィールド群に纏められることによって、複数の同一価格商品の情報を圧縮できるので、通知情報の情報量を削減できる。
【0092】
第１の例では、或る識別対象商品についての、第１候補商品の価格と、第２候補商品の価格とが同じであるか否かを示す情報として、第１候補商品の価格と同じ価格である第２候補商品に関する情報（例えば、同一価格商品フィールド群の情報）と、第１候補商品の価格と異なる価格である第２候補商品に関する情報（例えば、異価格情報フィールド群の情報）と、が通知される。この通知を、店舗のスタッフが確認することによって、店舗のスタッフは、作業の優先度を確認できる。
【0093】
例えば、或る識別対象商品Ｘについての、第１候補商品の価格と異なる価格の第２候補商品が存在するケースでは、仮に、識別対象商品Ｘが実際には第２候補商品である一方で、識別確率に基づいて、識別対象商品Ｘが第１候補商品であると判定された場合に、顧客が支払う金額と実際の商品の金額とに差が生じてしまう。このような場合では、スタッフが、当該識別商品Ｘの目視等による確認を優先することによって、顧客が支払う金額と実際の商品の金額とに差が生じてしまうことを回避できる。その結果、顧客が購入金額よりも多く支払うことで、顧客に迷惑をかけてしまったり、顧客が購入金額よりも少なく支払うことで、店舗の収益が減少してしまったりするケースを回避できる。
【0094】
例えば、或る識別対象商品Ｘについての、第１候補商品の価格と異なる価格の第２候補商品が存在せず、同一価格の第２候補商品が存在するケースでは、仮に、識別対象商品Ｘが実際には第２候補商品である一方で、識別確率に基づいて、識別対象商品Ｘが第１候補商品であると判定された場合に、顧客が支払う金額と実際の商品の金額とに差が生じない。このような場合では、スタッフが、当該識別商品Ｘの目視等による確認を優先せずに済むため、スタッフの負荷を低減できる。
【0095】
＜第１の例の表示例＞
図７Ａは、本実施の形態において、情報処理装置２０に表示される表示の第１の例を示す図である。図７Ａは、例示的に、図５Ａのような画像識別処理の識別結果が通知された場合の表示例である。
図７Ａは、本実施の形態において、情報処理装置２０に表示される表示の第１の例を示す図である。図７Ａは、例示的に、図５Ａのような画像識別処理の識別結果が通知された場合の表示例である。
【0096】
図７Ａには、識別対象商品Ｘの画像と、第１候補商品である商品＃２の画像と、第１候補商品と同一価格である第２候補商品である商品＃３の画像と、が並べて示される。また、各候補商品の識別確率が合わせて示される。
【0097】
なお、第１候補商品と同一価格である第２候補商品が複数存在し、通知情報において、複数の同一価格商品が１つの同一価格商品フィールド群に纏められる場合、第１候補商品と同一価格である第２候補商品の画像及び識別確率が表示されなくてもよい。この場合、第１候補商品と同一価格である第２候補商品が存在する旨が、メッセージ等によって表示されてもよい。
【0098】
【0099】
図７Ｂには、識別対象商品Ｘの画像と、第１候補商品である商品＃２の画像と、第１候補商品と同一価格である第２候補商品である商品＃３の画像と、第１候補商品と同一価格ではない第２候補商品である商品＃１の画像と、が並べて示される。また、各商品の識別確率が合わせて示される。図７Ｂの場合、商品＃２と商品＃１との価格が同一ではない。この場合、店舗のスタッフに対して、目視による確認を促すメッセージが表示される。
【0100】
第１の例では、図７Ａ、図７Ｂに示すように、第２候補商品の価格が、第１候補商品と同一か否かが表示される。また、価格が異なる場合は、第２候補商品の価格も表示される。なお、価格が異なる場合の表示態様（例えば、文字の色、大きさ、点滅の有無等）は、他の表示の態様と異ならせてもよい。表示態様を異ならせることによって、表示を確認する人に対して、価格が異なることが視覚的に強調される。
【0101】
また、識別結果が或る判定条件を満たす場合に、店舗のスタッフが、目視によって、購入しようとする商品（つまり、識別対象商品）を確認することを要求するメッセージを表示する。
【0102】
例えば、識別結果において、第１候補商品の価格が異なる第２候補商品の識別確率が第２閾値以上であるという条件を満たす場合、店舗のスタッフが、目視によって、購入しようとする商品（つまり、識別対象商品）を確認することを要求するメッセージを表示する。なお、或る判定条件は、この例に限定されない。
【0103】
以上、第１の例では、端末１０が第１候補商品の価格と第２候補商品の価格との関係を示す情報を情報処理装置２０に通知することによって、識別対象商品が第１候補商品である場合と第２候補商品である場合とで、顧客が支払う金額に差が生じるか否かを、店舗のスタッフが情報処理装置２０において確認できる。そのため、店舗のスタッフが、画像識別処理の識別結果が良好でない場合に確認に要する作業を省略でき、店舗のスタッフの作業量を軽減することができる。
【0104】
第１の例では、端末１０は、第１候補商品の価格と第２候補商品の価格との関係に基づいて、識別対象商品の確認を促すか否かを決定する。例えば、第１候補商品の価格と第２候補商品の価格とが同じではない場合、識別対象商品の確認を促すと決定される。そして、端末１０は、識別対象商品の確認を促すか否かを決定した場合、識別対象商品の確認を促す指示（例えば、通知情報）を送信する。
【0105】
ここで、識別対象商品の確認を促す指示（例えば、通知情報）は、第１候補商品の価格と第２候補商品の価格とが異なることを示す情報（例えば、異価格商品フィールド群）に対応してよい。なお、上述した例では、第１候補商品の価格と第２候補商品の価格とが同じである場合にも、通知情報が送信されるが、第１候補商品の価格と第２候補商品の価格とが同じである場合、通知情報には、異価格商品フィールド群が含まれない。そのため、通知情報に基づく表示には、価格が異なるために識別対象商品の確認を促すメッセージが表示されない。そのため、第１候補商品の価格と第２候補商品の価格とが同じである場合の通知情報は、識別対象商品の確認を促す指示には対応しなくてもよい。
【0106】
なお、第１の例において、端末１０は、第１候補商品の価格と第２候補商品の価格との差が所定値未満である場合、識別対象商品の確認を促さない、と決定してもよい。
【0107】
なお、第１の例において、端末１０は、第１候補商品の価格と第２候補商品の価格とが同じである場合と、第１候補商品の価格と第２候補商品の価格とが異なる場合とで、通知情報を変更する。
【0108】
＜第２の例＞
第１の例と同様に、識別対象商品が実際に第１候補商品であるケースをケース１と称し、識別対象商品が実際には第２候補商品であるケースをケース２と称する。この２つのケースを考慮した場合、第１候補商品と、第２候補商品とが同じカテゴリーに属しており、カテゴリー内の異なるタイプの商品の価格が同じであれば、ケース１において顧客が支払う金額と、ケース２において顧客が支払う金額とに差が生じない。
第１の例と同様に、識別対象商品が実際に第１候補商品であるケースをケース１と称し、識別対象商品が実際には第２候補商品であるケースをケース２と称する。この２つのケースを考慮した場合、第１候補商品と、第２候補商品とが同じカテゴリーに属しており、カテゴリー内の異なるタイプの商品の価格が同じであれば、ケース１において顧客が支払う金額と、ケース２において顧客が支払う金額とに差が生じない。
【0109】
そこで、第２の例では、端末１０が、第１候補商品のカテゴリーと第２候補商品のカテゴリーとの関係を示す情報を情報処理装置２０に通知する。そして、第１候補商品のカテゴリーと第２候補商品のカテゴリーとが同じであるケースでは、情報処理装置２０が、カテゴリーが同じであることを表示する。
【0110】
図８Ａは、本実施の形態における第２の例を示す図である。図８Ａには、図２と同様の画像識別結果が示される。図８Ａに示す例では、最も高い識別確率Ｐｘ＿２が第１閾値よりも低い。そして、Ｐｘ＿２とＰｘ＿３とが第２閾値よりも高い。なお、図８には、各候補商品のカテゴリーと、各候補商品の味（オレンジ、リンゴ等）が示される。
【0111】
図８Ａに示す例では、Ｐｘ＿２に対応する商品＃２のカテゴリーが、Ｐｘ＿３に対応する商品＃３のカテゴリーと同じである。このように、第１候補商品である商品＃２のカテゴリーと、第２候補商品である商品＃３とのカテゴリーとが同じであれば、仮に、識別対象商品Ｘが実際には第２候補商品である一方で、識別確率に基づいて、識別対象商品Ｘが第１候補商品であると判定された場合でも、顧客が支払う金額とに差が生じない。
【0112】
図８Ｂは、本実施の形態における第２の例のバリエーションを示す図である。図８Ｂには、図２と同様の画像識別結果が示される。図８Ｂに示す例では、最も高い識別確率Ｐｘ＿２が第１閾値よりも低い。そして、Ｐｘ＿２とＰｘ＿３とＰｘ＿１が第２閾値よりも高い。なお、図８Ｂには、各候補商品のカテゴリーと、各候補商品の味（オレンジ、リンゴ等）が示される。
【0113】
図８Ｂに示す例では、Ｐｘ＿２に対応する商品＃２のカテゴリーが、Ｐｘ＿３に対応する商品＃３のカテゴリーと同じであるが、Ｐｘ＿２に対応する商品＃２のカテゴリーが、Ｐｘ＿１に対応する商品＃１のカテゴリーと異なる。このように、第１候補商品である商品＃２のカテゴリーと、第２候補商品である商品＃１のカテゴリーとが異なるケースにおいて、仮に、識別対象商品Ｘが実際には第２候補商品である一方で、識別確率に基づいて、識別対象商品Ｘが第１候補商品であると判定された場合、顧客が支払う金額とに差が生じる可能性がある。
【0114】
そこで、第２の例では、第１候補商品のカテゴリーと、第２候補商品のカテゴリーが同じであるか否かが情報処理装置２０に通知される。第１候補商品は、図８Ａ、図８Ｂの例では、Ｐｘ＿２に対応する商品＃２であり、第２候補商品は、図８Ａでは、Ｐｘ＿３に対応する商品＃３であり、図８Ｂでは、Ｐｘ＿３に対応する商品＃３と、Ｐｘ＿１に対応する商品＃１である。
【0115】
＜第２の例の通知情報の例＞
図９は、本実施の形態において通知される通知情報のフォーマットの第２の例を示す図である。図９には、複数のフィールドを有するフォーマットが示される。なお、図９において、図３、図６と同様のフィールドについては、説明を省略する。
図９は、本実施の形態において通知される通知情報のフォーマットの第２の例を示す図である。図９には、複数のフィールドを有するフォーマットが示される。なお、図９において、図３、図６と同様のフィールドについては、説明を省略する。
【0116】
図９に示すフォーマットには、図６と同様に、１種類の購入予定の識別対象商品に対して、複数のフィールドを有するフィールド群が設けられる。１つのフィールド群は、１つの識別対象商品に対応付けられる。例えば、フィールド群＃ｋが、識別対象商品＃ｋに対応付けられる。
【0117】
以下、例示的に、フィールド群＃１を説明するが、他のフィールド群＃２～＃ｎについても、フィールド群＃１と同様であってよい。
【0118】
フィールド群＃１には、「第１候補商品フィールド群」と、「同一カテゴリー商品フィールド群」と、「異なるカテゴリー商品フィールド群」とが含まれる。なお、図９では、説明の便宜上、「第１候補商品フィールド群」と、「同一カテゴリー商品フィールド群」と、「異なるカテゴリー商品フィールド群」とが示されるが、通知情報においては、これらのフィールド群が、付加情報の内容によって区別される。
【0119】
そして、フィールド群＃１には、「付加情報」フィールドと、「商品ＩＤ」フィールドと、「個数情報」フィールドと、「識別確率」フィールドと、が含まれる。
【0120】
第１候補商品フィールド群には、図６の例と同様に、第１候補商品に関する情報が含まれる。
【0121】
付加情報フィールドには、例えば、３ビットの情報が含まれる。
【0122】
付加情報フィールドの３ビットのうち、１ビット目は、当該フィールドの後に、他のフィールド（例えば、商品ＩＤフィールド、個数情報フィールド）が存在するか否かを示す。例えば、他のフィールドが後続に存在しない場合、１ビット目には、「０」が設定され、他のフィールドが後続に存在する場合、１ビット目には、「１」が設定される。
【0123】
付加情報フィールドの３ビットのうち、２ビット目は、後続に存在する商品ＩＤフィールドの商品ＩＤの商品が、第１候補商品であるか否かを示す。例えば、後続に存在する商品ＩＤフィールドの商品ＩＤが、第１候補商品である場合、２ビット目には「０」が設定され、後続に存在する商品ＩＤフィールドの商品ＩＤが、第１候補商品ではない場合、２ビット目には「１」が設定される。
【0124】
付加情報フィールドの３ビットのうち、３ビット目は、後続に存在する商品ＩＤフィールドの商品ＩＤの商品が、第１候補商品と同一カテゴリーであるか否かを示す。例えば、後続に存在する商品ＩＤの第２候補商品のカテゴリーが第１候補商品と同じである場合、３ビット目には「０」が設定され、後続に存在する商品ＩＤの第２候補商品のカテゴリーが第１候補商品と同じではない場合、３ビット目には「１」が設定される。
【0125】
同一カテゴリー商品フィールド群には、第１候補商品と同一カテゴリーである第２候補商品に関する情報が含まれる。例えば、図８Ａ、図８Ｂの例では、商品＃３に関する情報が含まれる。第１候補商品と同一カテゴリーである第２候補商品は、以下では、単に、同一カテゴリー商品と記載される場合がある。
【0126】
【0127】
同一カテゴリー商品フィールド群の個数情報フィールドは、同一カテゴリー商品フィールド群の商品ＩＤフィールドに対応づけられて設けられる。この個数情報フィールドには、対応する商品ＩＤフィールドが示す商品ＩＤの商品の個数を示す情報が含まれる。
【0128】
同一カテゴリー商品フィールド群の識別確率フィールドは、同一カテゴリー商品フィールド群の商品ＩＤフィールドに対応づけられて設けられる。識別確率フィールドには、対応する商品ＩＤフィールドが示す商品ＩＤの商品の識別確率を示す情報が含まれる。例えば、図８Ａ、図８Ｂの例では、商品＃３の識別確率Ｐｘ＿３が含まれる。
【0129】
異なるカテゴリー商品フィールド群には、第１候補商品のカテゴリーと異なるカテゴリーである第２候補商品に関する情報が含まれる。例えば、図８Ｂの例では、商品＃１に関する情報が含まれる。第１候補商品のカテゴリーと異なるカテゴリーである第２候補商品は、以下では、単に、異なるカテゴリー商品と記載される場合がある。
【0130】
異なるカテゴリー商品フィールド群の商品ＩＤフィールドには、第１候補商品のカテゴリーと異なるカテゴリーである第２候補商品の商品ＩＤが含まれる。例えば、図８Ｂの例では、商品＃１の商品ＩＤが含まれる。
【0131】
異なるカテゴリー商品フィールド群の個数情報フィールドは、異なるカテゴリー商品フィールド群の商品ＩＤフィールドに対応づけられて設けられる。個数情報フィールドには、対応する商品ＩＤフィールドが示す商品ＩＤの商品の個数を示す情報が含まれる。
【0132】
異なるカテゴリー商品フィールド群の識別確率フィールドは、異なるカテゴリー商品フィールド群の商品ＩＤフィールドに対応づけられて設けられる。識別確率フィールドには、対応する商品ＩＤフィールドが示す商品ＩＤの商品の識別確率を示す情報が含まれる。例えば、図８Ｂの例では、商品＃１の識別確率Ｐｘ＿１が含まれる。
【0133】
なお、図９では、異なるカテゴリー商品フィールド群が１つである例を示したが、本開示はこれに限定されない。例えば、異なるカテゴリー商品が複数存在する場合、異なるカテゴリー商品フィールド群は、異なるカテゴリー商品の商品数に応じて設けられる。なお、異なるカテゴリー商品フィールド群の前に付される付加情報の３ビット目が「１」である。また、図９では、異なるカテゴリー商品フィールド群が、フィールド群＃１とフィールド群＃ｎのそれぞれに含まれる例を示すが、本開示はこれに限定されない。例えば、図８Ａの例のように、異なるカテゴリー商品が存在しない場合、フィールド群には、異なるカテゴリー商品フィールド群が存在しない場合があってもよい。また、図９では、各フィールド群に、異なるカテゴリー商品フィールド群の後に続く商品ＩＤフィールドが存在する例を示すが、本開示はこれに限定されない。
【0134】
また、図９では、同一カテゴリー商品フィールド群が１つである例を示したが、本開示はこれに限定されない。例えば、同一カテゴリーである商品が複数存在する場合、同一カテゴリー商品フィールド群は、同一カテゴリーである商品数に応じて設けられる。なお、同一カテゴリー商品フィールド群の前に付される付加情報の３ビット目が「０」である。また、図９では、同一カテゴリー商品フィールド群が、フィールド群＃１とフィールド群＃ｎのそれぞれに含まれる例を示すが、本開示はこれに限定されない。フィールド群には、同一カテゴリー商品フィールド群が存在しない場合があってもよい。また、図９では、各フィールド群に、同一カテゴリー商品フィールド群の後に続く商品ＩＤフィールドが存在する例を示すが、本開示はこれに限定されない。
【0135】
或る識別対象商品についての第２候補商品が、第１候補商品と同一カテゴリーの商品である場合、識別対象商品が第１候補商品であっても、第２候補商品であっても、顧客が支払う金額に差が生じない。そのため、同一カテゴリー商品に関する情報については、省略、圧縮、間引き等を行ってもよい。
【0136】
例えば、第１候補商品と同一カテゴリーである第２候補商品が複数存在する場合、複数の同一カテゴリーである第２候補商品の情報は、１つの同一カテゴリー商品フィールド群に纏められてもよい。１つの同一カテゴリー商品フィールド群に纏められる場合、複数の同一カテゴリー商品は、互いに異なる商品ＩＤを有してもよい。
【0137】
１つの同一カテゴリー商品フィールド群に纏められる場合の同一カテゴリー商品フィールド群の商品ＩＤフィールドには、複数の同一カテゴリー商品が纏められることを示すための専用のＩＤが含まれる。この専用のＩＤは、同一カテゴリー商品の商品ＩＤと異なる。この専用のＩＤは、例えば、候補商品それぞれの商品ＩＤと異なるＩＤである。
【0138】
１つの同一カテゴリー商品フィールド群に纏められる場合の同一カテゴリー商品フィールド群の個数情報フィールドには、同一カテゴリー商品の個数を示す情報が含まれる。
【0139】
１つの同一カテゴリー商品フィールド群に纏められる場合の同一カテゴリー商品フィールド群の識別確率フィールドには、複数の同一カテゴリー商品のそれぞれの識別確率に基づく確率を示す情報が含まれる。複数の同一カテゴリー商品のそれぞれの識別確率に基づく確率は、例えば、複数の同一カテゴリー商品のそれぞれの識別確率の合算値であってもよいし、平均値であってもよいし、同一カテゴリー商品のそれぞれの識別確率の中の最大値または最小値であってもよい。
【0140】
このように、複数の同一カテゴリー商品の情報が１つの同一カテゴリー商品フィールド群に纏められることによって、複数の同一カテゴリー商品の情報を圧縮できるので、通知情報の情報量を削減できる。
【0141】
第２の例では、或る識別対象商品についての、第１候補商品のカテゴリーと、第２候補商品のカテゴリーとが同じであるか否かを示す情報として、第１候補商品のカテゴリーと同じカテゴリーである第２候補商品に関する情報（例えば、同一カテゴリー商品フィールド群の情報）と、第１候補商品のカテゴリーと異なるカテゴリーである第２候補商品に関する情報（例えば、異なるカテゴリー情報フィールド群の情報）と、が通知される。この通知を、店舗のスタッフが確認することによって、店舗のスタッフは、作業の優先度を確認できる。
【0142】
例えば、或る識別対象商品Ｘについての、第１候補商品のカテゴリーと異なるカテゴリーの第２候補商品が存在するケースでは、仮に、識別対象商品Ｘが実際には第２候補商品である一方で、識別確率に基づいて、識別対象商品Ｘが第１候補商品であると判定された場合に、顧客が支払う金額と実際の商品の金額とに差が生じてしまう。このような場合では、スタッフが、当該識別商品Ｘの目視等による確認を優先することによって、顧客が支払う金額と実際の商品の金額とに差が生じてしまうことを回避できる。その結果、顧客が購入金額よりも多く支払うことで、顧客に迷惑をかけてしまったり、顧客が購入金額よりも少なく支払うことで、店舗の収益が減少してしまったりするケースを回避できる。
【0143】
例えば、或る識別対象商品Ｘについての、第１候補商品のカテゴリーと異なるカテゴリーの第２候補商品が存在せず、同一カテゴリーの第２候補商品が存在するケースでは、仮に、識別対象商品Ｘが実際には第２候補商品である一方で、識別確率に基づいて、識別対象商品Ｘが第１候補商品であると判定された場合に、顧客が支払う金額と実際の商品の金額とに差が生じない。このような場合では、スタッフが、当該識別商品Ｘの目視等による確認を優先せずに済むため、スタッフの負荷を低減できる。
【0144】
＜第２の例の表示例＞
図１０Ａは、本実施の形態において、情報処理装置２０に表示される表示の第２の例を示す図である。図１０Ａは、例示的に、図８Ａのような画像識別処理の識別結果が通知された場合の表示例である。
図１０Ａは、本実施の形態において、情報処理装置２０に表示される表示の第２の例を示す図である。図１０Ａは、例示的に、図８Ａのような画像識別処理の識別結果が通知された場合の表示例である。
【0145】
図１０Ａには、識別対象商品Ｘの画像と、第１候補商品である商品＃２の画像と、第１候補商品と同一カテゴリーである第２候補商品である商品＃３の画像と、が並べて示される。また、各商品の識別確率が合わせて示される。
【0146】
なお、第１候補商品と同一カテゴリーである第２候補商品が複数存在し、通知情報において、複数の同一カテゴリー商品が１つの同一カテゴリー商品フィールド群に纏められる場合、第１候補商品と同一カテゴリーである第２候補商品の画像及び識別確率が表示されなくてもよい。この場合、第１候補商品と同一カテゴリーである第２候補商品が存在する旨が、メッセージ等によって表示されてもよい。
【0147】
【0148】
図１０Ｂには、識別対象商品Ｘの画像と、第１候補商品である商品＃２の画像と、第１候補商品と同一カテゴリーである第２候補商品である商品＃３の画像と、第１候補商品と同一カテゴリーではない第２候補商品である商品＃１の画像と、が並べて示される。また、各商品の識別確率が合わせて示される。図１０Ｂの場合、商品＃２と商品＃１とのカテゴリーが同一ではない。この場合、店舗のスタッフに対して、目視による確認を促すメッセージが表示される。
【0149】
第２の例では、図１０Ａ、図１０Ｂに示すように、第２候補商品のカテゴリーが、第１候補商品と同一か否かが表示される。また、カテゴリーが異なる場合は、第２候補商品のカテゴリーも表示される。なお、価格が異なる場合の表示態様（例えば、文字の色、大きさ、点滅の有無等）は、他の表示の態様と異ならせてもよい。表示態様を異ならせることによって、表示を確認する人に対して、カテゴリーが異なることが視覚的に強調される。
【0150】
また、識別結果が或る判定条件を満たす場合に、店舗のスタッフが、目視によって、購入しようとする商品（つまり、識別対象商品）を確認することを要求するメッセージを表示する。
【0151】
例えば、識別結果において、第１候補商品のカテゴリーが異なる第２候補商品の識別確率が第２閾値以上であるという条件を満たす場合、店舗のスタッフが、目視によって、購入しようとする商品（つまり、識別対象商品）を確認することを要求するメッセージを表示する。なお、或る判定条件は、この例に限定されない。
【0152】
以上、第２の例では、端末１０が第１候補商品のカテゴリーと第２候補商品のカテゴリーとの関係を示す情報を情報処理装置２０に通知することによって、識別対象商品が第１候補商品である場合と第２候補商品である場合とで、顧客が支払う金額に差が生じるか否かを、店舗のスタッフが情報処理装置２０において確認できる。そのため、店舗のスタッフが、画像識別処理の識別結果が良好でない場合に確認に要する作業を省略でき、店舗のスタッフの作業量を軽減することができる。
【0153】
すなわち、第２の例では、第１候補商品のカテゴリーと第２候補商品のカテゴリーとが同じカテゴリーに属する場合には店舗のスタッフによる確認を促すメッセージを表示しない。また、第１候補商品のカテゴリーと第２候補商品のカテゴリーとが異なるカテゴリーに属する場合には店舗のスタッフによる確認を促すメッセージを表示する。
【0154】
商品が誤認識されている範囲が同一のカテゴリーに収まっている場合、誤認識されている範囲は味等のタイプの違いに留まるため、第１候補商品と第２候補商品のどちらが識別対象商品として正解であったとしても価格等が変わる可能性は低い。すなわち、認識結果の正否を問わず、店舗のスタッフによる確認を省略しても顧客に誤った金額を請求してしまう可能性は低い。そのため、第２の例では、商品の誤認識が同一カテゴリーの範囲に収まっている場合は、店舗のスタッフによる確認を促すメッセージを省略する。
【0155】
一方、商品の誤認識が複数のカテゴリーにまたがっている場合は価格等が異なる商品が誤認識されている可能性が高い。そのため、第１候補商品と第２候補商品のどちらが識別対象商品として正解であったかによって、顧客に請求する金額が変わってしまう可能性が高い。そのため、第２の例では、商品の誤認識が複数のカテゴリーにまたがっている場合は、店舗のスタッフによる確認を促すメッセージを表示している。
【0156】
なお、第２の例において、同一のカテゴリー商品として商品を分類するカテゴリーは、価格が同一であるカテゴリーに限定してもよい。例えば、カテゴリーが同一であっても、味、香り等のタイプの違いによって価格が異なる場合、当該カテゴリーは、同一のカテゴリー商品として商品を分類するカテゴリーに含まれなくてもよい。
【0157】
第２の例では、端末１０は、第１候補商品のカテゴリーと第２候補商品のカテゴリーとの関係に基づいて、識別対象商品の確認を促すか否かを決定する。例えば、第１候補商品のカテゴリーと第２候補商品のカテゴリーとが同じではない場合、識別対象商品の確認を促すと決定される。そして、端末１０は、識別対象商品の確認を促すか否かを決定した場合、識別対象商品の確認を促す指示（例えば、通知情報）を送信する。
【0158】
ここで、識別対象商品の確認を促す指示（例えば、通知情報）は、第１候補商品のカテゴリーと第２候補商品のカテゴリーとが異なることを示す情報（例えば、異なるカテゴリー商品フィールド群）に対応してよい。なお、上述した例では、第１候補商品のカテゴリーと第２候補商品のカテゴリーとが同じである場合にも、通知情報が送信されるが、第１候補商品のカテゴリーと第２候補商品のカテゴリーとが同じである場合、通知情報には、異なるカテゴリー商品フィールド群が含まれない。そのため、通知情報に基づく表示には、カテゴリーが異なるために識別対象商品の確認を促すメッセージが表示されない。そのため、第１候補商品のカテゴリーと第２候補商品のカテゴリーとが同じである場合の通知情報は、識別対象商品の確認を促す指示には対応しなくてもよい。
【0159】
なお、第２の例において、端末１０は、第１候補商品のカテゴリーと第２候補商品のカテゴリーとが同じカテゴリーである場合と、識別対象商品の確認を促さない、と決定してもよい。
【0160】
なお、第２の例において、端末１０は、第１候補商品のカテゴリーと第２候補商品のカテゴリーとが同じである場合と、第１候補商品のカテゴリーと第２候補商品のカテゴリーとが異なる場合とで、通知情報を変更する。
【0161】
＜第３の例＞
第３の例では、上述した第１の例と第２の例との組み合わせを説明する。例えば、第３の例では、第１候補商品の価格と第２候補商品の価格との関係を示す情報と、第１候補商品のカテゴリーと第２候補商品のカテゴリーとの関係を示す情報とを通知する例を説明する。
第３の例では、上述した第１の例と第２の例との組み合わせを説明する。例えば、第３の例では、第１候補商品の価格と第２候補商品の価格との関係を示す情報と、第１候補商品のカテゴリーと第２候補商品のカテゴリーとの関係を示す情報とを通知する例を説明する。
【0162】
図１１Ａは、本実施の形態における第３の例を示す図である。図１１Ａに示す例では、最も高い識別確率Ｐｘ＿２が第１閾値よりも低い。そして、Ｐｘ＿２とＰｘ＿３とＰｘ＿１とが第２閾値よりも高い。なお、図１１Ａには、各候補商品の価格と、カテゴリーと、各候補商品の味（オレンジ、リンゴ等）が示される。
【0163】
図１１Ａに示す例では、Ｐｘ＿２に対応する商品＃２のカテゴリーが、Ｐｘ＿３に対応する商品＃３のカテゴリーと同じである。また、Ｐｘ＿２に対応する商品＃２の価格が、Ｐｘ＿１に対応する商品＃１の価格と同じである。このように、第１候補商品である商品＃２のカテゴリーと、第２候補商品である商品＃３とのカテゴリーが同じであれば、仮に、識別対象商品Ｘが実際には第２候補商品である一方で、識別確率に基づいて、識別対象商品Ｘが第１候補商品であると判定された場合でも、顧客が支払う金額とに差が生じない。また、このように、第１候補商品である商品＃２の価格と、第２候補商品である商品＃１の価格とが同じであれば、仮に、識別対象商品Ｘが実際には第２候補商品である一方で、識別確率に基づいて、識別対象商品Ｘが第１候補商品であると判定された場合でも、顧客が支払う金額とに差が生じない。
【0164】
図１１Ｂは、本実施の形態における第３の例のバリエーションを示す図である。図１１Ｂに示す例では、最も高い識別確率Ｐｘ＿２が第１閾値よりも低い。そして、Ｐｘ＿２とＰｘ＿３とＰｘ＿１とＰｘ＿４とが第２閾値よりも高い。なお、図１１Ｂには、各候補商品のカテゴリーと、各候補商品の味（オレンジ、リンゴ等）が示される。
【0165】
図１１Ｂに示す例では、Ｐｘ＿２に対応する商品＃２のカテゴリー及び価格が、Ｐｘ＿４に対応する商品＃４のカテゴリー及び価格と異なる。このように、第１候補商品である商品＃２のカテゴリーと、第２候補商品である商品＃４のカテゴリーとが異なり、かつ、第１候補商品である商品＃２の価格と、第２候補商品である商品＃４の価格とが異なるケースにおいて、仮に、識別対象商品Ｘが実際には第２候補商品である一方で、識別確率に基づいて、識別対象商品Ｘが第１候補商品であると判定された場合、顧客が支払う金額とに差が生じる可能性がある。
【0166】
そこで、第３の例では、第１候補商品のカテゴリーと、第２候補商品のカテゴリーが同じであるか否か、及び、第１候補商品の価格と、第２候補商品の価格が同じであるか否かが情報処理装置２０に通知される。第１候補商品は、図１１Ａ、図１１Ｂの例では、商品＃２であり、第２候補商品は、図１１Ａの例では、商品＃１、及び、＃３であり、図１１Ｂの例では、商品＃１、＃３、及び、＃４である。
【0167】
＜第３の例の通知情報の例＞
図１２は、本実施の形態において通知される通知情報のフォーマットの第３の例を示す図である。図１２には、複数のフィールドを有するフォーマットが示される。なお、図１２において、図６、図９と同様のフィールドについては、説明を省略する。
図１２は、本実施の形態において通知される通知情報のフォーマットの第３の例を示す図である。図１２には、複数のフィールドを有するフォーマットが示される。なお、図１２において、図６、図９と同様のフィールドについては、説明を省略する。
【0168】
図１２に示すフォーマットには、図６、図９と同様に、１種類の購入予定の識別対象商品に対して、複数のフィールドを有するフィールド群が設けられる。１つのフィールド群は、１つの識別対象商品に対応付けられる。例えば、フィールド群＃ｋが、識別対象商品＃ｋに対応付けられる。
【0169】
以下、例示的に、フィールド群＃１を説明するが、他のフィールド群＃２～＃ｎについても、フィールド群＃１と同様であってよい。
【0170】
フィールド群＃１には、「第１候補商品フィールド群」と、「同一カテゴリー商品フィールド群」と、「同一価格商品フィールド群」と、「その他商品フィールド群」とが含まれる。なお、図１２では、説明の便宜上、「第１候補商品フィールド群」と、「同一価格商品フィールド群」と、「異価格商品フィールド群」と「その他商品フィールド群」とが示されるが、通知情報においては、これらのフィールド群が、付加情報の内容によって区別される。
【0171】
そして、フィールド群＃１には、「付加情報」フィールドと、「商品ＩＤ」フィールドと、「個数情報」フィールドと、「識別確率」フィールドと、が含まれる。
【0172】
【0173】
【0174】
【0175】
付加情報フィールドには、例えば、４ビットの情報が含まれる。
【0176】
付加情報フィールドの４ビットのうち、１ビット目は、当該フィールドの後に、他のフィールド（例えば、商品ＩＤフィールド、個数情報フィールド）が存在するか否かを示す。例えば、他のフィールドが後続に存在しない場合、１ビット目には、「０」が設定され、他のフィールドが後続に存在する場合、１ビット目には、「１」が設定される。
【0177】
付加情報フィールドの４ビットのうち、２ビット目は、後続に存在する商品ＩＤフィールドの商品ＩＤの商品が、第１候補商品であるか否かを示す。例えば、後続に存在する商品ＩＤフィールドの商品ＩＤが、第１候補商品である場合、２ビット目には「０」が設定され、後続に存在する商品ＩＤフィールドの商品ＩＤが、第１候補商品ではない場合、２ビット目には「１」が設定される。
【0178】
付加情報フィールドの４ビットのうち、３ビット目は、後続に存在する商品ＩＤフィールドの商品ＩＤの商品が、第１候補商品と同一価格であるか否かを示す。例えば、後続に存在する商品ＩＤの商品の価格が第１候補商品と同じである場合、３ビット目には「０」が設定され、後続に存在する商品ＩＤの商品の価格が第１候補商品と同じではない場合、３ビット目には「１」が設定される。
【0179】
付加情報フィールドの４ビットのうち、４ビット目は、後続に存在する商品ＩＤフィールドの商品ＩＤの商品が、第１候補商品と同一カテゴリーであるか否かを示す。例えば、後続に存在する商品ＩＤの第２候補商品のカテゴリーが第１候補商品と同じである場合、３ビット目には「０」が設定され、後続に存在する商品ＩＤの第２候補商品のカテゴリーが第１候補商品と同じではない場合、３ビット目には「１」が設定される。
【0180】
【0181】
その他商品フィールド群の商品ＩＤフィールドには、第１候補商品のカテゴリー及び価格と異なるカテゴリー及び価格である第２候補商品の商品ＩＤが含まれる。例えば、図１１の例では、商品＃４の商品ＩＤが含まれる。
【0182】
その他商品フィールド群の個数情報フィールドは、その他商品フィールド群の商品ＩＤフィールドに対応づけられて設けられる。個数情報フィールドには、対応する商品ＩＤフィールドが示す商品ＩＤの商品の個数を示す情報が含まれる。
【0183】
その他商品フィールド群の識別確率フィールドは、その他商品フィールド群の商品ＩＤフィールドに対応づけられて設けられる。識別確率フィールドには、対応する商品ＩＤフィールドが示す商品ＩＤの商品の識別確率を示す情報が含まれる。例えば、図１１の例では、商品＃４の識別確率Ｐｘ＿４が含まれる。
【0184】
【0185】
＜第３の例の表示例＞
図１３Ａは、本実施の形態において、情報処理装置２０に表示される表示の第３の例を示す図である。図１３Ａは、例示的に、図１１Ａのような画像識別処理の識別結果が通知された場合の表示例である。
図１３Ａは、本実施の形態において、情報処理装置２０に表示される表示の第３の例を示す図である。図１３Ａは、例示的に、図１１Ａのような画像識別処理の識別結果が通知された場合の表示例である。
【0186】
図１３Ａには、識別対象商品Ｘの画像と、第１候補商品である商品＃２の画像と、第１候補商品と同一カテゴリーである第２候補商品である商品＃３の画像と、第１候補商品と同一価格である第２候補商品である商品＃１の画像と、が並べて示される。また、各商品の識別確率が合わせて示される。また、図１３Ａには、各商品のカテゴリーと価格とが示される。
【0187】
図１３Ｂは、本実施の形態において、情報処理装置２０に表示される表示の第３の例のバリエーションを示す図である。図１３Ｂは、例示的に、図１１Ｂのような画像識別処理の識別結果が通知された場合の表示例である。
【0188】
図１３Ｂには、識別対象商品Ｘの画像と、第１候補商品である商品＃２の画像と、第１候補商品と同一カテゴリーである第２候補商品である商品＃３の画像と、第１候補商品と同一価格である第２候補商品である商品＃１の画像と、第１候補商品とカテゴリー及び価格が同一ではない第２候補商品である商品＃４の画像と、が並べて示される。また、各商品の識別確率が合わせて示される。図１３Ｂの場合、商品＃２と商品＃４とのカテゴリー及び価格が同一ではない。この場合、店舗のスタッフに対して、目視による確認を促すメッセージが表示される。
【0189】
第３の例では、図１３Ａ、図１３Ｂに示すように、第２候補商品の価格が、第１候補商品と同一か否か、及び、第２候補商品のカテゴリーが、第１候補商品と同一か否かが表示される。また、カテゴリー及び価格が異なる場合は、第２候補商品のカテゴリー及び／又は価格も表示される。なお、カテゴリー及び／又は価格が異なる場合の表示態様（例えば、文字の色、大きさ、点滅の有無等）は、他の表示の態様と異ならせてもよい。表示態様を異ならせることによって、表示を確認する人に対して、カテゴリーが異なることが視覚的に強調される。
【0190】
また、識別結果が或る判定条件を満たす場合に、店舗のスタッフが、目視によって、購入しようとする商品（つまり、識別対象商品）を確認することを要求するメッセージを表示する。
【0191】
例えば、識別結果において、第１候補商品のカテゴリー及び／又は価格が異なる第２候補商品の識別確率が所定値以上であるという条件を満たす場合、店舗のスタッフが、目視によって、購入しようとする商品（つまり、識別対象商品）を確認することを要求するメッセージを表示する。なお、或る判定条件は、この例に限定されない。
【0192】
以上、第３の例では、端末１０が第１候補商品の価格と第２候補商品の価格との関係を示す情報と、第１候補商品のカテゴリーと第２候補商品のカテゴリーとの関係を示す情報とを情報処理装置２０に通知することによって、識別対象商品が第１候補商品である場合と第２候補商品である場合とで、顧客が支払う金額に差が生じるか否かを、店舗のスタッフが情報処理装置２０において確認できる。そのため、店舗のスタッフが、画像識別処理の識別結果が良好でない場合に確認に要する作業を省略でき、店舗のスタッフの作業量を軽減することができる。
【0193】
第３の例では、端末１０は、第１候補商品と第２候補商品との関係に基づいて、識別対象商品の確認を促すか否かを決定する。例えば、第１候補商品と第２候補商品との関係とは、第１の例のように、第１候補商品の価格と第２候補商品の価格との関係であってもよいし、第２の例のように、第１候補商品のカテゴリーと第２候補商品のカテゴリーとの関係であってもよい。そして、端末１０は、識別対象商品の確認を促すか否かを決定した場合、識別対象商品の確認を促す指示（例えば、通知情報）を送信する。
【0194】
なお、上述した実施の形態において、端末１０は、最も高い識別確率が第１閾値以上である場合、第１候補商品と第２候補商品との関係に関わらず、識別対象商品の確認を促さない、と決定してよい。
【0195】
また、上述した実施の形態において、端末１０は、第１候補商品の識別確率と、第２候補商品の識別確率とを含む通知情報を通知する。
【0196】
また、上述した実施の形態において、端末１０は、通知情報を含む信号を、情報処理装置２０（表示装置の一例）に送信する。
【0197】
また、上述した実施の形態において、情報処理装置２０が表示する例を示したが、端末１０が表示を行ってもよい。この場合、端末１０は、通知情報を含む信号を、端末１０の表示部に出力する。
【0198】
なお、上述した実施の形態において、第１候補商品の識別確率が第１閾値未満である場合に、店舗のスタッフに対するアラームが出力されてもよい。
【0199】
また、上述した実施の形態において、第２候補商品の中に、第１候補商品と同一価格の商品と、第１候補商品と異なる価格の商品とが含まれる場合、店舗のスタッフに対して、目視による確認を促すメッセージが表示されてもよい。また、第２候補商品の中に、第１候補商品と同一カテゴリーの商品と、第１候補商品と異なるカテゴリーの商品とが含まれる場合、店舗のスタッフに対して、目視による確認を促すメッセージが表示されてもよい。
【0200】
また、上述した実施の形態において、第２候補商品の価格と、第１候補商品の価格との差に応じて、店舗のスタッフに対する、メッセージが変更されてもよい。例えば、価格差が所定金額以上である場合に、店舗のスタッフに対して、目視による確認を促すメッセージが表示され、所定金額未満である場合に、目視による確認を促すメッセージが表示されなくてもよい。あるいは、価格差が所定金額以上である場合と所定金額未満である場合の両方で目視による確認を促すメッセージが表示されてもよい。この場合、価格差が所定金額以上である場合とそうでない場合とで、メッセージ内容を変更してもよい。例えば、価格差が所定金額未満である場合、店員の時間や作業等のスケジュールに余裕があれば、目視による確認を促す旨のメッセージを表示してもよい。また、価格差が大きい場合は店員のスケジュールにかかわらず目視による確認を促す旨のメッセージを表示し、中程度の場合は店員のスケジュールに応じて当該メッセージを表示するかしないかを切り替え、小程度の場合は当該メッセージを表示しないようにしてもよい。
【0201】
また、上述した実施の形態では、情報処理装置２０において、店舗のスタッフに対して、目視による確認を促すメッセージが表示される例を示したが、本開示はこれに限定されない。誤認識される可能性の高い識別対象商品の決済を正確に行うために必要な作業であれば、どのような作業を店舗のスタッフに指示してもよい。具体的には、顧客を手動での決済に誘導するよう指示すること等が考えられる。また、通知を行う相手も店舗のスタッフには限らない。例えば、端末１０の表示部において、端末１０を使用している顧客に対して、商品の画像識別処理の再処理を促すメッセージが表示されてもよい。これにより、店舗のスタッフが確認を行わずに、自動決済の精度を向上できる。例えば、顧客に対するメッセージの表示回数は、顧客が不快に感じない程度の所定の回数に設定されてもよい。なお、所定の回数だけ顧客に対するメッセージを表示しても、識別確率が改善しない場合、店舗のスタッフに対して、目視による確認を促すメッセージを表示してもよい。また、この場合、識別確率の改善が見込まれない場合にのみ目視による確認を促すメッセージを表示してもよい。識別確率の改善が見込まれない場合の例としては、例えば、メッセージを所定の回数以上表示しても、識別確率が改善した量があらかじめ定められた閾値を超えない場合が挙げられる。
【0202】
また、上述した実施の形態において、顧客及び／又は店舗のスタッフが、カートによる自動決済からスタッフがレジにて決済を行うレジ決済に変更することを選択してもよい。例えば、第１候補商品の識別確率が第１閾値未満であり、アラームが出力された場合に、アラームを確認した顧客及び／又は店舗のスタッフが、レジ決済を選択してもよい。レジ決済に変更された場合、目視による確認を促すメッセージが表示されなくてもよい。
【0203】
また、上述した実施の形態において、店舗の混雑状況（例えば、該当するカートの周辺の人の数）に応じて、目視による確認を促すメッセージの有無が変更されてもよい。例えば、店舗が混雑している場合（例えば、人の密度が所定レベル以上である場合）には、スタッフが対象の顧客の場所に駆けつけることが困難であるため、目視による確認を促すメッセージが表示されなくてもよい。この場合、対象の顧客を所定の場所に移動させ、所定の場所に、スタッフが駆けつけるような対応を行ってもよい。
【0204】
＜処理の流れの例＞
次に、本実施の形態における端末１０及び情報処理装置２０の処理の流れを説明する。なお、以下に説明する処理の流れは、例示的に、上述した第３の例に対応する。
次に、本実施の形態における端末１０及び情報処理装置２０の処理の流れを説明する。なお、以下に説明する処理の流れは、例示的に、上述した第３の例に対応する。
【0205】
図１４は、本実施の形態に係る端末１０の処理の流れの例を示すフローチャートである。図１４に示すフローは、例えば、端末１０が起動した場合、あるいは、顧客が端末１０の使用を開始した場合に、開始されてもよい。
【0206】
端末１０は、決済タイミングであるか否かを判定する（Ｓ１０１）。決済タイミングは、例えば、顧客が、端末１０に対して、決済を行う旨の指示を入力したタイミングであってよい。
【0207】
決済タイミングではない場合（Ｓ１０１にてＮＯ）、フローはＳ１０１へ戻り、端末１０は、決済タイミングを待つ。
【0208】
決済タイミングである場合（Ｓ１０１にてＹＥＳ）、端末１０は、識別対象商品の画像識別処理を行う（Ｓ１０２）。これにより、識別対象商品のそれぞれについて、候補商品の識別確率が算出される。
【0209】
端末１０は、識別結果の分類を開始する（Ｓ１０３）。端末１０は、１つの識別対象商品について、候補商品のそれぞれの識別確率を比較し、最も高い識別確率に対応する第１候補商品を決定する。端末１０は、最も高い識別確率が第１閾値以上である場合、識別対象商品が第１候補商品に該当する、と決定する。最も高い識別確率が第１閾値以上ではない場合、画像識別部１０２は、２番目以降に高い識別確率の中で、第２閾値以上となる識別確率を決定し、決定した識別確率に対応する第２候補商品、を決定する。そして、端末１０は、識別対象商品について、第１候補商品と第２候補商品との関係に基づいて、識別結果を分類する。以下、Ｓ１０４～Ｓ１０８の処理は、１つの識別対象商品についての分類処理である。識別対象商品が複数存在する場合、Ｓ１０４～Ｓ１０８の処理は、識別対象商品のそれぞれについて行われる。また、１つの識別対象商品について、第２候補商品が複数存在する場合、Ｓ１０４～Ｓ１０８の処理は、第２候補商品のそれぞれについて行われる。
【0210】
端末１０は、第２候補商品が第１候補商品と同一価格であるか否かを判定する（Ｓ１０４）。
【0211】
第２候補商品が第１候補商品と同一価格である場合（Ｓ１０４にてＹＥＳ）、端末１０は、第２候補商品が第１候補商品と同じカテゴリーであるか否かを判定する（Ｓ１０５）。
【0212】
第２候補商品が第１候補商品と同じカテゴリーである場合（Ｓ１０５にてＹＥＳ）、端末１０は、当該第２候補商品は、第１候補商品と同一カテゴリー商品であるとして分類する（Ｓ１０６）。なお、同一カテゴリー商品であるとして分類される第２候補商品が複数存在する場合、個数及び／又は識別確率が纏められてもよい。
【0213】
第２候補商品が第１候補商品と同じカテゴリーではない場合（Ｓ１０５にてＮＯ）、端末１０は、当該第２候補商品は、同一価格商品であるとして分類する（Ｓ１０７）。なお、同一価格商品であるとして分類される第２候補商品が複数存在する場合、個数及び／又は識別確率が纏められてもよい。
【0214】
第２候補商品が第１候補商品と同一価格ではない場合（Ｓ１０４にてＮＯ）、端末１０は、当該第２候補商品は、第１候補商品と異なる価格の商品であるとして分類する（Ｓ１０８）。
【0215】
端末１０は、Ｓ１０６～Ｓ１０８の結果に基づいて、通知情報を生成し、通知情報を送信する（Ｓ１０９）。そして、図１４のフローは終了する。
【0216】
【0217】
情報処理装置２０は、端末１０から通知情報を受信したか否かを判定する（Ｓ２０１）。
【0218】
端末１０から通知情報を受信しない場合（Ｓ２０１にてＮＯ）、フローはＳ２０１へ戻り、情報処理装置２０は、通知情報を待つ。
【0219】
端末１０から通知情報を受信した場合（Ｓ２０１にてＹＥＳ）、情報処理装置２０は、通知情報を分析する（Ｓ２０２）。
【0220】
情報処理装置２０は、分析の結果、第１候補商品と同一カテゴリー商品である第２候補商品が存在するか否かを判定する（Ｓ２０３）。
【0221】
第１候補商品と同一カテゴリー商品である第２候補商品が存在する場合（Ｓ２０３にてＹＥＳ）、情報処理装置２０は、同一カテゴリー商品が存在することを示す表示方法で表示を行う（Ｓ２０４）。そして、図１５のフローは、終了する。
【0222】
第１候補商品と同一カテゴリー商品である第２候補商品が存在しない場合（Ｓ２０３にてＮＯ）、情報処理装置２０は、第１候補商品と同一価格商品である第２候補商品が存在するか否かを判定する（Ｓ２０５）。
【0223】
第１候補商品と同一価格商品である第２候補商品が存在する場合（Ｓ２０５にてＹＥＳ）、情報処理装置２０は、同一価格商品が存在することを示す表示方法で表示を行う（Ｓ２０６）。そして、図１５のフローは、終了する。
【0224】
第１候補商品と同一価格商品である第２候補商品が存在しない場合（Ｓ２０５にてＮＯ）、情報処理装置２０は、同一価格商品及び同一カテゴリー商品が存在しないことを示す表示方法で表示を行う（Ｓ２０７）。そして、図１５のフローは、終了する。
【0225】
＜装置構成の例＞
図１６は、本実施の形態に係る端末１０の構成例を示す図である。図１６に示す端末１０は、記憶部１０１と、画像識別部１０２と、画像識別結果分類部１０３と、通知情報生成部１０４と、通信部１０５と、を有する。画像識別部１０２と、画像識別結果分類部１０３と、通知情報生成部１０４との１つ以上は、まとめて、制御部又は処理部と称されてもよい。また、端末１０は、情報処理装置と称されてもよい。
図１６は、本実施の形態に係る端末１０の構成例を示す図である。図１６に示す端末１０は、記憶部１０１と、画像識別部１０２と、画像識別結果分類部１０３と、通知情報生成部１０４と、通信部１０５と、を有する。画像識別部１０２と、画像識別結果分類部１０３と、通知情報生成部１０４との１つ以上は、まとめて、制御部又は処理部と称されてもよい。また、端末１０は、情報処理装置と称されてもよい。
【0226】
記憶部１０１には、候補商品に関する情報が予め記憶されている。候補商品に関する情報には、候補商品の画像と、候補商品の商品ＩＤと、候補商品のカテゴリーと、候補商品のタイプと、候補商品の価格とが含まれる。
【0227】
画像識別部１０２は、識別対象商品の画像を取得する。識別対象商品の画像は、例えば、端末１０に搭載されたカメラ（図１６では省略）、または、端末１０と有線あるいは無線により接続するカメラ（図１６では省略）から取得される。画像識別部１０２は、識別対象商品の画像と記憶部１０１に記憶されている候補商品の画像とに基づいて、識別対象商品の画像と候補商品の画像との類似度を示す識別確率を算出する。画像識別部１０２は、１つの識別対象商品について、候補商品のそれぞれの識別確率を比較し、最も高い識別確率に対応する第１候補商品を決定する。最も高い識別確率が第１閾値以上である場合、識別対象商品が第１候補商品に該当する、と決定する。最も高い識別確率が第１閾値以上ではない場合、画像識別部１０２は、２番目以降に高い識別確率の中で、第２閾値以上となる識別確率を決定し、決定した識別確率に対応する第２候補商品、を決定する。
【0228】
画像識別結果分類部１０３は、識別対象商品について、第１候補商品と第２候補商品との関係に基づいて、識別対象商品の確認を促すか否かを決定する。例えば、画像識別結果分類部１０３は、第１候補商品の価格と第２候補商品の価格との関係、及び／又は、第１候補商品のカテゴリーと第２候補商品のカテゴリーとの関係に基づいて、第１候補商品に対する第２候補商品の識別結果を分類する。そして、画像識別結果分類部１０３は、その分類において、所定の条件を満たす第２候補商品が存在する場合、識別対象商品の確認を促すと決定し、所定の条件を満たす第２候補商品が存在しない場合、識別対象商品の確認を促さない、と決定する。例えば、第１候補商品の価格と異なる価格の第２候補商品が存在する場合、及び／又は、第１候補商品のカテゴリーと異なるカテゴリーの第２候補商品が存在する場合、識別対象商品の確認を促すと決定されてもよい。なお、第２候補商品が２つ以上存在するケースでは、第１候補商品の価格と少なくとも１つの第２候補商品の価格とが異なる場合、及び／又は、第１候補商品のカテゴリーと少なくとも１つの第２候補商品のカテゴリーとが異なる場合、識別対象商品の確認を促すと決定されてもよい。
【0229】
通知情報生成部１０４は、分類結果に応じて、上述した通知情報のフォーマットに従った通知情報を生成する。例えば、上述した所定の条件を満たす第２候補商品が存在することを示す通知情報は、識別対象商品の確認を促す指示に相当する。
【0230】
通信部１０５は、通知情報を情報処理装置２０へ送信する。
【0231】
上述した端末１０は、画像識別部１０２（取得部の一例）が、画像識別の識別対象商品の画像を取得する。そして、画像識別部１０２及び画像識別結果分類部１０３（制御部の一例）が、識別対象商品の画像と、登録されている候補商品の画像それぞれとの間の識別確率（類似度の一例）のうち、最も高い識別確率と、２番目以降の識別確率とを決定し、最も高い識別確率に対応する第１候補商品と２番目以降の識別確率に対応する第２候補商品との関係に基づいて、識別対象商品の確認を促すか否かを決定する。そして、通信部１０５（出力部の一例）は、識別対象商品の確認を促す指示を送信する。
【0232】
図１７は、本実施の形態に係る情報処理装置２０の構成例を示す図である。情報処理装置２０は、通信部２０１と、識別結果分析部２０２と、表示方法選択部２０３と、表示部２０４とを有する。識別結果分析部２０２と、表示方法選択部２０３との１つ以上は、まとめて、制御部又は処理部と称されてもよい。
【0233】
通信部２０１は、端末１０から、通知情報を受信する。
【0234】
識別結果分析部２０２は、受信した通知情報に含まれる、識別結果を分析する。例えば、識別結果分析部２０２は、第１候補商品の価格と第２候補商品の価格とが同じであるか否か、及び／又は、第１候補商品のカテゴリーと第２候補商品のカテゴリーとが同じであるか否かを分析する。
【0235】
表示方法選択部２０３は、画像識別結果分析部２０２の分析結果に応じて、表示方法を選択する。例えば、表示方法選択部２０３は、第１候補商品の価格と第２候補商品の価格とが同じであるか否か、及び／又は、第１候補商品のカテゴリーと第２候補商品のカテゴリーとが同じであるか否かに応じて、表示する情報（価格、カテゴリー、識別確率）を選択したり、あるいは、表示する情報の表示態様を設定する。例えば、表示方法選択部２０３は、第１候補商品のカテゴリー及び／又は価格が異なる第２候補商品の識別確率が所定値以上であるという条件を満たす場合、店舗のスタッフが、目視によって、購入しようとする商品（つまり、識別対象商品）を確認することを要求するメッセージを表示するように表示方法を選択する。
【0236】
表示部２０４は、表示方法選択部２０３によって選択（又は設定）された表示方法に従って、情報を表示する。
【0237】
なお、図１６及び図１７においては、端末１０が画像識別処理を行う例を示すが、本開示はこれに限定されない。例えば、情報処理装置２０が画像識別処理を行ってもよい。この場合、端末１０は、識別対象商品の画像を取得し、取得した識別対象商品の画像を情報処理装置２０へ送信する。また、この場合、記憶部１０１と、画像識別部１０２と、画像識別結果分類部１０３とは、情報処理装置２０に含まれてもよい。また、この場合、通知情報は不要となるため、通知情報生成部１０４は省略される。
【0238】
また、上記実施の形態において、情報処理装置２０が、店舗のスタッフが待機する監視場所に設けられ、店舗のスタッフに対する情報を表示する例を示したが、本開示はこれに限定されない。例えば、情報処理装置２０が、店舗のスタッフが有する端末に店舗のスタッフに対する情報を送信し、店舗のスタッフが所有する端末が、当該情報を表示してもよい。あるいは、情報処理装置２０が、店舗のスタッフによって所有され、持ち歩かれてもよい。
【0239】
また、上記実施の形態において店舗のスタッフまたは顧客に対して行う通知は、メッセージの表示には限らず、音声等であってもよい。
【0240】
以上、各実施の形態について説明した。
【0241】
なお、上記実施の形態における「・・・部」は、「・・・回路（circuitry）」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」であってもよい。
【0242】
本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。
【0243】
上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部又は全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【0244】
集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。
【0245】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【0246】
本開示は、通信機能を持つあらゆる種類の装置、デバイス、システム（通信装置と総称）において実施可能である。通信装置の、非限定的な例としては、電話機（携帯電話、スマートフォン等）、タブレット、パーソナル・コンピューター（ＰＣ）（ラップトップ、デスクトップ、ノートブック等）、カメラ（デジタル・スチル／ビデオ・カメラ等）、デジタル・プレーヤー（デジタル・オーディオ／ビデオ・プレーヤー等）、着用可能なデバイス（ウェアラブル・カメラ、スマートウオッチ、トラッキングデバイス等）、ゲーム・コンソール、デジタル・ブック・リーダー、テレヘルス・テレメディシン（遠隔ヘルスケア・メディシン処方）デバイス、通信機能付きの乗り物又は移動輸送機関（自動車、飛行機、船等）、及び上述の各種装置の組み合わせがあげられる。
【0247】
通信装置は、持ち運び可能又は移動可能なものに限定されず、持ち運びできない又は固定されている、あらゆる種類の装置、デバイス、システム、例えば、スマート・ホーム・デバイス（家電機器、照明機器、スマートメーター又は計測機器、コントロール・パネル等）、自動販売機、その他ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）ネットワーク上に存在し得るあらゆる「モノ（Things）」をも含む。
【0248】
通信には、セルラーシステム、無線ＬＡＮシステム、通信衛星システム等によるデータ通信に加え、これらの組み合わせによるデータ通信も含まれる。
【0249】
また、通信装置には、本開示に記載される通信機能を実行する通信デバイスに接続又は連結される、コントローラやセンサ等のデバイスも含まれる。例えば、通信装置の通信機能を実行する通信デバイスが使用する制御信号やデータ信号を生成するような、コントローラやセンサが含まれる。
【0250】
また、通信装置には、上記の非限定的な各種装置と通信を行う、あるいはこれら各種装置を制御する、インフラストラクチャ設備、例えば、基地局、アクセスポイント、その他あらゆる装置、デバイス、システムが含まれる。
【0251】
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
【0252】
以上、本開示の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
【産業上の利用可能性】
【0253】
本開示は、無線通信システムに好適である。
【符号の説明】
【0254】
１０ 端末
２０ 情報処理装置
１０１ 記憶部
１０２ 画像識別部
１０３ 画像識別結果分類部
１０４ 通知情報生成部
１０５、２０１ 通信部
２０２ 画像識別結果分析部
２０３ 表示方法選択部
２０４ 表示部
２０ 情報処理装置
１０１ 記憶部
１０２ 画像識別部
１０３ 画像識別結果分類部
１０４ 通知情報生成部
１０５、２０１ 通信部
２０２ 画像識別結果分析部
２０３ 表示方法選択部
２０４ 表示部
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図9】
【図10A】
【図10B】
【図11A】
【図11B】
【図12】
【図13A】
【図13B】
【図14】
【図15】
【図16】
【図17】