知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024143259
(43)【公開日】2024-10-11
(54)【発明の名称】情報処理システム、情報処理方法、情報処理装置
(51)【国際特許分類】
G07G 1/01 20060101AFI20241003BHJP
G07G 1/00 20060101ALI20241003BHJP
G06F 3/0481 20220101ALI20241003BHJP
【ＦＩ】
G07G1/01 301D
G07G1/00 311E
G06F3/0481
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023055837
(22)【出願日】2023-03-30
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(72)【発明者】
【氏名】玉井 直行
【テーマコード（参考）】
3E142
5E555
【Ｆターム（参考）】
3E142AA01
3E142AA03
3E142AA07
3E142CA12
3E142CA20
3E142DA08
3E142GA02
3E142GA03
3E142GA35
3E142GA41
3E142JA01
5E555AA44
5E555BA34
5E555BB34
5E555BC08
5E555CA42
5E555CB48
5E555DB04
5E555DB18
5E555DB41
5E555DB53
5E555DB56
5E555DC05
5E555EA22
5E555FA00
(57)【要約】
【課題】従来技術では、ユーザが購入したい商品の登録における利便性に関して改善の余地がある。
【解決手段】本開示の一実施形態に係る情報処理システムは、撮像部が撮像した物体の画像を含む第１画像を取得する取得部と、前記物体に関する情報を取得する制御部と、前記第１画像を表示する第１領域と、第２領域と、前記第１領域と隣り合う第３領域を含む表示部と、を備える。前記制御部は、前記物体の移動によって前記物体の画像が前記第１領域から前記第３領域へ移動したとき、前記第３領域の表示態様を変化させて第１表示態様とし、前記物体に関する情報を前記第２領域に表示させる。
【選択図】図９
【解決手段】本開示の一実施形態に係る情報処理システムは、撮像部が撮像した物体の画像を含む第１画像を取得する取得部と、前記物体に関する情報を取得する制御部と、前記第１画像を表示する第１領域と、第２領域と、前記第１領域と隣り合う第３領域を含む表示部と、を備える。前記制御部は、前記物体の移動によって前記物体の画像が前記第１領域から前記第３領域へ移動したとき、前記第３領域の表示態様を変化させて第１表示態様とし、前記物体に関する情報を前記第２領域に表示させる。
【選択図】図９
【特許請求の範囲】
【請求項1】
撮像部が撮像した物体の画像を含む第１画像を取得する取得部と、
前記物体に関する情報を取得する制御部と、
前記第１画像を表示する第１領域と、第２領域と、前記第１領域と隣り合う第３領域を含む表示部と、を備え、
前記制御部は、前記物体の移動によって前記物体の画像が前記第１領域から前記第３領域へ移動したとき、前記第３領域の表示態様を変化させて第１表示態様とし、前記物体に関する情報を前記第２領域に表示させる
情報処理システム。
前記物体に関する情報を取得する制御部と、
前記第１画像を表示する第１領域と、第２領域と、前記第１領域と隣り合う第３領域を含む表示部と、を備え、
前記制御部は、前記物体の移動によって前記物体の画像が前記第１領域から前記第３領域へ移動したとき、前記第３領域の表示態様を変化させて第１表示態様とし、前記物体に関する情報を前記第２領域に表示させる
情報処理システム。
【請求項2】
前記制御部は、前記物体の画像が前記第１領域から前記第３領域へ移動したとき、前記第２領域に、前記物体を示す登録画像又は前記物体の画像の少なくとも何れか一方を表示させる
請求項１に記載の情報処理システム。
請求項１に記載の情報処理システム。
【請求項3】
前記制御部は、前記物体の画像の表示位置から、前記第２領域に向かって、前記登録画像又は前記物体の画像の少なくとも何れか一方を移動させる
請求項２に記載の情報処理システム。
請求項２に記載の情報処理システム。
【請求項4】
前記制御部は、前記物体の画像の表示位置から、前記第２領域内の所定の領域に向かって、前記登録画像又は前記物体の画像の少なくとも何れか一方を移動させる
請求項３に記載の情報処理システム。
請求項３に記載の情報処理システム。
【請求項5】
前記制御部は、前記第３領域側の前記第１領域の外側の領域から前記第１領域の中へ移動する物体の画像を検知したとき、前記第２領域に表示された前記物体に関する情報の修正をするための修正処理を開始する
請求項１または２に記載の情報処理システム。
請求項１または２に記載の情報処理システム。
【請求項6】
前記制御部は、前記修正処理の開始の前に、前記第３領域を第２表示態様へ変化させる
請求項５に記載の情報処理システム。
請求項５に記載の情報処理システム。
【請求項7】
前記制御部は、前記物体の画像が前記第１領域から前記第３領域へ移動した場合、前記第２領域に表示される前記物体の個数を報知させる
請求項１に記載の情報処理システム。
請求項１に記載の情報処理システム。
【請求項8】
前記第３領域は、前記第１領域と前記第２領域との間に位置する
請求項１に記載の情報処理システム。
請求項１に記載の情報処理システム。
【請求項9】
撮像部が撮像した物体の画像を含む第１画像を取得する取得部と、
前記物体に関する情報を取得する制御部と、
前記第１画像を表示する第１領域と、第２領域と、前記第１領域と前記第１領域の外との境界を含む、前記第１領域と隣り合う第３領域を含む表示部と、を備え、
前記制御部は、前記物体の移動によって前記物体の画像が前記第１領域から前記第３領域へ移動したとき、前記物体の画像の表示位置から前記第２領域内の所定の領域に向かって、登録画像又は前記物体の画像の少なくとも一方を移動させる
情報処理システム。
前記物体に関する情報を取得する制御部と、
前記第１画像を表示する第１領域と、第２領域と、前記第１領域と前記第１領域の外との境界を含む、前記第１領域と隣り合う第３領域を含む表示部と、を備え、
前記制御部は、前記物体の移動によって前記物体の画像が前記第１領域から前記第３領域へ移動したとき、前記物体の画像の表示位置から前記第２領域内の所定の領域に向かって、登録画像又は前記物体の画像の少なくとも一方を移動させる
情報処理システム。
【請求項10】
撮像部が撮像した物体の画像を含む第１画像を取得する工程と、
前記物体に関する情報を取得する工程と、
前記第１画像を表示する第１領域から、前記第１領域と隣り合う第３領域へ前記物体の画像が移動したとき、前記第３領域の表示態様を変化させ、前記物体に関する情報を第２領域に表示させる工程と、を含む
情報処理方法。
前記物体に関する情報を取得する工程と、
前記第１画像を表示する第１領域から、前記第１領域と隣り合う第３領域へ前記物体の画像が移動したとき、前記第３領域の表示態様を変化させ、前記物体に関する情報を第２領域に表示させる工程と、を含む
情報処理方法。
【請求項11】
撮像部が撮像した物体の画像を含む第１画像を取得する取得部と、
前記物体に関する情報を取得する制御部と、
前記第１画像を表示する第１領域と、第２領域と、前記第１領域と隣り合う第３領域を含む表示部と、を備え、
前記制御部は、前記物体の移動によって前記物体の画像が前記第１領域から前記第３領域へ移動したとき、前記第３領域の表示態様を変化させて第１表示態様とし、前記物体に関する情報を前記第２領域に表示させる
情報処理装置。
前記物体に関する情報を取得する制御部と、
前記第１画像を表示する第１領域と、第２領域と、前記第１領域と隣り合う第３領域を含む表示部と、を備え、
前記制御部は、前記物体の移動によって前記物体の画像が前記第１領域から前記第３領域へ移動したとき、前記第３領域の表示態様を変化させて第１表示態様とし、前記物体に関する情報を前記第２領域に表示させる
情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は情報処理システム、情報処理方法及び情報処理装置に関する。
【背景技術】
【0002】
従来、商品代金の精算処理のために、物体を撮像装置等によって撮像し、物体が何れの商品であるかを認識する技術が知られている。例えば、特許文献１には、複数の物品が配置される所定の場所を撮影した画像を取得する画像インタフェースを備える物品認識装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１８－１２９０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術では、ユーザが購入したい商品の登録における利便性に関して改善の余地がある。
【0005】
上述した従来の事情に鑑みてなされた本開示は、ユーザの利便性を向上させられる情報処理システムの提供を目的とする。
【課題を解決するための手段】
【0006】
本開示の一実施形態に係る情報処理システムは、
撮像部が撮像した物体の画像を含む第１画像を取得する取得部と、
前記物体に関する情報を取得する制御部と、
前記第１画像を表示する第１領域と、第２領域と、前記第１領域と隣り合う第３領域を含む表示部と、を備え、
前記制御部は、前記物体の移動によって前記物体の画像が前記第１領域から前記第３領域へ移動したとき、前記第３領域の表示態様を変化させて第１表示態様とし、前記物体に関する情報を前記第２領域に表示させる。
撮像部が撮像した物体の画像を含む第１画像を取得する取得部と、
前記物体に関する情報を取得する制御部と、
前記第１画像を表示する第１領域と、第２領域と、前記第１領域と隣り合う第３領域を含む表示部と、を備え、
前記制御部は、前記物体の移動によって前記物体の画像が前記第１領域から前記第３領域へ移動したとき、前記第３領域の表示態様を変化させて第１表示態様とし、前記物体に関する情報を前記第２領域に表示させる。
【0007】
本開示の一実施形態に係る情報処理方法は、
撮像部が撮像した物体の画像を含む第１画像を取得する工程と、
前記物体に関する情報を取得する工程と、
前記第１画像を表示する第１領域から、前記第１領域と隣り合う第３領域へ前記物体の画像が移動したとき、前記第３領域の表示態様を変化させ、前記物体に関する情報を第２領域に表示させる工程と、を含む。
撮像部が撮像した物体の画像を含む第１画像を取得する工程と、
前記物体に関する情報を取得する工程と、
前記第１画像を表示する第１領域から、前記第１領域と隣り合う第３領域へ前記物体の画像が移動したとき、前記第３領域の表示態様を変化させ、前記物体に関する情報を第２領域に表示させる工程と、を含む。
【0008】
本開示の一実施形態に係る情報処理装置は、
撮像部が撮像した物体の画像を含む第１画像を取得する取得部と、
前記物体に関する情報を取得する制御部と、
前記第１画像を表示する第１領域と、第２領域と、前記第１領域と隣り合う第３領域を含む表示部と、を備え、
前記制御部は、前記物体の移動によって前記物体の画像が前記第１領域から前記第３領域へ移動したとき、前記第３領域の表示態様を変化させて第１表示態様とし、前記物体に関する情報を前記第２領域に表示させる。
撮像部が撮像した物体の画像を含む第１画像を取得する取得部と、
前記物体に関する情報を取得する制御部と、
前記第１画像を表示する第１領域と、第２領域と、前記第１領域と隣り合う第３領域を含む表示部と、を備え、
前記制御部は、前記物体の移動によって前記物体の画像が前記第１領域から前記第３領域へ移動したとき、前記第３領域の表示態様を変化させて第１表示態様とし、前記物体に関する情報を前記第２領域に表示させる。
【発明の効果】
【0009】
本開示の一実施形態によれば、ユーザの利便性を向上させられる。
【図面の簡単な説明】
【0010】
【図1】本開示の一実施形態に係る精算システムの概略構成である。
【図4】本開示の一実施形態に係る、容器を載置した載置台である。
【図5】撮像部によって取得された撮像画像である。
【図6】物体のカテゴリ認識処理が行われる際の、載置台の様子である。
【図7】ユーザによって持ち上げられた物体を含む撮像画像３１の例である。
【図8】物体の名称を表示させた画像である。
【図9】物体の名称が表示された購入リストの画像である。
【図10】誤認識されているとの入力を受け付けたときに、正しい物体の候補が表示部１３に表示された一例である。
【図11】、物体が登録された購入リストを表示する画像の一例である。
【図12】物体を再度撮影するように促す画像である。
【図13】容器中に含まれていた物体をすべて認識した後の画像である。
【図14】認識されていない物体の有無の確認を促す画像である。
【図15】本開示の一実施形態に係る情報処理方法の手順を示すフローチャートである。
【図16】物体を載置台の上面に載置したときの情報処理システムの一例である。
【図17】載置台の上面に載置された物体を含む画像の一例である。
【図18】未登録商品が残っていることをユーザへ通知する画像の一例である。
【図19】本開示の変形例１に係る情報処理方法の手順を示すフローチャートである。
【図20】ユーザによって持ち上げられた物体を含む画像の一例である。
【図21】第１物体２４１ａの数の入力を促す第６画像２３７の一例である。
【図22】第１物体２４１ａの情報を含む第２画像２３２の一例である。
【図23】本開示の変形例２に係る情報処理方法の手順を示すフローチャートである。
【図24】割引情報が付与された第１物体３４１ａを含む第１画像３３１の一例である。
【図25】第１物体３４１ａを含む第２画像３３２の一例である。
【図26】第２物体３４１ｂの情報を含む画像３３２の一例である。
【図27】修正する項目の入力を促す修正画像３３７の一例である。
【図28】割引画像３４５ｂを再度撮影するように促す第３画像３３４ｂの一例である。
【図29】本開示の変形例３に係る情報処理方法の手順を示すフローチャートである。
【図30】制御部が会計開始を指示する操作を受け付けたときの画像の一例である。
【図31】認識処理を開始したときに表示部へ表示される画像の一例である。
【図32】物体を認識したときに表示部へ表示される画像の一例である。
【図33】本開示の変形例４に係る情報処理方法の手順を示すフローチャートである。
【図34】物体を収容した容器を載置した載置台の様子である。
【発明を実施するための形態】
【0011】
以下、本開示の実施形態について、図面を参照して説明する。
【0012】
（システムの構成）
図１を用いて精算システム１の概要を説明する。精算システム１は、例えばＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）システムであってよい。精算システム１は、少なくとも１つの情報処理システム３と、サーバ４とを含む。本実施形態では、精算システム１は、複数の情報処理システム３を含んでよい。
図１を用いて精算システム１の概要を説明する。精算システム１は、例えばＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）システムであってよい。精算システム１は、少なくとも１つの情報処理システム３と、サーバ４とを含む。本実施形態では、精算システム１は、複数の情報処理システム３を含んでよい。
【0013】
情報処理システム３は、任意の店舗に設けられてよい。例えば、情報処理システム３は、コンビニエンスストア、スーパーマーケット又はレストラン等に設けられる。
【0014】
情報処理システム３とサーバ４とは、ネットワーク２を介して接続され、互いに通信可能である。ネットワーク２は、インターネット等を含む任意のネットワークであってよい。
【0015】
情報処理システム３は、顧客が購入した物体の価格の合計金額、顧客が購入した個々の物体の情報、顧客が購入した物体の価格等の情報を処理結果として、ネットワーク２を介してサーバ４に送信する。
【0016】
サーバ４は、情報処理システム３からネットワーク２を介して情報処理システム３の処理結果を受信する。サーバ４では、在庫状況等を管理するソフトウェアが実行され、受信した処理結果に基づいて、情報処理システム３が設けられた店舗の在庫状況等を管理する。
【0017】
図２を用いて、情報処理システム３の概要を説明する。
【0018】
本実施形態に係る情報処理システム３は、例えば、レジである。「レジ」とは「キャッシュレジスター」を短縮した語であり、例えば購入する商品金額の清算と支払を行うために用いられる。情報処理システム３は、無人レジ、有人レジ、セルフレジやセミセルフレジであってよい。
【0019】
図２に示す様に、情報処理システム３は、載置台１０と、情報処理装置２０とを含んで構成される。情報処理システム３は、支持柱１１と、第１の撮像部１２、表示部１３と、第２の撮像部１４と、測定部１５をさらに含む。本実施形態では、情報処理装置２０は、第１の撮像部１２、表示部１３、測定部１５とは別の装置として構成される。情報処理装置２０は、表示部１３、第１の撮像部１２、測定部１５、支持柱１１、載置台１０及び第２の撮像部１４の少なくとも何れかと一体的に構成されてよい。
【0020】
載置台１０は、少なくとも第１上面１０ｓ、第２上面１０ｔを含む。第１上面１０ｓと第２上面１０ｔとは、互いに隣接してよい。第１上面１０ｓ、第２上面１０ｔは、ユーザが購入したい物体や買い物かご等の容器を載置することができるように平らに形成されている。本実施形態において、第１上面１０ｓと、第２上面１０ｔは、略長方形状であるが、これに限定されず、円形状など任意の形状であってよい。第１上面１０ｓと、第２上面１０ｔとは、互いに高さが異なってよく、本実施形態では、第１上面１０ｓは第２上面１０ｔに対して高くなるように構成されている。
【0021】
第２上面１０ｔには支持柱１１が取り付けられる。支持柱１１は、任意の材料で作られ、柱状に形成された部材である。支持柱１１は、例えば第２上面１０ｔの側方に一方の端部が取り付けられ、他方の端部が第２上面１０ｔの上方に位置する。
【0022】
第１の撮像部１２は、支持柱１１の端部に、第２上面１０ｔを上方から撮像可能に取り付けられる。第１の撮像部１２と情報処理装置２０とは互いに通信可能に接続される。第
１の撮像部１２は、情報処理装置２０に制御され、載置台１０の第１上面１０ｓと第２上面１０ｔの少なくとも一部又は全部を撮像することができる。
１の撮像部１２は、情報処理装置２０に制御され、載置台１０の第１上面１０ｓと第２上面１０ｔの少なくとも一部又は全部を撮像することができる。
【0023】
第１の撮像部１２は、撮像した被写体の画像を生成可能である。一例として、第１の撮像部１２はカメラであってよい。第１の撮像部１２は、任意のフレームレートで連続的に静止画を撮像してよい。第１の撮像部１２は、動画像を撮像してよい。第１の撮像部１２は、任意の空間のみの画像を生成可能する機能を有してよい。具体的には、第１の撮像部１２から、指定された距離範囲の空間のみの画像を生成可能であってよい。第１の撮像部１２はデプスカメラであってよい。
【0024】
表示部１３は、例えば情報処理装置２０に載置され、ユーザに様々な情報を提供する。表示部１３は、任意のディスプレイであってよい。表示部１３と情報処理装置２０とは互いに接続されてよい。表示部１３は、情報処理装置２０に制御され、第１の撮像部１２が撮像した画像を表示する。表示部１３は、後述する入力部２２のタッチスクリーンの機能を有してよい。
【0025】
第２の撮像部１４は、載置台１０の上方の天井へ固定されてよい。第２の撮像部１４と情報処理装置２０とは互いに通信可能に接続される。第２の撮像部１４は、撮像した被写体の画像を生成可能である。一例として、第２の撮像部１４はカメラであってよい。第２の撮像部１４は、情報処理装置２０に制御され、載置台１０及びその周囲を撮像することができる。第２の撮像部１４が撮像する画像には、載置台１０の前にいるユーザ及び情報処理システム３を使用するために並ぶ他のユーザが含まれてよい。第２の撮像部１４は、第１の撮像部１２とは異なる角度から、載置台１０を撮像できるように取り付けられてよい。第２の撮像部１４は、載置台１０を斜め上から撮像できるように取り付けられてよい。第２の撮像部１４は、任意のフレームレートで連続的に静止画を撮像してよい。第２の撮像部１４は、動画像を撮像してよい。第２の撮像部１４は、任意の空間のみの画像を生成可能であってよい。具体的には、第２の撮像部１４から、指定された距離範囲の空間のみの画像を生成可能であってよい。第２の撮像部１４はデプスカメラであってよい。
【0026】
測定部１５は、対象との距離を測定可能に構成されている。本実施例において、測定部１５は、載置台１０の第２上面１０ｔに載置された物体までの距離を測定することで、当該物体の高さを測定可能である。測定部１５は、例えば、深度センサ、レーザ距離計等であってよい。本実施形態では、測定部１５は、第２上面１０ｔ上、かつ、第１の撮像部１２のレンズの光軸上に位置するが、これに限定されない。測定部１５は第１の撮像部１２と一体に構成されてもよい。
【0027】
図３を用いて情報処理装置２０の概要を説明する。情報処理装置２０は、例えばコンピュータによって構成され、通信部２１と、入力部２２と、記憶部２３と、制御部２４とを含む。情報処理装置２０では、本実施例で説明する様々な機能を実現するためのソフトウェアが実行される。
【0028】
通信部２１は、ネットワーク２に接続可能な少なくとも１つの通信モジュールを含む。通信モジュールは、例えば、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又は無線ＬＡＮ等の規格に対応した通信モジュールであってよい。通信部２１は、この通信モジュールによって有線ＬＡＮ又は無線ＬＡＮを介して、ネットワーク２に接続される。
【0029】
通信部２１は、第１の撮像部１２、表示部１３及び第２の撮像部１４と通信可能な通信モジュールを含む。通信モジュールは、通信線の規格に対応した通信モジュールである。通信部２１による通信は、有線及び無線の少なくとも何れによって行われてよい。通信部２１は、第１の撮像部１２及び第２の撮像部１４の少なくとも何れか１つから第２上面１
０ｔに配置された物体の画像を取得する取得部として機能する。
０ｔに配置された物体の画像を取得する取得部として機能する。
【0030】
入力部２２は、ユーザからの入力を受付可能な少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、表示部１３と一体的に設けられたタッチスクリーン、物理キー、静電容量キー、ポインティングディバイス、又はマイクである。本実施形態では、入力部２２は、表示部１３と一体的に設けられたタッチスクリーンであり、ユーザからの入力を取得する。
【0031】
記憶部２３は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ又はこれらのうちの少なくとも２種類の組み合わせを含んで構成される。半導体メモリは、例えば、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）等である。ＲＡＭは、例えば、ＳＲＡＭ（Static Random Access Memory）又は
ＤＲＡＭ（Dynamic Random Access Memory）等である。ＲＯＭは、例えば、ＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)等である。記憶部２３は、主
記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部２３は、情報処理装置２０の動作に用いられるプログラムやデータおよび、情報処理装置２０の動作によって得られたデータを記憶する。記憶部２３には、情報処理システム３が設置された店舗で販売されている物体の画像が記憶されていてよい。記憶部２３には、商品情報データベースが記憶されてよい。商品情報データベースは、情報処理システム３が設置された店舗で販売されている物体の名称や価格と、当該物体を特定するためのＩＤ等の情報との対応関係を示す対応表等が含まれてよい。なお、これらの情報は、サーバ４に記憶され、適宜情報処理システム３によって取得されてもよい。
ＤＲＡＭ（Dynamic Random Access Memory）等である。ＲＯＭは、例えば、ＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)等である。記憶部２３は、主
記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部２３は、情報処理装置２０の動作に用いられるプログラムやデータおよび、情報処理装置２０の動作によって得られたデータを記憶する。記憶部２３には、情報処理システム３が設置された店舗で販売されている物体の画像が記憶されていてよい。記憶部２３には、商品情報データベースが記憶されてよい。商品情報データベースは、情報処理システム３が設置された店舗で販売されている物体の名称や価格と、当該物体を特定するためのＩＤ等の情報との対応関係を示す対応表等が含まれてよい。なお、これらの情報は、サーバ４に記憶され、適宜情報処理システム３によって取得されてもよい。
【0032】
制御部２４は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ（Central Processing Unit）若
しくはＧＰＵ（Graphics Processing Unit）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit）等である。制御部２４は、通信部２１と、入力部２２と、記憶部２３を制御可能に構成される。制御部２４は、情報処理装置２０の各部を制御しながら、情報処理装置２０の動作に関わる処理を実行する。
しくはＧＰＵ（Graphics Processing Unit）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit）等である。制御部２４は、通信部２１と、入力部２２と、記憶部２３を制御可能に構成される。制御部２４は、情報処理装置２０の各部を制御しながら、情報処理装置２０の動作に関わる処理を実行する。
【0033】
【0034】
ユーザは、購入したい商品である物体を入れた容器４０を持って、情報処理システム３の前に立つ。容器４０は、例えば店舗に備え付けられている、顧客が購入する商品を入れるための「かご」であってよい。ユーザは、表示部１３のタッチスクリーンを操作して、入力部２２から会計開始を指示する入力を行う。その後、ユーザは、容器４０を載置台１０の第２上面１０ｔに配置する。なお、ユーザは、容器４０を載置台１０の第２上面１０ｔに配置してから、会計開始を指示する入力を入力部２２に入力してもよい。
【0035】
図４は、第２上面１０ｔへ物体を入れた容器４０を載置した一例である。制御部２４は、容器４０が第２上面１０ｔへ載置されると、測定部１５を制御して、第２上面１０ｔから容器４０の最上部４０ａまでの高さｄ１を取得する。具体的には、測定部１５は、測定部１５から容器４０の最上部４０ａまでの高さｄ１を測定する。制御部２４は、高さｄ１を第２の撮像部１４によって容器４０を斜め上から撮像した画像を用いて算出してよい。制御部２４は、記憶部２３に予め記憶した容器４０の高さの情報を取得してもよい。なお
、高さｄ１は、後述するように、容器４０から物体を取り出したか否かを判定するための基準位置である。この基準位置は、必ずしも容器４０の最上部の位置とする必要はなく、ユーザが容器４０から物体を取り出して、購入意志があると判定することができる、任意の位置としてよい。例えば、基準位置は、ユーザを撮影した第１の撮像部１２の画像を用いて、ユーザの肘の高さに設定してよい。
、高さｄ１は、後述するように、容器４０から物体を取り出したか否かを判定するための基準位置である。この基準位置は、必ずしも容器４０の最上部の位置とする必要はなく、ユーザが容器４０から物体を取り出して、購入意志があると判定することができる、任意の位置としてよい。例えば、基準位置は、ユーザを撮影した第１の撮像部１２の画像を用いて、ユーザの肘の高さに設定してよい。
【0036】
制御部２４は、第１の撮像部１２又は第２の撮像部１４が撮像した第１画像３１を取得する。図５は、第１の撮像部１２が撮像した第１画像３１の一例である。第１画像３１は、第１の撮像部１２が撮像する画像のうち、第２上面１０ｔを含む一部の画像である。第１画像３１には、ユーザが第２上面１０ｔに配置した容器４０及び、容器４０に収容された物体４１である、第１物体４１ａ、第２物体４１ｂ、第３物体４１ｃ、第４物体４１ｄの画像が含まれている。制御部２４は、第１の撮像部１２及び第２の撮像部１４の双方が撮像した第１画像３１を取得してよい。本実施形態では、制御部２４は、第１の撮像部１２が撮像した第１画像３１を通信部２１によって受信することにより、第１画像３１を取得する。
【0037】
制御部２４は、最上部４０ａより第２上面１０ｔから離れた位置にある物体に対して第１の認識処理であるカテゴリ認識処理を実行する。カテゴリ認識処理は、物体を区分する分類であるカテゴリの情報を取得するための処理である。カテゴリには、例えば、物体の形状、物体の種類、包装の種類、物体の販売方法等が含まれる。より具体的には、物体の形状としては、球状、立方体形状、長細い形状であるか等によってカテゴリに区分しうる。物体の種類としては、野菜、果物、菓子、肉類、鮮魚類であるか等によってカテゴリに区分しうる。包装の種類としては、箱詰め、袋詰め、包装されていない等によってカテゴリに区分しうる。物体の販売方法としては、量り売り、ばら売り、纏め売り等によってカテゴリに区分しうる。物体がいずれのカテゴリに属するかは、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）やパターンマッチング等の手段によって物体を含む画像から特定したりしてよい。
【0038】
図６は、物体のカテゴリ認識処理が行われる際の、載置台１０の様子を示す一例である。ユーザが、容器４０より購入したい第１物体４１ａを、容器４０から取り出すことで、第１物体４１ａは最上部４０ａより第２上面１０ｔから離れた位置へ移動する。制御部２４は、第２上面１０ｔから第１物体４１ａまでの距離が、高さｄ１以上になったとき、第１物体４１ａに対してカテゴリ認識処理を行う。制御部２４は、容器４０が第２上面１０ｔに載置されていない状態ではカテゴリ認識処理を実行しないように制御してよい。これにより、容器４０が第２上面１０ｔに載置される前に、第１の撮像部１２に写りこんだ物体に対してカテゴリ認識処理が実行されるのを防ぐことができる。制御部２４は、第２上面１０ｔから高さｄ１以上の位置になった第１物体４１ａが手に保持されていることを検出した場合に、第１物体４１ａに対してカテゴリ認識処理を行ってよい。手に保持された物体をカテゴリ認識処理の対象とすることで、容器４０に入った状態で、第１の撮像部１２に写りこんだ物体に対してカテゴリ認識処理が実行されるのを防ぐことができる。
【0039】
制御部２４は、第１物体４１ａについて特定したカテゴリに応じて、第１物体４１ａに対して第２の認識処理である物体認識処理を行うか、第１物体４１ａに付与された第１シンボル４２ａに対して第３の認識処理であるシンボル認識処理を行うかを決定する。なお、本明細書では、カテゴリ認識処理、物体認識処理、シンボル認識処理のいずれか又はすべてを指す語として「認識処理」と表現する場合がある。
【0040】
物体認識処理は、例えば物体の形状・色・大きさなどから、第１物体４１ａの価格を取得するために必要な情報を特定する処理である。物体認識処理は、画像認識処理を含む処理であってよい。
【0041】
シンボル認識処理は、シンボル４２を読み取ることで、第１物体４１ａの価格を取得するために必要な情報を特定する処理である。シンボル４２は、例えば、物体４１に張り付けられたバーコードや二次元バーコード等の一次元コードや二次元コード等が含まれる。
【0042】
本実施形態では、例えば店舗が「量り売り商品」「精肉」「鮮魚」「惣菜」について、重さに応じた値段を設定しているとする。制御部２４は、第１物体４１ａのカテゴリが「量り売り商品」「精肉」「鮮魚」「惣菜」のいずれかであると特定したとき、第１シンボル４２ａに対してシンボル認識処理を行う。「量り売り商品」とは、例えば顧客が購入する量に応じて値段が決定される商品であって、例えば木の実、酒類などがある。「精肉」とは、例えば牛肉、豚肉、鶏肉、挽き肉などがある。「鮮魚」とは、例えば鮪、サーモン、鱈などがある。「惣菜」とは、例えばポテトサラダ、ナムル、豚カツなどがある。制御部２４は、第１物体４１ａのカテゴリを「量り売り商品」「精肉」「肉加工品」「鮮魚」「惣菜」のいずれでもないと特定したとき、第１物体４１ａに対して物体認識処理を行う。いずれの種類の物体を、シンボル認識処理の対象とするかは、店舗の販売形態に応じて予め情報処理システムに設定されてよい。
【0043】
図７は、ユーザによって持ち上げられた第１物体４１ａを含む第１画像３１の一例である。例えば、制御部２４は、第１物体４１ａのカテゴリを「精肉」であると特定したとき、第１シンボル４２ａに対してシンボル認識処理を行う。例えば、制御部２４は、第１物体４１ａのカテゴリを「菓子」であると特定したとき、第１物体４１ａの画像に対して物体認識処理を行う。
【0044】
量り売り商品等の重さに応じた値段設定をする物体は、物体の重さに関わらず、同じ種類の容器、包装がされる場合が多いため、外見が類似する。従って、それらを物体認識処理によって正確に認識し、値段を提示することは難解である。そこで、そのような商品に対しては、シンボル認識処理を実行することで、シンボルの情報より当該物体の重さの情報を取得できるため、正確な会計処理を行える。一方、「チョコレート」のような所定のパッケージ等の包装が施されている物体は、外見が特徴的である場合が多く、他の物体と外観的に区別しやすく、物体認識処理で正確に認識できる。また、商品に付与されるシンボル４２が、それぞれの商品によって異なる位置にあるため、ユーザはシンボル４２を探す手間がかかる。そのような商品に対しては、物体認識処理を実行することで、ユーザに利便性を提供することができる。
【0045】
情報処理装置２０は、制御部２４という１つの構成によって、カテゴリ認識処理を行った後、シンボル認識処理及び物体認識処理を実行するが、これに限定されない。例えば、情報処理装置２０は、カテゴリ認識処理を実行する第１認識部、シンボル認識処理を実行する第２認識部、物体認識処理を実行する第３認識部を備え、各処理を実行してよい。
【0046】
制御部２４は、決定したシンボル認識処理又は物体認識処理によって第１物体４１ａに関する情報を取得する。第１物体４１ａに関する情報とは、物体の名称、物体を特定できるＩＤ等の、第１物体４１ａの価格を取得するために必要な情報である。制御部２４は、取得したＩＤなどを用いて、第１物体４１ａの価格の情報を取得する。例えば、制御部２４は、「精肉」のカテゴリであると特定した第１物体４１ａの第１シンボル４２ａに対してシンボル認識処理を行い、物体を特定できるＩＤを取得する。制御部２４は、記憶部２３に記憶されている商品情報データベース等を用いて、特定したＩＤに対応する物体名や価格を取得する。例えば、制御部２４は、「菓子」のカテゴリであると特定した第１物体４１ａに対して物体認識処理を行い、物体の名称、物体を特定できるＩＤを取得する。制御部２４は、記憶部２３に記憶されている商品情報データベース等を用いて、特定したＩＤに対応する物体名や価格を取得する。なお、制御部２４は、物体認識処理において第１
物体４１ａに付された値札から第１物体４１ａの価格を取得してもよい。また、制御部２４は、物体の名称、ＩＤ等を用いて、物体の登録画像を記憶部２３に記憶された商品の登録画像から取得してもよい。登録画像は、物体を示す任意の図、写真、イラストの画像であってよい。
物体４１ａに付された値札から第１物体４１ａの価格を取得してもよい。また、制御部２４は、物体の名称、ＩＤ等を用いて、物体の登録画像を記憶部２３に記憶された商品の登録画像から取得してもよい。登録画像は、物体を示す任意の図、写真、イラストの画像であってよい。
【0047】
制御部２４は、取得した第１物体４１ａの物体名である第１名称４３ａを表示部１３へ表示させる。図８は、第１名称４３ａを表示させた画像３０の一例である。画像３０は、第１画像３１を表示する第１領域１３ａと、第２画像３２を表示する第２領域１３ｂと、境界３３を表示する第３領域１３ｃを含む。境界３３は、第１領域１３ａと第１領域１３ａの外との境界であってよい。本実施形態において、第３領域１３ｃは第１領域１３ａと第２領域１３ｂとの間に位置するが、これに限定されない。本実施形態において、第１画像３１は画像３０の右側、第２画像３２は画像３０の左側に表示されているが、これに限定されない。第１画像３１には、第１の撮像部１２が撮影した第１物体４１ａの画像、及び制御部２４が取得した第１名称４３ａの表示を含む。本実施形態では、第１名称４３ａは第１物体４１ａの画像の下に表示されているが、これに限定されず、第１物体４１ａの画像の上、左又は右に表示してよい。また、制御部２４は、第１名称４３ａと第１物体４１ａの画像とを結ぶ線を表示部１３に表示させてよい。また、第１画像３１は、第１物体４１ａの画像を、第３領域１３ｃへ移動させることを促す表示をさらに含んで表示されてよい。例えば、第１画像３１は、「認識した商品を移動してください」という文字の表示や、矢印の表示をさらに含んで表示されてよい。また、制御部２４は、第１名称４３ａを取得したとき、第１画像３１に含まれる容器４０の画像の表示態様を変化させてよい。制御部２４は、容器４０の画像の表示態様として、例えば、最上部４０ａの画像の色、大きさ、太さの何れかを変化させてよい。
【0048】
ユーザは、表示部１３に表示された第１名称４３ａの画像を確認し、第１名称４３ａが正しく、かつ、第１物体４１ａを購入したい場合、第１物体４１ａの画像を第３領域１３ｃへ移動させる。第１物体４１ａの画像が第３領域１３ｃへ移動するとは、第１物体４１ａの画像全体が第３領域１３ｃを通過することであってよいし、第１物体４１ａの画像の一部が第３領域１３ｃと接触することであってよい。本実施例では、ユーザが第１の撮像部１２に撮像されている第１物体４１ａを、第２上面１０ｔに対して左方向（すなわち、第１上面１０ｓ側）へ移動させることで、第１物体４１ａの画像を第３領域１３ｃへ移動させることができる。ユーザは、第１物体４１ａを購入しない場合、第３領域１３ｃ以外の方向へ移動させる。本実施例では、ユーザが第１物体４１ａを、第２上面１０ｔの上から左方向以外の上、下及び右の少なくともいずれかの方向（すなわち、第１上面１０ｓ以外の方向）へ移動させることで、第１物体４１ａの画像を第３領域１３ｃ以外へ移動させることができる。
【0049】
制御部２４は、第１物体４１ａの画像が第３領域１３ｃへ移動された場合、第１物体４１ａを購入する商品として、購入リストに追加する。購入リストは、一時的に記憶部２３に記憶される情報であってよい。また、制御部２４は、購入リストの内容の情報を、第２画像３２へ表示させる。図９は、購入リストの内容が第２画像３２へ表示されるときの画像３０の一例である。第２画像３２へ表示される購入リストには、第１名称４３ａ、第１物体４１ａの価格の情報が含まれてよい。制御部２４は、第１名称４３ａを第２画像３２へ表示させるとき、第１物体４１ａの登録画像４４を併せて表示させてよい。また、登録画像４４に代えて、第１の撮像部１２が撮像した第１物体４１ａの縮小画像を第２画像３２に表示させてもよい。制御部２４は、第１物体４１ａの画像と第３領域１３ｃが接触した位置から第２画像３２の所定の領域に向かって、第１物体４１ａの登録画像４４を移動させて、購入リストの内容を第２画像３２へ表示させてよい。例えば、第１物体４１ａの画像が第１領域１３ａと第３領域１３ｃの境界の中央付近の位置から第３領域１３ｃに接触したとき、第１物体４１ａの登録画像は当該位置より、第３領域１３ｃを経由して第２
領域１３ｂの所定の領域へ向かって移動する。制御部２４は、最初に購入リストに追加された物体が第１物体４１ａである場合、第２画像３２の左上に登録画像４４を移動させる。他の物体４１が既に購入リストに追加されている場合、第２画像３２の左上には、他の物体の登録画像４４が配置されている。この場合、制御部２４は、第１物体４１ａの登録画像４４を他の物体４１の登録画像４４の右隣りの所定の領域に向かって、移動させる。登録画像４４を第２画像３２の所定の領域に移動させることで、ユーザは、購入したい物体が購入リストに追加されたことを、視覚的により理解しやすくなる。なお、購入リストに表示された第１名称４３ａや価格が誤っている場合、物体認識処理又はシンボル認識処理が誤っている可能性が考えられる。この場合、ユーザは後述する修正処理によって、認識結果の修正をすることができる。
領域１３ｂの所定の領域へ向かって移動する。制御部２４は、最初に購入リストに追加された物体が第１物体４１ａである場合、第２画像３２の左上に登録画像４４を移動させる。他の物体４１が既に購入リストに追加されている場合、第２画像３２の左上には、他の物体の登録画像４４が配置されている。この場合、制御部２４は、第１物体４１ａの登録画像４４を他の物体４１の登録画像４４の右隣りの所定の領域に向かって、移動させる。登録画像４４を第２画像３２の所定の領域に移動させることで、ユーザは、購入したい物体が購入リストに追加されたことを、視覚的により理解しやすくなる。なお、購入リストに表示された第１名称４３ａや価格が誤っている場合、物体認識処理又はシンボル認識処理が誤っている可能性が考えられる。この場合、ユーザは後述する修正処理によって、認識結果の修正をすることができる。
【0050】
制御部２４は、第１物体４１ａが購入リストに追加され、購入リストの内容が第２領域１３ｂに表示される時に所定の報知を行う。制御部２４は、第１物体４１ａの画像が第３領域１３ｃへ移動したときに所定の報知を行ってよい。制御部２４は、第１物体４１ａの画像が第３領域１３ｃを経由して第２領域１３ｂへ移動したときに所定の報知を行ってよい。制御部２４は、第１名称４３ａを第２画像３２へ表示させるとき、所定の報知を行ってよい。制御部２４は、所定の報知として、境界３３の表示態様を変化させて境界３３を第１表示態様で強調させてよい。第１表示態様は、一時的に境界３３の色、大きさ、太さ等の内、少なくとも何れかを変化させることであってよい。制御部２４は、所定の報知として、例えば「ピッ」という通知音を出力してよい。制御部２４は、所定の報知として、例えば商品の名称を音声で出力してよい。制御部２４は、所定の報知として、購入リストに追加した商品の個数を音声で出力、又は表示部１３に表示してよい。所定の報知がされることにより、ユーザは、購入したい商品である第１物体４１ａが購入リストに追加されたことを認識することができ、正しく購入処理を進められていることを認識できる。制御部２４は、境界３３の表示態様や報知の音を、物体４１のカテゴリに応じて変化させてよい。制御部２４は、同一の物体４１、又は同一のカテゴリの物体４１が連続して購入リストに追加される場合、境界３３の表示態様又は報知の音を、連続して購入リストに追加された回数に応じて変化させてよい。例えば、制御部２４は、第１物体４１ａを購入リストへ追加するとき、境界３３を白く光らせる。その後、制御部２４は、同一の第１物体４１ａを購入リストへ追加するとき、境界３３を黄色く光らせてよい。
【0051】
第３領域１３ｃは、境界３３以外に第１物体４１ａの画像が第３領域１３ｃ側へ移動したときに光らせる領域を含んでよい。例えば、光らせる領域は、第２領域１３ｂの境界などを含んでよい。
【0052】
ユーザは、表示部１３に表示された第１名称４３ａの画像を確認し、第１名称４３ａが正しくない場合、すなわち、第１物体４１ａが誤認識されている場合、その旨を入力部２２へ入力する。例えば、ユーザは、第１画像３１に含まれる「修正」という画像をタッチ入力する。なお、制御部２４は、ユーザによって所定の時間以上第１物体４１ａの画像を第３領域１３ｃへ移動されない場合、第１物体４１ａが誤認識されていると判断してもよい。
【0053】
制御部２４は、第１物体４１ａが誤認識されているとの入力を受け付けたとき、第１物体４１ａとして正しい物体の候補を少なくとも一つ、表示部１３へ表示させる。正しい物体の候補としては、第１物体４１ａと誤認識されやすい物体であってよい。図１０は、誤認識されているとの入力を受け付けたときに、正しい物体の候補が表示部１３に表示された一例である。正しい物体の候補は、制御部２４によって第１物体４１ａに対して物体認識処理を実行したとき、認識結果の信頼度の高いとされた他の物体や、互いに誤認識しやすいと事前に定義された物体等が含まれてよい。ユーザは、表示部１３に表示された、正しい物体の候補のいずれかを選択してよい。ユーザは、正しい認識結果が含まれていない
場合、その旨を入力部２２へ入力してよい。
場合、その旨を入力部２２へ入力してよい。
【0054】
ユーザは、第２画像３２に表示された第１名称４３ａを確認し、第１物体４１ａを第１上面１０ｓへ載置する。このとき、第１物体４１ａをそのまま載置してもよく、第２上面１０ｔに載置された買い物袋や買い物かごなどの、容器４０とは異なる容器へ入れて収容してもよい。
【0055】
ユーザは、第２物体４１ｂ、第３物体４１ｃ、第４物体４１ｄについても、上述の操作を実施する。情報処理装置２０は、カテゴリ認識処理及び物体認識処理／シンボル認識処理を第２物体４１ｂ、第３物体４１ｃ、第４物体４１ｄに対して行うことで、ユーザが購入する物体をすべて認識し、価格の情報を取得する。
【0056】
【0057】
ユーザは、表示部１３のタッチスクリーンを操作して、入力部２２から購入リストに含まれる物体の認識結果を修正する操作を行う。制御部２４は、当該操作の入力を受け付け得る。図１１は、第２物体４１ｂが登録された購入リストを表示する第２画像３２の一例である。ここで、購入リストには第２名称４３ｂとして「クリームパン」と表示されているが、第２物体４１ｂは実際には「あんパン」であるため、第２名称４３ｂは誤っている。すなわち、物体認識処理において、誤った結果が出力された状態である。ユーザは、第２物体４１ｂの認識結果を修正する修正処理を実行するための入力を行う。ユーザは、例えば、表示部１３に表示された購入リスト中の第２名称４３ｂまたは第２物体４１ｂの画像を選択する操作、名称を修正する釦を押下する操作等を行い、修正処理を開始する。制御部２４は、所定の動きを行う物体４１を検知したとき、修正処理を開始してよい。所定の動きとは、購入リストに含まれる物体４１の画像が第３領域１３ｃから第１領域１３ａへの移動等が含まれてよい。
【0058】
制御部２４は、修正処理を実行する操作を受け付けたとき、当該物体を再度撮影するようにユーザに促す第３画像３４を表示部１３へ表示させる。図１２は、第３画像３４の一例である。例えば、制御部２４は、第３画像３４として「商品を再度認識いたします。修正したい商品をもう一度カメラへ映してください。」という文字列３４ａや第１領域１３ａに向いた矢印３４ｂを表示部１３へ表示させてよい。制御部２４は、修正処理を実行する対象である物体のカテゴリに応じて、第３画像３４として表示される文字列３４ａを表示部１３へ表示させてよい。例えば、制御部２４は、修正処理対象の物体のカテゴリが「量り売り商品」「精肉」「鮮魚」「惣菜」の少なくともいずれかであるとき、「修正したい商品のバーコードをもう一度カメラへ映してください。」という文字列３４ａを表示部１３へ表示させてよい。本実施形態では、第３画像３４は、第２画像３２に重畳して表示されるが、これに限定されない。ユーザは、第３画像３４を確認し、修正したい物体を容器４０の上部へ移動させることで、正しい情報を取得されなかった物体である第２物体４１ｂを、再度第１の撮像部１２に撮像させる。
【0059】
制御部２４は、第１の撮像部１２が取得する画像に基づいて、第１画像３１に含まれていない物体４１を第３領域１３ｃで認識した場合に、修正処理を開始してよい。制御部２４は、第１の撮像部１２が取得する画像に基づいて、物体４１が第１上面１０ｓから第２上面１０ｔへ移動する動作を検出した場合に、修正処理を開始してもよい。制御部２４は、第１の撮像部１２が取得する画像に基づいて、物体４１の画像が第３領域１３ｃ側の第１領域１３ａの外側の領域から第１領域１３ａの中へ移動した場合に、修正処理を開始してもよい。修正処理の開始の前に、制御部２４は、所定の報知を行ってよい。制御部２４
は、所定の報知として、境界３３の表示態様を変化させて境界３３を第２表示態様で強調させてよい。第２表示態様は、一時的に境界３３の色、大きさ、太さ等の内、少なくとも何れかを変更させることであってよい。第２表示態様は第１表示態様と異なる表示態様であってよい。制御部２４は、所定の報知として、例えば「ピッ」という通知音を出力してよい。制御部２４は、当該物体についての修正処理を開始するときの所定の報知と、第１物体４１ａが購入リストに追加されるときに行う所定の報知を、異なる態様としてよい。例えば、制御部２４は、第１物体４１ａが購入リストに追加されるときに行う所定の報知として、境界３３を白く光らせたとき、当該物体についての修正処理を開始するときに行う所定の報知として、境界３３を赤く光らせてよい。
は、所定の報知として、境界３３の表示態様を変化させて境界３３を第２表示態様で強調させてよい。第２表示態様は、一時的に境界３３の色、大きさ、太さ等の内、少なくとも何れかを変更させることであってよい。第２表示態様は第１表示態様と異なる表示態様であってよい。制御部２４は、所定の報知として、例えば「ピッ」という通知音を出力してよい。制御部２４は、当該物体についての修正処理を開始するときの所定の報知と、第１物体４１ａが購入リストに追加されるときに行う所定の報知を、異なる態様としてよい。例えば、制御部２４は、第１物体４１ａが購入リストに追加されるときに行う所定の報知として、境界３３を白く光らせたとき、当該物体についての修正処理を開始するときに行う所定の報知として、境界３３を赤く光らせてよい。
【0060】
制御部２４は、容器４０の上部へ移動した第２物体４１ｂに対して再度カテゴリ認識処理、及び物体認識処理／シンボル認識処理を行う。これらの認識処理は上述の通りであるため、記載を省略する。
【0061】
【0062】
図１３は、ユーザが、容器４０中に含まれていた物体４１をすべて情報処理システム３に認識させた後の画像３０の一例である。第１画像３１には、容器４０のみが表示されている。第２画像３２には、会計開始時、容器４０に含まれていた第１物体４１ａ、第２物体４１ｂ、第３物体４１ｃ、第４物体４１ｄそれぞれの名称、価格及び画像が含まれている。ユーザは、購入リストに含まれる物体４１以外に、新たに購入したい物体がない場合、購入リストに含まれる物体を精算するための精算操作を行う。精算操作とは、物体を精算することを制御部２４に指示するための釦を押下する操作等であってよい。
【0063】
制御部２４は、精算操作を受け付けたとき、第２領域１３ｂに第４画像３５を表示させる。第４画像３５は、購入予定の物体が全て購入リストに含まれているかの確認をユーザへ促す。購入リストに、購入したい物体が含まれていない場合、当該物体に対する認識処理の実施をユーザが忘れている場合が想定される。図１４は、認識されていない物体の有無の確認を促す文字列を含んでよい。例えば、第４画像３５は、「登録漏れの商品はございませんか？」という文字列を含んでよい。また、第４画像３５は、認識されていない物体の有無の確認を促す文字列を含んでもよい。例えば、第４画像３５は、「カート下も確認しましたか？」という文字列や、カートの下を指し示すイラスト等を含んでよい。
【0064】
ユーザは、第４画像３５が表示されたとき、容器４０内に物体４１が残っているか確認する。ユーザは、容器４０内に物体４１が残っていない場合、精算処理を進める操作を行ってよい。また、ユーザは、容器４０内に物体４１が残っている場合、再度認識処理を行う操作を行ってよい。例えば、ユーザは、再度認識処理を行うことを希望する場合、第４画像３５に含まれる「まだ残っている」という画像を選択する。例えば、ユーザは、清算処理を進めることを希望する場合、第４画像３５に含まれる「残っていない」という画像を選択する。
【0065】
制御部２４は、ユーザが「まだ残っている」という画像を選択した場合、再度認識処理を開始する。認識処理は上述する内容と重複するため、記載を省略する。
【0066】
制御部２４は、ユーザが「残っていない」という画像を選択した場合、記憶部２３に記憶された、購入リストに含まれるすべての物体の価格を合計した金額を表示部１３に表示させる。ユーザは、当該金額を確認し、当該金額を支払う。金額の支払は、図示しない任意の支払機に指示された金額を投入することとしてよいし、店舗の店員に直接支払っても良い。支払は、現金によって行われるだけでなく、クレジットカード、ポイントカードで
のポイント払い、など任意の方法によってなされてよい。
のポイント払い、など任意の方法によってなされてよい。
【0067】
以上説明したように、本開示の一実施形態に係る情報処理装置２０は、ユーザによって所定の高さまで持ち上げられた物体を、ユーザが購入する物体として認識することで、ユーザが購入意思を有する物体のみを効率良く認識できる。ユーザに購入意思のない物体は認識の対象とならないため、誤って購入リストに登録されることがなく、ユーザの利便性を向上させられる。また、所定の高さとして、容器４０の最上部４０ａを用いることで、ユーザの購入意志を精度よく判定することができる。また、情報処理装置２０は、撮像部に近い位置にある物体を認識するため、容器４０に残っている他の物体と混同せず、物体を精度良く認識できる。
【0068】
また、本開示の一実施形態に係る情報処理装置２０は、物体のカテゴリを特定し、特定したカテゴリに応じて、物体の認識処理を決定することで、当該物体を精度よく認識できる。
【0069】
（システムの動作）
図１５は、本開示の一実施形態に係る情報処理方法の手順を示すフローチャートである。この情報処理方法はステップＳ１０１からステップＳ１１５を含む。例えば、制御部２４は、会計開始を指示する入力を入力部２２によって受け付けると、ステップＳ１０１の処理を開始する。
図１５は、本開示の一実施形態に係る情報処理方法の手順を示すフローチャートである。この情報処理方法はステップＳ１０１からステップＳ１１５を含む。例えば、制御部２４は、会計開始を指示する入力を入力部２２によって受け付けると、ステップＳ１０１の処理を開始する。
【0070】
制御部２４は、載置台１０の第２上面１０ｔから容器４０の上部４０ａまでの高さｄ１の情報を取得する（ステップＳ１０１）。
【0071】
制御部２４は、第１の撮像部１２から第１画像３１を通信部２１によって受信することにより、第１画像３１のデータを取得する（ステップＳ１０２）。
【0072】
制御部２４は、第１画像３１に含まれ、かつ、第２上面１０ｔから高さｄ１より高い位置にある物体４１に対して物体認識処理を行い、物体４１のカテゴリを特定する（ステップＳ１０３）。
【0073】
制御部２４は、ステップＳ１０３にて特定した物体４１のカテゴリが、「量り売り商品」「精肉」「肉加工品」「鮮魚」「惣菜」の少なくともいずれかであるか否かを判定する（ステップＳ１０４）。
【0074】
制御部２４は、物体４１のカテゴリが「量り売り商品」「精肉」「肉加工品」「鮮魚」「惣菜」の少なくともいずれかであると特定したとき（ステップＳ１０４：ＹＥＳ）、ステップＳ１０５へ進む。
【0075】
制御部２４は、物体４１のカテゴリが「量り売り商品」「精肉」「肉加工品」「鮮魚」「惣菜」のいずれでもないと特定したとき（ステップＳ１０４：ＮＯ）、ステップＳ１０６へ進む。
【0076】
制御部２４は、物体４１に付与されているシンボル４２に対して、認識処理を実行し、物体４１の情報を取得する（ステップＳ１０５）。
【0077】
制御部２４は、取得した第１画像３１に含まれる物体の画像に対して物体認識処理を実行し、物体４１の情報を取得する（ステップＳ１０６）。
【0078】
制御部２４は、ステップＳ１０５及びステップＳ１０６の少なくとも何れかの処理によ
って取得した物体４１の名称、価格、登録画像等の情報を第１画像３１へ表示させる（ステップＳ１０７）。
って取得した物体４１の名称、価格、登録画像等の情報を第１画像３１へ表示させる（ステップＳ１０７）。
【0079】
制御部２４は、物体４１が第３領域１３ｃへ移動したか否かを判定する（ステップＳ１０８）。
【0080】
制御部２４は、物体４１が第３領域１３ｃへ移動したことを検知したとき（ステップＳ１０８：ＹＥＳ）、ステップＳ１０８へ進む。
【0081】
制御部２４は、物体４１が第３領域１３ｃへ移動したことを検知しなかったとき（ステップＳ１０８：ＮＯ）、ステップＳ１０６へ戻る。すなわち、制御部２４は、物体４１が第３領域１３ｃへ移動したことを検知しなかったとき、取得した物体４１の名称、価格、登録画像等の情報を第１画像３１へ表示させ続ける。
【0082】
制御部２４は、取得した物体４１の情報を記憶部２３へ一時記憶させる（ステップＳ１０９）。記憶部２３へ一時記憶させる情報として、物体４１の名称、価格等が含まれてよい。
【0083】
制御部２４は、取得した物体４１の情報を第２画像３２へ表示させ、このとき、第３領域１３ｃに含まれる境界を強調して表示させる（ステップＳ１１０）。第２画像３２へ表示させる物体４１の情報として、物体４１の名称、価格、登録画像等が含まれてよい。
【0084】
制御部２４は、物体４１の情報を修正する入力を受け付けたか否かを判定する（ステップＳ１１１）。
【0085】
制御部２４は、物体４１の情報を修正する入力を受け付けたとき（ステップＳ１１１：ＹＥＳ）、ステップＳ１０２へ戻る。
【0086】
制御部２４は、物体４１の情報を修正する入力を受け付けなかったとき（ステップＳ１１１：ＮＯ）、ステップＳ１１２へ進む。ここで、入力を受け付けなかったときとは、当該入力を一定時間受け付けなかったときや後述するステップＳ１１２の処理に関する入力を受け付けたとき等が含まれてよい。
【0087】
制御部２４は、一時記憶した物体を精算する入力を受け付けたか否かを判定する（ステップＳ１１２）。
【0088】
制御部２４は、一時記憶した物体を精算する入力を受け付けたとき（ステップＳ１１２：ＹＥＳ）、ステップＳ１１３へ進む。
【0089】
制御部２４は、一時記憶した物体を精算する入力を受け付けなかったとき（ステップＳ１１２：ＮＯ）、ステップＳ１０２へ戻る。ここで、精算する入力を受け付けなかったときとは、精算する入力を受け付ける前に新たな物体を認識したとき等が含まれる。
【0090】
制御部２４は、購入したいが情報処理装置２０によって認識されていない物体４１の確認を促す第３画像３４を表示部１３へ表示させる（ステップＳ１１３）。
【0091】
制御部２４は、認識されていない物体が残っているか否かを判定する（ステップＳ１１４）。
【0092】
制御部２４は、認識されていない物体が残っていると判定したとき（ステップＳ１１４
：ＹＥＳ）、ステップＳ１０２へ戻る。より具体的には、制御部２４は、物体が残っていることを指示する入力を受け付けたとき、認識されていない物体が残っていると判定してよい。
：ＹＥＳ）、ステップＳ１０２へ戻る。より具体的には、制御部２４は、物体が残っていることを指示する入力を受け付けたとき、認識されていない物体が残っていると判定してよい。
【0093】
制御部２４は、認識されていない物体が残っていないと判定したとき（ステップＳ１１４：ＮＯ）、ステップＳ１１５へ進む。より具体的には、制御部２４は、物体が残っていないことを指示する入力を受け付けたとき、認識されていない物体が残っていないと判定してよい。
【0094】
制御部２４は、記憶部２３に一時記憶されている物体４１の価格の合計を含む画像を表示部１３へ表示させる（ステップＳ１１５）。
【0095】
制御部２４は、物体４１の価格の合計以上の金額の支払いを受け付けたとき、会計処理を終了する。
【0096】
以上説明したように、本開示の一実施形態に係る情報処理方法は、ユーザによって持ち上げられて物体のみを認識することで、ユーザの購入意思の高い物体のみを効率良く認識できる。購入意思のない商品は認識されなくなるため、ユーザの利便性を向上させられる。また、本開示の一実施形態に係る情報処理装置２０は、撮像部に近い位置にある物体を認識するため、物体を精度良く認識できる。
【0097】
（変形例１）
変形例１について、以下に説明する。なお、上述する処理と重複する工程については、記載を省略する。
変形例１について、以下に説明する。なお、上述する処理と重複する工程については、記載を省略する。
【0098】
上述する実施形態では、第２上面１０ｔは、可視光を透過しない素材によって形成された場合を説明したが、変形例１では、可視光を透過する素材によって形成されてよい。例えば、第２上面１０ｔは、アクリル樹脂、ポリ塩化ビニルやポリカーボネート等の樹脂、ガラス等の素材によって形成されてよい。第２上面１０ｔは、メッシュ状に形成されることで、可視光を透過してもよい。
【0099】
変形例１では、容器１４０は、少なくとも底面が可視光を透過する素材によって形成されてよい。例えば、容器１４０の底面は、アクリル樹脂、ポリ塩化ビニルやポリカーボネート等の樹脂、ガラス等の素材によって形成されてよい。容器１４０の底面は、メッシュ状に形成されることで、可視光を透過してもよい。
【0100】
変形例１では、制御部２４は、それぞれ異なる空間にある物体の存在を認識可能な第１モードと第２モードを実行可能に構成されている。第１モードでは、第２上面１０ｔ上から上方向に第１距離ｄ１より近い空間、又は第２上面１０ｔより下の空間に位置する物体の存在を認識可能である。言い換えれば、第１モードでは、第２上面１０ｔから所定の第１距離ｄ１まで持ち上げられていない物体の存在を認識可能である。また、第１モードでは、第２上面１０ｔの下にある物体の存在を認識可能である。第１モードにおいて、存在が認識された物体に対して、カテゴリ認識処理、物体認識処理、シンボル認識処理等の認識処理が実行可能であってもよい。一方、第２モードでは、第２上面１０ｔから所定の第１距離ｄ１以上離れた領域に位置する物体のみを認識処理の対象とする。制御部２４は、第２上面１０ｔ上に容器４０が載置されたことを認識したとき、第２モードを実行する。制御部２４は、上述した本実施形態の手法を用いて物体の認識処理を行う。認識処理が終了して、精算処理へ移行したとき、第２モードから第１モードへ切り替える。制御部２４は、第１モードを実行したとき、第２上面１０ｔに位置する容器の内部に物体を認識したとき、容器の内部に物体が残っている通知を表示部１３へ表示させてよい。これにより、
情報処理装置２０は、ユーザが容器１４０に残したままで、認識処理をし忘れた物体が存在することをユーザに報知することができる。さらに、制御部２４は、第２上面１０ｔ及び容器１４０は可視光を透過する素材によって形成されているため、第２上面１０ｔより下の空間に位置する物体を検知できる。制御部２４は、第２上面１０ｔより下の空間に位置する物体を検知したとき、第２上面１０ｔより下の空間に物体が残っている通知を表示部１３へ表示させてよい。これにより、情報処理装置２０は、容器１４０に入らず第２上面１０ｔより下の空間に載置したまま、認識処理をし忘れた物体が存在することをユーザに報知することができる。
情報処理装置２０は、ユーザが容器１４０に残したままで、認識処理をし忘れた物体が存在することをユーザに報知することができる。さらに、制御部２４は、第２上面１０ｔ及び容器１４０は可視光を透過する素材によって形成されているため、第２上面１０ｔより下の空間に位置する物体を検知できる。制御部２４は、第２上面１０ｔより下の空間に位置する物体を検知したとき、第２上面１０ｔより下の空間に物体が残っている通知を表示部１３へ表示させてよい。これにより、情報処理装置２０は、容器１４０に入らず第２上面１０ｔより下の空間に載置したまま、認識処理をし忘れた物体が存在することをユーザに報知することができる。
【0101】
制御部２４は、第２上面１０ｔ上に載置された容器１４０が所定の条件を満たすとき、第１モードを停止し、第２モードを実行してよい。所定の条件とは、容器１４０に含まれる物体１４１の数が所定の数より多いとき、容器１４０に含まれる物体１４１から第１の撮像部１２までの距離が所定の距離より短いとき等である。ユーザによって購入される物体が少ない場合、容器１４０内で隠れてしまう物体が存在しないと考えられる。このようなとき、情報処理装置２０は、容器１４０に含まれる物体１４１に対して一度に精算処理を行える。
【0102】
また、制御部２４は、認識処理において、第１モードを実行する場合と第２モードを実行する場合で、表示部１３に表示される文字列を変更してよい。例えば、制御部２４は、第１モードを実行する場合、第１画像１３１に対して「購入したい商品を並べてください。」という文字列を含ませて表示させてよい。制御部２４は第２モードを実行する場合、第１画像１３１に対して「商品を１つずつ手に取ってスキャンしてください。」という文字列を含ませて表示させてよい。
【0103】
なお、制御部２４は、第２上面１０ｔ上に物体が載置されたことを認識したとき、第１モードを実行してよい。制御部２４は、第２上面１０ｔ上に載置された状態の物体に対して、認識処理を実行してもよい。ユーザは、購入する物体が少ない場合には、容器１４０を使わない場合がある。ユーザが容器１４０を使っておらず、第２上面１０ｔ上に物体が直接載置された場合でも、制御部２４は、当該物体に対して認識処理を実行することができる。
【0104】
【0105】
会計開始前、制御部２４は、第１モードを実行する。制御部２４は、第１モードを実行することで、第１の撮像部１２の撮影範囲に位置する物体を認識可能である。
【0106】
制御部２４は、第１の撮像部１２が撮影した画像によって、第２上面１０ｔ上に物体を検知したとき、会計処理を開始する。また、制御部２４は、物体を検知しない場合でも、会計開始を指示する入力を受け付けたとき、会計処理を開始してよい。
【0107】
制御部２４は、第１の撮像部１２が撮影した画像によって、第２上面１０ｔ上に容器１４０を検知したとき、第１モードを停止し、第２モードを実行して会計処理を開始する。第２モード実行時の認識処理については、上述する認識処理の記載と重複するため、記載を省略する。
【0108】
第1モードが実行されている場合、制御部２４は、第２上面１０ｔ上に載置した物体１
４１（物体１４１ａ～１４１ｄ）に対して認識処理を実行する。図１７は、第２上面１０ｔに載置された物体１４１ａ～１４１ｄを含む画像３０の一例である。制御部２４は、物
体１４１ａ～１４１ｄの各々に対して上述した認識処理を実行する。
４１（物体１４１ａ～１４１ｄ）に対して認識処理を実行する。図１７は、第２上面１０ｔに載置された物体１４１ａ～１４１ｄを含む画像３０の一例である。制御部２４は、物
体１４１ａ～１４１ｄの各々に対して上述した認識処理を実行する。
【0109】
本実施形態では、第１物体１４１ａ、第２物体１４１ｂ、第３物体１４１ｃ、第４物体１４１ｄそれぞれに対してシンボル認識処理または物体認識処理を実行する。制御部２４は、認識処理が完了した物体の第１名称１４３ａ、第２名称１４３ｂ、第３名称１４３ｃ、第４名称１４３ｄを第２画像１３２へ表示させる。このとき、制御部２４は、名称１４３に併せて登録画像１４４を第２画像１３２へ表示させてよい。また、制御部２４は、物体１４１と名称１４３を対応付けて画像１３０へ表示させてよい。例えば、制御部２４は、第１画像１３１に含まれる第１物体１４１ａの画像に丸付きの１という画像を重畳させ、第２画像１３２に含まれる第１名称１４３ａの文字列の先頭に丸付きの１を付けて表示させてよい。
【0110】
（変形例１の精算処理）
制御部２４は、第２モードが実行されている状態で、物体を精算する入力を受け付けたとき、第２モードを停止して第１モードを実行する。制御部２４は、第１モードが実行されている状態で、物体を精算する入力を受け付けたとき、第１モードの実行を継続してよい。
制御部２４は、第２モードが実行されている状態で、物体を精算する入力を受け付けたとき、第２モードを停止して第１モードを実行する。制御部２４は、第１モードが実行されている状態で、物体を精算する入力を受け付けたとき、第１モードの実行を継続してよい。
【0111】
制御部２４は、第１モードを実行することで、容器１４０の内部、第２上面１０ｔ上及び第２上面１０ｔの下側の少なくともいずれかに物体１４１を検知したとき、未登録商品が残っていることをユーザへ通知する。図１８は未登録商品が残っていることをユーザへ通知する第５画像１３６の一例である。制御部２４は、未登録商品である第５物体１４１ｅを検知した時、例えば、「登録漏れの商品が残っております。買い物かごの中やカート下を確認してください」という第５画像１３６を表示させる。このとき、制御部２４は第５画像１３６を表示させることと同時に音声を出力してよい。また、制御部２４は、検知した第５物体１４１ｅを強調して表示させてよい。例えば、制御部２４は、検知した第５物体１４１ｅに対して、色付きの画像を重畳させたり、第５物体１４１ｅに重畳する外接矩形を表示させたりしてよい。
【0112】
このように、情報処理装置２０は、会計処理の状況に合わせて認識する領域の範囲を変更することで、ユーザの操作のミスを防止することができる。そのため、情報処理装置２０は、ユーザの利便性を向上させられる。
【0113】
（変形例１のシステムの動作）
図１９は、本開示の変形例１に係る情報処理方法の手順を示すフローチャートである。この情報処理方法は、ステップＳ２０１からステップＳ２１８を含む。なお、上述するステップＳ１０１からステップＳ１１４までの記載と重複する記載は省略する。
図１９は、本開示の変形例１に係る情報処理方法の手順を示すフローチャートである。この情報処理方法は、ステップＳ２０１からステップＳ２１８を含む。なお、上述するステップＳ１０１からステップＳ１１４までの記載と重複する記載は省略する。
【0114】
制御部２４は、容器１４０を検知したか否かを判定する（ステップＳ２０１）。
【0115】
制御部２４は、容器１４０を検知したとき（ステップＳ２０１：ＹＥＳ）、ステップＳ２０２へ進む。
【0116】
制御部２４は、容器１４０を検知しなかったとき（ステップＳ２０１：ＮＯ）、ステップＳ２０４へ進む。
【0117】
ステップＳ２０２は、上述するステップＳ１０１と同様の処理であるため、記載を省略する。
【0118】
制御部２４は、第２モードを実行する（ステップＳ２０３）。すなわち、制御部２４は
、第２上面１０ｔより高さｄ１以上離れた位置にある物体のみを認識する。
、第２上面１０ｔより高さｄ１以上離れた位置にある物体のみを認識する。
【0119】
ステップＳ２０４からステップＳ２１４までの処理は、上述するステップＳ１０２からステップＳ１１２までの同様の処理であるため記載を省略する。
【0120】
制御部２４は、第１モードを実行する（ステップＳ２１５）。すなわち、制御部２４は、第２上面１０ｔ上にある物体１４１を認識する。
【0121】
制御部２４は、容器１４０及び第２上面１０ｔ上の少なくとも何れかに物体１４１を検知したか否かを判定する（ステップＳ２１６）。
【0122】
制御部２４は、容器１４０及び第２上面１０ｔ上の少なくとも何れかに物体１４１を検知したとき（ステップＳ２１６：ＹＥＳ）、ステップＳ２１７へ進む。
【0123】
制御部２４は、容器１４０及び第２上面１０ｔ上の少なくとも何れかに物体１４１を検知しなかったとき（ステップＳ２１６：ＮＯ）、ステップＳ２１８へ進む。
【0124】
制御部２４は、未登録商品が残っていることをユーザへ通知する（ステップＳ２１７）。より具体的には、「登録漏れの商品が残っております。買い物かごの中やカート下を確認してください」という第５画像１３６を表示させたり、音声を出力させたりする。その後、ステップＳ２０４へ戻る。
【0125】
ステップＳ２１８は、上述するステップＳ１１４と同様の処理であるため、記載を省略する。
【0126】
このように、情報処理方法は、会計処理の状況に合わせて認識する領域の範囲を変更することで、ユーザの操作のミスを防止することができる。そのため、情報処理方法は、ユーザの利便性を向上させられる。
【0127】
（変形例２）
本実施例の別の変形例である変形例２について、図２０を用いて以下に説明する。上述する本実施例は、物体４１に対してカテゴリ認識処理を行い「量り売り商品」「精肉」「肉加工品」「鮮魚」「惣菜」であると特定した場合、シンボル認識処理を行うと説明した。変形例２は、物体２４１に対してカテゴリ認識処理を行い「野菜」であると特定した場合、「バラ売り商品」であるか確認する。なお、上述する処理と重複する工程については、記載を省略する。
本実施例の別の変形例である変形例２について、図２０を用いて以下に説明する。上述する本実施例は、物体４１に対してカテゴリ認識処理を行い「量り売り商品」「精肉」「肉加工品」「鮮魚」「惣菜」であると特定した場合、シンボル認識処理を行うと説明した。変形例２は、物体２４１に対してカテゴリ認識処理を行い「野菜」であると特定した場合、「バラ売り商品」であるか確認する。なお、上述する処理と重複する工程については、記載を省略する。
【0128】
本変形例２においては、本実施例で説明したステップＳ１０３までは、同一の処理を行うものとする。すなわち、制御部２４は、第１画像２３１に含まれる物体２４１に対してカテゴリ認識処理を実行し、カテゴリを特定する。詳細については、上述する認識処理と重複するため、記載を省略する。
【0129】
制御部２４は、第１物体２４１ａのカテゴリを「野菜」であると特定したとき、第１物体２４１ａに対して物体認識処理を実行する。図２０は、ユーザによって持ち上げられた第１物体２４１ａを含む第１画像２３１の一例である。例えば、第１物体２４１ａは「玉ねぎ」であり、制御部２４は、第１物体２４１ａのカテゴリを「青果」であると特定し、第１物体２４１ａに対して物体認識処理を行う。
【0130】
制御部２４は、第１物体２４１ａに対して物体認識処理を行い、第１物体２４１ａがバラ売りされている物体であるか否かを判定する。より具体的には、制御部２４は、第１物
体２４１ａを特定し、記憶部２３に記憶されている商品情報データベース等を用いて、バラ売りされている物体であるか否かを確認する。商品情報データベースには、店舗で販売される物体について、ばら売りの対象であるか否かの情報が登録されているものとする。また、制御部２４は、第１物体２４１ａの包装の範囲を特定し、包装内に含まれる第１物体２４１ａの数量を特定し、当該数量が、所定の数量以外である場合、バラ売りされている商品であると決定してよい。ここで、所定の数量とは、１つの包装に包装され販売される第１物体２４１ａとして、予め設定された第１物体２４１ａの数量であってよい。第１物体２４１ａがバラ売りされている商品と判定され、かつ、第１画像２３１中に同一の第１物体２４１ａを複数検知したとき、第１物体２４１ａの数の入力を促す表示を表示部１３へ表示させる。具体的には、第１物体２４１ａは、店舗の売り場では１つずつばら売りされている「玉ねぎ」である。ユーザは備え付けの袋に複数の「玉ねぎ」を１つの袋に入れて購入しようとしている。若しくは、予め複数の「玉ねぎ」が１つの袋に入れられて店舗で販売されている場合もある。制御部２４は、このように１つの袋に入れられた「玉ねぎ」を認識し、袋の中に「玉ねぎ」を複数検知したとき、「玉ねぎ」の数の入力を促す画像を表示部１３へ表示させる。第１物体２４１ａがバラ売りされている商品でない場合、第１画像２３１に第１名称２４３ａを表示させる。これにより、情報処理装置２０は、ユーザによる物体２４１の数量の入力が必要なときのみ、ユーザへ物体２４１の入力を促す表示を表示させることができ、情報処理装置２０の利便性を向上させられる。
体２４１ａを特定し、記憶部２３に記憶されている商品情報データベース等を用いて、バラ売りされている物体であるか否かを確認する。商品情報データベースには、店舗で販売される物体について、ばら売りの対象であるか否かの情報が登録されているものとする。また、制御部２４は、第１物体２４１ａの包装の範囲を特定し、包装内に含まれる第１物体２４１ａの数量を特定し、当該数量が、所定の数量以外である場合、バラ売りされている商品であると決定してよい。ここで、所定の数量とは、１つの包装に包装され販売される第１物体２４１ａとして、予め設定された第１物体２４１ａの数量であってよい。第１物体２４１ａがバラ売りされている商品と判定され、かつ、第１画像２３１中に同一の第１物体２４１ａを複数検知したとき、第１物体２４１ａの数の入力を促す表示を表示部１３へ表示させる。具体的には、第１物体２４１ａは、店舗の売り場では１つずつばら売りされている「玉ねぎ」である。ユーザは備え付けの袋に複数の「玉ねぎ」を１つの袋に入れて購入しようとしている。若しくは、予め複数の「玉ねぎ」が１つの袋に入れられて店舗で販売されている場合もある。制御部２４は、このように１つの袋に入れられた「玉ねぎ」を認識し、袋の中に「玉ねぎ」を複数検知したとき、「玉ねぎ」の数の入力を促す画像を表示部１３へ表示させる。第１物体２４１ａがバラ売りされている商品でない場合、第１画像２３１に第１名称２４３ａを表示させる。これにより、情報処理装置２０は、ユーザによる物体２４１の数量の入力が必要なときのみ、ユーザへ物体２４１の入力を促す表示を表示させることができ、情報処理装置２０の利便性を向上させられる。
【0131】
図２１は、第１物体２４１ａの数の入力を促す第６画像２３７の一例である。第６画像２３７は、０から９の数字が記載されている画像を含んで表示される。第６画像２３７は、第１名称２４３ａ、第１登録画像２４４ａ、第１物体２４１ａの価格などを含んで表示されてよい。制御部２４は、０から９までの数字が記載される画像を選択されることで、第１物体２４１ａの数の入力を受け付ける。制御部２４は、第１物体２４１ａの数の入力が完了した入力を受け付け得る。数の入力が完了した入力とは、入力を完了したという釦を押下する入力等であってよい。制御部２４は、第１物体２４１ａの数の入力が完了したことを受け付けたとき、当該入力した数と第１物体２４１ａの情報を購入する物体の情報として記憶部２３へ一時記憶する。さらに、制御部２４は、第１物体２４１ａの情報を第２画像２３２へ表示させる。
【0132】
図２２は、複数の第１物体２４１ａの情報を含む第２画像２３２の一例である。第２画像２３２は、複数の物体２４１を１つとしてまとめて表示してよい。例えば、購入予定の第１物体２４１ａである「玉ねぎ」が３つあるとき、１つの第１登録画像２４４ａの右に「×３」という個数を表す文字列を表示させたり、第１名称２４３ａの「玉ねぎ」の続きに「×３」という文字列を表示させたりしてよい。第１登録画像２４４ａを複数枚重ねて表示することで、複数個の第１物体２４１ａが存在することを示してもよい。
【0133】
このように、情報処理装置２０は、物体のカテゴリに応じたユーザインタフェースを提供することで、ユーザの負担を減少させることができる。
【0134】
（変形例２のシステム動作）
図２３は、本開示の変形例２に係る情報処理方法の手順を示すフローチャートである。この情報処理方法は、上述するステップＳ１０１からＳ１１５に加え、ステップＳ３０１からステップＳ３０３を含む。
図２３は、本開示の変形例２に係る情報処理方法の手順を示すフローチャートである。この情報処理方法は、上述するステップＳ１０１からＳ１１５に加え、ステップＳ３０１からステップＳ３０３を含む。
【0135】
制御部２４は、ステップＳ１０４にて特定した物体２４１のカテゴリが「青果」であり、かつ、ステップＳ１０６にて物体２４１がばら売りされる物体であるか否かを判定する（ステップＳ３０１）。
【0136】
制御部２４は、ステップＳ１０４にて特定した物体２４１のカテゴリが「青果」であり
、かつ、ステップＳ１０６にて物体２４１がばら売りされる物体であるとき（ステップＳ３０１：ＹＥＳ）、ステップＳ３０２へ進む。
、かつ、ステップＳ１０６にて物体２４１がばら売りされる物体であるとき（ステップＳ３０１：ＹＥＳ）、ステップＳ３０２へ進む。
【0137】
制御部２４は、ステップＳ１０４にて特定した物体２４１のカテゴリが「青果」ではなく、または、ステップＳ１０６にて物体２４１がばら売りされる物体ではないとき（ステップＳ３０１：ＮＯ）ステップＳ１０７に進む。
【0138】
制御部２４は、物体認識処理された物体２４１の数の入力を促す第６画像２３７を表示部１３へ表示させる（ステップＳ３０２）。
【0139】
制御部２４は、物体２４１の数の入力を受け付けたか否かを判定する（ステップＳ３０３）。
【0140】
制御部２４は、物体２４１の数の入力を受け付けたとき（ステップＳ３０３：ＹＥＳ）、ステップＳ１０９へ進む。
【0141】
制御部２４は、物体２４１の数の入力を受け付けなかったとき（ステップＳ３０３：ＮＯ）、ステップＳ３０２へ戻る。すなわち、制御部２４は、物体２４１の数の入力を受け付けるまで、第６画像２３７を表示させ続ける。
【0142】
このように、情報処理方法は、物体のカテゴリに応じてユーザへ促す、次に行うべき会計操作を変更させることで、ユーザの負担を減少させられる。
【0143】
（変形例３）
本実施例の別の変形例である変形例３について、図２４を用いて以下に説明する。変形例３は、物体に割引情報が付与されている場合の認識処理について説明する。変形例３における物体自体の認識処理は、上述する本実施例と同じである。なお、上述する処理と重複する工程については、記載を省略する。
本実施例の別の変形例である変形例３について、図２４を用いて以下に説明する。変形例３は、物体に割引情報が付与されている場合の認識処理について説明する。変形例３における物体自体の認識処理は、上述する本実施例と同じである。なお、上述する処理と重複する工程については、記載を省略する。
【0144】
ユーザが購入しようとする物体に割引シールなどの割引情報が付与されている場合、本実施例で説明したステップＳ１０２において第１の撮像部１２が撮像する第１画像３３１に含まれる第１物体３４１ａの画像には、割引情報の画像が含まれる。制御部２４は、第１画像３３１に含まれる物体に割引情報が付与されていると認識したとき、当該割引情報を表す割引画像３４５を当該物体と対応付けて表示部１３へ表示させる。具体的には、第１割引画像３４５ａを第１画像３３１に含まれる第１物体３４１ａの画像の近傍、または第１物体３４１ａの画像に重畳させて表示させる。なお、第１割引画像３４５ａの表示形態についてはこれに限られない。なお、店舗において、用いられる割引シールのパターンは予め記憶部２３に登録しておいてよい。制御部２４は、パターンマッチング等の既知の手法を用いて、第１物体３４１ａの画像に含まれる割引情報を検出することができる。
【0145】
図２４は、割引情報が付与された第１物体３４１ａの画像を含む、第１画像３３１の一例である。第１物体３４１ａの画像には、割引情報である割引シールが含まれる。制御部２４は、第１物体３４１ａの画像から割引情報が付されていることを認識したとき、第１割引画像３４５ａを第１画像３３１上に表示させる。第１割引画像３４５ａは、割引の対象であることを示す画像、または割引情報の内容を示す画像である。例えば、制御部２４は、「２割引」と記載された割引情報を認識したとき、「２割引」と記載された第１割引画像３４５ａを第１画像３３１の右上に表示させてよい。また、制御部２４は、「２０円引」と記載された割引情報を認識したとき、「２０円引」と記載された第１割引画像３４５ａを第１画像３３１の右上に表示させてよい。制御部２４は、第１割引画像３４５ａを必ずしも右上に表示させなくてよく、第１画像３３１上の何れの位置へと表示させてよい
。制御部２４は、第１物体３４１ａの画像とともに、割引情報を適用させた第１物体３４１ａの価格を第１画像３３１に表示させてよい。例えば、「豚小間切れ肉」である第１物体３４１ａの価格は「３７６円」である。このとき、制御部２４は、「２割引」という割引情報を第１物体３４１ａの価格へ適用し、「３０１円」という価格を表示させてよい。制御部２４は、割引情報が適用された価格であることを示すために、割引情報を付与する前の価格と割引情報を付与した後の価格を表示させてよい。制御部２４は、割引情報を付与した後の価格を、割引情報を付与する前の価格に対して強調又は区別して表示させてよい。制御部２４は、文字の大きさ、文字の太さ、文字の色を変更させる等によって、強調又は区別した表示とさせてよい。
。制御部２４は、第１物体３４１ａの画像とともに、割引情報を適用させた第１物体３４１ａの価格を第１画像３３１に表示させてよい。例えば、「豚小間切れ肉」である第１物体３４１ａの価格は「３７６円」である。このとき、制御部２４は、「２割引」という割引情報を第１物体３４１ａの価格へ適用し、「３０１円」という価格を表示させてよい。制御部２４は、割引情報が適用された価格であることを示すために、割引情報を付与する前の価格と割引情報を付与した後の価格を表示させてよい。制御部２４は、割引情報を付与した後の価格を、割引情報を付与する前の価格に対して強調又は区別して表示させてよい。制御部２４は、文字の大きさ、文字の太さ、文字の色を変更させる等によって、強調又は区別した表示とさせてよい。
【0146】
また、制御部２４は、第１物体３４１ａの画像から割引情報を認識したとき、当該割引情報を音声として出力させてよい。例えば、制御部２４は、「２割引」と記載された割引情報を認識したとき、「２割引商品です」という音声を出力させてよい。また、制御部２４は、「２０円引」と記載された割引情報を認識したとき、「２０円引です」という音声を出力させてよい。また、制御部２４は、割引情報の種類によって、出力させる音声の種類を変更させてよい。例えば、制御部２４は、「１割引」「２割引」といった「〇割引」と記載された割引情報を認識したとき、「ピピッ」という音声を出力させ、「１０円引」「２０円引」といった「△円引」と記載された割引情報を認識したとき、「ピピピッ」という音声を出力させてよい。情報処理装置２０は、音声を出力させる出力部をさらに備えてよい。
【0147】
制御部２４は、割引情報が付与された第１物体３４１ａの情報を第２画像３３２へ表示させるとき、第１割引画像３４５ａ又は割引情報が付与された物体であることを意味する情報を併せて表示させて良い。第２画像３３２へ第１割引画像３４５ａを表示させる際、第１割引画像３４５ａは縮小されてよい。図２５は、第１物体３４１ａの情報が追加された購入リストを第２画像３３２に表示する場合の一例である。第２画像３３２は、第１物体３４１ａの情報として、第１名称３４３ａ、第１登録画像３４４ａを含んでよい。制御部２４は、第１登録画像３４４ａの近傍に第１割引画像３４５ａを併せて表示させてよい。例えば、制御部２４は、第１登録画像３４４ａの右下に第１割引画像３４５ａを縮小させて併せて表示させている。制御部２４は、割引情報を適用した第１物体３４１ａの価格を表示させてよい。具体的には、制御部２４は、割引情報が適用された価格を表示してよい。制御部２４は、割引情報を適用する前の価格と割引情報を適用した後の価格を表示させてよい。制御部２４は、割引情報を適用した後の価格を、割引情報を適用する前の価格に対して強調又は区別して表示させてよい。制御部２４は、文字の大きさ、文字の太さ、文字の色を変更させる等によって、強調又は区別した表示としてよい。
【0148】
【0149】
図２６は、第２物体３４１ｂの情報が追加された購入リストを表示する第２画像３３２の一例である。制御部２４は、第２画像３３２に含まれる第２物体３４１ｂの認識結果及び割引情報の少なくとも何れかを修正する操作を受け付け得る。物体の認識結果を修正する処理については上述する処理と同様であるため、記載を省略する。例えば、図２６では、第２物体３４１ｂとともに表示されている、縮小された第２割引画像３４５ｂが「１０円引」であることを示している。しかし、第２物体３４１ｂに付された正しい割引情報は「１０％引」である。この場合、第２物体３４１ｂの価格に対して「１０％引」することが正しいため、ユーザは、第２名称３４３ｂを修正する修正処理を行うための入力を行う。ユーザは、修正処理を開始するために例えば、表示部１３中の第２名称３４３ｂまたは第２物体３４１ｂの画像を選択する入力、名称を修正する釦を押下する入力等を行う。
【0150】
制御部２４は、物体の認識結果及び割引情報を修正する修正処理を実行する入力を受け付けたとき、修正する項目の入力をユーザに促す修正画像３３７を表示部１３へ表示させる。図２７は、修正する項目の入力を促す修正画像３３７の一例である。修正画像３３７は、「修正したい項目を選択してください」という文字列を含んでいる。修正画像３３７は、修正する項目の候補となる、「商品」「割引情報」という文字列を含む画像を含んでよい。
【0151】
制御部２４は、物体の認識結果を修正させる入力を受け付けたとき、当該物体３４１を再度撮影するように促す第３画像３３４ａを表示部１３へ表示させる。詳細は上述される処理と同様であるため、記載を省略する。
【0152】
制御部２４は、割引情報を修正させる入力を受け付けたとき、当該割引情報に関連する割引情報を含む第２物体３４１ｂを再度撮影するように促す第３画像３３４ｂを表示部１３へ表示させる。図２８は、第２割引画像３４５ｂを再度撮影するように促す第３画像３３４ｂの一例である。例えば、制御部２４は、再度撮影を促す第３画像３３４ｂとして「商品を再度認識いたします。修正したい商品をもう一度カメラへ映してください。」という文字列や第１領域１３ａに向いた矢印を表示部１３へ表示させてよい。本実施形態では、第３画像３３４ｂは、第２画像３３２に重畳して表示されるが、これに限定されない。ユーザは、第３画像３３４ｂを確認したとき、修正したい物体３４１を容器３４０の上部へ移動させることで、誤って割引情報が認識された物体である第２物体３４１ｂを、再度第１の撮像部１２に撮像させる。
【0153】
制御部２４は、容器３４０の上部へ移動した第２割引画像３４５ｂに対して再度認識処理を行う。このとき、制御部２４は、第２物体３４１ｂに対しても認識処理を行ってよい。第２割引画像３４５ｂを再び認識した後の処理については、上述する処理と同様であるため、記載を省略する。
【0154】
なお、制御部２４は、修正処理の対象となっている、第２物体３４１ｂをユーザに再度撮影させることに代えて、ユーザに正しい割引情報を入力させてもよい。制御部２４は、割引対象となる物体と、当該物体の割引の内容を対応付けた割引情報リストを、予め記憶部２３に記憶されていてよい。制御部２４は、ユーザが入力した割引情報の正当性を、割引情報リストを用いて判定してよい。制御部２４は、割引情報リストを用いて、正しい割引情報を、選択肢を用いてユーザに選択させてもよい。
【0155】
以上の説明のように、情報処理装置２０は、割引画像３４５を認識したときに当該割引画像３４５を認識したことを撮像画像へ表示させることで、ユーザは当該割引情報を認識できていることを容易に認知できる。さらに、情報処理装置２０は、割引情報を含む物体を購入リストへ追加したとき、当該物体が割引情報を含むことを購入リストへ表示させることで、ユーザは当該割引情報を認識できていることを容易に認知できる。
【0156】
（変形例３のシステムの動作）
図２９は、本開示の変形例３に係る情報処理方法の手順を示すフローチャートである。この情報処理方法は、ステップＳ４０１からステップＳ４１５を含む。なお、上述するステップＳ１０１からステップＳ１１４までの記載と重複する記載は省略する。
図２９は、本開示の変形例３に係る情報処理方法の手順を示すフローチャートである。この情報処理方法は、ステップＳ４０１からステップＳ４１５を含む。なお、上述するステップＳ１０１からステップＳ１１４までの記載と重複する記載は省略する。
【0157】
ステップＳ４０１からステップＳ４０４は、上述するステップＳ１０１からステップＳ１０４までと同じ処理であるため、記載を省略する。
【0158】
制御部２４は、物体３４１に付与されているシンボル３４２と、物体３４１に付与され
ている割引画像３４５に対して、認識処理を実行し、物体３４１の情報と割引情報を取得する（ステップＳ４０５）。
ている割引画像３４５に対して、認識処理を実行し、物体３４１の情報と割引情報を取得する（ステップＳ４０５）。
【0159】
制御部２４は、物体３４１に対して物体認識処理を、物体３４１に付与されている割引画像３４５に対して認識処理を実行し、物体３４１の情報と割引情報を取得する。
【0160】
ステップＳ４０７からステップＳ４１０は、上述するステップＳ１０７からステップＳ１１０までと同じ処理であるため、記載を省略する。
【0161】
制御部２４は、物体３４１の情報または物体３４１に付与される割引情報を修正する入力を受け付けたか否かを判定する（ステップＳ４１１）。
【0162】
制御部２４は、物体３４１の情報または物体３４１に付与される割引情報を修正する入力を受け付けたとき（ステップＳ４１１：ＹＥＳ）、ステップＳ４１２へ進む。
【0163】
制御部２４は、物体３４１の情報または物体３４１に付与される割引情報を修正する入力を受け付けなかったとき（ステップＳ４１１：ＮＯ）、ステップＳ４１３へ進む。
【0164】
制御部２４は、物体３４１の情報または物体３４１に付与される割引情報のうち、修正する項目を受け付ける（ステップＳ４１２）。修正する項目を受け付けたとき、ステップＳ１０２へ進む。
【0165】
ステップＳ４１３からステップＳ４１５は、上述するステップＳ１１２からステップＳ１１４までと同じ処理であるため、記載を省略する。
【0166】
以上の説明のように、情報処理方法は、割引画像を認識したときに当該割引画像を認識したことを撮像画像へ表示させることで、ユーザは当該割引情報を認識できていることを容易に認知できる。さらに、情報処理方法は、割引情報を含む物体を購入リストへ追加したとき、当該物体が割引情報を含むことを購入リストへ表示させることで、ユーザは当該割引情報を認識できていることを容易に認知できる。
【0167】
（変形例４）
本実施例の別の変形例である変形例４について、図３０を用いて以下に説明する。上述する本実施例では、制御部２４が第１の撮像部１２によって撮影された第１画像３１を表示させる場合を説明したが、変形例４では、第１画像４３１に重畳画像４３８を重畳させて表示する。なお、上述する処理と重複する工程については、記載を省略する。
本実施例の別の変形例である変形例４について、図３０を用いて以下に説明する。上述する本実施例では、制御部２４が第１の撮像部１２によって撮影された第１画像３１を表示させる場合を説明したが、変形例４では、第１画像４３１に重畳画像４３８を重畳させて表示する。なお、上述する処理と重複する工程については、記載を省略する。
【0168】
本変形例４においては、制御部２４は、載置台１０に容器４４０が載置され、会計開始を指示する入力を受け付けたとき、第１の撮像部１２が撮像する第１画像４３１に重畳画像４３８を重畳させて表示部１３へ表示させる。重畳画像４３８は第１画像４３１の画像を第１透過度α１で透過させる画像である。重畳画像４３８は、少なくとも載置台１０に載置された容器４４０の全体を覆う大きさを持った画像であってよい。本変形例４において、重畳画像４３８は第１画像４３１の全体を覆う大きさをもった、矩形の画像である。本変形例４において、重畳画像４３８は黒色を有するが、これに限定されず、白、グレーなどの単色、２色以上のグラデーション等であってよい。
【0169】
図３０は、制御部２４が会計開始を指示する操作を受け付けたときの画像４３０の一例である。第１画像４３１に重畳画像４３８が重畳することで、第１画像４３１の視認性が低下する。例えば、重畳画像４３８が黒色を有する画像である場合、第１画像４３１全体が暗くなって、ユーザによって見えにくくなる。
【0170】
制御部２４は、情報処理システム３の使用方法を説明する解説画像４３９を重畳画像４３８へ重畳させる。解説画像４３９は、重畳画像４３８の上に重畳されているので、視認性は低下しておらず、ユーザは明瞭に認識することができる。例えば、解説画像４３９は「商品のラベルが見やすいよう持ち上げてください。」という文字列を含む解説画像４３９ａと、物体の画像を含む解説画像４３９ｂを含む。解説画像４３９は、複数枚の静止画像であっても、動画像であってよい。
【0171】
制御部２４は、解説画像４３９の表示が終了した後、認識処理を開始する。制御部２４は、認識処理を開始するとき、重畳画像４３８の透過度αを第１透過度α１より高い値である第２透過度α２へ変更する。図３１は、認識処理を開始したときの画像４３０の一例である。重畳画像４３８は、第１透過度α１から第２透過度α２へ変更されているため、第１画像４３１の視認性が向上している。
【0172】
ユーザは、容器４４０に収容された物体４４１（物体４４１ａ～４４１ｃ）から、任意の物体を取り出し、第１の撮像部１２に近づける。制御部２４は、当該物体に対して、認識処理を実行する。制御部２４は、物体４４１に対してシンボル認識処理、又は物体認識処理を実行し、第１物体４４１ａの価格を取得するために必要な情報を特定したとき、当該物体４４１と重畳する重畳画像４３８の透過度を変更させる。より具体的には、当該物体４４１と重畳する重畳画像４３８がもつ第２透過度α２を、第２透過度α２より高い値である第３透過度α３へ変更させる。図３２は、物体４４１を認識したときの画像４３０の一例である。制御部２４は、第１物体４４１ａを認識したとき、重畳画像４３８のうち、第１物体４４１ａの画像と重畳する部分の透過度を第２透過度α２から第３透過度α３へ変更させる。このとき、制御部２４は、第１物体４４１ａの情報である第１名称４４３ｂや第１物体４４１ａの移動を促す表示と重畳する重畳画像４３８の透過度を第２透過度α２から第３透過度α３へ変更させてよい。例えば、第３透過度α３は、１００％の透過度であってよい。
【0173】
ユーザが表示部１３に表示された解説画像４３９を視聴する時、第１画像４３１は不要な情報といえる。第１画像４３１が解説画像４３９の背景として明瞭に表示されていると、ユーザは解説画像４３９の視聴に集中できない可能性がある。特に解説画像４３９に、店舗で販売される物体の画像が含まれる場合、解説画像４３９の視認性が低下する恐れがある。本変形例４では、第１画像４３１に重畳画像４３８を重畳させることで、第１画像４３１の視認性を低下させ、解説画像４３９の視認性を向上させるものである。
【0174】
また、解説画像４３９の視聴が完了した後は、重畳画像４３８の透過度を上げることで、第１画像４３１の視認性を向上させる。更に、情報処理システム３が、物体４４１の認識処理の実行を行った際には、当該物体４４１の画像に重畳する重畳画像４３８の透過度を更に高めることで、ユーザは当該物体４４１の認識処理が実行されたことを明確に認知できる。なお、制御部２４は、物体４４１の認識処理が実行されたことをユーザに報知する、音または音声メッセージを出力してもよい。
【0175】
なお、第１画像４３１の視認性を変更させる手段は、重畳画像４３８を用いることに限定されない。例えば、制御部２４は、重畳画像４３８を第１画像４３１に重畳させることに代えて、第１画像４３１の全部又は一部の輝度、明度、彩度、コントラストを調整することで、重畳画像４３８を用いた場合と同様もしくは類似の効果を実現することができる。
【0176】
また、制御部２４は、重畳画像４３８を、第２上面１０ｔから所定の高さまでの範囲の空間に存在する物体の画像にのみ、重畳させてもよい。具体的には、制御部２４は、第２
上面１０ｔから高さｄ１までの範囲の空間に存在する物体の画像に重畳させてよい。言い換えると、重畳画像４３８は、第２上面１０ｔから高さｄ１以上の高さの空間に存在する物体の画像に重畳させなくてよい。この場合、ユーザによって容器４４０から、高さｄ１以上の高さまで取り出された物体４４１は、重畳画像４３８の影響を受けず、明瞭に視認できる。重畳画像４３８は、第１物体４４１ａの画像と重畳する部分の透過度を第３透過度α３とすることに代えて、第１物体４４１ａの画像を強調する表示を行ってよい。
上面１０ｔから高さｄ１までの範囲の空間に存在する物体の画像に重畳させてよい。言い換えると、重畳画像４３８は、第２上面１０ｔから高さｄ１以上の高さの空間に存在する物体の画像に重畳させなくてよい。この場合、ユーザによって容器４４０から、高さｄ１以上の高さまで取り出された物体４４１は、重畳画像４３８の影響を受けず、明瞭に視認できる。重畳画像４３８は、第１物体４４１ａの画像と重畳する部分の透過度を第３透過度α３とすることに代えて、第１物体４４１ａの画像を強調する表示を行ってよい。
【0177】
（変形例４のシステムの動作）
図３３は、本開示の変形例４に係る情報処理方法の手順を示すフローチャートである。この情報処理方法は、ステップＳ５０１からステップＳ５１７を含む。なお、上述するステップＳ１０１からステップＳ１１４までの記載と重複する記載は省略する。
図３３は、本開示の変形例４に係る情報処理方法の手順を示すフローチャートである。この情報処理方法は、ステップＳ５０１からステップＳ５１７を含む。なお、上述するステップＳ１０１からステップＳ１１４までの記載と重複する記載は省略する。
【0178】
制御部２４は、会計開始を指示する入力を受け付けたとき、物体４４１を含む第１画像３３１を取得する（ステップＳ５０１）。
【0179】
制御部２４は、表示部１３の第１領域１３ａに対して第１画像４３１、第１画像４３１に重畳する重畳画像４３８及び重畳画像４３８に重畳する解説画像４３９を表示させる（ステップＳ５０２）。
【0180】
制御部２４は、表示部１３に表示される重畳画像４３８のｓ第１透過度α１を第２透過度α２へ変更する（ステップＳ５０３）。
【0181】
ステップＳ５０４からステップＳ５０９は、上述するステップＳ１０１、ステップＳ１０３からステップＳ１０７までと同様に処理であるため、記載を省略する。
【0182】
制御部２４は、認識した物体４４１と、名称４４３に重畳する重畳画像４３８の持つ第２透過度α２を第３透過度α３へ変更する（ステップＳ５１０）。
【0183】
ステップＳ５１１からステップＳ５１３は、上述するステップＳ１０８からステップＳ１１０までと同様の処理であるため、記載を省略する。
【0184】
制御部２４は、物体４４１の情報を修正する入力を受け付けたか否かを判定する（ステップＳ５１４）。
【0185】
制御部２４は、物体４４１の情報を修正する入力を受け付けたとき（ステップＳ５１４：ＹＥＳ）、ステップＳ５１５へ進む。
【0186】
制御部２４は、物体４４１の情報を修正する入力を受け付けなかったとき（ステップＳ５１４：ＮＯ）、ステップＳ５１６へ進む。ここで、入力を受け付けなかったときとは、当該入力を一定時間受け付けなかったときや後述するステップＳ５１５の処理に関する入力を受け付けたとき等が含まれてよい。
【0187】
制御部２４は、第１の撮像部１２から第１画像４３１を通信部２１によって受信することにより、第１画像４３１のデータを取得する（ステップＳ５１５）。その後、ステップＳ５０５へ戻る。
【0188】
制御部２４は、一時記憶した物体を精算する入力を受け付けたか否かを判定する（ステップＳ５１６）。
【0189】
制御部２４は、一時記憶した物体を精算する入力を受け付けたとき（ステップＳ５１６
：ＹＥＳ）、ステップＳ５１７へ進む。
：ＹＥＳ）、ステップＳ５１７へ進む。
【0190】
制御部２４は、一時記憶した物体を精算する入力を受け付けなかったとき（ステップＳ５１６：ＮＯ）、ステップＳ５１５へ戻る。ここで、精算する入力を受け付けなかったときとは、精算する入力を受け付ける前に新たな物体を認識したとき等が含まれる。
【0191】
ステップＳ５１７とステップＳ５１８の処理は、上述するステップＳ１１３とステップＳ１１４と同様の処理であるため、記載を省略する。
【0192】
（変形例５）
本実施例の別の変形例である変形例５について、図３４を用いて説明する。なお、上述する処理と重複する工程については、記載を省略する。本実施例において、測定部１５は、第２上面１０ｔの上方に位置している場合について説明したが、変形例５において、測定部５１５は、支持柱１１に固定され、第１の撮像部１２と同じ高さに位置する。また、本実施例において、制御部２４は、第２上面１０ｔから容器４０の最上部４０ａまでの高さｄ１より高い位置にある物体に対して認識処理を行う場合について説明したが、変形例５では、第２上面１０ｔから所定の高さｄ３より高い位置にある物体に対して認識処理を行う。
本実施例の別の変形例である変形例５について、図３４を用いて説明する。なお、上述する処理と重複する工程については、記載を省略する。本実施例において、測定部１５は、第２上面１０ｔの上方に位置している場合について説明したが、変形例５において、測定部５１５は、支持柱１１に固定され、第１の撮像部１２と同じ高さに位置する。また、本実施例において、制御部２４は、第２上面１０ｔから容器４０の最上部４０ａまでの高さｄ１より高い位置にある物体に対して認識処理を行う場合について説明したが、変形例５では、第２上面１０ｔから所定の高さｄ３より高い位置にある物体に対して認識処理を行う。
【0193】
変形例５では、測定部５１５は、支持柱１１に固定され、第１の撮像部１２と同じ高さに位置する。すなわち、第１の撮像部１２と一体に構成されている。
【0194】
図３４は、第２上面１０ｔへ物体を収容した容器４０を載置した一例である。制御部２４は、測定部５１５を制御して、第２上面１０ｔから所定の高さｄ３より高い位置にある物体に対してカテゴリ認識処理を実行する。より具体的には、測定部５１５は、測定部５１５から第２上面１０ｔまでの距離Ｄを測定する。制御部２４は、測定した距離Ｄと、所定の高さｄ３の差より、測定部５１５、すなわち第１の撮像部１２からの距離ｄ４を算出する。制御部２４は、第１の撮像部１２から距離ｄ４以内に位置する物体に対してカテゴリ認識処理を実行する。ここで、所定の高さｄ３とは、例えば、成人男性が直立したときの当該成人男性の腰の高さ、成人男性が直立したときの当該成人男性の肘の高さ、成人男性が直立したときの当該成人男性の肩の高さ等が含まれる。所定の高さｄ３は、会計を行うユーザの身体情報より、適宜変更されてよい。例えば、制御部２４は、第２上面１０ｔからユーザの腰の高さまでの距離を第２の撮像部１４によって撮像された画像を用いて算出したり、予め記憶部２３に記憶されているユーザの情報より取得してよい。
【0195】
以上説明より、変形例５に係る情報処理装置２０は、購入意思があるか否かの判定を行うために利用される高さの閾値をユーザによって変更させることで、ユーザの利便性を向上させられる。
【0196】
本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。したがって、これらの変形、修正または、本開示の実施例同士の組み合わせは本開示の範囲に含まれることに留意されたい。
【0197】
本開示を、本実施例と本実施例の変形例に基づき説明した。本実施例と変形例において、同じ名称の構成は、説明がない場合、それらは同じ機能を備えるものである。例えば、容器４０及び容器１４０は、同じ機能を備えるものである。
【0198】
本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成にお
ける番号を交換することができる。例えば、第１の情報処理装置は、第２の情報処理装置と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
ける番号を交換することができる。例えば、第１の情報処理装置は、第２の情報処理装置と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
【0199】
本開示における表示部１３に表示される物体の画像及び物体の認識結果を選択する入力は、上述するものに限定されず、当該選択を所定の時間以上行うものであってよい。
【0200】
一実施形態において、（１）情報処理システムは、
物体の画像を含む第１画像を取得する取得部と、
前記物体に関する情報を取得する制御部と、
前記第１画像を表示する第１領域と、第２領域と、前記第１領域と前記第１領域の外との境界を含む、前記第１領域と隣り合う第３領域を含む表示部と、を備え、
前記制御部は、前記物体の画像が前記第１領域から前記第３領域へ移動したとき、前記第３領域の表示態様を第１表示態様へ変化させ、前記物体に関する情報を前記第２領域に表示させる。
物体の画像を含む第１画像を取得する取得部と、
前記物体に関する情報を取得する制御部と、
前記第１画像を表示する第１領域と、第２領域と、前記第１領域と前記第１領域の外との境界を含む、前記第１領域と隣り合う第３領域を含む表示部と、を備え、
前記制御部は、前記物体の画像が前記第１領域から前記第３領域へ移動したとき、前記第３領域の表示態様を第１表示態様へ変化させ、前記物体に関する情報を前記第２領域に表示させる。
【0201】
（２）上記（１）情報処理システムにおいて、
前記制御部は、前記物体の画像が前記第１領域から前記第３領域へ移動したとき、前記第２領域に、前記物体を示す登録画像か前記物体の画像の少なくとも何れか１つを表示させる。
前記制御部は、前記物体の画像が前記第１領域から前記第３領域へ移動したとき、前記第２領域に、前記物体を示す登録画像か前記物体の画像の少なくとも何れか１つを表示させる。
【0202】
（３）上記（１）乃至（２）情報処理システムにおいて、
前記制御部は、前記物体の画像と前記第３領域が接触した位置から、前記第２領域に向かって、前記登録画像か前記物体の画像の少なくとも何れか１つの表示を移動させる。
前記制御部は、前記物体の画像と前記第３領域が接触した位置から、前記第２領域に向かって、前記登録画像か前記物体の画像の少なくとも何れか１つの表示を移動させる。
【0203】
（４）上記（１）乃至（３）情報処理システムにおいて、
前記制御部は、前記物体の画像と前記第３領域が接触した位置から、前記第２領域内の所定の領域に向かって、前記登録画像か前記物体の画像の少なくとも何れか１つの表示を移動させる。
前記制御部は、前記物体の画像と前記第３領域が接触した位置から、前記第２領域内の所定の領域に向かって、前記登録画像か前記物体の画像の少なくとも何れか１つの表示を移動させる。
【0204】
（５）上記（１）乃至（４）情報処理システムにおいて、
前記制御部は、前記第３領域に新たな物体を検知したとき、前記境界を第２表示態様で強調させる。
前記制御部は、前記第３領域に新たな物体を検知したとき、前記境界を第２表示態様で強調させる。
【0205】
（６）上記（１）乃至（５）情報処理システムにおいて、
前記制御部は、前記第３領域から第１領域に向かって前記新たな物体の移動を検知したとき、前記境界を前記第２表示態様へ変化させる。
前記制御部は、前記第３領域から第１領域に向かって前記新たな物体の移動を検知したとき、前記境界を前記第２表示態様へ変化させる。
【0206】
（７）上記（１）乃至（６）情報処理システムにおいて、
前記制御部は、前記第２領域に前記物体に関する情報が表示されている時に、新たな物体の画像が前記第１領域から前記第３領域へ移動した場合、前記第２領域に表示される前記物体の個数及び前記新たな物体の個数の少なくとも何れかを音声の出力又は前記表示部に出力させる。
前記制御部は、前記第２領域に前記物体に関する情報が表示されている時に、新たな物体の画像が前記第１領域から前記第３領域へ移動した場合、前記第２領域に表示される前記物体の個数及び前記新たな物体の個数の少なくとも何れかを音声の出力又は前記表示部に出力させる。
【0207】
（８）上記（１）乃至（５）情報処理システムにおいて、
前記第３領域は、前記第１領域と前記第２領域との間に位置する。
前記第３領域は、前記第１領域と前記第２領域との間に位置する。
【符号の説明】
【0208】
１ 精算システム
２ ネットワーク
３ 情報処理システム
４ サーバ
１０ 載置台
１０ｓ 第１上面
１０ｔ 第２上面
１１ 支持柱
１２ 第１の撮像部
１３ 表示部
１４ 第２の撮像部
１５ 測定部
２０ 情報処理装置
２１ 通信部
２２ 入力部
２３ 記憶部
２４ 制御部
３１ 第１画像
４０ 容器
４１ 物体
４１ａ 第１物体
４２ シンボル
４２ａ 第１シンボル
４３ 名称
４３ａ 第１名称
４４ 登録画像
４４ａ 第１登録画像
３４５ 割引画像
３４５ａ 第１割引画像
２ ネットワーク
３ 情報処理システム
４ サーバ
１０ 載置台
１０ｓ 第１上面
１０ｔ 第２上面
１１ 支持柱
１２ 第１の撮像部
１３ 表示部
１４ 第２の撮像部
１５ 測定部
２０ 情報処理装置
２１ 通信部
２２ 入力部
２３ 記憶部
２４ 制御部
３１ 第１画像
４０ 容器
４１ 物体
４１ａ 第１物体
４２ シンボル
４２ａ 第１シンボル
４３ 名称
４３ａ 第１名称
４４ 登録画像
４４ａ 第１登録画像
３４５ 割引画像
３４５ａ 第１割引画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】