特開2024-81061 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 京セラ株式会社の特許一覧

特開2024-81061情報処理装置及び情報処理方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024081061

(43)【公開日】2024-06-17

(54)【発明の名称】情報処理装置及び情報処理方法

(51)【国際特許分類】

G07G 1/01 20060101AFI20240610BHJP

G07G 1/00 20060101ALI20240610BHJP

【ＦＩ】

G07G1/01 301D

G07G1/00 311E

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022194500

(22)【出願日】2022-12-05

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内伸

(74)【代理人】

【識別番号】100203264

【弁理士】

【氏名又は名称】塩川未久

(72)【発明者】

【氏名】戴暁艶

(72)【発明者】

【氏名】謝依珊

(72)【発明者】

【氏名】谷本寛樹

【テーマコード（参考）】

3E142

【Ｆターム（参考）】

3E142AA01

3E142AA03

3E142CA12

3E142DA08

3E142EA02

3E142GA02

3E142GA41

(57)【要約】

【課題】改善された、撮像画像から識別子を検出するための技術を提供する。
【解決手段】情報処理装置は、制御部を備える。制御部は、撮像装置が物体を撮像した撮像画像に含まれる物体の画像から物体の属性を取得するための識別子が検出されない場合、報知情報を出力装置に出力させる。
【選択図】図３

【特許請求の範囲】

【請求項1】

撮像装置が物体を撮像した撮像画像に含まれる前記物体の画像から前記物体の属性を取得するための識別子が検出されない場合、報知情報を出力装置に出力させる制御部を備える、情報処理装置。

【請求項2】

前記制御部は、
前記撮像画像から前記物体に対応する第１部分画像及び前記識別子に対応する第２部分画像を検出し、
前記第１部分画像と前記第２部分画像との間の包含関係の有無に基づいて、前記報知情報を前記出力装置に出力させる、請求項１に記載の情報処理装置。

【請求項3】

前記制御部は、
前記第１部分画像に包含される前記第２部分画像が検出されない場合、前記第２部分画像が検出されない前記物体を報知する前記報知情報を前記出力装置に出力させる、請求項２に記載の情報処理装置。

【請求項4】

前記制御部は、
前記物体の個数が検出された前記識別子の個数と一致しない場合、前記報知情報を前記出力装置に出力させる、請求項１に記載の情報処理装置。

【請求項5】

前記制御部は、
前記撮像画像から前記物体に対応する第１部分画像及び前記識別子に対応する第２部分画像を検出し、
検出した前記物体の個数と前記識別子の個数とが一致し、前記第２部分画像を含まない前記第１部分画像を検出した場合、前記報知情報を前記出力装置に出力させる、請求項１に記載の情報処理装置。

【請求項6】

前記出力装置は、表示装置であり、
前記制御部は、前記物体に対応する第１部分画像及び前記識別子に対応する第２部分画像を強調表示する処理を施した前記撮像画像を、前記表示装置に表示させる、請求項１に記載の情報処理装置。

【請求項7】

前記出力装置は、表示装置であり、
前記制御部は、識別子が検出されない物体に対応する第１部分画像を強調表示する処理が施された前記撮像画像を、前記表示装置に表示させる、請求項１に記載の情報処理装置。

【請求項8】

撮像装置が物体を撮像した撮像画像に含まれる前記物体の画像から前記物体の属性を取得するための識別子を検出することと、
前記識別子が検出されない場合、報知情報を出力装置に出力させることと、を含む、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置及び情報処理方法に関する。

【背景技術】

【0002】

従来、商品代金の精算処理のために、物体を撮像装置等によって撮像し、物体が何れの商品であるかを認識する技術が知られている。例えば、特許文献１に記載のセルフレジ端末は、バックスケール上に置かれた商品をカメラで撮影して、撮影された商品と登録された登録商品とが一致するか否かを判定する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－１５３２２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

商品には、バーコード等の識別子が付されている。撮像画像から識別子を検出するための技術を改善することができれば、有益である。

【0005】

かかる点に鑑みてなされた本開示の目的は、改善された、撮像画像から識別子を検出するための技術を提供することにある。

【課題を解決するための手段】

【0006】

本開示の一実施形態に係る情報処理装置は、
撮像装置が物体を撮像した撮像画像に含まれる前記物体の画像から前記物体の属性を取得するための識別子が検出されない場合、報知情報を出力装置に出力させる制御部を備える。

【0007】

本開示の一実施形態に係る情報処理方法は、
撮像装置が物体を撮像した撮像画像に含まれる前記物体の画像から前記物体の属性を取得するための識別子を検出することと、
前記識別子が検出されない場合、報知情報を出力装置に出力させることと、を含む。

【発明の効果】

【0008】

本開示の一実施形態によれば、改善された、撮像画像から識別子を検出するための技術を提供することができる。

【図面の簡単な説明】

【0009】

【図1】本開示の一実施形態に係る精算システムの概略構成を示す図である。

【図2】図１に示す情報処理システムの概略構成を示す図である。

【図3】図２に示す情報処理装置のブロック図である。

【図4】撮像画像の一例を示す図である。

【図5】表示装置に表示される画像の一例を示す図である。

【図6】表示装置に表示される画像の一例を示す図である。

【図7】本開示の一実施形態に係る情報処理方法の手順を示すフローチャートである。

【図8】撮像画像の一例を示す図である。

【図9】本開示の他の実施形態に係る情報処理方法の手順を示すフローチャートである。

【図10】本開示のさらに他の実施形態に係る情報処理方法の手順を示すフローチャートである。

【図11】本開示のさらに他の実施形態に係る情報処理方法の手順を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本開示に係る実施形態について、図面を参照して説明する。

【0011】

図１に示すような精算システム１は、ＰＯＳ（Point Of Sales）システムとして構成される。精算システム１は、少なくとも１つの情報処理システム３と、サーバ４とを含んで構成される。本実施形態では、精算システム１は、複数の情報処理システム３を含んで構成される。

【0012】

情報処理システム３とサーバ４とは、ネットワーク２を介して通信可能である。ネットワーク２は、インターネット等を含む任意のネットワークであってよい。

【0013】

情報処理システム３は、任意の店舗に設けられてよい。例えば、情報処理システム３は、コンビニエンスストア、スーパーマーケット又はレストラン等に設けられる。

【0014】

情報処理システム３は、無人レジとして構成される。無人レジは、セルフレジとも称される。無人レジは、店舗の従業員ではなく店舗の顧客がレジに対する一連の操作を行うレジである。例えば、情報処理システム３では、店舗の顧客が購入したい商品を後述の図２に示すような載置台１０に配置する。情報処理システム３は、顧客が配置した商品を撮像する。商品（物体）には、商品を識別するための識別子が付されている。識別子は、商品の属性を取得するための識別子である。商品の属性は、例えば、商品名及び価格の情報を含む。本実施形態では、識別子は、１次元のバーコードであるものとする。ただし、識別子は、１次元のバーコードに限定されない。情報処理システム３は、撮像して生成した撮像画像に対してバーコードを検出する処理等を実行することにより、店舗の顧客に対して請求する商品の合計金額を算出することができる。

【0015】

情報処理システム３は、ＰＯＳシステムのレジとして構成される。情報処理システム３は、商品の合計金額等の処理結果を、ネットワーク２を介してサーバ４に送信する。

【0016】

サーバ４は、ネットワーク２を介して情報処理システム３から、情報処理システム３の処理結果を受信する。サーバ４は、受信した処理結果に基づいて、情報処理システム３が設けられた店舗の在庫状況等を管理する。

【0017】

図２に示すように、情報処理システム３は、撮像部１２（撮像装置）と、表示装置１３（出力装置）と、情報処理装置２０とを含んで構成される。情報処理システム３は、載置台１０と、支持柱１１とをさらに含んで構成されてもよい。

【0018】

載置台１０は、上面１０ｓを含む。顧客は、購入したい商品を上面１０ｓに載置する。顧客は、情報処理システム３のユーザとなる。本実施形態では、上面１０ｓは、略長方形状である。ただし、上面１０ｓは、任意の形状であってよい。

【0019】

支持柱１１は、撮像部１２を支持する。支持柱１１は、載置台１０の側部から上面１０ｓの上方に向けて延びる。ただし、撮像部１２を支持する方法は、支持柱１１に限定されない。撮像部１２は、任意の方法で、載置台１０の上面１０ｓの少なくとも一部を撮像可能に支持されてよい。

【0020】

撮像部１２は、撮像により画像に相当する画像信号を生成可能である。撮像部１２は、載置台１０の表面の少なくとも一部例えば上面１０ｓの少なくとも一部を、撮像可能に固定されている。撮像部１２は、上面１０ｓに光軸が垂直になるように、固定されてよい。例えば、撮像部１２は、載置台１０の上面１０ｓの全面を撮像可能であり、且つ撮像部１２の光軸が上面１０ｓに垂直になるように、固定されている。撮像部１２は、支持柱１１の先端に、固定されてよい。撮像部１２は、任意のフレームレートで連続的に撮像を実行してよい。

【0021】

表示装置１３は、任意のディスプレイであってよい。表示装置１３は、情報処理装置２０から送信される画像信号に相当する画像を表示する。表示装置１３は、タッチスクリーンとして機能してよい。

【0022】

図３に示すように、情報処理装置２０は、通信部２１と、入力部２２と、記憶部２３と、制御部２４とを含んで構成される。

【0023】

通信部２１は、ネットワーク２に接続可能な少なくとも１つの通信モジュールを含む。通信モジュールは、例えば、有線ＬＡＮ（Local Area Network）又は無線ＬＡＮ等の規格に対応した通信モジュールである。通信部２１は、この通信モジュールによって有線ＬＡＮ又は無線ＬＡＮを介して、ネットワーク２に接続される。

【0024】

通信部２１は、通信線を介して撮像部１２及び表示装置１３と通信可能な通信モジュールを含む。通信モジュールは、通信線の規格に対応した通信モジュールである。通信線は、有線及び無線の少なくとも何れかを含んで構成される。

【0025】

入力部２２は、ユーザからの入力を受付可能である。入力部２２は、ユーザからの入力を受付可能な少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン又はマイク等である。本実施形態では、入力部２２は、表示装置１３と一体的に設けられたタッチスクリーンである。

【0026】

記憶部２３は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ又はこれらのうちの少なくとも２種類の組み合わせを含んで構成される。半導体メモリは、例えば、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）等である。ＲＡＭは、例えば、ＳＲＡＭ（Static Random Access Memory）又はＤＲＡＭ（Dynamic Random Access Memory）等である。ＲＯＭは、例えば、ＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)等である。記憶部２３は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部２３は、情報処理装置２０の動作に用いられるデータと、情報処理装置２０の動作によって得られたデータとを記憶する。

【0027】

制御部２４は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ（Central Processing Unit）若しくはＧＰＵ（Graphics Processing Unit）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit）等である。制御部２４は、情報処理装置２０の各部を制御しながら、情報処理装置２０の動作に関わる処理を実行する。

【0028】

制御部２４は、撮像開始を指示する入力を、入力部２２によって受け付け得る。この入力は、例えば、店舗の開店時等に店舗の従業員によって入力部２２から入力され得る。制御部２４は、この入力を受け付けると、撮像部１２に、撮像開始を指示する信号を、通信部２１によって送信する。制御部２４は、情報処理装置２０の起動時等に、撮像部１２に撮像開始を指示する信号を送信してもよい。

【0029】

制御部２４は、会計開始を指示する入力を入力部２２によって受け付け得る。この入力は、商品の会計をしたい顧客によって入力部２２から入力される。顧客は、情報処理装置２０のユーザとなる。顧客は、この入力を入力部２２から入力すると、購入したい商品を載置台１０の上面１０ｓに配置する。

【0030】

制御部２４は、会計開始を指示する入力を受け付けると、撮像画像のデータを取得する。本実施形態では、制御部２４は、撮像部１２から画像信号を通信部２１によって受信することにより、画像信号に相当する撮像画像のデータを取得する。この撮像画像には、顧客が載置台１０の上面１０ｓに配置した商品が物体として含まれる。また、この撮像画像には、商品に付されたバーコードが含まれる。本実施形態において、撮像画像に含まれる物体及びバーコードは、それぞれ、撮像画像内に描画されている物体及びバーコードを意味する。

【0031】

制御部２４は、撮像画像から物体及びバーコードを検出する。本実施形態では、制御部２４は、撮像画像から物体及びバーコードを検出することとして、撮像画像から物体に対応する第１部分画像及びバーコードに対応する第２部分画像を検出する。物体に対応する第１部分画像は、撮像画像のうちの物体画像を含む部分である。物体画像は、物体が描画されている画像部分である。バーコードに対応する第２部分画像は、撮像画像のうちのバーコード画像を含む部分である。バーコード画像は、バーコードが描画されている画像部分である。制御部２４は、撮像画像に対して任意の画像解析を実行することにより、第１部分画像及び第２部分画像を検出してよい。制御部２４は、例えば後述の第１部分画像３１（図４参照）のように、撮像画像のうちの、物体画像の外接矩形に含まれる部分を第１部分画像として検出してもよい。また、制御部２４は、例えば後述の第２部分画像３２（図４参照）のように、撮像画像のうちの、バーコード画像の外接矩形に含まれる部分を第２部分画像として検出してもよい。

【0032】

制御部２４は、撮像画像から物体及びバーコードを検出した検出結果に基づいて、未検出のバーコードが存在するか否かを判定する。本実施形態では、撮像画像から物体及びバーコードを検出することとして第１部分画像及び第２部分画像を検出することにより、未検出のバーコードが存在するか否かの判定は、撮像画像から検出されない未検出の第２部分画像が存在するか否かの判定になる。制御部２４は、第１部分画像と第２部分画像との間の包含関係の有無に基づいて、未検出のバーコードすなわち第２部分画像が存在するか否かを判定する。制御部２４は、第１部分画像と第２部分画像との間の包含関係の有無を判定するにあたり、第１部分画像に第２部分画像が含まれるか否かを判定する。ここで、バーコードに対応する第２部分画像が未検出である場合、そのバーコードが付された商品である物体に対応する第１部分画像には、第２部分画像が含まれないため、包含関係は存在しない。一方、バーコードに対応する第２部分画像が検出された場合すなわち未検出ではない場合、そのバーコードが付された商品である物体に対応する第１部分画像には、第２部分画像が含まれるため、包含関係は存在する。そこで、制御部２４は、第１部分画像に第２部分画像が含まれると判定した場合すなわち第１部分画像と第２部分画像との間に包含関係が存在すると判定した場合、その第１部分画像に対応する物体について未検出のバーコードが存在しないと判定する。一方、制御部２４は、第１部分画像に第２部分画像が含まれないすなわち第１部分画像と第２部分画像との間に包含関係が存在しないと判定した場合、その第１部分画像に対応する物体について未検出のバーコードが存在すると判定する。

【0033】

本実施形態では、制御部２４は、撮像画像から第１部分画像を検出する毎に、検出した第１部分画像から第２部分画像を検出する処理を実行する。制御部２４は、この検出する処理において第１部分画像から第２部分画像が検出されない場合、その第１部分画像に対応する物体について未検出のバーコードが存在すると判定する。一方、制御部２４は、この検出する処理において第１部分画像から第２部分画像が検出された場合、その第１部分画像に対応する物体について未検出のバーコードが存在しないと判定する。

【0034】

例えば、制御部２４は、図４に示すような撮像画像３０のデータを取得する。撮像画像３０は、お弁当及びおにぎりを物体として含む。まず、制御部２４は、撮像画像３０から、お弁当に対応する第１部分画像３１を検出する。制御部２４は、第１部分画像３１を検出すると、第１部分画像３１から第２部分画像を検出する処理を実行する。第１部分画像３１には、第２部分画像３２が含まれる。そのため、制御部２４は、第２部分画像を検出する処理において、第１部分画像３１から第２部分画像３２を検出する。制御部２４は、第１部分画像３１から第２部分画像３２が検出されたと判定し、お弁当としての物体ついて未検出のバーコードが存在しないと判定する。次に、制御部２４は、撮像画像３０から、おにぎりに対応する第１部分画像３３を検出する。制御部２４は、第１部分画像３３からバーコードに対応する第２部分画像を検出する処理を実行する。第１部分画像３３には、第２部分画像が含まれない。そのため、制御部２４は、第２部分画像を検出する処理において、第１部分画像３３から第２部分画像を検出できない。制御部２４は、第１部分画像３３からは第２部分画像が検出されないと判定し、おにぎりとしての物体について未検出のバーコードが存在すると判定する。

【0035】

制御部２４は、撮像画像に含まれる全ての物体について未検出のバーコードが存在するか否かを判定する。制御部２４は、少なくとも１つの物体について未検出のバーコードが存在すると判定した場合、検出されないバーコードすなわち未検出のバーコードの存在を報知するための報知情報を出力装置に出力させる。例えば、図３では、制御部２４は、撮像画像３０に含まれる全ての物体すなわちお弁当及びおにぎりについて未検出のバーコードが存在するか否かを判定する。制御部２４は、おにぎりについて未検出のバーコードが存在すると判定し、報知情報を出力装置に出力させる。本実施形態では、制御部２４は、出力装置としての表示装置１３に、報知情報に対応する画像信号を通信部２１によって送信することにより、報知情報を画像として表示させる。

【0036】

制御部２４は、報知情報として、物体に対応する第１部分画像及びバーコードに対応する第２部分画像を強調表示する処理が施された後の撮像画像を表示装置１３に表示させてよい。部分画像の強調表示は、撮像画像の他の部分よりも、視覚的に目立つ任意の態様での表示であってよい。部分画像の強調表示は、例えば、部分画像のハイライト表示又は部分画像を枠で囲む表示等である。例えば、制御部２４は、図５に示すような撮像画像３０ａを表示装置１３に表示させる。撮像画像３０ａは、図４に示すような第１部分画像３１，３３及び第２部分画像３２を強調表示する処理が施された後の撮像画像３０である。撮像画像３０ａでは、強調表示する処理として、第１部分画像３１，３３及び第２部分画像３２のそれぞれを枠で囲む処理が施されている。顧客は、撮像画像３０ａを見ることにより、おにぎりのバーコードが未検出であることを知ることができる。また、顧客は、撮像画像３０ａを見ることにより、お弁当のバーコードが検出されたことを知ることができる。

【0037】

制御部２４は、報知情報として、未検出のバーコードが存在する（バーコードが検出されない）と判定した物体に対応する第１部分画像を強調表示する処理が施された後の撮像画像を、表示装置１３に表示させてもよい。例えば、制御部２４は、図４に示すような第１部分画像３３のみを枠で囲む処理が施された後の撮像画像３０を表示装置１３に表示させる。顧客は、強調表示された第１部分画像３３を見ることにより、おにぎりのバーコードが未検出であることを知ることができる。

【0038】

制御部２４は、報知情報として物体とバーコードとの対応関係を示す情報を、表示装置１３に表示させてもよい。物体とバーコードとの対応関係を示す情報が表示装置１３に表示されることにより、顧客は、物体とバーコードとの対応関係から、未検出のバーコードが存在することを知ることができる。

【0039】

制御部２４は、上述した物体とバーコードとの対応関係を示す情報として、検出した物体の個数とバーコードの個数を表示装置１３に表示させてよい。未検出のバーコードが存在する場合、表示装置１３に表示されるバーコードの個数は、表示装置１３に表示される物体の個数よりも、未検出のバーコードの個数分だけ少なくなる。顧客は、表示装置１３に表示されたバーコードの個数と物体の個数とを比較することにより、未検出のバーコードの個数を把握することができる。

【0040】

制御部２４は、上述した物体とバーコードとの対応関係を示す情報として、検出した物体の識別情報と検出したバーコードに対応する第２部分画像とを対応付けたリストを表示装置１３に表示させてもよい。物体の識別情報は、商品の会計において顧客が商品を一意に区別可能な任意の情報であってよい。例えば、制御部２４は、図６に示すような画像４０を表示装置１３に表示させる。画像４０には、検出した物体の識別情報として、撮像画像３０から物体が検出された順序が表示されている。例えば、お弁当は１点目に検出された物体であるため、画像４０には、お弁当の識別情報として１点目と表示されている。おにぎりは、２点目に検出された物体であるため、画像４０には、おにぎりの識別情報として２点目と表示されている。また、画像４０において１点目の表示には、お弁当のバーコードに対応する第２部分画像３２が対応付けられている。おにぎりのバーコードは未検出であるため、画像４０において２点目の表示には、第２部分画像が対応付けられていない。顧客は、画像４０を見ることにより、おにぎりのバーコードが未検出であることを知ることができる。

【0041】

このように報知情報が表示装置１３に表示されることにより、顧客は、未検出のバーコードの存在を知ることができる。顧客は、未検出のバーコードの存在を知ると、未検出のバーコードが検出されるように、未検出のバーコードが付された載置台１０上の商品を置き直したり又は撮像部１２に近づけたりする。例えば、図４では、顧客は、おにぎりのパッケージの裏面に貼られたバーコードが撮像されるように、載置台１０上のおにぎりの上下を反転させる。

【0042】

制御部２４は、報知情報を表示装置１３に表示させると、新たな撮像画像のデータを取得する。新たな撮像画像は、顧客が未検出のバーコードが付された商品を置き直したり又は撮像部１２に近づけたりしたことにより、前回の撮像画像から検出されなかったバーコードに対応する第２部分画像を含み得る。制御部２４は、新たな撮像画像から前回の撮像画像から検出されなかった第２部分画像を検出してよい。

【0043】

制御部２４は、未検出のバーコードが存在しなくなると、検出済みのバーコードのデータによって商品代金を精算する精算処理を実行する。例えば、制御部２４は、検出済みの第２部分画像のデータから、バーコードを読み取る。制御部２４は、バーコードの読み取ることにより、商品の価格のデータを取得する。制御部２４は、商品の価格を加算していくことにより、商品の合計金額を算出する。精算処理において、制御部２４は、合計金額のデータを表示装置１３に表示させてよい。また、精算処理において、検出済みの第２部分画像のデータからバーコードを読み取る際、制御部２４は、検出した物体と、当該検出した物体のバーコードとを対応付けて表示装置１３に表示させてもよい。例えば、制御部２４は、検出した物体の第１部分画像と、当該第１部分画像に含まれる第２部分画像とを対応付けて表示装置１３に表示させてもよい。

【0044】

図７は、本開示の一実施形態に係る情報処理方法の手順を示すフローチャートである。例えば、制御部２４は、会計開始を指示する入力を入力部２２によって受け付けると、ステップＳ１の処理を開始する。

【0045】

制御部２４は、撮像部１２から画像信号を通信部２１によって受信することにより、画像信号に相当する撮像画像のデータを取得する（ステップＳ１）。

【0046】

制御部２４は、撮像画像から物体に対応する第１部分画像を検出する（ステップＳ２）。制御部２４は、ステップＳ２の処理で検出した第１部分画像からバーコードに対応する第２部分画像を検出する処理を実行する（ステップＳ３）。ここで、第１部分画像に第２部分画像が含まれない場合、ステップＳ３の処理において、第１部分画像から第２部分画像が検出されない。一方、第１部分画像に第２部分画像が含まれる場合、ステップＳ３の処理において、第１部分画像から第２部分画像が検出される。

【0047】

制御部２４は、ステップＳ３の処理において第１部分画像から第２部分画像が検出されたか否かを判定する（ステップＳ４）。制御部２４は、ステップＳ３の処理において第１部分画像から第２部分画像が検出されないと判定した場合（ステップＳ４：ＮＯ）、ステップＳ５の処理に進む。一方、制御部２４は、ステップＳ３の処理において第１部分画像から第２部分画像が検出されたと判定した場合（ステップＳ４：ＹＥＳ）、ステップＳ６の処理に進む。

【0048】

ステップＳ５の処理では、制御部２４は、ステップＳ２の処理で検出した第１部分画像に対応する物体について未検出のバーコードが存在すると判定する。ステップＳ６の処理では、制御部２４は、ステップＳ２の処理で検出した第１部分画像に対応する物体について未検出のバーコードが存在しないと判定する。ステップＳ５又はステップＳ６の処理の実行後、制御部２４は、ステップＳ７の処理に進む。

【0049】

ステップＳ７の処理では、制御部２４は、撮像画像に含まれる全ての物体について、未検出のバーコードが存在するか否かを判定したか否かを判定する。つまり、制御部２４は、撮像画像に含まれる全ての第１部分画像についてステップＳ５又はステップＳ６の処理が実行されたか否かを判定する。制御部２４は、全ての物体について未検出のバーコードが存在するか否かを判定したと判定した場合（ステップＳ７：ＹＥＳ）、ステップＳ８の処理に進む。一方、制御部２４は、全ての物体について未検出のバーコードが存在するか否かを判定したと判定しない場合（ステップＳ７：ＮＯ）、ステップＳ２の処理に戻る。

【0050】

ステップＳ８の処理では、制御部２４は、少なくとも１つの物体について未検出のバーコードが存在するか否かを判定する。制御部２４は、ステップＳ５の処理を少なくとも１回実行した場合、少なくとも１つの物体について未検出のバーコードが存在すると判定する。制御部２４は、少なくとも１つの物体について未検出のバーコードが存在すると判定した場合（ステップＳ８：ＹＥＳ）、ステップＳ９の処理に進む。制御部２４は、少なくとも１つの物体について未検出のバーコードが存在すると判定しない場合（ステップＳ８：ＮＯ）、ステップＳ１０の処理に進む。

【0051】

ステップＳ９の処理では、制御部２４は、表示装置１３に、報知情報に対応する画像信号を通信部２１によって送信することにより、報知情報を画像として表示させる。ステップＳ９の処理が実行されることにより、顧客は、未検出のバーコードの存在を知ることができる。顧客は、未検出のバーコードが検出されるように、未検出のバーコードが付された載置台１０上の商品を置き直したり又は撮像部１２に近づけたりする。

【0052】

ステップＳ９の処理の実行後、制御部２４は、ステップＳ１の処理に戻る。新たに実行するステップＳ１の処理では、制御部２４は、新たな撮像画像のデータを取得する。新たな撮像画像は、ステップＳ９の処理によって顧客が未検出のバーコードが付された商品を置き直したり又は撮像部１２に近づけたりしたことにより、前回のステップＳ３の処理で検出されなかった第２部分画像を含み得る。制御部２４は、新たな撮像画像から前回のステップＳ３の処理で検出されなかった第２部分画像のみを検出してもよい。この場合、新たに実行するステップＳ２の処理では、制御部２４は、前回のステップＳ３の処理で第２部分画像が検出されなかった物体に対応する第１部分画像のみを検出してよい。

【0053】

ステップＳ１０の処理では、制御部２４は、検出済みのバーコードのデータによって商品代金を精算する精算処理を実行する。

【0054】

このように本実施形態に係る情報処理装置２０では、制御部２４は、撮像画像から物体及び物体に付されたバーコードを検出し、撮像画像から検出されないバーコードが存在すると判定した場合、報知情報を表示装置１３に表示させる。報知情報が表示装置１３に表示されることにより、ユーザに未検出のバーコード（バーコードが検出されない商品）の存在を知らせることができる。ユーザに未検出のバーコードの存在を知らせることにより、ユーザに、未検出のバーコードが検出されるように、未検出のバーコードが付された商品を置き直したり又は撮像部１２に近づけたりさせることができる。このような構成により、制御部２４は、新たな撮像画像から未検出のバーコードを検出することができる。そのため、本実施形態では、バーコードの検出漏れが生じる可能性を低減することができる。バーコードの検出漏れが生じる可能性が低減することにより、商品代金を精度良く算出することができる。よって、本実施形態によれば、改善された、撮像画像から識別子を検出するための技術を提供することができる。

【0055】

（他の実施形態）
他の実施形態では、制御部２４は、撮像画像から物体及びバーコードを検出することとして、撮像画像から物体の個数及びバーコードの個数を検出する。制御部２４は、検出した物体の個数がバーコードの個数と一致するか否かを判定する。ここで、商品には１個のバーコードが付されているため、未検出のバーコードが存在しない場合、物体の個数はバーコードの個数と一致する。一方、未検出のバーコードが存在する場合、物体の個数は、バーコードの個数よりも多くなる。そこで、制御部２４は、検出した物体の個数がバーコードの個数と一致すると判定した場合、未検出のバーコードが存在しないと判定する。一方、制御部２４は、検出した物体の個数がバーコードの個数と一致しないと判定した場合、未検出のバーコードが存在すると判定する。

【0056】

他の実施形態では、制御部２４は、撮像画像から物体の個数及びバーコードの個数を検出する処理に加えて、撮像画像から価格の割引を示す割引バーコードを検出する処理を実行してもよい。制御部２４は、割引バーコードを検出した場合、割引バーコードの情報に基づいて、検出したバーコードの個数を補正してよい。バーコードの個数を補正した場合、制御部２４は、物体の個数がバーコードの補正後の個数と一致するか否かを判定してよい。例えば、割引バーコードの縦に対する横のサイズ比率は、通常のバーコードの縦に対する横のサイズ比率とは異なる。制御部２４は、このサイズ比率によって、割引バーコードを検出してよい。制御部２４は、撮像画像から割引バーコードを検出した場合、割引バーコードと他のバーコードとが同じ物体に付されているか否かを判定する。制御部２４は、割引バーコードに対応する第２部分画像と他のバーコードに対応する第２部分画像とが同じ物体に対応する第１部分画像に含まれるか否かを判定することにより、割引バーコードと他のバーコードとが同じ物体に付されているか否かを判定してよい。また、より精度良く判定するために、制御部２４は、例えば、割引バーコードと通常のバーコードとの位置関係に基づき、割引バーコードと通常のバーコードとが同じ物体に付されているか否かを判定してもよい。例えば、制御部２４は、通常バーコードの上に割引バーコードが付されていることをさらに検出した場合、割引バーコードと通常のバーコードとが同じ物体に付されていると判定してもよい。制御部２４は、割引バーコードと他のバーコードとが同じ物体に付されていると判定した場合、割引バーコードと他のバーコードとを合わせた個数が１個になるように、バーコードの個数を補正してよい。制御部２４は、検出したバーコードの個数を割引バーコードの個数に基づいて減算し、例えば検出したバーコードの個数から割引バーコードの個数を減算し、減算後の個数を取得することにより、バーコードの個数を補正してもよい。この場合、制御部２４は、同じ物体に複数の割引バーコードが付されていると判定した場合、同じ物体に付された複数の割引バーコードを１個とみなし、検出したバーコードの個数から割引バーコードの個数を減算してよい。制御部２４は、上述した処理により、同じ物体に複数の割引バーコードが付されているか否かを判定してよい。バーコードの個数を補正することにより、未検出のバーコードが存在するか否かを精度良く判定することができる。

【0057】

例えば、制御部２４は、図８に示すような撮像画像３０ｂのデータを取得する。撮像画像３０ｂは、第１部分画像３３に加えて、お弁当に対応する第１部分画像３１ａと、割引バーコードに対応する第２部分画像３４と、通常のバーコードに対応する第２部分画像３５を含む。制御部２４は、撮像画像３０ｂから、物体の個数を２個と検出する。この２個の物体は、お弁当及びおにぎりである。また、制御部２４は、撮像画像３０ｂから、バーコードの個数を２個と検出する。この２個のバーコードは、両方とも、お弁当に付されたものである。制御部２４は、撮像画像３０ｂから、第２部分画像３４に対応する割引バーコードを検出する。制御部２４は、割引バーコードを検出すると、第２部分画像３４と第２部分画像３５とが同じ物体に対応する第１部分画像３１ａに含まれると判定する。つまり、制御部２４は、割引バーコードと他のバーコートとが同じ物体に付されていると判定する。制御部２４は、割引バーコードと他のバーコードとを合わせた個数が１個になるように、バーコードの個数を補正する。補正後のバーコードの個数は、１個になる。制御部２４は、物体の個数である２個と補正後のバーコードの個数である１個とが一致しないと判定し、未検出のバーコードが存在すると判定する。ここで、バーコードの個数を補正せずに、制御部２４は、物体の個数である２個がバーコードの個数である２個と一致するか否かを判定すると、未検出のバーコードが存在しないと判定してしまう。このようにバーコードの個数を補正することにより、未検出のバーコードが存在するか否かをより精度よく判定することができる。

【0058】

図９は、本開示の他の実施形態に係る情報処理方法の手順を示すフローチャートである。例えば、制御部２４は、会計開始を指示する入力を入力部２２によって受け付けると、ステップＳ１１の処理を開始する。

【0059】

制御部２４は、図７に示すようなステップＳ１と同じ又は類似に、ステップＳ１１の処理を実行する。

【0060】

制御部２４は、ステップＳ１１の処理で取得した撮像画像から、物体の個数及びバーコードの個数を検出する（ステップＳ１２）。制御部２４は、ステップＳ１２の処理で検出した物体の個数がバーコードの個数と一致するか否かを判定する（ステップＳ１３）。制御部２４は、物体の個数がバーコードの個数と一致しないと判定した場合（ステップＳ１３：ＮＯ）、ステップＳ１４の処理に進む。制御部２４は、物体の個数がバーコードの個数と一致すると判定した場合（ステップＳ１３：ＹＥＳ）、ステップＳ１６の処理に進む。

【0061】

ステップＳ１４の処理では、制御部２４は、未検出のバーコードが存在すると判定する。制御部２４は、図７に示すようなステップＳ９の処理と同じ又は類似に、ステップＳ１５の処理を実行する。制御部２４は、ステップＳ１５の処理を実行した後、ステップＳ１１の処理に戻る。

【0062】

ステップＳ１６の処理では、制御部２４は、未検出のバーコードが存在しないと判定する。制御部２４は、図７に示すようなステップＳ１０の処理と同じ又は類似に、ステップＳ１７の処理を実行する。

【0063】

ステップＳ１２の処理では、制御部２４は、撮像画像から物体の個数及びバーコードの個数を検出する処理に加えて、撮像画像から価格の割引を示す割引バーコードを検出する処理を実行してもよい。制御部２４は、割引バーコードを検出した場合、割引バーコードの情報に基づいて、検出したバーコードの個数を補正してよい。バーコードの個数を補正した場合、ステップＳ１３の処理では、制御部２４は、物体の個数がバーコードの補正後の個数と一致するか否かを判定してよい。

【0064】

ステップＳ１７の処理では、制御部２４は、精算処理において、検出済みの第２部分画像のデータからバーコードを読み取る際、検出した物体と、当該検出した物体の通常のバーコードとを対応付けて表示装置１３に表示させてもよい。さらに、制御部２４は、割引バーコードが付されている物体については、当該物体に、当該検出した物体に付された割引バーコードを優先して対応付けて表示装置１３に表示させてよい。例えば、制御部２４は、検出した物体の第１部分画像と、当該第１部分画像に含まれる通常のバーコードに対応する第２部分画像、又は、割引バーコードに対応する第２部分画像とを対応付けて表示装置１３に表示させてもよい。

【0065】

このように他の実施形態では、制御部２４は、撮像画像から物体及びバーコードを検出することとして、撮像画像から物体の個数及びバーコードの個数を検出する。撮像画像から物体の個数及びバーコードの個数を検出する処理は、比較的に高速に実行可能である。また、制御部２４は、物体の個数を検出する処理と並行して、バーコードの個数を検出する処理を実行することもできる。よって、他の実施形態では、制御部２４は、未検出のバーコードが存在するか否かをより高速に判定することができる。

【0066】

他の実施形態に係る情報処理装置２０のその他の構成及び効果は、上述した実施形態に係る情報処理装置の構成及び効果と同じ又は類似である。

【0067】

（さらに他の実施形態）
さらに他の実施形態では、制御部２４は、撮像画像から物体及びバーコードを検出することとして、撮像画像から物体に対応する第１部分画像及びバーコードに対応する第２部分画像を検出する。さらに他の実施形態では、制御部２４は、撮像画像から第１部分画像を検出する処理に並行して第２部分画像を検出する処理を実行する。第１部分画像を検出する処理に並行して第２部分画像を検出する処理を実行することにより、制御部２４は、第１部分画像及び第２部分画像をより高速に検出することができる。

【0068】

さらに他の実施形態では、制御部２４は、第１部分画像と第２部分画像との間の包含関係に基づいて、未検出のバーコードが存在するか否かを判定する。制御部２４は、第１部分画像と第２部分画像との間の包含関係として、検出した第１部分画像のうちで第２部分画像を含まない第１部分画像が存在するか否かを判定する。制御部２４は、検出した第１部分画像のうちで第２部分画像を含まない第１部分画像が存在すると判定した場合、未検出のバーコードが存在すると判定する。制御部２４は、検出した第１部分画像のうちで第２部分画像を含まない第１部分画像が存在しないと判定した場合、未検出のバーコードが存在しないと判定する。

【0069】

例えば、制御部２４は、図８に示すような撮像画像３０ｂから、第１部分画像を検出する処理に平行して第２部分画像を検出する処理を実行することにより、第１部分画像３１ａ，３３及び第２部分画像３４，３５を一度に検出する。制御部２４は、検出した第１部分画像３１ａ，３３のうちで第２部分画像を含まない第１部分画像３３が存在すると判定し、未検出のバーコードが存在すると判定する。ここで、上述したように、撮像画像３０ｂには、２個のバーコード及び２個の物体が含まれる。そのため、上述したように、制御部２４が、バーコードの個数を補正せずに、物体の個数がバーコードの個数と一致するか否かによって未検出のバーコードが存在するか否かを判定すると、未検出のバーコードが存在しないと判定してしまう。制御部２４は、検出した第１部分画像のうちで第２部分画像を含まない第１部分画像が存在するか否かを判定することにより、未検出のバーコードが存在するか否かをより精度良く判定することができる。

【0070】

図１０は、本開示のさらに他の実施形態に係る情報処理方法の手順を示すフローチャートである。例えば、制御部２４は、会計開始を指示する入力を入力部２２によって受け付けると、ステップＳ２１の処理を開始する。

【0071】

制御部２４は、図７に示すようなステップＳ１と同じ又は類似に、ステップＳ２１の処理を実行する。

【0072】

制御部２４は、ステップＳ２１の処理で取得した撮像画像から、第１部分画像及び第２部分画像を検出する（ステップＳ２２）。ステップＳ２２の処理では、制御部２４は、第１部分画像を検出する処理に並行して第２部分画像を検出する処理を実行することにより、第１部分画像及び第２部分画像を一度に検出する。

【0073】

制御部２４は、ステップＳ２２の処理で検出した第１部分画像のうちで第２部分画像を含まない第１部分画像が存在するか否かを判定する（ステップＳ２３）。制御部２４は、第２部分画像を含まない第１部分画像が存在すると判定した場合（ステップＳ２３：ＹＥＳ）、ステップＳ２４の処理に進む。制御部２４は、第２部分画像を含まない第１部分画像が存在しないと判定した場合（ステップＳ２３：ＮＯ）、ステップＳ２６の処理に進む。

【0074】

ステップＳ２４の処理では、制御部２４は、未検出のバーコードが存在すると判定する。制御部２４は、図７に示すようなステップＳ９の処理と同じ又は類似に、ステップＳ２５の処理を実行する。制御部２４は、ステップＳ２５の処理を実行した後、ステップＳ２１の処理に戻る。

【0075】

ステップＳ２６の処理では、制御部２４は、未検出のバーコードが存在しないと判定する。制御部２４は、図７に示すようなステップＳ１０の処理と同じ又は類似に、ステップＳ２７の処理を実行する。

【0076】

このようにさらに他の実施形態では、制御部２４は、撮像画像から第１部分画像を検出する処理に並行して第２部分画像を検出する処理を実行する。第１部分画像を検出する処理に並行して第２部分画像を検出する処理を実行することにより、制御部２４は、第１部分画像及び第２部分画像をより高速に検出することができる。また、上述したように、第２部分画像を含まない第１部分画像が存在するか否かを判定することにより、制御部２４は、未検出のバーコードが存在するか否かをより精度良く判定することができる。

【0077】

さらに他の実施形態に係る情報処理装置２０のその他の構成及び効果は、上述した実施形態に係る情報処理装置の構成及び効果と同じ又は類似である。

【0078】

（さらに他の実施形態）
さらに他の実施形態では、制御部２４は、撮像画像から物体及びバーコードを検出することとして、撮像画像から物体の個数及びバーコードの個数を検出する。さらに、制御部２４は、撮像画像から物体及びバーコードを検出することとして、撮像画像から物体に対応する第１部分画像及びバーコードに対応する第２部分画像を検出する。上述した実施形態と同じ又は類似に、制御部２４は、撮像画像から第１部分画像を検出する処理に並行して第２部分画像を検出する処理を実行してよい。

【0079】

さらに他の実施形態では、制御部２４は、物体の個数がバーコードの個数と一致するか否かを判定する。制御部２４は、物体の個数がバーコードの個数と一致しないと判定した場合、未検出のバーコードが存在すると判定する。さらに他の実施形態では、制御部２４は、物体の個数がバーコードの個数と一致すると判定した場合、検出した第１部分画像のうちで第２部分画像を含まない第１部分画像が存在するか否かを判定する。制御部２４は、検出した第１部分画像のうちで第２部分画像を含まない第１部分画像が存在すると判定した場合、未検出のバーコードが存在すると判定する。一方、制御部２４は、検出した第１部分画像のうちで第２部分画像を含まない第１部分画像が存在しないと判定した場合、未検出のバーコードが存在しないと判定する。

【0080】

図１１は、本開示のさらに他の実施形態に係る情報処理方法の手順を示すフローチャートである。例えば、制御部２４は、会計開始を指示する入力を入力部２２によって受け付けると、ステップＳ３１の処理を開始する。

【0081】

制御部２４は、図７に示すようなステップＳ１と同じ又は類似に、ステップＳ３１の処理を実行する。

【0082】

制御部２４は、図９に示すステップＳ１２の処理と同じ又は類似にして、ステップＳ３１の処理で取得した撮像画像から物体の個数及びバーコードの個数を検出する（ステップＳ３２）。制御部２４は、図１０に示すステップＳ２２の処理と同じ又は類似にして、ステップＳ３１の処理で取得した撮像画像から、第１部分画像及び第２部分画像を検出する（ステップＳ３３）。ステップＳ３３の処理では、図１０に示すようなステップＳ２２の処理と同じ又は類似に、制御部２４は、第１部分画像を検出する処理に並行して第２部分画像を検出する処理を実行する。制御部２４は、ステップＳ３２の処理と並行して、ステップＳ３３の処理を実行してもよい。

【0083】

制御部２４は、ステップＳ３２の処理で検出した物体の個数がバーコードの個数と一致するか否かを判定する（ステップＳ３４）。制御部２４は、物体の個数がバーコードの個数と一致すると判定した場合（ステップＳ３４：ＹＥＳ）、ステップＳ３５の処理に進む。一方、制御部２４は、物体の個数がバーコードの個数と一致しないと判定した場合（ステップＳ３４：ＮＯ）、ステップＳ３６の処理に進む。

【0084】

ステップＳ３５の処理では、制御部２４は、ステップＳ３３の処理で検出した第１部分画像のうちで第２部分画像を含まない第１部分画像が存在するか否かを判定する。制御部２４は、検出した第１部分画像のうちで第２部分画像を含まない第１部分画像が存在すると判定した場合（ステップＳ３５：ＹＥＳ）、ステップＳ３６の処理に進む。一方、制御部２４は、検出した第１部分画像のうちで第２部分画像を含まない第１部分画像が存在しないと判定した場合（ステップＳ３５：ＮＯ）、ステップＳ３８の処理に進む。

【0085】

ステップＳ３６の処理では、制御部２４は、未検出のバーコードが存在すると判定する。制御部２４は、図７に示すようなステップＳ９の処理と同じ又は類似に、ステップＳ３７の処理を実行する。制御部２４は、ステップＳ３７の処理を実行した後、ステップＳ３１の処理に戻る。

【0086】

ステップＳ３８の処理では、制御部２４は、未検出のバーコードが存在しないと判定する。制御部２４は、図７に示すようなステップＳ１０の処理と同じ又は類似に、ステップＳ３９の処理を実行する。

【0087】

このようにさらに他の実施形態では、制御部２４は、撮像画像から物体の個数及びバーコードの個数を検出する。撮像画像から物体の個数及びバーコードの個数を検出する処理は、比較的に高速に実行可能である。さらに、制御部２４は、撮像画像から第１部分画像を検出する処理に並行して第２部分画像を検出する処理を実行する。第１部分画像を検出する処理に並行して第２部分画像を検出する処理を実行することにより、制御部２４は、第１部分画像及び第２部分画像をより高速に検出することができる。このような構成により、撮像画像から物体及びバーコードを検出する処理をより高速に実行することができる。さらに、制御部２４は、物体の個数とバーコードの個数とが一致する場合であって、検出した第１部分画像のうちで第２部分画像を含まない第１部分画像が存在すると判定した場合、未検出のバーコードが存在すると判定する。このような構成により、制御部２４は、物体の個数とバーコードの個数とが一致するか否かを単に判定して未検出のバーコードが存在するか否かを判定する場合よりも、未検出のバーコードが存在するか否かをより精度よく判定することができる。よって、さらに他の実施形態によれば、より高速により精度よく、未検出のバーコードが存在するか否かを判定することができる。

【0088】

【0089】

一実施形態において、（１）情報処理装置は、
撮像装置が物体を撮像した撮像画像に含まれる前記物体の画像から前記物体の属性を取得するための識別子が検出されない場合、報知情報を出力装置に出力させる制御部を備える。

【0090】

（２）上記（１）の情報処理装置では、
前記制御部は、
前記撮像画像から前記物体に対応する第１部分画像及び前記識別子に対応する第２部分画像を検出し、
前記第１部分画像と前記第２部分画像との間の包含関係の有無に基づいて、前記報知情報を前記出力装置に出力させてもよい。

【0091】

（３）上記（１）又は（２）の情報処理装置では、
前記制御部は、
前記第１部分画像に包含される前記第２部分画像が検出されない場合、前記第２部分画像が検出されない前記物体を報知する前記報知情報を前記出力装置に出力させてもよい。

【0092】

（４）上記（１）から（３）までの何れか１に記載の情報処理装置では、
前記制御部は、
前記物体の個数が検出された前記識別子の個数と一致しない場合、前記報知情報を前記出力装置に出力させてもよい。

【0093】

（５）上記（１）から（４）までの何れか１に記載の情報処理装置では、
前記制御部は、
前記撮像画像から前記物体に対応する第１部分画像及び前記識別子に対応する第２部分画像を検出し、
検出した前記物体の個数と前記識別子の個数とが一致し、前記第２部分画像を含まない前記第１部分画像を検出した場合、前記報知情報を前記出力装置に出力させてもよい。

【0094】

（６）上記（１）から（５）までの何れか１に記載の情報処理装置では、
前記出力装置は、表示装置であり、
前記制御部は、前記物体に対応する第１部分画像及び前記識別子に対応する第２部分画像を強調表示する処理を施した前記撮像画像を、前記表示装置に表示させてもよい。

【0095】

（７）上記（１）から（６）までの何れか１に記載の情報処理装置では、
前記出力装置は、表示装置であり、
前記制御部は、識別子が検出されない物体に対応する第１部分画像を強調表示する処理が施された前記撮像画像を、前記表示装置に表示させてもよい。

【0096】

一実施形態において、（８）情報処理方法は、
撮像装置が物体を撮像した撮像画像に含まれる前記物体の画像から前記物体の属性を取得するための識別子を検出することと、
前記識別子が検出されない場合、報知情報を出力装置に出力させることと、を含む。

【0097】

本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。したがって、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各機能部に含まれる機能等は論理的に矛盾しないように再配置可能である。複数の機能部等は、１つに組み合わせられたり、分割されたりしてよい。上述した本開示に係る各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施され得る。つまり、本開示の内容は、当業者であれば本開示に基づき種々の変形及び修正を行うことができる。したがって、これらの変形及び修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段又は各ステップ等は論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段又は各ステップ等と置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段又は各ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。

【0098】

例えば、上述した実施形態では、出力装置は、表示装置１３であるものとして説明した。ただし、出力装置は、表示装置１３に限定されない。出力装置は、報知情報を顧客に対して出力可能であれば、任意の装置であってよい。他の例として、出力装置は、報知情報を音声として出力する音声出力装置であってもよい。

【0099】

例えば、制御部２４は、未検出のバーコードが存在すると判定した場合、バーコードが未検出である物体については、物体認識処理によって物体が何れの商品であるかを認識してもよい。制御部２４は、深層学習等の機械学習によって生成された学習モデルによって、物体認識処理を実行してもよい。制御部２４は、バーコードが未検出である物体が物体認識処理によって何れの商品であるかを認識できた場合、報知情報を出力装置に出力させなくてもよい。例えば、図７に示すようなステップＳ８において少なくとも１つの物体について未検出のバーコードが存在すると判定した場合（ステップＳ８：ＹＥＳ）、ステップＳ９の処理の前にステップＳ８Ａの処理を実行してもよい。このステップＳ８Ａの処理では、制御部２４は、物体認識処理によって、未検出のバーコードが存在すると判定した物体が何れの商品であるかを認識する。制御部２４は、ステップＳ８Ａの処理において未検出のバーコードが存在すると判定した物体が何れの商品であるかを認識できない場合、ステップＳ９の処理に進んでもよい。一方、制御部２４は、ステップＳ８Ａの処理において未検出のバーコードが存在すると判定した物体が何れの商品であるかを認識できた場合、ステップＳ９の処理に進まず、ステップＳ１０の処理に進んでもよい。この場合、ステップＳ１０の処理では、制御部２４は、ステップＳ８Ａの処理による物体認識処理の結果と、検出済みのバーコードのデータとによって商品代金を精算する精算処理を実行する。物体認識処理の認識結果は、商品名及び商品の価格のデータ等を含んでよい。このような構成により、顧客の利便性を向上させることができる。制御部２４は、ステップＳ８Ａと同じ又は類似の処理を、図９に示すようなステップＳ１４とステップＳ１５との間、図１０に示すようなステップＳ２４とステップＳ２５との間又は図１１に示すようなステップＳ３６とステップＳ３７との間に実行してもよい。

【0100】

例えば、制御部２４は、撮像部１２から撮像画像のデータを取得すると、取得した撮像画像のデータに対して物体認識処理を実行してもよい。制御部２４は、物体認識処理を実行することにより、撮像画像に含まれる物体が何れの商品であるかを認識し、その商品の価格等のデータを取得してもよい。制御部２４は、撮像画像に含まれる物体のうち物体認識処理によって認識できない物体の価格等のデータを取得するために、上述した実施形態に係る処理を実行してもよい。例えば、図７において、制御部２４は、ステップＳ１とステップＳ２との間にステップＳ１Ａを実行してもよい。ステップＳ１Ａの処理では、制御部２４は、ステップＳ１の処理で取得した撮像画像のデータに対して物体認識処理を実行する。ステップＳ２の処理では、ステップＳ１Ａの処理で認識できない物体に対応する第１部分画像を検出する。ステップＳ１０の処理では、制御部２４は、ステップＳ１Ａの処理で認識できた商品の価格等のデータと、検出済みのバーコードのデータとによって商品代金を精算する精算処理を実行する。

【0101】

例えば、上述した実施形態では、情報処理システム３は、無人レジとして構成されるものとして説明した。ただし、情報処理システム３は、店舗の従業員がレジに対する一連の操作を行う有人レジとして構成されてもよい。この場合、上述した実施形態において、顧客と記載した箇所を、必要に応じて、店舗の従業員と読み替えてよい。情報処理システム３が有人レジとして構成される場合、制御部２４は、複数のバーコードの検出結果を表示装置１３に表示させることにより、店舗の従業員にまとめて読み取らせることができるため、ＰＯＳ作業の効率を高めることができる。

【0102】

例えば、上述した実施形態では、制御部２４が読み取ったバーコードのデータによって商品代金を精算する精算処理を実行するものとして説明した。ただし、制御部２４の代わりに、読取装置がバーコードを読み取ってもよい。この場合、情報処理システム３は、読取装置をさらに含んで構成されてもよい。読取装置は、例えば、バーコードスキャナ等である。読取装置は、バーコードを読み取り、バーコードの読み取り結果を制御部２４に送信してよい。この場合、制御部２４は、読取装置から送信されたバーコードの読み取り結果を用いて、商品名及び商品の価格のデータを取得してもよい。また、顧客又は店舗の従業員等のユーザが、読取装置によってバーコードをスキャンしてもよい。ユーザが読取装置によってバーコードをスキャンすることにより、読取装置は、効率良く、バーコードを読み取りことができる。この場合、制御部２４は、検出済みの第２部分画像のデータを表示装置１３に表示させてもよい。検出済みの第２部分画像が表示装置１３に表示させることにより、ユーザは、効率良く、読取装置によって第２部分画像に対応するバーコードをスキャンすることができる。また、制御部２４は、検出した物体と、当該検出した物体のバーコードとを対応付けて表示装置１３に表示させてもよい。例えば、制御部２４は、検出した物体の第１部分画像と、当該第１部分画像に含まれる通常のバーコードに対応する第２部分画像、又は、割引バーコードに対応する第２部分画像とを対応付けて表示装置１３に表示させてもよい。

【符号の説明】

【0103】