特許 7468921 会計装置、会計システム、商品識別方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-08

(45)【発行日】2024-04-16

(54)【発明の名称】会計装置、会計システム、商品識別方法、およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240409BHJP

   G06V 10/70 20220101ALI20240409BHJP

   G07G 1/00 20060101ALI20240409BHJP

   G07G 1/01 20060101ALI20240409BHJP

【ＦＩ】

G06T7/00 300D

G06V10/70

G07G1/00 311D

G07G1/01 301C

【請求項の数】 8

(21)【出願番号】P 2022081442

(22)【出願日】2022-05-18

(62)【分割の表示】P 2020508768の分割

【原出願日】2018-03-29

(65)【公開番号】P2022116092

(43)【公開日】2022-08-09

【審査請求日】2022-05-18

【審判番号】

【審判請求日】2023-10-03

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】白石 壮馬

(72)【発明者】

【氏名】岩元 浩太

(72)【発明者】

【氏名】横井 秀雄

(72)【発明者】

【氏名】高田 二徳

(72)【発明者】

【氏名】北川 恵美

【合議体】

【審判長】千葉 輝久

【審判官】板垣 有紀

【審判官】高橋 宣博

(56)【参考文献】

【文献】米国特許出願公開第２０１７／００１７９４４（ＵＳ，Ａ１）

【文献】特開２０１７－１０２５９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G07G 1/00, 1/01

G06T 1/00, 7/00-7/90

G06V 10/00-10/98

H04N 5/262, 9/31

(57)【特許請求の範囲】

【請求項1】

ディスプレイ上に載置された商品の撮影時に、前記ディスプレイの表示を所定時間オフにさせる表示制御手段と、
前記ディスプレイの表示がオフの間に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得する画像取得手段と、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する商品識別手段と、
を備える会計装置。

【請求項2】

前記表示制御手段は、前記商品識別用画像を生成する撮像装置のフレームレートがＮ［ｆｐｓ（frame per second）］である場合、１／Ｎよりも長い時間、前記ディスプレイの表示をオフにさせる、
請求項１に記載の会計装置。

【請求項3】

前記表示制御手段は、前記ディスプレイの表示をオフにさせる時間を１／１０秒以下に制御する、
請求項２に記載の会計装置。

【請求項4】

前記表示制御手段は、前記ディスプレイの表示をオフにさせる時間を１／２０秒以下に制御する、
請求項３に記載の会計装置。

【請求項5】

前記表示制御手段は、前記ディスプレイの表示をオフにさせる時間外では、前記商品の識別結果に基づいて表示する情報を前記ディスプレイ上に表示させる、
請求項１から４のいずれか１項に記載の会計装置。

【請求項6】

表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された商品が写る画像を生成する撮像装置と、
前記商品の撮影時に、前記ディスプレイの表示を所定時間オフにさせる表示制御手段と、
前記ディスプレイの表示がオフの間に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得する画像取得手段と、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する商品識別手段と、
を備える会計システム。

【請求項7】

コンピュータが、
ディスプレイ上に載置された商品の撮影時に、前記ディスプレイの表示を所定時間オフにさせ、
前記ディスプレイの表示がオフの間に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得し、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する、
ことを含む商品識別方法。

【請求項8】

コンピュータに、請求項７に記載の商品識別方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、店舗での業務を支援する技術に関する。

【背景技術】

【0002】

下記特許文献１には、処理装置が、商品の載置台に向けられた撮像装置により撮影された画像のデータを用いて載置台上に存在する商品を認識し、投影装置が、認識された商品及び／又は載置台の載置面上に会計処理に関する像を投影する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１７／１２６２５３号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示されるような技術において、撮像装置が商品を撮影する際、載置台などが背景として画像が写り込む。この背景の影響により、商品の識別精度が低下する可能性がある。

【0005】

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、画像を用いて商品を識別する際の精度の低下を抑制する技術を提供することである。

【課題を解決するための手段】

【0006】

本発明の会計装置は、
ディスプレイ上に載置された商品の撮影時に、前記ディスプレイの表示を所定時間オフにさせる表示制御手段と、
前記ディスプレイの表示がオフの間に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得する画像取得手段と、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する商品識別手段と、
を備える。

【0007】

本発明の会計システムは、
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された商品が写る画像を生成する撮像装置と、
前記商品の撮影時に、前記ディスプレイの表示を所定時間オフにさせる表示制御手段と、
前記ディスプレイの表示がオフの間に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得する画像取得手段と、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する商品識別手段と、
を備える。

【0008】

本発明の商品識別方法は、
コンピュータが、
ディスプレイ上に載置された商品の撮影時に、前記ディスプレイの表示を所定時間オフにさせ、
前記ディスプレイの表示がオフの間に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得し、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する、
ことを含む。

【0009】

本発明のプログラムは、コンピュータに上述の商品識別方法を実行させる。

【発明の効果】

【0010】

本発明によれば、画像を用いて商品を識別する際に、識別精度が低下することを抑制できる。

【図面の簡単な説明】

【0011】

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

【0012】

【図1】第１実施形態における会計システム１の構成例を示す図である。

【図2】第１実施形態における会計システム１のハードウエア構成を例示するブロック図である。

【図3】第１実施形態の会計システム１により実行される処理の流れを例示するシーケンス図である。

【図4】表示制御部１１０が複数の背景画像を切り替え表示するタイミングの一例を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

【0014】

［第１実施形態］
〔システム構成〕
図１は、第１実施形態における会計システム１の構成例を示す図である。なお、図１はあくまで例示であり、本発明に係る会計システム１は図１に描かれる構成に限定されない。図１に示されるように、会計システム１は、会計装置１０、撮像装置３０、およびディスプレイ４０を含んで構成される。会計装置１０は、図示しない配線等によって撮像装置３０、およびディスプレイ４０と接続されている。また、会計装置１０には、会計処理を行うための会計処理用機器（図示せず）が接続されている。会計処理機器は、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタ、キーボードやマウスなどの入力機器、スピーカーなどの出力機器などである。

【0015】

ディスプレイ４０は、店舗の業務（例えば、商品の精算業務など）で利用する様々な画像をその表示面上に表示する。なお、ディスプレイ４０は、指やタッチペンなどを用いたタッチ操作による入力を受け付ける機能を有するタッチパネルディスプレイであってもよい。ディスプレイ４０の表示面は、図示されるように、商品Ｐを載置する載置面としても利用される。

【0016】

図１に示されるように、撮像装置３０は、ディスプレイ４０を撮像範囲に含むように配置されている。撮像装置３０は、ディスプレイ４０の表示面上に載置された商品Ｐを撮影して、商品Ｐが写る画像を生成する。撮像装置３０により生成された画像は、会計装置１０に送信される。

【0017】

図１に例示されるように、本実施形態の会計装置１０は、表示制御部１１０、画像取得部１２０、および商品識別部１３０を備える。

【0018】

表示制御部１１０は、撮像装置３０がディスプレイ４０上に載置された商品Ｐを撮影する時、商品Ｐの識別処理に用いる画像の背景となる画像（以下、「背景画像」と表記）をディスプレイ４０に所定時間表示させる。なお、背景画像のデータは、例えば、会計装置１０のストレージデバイスなどに予め記憶されている。背景画像は、商品を識別する時にノイズとなり得る情報（すなわち、商品の識別精度を下げる可能性のある情報）が少ない画像である方が好ましい。例えば、無地の画像（特に単色無地の画像）は、何らかの物体の特徴点として誤って認識され得る要素が少なく、「商品を識別する時にノイズとなり得る情報の少ない画像」と言える。商品とは異なる色や反対色の背景画像は、商品と同化する可能性が低く、撮影された画像から商品の領域を把握しやすい画像といえる。但し、背景画像は無地の画像に限定されない。このような背景画像を用いた場合、背景画像と商品Ｐとの境界（すなわち、商品Ｐの領域）をコンピュータ（会計装置１０）が把握しやすくなるという利点がある。

【0019】

画像取得部１２０は商品識別用画像を取得する。商品識別用画像は、上述の背景画像がディスプレイ４０に表示されている間に、撮像装置３０がディスプレイ４０上の商品Ｐを撮影することにより生成される。すなわち、商品識別用画像は、表示制御部１１０によってディスプレイ４０に表示された背景画像、および、ディスプレイ４０上に表示された商品Ｐが写る画像である。

【0020】

商品識別部１３０は、商品識別用画像を解析することにより、ディスプレイ４０上の商品Ｐを識別する。例えば、商品識別部１３０は、既知の物体認識技術（例えば、パターンマッチングや機械学習により構築された識別器など）を用いて、撮像装置３０により生成された画像に写っている商品を識別することができる。また、撮像装置３０により生成された画像に複数の商品が写っている場合であっても、商品識別部１３０は、既知の物体認識アルゴリズムを用いて、それらの商品をそれぞれ個別に識別することができる。また、商品識別部１３０は、商品に関する情報（以下、「商品情報」と表記）を記憶する記憶部（図示せず）から、識別された商品の商品情報を取得することができる。商品情報は、例えば、商品名、商品の価格、割引や値引きなどの特典の有無などの情報である。会計装置１０は、商品識別部１３０により取得された商品情報を使って、商品の精算業務に係る処理を実行することができる。

【0021】

〔ハードウエア構成例〕
会計システム１は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、会計システム１がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

【0022】

図２は、会計システム１のハードウエア構成を例示するブロック図である。

【0023】

会計装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

【0024】

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

【0025】

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

【0026】

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

【0027】

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は会計装置１０の各機能（表示制御部１１０、画像取得部１２０、商品識別部１３０など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。

【0028】

入出力インタフェース１０５０は、会計装置１０と各種入出力デバイスとを接続するためのインタフェースである。図２では、会計装置１０は、撮像装置３０およびディスプレイ４０と、入出力インタフェース１０５０を介して接続されている。撮像装置３０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを搭載するカメラである。撮像装置３０は、図示されるように、ディスプレイ４０（およびディスプレイ４０上に載置される商品Ｐ）を撮像範囲に含むように設置される。撮像装置３０は、ディスプレイ４０上に載置された商品Ｐを撮影して、その商品Ｐが写る画像を生成する。ディスプレイ４０は、一般的な表示用のデバイスである。ディスプレイ４０は、タッチ機能付きのディスプレイ（タッチパネルディスプレイ）であってもよい。なお、ディスプレイ４０は、商品Ｐの載置面としても利用される。そのため、ディスプレイ４０の表示面としては、好ましくは、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescence）などの平面型ディスプレイが利用される。また、入出力インタフェース１０５０には、図示しない会計処理用機器が接続されている。会計処理用機器は、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタ、キーボードやマウスなどの入力機器、スピーカーなどの出力機器を含む。また、会計処理用機器として、店員専用または顧客専用のディスプレイ（ディスプレイ４０とは異なるディスプレイ）が、入出力インタフェース１０５０を介して会計装置１０と接続されていてもよい。

【0029】

ネットワークインタフェース１０６０は、会計装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

【0030】

図２は、あくまで一例であり、会計システム１のハードウエア構成は図２の例に制限されない。例えば、会計装置１０は、ネットワークインタフェース１０６０を介して、撮像装置３０およびディスプレイ４０と接続されていてもよい。

【0031】

〔処理の流れ〕
図３を用いて、本実施形態の会計システム１により実行される処理の流れを説明する。図３は、第１実施形態の会計システム１により実行される処理の流れを例示するシーケンス図である。

【0032】

表示制御部１１０は、背景画像を表示させるための映像信号をディスプレイ４０に送信する（Ｓ１０２）。表示制御部１１０は、例えばストレージデバイス１０４０などに記憶されている背景画像のデータを読み出し、その画像データを映像信号に変換してディスプレイ４０に送信する。ディスプレイ４０は、表示制御部１１０からの映像信号に基づいて、背景画像を表示面に表示させる（Ｓ１０４）。

【0033】

ここで、表示制御部１１０は、撮像装置３０のフレームレートに合わせて、背景画像の表示時間を制御することができる。例えば、撮像装置３０のフレームレートがＮ［ｆｐｓ（frame per second）］である場合、表示制御部１１０は、１／Ｎ［ｓ］よりも長い時間、背景画像をディスプレイ４０に表示させる。ここで、撮像装置３０のフレームレートがＮ［ｆｐｓ］の場合、撮像装置３０のシャッタースピード（１フレーム分の露光時間）は１／Ｎ［ｓ］以下となる。よって、背景画面がディスプレイ４０に表示される時間の長さを１／Ｎ［ｓ］よりも長い時間に制御することにより、撮像装置３０は、ディスプレイ４０上に背景画像が表示されている状態で撮影した画像（＝商品識別用画像）を、１秒間に少なくとも１枚生成することができる。なお、撮像装置３０のフレームレートの情報は、例えば、表示制御部１１０のプログラムモジュール内で予め定義されている。また、表示制御部１１０は、定期的に撮像装置３０と通信してフレームレートの情報を取得してもよい。

【0034】

なお、ディスプレイ４０は店舗の業務で利用する画面などを表示するためのディスプレイでもある。そのため、表示制御部１１０は、背景画像を表示する時間以外では、例えば、商品の識別結果に基づいて表示する情報（例えば、識別した商品の名称、識別した商品の位置、精算処理を進めるための各種ボタンなど）を、ディスプレイ４０上に表示させている。つまり、上述のＳ１０２およびＳ１０４の処理によって、ディスプレイ４０の表示内容は、商品の識別結果に基づいて表示する情報から、背景画像に一時的に切り替えられる。ここで、背景画像の表示時間が長いほど、画像の切り替えによるチラつきが人の目で知覚され易くなる。すなわち、背景画像の表示時間が長いほど、ディスプレイ４０を見ている店員や顧客に違和感を与える可能性が高くなってしまう。この問題を解決するため、表示制御部１１０は、好ましくは、背景画像を表示する時間の長さを、人（店員や顧客）が気付きにくい長さに制御する。ここで、人間の目の時間分解能は約５０～１００ミリ秒程度と言われている。よって、表示制御部１１０は、背景画像を表示する時間の長さを、好ましくは１／１０秒以下、更に好ましくは１／２０秒以下となるように制御する。このようにすることで、背景画像をディスプレイ４０に表示させた場合に、店員や顧客に違和感を与える可能性を低減できる。

【0035】

撮像装置３０は、背景画像がディスプレイ４０に表示されている間に撮影を行い、背景画像とディスプレイ４０上に載置された商品とが写る商品識別用画像を生成する。撮像装置３０により生成された商品識別用画像は、会計装置１０に送信され、画像取得部１２０により取得される（Ｓ１０６）。

【0036】

商品識別部１３０は、商品識別用画像を解析して、商品識別用画像に写っている商品を識別する（Ｓ１０８）。商品識別部１３０は、例えば、機械学習により構築された商品識別用の画像識別エンジンや、パターンマッチング技術などを利用して、商品識別用画像に写っている商品を識別することができる。商品識別部１３０は、各商品の商品情報を記憶する商品情報記憶部（図示せず）から、識別された商品に対応する商品情報を取得することができる。そして、会計装置１０は、商品識別部１３０により取得された商品情報を用いて、商品の精算処理を進めることができる。

【0037】

以上、本実施形態では、ディスプレイ４０上に載置された商品を識別するために利用する画像（商品識別用画像）生成する際、ディスプレイ４０上に背景画像が所定時間表示される。背景画像は、好ましくは、ノイズとなり得る情報や商品との同化が少ない、シンプルな画像である。このような背景画像を用いることによって、背景画像と商品との境界（すなわち、商品の領域）をコンピュータが精度よく検出することができる。結果として、商品の識別精度の低下を抑制できる。

【0038】

〔第１実施形態の変形例〕
表示制御部１１０は、背景画像を表示する代わりに、ディスプレイ４０への映像信号をオフにする（ディスプレイ４０に何も表示させない）制御を実行するように構成されていてもよい。ディスプレイ４０に何も表示されていない状態は、黒色無地の背景画像を表示させた状態と同様と言える。すなわち、ディスプレイ４０への映像信号をオフにする制御によっても、上述したような効果が期待できる。

【0039】

［第２実施形態］
〔システム構成例〕
本実施形態は、表示制御部１１０が、複数の背景画像を切り替えてディスプレイ４０に表示させる点を除き、上述の第１実施形態と同様の構成（例：図１）を有する。

【0040】

本実施形態の表示制御部１１０は、ディスプレイ４０に、それぞれ内容の異なる複数の背景画像を切り替えて表示させる。本実施形態では、ディスプレイ４０に表示された背景画像別に撮像装置３０により撮影が実行され、それぞれ背景画像が異なる複数の商品識別用画像（背景画像別の商品識別用画像）が生成される。画像取得部１２０は、この背景画像別の商品識別用画像を取得する。そして、商品識別部１３０は、背景画像別の商品識別用画像を用いて、ディスプレイ４０上の商品を識別する。

【0041】

〔背景画像の切り替え表示動作例〕
一例として、表示制御部１１０は、それぞれ色の異なる、複数の単色無地の画像をディスプレイ４０上に切り替えて表示することができる。具体的な例として、表示制御部１１０は、赤色無地の背景画像、白色無地の背景画像、および青色無地の背景画像を、それぞれ切り替えてディスプレイ４０上に表示させる。この場合、画像取得部１２０は、赤色無地の背景画像とディスプレイ４０上の商品とが写る第１の商品識別用画像、白色無地の背景画像とその商品とが写る第２の商品識別用画像、および青色無地の背景画像とその商品とが写る第３の商品識別用画像をそれぞれ取得することができる。

【0042】

なお、表示制御部１１０は、複数の背景画像を連続的に切り替えてディスプレイ４０上に表示させてもよいし、複数の背景画像の少なくとも一部について間隔をあけてディスプレイ４０上に表示させてもよい。以下、図４を用いて、撮像装置３０のフレームレートが３０［ｆｐｓ］である場合における表示動作の具体例について説明する。図４は、表示制御部１１０が複数の背景画像を切り替え表示するタイミングの一例を示す図である。図４ａに例示されるように、表示制御部１１０は、例えば、第１～３フレームに対応する期間でそれぞれ色が異なる３つの背景画像を切り替えてディスプレイ４０上に表示させてもよい。また、表示制御部１１０は、例えば、一定の間隔をあけて、それぞれ色が異なる３つの背景画像を切り替えてディスプレイ４０上に表示させてもよい。例えば、図４ｂに例示されるように、表示制御部１１０は、第１、１１、２１フレームに対応する期間に、それぞれ色の異なる３つの背景画像をそれぞれ表示させてもよい。また、表示制御部１１０は、各背景画像を複数回繰り返してディスプレイ４０に表示させてもよい。例えば、図４ｃに例示されるように、表示制御部１１０は、第１～３フレームに対応する期間、第１１～１３フレームに対応する期間、および、第２１～２３フレーム対応する期間のそれぞれにおいて、それぞれ色が異なる３つの背景画像を切り替えてディスプレイ４０上に表示させてもよい。また、図４ｄに例示されるように、表示制御部１１０は、第１、１１、２１フレームに対応する期間、および、第６、１６、２６フレームに対応する期間のそれぞれにおいて、それぞれ色の異なる３つの背景画像をそれぞれ表示させてもよい。

【0043】

商品識別部１３０は、このように取得された複数の商品識別用画像を用いることにより、商品の領域をより精度よく検出することが可能となる。例えば、商品識別部１３０は、複数の商品識別用画像間での輝度の変化量を用いて、商品の領域を検出することができる。複数の商品識別用画像のそれぞれについて、ディスプレイ４０上に表示されている背景画像の色は異なる。そのため、商品とディスプレイ４０とが重なっていない領域での輝度の変化量は、商品とディスプレイ４０とが重なっていない領域（すなわち、ディスプレイ４０上に載置された商品の領域）の輝度の変化量よりも大きくなる。商品識別部１３０は、複数の商品識別用画像を用いて算出可能な、輝度の変化量の大小に基づいて、商品の領域を精度よく切り出すことができる。

【0044】

以上、本実施形態によれば、商品識別部１３０がより高精度に商品の領域を検出することができる。結果として、より精度よく商品を識別することが可能となる。

【0045】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

【0046】

例えば、本発明は、購入商品の登録から代金の支払いまでの操作を店員用の装置で行う一般的な方式のみならず、所謂セミセルフ方式やセルフ方式にも適用できる。セミセルフ方式では、商品登録用のレジ装置と代金支払い用の精算装置が別々に設けられている。そして、この商品登録用のレジ装置に、上述の会計装置１０の機能を持たせることができる。また、セルフ方式では、購入商品の登録から代金の支払いまでを顧客が操作する装置で行う。そして、この顧客が操作する装置に、上述の会計装置１０の機能を持たせることができる。

【0047】

また、上述の説明で用いたシーケンス図では、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

【0048】

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
ディスプレイ上に載置された商品の撮影時に、前記商品の識別処理に用いる画像の背景画像を前記ディスプレイに所定時間表示させる表示制御手段と、
前記背景画像が表示されている間に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得する画像取得手段と、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する商品識別手段と、
を備える会計装置。
２．
前記表示制御手段は、前記ディスプレイに、それぞれ内容の異なる複数の背景画像を切り替えて表示させ、
前記画像取得手段は、前記背景画像別の前記商品識別用画像を取得し、
前記商品識別手段は、前記背景画像別の商品識別用画像を用いて、前記ディスプレイ上の商品を識別する、
１．に記載の会計装置。
３．
前記表示制御手段は、前記商品識別用画像を生成する撮像装置のフレームレートがＮ［ｆｐｓ（frame per second）］である場合、１／Ｎよりも長い時間、前記背景画像を前記ディスプレイに表示させる、
１．または２．に記載の会計装置。
４．
前記表示制御手段は、前記背景画像の表示時間を１／１０秒以下に制御する、
３．に記載の会計装置。
５．
前記表示制御手段は、前記背景画像の表示時間を１／２０秒以下に制御する、
４．に記載の会計装置。
６．
前記表示制御手段は、前記背景画像の表示時間外では、前記商品の識別結果に基づいて表示する情報を前記ディスプレイ上に表示させる、
１．から５．のいずれか１つに記載の会計装置。
７．
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された商品が写る画像を生成する撮像装置と、
前記商品の撮影時に、前記商品の識別処理に用いる画像の背景画像を前記ディスプレイに所定時間表示させる表示制御手段と、
前記背景画像の表示中に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得する画像取得手段と、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する商品識別手段と、
を備える会計システム。
８．
前記表示制御手段は、前記ディスプレイに、それぞれ内容の異なる複数の背景画像を切り替えて表示させ、
前記画像取得手段は、前記背景画像別の前記商品識別用画像を取得し、
前記商品識別手段は、前記背景画像別の商品識別用画像を用いて、前記ディスプレイ上の商品を識別する、
７．に記載の会計システム。
９．
前記表示制御手段は、前記商品識別用画像を生成する撮像装置のフレームレートがＮ［ｆｐｓ（frame per second）］である場合、１／Ｎよりも長い時間、前記背景画像を前記ディスプレイに表示させる、
７．または８．に記載の会計システム。
１０．
前記表示制御手段は、前記背景画像の表示時間を１／１０秒以下に制御する、
９．に記載の会計システム。
１１．
前記表示制御手段は、前記背景画像の表示時間を１／２０秒以下に制御する、
１０．に記載の会計システム。
１２．
前記表示制御手段は、前記背景画像の表示時間外では、前記商品の識別結果に基づいて表示する情報を前記ディスプレイ上に表示させる、
７．から１１．のいずれか１つに記載の会計システム。
１３．
コンピュータが、
ディスプレイ上に載置された商品の撮影時に、前記商品の識別処理に用いる画像の背景画像を前記ディスプレイに所定時間表示させ、
前記背景画像の表示中に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得し、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する、
ことを含む商品識別方法。
１４．
前記コンピュータが、
前記ディスプレイに、それぞれ内容の異なる複数の背景画像を切り替えて表示させ、
前記背景画像別の前記商品識別用画像を取得し、
前記背景画像別の商品識別用画像を用いて、前記ディスプレイ上の商品を識別する、
こと含む１３．に記載の商品識別方法。
１５．
前記コンピュータが、
前記商品識別用画像を生成する撮像装置のフレームレートがＮ［ｆｐｓ（frame per second）］である場合、１／Ｎよりも長い時間、前記背景画像を前記ディスプレイに表示させる、
ことを含む１３．または１４．に記載の商品識別方法。
１６．
前記コンピュータが、
前記背景画像の表示時間を１／１０秒以下に制御する、
ことを含む１５．に記載の商品識別方法。
１７．
前記コンピュータが、
前記背景画像の表示時間を１／２０秒以下に制御する、
ことを含む１６．に記載の商品識別方法。
１８．
前記コンピュータが、
前記背景画像の表示時間外では、前記商品の識別結果に基づいて表示する情報を前記ディスプレイ上に表示させる、
ことを含む１３．から１７．のいずれか１つに記載の商品識別方法。
１９．
コンピュータに、１３．から１８．のいずれか１つに記載の商品識別方法を実行させるためのプログラム。

【図1】

【図2】

【図3】

【図4】