特開 2024-169015 画像入力装置および商品認識システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024169015

(43)【公開日】2024-12-05

(54)【発明の名称】画像入力装置および商品認識システム

(51)【国際特許分類】

   G07G 1/00 20060101AFI20241128BHJP

【ＦＩ】

G07G1/00 311D

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023086183

(22)【出願日】2023-05-25

(71)【出願人】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】土屋 修

【テーマコード（参考）】

3E142

【Ｆターム（参考）】

3E142BA01

3E142CA12

3E142EA02

3E142GA02

3E142GA50

3E142JA01

(57)【要約】

【課題】商品を認識する際に使用する認識モデルを容易かつ確実に生成することが可能な画像入力装置および商品認識システムを提供する。
【解決手段】コードスキャナ（画像入力装置）は、自身から近距離の領域を撮像して、自身に翳された商品の画像を取得するカメラ（撮像部）と、カメラの撮像範囲を照明する近距離照明（照明部）と、カメラが撮像した画像を、商品を認識するための認識モデルを生成する認識モデル作成装置に対して出力する画像送信部（画像出力部）と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

自身から近距離の領域を撮像して、自身に翳された商品の画像を取得する撮像部と、
前記撮像部の撮像範囲を照明する照明部と、
前記撮像部が撮像した画像を、前記商品を認識するための認識モデルを生成する認識モデル作成装置に対して出力する画像出力部と、を備える、
画像入力装置。

【請求項2】

前記撮像部は、当該撮像部に翳された商品が前記照明部によって照明された際に、前記商品を適正な露出で撮像する感度を有して、
前記照明部は、少なくとも前記撮像部の露光期間内に点灯する、
請求項１に記載の画像入力装置。

【請求項3】

前記撮像部が撮像した画像に写るコードシンボルを認識するコードシンボル認識部を更に備える、
請求項１または請求項２に記載の画像入力装置。

【請求項4】

請求項３に記載の画像入力装置と、
前記画像入力装置から入力された商品の画像を用いて、当該商品を認識するための認識モデルを作成する認識モデル作成装置と、
前記画像入力装置から入力された商品の画像と前記認識モデル作成装置が作成した前記認識モデルとを用いて前記商品を認識する商品認識装置と、
を備える商品認識システム。

【請求項5】

前記商品認識システムは、
商品の認識を行う場合は、前記画像入力装置と前記商品認識装置とを動作させて、商品の認識モデルを作成する場合は、前記画像入力装置と前記認識モデル作成装置とを動作させる、
請求項４に記載の商品認識システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像入力装置および商品認識システムに関する。

【背景技術】

【0002】

従来、カメラで撮像された画像の中から、物体と物体に貼付されたバーコードとを検出することによって、当該物体を認識するための認識モデルを作成する処理装置が提案されている（例えば、特許文献１）。

【0003】

このような従来の処理装置は、専用の載置台に載置された商品を撮像する構成を有しているが、撮像装置の具体的な内容については言及されていない。商品を撮像する際に使用する画像入力装置には、認識対象となる商品のみを鮮明に画像化する機能の実現が望まれていた。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、商品を認識する際に使用する認識モデルを容易かつ確実に生成することが可能な画像入力装置および商品認識システムを提供することである。

【課題を解決するための手段】

【0005】

実施形態の画像入力装置は、撮像部と、照明部と、画像出力部とを備える。撮像部は、近距離を撮像するものであって、自身に翳された商品の画像を撮像する。照明部は、撮像部の撮像範囲を照明する。画像出力部は、撮像部が撮像した画像を、商品を認識するための認識モデルを生成する認識モデル作成装置に対して出力する。

【0006】

また、実施形態の商品認識システムは、画像入力装置と、画像入力装置が入力した商品の画像を用いて、当該商品を認識するための認識モデルを作成する認識モデル作成装置と、画像入力装置から入力された商品の画像と、認識モデル作成装置が生成した認識モデルと、を用いて商品を認識する商品認識装置と、を備える。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態の画像入力装置を用いた商品認識システムの機能構成の一例を示す機能ブロック図である。

【図2】図２は、コードスキャナに商品が翳された様子を示す図である。

【図3】図３は、カメラ制御部が行う撮像処理の流れの一例を示すタイミングチャートである。

【図4】図４は、認識モデル作成装置が作成する認識モデルの一例を示す図である。

【図5】図５は、商品認識システムが行う処理の流れの一例を示すフローチャートである。

【図6】図６は、実施形態の認識モデル作成装置が行う認識モデル作成処理の流れの一例を示す図である。

【図7】図７は、実施形態のＰＯＳ端末が行う商品登録処理の流れの一例を示す図である。

【発明を実施するための形態】

【0008】

以下、図面を参照して、本発明の実施形態について詳細に説明する。なお、以下に説明する実施形態によりこの発明が限定されるものではない。

【0009】

本発明の実施形態であるコードスキャナ１１０を備える商品認識システム１００について説明する。

【0010】

まず、図１を用いて、実施形態に係る商品認識システム１００の機能構成を説明する。図１は、実施形態の画像入力装置を用いた商品認識システムの機能構成の一例を示す機能ブロック図である。

【0011】

商品認識システム１００は、コードスキャナ１１０と、ＰＯＳ端末１２０と、認識モデル作成装置１３０と、商品認識装置１４０とを備える。

【0012】

コードスキャナ１１０は、自身に翳された商品９０を撮像する。また、コードスキャナ１１０は、撮像した商品９０の画像にバーコード等のコードシンボルが写っている場合に、当該コードシンボルが含むコード化された情報を読み取る。なお、コードスキャナ１１０は、本開示における画像入力装置の一例である。

【0013】

コードスキャナ１１０は、カメラ１１１と、近距離照明１１２、１１３と、カメラ制御部１１４と、バーコード認識部１１５と、画像送信部１１６とを備える。

【0014】

カメラ１１１は、自身から近距離の領域を撮像して、自身に翳された商品９０の画像を取得する。より具体的には、カメラ１１１は、コードスキャナ１１０の近傍の、略楕円体状の撮像範囲Ｐを撮像する。カメラ１１１は、例えば、ＣＣＤカメラやＣＭＯＳカメラである。なお、カメラ１１１はモノクロカメラであってもよいし、カラーカメラであってもよい。カメラ１１１は、本開示における撮像部の一例である。

【0015】

近距離照明１１２、１１３は、カメラ１１１の近傍に設置されて、カメラ１１１の撮像範囲Ｐを含む照明範囲Ｑ，Ｒを照明する。近距離照明１１２、１１３は、例えばＬＥＤである。なお、図１は、２つの近距離照明１１２，１１３が設置された例を示すが、近距離照明の数は問わない。近距離照明１１２、１１３は、本開示における照明部の一例である。

【0016】

カメラ制御部１１４は、カメラ１１１の撮像タイミングと、近距離照明１１２，１１３の点灯タイミングとを制御する。具体的には、カメラ制御部１１４は、カメラ１１１に対して撮像を行わせる。その際、カメラ制御部１１４は、カメラ１１１が撮像を行うタイミングで、近距離照明１１２，１１３を点灯させる。また、カメラ制御部１１４は、コードスキャナ１１０に商品９０が翳されたかを判断する機能を備えてもよい。カメラ制御部１１４の機能について、詳しくは後述する（図３参照）。

【0017】

バーコード認識部１１５は、カメラ１１１が撮像した画像に写ったバーコードが含むコード化された情報（例えば商品コード）を認識する。カメラが撮像した画像に含まれるバーコードの認識は、広く一般に適用されているため、認識方法の説明は省略する。なお、バーコード認識部１１５の認識対象はバーコードに限定されるものではなく、例えば２次元コードを認識させてもよい。なお、バーコード認識部１１５は、本開示におけるコードシンボル認識部の一例である。

【0018】

画像送信部１１６は、カメラ１１１が撮像した画像を、商品９０を認識するための認識モデル１３２を生成する認識モデル作成装置１３０と、商品認識装置１４０と、に送信する。画像送信部１１６は、本開示における画像出力部の一例である。

【0019】

ＰＯＳ端末１２０は、バーコード認識部１１５が認識した商品コード、または、商品認識装置１４０が認識した商品情報に対応する商品コードに基づいて商品登録を行う。また、ＰＯＳ端末１２０は、登録された商品に係る決済処理を行う。

【0020】

ＰＯＳ端末１２０は、商品登録部１２１と、決済処理部１２２と、動作指示部１２３と、動作制御部１２４と、商品情報記憶部１２５とを備える。

【0021】

商品登録部１２１は、コードスキャナ１１０から入力された商品コード、または、商品認識装置１４０が認識した商品の商品コードに対応する商品を登録する。

【0022】

決済処理部１２２は、商品登録部１２１が登録した商品に係る代金の決済処理を行う。なお、商品に係る代金は、現金払いであってもよいし、電子マネー払いやクレジットカード払いであってもよい。

【0023】

動作指示部１２３は、ＰＯＳ端末１２０に対する各種動作指示を行う。また、動作指示部１２３は、認識モデル作成装置１３０と商品認識装置１４０に対する動作指示を行う。

【0024】

動作制御部１２４は、操作部１２７でなされた操作指示を取得する。操作指示は、例えば、認識モデル１３２の作成指示、商品登録の実行指示等である。また、動作制御部１２４は、商品９０の認識を行う場合は、動作指示部１２３に対して、商品認識装置１４０とコードスキャナ１１０とに対する動作指示を出力させる。また、動作制御部１２４は、商品９０の認識モデルを作成する場合は、動作指示部１２３に対して、認識モデル作成装置１３０とコードスキャナ１１０とに対する動作指示を出力させる。

【0025】

商品情報記憶部１２５は、商品コードに対応する商品情報を記憶する。具体的には、商品情報記憶部１２５は、商品情報のマスタファイルである商品マスタを記憶する。商品マスタは、商品を一意に特定する商品コードと関連付けて、当該商品の商品名、価格、割引情報等の付加情報などを記憶する。

【0026】

また、ＰＯＳ端末１２０には、表示部１２６と、操作部１２７とが接続されている。

【0027】

表示部１２６は、ＰＯＳ端末１２０の各種動作状態を表示する、液晶モニタや有機ＥＬモニタ等の表デバイスである。

【0028】

操作部１２７は、ＰＯＳ端末１２０に対する各種操作指示と、認識モデル作成装置１３０による認識モデル１３２の作成指示と、認識モデル１３２を作成する際に、コードスキャナ１１０に翳される商品名の提示、いわゆる教師情報の提示とを行う。操作部１２７は、タッチパネルやキーボード等の操作デバイスである。

【0029】

認識モデル作成装置１３０は、カメラ１１１が撮像した商品９０の画像から、商品９０を認識するための認識モデル１３２を作成する装置である。

【0030】

認識モデル作成装置１３０は、認識モデル作成部１３１と、認識モデル１３２とを備える。

【0031】

認識モデル作成部１３１は、カメラ１１１が撮像した商品９０の画像と、当該商品９０がどのような商品であるかを示す教師情報とから、認識モデル１３２の作成と強化を行う。より具体的には、認識モデル作成部１３１は、商品９０を様々な方向から撮像した画像を用いて、認識モデル１３２を強化する学習を行う。

【0032】

認識モデル１３２は、認識モデル作成部１３１が作成した、商品９０を認識するためのモデルである。認識モデル１３２は、例えば、多層構造にニューラルネットワークで表現されて、当該ニューラルネットワークの内部に、商品９０を認識するための複数の内部信号の入出力関係が記述されている。なお、認識モデル１３２について、詳細は後述する（図４参照）。

【0033】

商品認識装置１４０は、認識モデル１３２を用いて、カメラ１１１が撮像した商品９０を認識する装置である。

【0034】

商品認識装置１４０は、商品認識部１４１を備える。

【0035】

商品認識部１４１は、カメラ１１１が撮像した、認識対象である商品９０の画像を、認識モデル１３２に入力する。そして、商品認識部１４１は、認識モデル１３２が出力する、商品らしさを表す数値に基づいて、カメラ１１１が撮像した画像が、商品マスタに登録されたいずれの商品であるかを認識する。特に、本実施形態の商品認識システム１００は、コードスキャナ１１０で撮像した商品９０の画像に基づいて認識モデル作成装置１３０が作成した認識モデル１３２を用いて、商品認識装置１４０が、同じコードスキャナ１１０で撮像された未知の商品９０を認識する。したがって、商品認識装置１４０が、別のカメラで撮像された画像に写る商品９０を認識する場合と比べて、認識の精度を向上させることができる。

【0036】

なお、図１に示す機能構成は一例であって、各装置が有する機能部位は、異なる装置間で適宜入れ替えられてもよい。

【0037】

次に、図２を用いて、コードスキャナ１１０によって商品９０を撮像する様子を説明する。図２は、コードスキャナに商品が翳された様子を示す図である。

【0038】

図２に示すように、カメラ１１１は、撮影範囲に翳された商品９０、具体的には、図２におけるＺ軸方向において、カメラ１１１に近接した商品９０を撮像する。なお、コードスキャナ１１０のカメラ制御部１１４は、商品９０が翳されたことを検知する機能を備えて、商品９０が翳されたときにカメラ１１１に撮像を行わせるのが望ましい。具体的には、カメラ制御部１１４は、カメラ１１１での撮像を繰り返して行わせて、撮像された画像に急激な明るさの変化が観測された場合に、商品９０が翳されたと判断して、カメラ１１１に撮像を行わせる。また、カメラ制御部１１４は、カメラ１１１の撮像範囲Ｐに向けて超音波を送信して、超音波センサが、撮像範囲Ｐの内部に物体が侵入したことを検知した場合に、カメラ１１１に撮像を行わせてもよい。

【0039】

なお、カメラ１１１で撮像した画像に商品９０以外の背景が写り込むのを防止するために、カメラ１１１が備える撮像素子の感度は低く設定される。より具体的には、カメラ１１１の感度は、撮像範囲Ｐに翳された商品９０が、近距離照明１１２の照明光または近距離照明１１３の照明光によって照明された際に、商品９０が適正な露出で撮像されるように調整される。また、カメラ１１１が備える光学系の合焦範囲は、撮像範囲Ｐの奥行範囲にと合致するように調整される。これによって、カメラ１１１に撮像された撮像範囲Ｐの外部は、大きくぼけた状態で画像化されるため、カメラ１１１に翳された商品９０のみが鮮明に画像化される。

【0040】

次に、図３を用いて、カメラ制御部１１４が行う撮像処理について説明する。図３は、カメラ制御部が行う撮像処理の流れの一例を示すタイミングチャートである。

【0041】

カメラ制御部１１４は、カメラ１１１と近距離照明１１２、近距離照明１１３に対して、撮像タイミングを指示する撮像指示信号を出力する。撮像指示信号は、正パルス列を含む信号である。

【0042】

カメラ１１１は、撮像指示信号のパルスの立ち上がりを検出すると、カメラ１１１のシャッタを開いて撮像を行う。カメラ１１１のシャッタは、予め設定された露光時間ｔが経過した後に閉じる。即ち、カメラ１１１は、露光時間ｔに亘って、撮像素子に露光を行う。

【0043】

一方、近距離照明１１２と近距離照明１１３は、撮像指示信号のパルスの立ち上がりを検出すると、照明を点灯させる。点灯した照明は、予め設定された点灯時間ｉが経過した際に消灯する。ここで、点灯時間ｉは、カメラ１１１の露光時間ｔよりも短くなるように設定される。このように、近距離照明１１２と近距離照明１１３の点灯時間を、カメラ１１１のシャッタが開いている時間よりも短くすることによって、低消費電力化を図ることができる。

【0044】

次に、図４を用いて、認識モデル作成装置１３０が作成する認識モデル１３２の内容を説明する。図４は、認識モデル作成装置が作成する認識モデルの一例を示す図である。

【0045】

図４は、作成された認識モデル１３２の一部分の構造を示すものである。特に、図４は、カメラ１１１が撮像した商品９０の画像から、商品９０が、商品Ａであるかを認識するモデルの一例である。

【0046】

認識モデル作成装置１３０は、カメラ１１１が撮像した商品９０の複数の画像と、商品９０が商品Ａであることを示す情報、いわゆる教師情報とを与えることによって、商品Ａを認識する認識モデルを作成する。

【0047】

図４に示す例は、入力層と中間層と出力層とを有する３層のニューラルネットワークで記述された、商品Ａを認識するモデルの一例である。ニューラルネットワークは、人間の神経回路網を模した数理モデルである。なお、ニューラルネットワークの層数は３層に限定されるものではなく、中間層を複数備えたニューラルネットワークであってもよい。

【0048】

入力層を構成する複数のユニットは、カメラ１１１が撮像した画像から複数の特徴量ａ，ｂ，…，ｎをそれぞれ検出する。特徴量ａ，ｂ，…，ｎは、商品９０を含む画像から検出する予め設定された特徴量である。特徴量ａ，ｂ，…，ｎは、具体的には、画像の明るさに係る特徴量、物体の形状に係る特徴量、画像の色に係る特徴量等である。

【0049】

なお、認識モデル１３２は、複数の商品の認識モデルを備えるが、特徴量ａ，ｂ，…，ｎは、全ての商品の認識モデルに対して共通に設定される。

【0050】

入力層における各ユニットの出力には、それぞれ異なる重み係数で重み付けがなされて、中間層に入力される。

【0051】

中間層では、重み付けされた各ユニットの出力の総和が演算される。

【0052】

例えば、中間層を形成する第１のユニットでは、式（１）に基づいて、評価値Ｅａが算出される。

【0053】

Ｅａ＝ｗａ＊ａ＋ｗｂ＊ｂ＋…＋ｗｎ＊ｎ…（１）

【0054】

式（１）において、ｗａ，ｗｂ，…，ｗｎは、入力層の出力に付される重み係数である。また、式（１）において、ａ，ｂ，…，ｎは、入力層で算出された特徴量である。そして、中間層の別のユニットでも、同様にして、評価値Ｅｂ，Ｅｃ，…，Ｅｎが算出される。なお、中間層を形成するユニットによって、重み係数ｗａ，ｗｂ，…，ｗｎには、それぞれ異なる値が設定される。

【0055】

中間層で算出されたｎ個の評価値Ｅａ，Ｅｂ，…，Ｅｎは、それぞれ異なる重み係数で重み付けがなされて、出力層に出力される。

【0056】

出力層では、式（２）に基づいて、商品Ａらしさを表す評価値Ｋを算出する。

【0057】

Ｋ＝ｕａ＊Ｅａ＋ｕｂ＊Ｅｂ＋…＋ｕｎ＊Ｅｎ…（２）

【0058】

式（２）において、ｕａ，ｕｂ，…，ｕｎは、中間層の各ユニットの出力に付される重み係数である。また、式（２）における、Ｅａ，Ｅｂ，…，Ｅｎは、前述した評価値である。

【0059】

認識モデル作成装置１３０は、カメラ１１１が撮像した商品９０の複数の画像を取得する毎に学習を繰り返す。そして、認識モデル作成装置１３０は、学習を行う毎に、前述した重み係数ｗａ，ｗｂ，…，ｗｎと、重み係数ｕａ，ｕｂ，…，ｕｎを逐次更新することによって、認識モデルを強化する。

【0060】

次に、図５を用いて、商品認識システム１００が行う処理の流れを説明する。図５は、商品認識システムが行う処理の流れの一例を示すフローチャートである。

【0061】

ＰＯＳ端末１２０の動作制御部１２４は、認識モデル１３２の作成が指示されたかを判定する（ステップＳ１）。認識モデル１３２の作成が指示されたと判定される（ステップＳ１：Ｙｅｓ）とステップＳ２に進む。一方、認識モデル１３２の作成が指示されたと判定されない（ステップＳ１：Ｎｏ）とステップＳ３に進む。なお、ＰＯＳ端末１２０の動作制御部１２４は、操作部１２７に対する操作指示の内容に基づいて、認識モデル１３２の作成が指示されたかを判定する。

【0062】

ステップＳ１において、認識モデル１３２の作成が指示されたと判定されると、ＰＯＳ端末１２０の動作制御部１２４は、コードスキャナ１１０と認識モデル作成装置１３０とに対して、認識モデル１３２の作成処理を行わせる（ステップＳ２）。認識モデルの作成処理の詳細な流れは後述する（図６参照）。その後、商品認識システム１００は、図５の処理を終了する。

【0063】

一方、ステップＳ１において、認識モデル１３２の作成が指示されたと判定されないと、ＰＯＳ端末１２０の動作制御部１２４は、商品登録の実行が指示されたかを判定する（ステップＳ３）。商品登録の実行が指示されたと判定される（ステップＳ３：Ｙｅｓ）とステップＳ４に進む。一方、商品登録の実行が指示されたと判定されない（ステップＳ３：Ｎｏ）と、商品認識システム１００は、図５の処理を終了する。なお、ＰＯＳ端末１２０の動作制御部１２４は、操作部１２７に対する操作指示の内容に基づいて、商品登録の実行が指示されたかを判定する。

【0064】

ステップＳ３において、商品登録の実行が指示されたと判定されると、ＰＯＳ端末１２０は、コードスキャナ１１０と商品認識装置１４０と協働して、商品登録処理を行う（ステップＳ４）。商品登録処理の詳細な流れは後述する（図７参照）。

【0065】

続いて、ＰＯＳ端末１２０は、登録された商品に係る決済処理を行う（ステップＳ５）。その後、商品認識システム１００は、図５の処理を終了する。

【0066】

次に、図６を用いて、認識モデル作成処理の流れを説明する。図６は、実施形態の認識モデル作成装置が行う認識モデル作成処理の流れの一例を示す図である。

【0067】

認識モデル作成部１３１は、ＰＯＳ端末１２０の操作部１２７から、コードスキャナ１１０に翳される商品名等の商品識別情報を取得する（ステップＳ１１）。

【0068】

コードスキャナ１１０のカメラ制御部１１４は、コードスキャナ１１０に商品９０が翳されたかを判定する（ステップＳ１２）。コードスキャナ１１０に商品９０が翳されたと判定される（ステップＳ１２：Ｙｅｓ）とステップＳ１３に進む。一方、コードスキャナ１１０に商品９０が翳されたと判定されない（ステップＳ１２：Ｎｏ）と、ステップＳ１２の判定を繰り返す。

【0069】

ステップＳ１２において、コードスキャナ１１０に商品９０が翳されたと判定されると、コードスキャナ１１０のカメラ制御部１１４は、カメラ１１１に撮像を行わせる（ステップＳ１３）。なお、このとき、カメラ制御部１１４は、カメラ１１１が撮像を行うタイミングで、近距離照明１１２，１１３を点灯させる。

【0070】

認識モデル作成装置１３０の認識モデル作成部１３１は、ステップＳ１３で撮像された商品９０の画像を、その時点において作成されている商品９０に対応する商品の認識モデル１３２に適用させることによって、商品９０に対応する商品の認識モデル１３２を更新する（ステップＳ１４）。

【0071】

ＰＯＳ端末１２０の動作制御部１２４は、操作部１２７から、認識モデル１３２の作成処理の終了が指示されたかを判定する（ステップＳ１５）。認識モデル１３２の作成処理の終了が指示されたと判定される（ステップＳ１５：Ｙｅｓ）と、商品認識システム１００は、図６の処理を終了する。一方、認識モデル１３２の作成処理の終了が指示されたと判定されない（ステップＳ１５：Ｎｏ）と、ステップＳ１２に戻って、認識モデル１３２の作成を繰り返す。

【0072】

次に、図７を用いて、商品登録処理の流れを説明する。図７は、実施形態のＰＯＳ端末が行う商品登録処理の流れの一例を示す図である。

【0073】

コードスキャナ１１０のカメラ制御部１１４は、コードスキャナ１１０に商品９０が翳されたかを判定する（ステップＳ２１）。コードスキャナ１１０に商品９０が翳されたと判定される（ステップＳ２１：Ｙｅｓ）とステップＳ２２に進む。一方、コードスキャナ１１０に商品９０が翳されたと判定されない（ステップＳ２１：Ｎｏ）と、ステップＳ２１の判定を繰り返す。

【0074】

ステップＳ２１において、コードスキャナ１１０に商品９０が翳されたと判定されると、コードスキャナ１１０のカメラ制御部１１４は、カメラ１１１に撮像を行わせる（ステップＳ２２）。なお、このとき、カメラ制御部１１４は、カメラ１１１が撮像を行うタイミングで、近距離照明１１２，１１３を点灯させる。

【0075】

コードスキャナ１１０のバーコード認識部１１５は、カメラ１１１が撮像した画像に中からコードシンボルの認識を行う（ステップＳ２３）。

【0076】

続いて、バーコード認識部１１５は、コードシンボルを認識したかを判定する（ステップＳ２４）。コードシンボルが認識されたと判定される（ステップＳ２４：Ｙｅｓ）とステップＳ２５に進む。一方、コードシンボルが認識されたと判定されない（ステップＳ２４：Ｎｏ）とステップＳ２６に進む。

【0077】

ステップＳ２４において、コードシンボルが認識されたと判定されると、ＰＯＳ端末１２０の商品登録部１２１は、認識されたコードシンボルに基づいて、コードスキャナ１１０に翳された商品９０を特定する（ステップＳ２５）。その後、ステップＳ２７に進む。

【0078】

一方、ステップＳ２４において、コードシンボルが認識されたと判定されないと、商品認識装置１４０の商品認識部１４１は、認識モデル１３２に基づいて、コードスキャナ１１０に翳された商品９０を特定する（ステップＳ２６）。その後、ステップＳ２７に進む。

【0079】

ステップＳ２５またはステップＳ２６に続いて、ＰＯＳ端末１２０の商品登録部１２１は、認識された商品を登録する（ステップＳ２７）。

【0080】

ＰＯＳ端末１２０の動作制御部１２４は、操作部１２７から、登録終了が指示されたかを判定する（ステップＳ２８）。登録終了が指示されたと判定される（ステップＳ２８：Ｙｅｓ）と、商品認識システム１００は、図７の処理を終了する。一方、登録終了が指示されたと判定されない（ステップＳ２８：Ｎｏ）と、ステップＳ２１に戻って、別の商品の登録を繰り返す。

【0081】

以上説明したように、実施形態のコードスキャナ１１０（画像入力装置）は、自身から近距離の領域を撮像して、自身に翳された商品９０の画像を取得するカメラ１１１（撮像部）と、カメラ１１１の撮像範囲を照明する近距離照明１１２、１１３（照明部）と、カメラ１１１が撮像した画像を、商品９０を認識するための認識モデル１３２を生成する認識モデル作成装置１３０に対して出力する画像送信部１１６（画像出力部）と、を備える。したがって、商品９０を認識する際に使用する認識モデル１３２を容易かつ確実に生成することができる。

【0082】

また、実施形態のコードスキャナ１１０（画像入力装置）において、カメラ１１１（撮像部）は、当該カメラ１１１に翳された商品９０が近距離照明１１２、１１３（照明部）によって照明された際に、商品９０を適正な露出で撮像する感度を有して、近距離照明１１２、１１３は、少なくともカメラ１１１の露光期間内に点灯する。したがって、コードスキャナ１１０に近接した撮像範囲Ｐに翳された商品９０のみを鮮明に画像化することができるため、認識モデル１３２の作成に適した画像を得ることができる。

【0083】

また、実施形態のコードスキャナ１１０（画像入力装置）は、カメラ１１１（撮像部）が撮像した画像に写るコードシンボルを認識するバーコード認識部１１５（コードシンボル認識部）を更に備える。したがって、コードスキャナ１１０を、認識モデル作成装置１３０での認識モデル１３２の作成に流用することができる。

【0084】

また、実施形態の商品認識システム１００は、コードスキャナ１１０（画像入力装置）と、コードスキャナ１１０から入力された商品９０の画像を用いて、当該商品９０を認識するための認識モデル１３２を作成する認識モデル作成装置１３０と、コードスキャナ１１０から入力された商品９０の画像と認識モデル作成装置１３０が作成した認識モデル１３２とを用いて、商品９０を認識する商品認識装置１４０と、を備える。したがって、認識モデル１３２の作成と、当該認識モデル１３２を用いた商品９０の認識とを、同じ装置で実行することができる。これによって、より高い精度で商品９０の認識を行うことができる。

【0085】

また、実施形態の商品認識システム１００は、商品９０の認識を行う場合は、コードスキャナ１１０（画像入力装置）と商品認識装置１４０とを動作させて、商品９０の認識モデル１３２を作成する場合は、コードスキャナ１１０と認識モデル作成装置１３０とを動作させる。したがって、認識モデル作成装置１３０による認識モデル１３２の作成と、商品認識装置１４０による商品９０の認識と、を簡単に切り替えて使用することができる。

【0086】

以上、本発明の実施形態を説明したが、この実施形態は例示であり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0087】

１００ 商品認識システム
１１０ コードスキャナ（画像入力装置）
１１１ カメラ（撮像部）
１１２，１１３ 近距離照明（照明部）
１１４ カメラ制御部
１１５ バーコード認識部（コードシンボル認識部）
１１６ 画像送信部（画像出力部）
１２０ ＰＯＳ端末
１２１ 商品登録部
１２２ 決済処理部
１２３ 動作指示部
１２４ 動作制御部
１２５ 商品情報記憶部
１３０ 認識モデル作成装置
１３１ 認識モデル作成部
１３２ 認識モデル
１４０ 商品認識装置
１４１ 商品認識部
Ｐ 撮像範囲
Ｑ，Ｒ 照明範囲
ｉ 点灯時間
ｔ 露光時間

【先行技術文献】

【特許文献】

【0088】

【特許文献1】国際公開２０２０／１７０９６３号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】