(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024161642
(43)【公開日】2024-11-20
(54)【発明の名称】撮像装置およびプログラム
(51)【国際特許分類】
G07G 1/00 20060101AFI20241113BHJP
G07G 1/12 20060101ALI20241113BHJP
G06T 7/00 20170101ALI20241113BHJP
【ＦＩ】
G07G1/00 311D
G07G1/12 321Z
G06T7/00 300Z
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023076450
(22)【出願日】2023-05-08
(71)【出願人】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】内藤 英浩
【テーマコード（参考）】
3E142
5L096
【Ｆターム（参考）】
3E142AA01
3E142BA01
3E142CA12
3E142CA20
3E142EA02
3E142EA04
3E142FA42
3E142GA35
3E142GA41
3E142JA01
5L096AA06
5L096CA03
5L096DA01
5L096DA02
5L096EA35
5L096FA02
5L096FA08
5L096FA09
5L096HA08
5L096KA04
5L096KA15
(57)【要約】
【課題】本発明が解決しようとする課題は、簡単に辞書を学習させることが可能な撮像装置およびプログラムを提供することである。
【解決手段】実施形態の撮像装置は、撮像部と、前記撮像部が撮像した画像に含まれる商品に付されたシンボルをデコードしたデコード情報を生成するデコード手段と、前記撮像部が撮像した画像と前記デコード情報を関連付ける関連付手段と、前記関連付手段によって関連付けされた関連付情報を出力する出力手段と、前記デコード情報に含まれる商品特定情報または前記撮像部が撮像した画像に対して行われた一般物体認識で特定された商品特定情報のいずれかを商品販売データ処理装置に送信する送信手段と、を備える。
【選択図】図１２
【解決手段】実施形態の撮像装置は、撮像部と、前記撮像部が撮像した画像に含まれる商品に付されたシンボルをデコードしたデコード情報を生成するデコード手段と、前記撮像部が撮像した画像と前記デコード情報を関連付ける関連付手段と、前記関連付手段によって関連付けされた関連付情報を出力する出力手段と、前記デコード情報に含まれる商品特定情報または前記撮像部が撮像した画像に対して行われた一般物体認識で特定された商品特定情報のいずれかを商品販売データ処理装置に送信する送信手段と、を備える。
【選択図】図１２
【特許請求の範囲】
【請求項1】
撮像部と、
前記撮像部が撮像した画像に含まれる商品に付されたシンボルをデコードしたデコード情報を生成するデコード手段と、
前記撮像部が撮像した画像と前記デコード情報を関連付ける関連付手段と、
前記関連付手段によって関連付けされた関連付情報を出力する出力手段と、
前記デコード情報に含まれる商品特定情報または前記撮像部が撮像した画像に対して行われた一般物体認識で特定された商品特定情報のいずれかを商品販売データ処理装置に送信する送信手段と、
を備えた撮像装置。
前記撮像部が撮像した画像に含まれる商品に付されたシンボルをデコードしたデコード情報を生成するデコード手段と、
前記撮像部が撮像した画像と前記デコード情報を関連付ける関連付手段と、
前記関連付手段によって関連付けされた関連付情報を出力する出力手段と、
前記デコード情報に含まれる商品特定情報または前記撮像部が撮像した画像に対して行われた一般物体認識で特定された商品特定情報のいずれかを商品販売データ処理装置に送信する送信手段と、
を備えた撮像装置。
【請求項2】
前記撮像部が撮像した画像から前記商品が写っている商品画像を抽出する抽出手段、をさらに備え、
前記関連付手段は、前記商品画像と前記デコード情報を関連付ける、
請求項１に記載の撮像装置。
前記関連付手段は、前記商品画像と前記デコード情報を関連付ける、
請求項１に記載の撮像装置。
【請求項3】
前記抽出手段は、前記シンボルの画像を含む所定範囲の画像を抽出する、
請求項２に記載の撮像装置。
請求項２に記載の撮像装置。
【請求項4】
前記抽出手段は、前記シンボルの画像を含む前後の所定範囲の画像を抽出する、
請求項２に記載の撮像装置。
請求項２に記載の撮像装置。
【請求項5】
前記撮像部は、第１撮像部および前記第１撮像部とは異なる位置に異なる角度で設置された第２撮像部、をさらに備え、
前記抽出手段は、前記撮像部は第１撮像部が撮像した画像および前記第２撮像部が撮像した画像から商品が写っている商品画像をさらに抽出し、
前記関連付手段は、前記第１撮像部と前記第２撮像部とで撮像された前記商品画像を前記デコード情報に関連付ける、
請求項２乃至４のいずれか一に記載の撮像装置。
前記抽出手段は、前記撮像部は第１撮像部が撮像した画像および前記第２撮像部が撮像した画像から商品が写っている商品画像をさらに抽出し、
前記関連付手段は、前記第１撮像部と前記第２撮像部とで撮像された前記商品画像を前記デコード情報に関連付ける、
請求項２乃至４のいずれか一に記載の撮像装置。
【請求項6】
撮像部を備えた撮像装置としてのコンピュータを、
前記撮像部が撮像した画像に含まれる商品に付されたシンボルをデコードしたデコード情報を生成するデコード手段と、
前記撮像部が撮像した画像と前記デコード情報を関連付ける関連付手段と、
前記関連付手段によって関連付けされた関連付情報を出力する出力手段と、
前記デコード情報に含まれる商品特定情報または前記撮像部が撮像した画像に対して行われた一般物体認識で特定された商品特定情報のいずれかを商品販売データ処理装置に送信する送信手段と、
して機能させるためのプログラム。
前記撮像部が撮像した画像に含まれる商品に付されたシンボルをデコードしたデコード情報を生成するデコード手段と、
前記撮像部が撮像した画像と前記デコード情報を関連付ける関連付手段と、
前記関連付手段によって関連付けされた関連付情報を出力する出力手段と、
前記デコード情報に含まれる商品特定情報または前記撮像部が撮像した画像に対して行われた一般物体認識で特定された商品特定情報のいずれかを商品販売データ処理装置に送信する送信手段と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、撮像装置およびプログラムに関する。
【背景技術】
【0002】
最近は、ショッピングセンター、量販店、百貨店等の店舗において、店舗で販売する商品の商品登録処理および決済処理を行うＰＯＳシステムが存在する。このようなＰＯＳシステムには、撮像装置が撮像した商品の画像をパッケージ認識して商品を判断しているものがある。
【0003】
ところで、撮像した画像から商品を正しく判断するには、画像から商品を推定するために使用する辞書の精度を上げる必要がある。辞書の精度を上げるためには、当該商品に係る多くの画像を収集して辞書に学習させることが必要である。例えば、新商品が販売されたり、同じ商品であっても季節によってパッケージ等のデザインが変更されることがあるため、日常的に辞書を学習させることが必要となる。
【0004】
しかしながら、辞書を学習させるためには人によって商品の画像を撮像させる作業が必要であり、作業者の負担となっている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、簡単に辞書を学習させることが可能な撮像装置およびプログラムを提供することである。
【課題を解決するための手段】
【0006】
実施形態の撮像装置は、撮像部と、前記撮像部が撮像した画像に含まれる商品に付されたシンボルをデコードしたデコード情報を生成するデコード手段と、前記撮像部が撮像した画像と前記デコード情報を関連付ける関連付手段と、前記関連付手段によって関連付けされた関連付情報を出力する出力手段と、前記デコード情報に含まれる商品特定情報または前記撮像部が撮像した画像に対して行われた一般物体認識で特定された商品特定情報のいずれかを商品販売データ処理装置に送信する送信手段と、を備える。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
以下、本発明の実施形態について図面を参照して説明する。実施形態では、顧客が登録操作および会計操作を行うシステムにおいて、顧客による商品の走査の動作を撮像する撮像装置を一例として説明する。なお、以下に説明する第１実施形態によりこの発明が限定されるものではない。
【0009】
図１は、実施形態にかかるシステムを示す図である。図１において、システム１０は、スーパーマーケット、量販店、コンビニエンスストア、専門店等の店舗Ｔに設置されている。システム１０は、店舗Ｔ内に設置されたシステムであり、１台または複数台のＰＯＳ（Point of Sales）端末１（商品販売データ処理装置）、各ＰＯＳ端末１に例えば接続された撮像装置３、エッジデバイス５、店舗サーバ７を備える。各ＰＯＳ端末１とエッジデバイス５と店舗サーバ７は、それぞれ相互に通信が可能な通信回線Ｌ（例えばＬＡＮ（Local Area Network））で接続されている。また撮像装置３は、それぞれのＰＯＳ端末１に一台ずつ接続され、例えばＰＯＳ端末１と例えばＵＳＢ（Universal Serial Bus）ケーブルＵで接続されている。また各撮像装置３は、エッジデバイス５およびと店舗サーバ７と通信回線Ｌで接続されている。
【0010】
システム１０は、店舗Ｔにおいて販売される商品の商品登録処理、決済処理、売上管理を行う。またシステム１０は、パッケージ認識技術を用いて商品登録処理を実行する。
【0011】
パッケージ認識とは、商品に付されたバーコードや二次元コード等のシンボルを撮像して解析することで当該商品を特定する技術（以降「コード認識」という）と、撮像した商品の形状や外観に基づいて商品を認識する公知の一般物体認識技術を併用して、商品を特定する技術である。
【0012】
一般物体認識については、例えば、「 柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６［平成２２年８月１０日検索］，インターネット＜ URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf ＞」に記載されている。
【0013】
コード認識は、商品に付されたシンボルを撮像した場合、当該シンボルをデコード解析したデコード情報を得る。デコード情報には、シンボルが貼付された商品を特定する商品特定情報が含まれる。商品特定情報は、例えば商品を示す商品コードであるが、商品を特定する情報であれば商品コードでなくてもよい。
【0014】
次に、一般物体認識について説明する。図２は、一般物体認識を説明するための図である。図２に示すように、一般物体認識は、物体検出モデル５４２、特徴抽出モデル５４３、照合用辞書５４４の３種類の辞書を用いて、撮像した商品の特定を行う。
【0015】
物体検出モデル５４２は、撮像された画像中に写っている物体（商品）の領域（範囲）を特定するための辞書である。すなわち物体検出モデル５４２は、入力された撮像画像に基づいて、当該撮像画像から物体（商品）が写っている領域を特定するための辞書である。換言すると、物体検出モデル５４２は、撮像された画像（後述する、顧客が商品を走査する画像）の中から特定された領域で囲まれた商品の画像（以降「物体画像」という）を抽出するための辞書である。
【0016】
特徴抽出モデル５４３は、特定された領域（物体画像）に写っている商品を見分けるのに有効な特徴量を算出するための辞書である。すなわち特徴抽出モデル５４３は、入力された物体画像に基づいて、領域が特定された商品の特徴を示す特徴量を示す特徴ベクトルを出力する。
【0017】
照合用辞書５４４は、出力された特徴ベクトルに基づいて、商品を特定するための辞書である。すなわち照合用辞書５４４は、多数の商品について、それぞれの商品を特定する商品特定情報別に当該商品の特徴を示す特徴量を関連付けて記憶しており、入力された特徴ベクトルが示す特徴量と記憶された特徴量とを照合することで、記憶された多数の商品が、撮像された商品にどの程度似ているかを示す類似度を算出する。類似度が高い商品ほど撮像された商品と似ている程度（すなわち、撮像された商品である確率）が高い。例えば類似度が９５％以上の商品は、撮像された商品と同じ商品である可能性が極めて高い。
【0018】
一般物体認識は、物体検出モデル５４２を用いて、カメラ等の撮像部で撮像した画像から商品が写っている領域を特定し、次に、特徴抽出モデル５４３を用いて、当該領域内（物体画像）に写っている商品の外観形状、色合い、模様、凹凸等の表面情報をパラメータ（図２で示す「特徴ベクトル」）で表す当該商品の特徴量を抽出し、次に、照合用辞書５４４を用いて、抽出した特徴量と辞書に記憶されている多数の商品の特徴量データとを照合して、記憶されている商品が当該商品にどの程度似ているかを示す類似度を算出して、類似度に応じて商品を認識する。このような一般物体認識が算出した類似度に基づいて、システム１０は、類似度が閾値以上である（例えば９５％以上）一つの商品がある場合は、認識した商品を撮像した商品（図２における商品Ａ）として特定し、類似度が閾値より高い商品がない（例えばいずれの類似度も９５％より低い）場合は、一つの商品を特定せずに、認識した類似度が高い複数の商品を候補商品とする。
【0019】
パッケージ認識は、コード認識技術および一般物体認識技術を用いて、例えばより早く商品が特定できた技術に基づいて商品を特定して、特定できた商品の情報をＰＯＳ端末１等に送信（出力）する。ただし、一般物体認識によって一つの商品に特定できない場合であってまだコード認識もされていない場合は、パッケージ認識は、さらに所定時間、コード認識による商品が特定されるのを待つようにしてもよい。
【0020】
撮像装置３は、第１撮像部３７（撮像部）と第２撮像部３８（撮像部）（図７を参照）を備え、撮像装置３の前方を走査された商品の画像を撮像する装置である。第１撮像部３７と第２撮像部３８は、例えば多数のＣＣＤ（Charge Coupled Device：撮像素子）を２次現状（面状）に多数配列したカメラである。
【0021】
撮像装置３は、第１撮像部３７と第２撮像部３８によって撮像された画像から、商品が写っている商品画像を抽出する。図３に、撮像した画像から商品画像を抽出する一例を示す。図３において、フレーム１～フレーム９の画像が撮像されている。図３においてフレーム１は何も写っていないが、実際には商品を走査するための顧客の手や背景が写っていて商品は写っていない。フレーム９も同様である。これに対してフレーム２～フレーム８は、顧客の手や背景に加えて商品が写っている。そのため、撮像装置３は、公知の技術を用いて、フレーム１～フレーム９の画像から、商品が写っているフレーム２～フレーム８の画像を商品画像として抽出する。
【0022】
撮像された画像から商品画像を抽出する方法として、例えば、商品と手や背景を区別して商品が写っている画像を抽出する方法があるが、その他に、シンボルを認識した画像を中心としてその前後の商品が写っている画像を抽出する方法、シンボルを認識した画像から前に遡って商品が写っている画像を抽出する方法、シンボルを認識した画像から後の商品が写っている画像を抽出する方法、等がある。また、物体検出モデル５４２と同様の辞書を撮像装置３に備え、当該辞書を用いて商品の領域を算出できた物体画像を商品画像として抽出してもよい。
【0023】
また、撮像装置３は、第１撮像部３７と第２撮像部３８によって撮像された画像に基づいてコード認識を実行し、デコード情報を生成する。そして撮像装置３は、生成したデコード情報と、当該デコード情報をデコードしたシンボルが貼付された商品の商品画像（例えば、当該シンボルが貼付された商品が検出され始めてから検出が終了するまでのすべての商品画像（連続した複数枚の静止画像））を関連付けた関連付情報を生成する。そして撮像装置３は、関連付情報をエッジデバイス５に出力する。
【0024】
エッジデバイス５は、一般物体認識を実行する。すなわちエッジデバイス５は、第１撮像部３７と第２撮像部３８によって撮像された画像から、物体検出モデル５４２を用いて商品の領域（範囲）を特定した物体画像を検出する（図２のＡ）。
【0025】
次にエッジデバイス５は、特徴抽出モデル５４３を用いて、検出した物体画像から当該商品の特徴を示す特徴量を算出することで、当該商品の特徴ベクトルを出力する（図２のＢ）。そしてエッジデバイス５は、照合用辞書５４４を用いて、出力した特徴ベクトルに基づいて、記憶されている商品の当該商品との類似の程度を示す類似度を算出する。そしてエッジデバイス５は、類似度が高い商品を、当該商品を撮像された商品であると認識する。そしてエッジデバイス５は、認識結果を撮像装置３に出力する。
【0026】
またエッジデバイス５は、撮像装置３が出力した関連付情報を入力して蓄積的に記憶する。そしてエッジデバイス５は、蓄積した関連付情報を、通信回線Ｌを介して店舗サーバ７に送信する。そしてエッジデバイス５は、送信した関連付情報に基づいて学習された照合用辞書５４４を店舗サーバ７から受信して記憶する。エッジデバイス５は、店舗サーバ７から受信した照合用辞書の情報を上書きして記憶することで、記憶している照合用辞書５４４の精度を高める。
【0027】
撮像装置３は、エッジデバイス５から入力された認識結果と生成したデコード情報とに基づいて、ＰＯＳ端末１に商品特定情報を送信する商品を決定する。例えば、エッジデバイス５から入力された商品特定情報が特定の一つの商品を示す情報である場合（すなわちエッジデバイス５から、特定された一つの商品に係る商品特定情報が入力された場合）、撮像装置３は、未だデコード情報が生成されていない場合には、当該商品特定情報をＰＯＳ端末１に送信する。また、すでにデコード情報が生成されている場合には、デコード情報に含まれる商品特定情報をＰＯＳ端末１に送信する。
【0028】
一方、エッジデバイス５から入力された商品特定情報が複数の商品を示す情報である場合（すなわちエッジデバイス５から、複数の商品特定情報が入力された場合）、撮像装置３は、すでにデコード情報が生成されている場合には、デコード情報が示す商品特定情報をＰＯＳ端末１に送信する。また、未だデコード情報が生成されていない場合には、所定時間デコード情報が生成されるのを待機し、デコード情報が生成された場合には、デコード情報が示す商品特定情報をＰＯＳ端末１に送信する。また、所定時間経過してもデコード情報が生成されない場合には、エッジデバイス５から入力された複数の商品特定情報をＰＯＳ端末１に送信する。ＰＯＳ端末１は、受信した複数の候補商品の商品特定情報に基づいて、これらの候補商品を選択可能に表示する。
【0029】
ＰＯＳ端末１は店舗Ｔ内の精算エリアに１台または複数台（第１実施形態では３台）設置される。ＰＯＳ端末１は、顧客自身が商品登録操作および会計操作を行う商品販売データ処理装置である。ＰＯＳ端末１は、顧客の商品登録操作（例えば、商品に付されたバーコード等のシンボルおよび商品の外観を走査して撮像装置３に撮像させる操作）が行われると、撮像装置３から受信した商品特定情報に基づいて販売される商品に係る商品登録処理を実行する。またＰＯＳ端末１は、顧客の会計操作（商品登録操作を終了して会計処理を開始する操作）によって決済処理を実行する。
【0030】
商品登録処理とは、店舗Ｔで販売される商品を特定する商品コード（商品特定情報）を取得し、取得した商品コードに基づいて当該商品の商品名や価格等の商品情報（商品名、商品の価格等）を表示器１８（図４、図６を参照）に表示するとともに、当該商品情報を商品情報部１３１（図６を参照）に記憶する処理をいう。決済処理とは、商品登録処理に伴い商品情報部１３１に記憶された商品情報に基づいて、当該取引に係る締め処理、具体的には、合計金額の表示器１８への表示、現金、クレジットカード、電子マネー等のメディアによる決済処理、現金決済の場合に預り金に基づいて釣銭を計算して表示器１８に表示する処理、決済処理した商品の商品情報や会計情報（合計金額、預り金額、釣銭額、ポイント情報等）を印字したレシートをプリンタ２２（図４、図６を参照）から発行する処理等をいう。
【0031】
またＰＯＳ端末１は、決済処理した商品の商品情報と会計情報（総称して「売上データ」という）を、店舗サーバ７に送信する。ＰＯＳ端末１から店舗サーバ７への売上データの送信のタイミングは、実施形態では会計処理が終了したタイミングで行うが、例えば店舗Ｔの閉店時に一日分をまとめて送信する等、任意のタイミングで送信するようにしてもよい。
【0032】
店舗サーバ７は、店舗Ｔのバックヤードに設置される。店舗サーバ７は、ＰＯＳ端末１から受信した売上データを収集する。店舗サーバ７は、収集した売上データに基づいて当該店舗Ｔの商品の売上げを管理する。
【0033】
また店舗サーバ７は、エッジデバイス５から受信した関連付情報を自己が記憶している照合用辞書７４４（図９を参照）に追加的に記憶する。具体的には、店舗サーバ７は、エッジデバイス５から受信した関連付情報に含まれる商品画像について、物体検出モデル７４２（図９を参照）を用いて撮像画像を抽出し、特徴抽出モデル７４３（図９を参照）を用いて、当該撮像画像に基づいて特徴量を抽出する。そして店舗サーバ７は、当該商品画像に関連づけられているデコード情報含まれる商品特定情報に基づいて、自己が記憶している照合用辞書７４４に抽出した特徴量を追加して記憶する。このように、照合用辞書７４４において商品特定情報別に記憶されている特徴量を増加させることで、照合用辞書７４４を学習させ、照合用辞書７４４による商品と認識精度を高める。そして店舗サーバ７は、学習させた照合用辞書７４４の情報をエッジデバイス５に送信する。
【0034】
なお実施形態では、物体検出モデル７４２、特徴抽出モデル７４３、照合用辞書７４４を店舗サーバ７に備えるようにしたが、物体検出モデル７４２、特徴抽出モデル７４３、照合用辞書７４４は、店舗サーバ７以外のサーバ（例えば複数の店舗サーバ７を管理、総括する、本部に設置された本部サーバ、等）に備えるようにしてもよい。
【0035】
次に、ＰＯＳ端末１および撮像装置３について説明する。図４は、ＰＯＳ端末１および撮像装置３の外観を示す斜視図である。図４に示すように、ＰＯＳ端末１は、本体４２、カゴ載置台４を有する。本体４２は、ＰＯＳ端末１を制御する回路基板や電源を内蔵する。カゴ載置台４は、本体４２の一側部に取り付けられ、商品が入ったカゴを載置する台である。
【0036】
また、本体４２の上面は、平面状の商品載置部４１を有する。本体４２は、商品載置部４１の後部に、上方に延出する一対の支柱４５を備える。カゴ載置台４から遠い側の支柱４５には、レシートを発行するプリンタ２２が取り付けられている。またプリンタ２２の上部には、クレジットカードやポイントカード等のカードから情報を読み取るカードリーダ２１が取り付けられている。
【0037】
また、カゴ載置台４に近い側の支柱４５には、撮像装置３が取り付けられている。撮像装置３は、読取面が顧客に向けて設置されており、撮像装置３の内部に設けられている第１撮像部３７は、顧客がカゴから取り出した商品を走査する動作によって、当該商品の画像を撮像する。また、顧客は、商品に付されたシンボルを撮像装置３に向けて商品を走査する傾向にあるため、第１撮像部３７は、商品付されたシンボルを同時に撮像することが多い。以降、実施形態では、第１撮像部３７がシンボルを撮像することとする。
【0038】
また、撮像装置３の一部である第２撮像部３８は、撮像装置３の上方に取付けられている。第２撮像部３８は、読取面が撮像装置３より斜め下方に向けて設置されており、走査される商品を第１撮像部３７とは異なる角度から撮像する。すなわち第２撮像部３８は、商品の、第１撮像部３７が撮像する面とは異なる面を撮像する。
【0039】
また、一対の支柱４５の間の位置には、表示器１８が備えられている。表示器１８は、ＰＯＳ端末１の操作を行う顧客に向けて設置されている、例えば液晶で形成された表示器である。表示器１８は、撮像装置３やプリンタ２２より少し上方であって、カードリーダ２１や第２撮像部３８と同等の高さに位置している。
【0040】
表示器１８は、商品登録処理された商品の商品情報（商品名、商品の価格、等）や、決済処理した決済情報（合計金額、決済金額、釣り銭額、等）を表示する。表示器１８の表示面には、タッチパネルで構成された操作部１７が設けられている。
【0041】
また、一対の支柱４５の間で表示器１８の下方位置には、商品を仮置きする一時置台４４と、商品登録処理を行った商品を入れる買い物袋の取っ手を装着する一対の装着部４３を備える。買い物袋に入れられた商品は、商品載置部４１に載置される。
【0042】
また、カゴ載置台４に近い側の支柱４５には、上方に延出した略円柱状のポール６が取り付けられている。ポール６には、パトランプ６１が取り付けられている。
【0043】
パトランプ６１は、ＰＯＳ端末１で異常が発生した（例えばレシート用紙がなくなった）場合や、顧客がアテンダントを呼び出した場合に点灯や点滅する。
【0044】
なお、エッジデバイス５は、本体４２の内部に格納されている。
【0045】
このようなＰＯＳ端末１において、顧客は、カゴ載置台４に載置したカゴから商品を取り出して、第１撮像部３７と第２撮像部３８で商品に付されたシンボルを撮像装置３の前方を通過（走査）させて撮像させる商品登録操作を行う。そして顧客は、商品登録操作を行った商品を装着部４３に装着された買い物袋に入れる。ＰＯＳ端末１は、撮像装置３から受信した商品特定情報に基づいて、商品登録操作を行った商品について商品登録処理を実行する。すべての商品について商品登録操作を行った顧客は、次に会計ボタンを操作する会計操作を行う。ＰＯＳ端末１は、会計操作が行われた場合に、商品登録処理した商品について決済処理を実行する。
【0046】
次に、システム１０における処理の流れについて説明する。図５は、システム１０における処理の流れを示すタイミングチャートである。図５に示すように、システム１０はＰＯＳ端末１、撮像装置３、エッジデバイス５、店舗サーバ７を有する。
【0047】
ＰＯＳ端末１で顧客による商品登録操作が行われると、撮像装置３は、第１撮像部３７および第２撮像部３８を用いて顧客による商品登録操作を撮像する（Ｓ１）。次に撮像装置３は、物体検出モデル５４２を用いて、撮像した画像情報に基づいて商品画像を抽出する（Ｓ２）。Ｓ２において撮像装置３は、第１撮像部３７が撮像した画像および第２撮像部３８が撮像した画像の両方を用いて、商品画像を抽出する。そして撮像装置３は、抽出した商品画像をエッジデバイス５に出力する（Ｓ３）。
【0048】
当該商品画像を入力したエッジデバイス５は、一般物体認識を行う。すなわちエッジデバイス５は、物体検出モデル５４２を用いて、商品画像に含まれる商品の領域を特定した当該商品を示す物体画像を生成し、特徴抽出モデル５４３を用いて、物体画像に基づいて商品の特徴を示す特徴ベクトルを抽出し、照合用辞書５４４を用いて、撮像された商品に対する商品の類似度を算出して、当該商品と類似する（類似度が高い）商品を抽出する（Ｓ４）。Ｓ４において、エッジデバイス５は、算出された類似度が閾値以上の場合には一つの商品を特定する。一方、算出された類似度が閾値未満の場合には、エッジデバイス５は、類似度が高い順に複数個の候補商品を特定する。そしてエッジデバイス５は、特定した商品の商品特定情報を、撮像装置３に出力する（Ｓ５）。
【0049】
一方、Ｓ３において商品画像を出力した撮像装置３は、顧客の商品登録操作に伴う第１撮像部３７または第２撮像部３８によるシンボルの撮像を待つ。そしてシンボルが撮像された場合には当該シンボルをデコードして、商品特定情報を含むデコード情報を生成する（Ｓ６）。なお、シンボルが撮像されるタイミングによって、Ｓ５による商品特定情報の入力と、Ｓ６によるデコード情報の生成の順番が前後する。顧客がシンボルの向きを正しく第１撮像部３７に向けない場合、シンボルの撮像が遅くなり、デコード情報の生成が遅くなった場合には、エッジデバイス５からの商品特定情報の入力が先になる場合がある。逆に、シンボルの撮像が早く行われた場合には、デコード情報の生成がエッジデバイス５からの商品特定情報の入力より早くなる場合がある。
【0050】
撮像装置３は、エッジデバイス５からの商品特定情報の入力されたタイミング（Ｓ５）でデコード情報が生成されていない場合は、デコード情報の生成を待たずに当該商品特定情報をＰＯＳ端末１に送信する（Ｓ７）。逆に、エッジデバイス５からの商品特定情報の入力より以前にデコード情報の生成がされている場合には、撮像装置３は、エッジデバイス５からの商品特定情報が入力されたタイミングまたはエッジデバイス５からの商品特定情報の入力を待たずに、デコード情報に含まれる商品特定情報をＰＯＳ端末１に送信する（Ｓ７）。
【0051】
ＰＯＳ端末１は、受信した商品特定情報に基づいて商品登録処理を実行する（Ｓ８）。また、ＰＯＳ端末１は、顧客によって商品登録の終了の指示がされると、決済処理を実行する（Ｓ９）。
【0052】
また、撮像装置３は、Ｓ２で抽出した商品画像とＳ６で生成したデコード情報とを関連付けを行い、関連付情報を生成する（Ｓ１０）。Ｓ２で抽出した商品画像には、第１撮像部３７が撮像した画像および第２撮像部３８が撮像した画像が含まれるため、第１撮像部３７が撮像したシンボルが付された面の商品の商品画像（例えば図２におけるフレーム２～フレーム８の画像）と、第２撮像部３８が撮像したシンボルが付されていない面の商品の商品画像とを含む。撮像装置３は、デコード情報とこれらの商品画像とを関連付けて関連付情報を生成する。そして撮像装置３は、生成した関連付情報をエッジデバイス５に出力する（Ｓ１１）。なお、Ｓ７の処理とＳ１０およびＳ１１の処理とは、いずれが先に行われてもよい。
【0053】
関連付情報を入力したエッジデバイス５は、入力された商品画像の取捨選択を行う（Ｓ１２）。顧客は、習慣的にシンボルが付された面を第１撮像部３７に向けて商品登録操作を行う傾向があるため、シンボル付近の商品画像が集まり易い。可能な限り、商品を異なる角度から撮像した物体画像を収取することが、商品を正しく認識すること（辞書の精度を向上させること）に繋がるため、エッジデバイス５は、シンボル付近の商品画像が他の画像と比べて極端に過多にならないように商品画像の取捨選択を行う。そしてエッジデバイス５は、商品画像を取捨選択した関連付情報を店舗サーバ７に送信する（Ｓ１３）。
【0054】
関連付情報を受信した店舗サーバ７は、物体検出モデル７４２を用いて物体画像を抽出し、特徴抽出モデル７４３（図９を参照）を用いて、物体画像に含まれる商品の特徴量を算出して、当該特徴量を、照合用辞書７４４（図９を参照）に記憶されている、受信したデコード情報に含まれる商品特定情報と同じ商品特定情報に関連付けて追加的に記憶する（Ｓ１４）。Ｓ１４の処理により、照合用辞書７４４を日常的に簡単に学習させることができる。そのため、照合用辞書７４４の精度が向上する。
【0055】
なお、Ｓ１で撮像した商品が新商品である場合、デコード情報に含まれる商品特定情報が照合用辞書７４４にまだ記憶されていないことがある。この場合は、照合用辞書７４４に、当該新商品を特定する商品特定情報と特徴量とを関連させた関連情報を新たに照合用辞書７４４に作成する。このようにすることで、新商品について、商品特定情報と当該商品の特徴量との関連付けの作業を別途行わなくてもよい。このような処理は、パッケージ認識（コード認識と一般物体認識の両方を行うこと）を行うことにより容易に実行することが可能となる（商品を一般物体認識するだけではこの処理はできない）。
【0056】
次に店舗サーバ７は、学習させた照合用辞書７４４の情報をエッジデバイス５に送信する（Ｓ１５）。エッジデバイス５は、受信した照合用辞書７４４の情報を照合用辞書５４４として従前の照合用辞書５４４に上書きする（Ｓ１６）。このようにして照合用辞書５４４を日常的に簡単に学習させることができる。そのため、照合用辞書５４４の精度が向上する。
【0057】
次に、ＰＯＳ端末１のハードウェア構成について説明する。図６は、ＰＯＳ端末１のハードウェア構成を示すブロック図である。図６に示すように、ＰＯＳ端末１は、プロセッサの一例であるＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、メモリ部１４等を備えている。ＣＰＵ１１はＰＯＳ端末１の制御主体となる。ＲＯＭ１２は各種プログラムを記憶する。ＲＡＭ１３はプログラムや各種データを展開する。メモリ部１４は各種プログラムを記憶する。ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、メモリ部１４は、互いにバス１５を介して接続されている。ＣＰＵ１１とＲＯＭ１２とＲＡＭ１３が、制御部１００を構成する。すなわち、制御部１００は、ＣＰＵ１１がＲＯＭ１２やメモリ部１４に記憶されＲＡＭ１３に展開された制御プログラムに従って動作することによって、後述するＰＯＳ端末１の制御処理を実行する。
【0058】
ＲＡＭ１３は、商品情報部１３１を有する。商品情報部１３１は、商品登録処理された商品の商品情報（商品を特定する商品コード、商品名、価格、等）を記憶する。
【0059】
メモリ部１４は、電源を切っても記憶情報が保持されるＨＤＤ（Hard Disc Drive）やフラッシュメモリ等の不揮発性メモリで構成され、制御プログラムを記憶する制御プログラム部１４１、商品マスタ１４２を有する。商品マスタ１４２は、各商品の商品情報を、当該商品を特定する商品特定情報に対応付けて記憶する。
【0060】
また、制御部１００は、バス１５およびコントローラ１６を介して、操作部１７、表示器１８、カードリーダ２１、プリンタ２２と接続している。
【0061】
操作部１７は、締めキー１７１を有する。締めキー１７１は、ＰＯＳ端末１において商品登録処理から決済処理へ処理を進める際に操作するキーである。表示器１８は、例えば液晶表示器であり、ＰＯＳ端末１を操作する操作者である顧客に対して情報を表示する。表示器１８は、例えば商品登録処理された商品の商品情報（商品名、商品の価格、等）と、決済処理に係る会計情報を商品別に表示する。なお操作部１７は、表示器１８上に設けられたタッチパネルである。
【0062】
カードリーダ２１は、例えばクレジットカード、デビットカード、電子マネーカード等で決済処理を行う場合に、当該カードからカード情報を読み取る。またカードリーダ２１は、ポイントカードに対してポイントの情報を読み書きする。プリンタ２２は、例えばサーマルプリンタであり、決済処理した商品に係る商品情報や決済情報を含むレシート情報を印字したレシートを発行する。
【0063】
また、制御部１００は、バス１５を介して、通信部２３と接続している。通信部２３は、通信回線Ｌを介してエッジデバイス５および店舗サーバ７と通信可能に接続している。また通信部２３は、ケーブルＵを介して撮像装置３と通信可能に接続している。
【0064】
次に、撮像装置３のハードウェア構成について説明する。図７は、撮像装置３のハードウェア構成を示すブロック図である。図７に示すように、撮像装置３は、プロセッサの一例であるＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、メモリ部３４等を備えている。ＣＰＵ３１は撮像装置３の制御主体となる。ＲＯＭ３２は各種プログラムを記憶する。ＲＡＭ３３はプログラムや各種データを展開する。メモリ部３４は各種プログラムを記憶する。ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、メモリ部３４は、互いにバス３５を介して接続されている。ＣＰＵ３１とＲＯＭ３２とＲＡＭ３３が、制御部３００を構成する。すなわち、制御部３００は、ＣＰＵ３１がＲＯＭ３２やメモリ部３４に記憶されＲＡＭ３３に展開された制御プログラムに従って動作することによって、後述する撮像装置３の制御処理を実行する。
【0065】
ＲＡＭ３３は、画像記憶部３３１、商品画像部３３２、デコード情報部３３３を有する。画像記憶部３３１は、第１撮像部３７が撮像した画像と第２撮像部３８が撮像した画像を記憶する。商品画像部３３２は、画像記憶部３３１が記憶した画像から抽出した商品画像を記憶する。デコード情報部３３３は、第１撮像部３７が撮像した画像に含まれるシンボルをデコードしたデコード情報を記憶する。
【0066】
メモリ部３４は、電源を切っても記憶情報が保持されるＨＤＤやフラッシュメモリ等の不揮発性メモリで構成され、制御プログラム部３４１と物体検出モデル５４２を有する。制御プログラム部３４１は、撮像装置３を駆動するための制御プログラムを記憶する。
【0067】
また、制御部３００は、バス３５およびコントローラ３６を介して、第１撮像部３７、第２撮像部３８と接続している。
【0068】
また、制御部３００は、バス３５を介して、通信部３９と接続している。通信部３９は、通信回線Ｌを介してエッジデバイス５および店舗サーバ７と通信可能に接続される。また通信部３９は、ケーブルＵを介してＰＯＳ端末１と通信可能に接続している。
【0069】
次に、エッジデバイス５のハードウェア構成について説明する。図８は、エッジデバイス５のハードウェア構成を示すブロック図である。図８に示すように、エッジデバイス５は、プロセッサの一例であるＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、メモリ部５４等を備えている。ＣＰＵ５１はエッジデバイス５の制御主体となる。ＲＯＭ５２は各種プログラムを記憶する。ＲＡＭ５３はプログラムや各種データを展開する。メモリ部５４は各種プログラムを記憶する。ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、メモリ部５４は、互いにバス５５を介して接続されている。ＣＰＵ５１とＲＯＭ５２とＲＡＭ５３が、制御部５００を構成する。すなわち、制御部５００は、ＣＰＵ５１がＲＯＭ５２やメモリ部５４に記憶されＲＡＭ５３に展開された制御プログラムに従って動作することによって、後述するエッジデバイス５の制御処理を実行する。
【0070】
ＲＡＭ５３は、物体画像記憶部５３１、特徴量部５３２、商品特定情報部５３３、関連付情報部５３４を有する。物体画像記憶部５３１は、撮像装置３から受信された商品画像に基づいて抽出された物体画像を記憶する。特徴量部５３２は、物体画像記憶部５３１に記憶されている物体画像に基づいて特徴抽出モデル５４３が算出した、当該商品の特徴量を示す特徴ベクトルを記憶する。商品特定情報部５３３は、特徴抽出モデル５４３が算出した特徴ベクトルと照合用辞書５４４が記憶する商品の特徴量を照合して、当該特徴ベクトルに近い商品の類似度を算出し、類似度が高い商品の商品特定情報を記憶する。算出された類似度が閾値以上の場合、最も類似度が高い一つの商品の商品特定情報を記憶する。算出された最も高い類似度が閾値未満の場合、類似度が高い順に複数種類の候補商品の商品特定情報を記憶する。関連付情報部５３４は、撮像装置３から受信した関連付情報を記憶する。また関連付情報部５３４は、詳細は後述するが、エッジデバイス５が生成した関連付情報を記憶する。
【0071】
メモリ部５４は、電源を切っても記憶情報が保持されるＨＤＤやフラッシュメモリ等の不揮発性メモリで構成され、制御プログラム部５４１、物体検出モデル５４２、特徴抽出モデル５４３、照合用辞書５４４を有する。制御プログラム部５４１は、エッジデバイス５を駆動するための制御プログラムを記憶する。
【0072】
また、制御部５００は、バス５５およびコントローラ５６と接続する。また、制御部５００は、バス５５を介して、通信部３５７接続している。通信部５７は、通信回線Ｌを介してＰＯＳ端末１、撮像装置３、店舗サーバ７と通信可能に接続される。
【0073】
次に、店舗サーバ７のハードウェア構成について説明する。図９は、店舗サーバ７のハードウェア構成を示すブロック図である。図９に示すように、店舗サーバ７は、プロセッサの一例であるＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、メモリ部７４等を備えている。ＣＰＵ７１は店舗サーバ７の制御主体となる。ＲＯＭ７２は各種プログラムを記憶する。ＲＡＭ７３はプログラムや各種データを展開する。メモリ部７４は各種プログラムを記憶する。ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、メモリ部７４は、互いにバス７５を介して接続されている。ＣＰＵ７１とＲＯＭ７２とＲＡＭ７３が、制御部７００を構成する。すなわち、制御部７００は、ＣＰＵ７１がＲＯＭ７２やメモリ部７４に記憶されＲＡＭ７３に展開された制御プログラムに従って動作することによって、後述する店舗サーバ７の制御処理を実行する。
【0074】
ＲＡＭ７３は、売上情報部７３１と関連付情報部７３２を有する。売上情報部７３１は、ＰＯＳ端末１から受信した売上データを記憶し、店舗Ｔの売上を管理する。関連付情報部７３２は、エッジデバイス５から受信した関連付情報を記憶する。
【0075】
メモリ部７４は、電源を切っても記憶情報が保持されるＨＤＤやフラッシュメモリ等の不揮発性メモリで構成され、制御プログラム部７４１、物体検出モデル７４２、特徴抽出モデル７４３、照合用辞書７４４を有する。制御プログラム部７４１は、店舗サーバ７を駆動するための制御プログラムを記憶する。物体検出モデル７４２は物体検出モデル５４２と同内容の辞書であり、特徴抽出モデル７４３は特徴抽出モデル５４３と同内容の辞書であり、照合用辞書７４４は照合用辞書５４４と同内容の辞書である。
【0076】
また、制御部７００は、バス５５およびコントローラ５６を介して、表示部７７と操作部７８と接続する。表示部７７は、例えば液晶表示器であり、店舗サーバ７を操作する操作者に対して情報を表示する。操作部７８は、例えばキーボードであり、店舗サーバ７の操作者が操作する。
【0077】
また、制御部７００は、バス７５を介して、通信部７９と接続している。通信部７９は、通信回線Ｌを介してＰＯＳ端末１、撮像装置３、エッジデバイス５と通信可能に接続される。
【0078】
ここからは、ＰＯＳ端末１の制御について説明する。図１０は、ＰＯＳ端末１の制御処理の流れを示すフローチャートである。図１０に示すように、ＰＯＳ端末１の制御部１００は、顧客によって取引開始の操作がされたかを判断する（Ｓ２１）。例えば顧客によって取引開始のボタン（例えばスタートボタン）が操作された場合、制御部１００は取引開始が操作されたと判断する。取引開始が操作されるまで待機し（Ｓ２１のＮｏ）、顧客によって取引開始の操作がされたと判断した場合（Ｓ２１のＹｅｓ）、制御部１００は、第１撮像部３７と第２撮像部３８による撮像を開始する信号を撮像装置３に送信する（Ｓ２２）。
【0079】
次に制御部１００は、撮像装置３から、商品を特定する商品特定情報を受信したかを判断する（Ｓ２３）。商品特定情報を受信したと判断した場合には（Ｓ２３のＹｅｓ）、制御部１００は、受信した商品特定情報が一つであるかを判断する（Ｓ２４）。受信した商品特定情報が一つであると判断した場合には（Ｓ２４のＹｅｓ）、制御部１００は、当該商品特定情報を用いて、当該商品特定情報で特定される商品について、商品マスタ１４２から当該商品の情報を読出して商品登録処理を実行する（Ｓ２５）。
【0080】
また、受信した商品特定情報が複数であると判断した場合には（Ｓ２４のＮｏ）、制御部１００は、受信した複数の商品特定情報で特定される複数の商品の情報（例えば商品名と商品の画像）を商品マスタ１４２から読み出して、候補商品として表示器１８に表示する（Ｓ２６）。顧客は、操作部１７を操作して、表示された候補商品から一つの商品を選択する。制御部１００は、いずれか一つの商品が選択されたかを判断する（Ｓ２７）。制御部１００は、商品が選択されるまで待機し（Ｓ２７のＮｏ）、商品が選択されたと判断した場合には（Ｓ２７のＹｅｓ）、制御部１００は、選択された商品について商品マスタ１４２商品の情報を読出して商品登録処理を実行する（Ｓ２５）。
【0081】
商品特定情報の受信ではないと判断した場合（Ｓ２３のＮｏ）およびＳ２５において商品登録処理が実行された場合には、次に制御部１００は締めキー１７１が操作されたかを判断する（Ｓ２８）。締めキー１７１は操作されていないと判断した場合には（Ｓ２８のＮｏ）、制御部１００はＳ２３に戻り、締めキー１７１が操作されたと判断した場合には（Ｓ２８のＹｅｓ）、制御部１００は、商品情報部１３１に記憶されている商品情報に基づいて決済処理を実行する（Ｓ２９）。次に制御部１００は、決済処理した商品に係る売上データを店舗サーバ７に送信する（Ｓ３０）。そして制御部１００は、撮像終了信号を撮像装置３に送信する（Ｓ３１）。そして制御部１００は、処理を終了する。
【0082】
ここからは、撮像装置３の機能構成について説明する。図１１は、撮像装置３の機能構成を示す機能ブロック図である。撮像装置３の制御部３００は、ＲＯＭ３２やメモリ部３４の制御プログラム部３４１に記憶された制御プログラムに従うことで、抽出手段３０１、デコード手段３０２、関連付手段３０３、出力手段３０４、送信手段３０５として機能する。
【0083】
抽出手段３０１は、撮像部（第１撮像部３７および第２撮像部３８）が撮像した画像から商品が写っている商品画像を抽出する。具体的には、抽出手段３０１は、画像記憶部３３１に記憶されている第１撮像部３７および第２撮像部３８が撮像した画像から、商品が写っている商品画像を抽出する。
【0084】
デコード手段３０２は、撮像部が撮像した画像に含まれる商品に付されたシンボルをデコードしたデコード情報を生成する。具体的には、デコード手段３０２は、商品画像部３３２に記憶されている商品画像に含まれているシンボルの画像をデコードして、デコード情報を生成する。なお、デコード手段３０２は、画像記憶部３３１に記憶されている画像に含まれているシンボルの画像をデコードして、デコード情報を生成してもよい。
【0085】
関連付手段３０３は、撮像部が撮像した画像とデコード情報を関連付ける。実施形態では、関連付手段３０３は、抽出手段３０１が抽出した商品画像部３３２に記憶されている商品画像とデコード手段３０２が生成したデコード情報部３３３に記憶されているデコード情報とを関連付ける。すなわち関連付手段３０３は、抽出手段３０１が抽出した商品画像部３３２に記憶されている商品画像とデコード手段３０２が生成したデコード情報部３３３に記憶されているデコード情報とを関連付けた関連付情報を生成する。
【0086】
関連付手段３０３は、デコード情報と商品画像部３３２に記憶されているすべての商品画像とを関連づけてもよいが、関連付手段３０３は、例えば、デコード手段３０２がデコードしたシンボルを含む画像の前後の所定フレーム数の商品画像を関連付ける様にしてもよい。また、関連付手段３０３は、例えば、デコード手段３０２がデコードしたシンボルを含む画像より前の所定フレーム数の商品画像を関連付ける様にしてもよい。顧客は、商品に付されたシンボルを撮像部（特に第１撮像部３７）に読み取らせようとして、商品の角度を色々変える操作を行う可能性がある。そのため、シンボルを読み取った画像より前の所定フレーム数の商品画像を関連付けることで、いろいろな角度から商品が撮像された商品画像と関連付けられる可能性がある。また、関連付手段３０３は、例えば、デコード手段３０２がデコードしたシンボルを含む画像より後の所定フレーム数の商品画像を関連付ける様にしてもよい。
【0087】
出力手段３０４は、関連付手段３０３によって関連付けされた関連付情報をエッジデバイス５に出力する。なお、出力手段３０４は、関連付けされた関連付情報を店舗サーバ７に出力するようにしてもよい。
【0088】
送信手段３０５は、デコード情報に含まれる商品特定情報、または第１撮像部３７および第２撮像部３８が撮像した画像に対して行われた一般物体認識で特定された商品特定情報、のいずれかをＰＯＳ端末１に送信する。具体的には、送信手段３０５は、デコード手段３０２が生成したデコード情報に含まれる商品特定情報、または抽出手段３０１によって抽出された商品画像に対してエッジデバイス５で行われた一般物体認識で特定され入力された商品特定情報、のいずれかをＰＯＳ端末１に送信する。
【0089】
次に、撮像装置３の制御について説明する。図１２は、撮像装置３の制御処理の流れを示すフローチャートである。図１２に示すように、撮像装置３の制御部３００は、ＰＯＳ端末１から撮像開始信号を受信したかを判断する（Ｓ４１）。撮像開始信号を受信するまで待機し（Ｓ４１のＮｏ）、ＰＯＳ端末１から撮像開始信号を受信したと判断した場合には（Ｓ４１のＹｅｓ）、制御部３００は、第１撮像部３７および第２撮像部３８を起動して撮像を開始する（Ｓ４２）。
【0090】
次に制御部３００は、ＰＯＳ端末１から撮像終了信号を受信したかを判断する（Ｓ４３）。撮像終了信号を受信していないと判断した場合には（Ｓ４３のＮｏ）、制御部３００は、第１撮像部３７および第２撮像部３８が撮像した画像を画像記憶部３３１に記憶する（Ｓ４４）。そして抽出手段３０１は、画像記憶部３３１に記憶された画像から商品が写っている商品画像を抽出する（Ｓ４５）。そして制御部３００は、抽出した商品画像を商品画像部３３２に記憶する。そして制御部３００は、商品画像部３３２に記憶した商品画像をエッジデバイス５に送信する（Ｓ４６）。
【0091】
次に制御部３００は、商品画像部３３２に記憶した商品画像からシンボルを検出したかを判断する（Ｓ５１）。シンボルを検出したと判断した場合には（Ｓ５１のＹｅｓ）、デコード手段３０２は、検出したシンボルをデコードしてデコード情報を生成する（Ｓ５２）。そして制御部３００は、生成したデコード情報をデコード情報部３３３に記憶する（Ｓ５２）。
【0092】
次に関連付手段３０３は、デコード情報部３３３に記憶したデコード情報と商品画像部３３２に記憶されている商品画像とを関連付けた関連付情報を生成する（Ｓ５３）。そして出力手段３０４は、生成した関連付情報をエッジデバイス５に出力する（Ｓ５４）。そして制御部３００は、Ｓ４３に戻る。
【0093】
また、Ｓ５１において、シンボルの検出ではないと判断した場合には（Ｓ５１のＮｏ）、制御部３００は、エッジデバイス５から商品特定情報を入力したかを判断する（Ｓ６１）。エッジデバイス５から商品特定情報を入力していないと判断した場合には（Ｓ６１のＮｏ）、制御部３００はＳ５１に戻り、エッジデバイス５から商品特定情報を入力したと判断した場合には（Ｓ６１のＹｅｓ）、次に制御部３００は、入力した商品特定情報は一つであるかを判断する（Ｓ６２）。一つの商品特定情報であると判断した場合には（Ｓ６２のＹｅｓ）、Ｓ５２においてすでにシンボルをデコードしているかを判断する（Ｓ６３）。すでにデコードしていると判断した場合には（Ｓ６３のＹｅｓ）、送信手段３０５は、デコードしたデコード情報に含まれている商品特定情報をＰＯＳ端末１に送信する（Ｓ６４）。そして制御部３００はＳ４３に戻る。またデコードしていないと判断した場合には（Ｓ６３のＮｏ）、送信手段３０５は、Ｓ６２で受信した商品特定情報をＰＯＳ端末１に送信する（Ｓ６５）。そして制御部３００はＳ４３に戻る。
【0094】
また、Ｓ６２において、入力した商品特定情報は複数であると判断した場合には（Ｓ６２のＮｏ）、制御部３００は、Ｓ５２においてすでにシンボルをデコードしているかを判断する（Ｓ６６）。すでにデコードしていると判断した場合には（Ｓ６６のＹｅｓ）、送信手段３０５は、デコードしたデコード情報に含まれている商品特定情報をＰＯＳ端末１に送信する（Ｓ６７）。そして制御部３００はＳ４３に戻る。またデコードしていないと判断した場合には（Ｓ６６のＮｏ）、送信手段３０５は、Ｓ６２で受信した複数種類の商品特定情報（候補商品に係る複数個の商品特定情報）をＰＯＳ端末１に送信する（Ｓ６８）。そして制御部３００はＳ４３に戻る。
【0095】
なお、図１２の例では、Ｓ６３においてＹｅｓの場合、この時点でデコード情報に含まれる商品特定情報をＰＯＳ端末１に送信するようにしたが、Ｓ５２～Ｓ５４の処理のいずれかの後にデコード情報に含まれる商品特定情報をＰＯＳ端末１に送信するようにしてもよい。この場合、Ｓ６３でＹｅｓの場合は、制御部５００はＳ４３に戻る。Ｓ６６においてＹｅｓの場合も同様である。
【0096】
また、Ｓ４３において、ＰＯＳ端末１から撮像終了信号を受信したと判断した場合には（Ｓ４３のＹｅｓ）、制御部３００は、第１撮像部３７および第２撮像部３８による撮像を終了する（Ｓ６９）。そして制御部３００は処理を終了する。
【0097】
次に、エッジデバイス５の制御について説明する。図１３は、エッジデバイス５の制御処理の流れを示すフローチャートである。図１３に示すように、エッジデバイス５の制御部５００は、撮像装置３から商品画像を受信したかを判断する（Ｓ７１）。撮像装置３から商品画像を受信したと判断した場合には（Ｓ７１のＹｅｓ）、制御部５００は、物体検出モデル５４２を用いて、受信した商品画像について商品の領域を特定する（Ｓ７２）。次に制御部５００は、特定された領域で囲まれる物体画像を物体画像記憶部５３１に記憶する（Ｓ７３）。
【0098】
次に制御部５００は、特徴抽出モデル５４３を用いて、物体画像記憶部５３１に記憶された物体画像の特徴ベクトルを算出する（Ｓ７４）。そして制御部５００は、算出した特徴ベクトルを、特徴量部５３２に記憶する（Ｓ７５）。次に制御部５００は、照合用辞書５４４を用いて、特徴量部５３２に記憶された特徴ベクトルと照合用辞書５４４に記憶されている商品特定情報別に記憶されている特徴量とを照合して、類似度が高い商品の商品特定情報を抽出する（Ｓ７６）。Ｓ７６で抽出される商品特定情報は、例えば類似度が９５％以上の商品がある場合は最も高い一つの商品特定情報であり、すべてが類似度９５％未満の商品の場合は、その中から類似度が高い順に複数個（例えば５個）の候補商品の商品特定情報である。そして制御部５００は、抽出した商品特定情報を商品特定情報部５３３に記憶する。そして制御部５００は、商品特定情報部５３３に記憶した商品特定情報を撮像装置３に送信する（Ｓ７７）。そして制御部５００はＳ７１に戻る。
【0099】
なお、制御部５００は、商品特定情報部５３３に記憶した商品特定情報とＳ７３で物体画像記憶部５３１に記憶した物体画像とを関連付けた関連付情報を生成して、店舗サーバ７に送信するようにしてもよい。このようにすることで、店舗サーバ７においてより多くの画像を収集して、照合用辞書７４４を学習させることができる。
【0100】
また、Ｓ７１において、撮像装置３からの商品画像の受信ではないと判断した場合には（Ｓ７１のＮｏ）、撮像装置３から関連付情報を受信したかを判断する（Ｓ８１）。撮像装置３から関連付情報を受信したと判断した場合には（Ｓ８１のＹｅｓ）、制御部５００は、受信した関連付情報を関連付情報部５３４に記憶する（Ｓ８２）。そして制御部５００は、関連付情報部５３４に記憶した関連付情報を店舗サーバ７に送信する（Ｓ８３）。そして制御部５００はＳ７１に戻る。
【0101】
また、撮像装置３からの関連付情報の受信ではないと判断した場合には（Ｓ８１のＮｏ）、制御部５００は、店舗サーバ７から照合用辞書７４４の情報を受信したかを判断する（Ｓ８４）。Ｓ８４で受信した照合用辞書７４４の情報は、店舗サーバ７において関連付情報を追加的に記憶して学習させた照合用辞書である。店舗サーバ７から照合用辞書７４４の情報を受信したと判断した場合には（Ｓ８４のＹｅｓ）、制御部５００は、受信した照合用辞書７４４の情報を照合用辞書５４４に上書きして記憶する（Ｓ８８）。このようにして、照合用辞書５４４を学習させ、類似度を算出する際の照合用辞書５４４の精度を向上させる。そして制御部５００はＳ７１に戻る。
【0102】
次に、店舗サーバ７の制御について説明する。図１４は、店舗サーバ７の制御処理の流れを示すフローチャートである。図１４に示すように、店舗サーバ７の制御部７００は、ＰＯＳ端末１から売上データを受信したかを判断する（Ｓ９１）。ＰＯＳ端末１から売上データを受信したと判断した場合には（Ｓ９１のＹｅｓ）、制御部７００は、売上情報部７３１に受信した売上データを加算して記憶し（Ｓ９２）、店舗Ｔの売上を管理する。そして制御部７００はＳ９１に戻る。
【0103】
また、ＰＯＳ端末１からの売上データの受信ではないと判断した場合には（Ｓ９１のＮｏ）、制御部７００は、エッジデバイス５から関連付情報を受信したかを判断する（Ｓ９３）。関連付情報を受信していないと判断した場合には（Ｓ９３のＮｏ）、制御部７００はＳ９１に戻り、エッジデバイス５から関連付情報を受信したと判断した場合には（Ｓ９３のＹｅｓ）、制御部７００は、関連付情報部７３２に受信した関連付情報を関連付情報部７３２に記憶する（Ｓ９４）。
【0104】
次に制御部７００は、関連付情報部７３２に記憶した関連付情報に基づいて、照合用辞書７４４を更新する（Ｓ９５）。すなわち制御部７００は、関連付情報として商品特定情報に関連付けられている商品画像（物体画像の場合もある）に対して一般物体認識を行う。具体的には、制御部７００は、物体検出モデル７４２を用いて、当該商品画像の領域を特定し、特徴抽出モデル７４３を用いて、領域が特定された商品の物体画像の特徴を示す特徴量を抽出する。そして制御部７００は、照合用辞書７４４に記憶された、当該商品画像に関連付けられた商品特定情報と同一の商品特定情報に対応付けて、抽出した特徴量を追加的に記憶する。このようにして、照合用辞書７４４に商品特定情報に関連付けられた特徴量を追加して、照合用辞書７４４に学習させることで、照合用辞書７４４の精度が向上する。
【0105】
そして制御部７００は、学習した照合用辞書７４４の情報をエッジデバイス５に送信する（Ｓ９６）。そして制御部７００はＳ９１に戻る。店舗サーバ７から照合用辞書７４４の情報を受信したエッジデバイス５は、受信した照合用辞書７４４の情報を照合用辞書５４４に上書きすることで、照合用辞書５４４を更新する。すなわち、照合用辞書５４４は照合用辞書７４４と同様に学習される。
【0106】
以上説明したように、実施形態の撮像装置３は、第１撮像部３７および第２撮像部３８と、第１撮像部３７が撮像した画像に含まれる商品に付されたシンボルをデコードしたデコード情報を生成するデコード手段３０２と、第１撮像部３７および第２撮像部３８が撮像した画像とデコード情報を関連付ける関連付手段３０３と、関連付けされた関連付情報を出力する出力手段３０４と、デコード情報に含まれる商品特定情報または第１撮像部３７および第２撮像部３８が撮像した画像に対して行われた一般物体認識で特定された商品特定情報のいずれかをＰＯＳ端末１に送信する送信手段３０５と、を備える。
【0107】
このような実施形態の撮像装置３は、顧客による商品登録操作によって撮像された画像とシンボルに基づいてシンボルのデコード情報と画像とを関連付けて出力するため、照合用辞書５４４を学習させるために別途デコード情報と画像との関連付作業を行う必要がなく、簡単に照合用辞書５４４を学習させることが可能である。
【0108】
以上、本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0109】
例えば、実施形態では、エッジデバイス５を単独の装置として説明した。しかしながらこれに限らず、エッジデバイス５は、例えば撮像装置３またはＰＯＳ端末１または店舗サーバ７に組み込まれていてもよい。すなわち、撮像装置３またはＰＯＳ端末１または店舗サーバ７がエッジデバイス５の機能を有していてもよい。
【0110】
また、実施形態では、ＰＯＳ端末１を顧客自身が操作する装置であるとして説明した。しかしながらこれに限らず、ＰＯＳ端末１は、店舗Ｔの店員が操作する装置であってもよい。この場合は、撮像装置３は、店員による商品登録操作に基づいて商品画像とデコード情報とを関連付する。
【0111】
また、実施形態では、第１撮像３７部および前記第２撮像部３８が撮像した画像から抽出手段３０１が抽出した商品画像をデコード情報と関連付けした。しかしながらこれに限らず、例えば、第１撮像３７部および前記第２撮像部３８が撮像した画像そのものをデコード情報と関連付けしてもよい。
【0112】
また、実施形態では、第１撮像３７部および第２撮像部３８の２つの撮像部を設けた。しかしながらこれに限らず、第１撮像３７部または第２撮像部３８のいずれか一つを設け、撮像部としてもよい。また、撮像部は、１つまたは２個以上の個別の撮像部を有するものであればよい。異なる位置に多くの撮像部を配置するほど、多角的に商品を撮像することが可能となる。
【0113】
なお、実施形態で撮像装置３の構成として説明した関連付手段３０３は、エッジデバイス５または店舗サーバ７（エッジデバイス５または店舗サーバ７を総称して「情報処理装置」という）が備えている別の実施形態もある。別の実施形態の場合、撮像装置３は、撮像部が撮像した画像とデコード手段がデコードしたデコード情報を情報処理装置に送信する。情報処理装置は、撮像装置３から画像とデコード情報を受信して、当該画像とデコード情報を関連付ける関連付手段を実行する。そして情報処理装置がエッジデバイス５の場合、関連付した関連付情報を店舗サーバ７に送信し、店舗サーバ７はエッジデバイス５から受信した関連付情報に基づいて照合用辞書７４４を学習させる。そして店舗サーバ７は、学習させた照合用辞書７４４をエッジデバイス５に送信する。また情報処理装置が店舗サーバ７の場合、関連付した関連付情報に基づいて照合用辞書７４４を学習させる。そして学習させた照合用辞書７４４をエッジデバイス５に送信する。
【0114】
なお、実施形態の撮像装置３で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（FD）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0115】
また、実施形態の撮像装置３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施形態の撮像装置３で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【0116】
また、実施形態の撮像装置３で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【符号の説明】
【0117】
１ ＰＯＳ端末
３ 撮像装置
５ エッジデバイス
７ 店舗サーバ
１０ システム
１１ ＣＰＵ
３１ ＣＰＵ
３７ 第１撮像部
３８ 第２撮像部
５１ ＣＰＵ
７１ ＣＰＵ
１００ 制御部
１３１ 商品情報部
１４２ 商品マスタ
３００ 制御部
３０１ 抽出手段
３０２ デコード手段
３０３ 関連付手段
３０４ 出力手段
３０５ 送信手段
３３１ 画像記憶部
３３２ 商品画像部
３３３ デコード情報部
５００ 制御部
５３１ 物体画像記憶部
５３２ 特徴量部
５３３ 商品特定情報部
５３４ 関連付情報部
５４２ 物体検出モデル
５４３ 特徴抽出モデル
５４４ 照合用辞書
７００ 制御部
７３１ 売上情報部
７３２ 関連付情報部
７４２ 物体検出モデル
７４３ 特徴抽出モデル
７４４ 照合用辞書
３ 撮像装置
５ エッジデバイス
７ 店舗サーバ
１０ システム
１１ ＣＰＵ
３１ ＣＰＵ
３７ 第１撮像部
３８ 第２撮像部
５１ ＣＰＵ
７１ ＣＰＵ
１００ 制御部
１３１ 商品情報部
１４２ 商品マスタ
３００ 制御部
３０１ 抽出手段
３０２ デコード手段
３０３ 関連付手段
３０４ 出力手段
３０５ 送信手段
３３１ 画像記憶部
３３２ 商品画像部
３３３ デコード情報部
５００ 制御部
５３１ 物体画像記憶部
５３２ 特徴量部
５３３ 商品特定情報部
５３４ 関連付情報部
５４２ 物体検出モデル
５４３ 特徴抽出モデル
５４４ 照合用辞書
７００ 制御部
７３１ 売上情報部
７３２ 関連付情報部
７４２ 物体検出モデル
７４３ 特徴抽出モデル
７４４ 照合用辞書
【先行技術文献】
【特許文献】
【0118】
【特許文献1】特開２０１４－２１９１５号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】