特許 7421385 携帯端末、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-16

(45)【発行日】2024-01-24

(54)【発明の名称】携帯端末、及びプログラム

(51)【国際特許分類】

   G07G 1/00 20060101AFI20240117BHJP

   G07G 1/01 20060101ALI20240117BHJP

   G06Q 30/06 20230101ALI20240117BHJP

   G06T 7/00 20170101ALI20240117BHJP

【ＦＩ】

G07G1/00 311D

G07G1/01 301D

G06Q30/06

G06T7/00 300F

【請求項の数】 4

(21)【出願番号】P 2020049096

(22)【出願日】2020-03-19

(65)【公開番号】P2021149545

(43)【公開日】2021-09-27

【審査請求日】2023-02-10

(73)【特許権者】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】高須 拓也

【審査官】中村 泰二郎

(56)【参考文献】

【文献】特開２０１６－１９２０９１（ＪＰ，Ａ）

【文献】特開２０１８－１４７２５２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０７Ｇ １／００－ ５／００

Ｇ０６Ｑ ３０／０６

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

複数種類の商品を識別するための商品情報の入力を受け付ける入力手段と、
前記入力手段が受け付けた前記商品情報により特定される複数種類の商品の特徴量である第１特徴量を取得する取得手段と、
商品を撮像する撮像手段と、
前記撮像手段が撮像した商品の画像から商品の特徴量である第２特徴量を抽出する抽出手段と、
複数種類の商品の前記第１特徴量と、前記第２特徴量とのそれぞれの類似度を算出する算出手段と、
前記算出手段が算出したそれぞれの前記類似度に基づいて、前記撮像手段が撮像した商品を特定する特定手段と、
を備える携帯端末。

【請求項2】

前記第２特徴量の情報量を削減する削減手段を更に備え、
前記算出手段は、前記第１特徴量と、前記削減手段が情報量を削減した前記第２特徴量との類似度を算出する、
請求項１に記載の携帯端末。

【請求項3】

前記類似度に基づいて、商品を特定するための操作をやり直すことを報知する報知手段を更に備える、
請求項１または２に記載の携帯端末。

【請求項4】

携帯端末のコンピュータを、
複数種類の商品を識別するための商品情報の入力を受け付ける入力手段と、
前記入力手段が受け付けた前記商品情報により特定される複数種類の商品の特徴量である第１特徴量を取得する取得手段と、
商品を撮像する撮像手段と、
前記撮像手段が撮像した商品の画像から商品の特徴量である第２特徴量を抽出する抽出手段と、
複数種類の商品の前記第１特徴量と、前記第２特徴量とのそれぞれの類似度を算出する算出手段と、
前記算出手段が算出したそれぞれの前記類似度に基づいて、前記撮像手段が撮像した商品を特定する特定手段と、
して機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、携帯端末、及びプログラムに関する。

【背景技術】

【0002】

従来、カメラが撮像した画像に基づいて、商品を認識する商品認識技術が知られている。商品認識技術は、照合用の特徴量と、画像から抽出した特徴量との類似度に基づいて、商品を認識している。また、スーパーマーケット等の小売店において、スマートフォン等の携帯端末にバーコード等を読み取らせることにより、顧客自身が販売対象の商品を登録する技術が採用される場合がある。

【0003】

ここで、商品認識技術を適用することで、バーコード等が付されていなくても顧客は、携帯端末に商品を撮像させることで販売対象の商品を認識することが可能となる。しかしながら、商品認識技術は高機能な処理ユニットを用いることで実現されている。そのため、商品認識技術を適用しようとすると、携帯端末は、膨大な処理を実行しなければならない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、商品認識処理の負担を軽減することができる携帯端末、及びプログラムを提供することである。

【課題を解決するための手段】

【0005】

実施形態の携帯端末は、入力手段と、取得手段と、撮像手段と、抽出手段と、算出手段と、特定手段とを備える。前記入力手段は、複数種類の商品を識別するための商品情報の入力を受け付ける。前記取得手段は、前記入力手段が受け付けた前記商品情報により特定される複数種類の商品の特徴量である第１特徴量を取得する。前記撮像手段は、商品を撮像する。前記抽出手段は、前記撮像手段が撮像した商品の画像から商品の特徴量である第２特徴量を抽出する。前記算出手段は、複数種類の商品の前記第１特徴量と、前記第２特徴量とのそれぞれの類似度を算出する。前記特定手段は、前記算出手段が算出したそれぞれの前記類似度に基づいて、前記撮像手段が撮像した商品を特定する。

【図面の簡単な説明】

【0006】

【図1】図１は、第１の実施形態にかかる商品認識システムの一例を示す説明図である。

【図2】図２は、携帯端末のハードウェアの構成の一例を示すブロック図である。

【図3】図３は、管理サーバのハードウェアの構成の一例を示すブロック図である。

【図4】図４は、商品マスタのデータ構成の一例を示す説明図である。

【図5】図５は、商品認識システムの各種装置が有する特徴的な機能構成を示すブロック図である。

【図6】図６は、第１の実施形態の携帯端末が実行する商品認識処理の一例を示すフローチャートである。

【図7】図７は、第１の実施形態の変形例１にかかる商品認識システムの一例を示す説明図である。

【図8】図８は、第２の実施形態にかかる商品認識システムの一例を示す説明図である。

【発明を実施するための形態】

【0007】

以下、添付図面を参照して、携帯端末、商品認識システム、及びプログラムの実施形態を詳細に説明する。なお、以下に説明する実施形態は、携帯端末、商品認識システム、及びプログラムの一実施形態であって、その構成や仕様等を限定するものではない。

【0008】

（第１の実施形態）
第１の実施形態について説明する。図１は、第１の実施形態にかかる商品認識システム１の一例を示す説明図である。

【0009】

スーパーマーケット等の小売店は、商品棚１０に商品を陳列している。また、商品棚１０には、商品ごとに、商品の価格等を示す棚札１１が設置されている。棚札１１は、商品に関する各種情報が示されたラベルである。棚札１１は、商品名称、価格、及びコードシンボル１２を有している。商品名称は、棚札１１が対象にしている商品の名称である。価格は、棚札１１が対象にしている商品の販売価格である。コードシンボル１２は、棚札１１が対象にしている商品を識別するための商品情報を示す識別子である。なお、コードシンボル１２は、２次元コードであってもよいし、バーコードであってもよいし、他の形態であってもよい。

【0010】

商品認識システム１は、複数の携帯端末２０と、管理サーバ３０とを備えている。そして、携帯端末２０と、管理サーバ３０とは、ネットワークを介して通信可能に接続されている。

【0011】

管理サーバ３０は、商品認識システム１を管理するサーバ装置である。管理サーバ３０は、商品を識別するための照合用の特徴量を記憶している。管理サーバ３０は、携帯端末２０から商品の特徴量を要求された場合に、指定された商品の特徴量を送信する。なお、管理サーバ３０は、一台のサーバ装置に限らず、複数台のサーバ装置により構成されていてもよい。

【0012】

携帯端末２０は、各顧客が所持する携帯可能な端末である。例えば、携帯端末２０は、スマートフォンや、タブレット端末等の端末である。携帯端末２０は、棚札１１が有するコードシンボル１２を撮像する。携帯端末２０は、撮像した画像に含まれるコードシンボル１２から商品情報を抽出した場合に、商品情報により特定される商品の照合用の特徴量を管理サーバ３０に要求する。また、携帯端末２０は、商品を撮像する。携帯端末２０は、撮像した画像から商品の特徴量を抽出する。そして、携帯端末２０は、照合用の特徴量と、商品の画像から抽出した特徴量との類似度に基づいて、商品を特定する。このようにして、携帯端末２０は、商品を識別する。さらに、携帯端末２０は、特定した商品を販売対象の商品として登録する。

【0013】

次に、商品認識システム１が備える各種装置のハードウェア構成について説明する。

【0014】

図２は、携帯端末２０のハードウェアの構成の一例を示すブロック図である。携帯端末２０は、制御部２１０と、記憶部２２０と、通信部２３０と、表示部２４０と、操作部２５０と、撮像部２６０とを備える。これら各部は、データバスやアドレスバス等のシステムバス２７０を介して相互に接続している。

【0015】

制御部２１０は、携帯端末２０の全体の動作を制御し、携帯端末２０が有する各種の機能を実現するコンピュータである。制御部２１０は、ＣＰＵ（Central Processing Unit）２１１と、ＲＯＭ（Read Only Memory）２１２と、ＲＡＭ（Random Access Memory）２１３とを備える。ＣＰＵ２１１は、携帯端末２０の動作を統括的に制御する。ＲＯＭ２１２は、各種プログラムやデータを記憶する記憶媒体である。ＲＡＭ２１３は、各種プログラムや各種データを一時的に記憶する記憶媒体である。そして、ＣＰＵ２１１は、ＲＡＭ２１３をワークエリア（作業領域）としてＲＯＭ２１２又は記憶部２２０等に格納されたプログラムを実行する。

【0016】

記憶部２２０は、フラッシュメモリなどの記憶装置である。記憶部２２０は、制御プログラム２２１を記憶する。制御プログラム２２１は、オペレーティングシステムや、携帯端末２０が備えている機能を発揮させるためのプログラムである。制御プログラム２２１には、本実施形態にかかる特徴的な機能を発揮させるプログラムが含まれる。

【0017】

通信部２３０は、ネットワークを介して、他の装置と通信するためのインタフェースである。例えば、通信部２３０は、管理サーバ３０と通信するためのインタフェースである。

【0018】

表示部２４０は、例えば液晶ディスプレイ等の表示装置である。操作部２５０は、表示部２４０の画面上のタッチ箇所を検出することで各種操作を受け付けるタッチパッド等の入力装置である。なお、操作部２５０は、ハードウェアボタン等であってもよい。

【0019】

撮像部２６０は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等の撮像素子を備えたカメラである。撮像部２６０は、棚札１１のコードシンボル１２を撮像する。これにより、携帯端末２０は、商品情報を読み取る。また、撮像部２６０は、商品を撮像する。これにより、携帯端末２０は、商品の特徴量を抽出する。

【0020】

図３は、管理サーバ３０のハードウェアの構成の一例を示すブロック図である。管理サーバ３０は、制御部３１０と、記憶部３２０と、通信部３３０と、表示部３４０と、操作部３５０とを備える。これら各部は、データバスやアドレスバス等のシステムバス３６０を介して相互に接続している。

【0021】

制御部３１０は、管理サーバ３０の全体の動作を制御し、管理サーバ３０が有する各種の機能を実現するコンピュータである。制御部３１０は、ＣＰＵ３１１と、ＲＯＭ３１２と、ＲＡＭ３１３とを備える。ＣＰＵ３１１は、管理サーバ３０の動作を統括的に制御する。ＲＯＭ３１２は、各種プログラムやデータを記憶する記憶媒体である。ＲＡＭ３１３は、各種プログラムや各種データを一時的に記憶する記憶媒体である。そして、ＣＰＵ３１１は、ＲＡＭ３１３をワークエリア（作業領域）としてＲＯＭ３１２又は記憶部３２０等に格納されたプログラムを実行する。

【0022】

記憶部３２０は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの記憶装置である。記憶部３２０は、制御プログラム３２１、及び商品マスタ３２２を記憶する。商品マスタ３２２は、管理サーバ３０に限らず、他の装置に記憶されていてもよい。例えば、商品マスタ３２２は、携帯端末２０に記憶されていてもよい。また、商品マスタ３２２は、一台の装置に限らず、複数の装置に分散して記憶されていてもよい。

【0023】

制御プログラム３２１は、オペレーティングシステムや、管理サーバ３０が備えている機能を発揮させるためのプログラムである。制御プログラム３２１には、本実施形態にかかる特徴的な機能を発揮させるプログラムが含まれる。

【0024】

図４は、商品マスタ３２２のデータ構成の一例を示す説明図である。商品マスタ３２２は、商品情報、照合用特徴量、及び設定情報を有している。商品情報は、商品を識別するための識別情報である。例えば、商品情報は、商品コードや商品名称等の識別情報である。照合用特徴量は、商品の照合用の特徴量である。照合用特徴量は、商品の色や、形状や、模様や、凹凸状況等の外観の特徴がパラメータ化された情報である。例えば、照合用特徴量は、携帯端末２０が撮像する画像の略半分の大きさの矩形形状であって、ＨＳＶ（Hue Saturation Value）色空間で表現された情報である。また、照合用特徴量は、商品の特徴量から一部の情報を削減した情報であってもよい。例えば、照合用特徴量は、商品の色や形状や模様等の特徴量の一部を示す情報であってもよい。このように、情報量が削減されることで比較対象となる特徴が減るため、照合用特徴量は、照合における携帯端末２０の処理負担を軽減することができる。

【0025】

設定情報は、携帯端末２０に照合用特徴量を送信する条件が設定された情報である。ここで、携帯端末２０は、商品を撮像した画像から抽出した特徴量と、棚札１１のコードシンボル１２により特定される商品の照合用特徴量とを比較することで、撮像した商品を特定する。しかしながら、携帯端末２０は、商品を撮像した画像から抽出した特徴量と、照合用特徴量との比較を省略可能な場合がある。例えば、安価な商品や、他の商品を間違える可能性が少ないと推定される商品の場合には、携帯端末２０は、比較を省略しても大きな問題にはならない。そして、携帯端末２０は、比較を省略することで処理負担を軽減することができる。

【0026】

更に詳しくは、管理サーバ３０は、照合用特徴量を送信した場合には、携帯端末２０に比較を実行させる。一方、管理サーバ３０は、照合用特徴量として空の情報を送信した場合には、携帯端末２０に比較を実行させない。そこで、設定情報には、関連付けられた商品の照合用特徴量を送信する条件が設定されている。例えば、設定情報には、毎回送信する、毎回送信しない、５０パーセントの確率で送信するなどの送信頻度や、顧客の属性やなどの条件が設定される。

【0027】

通信部３３０は、ネットワークを介して、他の装置と通信するためのインタフェースである。例えば、通信部３３０は、管理サーバ３０と通信するためのインタフェースである。

【0028】

表示部３４０は、例えば液晶ディスプレイ等の表示装置である。操作部３５０は、例えばキーボードやマウス等の入力装置である。

【0029】

次に、商品認識システム１の各種装置が有する特徴的な機能について説明する。ここで、図５は、商品認識システム１の各種装置が有する特徴的な機能構成を示すブロック図である。

【0030】

携帯端末２０の制御部２１０は、記憶部２２０に記憶された制御プログラム２２１をＲＡＭ２１３に展開し、制御プログラム２２１に従って動作することで、各機能部をＲＡＭ２１３に生成する。具体的には、携帯端末２０の制御部２１０は、機能部として、撮像制御部２１００、商品情報入力部２２００、通信制御部２３００、商品認識部２４００、商品登録部２５００、及び報知制御部２６００を備える。

【0031】

撮像制御部２１００は、撮像部２６０を制御して、各種画像を撮像させる。例えば、撮像制御部２１００は、棚札１１のコードシンボル１２を撮像する。ここで、撮像制御部２１００は、撮像部２６０が撮像した画像に、コードシンボル１２を収める枠線を重ねた画面を表示させる。これにより、顧客は、コードシンボル１２を容易に撮像することができる。

【0032】

また、撮像制御部２１００は、商品を撮像する。ここで、撮像制御部２１００は、撮像部２６０が撮像した画像に、商品の位置を案内する画像を付加した画面を表示させる。例えば、撮像制御部２１００は、撮像部２６０が撮像した画像に枠線を重ねた画面を表示させる。これにより、操作者は、枠線の内側に商品が位置する画像を撮像制御部２１００に撮像させることができる。よって、携帯端末２０は、枠線の内側に商品があると推定することができる。

【0033】

商品情報入力部２２００は、商品を識別するための商品情報の入力を受け付ける。更に詳しくは、商品情報入力部２２００は、撮像制御部２１００がコードシンボル１２を撮像した場合に、画像に含まれるコードシンボル１２をデコードする。これにより、商品情報入力部２２００は、コードシンボル１２が示す商品情報の入力を受け付ける。なお、商品情報入力部２２００は、コードシンボル１２の読み取りに限らず、他の方法により商品情報の入力を受け付けてもよい。例えば、商品情報入力部２２００は、ＯＣＲ（Optical Character Recognition）により商品情報の入力を受け付けてもよいし、近距離無線通信により商品情報の入力を受け付けてもよいし、複数の商品が並べられた画面から商品を選択する入力により商品情報の入力を受け付けてもよいし、商品情報を示す数字や文字等の入力により商品情報の入力を受け付けてもよい。

【0034】

商品情報入力部２２００は、商品情報の入力を受け付けた場合に、商品情報により特定される商品の照合用特徴量の送信を要求する送信要求を通信制御部２３００に送信させる。これにより、商品情報入力部２２００は、通信制御部２３００に照合用特徴量を取得させる。なお、商品情報入力部２２００は、記憶部２２０が商品マスタ３２２を記憶している場合に、記憶部２２０が記憶する商品マスタ３２２から照合用特徴量を取得する。

【0035】

通信制御部２３００は、通信部２３０を制御して、管理サーバ３０との通信を実行する。例えば、通信制御部２３００は、商品情報入力部２２００が受け付けた商品情報により特定される商品の照合用特徴量を要求する要求情報を送信する。また、通信制御部２３００は、要求情報に対する応答として照合用特徴量を受信する。すなわち、通信制御部２３００は、商品情報入力部２２００が受け付けた商品情報により特定される商品の特徴量である第１特徴量を取得する。第１特徴量は、照合用特徴量の別称である。

【0036】

商品認識部２４００は、撮像部２６０が撮像した画像に含まれる商品の認識を制御する。また、商品認識部２４００は、特徴量抽出部２４１０、特徴量削減部２４２０、類似度算出部２４３０、及び商品特定部２４４０を備える。

【0037】

画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [令和２年２月２０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

【0038】

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[令和２年２月２０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

【0039】

特徴量抽出部２４１０は、撮像制御部２１００が撮像した商品の画像から商品の特徴量である第２特徴量を抽出する。以下、第２特徴量を抽出特徴量と呼称する。更に詳しくは、特徴量抽出部２４１０は、撮像制御部２１００が撮像した商品を画像に重畳された枠線の中央付近から抽出特徴量を抽出する。ここで、撮像制御部２１００は、商品を撮像する場合、商品の位置を案内する画像を付加した画面を表示させる。よって、特徴量抽出部２４１０は、撮像制御部２１００が撮像した画像のうち、商品がある位置を推定することができる。具体的には、特徴量抽出部２４１０は、商品の位置を案内する画像である枠線の内側に商品があると推定することができる。よって、特徴量抽出部２４１０は、枠線の中央付近から特徴量を抽出することで抽出特徴量を抽出することができる。

【0040】

特徴量削減部２４２０は、抽出特徴量の情報量を削減する。更に詳しくは、特徴量削減部２４２０は、抽出特徴量に対して情報量を削減する削減処理を実行する。特徴量削減部２４２０は、削減処理を実行することで、特徴量を簡略化した簡略化特徴量を生成する。削減処理は、特徴量に対して次元削減や量子化等を実行することで、特徴量の情報量を削減する処理である。例えば、削減処理は、商品の色や、形状や、模様や、凹凸状況等の特徴量の要素のうち、一又は複数の要素を削減する処理である。また、削減処理は、商品の色や、形状や、模様や、凹凸状況等を表現する際の段階を削減する処理であってもよい。例えば、削減処理は、色を１００段階で表現している場合に、１０段階に削減する処理である。

【0041】

類似度算出部２４３０は、第１特徴量と、第２特徴量との類似度を算出する。言い換えると、類似度算出部２４３０は、通信制御部２３００が受信した照合用特徴量と、特徴量抽出部２４１０が抽出した抽出特徴量との類似度を算出する。ここで、類似度は、照合用特徴量を１００％＝「類似度：１．０」とした場合に、特徴量抽出部２４１０が抽出した特徴量の全部又は一部がどの程度類似しているかを示すものである。

【0042】

また、類似度算出部２４３０は、特徴量抽出部２４１０が抽出した特徴量であれば、特徴量削減部２４２０が特徴量を簡略化した簡略化特徴量と、照合用特徴量との類似度を算出してもよい。言い換えると、特徴量抽出部２４１０は、第１特徴量と、特徴量削減部２４２０が情報量を削減した第２特徴量との類似度を算出する。この場合、類似度算出部２４３０は、通信制御部２３００が受信した照合用特徴量と、特徴量削減部２４２０が特徴量を簡略化した簡略化特徴量との類似度を算出する。

【0043】

商品特定部２４４０は、類似度算出部２４３０が算出した類似度に基づいて、撮像制御部２１００が撮像した商品を特定する。更に詳しくは、商品特定部２４４０は、類似度算出部２４３０が算出した類似度が閾値以上の場合に、撮像制御部２１００が撮像した商品と、商品情報入力部２２００が受け付けた商品情報により特定される商品とは一致していると判定する。よって、商品特定部２４４０は、撮像制御部２１００が撮像した商品は、コードシンボル１２から読み取った商品情報の商品であると特定することができる。

【0044】

商品登録部２５００は、商品特定部２４４０が特定した商品を販売対象の商品として登録する。すなわち、商品登録部２５００は、撮像制御部２１００が撮像した商品を販売対象の商品として登録する。

【0045】

報知制御部２６００は、商品を特定するための操作をやり直すことを報知する。更に詳しくは、報知制御部２６００は、類似度算出部２４３０が算出した類似度に基づいて、商品を特定するための操作をやり直すことを報知する。報知制御部２６００は、類似度が第１閾値未満かつ第２閾値以上の場合に、商品の撮像からやり直すことを報知する。第１閾値未満とは、商品特定部２４４０が商品を特定可能な類似度の閾値である。第２閾値とは、第１閾値よりも低い値である。すなわち、報知制御部２６００は、商品を特定することはできないが比較的に類似度が高いため、再度商品の撮像からやり直すことを報知する。

【0046】

また、報知制御部２６００は、不一致条件が満たされた場合に、商品情報の入力からやり直すことを報知する。不一致条件とは、撮像した商品と、コードシンボル１２が示す商品情報の商品とが不一致であるか否かの判定条件である。具体的には、報知制御部２６００は、類似度が第２閾値未満の場合に、商品情報の入力からやり直すことを報知する。すなわち、報知制御部２６００は、撮像制御部２１００が撮像した商品と、商品情報入力部２２００が受け付けた商品情報により特定される商品とが全くことなるため、商品情報の入力であるコードシンボル１２の読み取りからやり直すことを報知する。

【0047】

また、報知制御部２６００は、類似度に限らず、商品を撮像した回数に基づいて、商品を特定するための操作をやり直すことを報知してもよい。商品情報の入力をやり直した回数が閾値以上の場合、顧客は、間違った商品情報を入力している可能性がある。そこで、報知制御部２６００は、商品情報の入力であるコードシンボル１２の読み取りからやり直すことを報知する。

【0048】

管理サーバ３０の制御部３１０は、記憶部３２０に記憶された制御プログラム３２１をＲＡＭ３１３に展開し、制御プログラム３２１に従って動作することで、各機能部をＲＡＭ３１３に生成する。具体的には、管理サーバ３０の制御部３１０は、機能部として、通信制御部３１００、及び商品マスタ管理部３２００を備える。

【0049】

通信制御部３１００は、通信部３３０を制御して、携帯端末２０との通信を実行する。例えば、通信制御部３１００は、携帯端末２０から商品情報を受信する。また、通信制御部３１００は、商品情報に対応した照合用特徴量を抽出した場合に、照合用特徴量を携帯端末２０に送信する。

【0050】

商品マスタ管理部３２００は、商品マスタ３２２を管理する。更に詳しくは、商品マスタ管理部３２００は、通信制御部３１００が商品情報を受信した場合に、商品マスタ３２２において商品情報に関連付けられた設定情報を抽出する。商品マスタ管理部３２００は、設定情報に基づいて、照合用特徴量を送信するか否かを判定する。

【0051】

商品マスタ管理部３２００は、照合用特徴量を送信すると判定した場合に、商品マスタ３２２から照合用特徴量を抽出する。そして、商品マスタ管理部３２００は、抽出した照合用特徴量を通信制御部３１００に送信させる。一方、商品マスタ管理部３２００は、照合用特徴量を送信しないと判定した場合に、空の情報を照合用特徴量として通信制御部３１００に送信させる。

【0052】

また、商品マスタ管理部３２００は、商品マスタ３２２の設定情報の変更を受け付ける。これにより、管理者は、設定情報を任意に変更することができる。

【0053】

次に、商品認識システム１の動作について説明する。

【0054】

図６は、第１の実施形態の携帯端末２０が実行する商品認識処理の一例を示すフローチャートである。商品認識処理は、携帯端末２０が撮像した商品を認識する処理である。

【0055】

撮像制御部２１００は、棚札１１のコードシンボル１２を撮像する（ステップＳ１）。

【0056】

商品情報入力部２２００は、撮像した画像からコードシンボル１２が示す商品情報を読み取る（ステップＳ２）。

【0057】

通信制御部２３００は、照合用特徴量を要求する要求情報を管理サーバ３０に送信する（ステップＳ３）。要求情報は、ステップＳ１で読み取った商品情報を有している。

【0058】

通信制御部２３００は、要求情報に対する応答情報を管理サーバ３０から受信する（ステップＳ４）。

【0059】

撮像制御部２１００は、商品の画像を撮像する（ステップＳ５）。

【0060】

特徴量抽出部２４１０は、撮像した商品の画像から特徴量を抽出する（ステップＳ６）。

【0061】

特徴量削減部２４２０は、抽出した特徴量に対して削減処理を実行する（ステップＳ７）。これにより、特徴量削減部２４２０は、特徴量から簡略化特徴量を生成する。

【0062】

類似度算出部２４３０は、管理サーバ３０から受信した照合用特徴量と、特徴量抽出部２４１０が抽出した特徴量との類似度を算出する（ステップＳ８）。

【0063】

商品特定部２４４０は、類似度が閾値以上であるか否かを判定する（ステップＳ９）。類似度が閾値未満の場合に（ステップＳ９；Ｎｏ）、商品特定部２４４０は、不一致条件が満たされたか否かを判定する（ステップＳ１０）。

【0064】

不一致条件が満たされていない場合に（ステップＳ１０；Ｎｏ）、報知制御部２６００は、再度商品を撮像させることを要求する再撮像画面を表示させる（ステップＳ１１）。

【0065】

不一致条件が満たされている場合に（ステップＳ１０；Ｙｅｓ）、報知制御部２６００は、撮像した商品と、コードシンボル１２が示す商品情報の商品とが不一致であることを示す不一致画面を表示させる（ステップＳ１２）。そして、携帯端末２０は、商品認識処理を終了する。

【0066】

類似度が閾値以上の場合に（ステップＳ９；Ｙｅｓ）、商品登録部２５００は、販売対象の商品として登録する（ステップＳ１３）。

【0067】

以上により、携帯端末２０は、商品認識処理を終了する。

【0068】

以上のように第１の実施形態にかかる携帯端末２０は、撮像制御部２１００が棚札１１のコードシンボル１２を撮像することで、商品情報の入力を受け付ける。また、携帯端末２０は、入力された商品情報により特定される商品の照合用特徴量を管理サーバ３０から取得する。また、携帯端末２０は、撮像制御部２１００が撮像した画像から商品の特徴量を抽出する。携帯端末２０は、照合用特徴量と、撮像した画像から商品の特徴量との類似度を算出する。携帯端末２０は、類似度に基づいて、撮像制御部２１００が撮像した商品を特定する。このように、携帯端末２０は、照合対象の商品を特定した上で、商品認識処理を実行している。すなわち、携帯端末２０は、多数の商品との照合は実行しない。よって、携帯端末２０は、商品認識処理の負担を軽減することができる。

【0069】

（第１の実施形態の変形例１）
第１の実施形態の変形例１について説明する。図７は、第１の実施形態の変形例１にかかる商品認識システム２の一例を示す説明図である。なお、第１の実施形態と同一の構成については同一の符号を付与し説明を省略する。

【0070】

第１の実施形態のかかるコードシンボル１２は、一の商品の商品情報を有していると説明した。第２の実施形態のかかるコードシンボル１２は、複数種類の商品の商品情報を有している。例えば、コードシンボル１２は、商品分類や、複数の商品を有するグループなどを示す商品情報を有している。

【0071】

商品マスタ３２２は、一の商品情報に対して複数の商品の照合用特徴量を有している。

【0072】

携帯端末２１の機能構成について説明する。

【0073】

商品情報入力部２２０１は、複数種類の商品情報の入力を受け付ける。更に詳しくは、商品情報入力部２２０１は、撮像制御部２１００がコードシンボル１２を撮像することで、複数種類の商品の商品情報の入力を受け付ける。複数種類の商品情報の入力方法はこれに限定しない。例えば、商品情報入力部２２０１は、一の商品の商品情報を有するコードシンボル１２を複数回読み取ることで複数種類の商品情報の入力を受け付けてもよいし、商品分類等の複数種類の商品のグループを特定する入力によりサーバ装置から複数種類の商品情報の入力を受け付けてもよいし、他の方法であってもよい。

【0074】

通信制御部２３０１は、商品情報入力部２２０１が複数種類の商品情報の入力を受け付けた場合に、複数の商品に該当する商品情報を管理サーバ３１に送信する。また、通信制御部２３０１は、複数種類の商品情報により特定される複数種類の商品の第１特徴量を受信する。すなわち、通信制御部２３０１は、複数の照合用特徴量を受信する。

【0075】

類似度算出部２４３１は、複数種類の商品の第１特徴量と、第２特徴量とのそれぞれの類似度を算出する。すなわち、類似度算出部２４３１は、複数の照合用特徴量と、特徴量抽出部２４１０が抽出した特徴量とのそれぞれの類似度を算出する。

【0076】

商品特定部２４４１は、類似度算出部２４３１が算出したそれぞれの類似度に基づいて、撮像制御部２１００が撮像した商品を特定する。また、商品特定部２４４１は、複数の商品ごとの類似度のうち、最も高い類似度が閾値以上の場合に、最も高い類似度の商品を、撮像制御部２１００が撮像した商品であると特定する。

【0077】

なお、商品特定部２４４１は、類似度が閾値以上の商品がある場合に、商品を特定する操作に基づいて、撮像制御部２１００が撮像した商品を特定してもよい。この場合、商品特定部２４４１は、類似度が閾値以上の商品が複数ある場合に、該当する複数の商品を表示部２４０に表示させる。また、商品特定部２４４１は、表示部２４０が表示した商品から、撮像制御部２１００が撮像した商品を特定する操作を受け付ける。そして、商品特定部２４４１は、指定された商品を、撮像制御部２１００が撮像した商品に特定する。

【0078】

管理サーバ３１の機能構成について説明する。

【0079】

通信制御部３１０１は、複数の商品に該当する商品情報を携帯端末２１から受信する。また、通信制御部３１０１は、複数の商品に該当する照合用特徴量を携帯端末２１に送信する。すなわち、通信制御部３１０１は、複数の照合用特徴量を携帯端末２１に送信する。

【0080】

商品マスタ管理部３２０１は、通信制御部３１０１が複数の商品に該当する商品情報を受信した場合に、商品情報の設定情報に基づいて、照合用特徴量を送信させるか否かを判定する。商品マスタ管理部３２０１は、照合用特徴量を送信すると判定した場合に、商品マスタ３２２から照合用特徴量を抽出する。そして、商品マスタ管理部３２０１は、抽出した照合用特徴量を通信制御部３１０１に送信させる。一方、商品マスタ管理部３２０１は、照合用特徴量を送信しないと判定した場合に、空の情報を照合用特徴量として通信制御部３１０１に送信させる。

【0081】

以上のように第１の実施形態の変形例１にかかる携帯端末２１は、複数の商品に該当する商品情報の入力を受け付ける。また、携帯端末２１は、複数の商品の照合用特徴量を取得する。携帯端末２１は、複数の照合用特徴量と、撮像した画像から商品の特徴量との類似度をそれぞれ算出する。そして、携帯端末２１は、それぞれの類似度に基づいて、撮像制御部２１００が撮像した商品を特定する。よって、携帯端末２１は、コードシンボル１２等が複数の商品の商品情報を有している場合であっても、商品を認識することができる。さらに、システムの管理者は、コードシンボル１２が示す商品情報に該当する商品の種類を制限することで、携帯端末２１が一度に受け付ける照合用特徴量の数を制限することができる。よって、システムの管理者は、携帯端末２１の処理負担を軽減する事ができる。

【0082】

（第２の実施形態）
第２の実施形態について説明する。図８は、第２の実施形態にかかる商品認識システム３の一例を示す説明図である。なお、第１の実施形態と同一の構成については同一の符号を付与し説明を省略する。

【0083】

第２の実施形態にかかる商品認識システム３は、携帯端末２２と、携帯端末２２と通信可能に接続された管理サーバ３２とを備える。第１の実施形態にかかる商品認識システム１は、携帯端末２０が類似度の算出を実行した。第２の実施形態にかかる商品認識システム３は、管理サーバ３２が類似度の算出を実行する。よって、管理サーバ３２は、類似度算出部３３００及び商品特定部３４００を備えている。また、管理サーバ３２は、携帯端末２２に対する応答を制御する応答制御部３５００を有している。

【0084】

携帯端末２２の機能構成について説明する。

【0085】

通信制御部２３０２は、第２特徴量を送信する。更に詳しくは、通信制御部２３０２は、商品情報入力部２２００が受け付けた商品情報と、特徴量抽出部２４１０が抽出した特徴量とを有する要求情報を管理サーバ３２に送信する。なお、通信制御部２３０２は、特徴量削減部２４２０が簡易化した簡易特徴量を送信してもよい。この場合、通信制御部２３０２は、商品情報入力部２２００が受け付けた商品情報、及び簡易特徴量を有する要求情報を管理サーバ３２に送信する。このように、通信制御部２３０２は、簡易特徴量を送信することで、抽出特徴量と比べて送信するデータ量を減らすことができる。なお、通信制御部２３０２は、簡易特徴量に限らず、特徴量抽出部２４１０が抽出した特徴量を管理サーバ３２に送信してもよい。

【0086】

通信制御部２３０２は、要求情報に対する照合結果を示す応答情報を受信する。管理サーバ３２が商品を特定した場合には、応答情報は、特定した商品の商品情報を有している。また、管理サーバ３２が商品を特定できずに、不一致条件が満たされないと判定した場合に、応答情報は、再度商品を撮像する必要があることを示す再撮像情報を有している。また、管理サーバ３２が商品を特定できずに、不一致条件が満たさないと判定した場合に、応答情報は、コードシンボル１２の読み取りからやり直す必要があることを示す不一致情報を有している。

【0087】

商品登録部２５０２は、通信制御部２３０２が商品情報を有する応答情報を受信した場合に、商品情報により特定される商品を販売対象の商品として登録する。

【0088】

報知制御部２６０２は、通信制御部２３０２が再撮像情報を有する応答情報を受信した場合に、再撮像画面を表示して報知する。また、報知制御部２６０２は、通信制御部２３０２が不一致情報を有する応答情報を受信した場合に、不一致画面を表示して報知する。

【0089】

管理サーバ３２の機能構成について説明する。

【0090】

通信制御部３１０２は、携帯端末２２から要求情報を受信する。また、通信制御部３１０２は、要求情報に対する判定結果情報を携帯端末２２に送信する。すなわち、通信制御部３１０２は、商品特定部３４００が特定した商品を識別するための商品情報を携帯端末２２に送信する。

【0091】

類似度算出部３３００は、商品の特徴量である第１特徴量と、第２特徴量との類似度を算出する。すなわち、類似度算出部３３００は、商品マスタ３２２が有する照合用特徴量と、通信制御部３１０２が受信した要求情報が有する特徴量との類似度を算出する。に詳しくは、類似度算出部３３００は、通信制御部３１０２が受信した判要求情報が有する商品情報に基づいて、商品マスタ３２２から照合用特徴量を選択する。類似度算出部３３００は、選択した照合用特徴量と、要求情報が有する簡易特徴量との類似度を算出する。

【0092】

商品特定部３４００は、類似度算出部３３００が算出した類似度に基づいて、撮像制御部２１００が撮像した商品を特定する。更に詳しくは、商品特定部３４００は、類似度算出部３３００が算出した類似度が閾値以上の場合に、撮像制御部２１００が撮像した商品と、商品情報入力部２２００が受け付けた商品情報により特定される商品とは一致していると判定する。すなわち、商品特定部３４００は、簡易特徴量の商品は、商品情報の商品であることを特定することができる。

【0093】

応答制御部３５００は、応答情報を生成する。応答制御部３５００は、商品特定部３４００が商品を特定した場合に、特定した商品の商品情報を有する応答情報を生成する。応答制御部３５００は、類似度算出部３３００が算出した類似度が第１閾値未満の場合に、再度商品を撮像する必要があることを示す再撮像情報を有する応答情報を生成する。応答制御部３５００は、類似度算出部３３００が算出した類似度が第２閾値未満の場合に、コードシンボル１２の読み取りからやり直す必要があることを示す不一致情報を有する応答情報を生成する。応答制御部３５００は、応答情報を生成した場合に、通信制御部３１０２に応答情報を送信させる。

【0094】

以上のように第２の実施形態にかかる商品認識システム３によれば、携帯端末２２は、商品情報及び特徴量を有する要求情報を管理サーバ３２に送信する。また、管理サーバ３２は、商品情報により特定される商品と、特徴量により特定される商品とを比較する。すなわち、管理サーバ３２は、商品認識処理を実行する。このように、商品認識システム３は、管理サーバ３２が商品認識処理を実行するため、商品認識処理の負担を軽減することができる。

【0095】

なお、上記実施形態では、特徴量抽出部２４１０は、枠線の内側から特徴量を抽出する。これにより、特徴量抽出部２４１０は、販売対象の商品の特徴量を抽出すると説明した。しかしながら、特徴量抽出部２４１０は、手が掴んでいる商品から特徴量を抽出してもよい。ここで、手が掴んでいる商品は、顧客が購入しようとしている商品であると推定される。そこで、特徴量抽出部２４１０は、手が掴んでいる商品から特徴量を抽出することで、販売対象の商品の特徴量を抽出することができる。

【0096】

更に詳しくは、商品認識部２４００、２４０１、２４０２は、手の特徴量を有する手情報に基づいて、撮像制御部２１００が撮像した画像から手の領域を検出する手領域検出部を備える。そして、特徴量抽出部２４１０は、撮像制御部２１００が撮像した画像から手領域検出部が手の領域を検出した場合に、商品の特徴量を抽出する。これにより、特徴量抽出部２４１０は、販売対象の商品の特徴量を抽出することができる。

【0097】

なお、上記実施形態では、携帯端末２０、２１，２２は、コードシンボル１２が示す商品情報の入力を受け付けた後に、商品の画像を撮像している。しかしながら、携帯端末２０、２１，２２は、コードシンボル１２が示す商品情報の入力を受け付ける前に、商品の画像を撮像してもよい。この場合、携帯端末２０、２１，２２は、コードシンボル１２が示す商品情報の入力を促すガイダンスを表示すればよい。

【0098】

なお、上記実施形態では、携帯端末２０、２１，２２は、スマートフォンやタブレット端末であると説明した。携帯端末２０、２１，２２は、小売店のショッピングカートに取り付けたられたスマートフォンやタブレット端末等の携帯端末であってもよい。そして、携帯端末２０、２１，２２は、ショッピングカートに取り付けたられたカメラにコードシンボル１２や商品を撮像させてもよい。

【0099】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0100】

上記実施形態や変形例の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

【0101】

また、上記実施形態や変形例の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよいし、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

【符号の説明】

【0102】

１、２、３ 商品認識システム
１０ 商品棚
１１ 棚札
１２ コードシンボル
２０、２１、２２ 携帯端末
３０、３１、３２ 管理サーバ
３２２ 商品マスタ
２１００ 撮像制御部
２２００、２２０１ 商品情報入力部
２３００、２３０１、２３０２ 通信制御部
２４００、２４０１、２４０２ 商品認識部
２４１０ 特徴量抽出部
２４２０ 特徴量削減部
２４３０、２４３１、３３００ 類似度算出部
２４４０、２４４１、３４００ 商品特定部
２５００、２５０２ 商品登録部
２６００、２６０２ 報知制御部
３１００、３１０１、３１０２ 通信制御部
３２００、３２０１ 商品マスタ管理部
３５００ 応答制御部

【先行技術文献】

【特許文献】

【0103】

【文献】特開２０１７－２２０１４３号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】