特許 6209716 情報処理システム、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6209716

(24)【登録日】2017年9月22日

(45)【発行日】2017年10月11日

(54)【発明の名称】情報処理システム、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06Q 20/20 20120101AFI20171002BHJP

   G07G 1/00 20060101ALI20171002BHJP

   G07G 1/01 20060101ALI20171002BHJP

   G06T 7/90 20170101ALI20171002BHJP

   G06T 7/00 20170101ALI20171002BHJP

【ＦＩ】

   G06Q20/20

   G07G1/00 311D

   G07G1/01 301E

   G06T7/90 B

   G06T7/00 300F

【請求項の数】6

【全頁数】25

(21)【出願番号】特願2016-225897(P2016-225897)

(22)【出願日】2016年11月21日

【審査請求日】2016年11月21日

(31)【優先権主張番号】特願2016-111075(P2016-111075)

(32)【優先日】2016年6月2日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】509288725

【氏名又は名称】サインポスト株式会社

(74)【代理人】

【識別番号】100126000

【弁理士】

【氏名又は名称】岩池 満

(74)【代理人】

【識別番号】100154748

【弁理士】

【氏名又は名称】菅沼 和弘

(72)【発明者】

【氏名】蒲原 寧

(72)【発明者】

【氏名】川端 英揮

(72)【発明者】

【氏名】波川 敏也

(72)【発明者】

【氏名】佐々木 友洋

【審査官】 梅岡 信幸

(56)【参考文献】

【文献】 特開２０１５−０３８７２１（ＪＰ，Ａ）

【文献】 特開２０１６−１５７２０９（ＪＰ，Ａ）

【文献】 特開２０１１−０５４０３８（ＪＰ，Ａ）

【文献】 特開２００４−２０６３５７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００−９９／００

Ｇ０７Ｇ １／００− ５／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／９０

(57)【特許請求の範囲】

【請求項1】

所定エリアに置かれた物体が撮像された結果として得られる撮像画像を取得する取得手段と、
取得された前記撮像画像に基づいて、前記物体の存在を認識する認識手段と、
存在が認識された前記物体に対する複数の商品候補のそれぞれの認識率を算出する認識率算出手段と、
前記認識率が所定の条件を満たした場合に、前記物体がいずれの商品候補であるのかを検証する検証手段と、
検証結果を出力する制御を実行する出力制御手段と、
を備え、
前記検証手段は、
前記物体の特徴を示す複数の特徴点のうち、商品候補の特徴点と類似する特徴点を類似特徴点として、当該類似特徴点の数を、前記複数の商品候補ごとに特定する類似特徴点数特定手段と、
最大となる前記類似特徴点の数が、所定数を超えていない場合に、前記物体をいずれの商品であるのか特定しないことを決定する検証結果決定手段と、
を備える情報処理システム。

【請求項2】

前記検証手段は、類似特徴点を最も多くもつ前記商品候補に類似する商品として予め定められた類似商品から前記物体がいずれの商品であるのかを判定する類似商品判定手段を更に備え、
前記類似特徴点数特定手段は、予め定められた類似商品があるか否かを判断し、
前記検証結果決定手段は、前記類似商品があり、前記物体が前記類似商品のうちいずれの商品であるのかを特定できない場合に、前記物体をいずれの商品であるのか特定しないことを決定する請求項１に記載の情報処理システム。

【請求項3】

前記類似商品判定手段は、
サイズ違いとなるサイズ違商品を前記類似商品から特定するサイズ違商品特定手段と、
前記物体の大きさと前記サイズ違商品の大きさとを比較して、前記物体の大きさがいずれのサイズ違商品の大きさの範囲に属するか判断するサイズ比較手段と、
を更に備え、
前記検証結果決定手段は、前記物体の大きさがいずれのサイズ違商品の大きさの範囲にも属さない場合に、前記物体をいずれの商品であるのか特定しないことを決定する請求項２に記載の情報処理システム。

【請求項4】

前記類似商品判定手段は、
色違いとなる色違商品を前記類似商品から特定する色違商品特定手段と、
前記物体のヒストグラムと前記色違商品のヒストグラムとを比較して、前記物体のヒストグラムがいずれの色違商品のヒストグラムに対して類似するかを判断する色比較手段と、
を更に備え、
前記検証結果決定手段は、前記物体のヒストグラムがいずれの色違商品のヒストグラムに対しても所定類似度に達しない場合に、前記物体をいずれの商品であるのか特定しないことを決定する請求項２又は３に記載の情報処理システム。

【請求項5】

情報処理システムが実行する情報処理方法であって、
所定エリアに置かれた物体が撮像された結果として得られる撮像画像を取得する取得ステップと、
取得された前記撮像画像に基づいて、前記物体の存在を認識する認識ステップと、
存在が認識された前記物体に対する複数の商品候補のそれぞれの認識率を算出する認識率算出ステップと、
前記認識率が所定の条件を満たした場合に、前記物体がいずれの商品候補であるのかを検証する検証ステップと、
検証結果を出力する制御を実行する出力制御ステップと、
を含み、
前記検証ステップにおいて、
前記物体の特徴を示す複数の特徴点のうち、商品候補の特徴点と類似する特徴点を類似特徴点として、当該類似特徴点の数を、前記複数の商品候補ごとに特定する類似特徴点数特定ステップと、
最大となる前記類似特徴点の数が、所定数を超えていない場合に、前記物体をいずれの商品であるのか特定しないことを決定する検証結果決定ステップと、
を含む情報処理方法。

【請求項6】

情報処理システムを制御するコンピュータに、
所定エリアに置かれた物体が撮像された結果として得られる撮像画像を取得する取得ステップと、
取得された前記撮像画像に基づいて、前記物体の存在を認識する認識ステップと、
存在が認識された前記物体に対する複数の商品候補のそれぞれの認識率を算出する認識率算出ステップと、
前記認識率が所定の条件を満たした場合に、前記物体がいずれの商品候補であるのかを検証する検証ステップと、
検証結果を出力する制御を実行する出力制御ステップと、
を含み、
前記検証ステップにおいて、
前記物体の特徴を示す複数の特徴点のうち、商品候補の特徴点と類似する特徴点を類似特徴点として、当該類似特徴点の数を、前記複数の商品候補ごとに特定する類似特徴点数特定ステップと、
最大となる前記類似特徴点の数が、所定数を超えていない場合に、前記物体をいずれの商品であるのか特定しないことを決定する検証結果決定ステップと、
を含む制御処理を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

従来より、コンビニエンスストア、スーパーマーケットやショッピングセンター、各種の量販店などの商店では、購入者が商品棚から商品を取りショッピングカートや買い物かごに入れて商店の出口付近に設けられたレジまで運び、セルフキャッシュレジスターにより商品の代金の精算を行っている（例えば、特許文献１参照）。

【0003】

ただし、レジでショッピングカートや買い物かごに入っている商品を精算する場合には、セルフレジであってもバーコードの読み取りが発生してしまうため、レジ待ちの列を解消することはできず、購入者は長時間レジ待ちをすることになる。
また、購入者が商店で購入したい商品を購入するときに、他にも多数の購入者がいる場合には、購入者は買い物を諦めてしまう場合が存在する。
上記のような事情を考慮すると、購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化及び商品の代金の精算にかかる時間の短縮を図ることができるシステムが要求されている。
そこで、本出願人は、レジ等の所定領域に商品が置かれると、カメラで当該所定領域を撮像し、その結果得られる撮像画像から当該商品候補の物体を認識し、当該物体（商品候補）が如何なる商品であるのかを特定し、その特定された商品についての決済をするまでの一連の処理を実行可能な次世代レジシステムについて、既に特許出願をしている（特願２０１６−０８０６２４）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００１−７６２６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、次世代レジシステムで用いるディープラーニングによる物体認識等では、物体認識の結果の認識精度が低く、認識率が高いが認識結果として迷いなく誤る場合、また認識率が低く認識結果として迷ったうえに誤る場合がある。その結果、誤ったまま又は迷ったまま物体をいずれかの商品として特定してしまうことがあった。

【0006】

本発明は、このような状況に鑑みてなされたものであり、次世代レジシステムで用いるディープラーニングによる物体認識等の認識結果を検証して、認証結果が誤っている又は迷っている状態の場合、わからない（認識できなかった）ことを最終結果として出力し、人が認識結果を補正することができるようにするものである。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明の一態様の情報処理システムは、
所定エリアに置かれた物体が撮像された結果として得られる撮像画像を取得する取得手段と、
取得された前記撮像画像に基づいて、前記物体の存在を認識する認識手段と、
存在が認識された前記物体に対する複数の商品候補のそれぞれの認識率を算出する認識率算出手段と、
前記認識率が所定の条件を満たした場合に、前記物体がいずれの商品候補であるのかを検証する検証手段と、
検証結果を出力する制御を実行する出力制御手段と、
を備え、
前記検証手段は、
前記物体の特徴を示す特徴点に対する前記複数の商品候補のそれぞれの類似特徴点の数を特定する類似特徴点数特定手段と、
最大となる前記類似特徴点の数が、所定数を超えていない場合に、前記物体をいずれの商品であるのか特定しないことを決定する検証結果決定手段と、
を備える。

【0008】

また、前記検証手段は、類似特徴点を最も多くもつ前記商品候補に類似する商品として予め定められた類似商品から前記物体がいずれの商品であるのかを判定する類似商品判定手段を更に備え、
前記類似特徴点数特定手段は、予め定められた類似商品があるか否かを判断し、
前記検証結果決定手段は、前記類似商品があり、前記物体が前記類似商品のうちいずれの商品であるのかを特定できない場合に、前記物体をいずれの商品であるのか特定しないことを決定することができる。

【0009】

また、前記類似商品判定手段は、
サイズ違いとなるサイズ違商品を前記類似商品から特定するサイズ違商品特定手段と、
前記物体の大きさと前記サイズ違商品の大きさとを比較して、前記物体の大きさがいずれのサイズ違商品の大きさの範囲に属するか判断するサイズ比較手段と、
を更に備え、
前記検証結果決定手段は、前記物体の大きさがいずれのサイズ違商品の大きさの範囲にも属さない場合に、前記物体をいずれの商品であるのか特定しないことを決定することができる。

【0010】

また、前記類似商品判定手段は、
色違いとなる色違商品を前記類似商品から特定する色違商品特定手段と、
前記物体のヒストグラムと前記色違商品のヒストグラムとを比較して、前記物体のヒストグラムがいずれの色違商品のヒストグラムに対して類似するかを判断する色比較手段と、
を更に備え、
前記検証結果決定手段は、前記物体のヒストグラムがいずれの色違商品のヒストグラムに対しても所定類似度に達しない場合に、前記物体をいずれの商品であるのか特定しないことを決定することができる。

【0011】

本発明の一態様の情報処理方法及びプログラムは、上述の本発明の一態様の情報処理システムに対応する方法及びプログラムである。

【発明の効果】

【0012】

本発明によれば、次世代レジシステムで用いるディープラーニングによる物体認識等の認識結果を検証して、わからない（認識できなかった）ことを最終結果として出力し、人が認識結果を補正することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の情報処理システムの第１実施形態としての商品認識システムの構成図である。

【図2】図１の商品認識システムを構成するサーバのハードウェア構成を示すブロック図である。

【図3】図１の商品認識システムを構成するレジ端末のハードウェア構成を示すブロック図である。

【図4】図３のレジ端末の外観平面図である。

【図5】図２のサーバと図３のレジ端末との機能的構成の一例を示す機能ブロック図である。

【図6】図５の検証部の一例を示す機能ブロック図である。

【図7】図５のサーバとレジ端末とが実行する商品特定処理を説明するフローチャートである。

【図8】図７の検証処理を説明するフローチャートである。

【図9】図７の検証処理を説明するフローチャートである。

【図10】商品情報の一例を示す表である。

【図11】商品候補の類似特徴点の数を特定した一例を示す表である。

【図12】商品候補の類似特徴点の数を特定した他の一例を示す表である。

【図13】商品候補の類似特徴点の数を特定したさらに他の一例を示す表である。

【図14】商品情報に含まれる類似商品の一例を示す表である。

【図15】表示部に表示される画面の一例を示す画面図である。

【発明を実施するための形態】

【0014】

先ず、本発明の情報処理システムの概要について、説明する。
本発明の情報処理システムが適用される商品認識システム（次世代レジシステム）は、次の（１）が有する課題（２）を解決することができるものである。
（１）ディープラーニングによる物体認識では、何らかの結果（商品候補）をリスト出力していた。
つまり、上記特許出願（特願２０１６−０８０６２４）段階の次世代レジシステムでは、商品候補＝商品名として出力していた。
（２）この場合、物体認識の結果を誤る又は迷っている場合、実体と異なる結果を出力する可能性がある。
特に、パッケージが似ているシリーズ・味違いの商品や、サイズ違いの商品の場合、課題（２）は顕著なものとなる。また、商品を裏返しにレジに置かれる等の想定される運用と異なる場合も、課題（２）は顕著なものとなる。

【0015】

本明細書では、どのような商品か特定されていないものについて「物体」と呼ぶ。また、本明細書では、「物体」が商品として特定されたものを「商品」と呼ぶ。また、本明細書では、物体認識の結果、「商品」の候補としてリスト出力したものを「商品候補」と呼ぶ。
また、本明細書では、商品を特定するための情報（「商品情報」）が記憶されたデータベースのことを「商品ＤＢ」と呼ぶ。
また、本明細書では、「物体」の特徴を示す複数の点を「特徴点」と呼ぶ。また、「商品ＤＢ」の「商品情報」に含まれる「特徴点」と類似する「物体」の特徴点を「類似特徴点」と呼ぶ。また、本明細書では、「類似する」とは、「商品ＤＢ」の「商品情報」に含まれる「特徴点」ごとの局所特徴量と、「物体」の「特徴点」ごとの局所特徴量が類似していることを表している。
また、本明細書では、「商品情報」のうち、サイズの異なる商品を「サイズ違商品」と呼ぶ。また、本明細書では、「商品」のうち、味やシリーズの異なる商品を「色違商品」と呼ぶ。
また、本明細書では、「サイズ違商品」や「色違商品」を総称し「類似商品」と呼ぶ。

【0016】

本発明が適用される情報処理システムは、少なくとも次の機能を有している。
即ち、本発明が適用される情報処理システムは、取得機能と、認識機能と、認識率算出機能と、検証機能と、出力制御機能と、を備える。また、検証機能は、類似特徴点数特定機能と、検証結果決定機能と、を備える。
取得機能とは、所定エリア（商品認識エリア）に置かれた物体が撮像された結果として得られる撮像画像を取得する機能である。
認識機能とは、取得された撮像画像に基づいて、物体の存在を認識する機能である。
認識率算出機能とは、存在が認識された物体に対する複数の商品候補のそれぞれの認識率を算出する機能である。
検証機能とは、認識率が所定の条件を満たした場合に、物体がいずれの商品候補であるのかを検証する機能である。
出力制御機能とは、検証結果を出力する制御を実行する機能である。

【0017】

類似特徴点数特定機能とは、物体の特徴を示す特徴点に対する複数の商品候補のそれぞれの類似特徴点の数を特定する機能である。
検証結果決定機能とは、最大となる類似特徴点の数が、所定数を超えていない場合に、物体をいずれの商品であるのか特定しないことを決定する機能である。
ここで、「所定エリア」とは、物体が精算のために置かれる領域であり、物体の撮像が行われる「商品認識エリア」である。

【0018】

このような、本発明が適用される情報処理システムは、次の処理（Ａ）を実行することができる。
処理（Ａ）とは、次のような処理をいう。
即ち、本発明が適用される情報処理システムは、認識機能を発揮させて、物体の存在を認識する。ここで、物体の存在を認識することとは、背景差分等の画像処理方法により撮像画像に存在する物体の領域定義を行うことをいう。
次に、本発明が適用される情報処理システムは、認識率算出機能を発揮させて、存在が認識された物体に対する複数の商品候補のそれぞれの認識率を算出する。なお、商品候補の認識率の算出には、ディープラーニング、特定物体認識及び一般物体認識等の画像認識手法を用いることができる。
そして、本発明が適用される情報処理システムは、検証機能を発揮させて、認識率が所定の条件を満たした場合に、物体がいずれの商品候補であるのかを検証する。

【0019】

特に、本発明が適用される情報処理システムは、検証機能を発揮させる際に、まず、類似特徴点数特定機能を発揮させて、物体の特徴を示す特徴点に対する複数の商品候補のそれぞれの類似特徴点の数を特定する。ここで、類似特徴点の数を特定するとは、物体の特徴を示す特徴点の局所特徴量と、商品候補の特徴を示す特徴点の局所特徴量とを比較（マッチング）して、類似する特徴点の数を特定することをいう。
そして、本発明が適用される情報処理システムは、検証機能を発揮させる際に、検証結果決定機能を発揮させて、最大となる類似特徴点の数が所定数を超えていない場合に、物体をいずれの商品であるのか特定しないことを決定する機能である。

【0020】

最終的に、本発明が適用される情報処理システムは、出力制御実行機能を発揮させて、検証結果を出力する。
これにより、次世代レジシステムで用いるディープラーニングによる物体認識等の認識結果を検証して、わからない（認識できなかった）ことを最終結果として出力し、人が認識結果を補正することができる。

【0021】

また、本発明が適用される情報処理システムにおいて、検証機能は、上述した機能に加えて更に、類似商品判定機能を備えることもできる。
類似商品判定機能とは、類似特徴点を最も多くもつ商品候補に類似する商品として予め定められた類似商品から物体がいずれの商品であるのかを判定する機能である。
ここでは、類似特徴点数特定機能は、予め定められた類似商品があるか否かを判断する。また、検証結果決定機能は、類似商品があり、物体が前記類似商品のうちいずれの商品であるのかが特定できない場合に、物体をいずれの商品であるのか特定しないことを決定する。ここで、「類似商品」とは、類似特徴点を最も多くもつ「商品候補」に類似すると予め決められている「商品」である。

【0022】

このような本発明が適用される情報処理システムは、次の処理（Ｂ）を実行することができる。
処理（Ｂ）とは、次のような処理をいう。
即ち、本発明が適用される情報処理システムは、検証機能を発揮させる際に、類似特徴点数特定機能を発揮させて、予め定められた類似商品があるか否かを判断する。
次に、本発明が適用される情報処理システムは、類似商品判定機能を発揮させて、類似特徴点を最も多くもつ商品候補に類似する商品として予め定められた類似商品から物体がいずれの商品であるのかを判定する。
そして、本発明が適用される情報処理システムは、検証結果決定機能を発揮させて、類似商品があり、物体が類似商品のうちいずれの商品であるのかが特定できない場合に、物体をいずれの商品であるのか特定しないことを決定する。
これにより、特定された商品に対して、予め定められた類似する商品の間で判断を迷う場合にいずれの商品であるのか特定しないことを決定して、わからない（認識できなかった）ことを最終結果として出力する。したがって、人が認識結果を補正することができる。

【0023】

また、本発明が適用される情報処理システムにおいて、類似商品判定機能は、上述した機能として、サイズ違商品特定機能と、サイズ比較機能とを備えることもできる。
サイズ違商品特定機能は、サイズ違いとなるサイズ違商品を類似商品から特定する機能である。ここで、「サイズ違商品」とは、「類似商品」のうち、サイズの異なる「類似商品」をいう。
サイズ比較機能は、物体の大きさとサイズ違商品の大きさとを比較して、物体の大きさがいずれのサイズ違商品の大きさの範囲に属するか判断する機能である。
ここでは、検証結果決定機能は、物体の大きさがいずれのサイズ違商品の大きさの範囲にも属さない場合に、物体をいずれの商品であるのか特定しないことを決定する機能となる。

【0024】

このような、本発明が適用される情報処理システムは、次の処理（Ｃ）を実行することができる。
処理（Ｃ）とは、次のような一連の処理をいう。
即ち、本発明が適用される情報処理システムは、類似特徴点数特定機能を発揮させた次に、サイズ違商品特定機能を発揮させて、サイズ違いとなるサイズ違商品を類似商品から特定する。
次に、本発明が適用される情報処理システムは、サイズ比較機能を発揮させて、物体の大きさとサイズ違商品の大きさとを比較して、物体の大きさがいずれのサイズ違商品の大きさのしきい値範囲に属するか判断する。
そして、本発明が適用される情報処理システムは、検証結果決定機能を発揮させて、物体の大きさがサイズ違商品の大きさの範囲のいずれにも属さない場合に、物体をいずれの商品であるのか特定しないことを決定する。
これにより、特定された商品に対して、大きさの異なる類似商品を検証することができ、わからない（認識できなかった）ことを最終結果として出力する精度を向上し、人が認識結果を補正することができる。

【0025】

また、本発明が適用される情報処理システムにおいて、類似商品判定機能は、上述した機能として、色違商品特定機能と、色比較機能とを備えることもできる。
色違商品特定機能は、色違いとなる色違商品を類似商品から特定する機能である。ここで、「色違商品」とは、「類似商品」のうち、味やシリーズの異なる「類似商品」をいう。
色比較機能は、物体のヒストグラムと色違商品のヒストグラムとを比較して、物体のヒストグラムがいずれの色違商品のヒストグラムに類似するかを判断する機能である。
ここでは、検証結果決定機能は、物体のヒストグラムがいずれの色違商品のヒストグラムに対しても所定類似度に達しない場合に物体をいずれの商品であるのか特定しないことを決定する機能となる。

【0026】

このような、本発明が適用される情報処理システムは、次の処理（Ｄ）を実行することができる。
処理（Ｄ）とは、次のような一連の処理をいう。
即ち、本発明が適用される情報処理システムは、類似特徴点数特定機能を発揮させた次に、色違商品特定機能を発揮させて、色違いとなる色違商品を類似商品から特定する。
次に、本発明が適用される情報処理システムは、色比較機能を発揮させて、物体のヒストグラムと色違商品のヒストグラムとを比較して、物体のヒストグラムがいずれの色違商品のヒストグラムに対して類似するかを判断する。
そして、本発明が適用される情報処理システムは、検証結果決定機能を発揮させて、物体のヒストグラムがいずれの色違商品のヒストグラムに対しても所定類似度に達しない場合に物体をいずれの商品であるのか特定しないことを決定する。
これにより、特定された商品に対して、味やシリーズの異なる類似商品を検証することができ、わからない（認識できなかった）ことを最終結果として出力する精度を向上し、人が認識結果を補正することができる。

【0027】

次に、図面を参照しながら、本発明の情報処理システムの一実施形態について説明する。
図１は、本発明の情報処理システムの一実施形態の構成図である。
本実施形態の情報処理システムは、次世代レジシステムで用いるディープラーニングによる物体認識等の認識結果を検証して、わからない（認識できなかった）ことを最終結果として出力する技術を実現すべく、図１に示すような構成を有している。
即ち、本発明の一実施形態としての情報処理システムは、サーバと、ｎ台（ｎは任意の整数）のレジ端末２−１乃至２−ｎと、表示端末３と、を有している。
サーバ１と、レジ端末２−１乃至２−ｎとの夫々は、インターネット（Ｉｎｔｅｒｎｅｔ）回線等のネットワークＮを介して相互に接続されている。
なお、説明の便宜上、図１のサーバは１台しか描画されていないが、実際にはそれぞれ複数台の場合がある。
また、以下、レジ端末２−１乃至２−ｎを個々に区別する必要がない場合、これらをまとめて「レジ端末２」と呼ぶ。

【0028】

サーバ１は、レジ端末２の各動作を管理すべく、各種処理を実行する。
レジ端末２は、商品認識エリアと、１台以上のカメラと、１つ以上の表示部を備える。商品認識エリアは、認識対象の物体が載置される領域である。１台以上のカメラは、商品認識エリアに置かれた物体を撮像する。本実施形態では、レジ端末２は、２つの表示部を備えており、一方は、特定された商品の情報や、物体が商品として特定されなかったことを購入者に提示するための購入者用画面を表示する。２つの表示部のうち他方は、特定された商品の情報や、物体が商品として特定されなかったことを販売者に提示するための販売者用画面を表示する。なお、レジ端末２の外観構成の具体例は、図４を参照して後述する。
表示端末３は、商店の販売者等が操作する情報処理端末であって、例えばタブレット端末、スマートフォン等で構成される。

【0029】

本実施形態の情報処理システムでは、次のような動作（処理）が実行される。
即ち、本発明の情報処理システムでは、レジ端末２は、商品情報を、商品ＤＢ４０２（図５）に記憶して管理する。

【0030】

レジ端末２は、レジ端末２の商品認識エリアに物体が置かれると、置かれた物体を撮像し、撮像の結果として得られる撮像画像を取得する。
レジ端末２は、取得した撮像画像について、上述した所定の画像認識手法を用いることにより商品認識エリアに置かれた物体の存在を認識する。
レジ端末２は、存在が認識された物体に対する複数の商品候補のそれぞれの認識率を算出する。
レジ端末２は、認識率が所定の条件を満たした場合に、物体がいずれの商品候補であるのかを検証する。

【0031】

具体的には、レジ端末２は、物体の特徴を示す特徴点に対する複数の商品候補のそれぞれの類似特徴点の数を特定する。
レジ端末２は、最大となる類似特徴点の数が所定のしきい値を超えていない場合に、物体をいずれの商品であるのか特定しないことを決定する。

【0032】

そして、レジ端末２は、検証結果を出力する制御を実行する。検証結果は、表示部Ｄ（図５）や、表示端末３に表示される。
これにより、次世代レジシステムで用いるディープラーニングによる物体認識等の認識結果を検証して、わからない（認識できなかった）ことを最終結果として出力することができる。

【0033】

さらに検証精度を向上するために、レジ端末２は、予め定められた類似商品があるか否かを判断する。
レジ端末２は、類似特徴点を最も多くもつ商品候補に類似する商品として予め定められた類似商品から物体がいずれの商品であるのかを判定する。
レジ端末２は、類似商品があり、物体が類似商品のうちいずれの商品であるのかが特定できない場合に、物体をいずれの商品であるのか特定しないことを決定する。
これにより、特定された商品に対して、予め定められた類似する商品の間で判断を迷う場合にいずれの商品であるのか特定しないことを決定して、わからない（認識できなかった）ことを最終結果として出力する。したがって、人が認識結果を補正することができる。

【0034】

類似商品のうちいずれかの商品であるのかを特定するために、レジ端末２は、サイズ違いとなるサイズ違商品を類似商品から特定する。
レジ端末２は、物体の大きさとサイズ違商品の大きさとを比較して、物体の大きさがいずれのサイズ違商品の大きさの範囲に属するか判断する。
そして、レジ端末２は、物体の大きさがいずれのサイズ違商品の大きさの範囲にも属さない場合に、物体をいずれの商品であるのか特定しないことを決定する。
これにより、わからない（認識できなかった）ことを最終結果として出力する精度をより向上し、人が認識結果を補正することができる。

【0035】

また、類似商品のうちいずれかの商品であるのかを特定するために、レジ端末２は、色違いとなる色違商品を類似商品から特定する。
レジ端末２は、物体のヒストグラムと色違商品のヒストグラムとを比較して、物体のヒストグラムがいずれの色違商品のヒストグラムに対して類似するかを判断する。
レジ端末２は、物体のヒストグラムがいずれの色違商品のヒストグラムに対しても所定類似度に達しない場合に物体をいずれの商品であるのか特定しないことを決定する。
これにより、わからない（認識できなかった）ことを最終結果として出力する精度をより向上し、人が認識結果を補正することができる。
なお、サーバ１が実行するこれらの処理の詳細については、図５の機能ブロック図を参照して後述する。

【0036】

図２は、図１の情報処理システムを構成するサーバ１のハードウェア構成を示すブロック図である。

【0037】

サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、バス１０４と、入出力インターフェース１０５と、出力部１０６と、入力部１０７と、記憶部１０８と、通信部１０９と、ドライブ１１０と、を備えている。

【0038】

ＣＰＵ１０１は、ＲＯＭ１０２に記録されているプログラム、又は、記憶部１０８からＲＡＭ１０３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１０３には、ＣＰＵ１０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

【0039】

ＣＰＵ１０１、ＲＯＭ１０２及びＲＡＭ１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インターフェース１０５も接続されている。入出力インターフェース１０５には、出力部１０６、入力部１０７、記憶部１０８、通信部１０９及びドライブ１１０が接続されている。

【0040】

出力部１０６は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。
入力部１０７は、キーボードやマウス、タッチパネル等で構成され、各種情報を入力する。

【0041】

記憶部１０８は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部１０９は、インターネットを含むネットワークＮを介して他の装置（図１の例ではレジ端末２−１乃至２−ｎ）との間で通信を行う。

【0042】

ドライブ１１０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア１２０が適宜装着される。ドライブ１１０によってリムーバブルメディア１２０から読み出されたプログラムは、必要に応じて記憶部１０８にインストールされる。
また、リムーバブルメディア１２０は、記憶部１０８に記憶されている各種データも、記憶部１０８と同様に記憶することができる。

【0043】

図３は、図１の情報処理システムを構成するレジ端末２のハードウェア構成を示すブロック図である。

【0044】

レジ端末２は、ＣＰＵ２０１乃至ドライブ２１１を備えている。
出力部２０６は、ディスプレイ（表示部Ｄ）やスピーカ等で構成され、各種情報を画像や音声として出力する。
撮像部２０８は、１台以上のカメラ等で構成され、商品及び商品の購入者を撮像する。
ＣＰＵ２０１乃至出入力インターフェース２０５、入力部２０７、記憶部２０９及びドライブ２１１の夫々は、図２のＣＰＵ１０１乃至ドライブ１１０の夫々と基本的に同様の機能と構成を有している。従って、これらの説明は省略する。

【0045】

ドライブ２１１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア２２０が適宜装着される。ドライブ２１１によってリムーバブルメディア２２０から読み出されたプログラムは、必要に応じて記憶部２０９にインストールされる。
また、リムーバブルメディア２２０は、記憶部２０９に記憶されている各種データも、記憶部２０９と同様に記憶することができる。

【0046】

図４は、図３のレジ端末２の外観構成の例を示す図である。

【0047】

図４に示すように、レジ端末２は、商品認識エリアＡと、２台のカメラ（撮像部２０８）と、１つ以上の表示部Ｄ（出力部２０６）と、を備える。商品認識エリアＡは、認識対象の商品が載置される領域である。
２つの表示部Ｄのうち一方は、特定された商品の情報や、物体が商品として特定されなかったことを購入者に提示するための購入者用画面を表示する。２つの表示部Ｄのうち他方は、特定された商品の情報や、物体が商品として特定されなかったことを販売者に提示するための販売者用画面を表示する。
なお、図４に示された２台のカメラのうち一方は、商品認識エリアＡを上から見下ろすように設置され、商品認識エリアＡに置かれた商品を上から撮像する。２台カメラのうち他方は、特定された商品の情報や、物体が商品として特定されなかったことを購入者に提示するための購入者用画面を表示する表示部Ｄの上部に設置され、購入者を撮像する。なお、図４の例では、商品を上から撮像するカメラ１台のみが記載されているが、商品を撮像するカメラの角度は図４の例に限定されない。例えば商品を横から撮像することとしてもよい。また、商品を複数の角度から撮像するために２台以上のカメラを設置することとしてもよい。

【0048】

図５は、図２のサーバ１と図３のレジ端末２との機能的構成の一例を示す機能ブロック図である。

【0049】

サーバ１のＣＰＵ（図２）においては、図５に示すように、ＤＢ管理部３０１が機能する。
記憶部１０８（図２）の一領域には、商品ＤＢ４０２が設けられている。

【0050】

ＤＢ管理部３０１は、商品ＤＢ４０２に記憶された商品情報を管理する。

【0051】

レジ端末２のＣＰＵ２０１（図３）においては、図５に示すように、認識ボタン判定部２３０と、画像取得部２２９と、存在認識部２３２と、表示制御部２３４と、認識率算出部２３９と、検証部２３３と、出力制御部２３８と、精算部２３５と、が機能する。

【0052】

認識ボタン判定部２３０は、認識ボタンが押下されたかどうかを判定する。具体的には、認識ボタン判定部２３０は、レジ端末２の表示部Ｄに表示された画面の商品認識ボタンが押下されたかどうかを判定する。

【0053】

画像取得部２２９は、撮像部２０８（図３）によって撮像された、商品認識エリアＡに置かれた物体を取得する。
存在認識部２３２は、上述した所定の画像認識手法を用いて、商品認識エリアＡに置かれた物体の存在を認識する。
表示制御部２３４は、取得された撮像画像及び当該撮像画像に基づいて加工又は創造された画像のうち、少なくとも一部の画像を逐次、購入者及び店員に向けて表示させる制御を実行する。具体的には、表示制御部２３４は、取得された撮像画像及び当該撮像画像に基づいて加工又は創造された画像のうち、少なくとも一部の画像を逐次、出力部２０６（表示部Ｄ）に表示する制御を実行する。

【0054】

認識率算出部２３９は、商品エリアＡに置かれた物体に対する複数の商品候補のそれぞれの認識率を算出する。認識率算出部２３９は、全ての商品候補の認識率が所定の条件（例えば、所定のしきい値）を超えない場合に、商品を特定できない旨を判断してもよい。

【0055】

検証部２３３は、認識率が所定の条件を満たした場合に、物体がいずれの商品候補であるのかを検証する。検証部２３３については後述する。
出力制御部２３８は、検証部２３３による検証結果を出力する制御を実行する。例えば、出力制御部２３８は、図１１に示すように、表示部Ｄに、特定された商品名を出力する制御を実行する。また、例えば、出力制御部２３８は、表示部Ｄに商品を特定できなかった旨を出力する制御を実行する。出力制御部２３８は、特定された商品名及び特定できなかった旨を表示端末３に出力する制御を実行してもよい。

【0056】

精算部２３５は、商品認識エリアＡに置かれた商品を精算する。例えば、精算部２３５は、商品認識エリアＡに置かれた商品の価格を商品ＤＢ情報保持部２４１から読み出して加算して表示部Ｄに表示させることにより、精算を実施することができる。なお、精算部２３５は、特定できなかった商品について、入力部２０７や表示端末３から商品を特定する入力を受け付けることにより、特定された商品として精算することができる。

【0057】

レジ端末２のＣＰＵ（図３）においては、図６に示すように、検証部２３３として、類似特徴点数特定部２５１と、類似商品判定部２５２と、検証結果決定部２５７と、が機能する。

【0058】

類似特徴点数特定部２５１は、物体の特徴を示す特徴点に対する複数の商品候補のそれぞれの類似特徴点の数を特定する。例えば、類似特徴点数特定部２５１は、図１０に示すような商品ごとの特徴点及び局所特徴量を含む商品情報をＤＢ情報保持部２４１から読み出して、物体の特徴点と商品候補に関する商品情報に含まれる特徴点とを比較する。そして、類似特徴点数特定部２５１は、図１１〜１３に示すように、商品候補のそれぞれの類似特徴点の数をリスト化する。

【0059】

具体的には、類似特徴点数特定部２５１は、物体の複数の特徴点及びそれぞれの局所特徴量に対して、商品候補に関する商品情報の複数の特徴点及びそれぞれの局所特徴量について類似する特徴点を決定する。また、類似特徴点数特定部２５１は、決定した特徴点の相対的な位置関係（例えば、座標等）について、物体の平面回転、並進による物体の特徴点との対応関係を比較する。そして、類似特徴点数特定部２５１は、決定した特徴点から、物体の特徴点の位置関係に対応しない特徴点を除去して、その残りの特徴点を類似特徴点として数を特定する。そして、類似特徴点数特定部２５１は、最も類似特徴点の数が多い商品候補を商品に最も類似する商品候補に仮決定する。

【0060】

また、類似特徴点数特定部２５１は、図１４に示すような商品候補に対して類似する商品として予め定められた類似商品（例えば、図１４の類似商品ＩＤ２１で示される商品情報）のデータをＤＢ情報保持部２４１から読み出す。類似特徴点数特定部２５１は、類似特徴点を最も多くもつ商品候補が属する類似商品のリストを作成する。例えば、図１３及び図１４に示すように、類似特徴点を最も多くもつＳＰジュースグレープフルーツ（５００ｍｌ）（商品Ａ）が含まれる類似商品の群として予め定められる類似商品ＩＤ２１が定められた商品情報を類似商品判定部２５２に送るリストとすることができる。

【0061】

類似商品判定部２５２は、類似特徴点を最も多くもつ商品候補に類似する商品として予め定められた類似商品から物体がいずれの商品であるのかを判定する。即ち、類似商品判定部２５２は、類似特徴点数特定部２５１から送られたリストを用いて、予め定められた類似商品のうち、物体がいずれの商品であるのかを判定する。この類似商品判定部２５２として、サイズ違商品特定部２５３と、サイズ比較部２５４と、色違商品特定部２５５と、色比較部２５６と、が機能する。

【0062】

サイズ違商品特定部２５３は、類似特徴点数特定部２５１に送られた類似商品のリストから、サイズ違いとなるサイズ違商品を特定する。例えば、サイズ違商品特定部２５３は、図１４に類似商品ＩＤ２１で示される類似商品のうち、ＳＰジュースグレープフルーツ（５００ｍｌ）と、ＳＰジュースグレープフルーツ（３５０ｍｌ）と、ＳＰジュースオレンジ（５００ｍｌ）と、ＳＰジュースリンゴ（５００ｍｌ）とをサイズ違商品として特定する。

【0063】

サイズ比較部２５４は、物体の大きさとサイズ違商品の大きさとを比較して、物体の大きさがいずれのサイズ違商品の大きさの範囲に属するか判断する。例えば、サイズ比較部２５４は、物体のサイズと、図１４に示すＳＰジュースグレープフルーツ（５００ｍｌ）、ＳＰジュースオレンジ（５００ｍｌ）、ＳＰジュースリンゴ（５００ｍｌ）と、ＳＰジュースグレープフルーツ（３５０ｍｌ）とのいずれの類似商品の大きさの範囲に属するか判断する。なお、サイズ比較部２５４は、類似商品のそれぞれに設定されている大きさを中心値として予め定められた誤差範囲（大きさのしきい値）内に物体の大きさが属するか否かを判断する。ここで、誤差範囲（大きさのしきい値）は、類似商品の間の大きさの違い(大きさの開き)等に基づいて類似商品ごとに予め定められていてもよい。誤差範囲は、商品情報に含まれて商品ＤＢ４０２に格納されていてもよい。

【0064】

色違商品特定部２５５は、特定された商品の色違いとなる色違商品を類似商品から特定する。例えば、色違商品特定部２５５は、図１４に類似商品ＩＤ２１で示される類似商品のうち、シリーズ違いとされている類似商品を色違商品として特定する。色違商品特定部２５５は、図１０に示される商品情報から、色違商品のヒストグラムを取得する。

【0065】

色比較部２５６は、物体のヒストグラムと、色違商品のヒストグラムとを比較して、物体の色がいずれの色違商品に対して類似するかを判断する。具体的には、色比較部２５６は、物体を撮像した撮像画像から、物体のヒストグラムを取得する。また、色比較部２５６は、色違商品特定部２５５から色違商品のヒストグラムを取得する。そして、色比較部２５６は、物体のヒストグラムがいずれの色違商品のヒストグラムに対して所定類似度に達しているか（しきい値以上の類似度であるか）を判断する。 なお、色比較部２５６は、類似商品のそれぞれに設定されているヒストグラムに対して予め定められた類似度のしきい値に物体のヒストグラムが達しているか否かを判断する。ここで、類似度のしきい値は、類似商品の間のヒストグラムの違い(色の違いの開き)等に基づいて類似商品ごとに予め定められていてもよい。類似度のしきい値は、商品情報に含まれて商品ＤＢ４０２に格納されていてもよい。

【0066】

検証結果決定部２５７は、類似特徴点数特定部２５１において特定された類似特徴点の数のうち、最大となる類似特徴点の数が所定数（類似特徴点数のしきい値）を超えていない場合（例えば図１２参照）に、物体をいずれの商品であるのか特定しないことを決定する。また、検証結果決定部２５７は、類似商品判定部２５２において類似商品があり、物体が類似商品のうちいずれの商品であるのかが特定できない場合に、物体をいずれの商品であるのか特定しないことを検証結果として決定する。一方、検証結果決定部２５７は、類似商品（例えば、サイズ違商品及び色違商品）が無い場合、物体が認識率算出部２３９によって特定された商品であることを検証結果として決定する。

【0067】

さらに、検証結果決定部２５７は、サイズ違商品がある場合、サイズ比較部２５４によって物体の大きさが１つのサイズ違商品の大きさの範囲に属すると判断されると、物体が属する１つのサイズ違商品であることを検証結果として決定する。一方、検証結果決定部２５７は、サイズ比較部２５４によって物体の大きさがいずれのサイズ違商品の大きさの範囲にも属さないと判断されると、物体をいずれの商品であるのか特定しないことを検証結果として決定する。

【0068】

さらに、検証結果決定部２５７は、色違商品がある場合、色比較部２５６によって物体のヒストグラムが１つの色違商品のヒストグラムに対して所定類似度に達していると判断すると、物体が属する１つの色違商品であることを検証結果として決定する。一方、検証結果決定部２５７は、色比較部２５６によって物体のヒストグラムがいずれの色違商品のヒストグラムに対しても所定類似度に達していないと判断されると、物体をいずれの商品であるのか特定しないことを検証結果として決定する。検証結果決定部２５７は、決定された結果に基づいて物体を商品として特定する。

【0069】

また、ＤＢ情報保持部２４１は、商品情報を保持する。商品情報は、サーバ１のＤＢ管理部３０１からＤＢ情報保持部２４１に送信される。なお、上述したように、ＤＢ情報保持部２４１によって保持される商品情報は、認識率算出部２３９による認識率の算出と、検証部２３３による検証に用いられる。

【0070】

次に、本発明の情報処理システムにおいて、商品が商品認識エリアＡに置かれてから、商品が精算されるまでの一連の処理（以下、「商品特定処理」と呼ぶ）について説明する。
図７は、図５のサーバ１とレジ端末２とが実行する商品特定処理を説明するフローチャートである。

【0071】

ステップＳ１において、購入者によって物体が商品認識エリアＡに置かれた後、認識ボタンが押下されたかどうかが判断される。認識ボタン判定部２３０は、購入者によって認識ボタンが押下されたかどうかを判定する。

【0072】

ステップＳ１において、認識ボタンの押下が判断されると、ステップＳ１においてＹＥＳと判定され、処理はステップＳ２に進む。これに対して、認識ボタンの押下が確認できない場合には、ステップＳ１においてＮＯと判定されて、認識ボタンが押下されるまで待機する。
ステップＳ２において、撮像部２０８は、レジ端末２の商品認識エリアＡを撮像する。
ステップＳ３において、画像取得部２２９は、レジ端末２の商品認識エリアＡの撮像画像を取得する。画像取得部２２９は、撮像した画像を表示制御部２３４に送る。表示制御部２３４は、画像取得部２２９から送られた撮像画像に基づいて、加工又は創造された画像のうち、少なくとも一部の画像を逐次、購入者及び店員に向けて表示させる制御を実行する。表示制御部２３４は、例えば、動画として撮影した画像を表示させる制御を実行する。

【0073】

ステップＳ４において存在認識部２３２は、商品認識エリアＡを撮像した撮像画像から、物体の存在を認識する。さらに、存在認識部２３２は、商品認識エリアＡを撮像した物体撮像画像から、物体毎の画像領域を特定する。

【0074】

ステップＳ５において、認識率算出部２３９は、商品認識エリアＡに置かれている物体に対する複数の商品候補のそれぞれの認識率を算出する。

【0075】

認識率算出部２３９が商品候補の認識率を算出した結果、認識率が条件を満たしている場合には、ステップＳ６においてＹＥＳと判断され、処理はステップＳ７に進む。一方、認識率が条件を満たしていない場合には、ステップＳ６においてＮＯと判断され、処理はステップＳ８に進む。ここで、認識率の条件とは、最も高い商品候補の認識率が所定の値以上であることをいう。

【0076】

ステップＳ７において、検証部２３３は、物体が特定された商品であるか否かを検証する。
検証部２３３が検証した結果、物体をいずれの商品であるのか特定できない場合、ステップＳ８においてＹＥＳと判断され、処理はステップＳ９に進む。一方、物体が特定された場合、処理はステップＳ１０に進む。また、ステップＳ６において認識率が条件を満たしていない場合、処理はステップＳ９に進む。

【0077】

ステップＳ９において、出力制御部２３８は、物体がいずれの商品であるのか特定できないことを表示部Ｄに出力する。例えば、出力制御部２３８は、図１５に示すように、特定できない物体を「特定不能」として表示部Ｄに表示させる。一方、出力制御部２３８は、特定できた物体について、その商品名等を表示部Ｄに表示する。例えば、出力制御部２３８は、図１５に示すように、特定された物体を商品「ＳＰジュースグレープフルーツ（５００ｍｌ）」として表示部Ｄに表示させる。

【0078】

ステップＳ１０において、出力制御部２３８は、特定された商品の商品名等を表示部Ｄに表示させる。

【0079】

ステップＳ１１において、精算部２３５は、特定された商品について精算する。なお、精算部２３５は、特定できない商品について、入力部２０７や表示端末３から商品を特定する入力を受け付けることにより特定された商品を合わせて精算することができる。

【0080】

次に、本発明の情報処理システムにおいて、物体が特定された商品であるか否かを検証する一連の処理（以下、「検証処理」と呼ぶ）について説明する。
図８及び図９は、図５のサーバ１とレジ端末２とが実行する検証処理を説明するフローチャートである。

【0081】

ステップＳ６１において、類似特徴点数特定部２５１は、物体の特徴を示す特徴点に対する複数の商品候補のそれぞれの類似特徴点の数を特定する。
類似特徴点数特定部２５１の特定の結果、最大となる類似特徴点の数が所定数を超えていると判断されると、ステップＳ６２においてＹＥＳと判断され、処理はステップＳ６３に進む。この際、類似特徴点数特定部２５１は、類似特徴点を最も多くもつ商品候補を商品に最も類似する商品候補として仮決定する。一方、最大となる類似特徴点の数が所定数以下であると判断されると、ステップＳ６２においてＮＯと判断され、処理はステップＳ７３に進む。

【0082】

ステップＳ６３に進む際、類似特徴点数特定部２５１は、仮決定した商品候補に、予め定められた類似商品があるか否かを判断する。類似特徴点数特定部２５１が判断した結果、類似商品があると判断された場合、ステップＳ６３においてＹＥＳと判断され、処理はステップＳ６４に進む。一方、類似特徴点数特定部２５１が判断した結果、類似商品無しと判断された場合、ステップＳ６３においてＮＯと判断され、処理はステップＳ７２に進む。

【0083】

ステップＳ６４において、サイズ違商品特定部２５３は、類似特徴点数特定部２５１から、仮決定された商品候補に類似する予め定められた類似商品のリストを取得する。また、サイズ違商品特定部２５３は、サイズ違いとなるサイズ違商品を類似商品から特定する。例えば、サイズ違商品特定部２５３は、仮決定された商品候補について、類似商品があり且つサイズ違いの商品情報が定められていれば、仮決定された商品候補の商品情報を含め、定められている商品情報を持つ当該商品候補をサイズ違商品として特定する。なお、サイズ違商品特定部２５３は、仮決定された商品候補の商品情報にサイズ違いの商品情報が無ければ、サイズ違商品候補無しと特定してもよい。

【0084】

サイズ違商品特定部２５３による特定の結果、サイズ違商品が特定できた場合、ステップＳ６５においてＹＥＳと判断され、処理はステップＳ６６に進む。一方、サイズ違商品が特定できない場合、ステップＳ６５においてＮＯと判断され、処理はステップＳ６８に進む。

【0085】

ステップＳ６６において、サイズ比較部２５４は、物体の大きさとサイズ違商品の大きさとを比較して、物体の大きさがいずれのサイズ違商品の大きさの範囲に属するか判断する。サイズ比較部２５４は、物体の大きさが大きさの範囲に属する１つのサイズ違商品を特定する。

【0086】

サイズ比較部２５４の判断の結果、物体の大きさが１つのサイズ違商品の大きさのしきい値範囲に属する場合に、ステップＳ６７においてＹＥＳと判断され、処理はステップＳ６８に進む。一方、サイズ比較部２５４の判断の結果、物体の大きさがサイズ違商品の大きさのしきい値範囲のいずれにも属さない場合に、ステップＳ６７においてＮＯと判断され、処理はステップＳ７３に進む。

【0087】

ステップＳ６８において、色違商品特定部２５５は、特定された商品の色違いとなる色違い商品の候補を類似商品から特定する。例えば、色違商品特定部２５５は、仮決定された商品候補の商品情報について、類似商品があり且つ色違いの商品情報が定められていれば、仮決定された商品候補の商品情報を含め、定められている商品情報を持つ当該商品候補を色違商品として特定する。なお、色違商品特定部２５５は、仮決定された商品候補の商品情報に色違いの商品情報が無ければ、色違商品無しと特定してもよい。

【0088】

色違商品特定部２５５による特定の結果、色違商品が特定できた場合、ステップＳ６９においてＹＥＳと判断され、処理はステップＳ７０に進む。一方、色違商品が特定できない場合、ステップＳ６９においてＮＯと判断され、処理はステップＳ７２に進む。

【0089】

ステップＳ７０において、色比較部２５６は、物体のヒストグラムと、色違商品のヒストグラムとを比較して、物体の色がいずれの色違商品に類似するかを判断する。色比較部２５６は、物体のヒストグラムが類似する１つの色違商品を特定する。

【0090】

色比較部２５６の判断の結果、物体のヒストグラムが１つの色違商品のヒストグラムに対して所定の類似度に達している場合に、ステップＳ７１においてＹＥＳと判断され、処理はステップＳ７２に進む。一方、色比較部２５６の判断の結果、物体のヒストグラムがいずれの色違商品のヒストグラムに対しても所定類似度に達しない場合に、ステップＳ７１においてＮＯと判断され、処理はステップＳ７３に進む。

【0091】

ステップＳ７２において、検証結果決定部２５７は、サイズ違商品が無い場合及び色違商品が無い場合に、物体が類似特徴点数を最も多くもつ商品候補であると決定する。また、検証結果決定部２５７は、サイズ違商品が有り、色違商品が無い場合に、物体を範囲内の大きさに含まれるサイズ違商品であると決定する。また、検証結果決定部２５７は、サイズ違商品があり、色違商品がある場合に、物体を大きさの範囲に含まれるサイズ違商品であり、ヒストグラムの所定類似度を達成する色違商品であると決定する。また、検証結果決定部２５７は、サイズ違商品が無く、色違商品がある場合に、物体をヒストグラムの所定類似度を達成する色違商品であると決定する。検証結果決定部２５７は、決定した結果に基づいて物体をいずれの商品であるのか特定する。これにより、検証処理は終了する。

【0092】

ステップＳ７３において、検証結果決定部２５７は、類似特徴点数特定部２５１によって特定された最大となる類似特徴点の数が所定数を超えていない場合に、物体をいずれの商品であるのか特定しないことを決定する。また、検証結果決定部２５７は、サイズ比較部２５４によって判断されたサイズ違商品の大きさの範囲に物体の大きさが属していない場合に、物体をいずれの商品であるのか特定しないことを決定する。また、検証結果決定部２５７は、色比較部２５６によって判断された色違商品のヒストグラムの所定類似度に物体のヒストグラムが達していない場合に、物体をいずれの商品であるのか特定しないことを決定する。検証結果決定部２５７は、決定した結果に基づいて物体をいずれの商品であるのか特定する。これにより、検証処理は終了する。

【0093】

以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

【0094】

例えば、上述のＣＰＵによる画像処理は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）による処理であってもよい。
また、図４に示されたレジ端末２の外観構成は、例示でありこの外観に限定されない。少なくとも商品認識エリアＡ、撮像部２０８、出力部２０６が含まれていればよく、他の構成要素を追加してもよい。また、撮像部２０８の数は、上記実施形態に限定されず、本発明を実施可能であれば、どのような数としてもよい。

【0095】

また、上記実施形態では、サイズ比較部２５４の判断の後に、色比較部２５６の判断をすることとしたが、これに限定されない。即ち、先に色比較部２５６の判断が行われ、その後、サイズ比較部２５４の判断が行われてもよい。また、サイズ比較部２５４又は色比較部２５６のいずれか一方のみを類似商品判定部２５２が備えていてもよい。

【0096】

また、図２及び図３に示すハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
また、図５に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図５の例に限定されない。

【0097】

また、機能ブロックの存在場所も、図５に限定されず、任意でよい。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
例えばレジ端末２の対比部２３１等の少なくとも一部の機能をサーバ１に移譲させることもできる。より具体的には、認識率算出部２３９及び検証部２３３の機能をサーバ１に移譲させ、サーバ１による処理の結果のみをレジ端末２に送信させるようにすることもできる。また逆に、サーバ１のＤＢ管理部３０１等の少なくとも一部の機能をレジ端末２に移譲させることもできる。

【0098】

各機能ブロックの処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。

【0099】

このようなプログラムを含む記録媒体は、各ユーザにプログラムを提供するために装置本体とは別に配布される、リムーバブルメディアにより構成されるだけではなく、装置本体に予め組み込まれた状態で各ユーザに提供される記録媒体等で構成される。

【0100】

以上まとめると、本発明が適用される情報処理システムは、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される情報処理システム（例えば図１の情報処理システム）は、
所定エリア（例えば、図４の商品認識エリアＡ）に置かれた物体が撮像された結果として得られる撮像画像を取得する取得手段（例えば、図５の画像取得部２２９）と、
取得された撮像画像に基づいて、物体の存在を認識する認識手段（例えば、図５の存在認識部２３２）と、
存在が認識された物体に対する複数の商品候補のそれぞれの認識率を算出する認識率算出手段と、（例えば、図５の認識率算出部２３９）と、
認識率が所定の条件を満たした場合に、物体がいずれの商品候補であるのかを検証する検証手段（例えば、図５の検証部２３３）と、
検証結果を出力する制御を実行する出力制御手段（例えば、図５の出力制御部２３８）と、
を備え、
検証手段（例えば、図５の検証部２３３）は、
物体の特徴を示す特徴点に対する複数の商品候補のそれぞれの類似特徴点の数を特定する類似特徴点数特定手段（例えば、図６の類似特徴点数特定部２５１）と、
最大となる類似特徴点の数が所定数を超えていない場合に、物体をいずれの商品であるのか特定しないことを決定する検証結果決定手段（例えば、図６の検証結果決定部２５７）と、
を備える。
これにより、次世代レジシステムで用いるディープラーニングによる物体認識等の認識結果を検証して、わからない（認識できなかった）ことを最終結果として出力し、人が認識結果を補正することができる。

【0101】

また、検証手段（例えば、図６の検証部２３３）は、類似特徴点を最も多くもつ商品候補に類似する商品として予め定められた類似商品から物体がいずれの商品であるのかを判定する類似商品判定手段（例えば、図５の類似商品判定部２５２）を更に備え、
類似特徴点数特定手段（例えば、図６の類似特徴点数特定部２５１）は、予め定められた類似商品があるか否かを判断し、
検証結果決定手段（例えば、図６の検証結果決定部２５７）は、類似商品があり、物体が類似商品のうちいずれの商品であるのかが特定できない場合に、物体をいずれの商品であるのか特定しないことを決定してもよい。
これにより、類似する特徴点をもつ商品候補が複数ある場合には、わからない（認識できなかった）ことを最終結果として出力するので、人が認識結果を補正することができる。

【0102】

また、類似商品判定手段（例えば、図６の類似商品判定部２５２）は、
サイズ違いとなるサイズ違商品を類似商品から特定するサイズ違商品特定手段（例えば、図６のサイズ違商品特定部２５３）と、
物体の大きさとサイズ違商品の大きさとを比較して、物体の大きさがいずれのサイズ違商品の大きさの範囲に属するか判断するサイズ比較手段（例えば、図６のサイズ比較部２５４）と、
を更に備え、
検証結果決定手段（例えば、図６の検証結果決定部２５７）は、物体の大きさがいずれのサイズ違商品の大きさの範囲にも属さない場合に、物体をいずれの商品であるのか特定しないことを決定することができる。
これにより、特定された商品に対して、大きさの異なる類似商品を検証することができ、わからない（認識できなかった）ことを最終結果として出力し、人が認識結果を補正することができる。

【0103】

また、類似商品判定手段（例えば、図６の類似商品判定部２５２）は、
色違いとなる色違商品を類似商品から特定する色違商品特定手段（例えば、図６の色違商品特定部２５５）と、
物体のヒストグラムと色違商品のヒストグラムとを比較して、物体のヒストグラムがいずれの色違商品のヒストグラムに対して類似しているかを判断する色比較手段（例えば、図６の色比較部２５６）と、
を更に備え、
検証結果決定手段（例えば、図６の検証結果決定部２５７）は、物体のヒストグラムがいずれの色違商品のヒストグラムに対しても所定類似度に達していない場合に、物体をいずれの商品であるのか特定しないことを決定してもよい。
これにより、特定された商品に対して、色の異なる類似商品を検証することができ、わからない（認識できなかった）ことを最終結果として出力し、人が認識結果を補正することができる。

【0104】

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に添って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

【0105】

また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものである。

【符号の説明】

【0106】

１・・・ サーバ
２，２−１，２−ｎ・・・ レジ端末
３・・・ 表示端末
１０１・・・ ＣＰＵ
１０２・・・ ＲＯＭ
１０３・・・ ＲＡＭ
１０４・・・ バス
１０５・・・ 入出力インターフェース
１０６・・・ 出力部
１０７・・・ 入力部
１０８・・・ 記憶部
１０９・・・ 通信部
１１０・・・ ドライブ
１２０・・・ リムーバブルメディア
２０１・・・ ＣＰＵ
２０２・・・ ＲＯＭ
２０３・・・ ＲＡＭ
２０４・・・ バス
２０５・・・ 入出力インターフェース
２０６・・・ 出力部
２０７・・・ 入力部
２０８・・・ 撮像部
２０９・・・ 記憶部
２１０・・・ 通信部
２１１・・・ ドライブ
２２０・・・ リムーバブルメディア
２２９・・・ 画像取得部
２３０・・・ 認識ボタン判定部
２３２・・・ 存在認識部
２３３・・・ 検証部
２３４・・・ 表示制御部
２３５・・・ 精算部
２３８・・・ 出力制御部
２３９・・・ 認識率算出部
２４１・・・ ＤＢ情報保持部
２５１・・・ 類似特徴点数特定部
２５２・・・ 類似商品判定部
２５３・・・ サイズ違商品特定部
２５４・・・ サイズ比較部
２５５・・・ 色違商品特定部
２５６・・・ 色比較部
２５７・・・ 検証結果決定部
３０１・・・ ＤＢ管理部
４０２・・・ 商品ＤＢ
Ａ・・・ 商品認識エリア
Ｄ・・・ 表示部
Ｎ・・・ ネットワーク

【要約】

【課題】次世代レジシステムで用いるディープラーニングによる物体認識等の認識結果を検証して、わからない（認識できなかった）ことを最終結果として出力すること。
【解決手段】情報処理システムは、物体がいずれの商品候補であるのかを検証する検証部２３３と、検証結果を出力する制御を実行する出力制御部２３８と、を備え、検証部２３３は、物体の特徴を示す特徴点に対する複数の商品候補のそれぞれの類似特徴点の数を特定する類似特徴点数特定部２５１と、最大となる類似特徴点の数が、所定数を超えていない場合に、物体をいずれの商品であるのか特定しないことを決定する検証結果決定部２５７と、を備える。
【選択図】図５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】