特開 2022-17801 製品判定システム、製品判定方法、及び製品判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022017801

(43)【公開日】2022-01-26

(54)【発明の名称】製品判定システム、製品判定方法、及び製品判定プログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20220119BHJP

   G06K 7/10 20060101ALI20220119BHJP

   B65G 1/137 20060101ALI20220119BHJP

   G06T 7/60 20170101ALI20220119BHJP

【ＦＩ】

G06Q50/10

G06K7/10 136

B65G1/137 A

G06T7/60 180B

G06T7/60 150S

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2020120569

(22)【出願日】2020-07-14

(71)【出願人】

【識別番号】000110217

【氏名又は名称】トッパン・フォームズ株式会社

(74)【代理人】

【識別番号】100094525

【弁理士】

【氏名又は名称】土井 健二

(74)【代理人】

【識別番号】100094514

【弁理士】

【氏名又は名称】林 恒徳

(72)【発明者】

【氏名】松原 裕二

【テーマコード（参考）】

3F522

5L049

5L096

【Ｆターム（参考）】

3F522BB01

3F522CC03

3F522CC08

3F522DD03

3F522DD22

3F522DD32

3F522FF02

3F522FF17

3F522FF24

3F522FF27

3F522FF37

3F522GG16

3F522GG22

3F522GG24

3F522GG33

3F522GG42

3F522GG48

3F522HH02

3F522HH22

3F522LL43

3F522LL58

5L049CC11

5L096BA03

5L096CA02

5L096CA27

5L096DA02

5L096FA52

5L096FA66

5L096GA38

(57)【要約】      （修正有）

【課題】ＲＦＩＤを用いて製品の過不足の判定精度を向上させる製品判定システム、方法及びプログラムを提供する。
【解決手段】製品判定システムにおいて、判定対象となるＲＦタグを貼付した複数の対象製品を撮影装置を用いて撮影する撮影部と、ＲＦＩＤリーダを用いてＲＦタグから識別子を取得するＲＦＩＤ読出部と、撮影部が撮影した画像データを解析し、撮影装置から複数の対象製品それぞれまでの第１距離を推定する画像処理部と、ＲＦＩＤ読出部がＲＦタグから受信した電波の状態に基づき、ＲＦＩＤリーダから複数の対象製品それぞれまでの第２距離を推定するＲＦＩＤ処理部と、第１距離と第２距離とを対応づける距離対応づけを行い、複数の対象製品の全てが対応づけできる場合、判定基準となる複数の製品それぞれの識別子を含む製品リストに含まれる識別子と、複数の対象製品の識別子とを比較し、複数の対象製品の過不足を判定する判定部と、を有する。
【選択図】図５

【特許請求の範囲】

【請求項1】

判定対象となる製品である複数の対象製品を、撮影装置を用いて撮影する撮影部と、
前記複数の対象製品それぞれに貼り付けられているＲＦタグからの電波を、ＲＦＩＤリーダを用いて受信し、前記複数の対象製品それぞれの識別子を取得するＲＦＩＤ読出部と、
前記撮影部が撮影した画像データを解析し、前記撮影装置から前記複数の対象製品それぞれまでの第１距離を推定する画像処理部と、
前記ＲＦＩＤ読出部が前記ＲＦタグから受信した電波の状態に基づき、前記ＲＦＩＤリーダから前記複数の対象製品それぞれまでの第２距離を推定するＲＦＩＤ処理部と、
前記第１距離と前記第２距離とを対応づける距離対応づけを行い、前記距離対応づけにおいて前記複数の対象製品の全てが対応づけできる場合、判定基準となる複数の製品それぞれの識別子を含む製品リストに含まれる識別子と、前記複数の対象製品の識別子とを比較し、前記複数の対象製品の過不足を判定する判定部と、
を有する製品判定システム。

【請求項2】

前記判定部は、前記距離対応づけにおいて、前記複数の対象製品のうちの少なくとも１つが対応づけできない場合、前記対象製品に過不足があると判定する
請求項１記載の製品判定システム。

【請求項3】

前記ＲＦＩＤ処理部は、さらに、製品の外観に関する外観情報を記憶する製品データベースから、前記複数の対象製品それぞれの識別子に対応する外観情報を示す読出外観情報を取得し、
前記画像処理部は、前記解析において、前記複数の対象製品それぞれの外観を推定した推定外観を生成し、
前記判定部は、さらに、前記読出外観情報と前記推定外観とを対応づける外観対応づけを行い、前記距離対応づけ及び前記外観対応づけにおいて前記複数の対象製品の全てが対応づけできる場合、前記製品リストに含まれる識別子と前記複数の対象製品の識別子とを比較する
請求項１記載の製品判定システム。

【請求項4】

前記ＲＦＩＤ処理部は、さらに、製品の外観に関する外観情報を記憶する製品データベースから、前記複数の対象製品それぞれの識別子に対応する外観情報を示す読出外観情報を取得し、
前記画像処理部は、前記解析において、前記複数の対象製品それぞれの外観を推定した推定外観を生成し、
前記判定部は、さらに、前記読出外観情報と前記推定外観とを対応づける外観対応づけを行い、前記複数の対象製品の全てが、前記距離対応づけ又は前記外観対応づけの少なくともいずれか一方において対応づけできる場合、前記製品リストに含まれる識別子と前記対象製品の識別子とを比較する
請求項１記載の製品判定システム。

【請求項5】

前記外観は、製品の色及び形状を含む
請求項３又は４記載の製品判定システム。

【請求項6】

さらに、前記画像処理部が前記第１距離を推定した対象製品の数に基づき、前記画像データの解析が誤っていたか否かを判定し、誤っていたと判定した場合、前記画像データを前記画像処理部が有する前記画像データの解析に使用する画像解析用学習モデルに学習させる学習部を有する
請求項１記載の製品判定システム。

【請求項7】

前記学習部は、対応づけができない前記第１距離又は前記第２距離が存在するとき、前記第１距離又は前記第２距離の推定のいずれか一方が誤っていると判定し、前記第１距離の推定が誤っていると判定した場合、前記画像データを前記画像解析用学習モデルに学習させ、前記第２距離の推定が誤っていると判定した場合、前記受信した電波の状態を前記ＲＦＩＤ処理部が有する前記受信した電波の状況の解析に使用する電波解析用学習モデルに学習させる
請求項６記載の製品判定システム。

【請求項8】

判定対象となる製品である複数の対象製品を、撮影装置を用いて撮影し、
前記複数の対象製品それぞれに貼り付けられているＲＦタグからの電波を、ＲＦＩＤリーダを用いて受信し、前記複数の対象製品それぞれの識別子を取得し、
前記撮影装置が撮影した画像データを解析し、前記撮影装置から前記複数の対象製品それぞれまでの第１距離を推定し、
前記ＲＦＩＤリーダが前記ＲＦタグから受信した電波の状態に基づき、前記ＲＦＩＤリーダから前記複数の対象製品それぞれまでの第２距離を推定し、
前記第１距離と前記第２距離とを対応づける距離対応づけを行い、前記距離対応づけにおいて前記複数の対象製品の全てが対応づけできる場合、判定基準となる複数の製品それぞれの識別子を含む製品リストに含まれる識別子と、前記複数の対象製品の識別子とを比較し、前記複数の対象製品の過不足を判定する
処理をコンピュータに実行させる製品判定方法。

【請求項9】

判定対象となる製品である複数の対象製品を、撮影装置を用いて撮影し、
前記複数の対象製品それぞれに貼り付けられているＲＦタグからの電波を、ＲＦＩＤリーダを用いて受信し、前記複数の対象製品それぞれの識別子を取得し、
前記撮影装置が撮影した画像データを解析し、前記撮影装置から前記複数の対象製品それぞれまでの第１距離を推定し、
前記ＲＦＩＤリーダが前記ＲＦタグから受信した電波の状態に基づき、前記ＲＦＩＤリーダから前記複数の対象製品それぞれまでの第２距離を推定し、
前記第１距離と前記第２距離とを対応づける距離対応づけを行い、前記距離対応づけにおいて前記複数の対象製品の全てが対応づけできる場合、判定基準となる複数の製品それぞれの識別子を含む製品リストに含まれる識別子と、前記複数の対象製品の識別子とを比較し、前記複数の対象製品の過不足を判定する
処理をコンピュータに実行させる製品判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、製品判定システム、製品判定方法、及び製品判定プログラムに関する。

【背景技術】

【0002】

近年、ＲＦＩＤ（Radio-Frequency Identification）を用いた製品管理が増加している。ＲＦＩＤは、製品に貼られたＲＦタグを、専用のリーダから非接触で読み出す技術である。このＲＦＩＤでは、複数のＲＦタグを同時にスキャンすることができる。そのため、管理者は、ＲＦＩＤを管理に使用することで、例えば、バーコードでの管理などに比べ、管理が容易となる。

【0003】

ＲＦＩＤによる製品管理に関する技術は、以下の先行技術文献に開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開2019-219964号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、ＲＦＩＤでの製品管理において、製品までの距離や電波状況によって、一部の製品のＲＦタグの読み出しができない場合がある。また、ＲＦＩＤでの製品管理において、対象の製品以外の製品（例えば、対象の製品の近傍に配置された製品）のＲＦタグを読み出してしまう場合がある。

【0006】

そのため、このような場合、管理者は、製品に過不足があるのか、あるいはＲＦタグの読み込みにおける不具合なのかを、即時に判定することが困難になる。

【0007】

この点、例えば、ＲＦＩＤと製品の重量とを併せて照合することも考えられるが、製品の重量が軽いものと重いものが混在するような場合、正しい照合ができない場合がある。

【0008】

そこで、ＲＦＩＤを用いた製品管理において、製品の過不足の判定精度を向上させる、製品判定システム、製品判定方法、及び製品判定プログラムを提供する。

【課題を解決するための手段】

【0009】

本発明の一つの実施の形態によれば、判定対象となる製品である複数の対象製品を撮影する撮影部と、前記対象製品それぞれに貼り付けられているＲＦタグからの電波を受信し、前記対象製品それぞれの識別子を取得するＲＦＩＤ読出部と、前記撮影部が撮影した画像データを解析し、前記撮影部から前記対象製品それぞれまでの第１距離を推定する画像処理部と、前記ＲＦＩＤ読出部が前記ＲＦタグから受信した電波の状態に基づき、前記ＲＦＩＤ読出部から前記対象製品それぞれまでの第２距離を推定するＲＦＩＤ処理部と、前記第１距離と前記第２距離とを対応づける距離対応づけを行い、前記距離対応づけにおいて全ての対象製品が対応づけできる場合、判定基準となる複数の製品それぞれの識別子を含む製品リストに含まれる識別子と、前記対象製品の識別子とを比較し、前記対象製品の過不足を判定する判定部と、を有する製品判定システムである。

【0010】

また、本発明の一つの実施の形態によれば、前記製品判定システムにおいて、前記判定部は、前記距離対応づけにおいて、全ての対象製品が対応づけできない場合、前記対象製品に過不足があると判定する。

【0011】

また、本発明の一つの実施の形態によれば、前記製品判定システムにおいて、前記ＲＦＩＤ処理部は、さらに、製品の外観に関する外観情報を記憶する製品データベースから、前記対象製品それぞれの識別子に対応する外観情報を示す読出外観情報を取得し、前記画像処理部は、前記解析において、前記対象製品それぞれの外観を推定した推定外観を生成し、前記判定部は、さらに、前記読出外観情報と前記推定外観とを対応づける外観対応づけを行い、前記距離対応づけ及び前記外観対応づけにおいて全ての対象製品が対応づけできる場合、前記対象製品の識別子とを比較する。

【0012】

また、本発明の一つの実施の形態によれば、前記製品判定システムにおいて、前記ＲＦＩＤ処理部は、さらに、製品の外観に関する外観情報を記憶する製品データベースから、前記対象製品それぞれの識別子に対応する外観情報を示す読出外観情報を取得し、前記画像処理部は、前記解析において、前記対象製品それぞれの外観を推定した推定外観を生成し、前記判定部は、さらに、前記読出外観情報と前記推定外観とを対応づける外観対応づけを行い、全ての対象製品が、前記距離対応づけ又は前記外観対応づけの少なくともいずれか一方において対応づけできる場合、前記対象製品の識別子とを比較する。

【0013】

また、本発明の一つの実施の形態によれば、前記製品判定システムにおいて、前記外観は、製品の色及び形状を含む。

【0014】

また、本発明の一つの実施の形態によれば、前記製品判定システムは、前記画像処理部が前記第１距離を推定した対象製品の数に基づき、前記画像データの解析が誤っていたか否かを判定し、誤っていたと判定した場合、前記画像データを学習データとして使用し、前記画像処理部が有する前記画像データの解析に使用する画像解析用学習モデルに学習させる学習部を有する。

【0015】

また、本発明の一つの実施の形態によれば、前記製品判定システムにおいて、前記学習部は、対応づけができない前記第１距離又は前記第２距離が存在するとき、前記第１距離又は前記第２距離の推定のいずれか一方が誤っていると判定し、前記第１距離の推定が誤っていると判定した場合、前記画像データを学習データとして使用し、前記画像解析用学習モデルに学習させ、前記第２距離の推定が誤っていると判定した場合、前記受信した電波の状態を学習データとして使用し、前記ＲＦＩＤ処理部が有する前記受信した電波の状況の解析に使用する電波解析用学習モデルに学習させる。

【発明の効果】

【0016】

上記の本発明の一つの実施の形態によれば、画像データと電波情報の両方の観点から対象製品を認識でき、ＲＦタグの読み出し結果だけでの判定と比較し、対象製品の認識の精度が向上し、対象製品の過不足の判定精度も向上する。

【図面の簡単な説明】

【0017】

【図1】図１は、製品判定システム１の構成例を示す図である。

【図2】図２は、製品判定システム１のソフトウェア構成の例を示す図である。

【図3】図３は、製品判定システム１の構成例を表す図である。

【図4】図４は、製品判定処理のシーケンスの例を示す図である。

【図5】図５は、過不足判定処理Ｓ３０の処理フローチャートの例を示す図である。

【図6】図６は、過不足判定処理Ｓ３０の判定例を示す図である。

【図7】図７は、製品リストの例を示す図である。

【図8】図８は、学習用データ判定処理Ｓ４０の処理フローチャートの例を示す図である。

【図9】図９は、第２の実施の形態における過不足判定処理Ｓ６０の処理フローチャートの例を示す図である。

【発明を実施するための形態】

【0018】

＜製品判定システム１の構成例＞
図１は、製品判定システム１の構成例を示す図である。製品判定システム１は、判定装置１００、カメラ１４０、及びＲＦＩＤリーダ１５０を有する。製品判定システム１は、所定位置に集められた判定の対象となる複数の製品Ｔ１が、収集されるべき製品の識別子を記載した製品リストと比較して、過不足がないか否かを判定する、製品判定処理を実行するシステムである。図１において、集められた製品Ｔ１は７個あり、それぞれの製品Ｔ１にＲＦタグＲ１が貼り付けられている。

【0019】

製品リストは、例えば、これから搬送する製品や、搬入する製品の識別子の一覧である。

【0020】

カメラ１４０は、所定の位置にある複数の製品Ｔ１を撮影する撮影装置である。カメラ１４０は、例えば、画角Ｐ１を撮影することで、所定範囲に位置する複数の製品Ｔ１を画像データに収める。

【0021】

ＲＦＩＤリーダ１５０は、製品に貼り付けられているＲＦタグＲ１を読み出すことで、ＲＦタグのＩＣ（IntegratedCircuit）チップに記憶された情報を読み出す。ＲＦタグＲ１に記憶される情報は、製品Ｔ１に関する情報（以下、製品情報とも呼ぶ）であり、例えば、製品Ｔ１の識別子を含む。ＲＦＩＤリーダ１５０は、ＲＦタグから送信される電波を受信することで、製品情報を読み出す。ＲＦＩＤリーダ１５０は、図１のようなハンディタイプであってもよいし、図示しないゲート内又はデート下に位置する（通過する）製品Ｔ１のＲＦタグＲ１を読み出すゲートタイプであってもよい。

【0022】

ＲＦタグＲ１は、例えば、パッシブタブである。パッシブタブは、バッテリーを搭載せず、ＲＦＩＤリーダ１５０から送信される電波を動力源として、ＲＦＩＤリーダ１５０に電波を送信するタブである。また、ＲＦタグＲ１は、自身が有するバッテリーを動力源として電波を送信するアクティブタブやセミアクティブタブであってもよい。

【0023】

判定装置１００は、製品の過不足を判定する装置であり、例えば、コンピュータやサーバマシンである。判定装置１００は、カメラ１４０が撮影した画像データを取得する。判定装置１００は、画像データについての画像解析を行い、製品の数、製品Ｔ１までの距離、及び製品Ｔ１の外観（色、形状、大きさなど）を推定する。

【0024】

また、判定装置１００は、ＲＦＩＤリーダ１５０から、ＲＦタグ読み出し時の受信電力や、ＲＦタグＲ１から読み出した製品情報を取得する。判定装置１００は、取得した受信電力を使用した電波解析を行い、製品Ｔ１までの距離を推定する。また、判定装置１００は、製品情報に含まれる製品Ｔ１の識別子と、製品の外観に関する情報を格納（記憶）する製品データベースから、製品Ｔ１の外観に関する情報を取得する。

【0025】

また、判定装置１００は、製品リストＬ１を取得する。判定装置１００は、例えば、画像解析で取得した情報と、電波解析及びＲＦタグＲ１の読み出しにより取得した情報と、製品リストＬ１に記載された製品の識別子とに基づき、製品Ｔ１に過不足がないか否かを判定する。

【0026】

＜製品判定システムのソフトウェア構成例＞
図２は、製品判定システム１のソフトウェア構成の例を示す図である。製品判定システム１は、撮影部１０、ＲＦＩＤ読出部２０、画像処理部３０、ＲＦＩＤ処理部４０、及び判定部５０を有する。

【0027】

撮影部１０は、過不足の判定の対象となる製品（以下、対象製品と呼ぶ場合がある）の写真画像を、撮影契機に応じて撮影する、例えば、カメラである。撮影契機は、例えば、対象製品が所定の位置に来たことの検出、又は管理者の操作による撮影要求などである。撮影部１０は、撮影した写真画像の画像データを画像処理部３０に引き渡す。

【0028】

ＲＦＩＤ読出部２０は、対象製品に貼り付けられたＲＦタグ(ＩＣチップ)から、読出契機に応じて製品情報を読み出す、例えば、ＲＦＩＤリーダやゲート装置である。読出契機は、例えば、対象製品が所定の位置に来たことの検出、又は管理者の操作による読出要求などである。また、ＲＦＩＤ読出部２０は、ＲＦタグ読み出し時に受信した電波に関する電波情報（受信電力、位相など）も取得する。ＲＦＩＤ読出部２０は、製品情報と電波情報を、ＲＦＩＤ処理部４０に引き渡す。

【0029】

画像処理部３０は、撮影部１０が撮影した写真画像を解析する。画像処理部３０は、例えば、画像解析用学習モデルを使用し、画像解析を行う。画像処理部３０は、画像解析の結果を、判定部５０に引き渡す。

【0030】

画像処理部３０は、さらに、画像解析用モデル学習部３１、色及び形状推定部３２、及び画像距離推定部３３を有する。

【0031】

画像解析用モデル学習部３１は、必要な学習データを学習させることによって画像解析用学習モデルを生成する。

【0032】

色及び形状推定部３２は、画像解析用学習モデルを使用し、認識した対象製品ごとに、色、形状、大きさなどの外観情報（画像外観情報）を推定する。

【0033】

画像距離推定部３３は、画像解析用学習モデルを使用し、認識した対象製品ごとに、撮影部１０から対象製品までの距離を推定する。以降、画像距離推定部３３が推定する距離を、画像距離と呼ぶ場合がある。

【0034】

なお、いくつの対象製品が画像データに映っているか（対象製品の数）の認識は、色及び形状推定部３２と画像距離推定部３３のいずれが行ってもよい。また、対象製品の数の認識は、色及び形状推定部３２と画像距離推定部３３以外を用いて、画像処理部３０が行ってもよい。

【0035】

ＲＦＩＤ処理部４０は、ＲＦＩＤ読出部２０から取得した電波情報を解析する。ＲＦＩＤ処理部４０は、例えば、電波解析用学習モデルを使用し、電波解析を行う。また、ＲＦＩＤ処理部４０は、ＲＦＩＤ読出部２０が製品のＲＦタグのＩＣチップから取得した製品情報に基づき、対象製品の色、形状、大きさなどの外観情報を、製品データベース（図示しない）から読み出す。製品データベースは、例えば、製品の識別子と、外観情報を対応づけて記憶されている。ＲＦＩＤ処理部４０は、対象製品の外観情報、及び電波解析した結果を、判定部５０に引き渡す。

【0036】

ＲＦＩＤ処理部４０は、さらに、電波解析用モデル学習部４１、電波距離推定部４２、及び外観情報読出部４３を有する。

【0037】

電波解析用モデル学習部４１は、必要な学習データを学習させることによって電波解析用学習モデルを生成する。

【0038】

電波距離推定部４２は、電波解析用学習モデルを使用し、ＲＦＩＤ読出に成功した対象製品ごとに、ＲＦＩＤ読出部２０から対象製品までの距離を推定する。以降、電波距離推定部４２が推定する距離を、電波距離と呼ぶ場合がある。

【0039】

外観情報読出部４３は、製品情報に含まれる識別子に対応する外観情報（読出外観情報）を、製品情報データベースから読み出す。

【0040】

判定部５０は、画像処理部３０から取得した対象製品の画像距離及び外観情報と、ＲＦＩＤ処理部４０から取得した対象製品の電波距離及び外観情報とに基づき、対象製品が製品リストに記載された製品と比較し、過不足がないか否かを判定（過不足判定）する。また、判定部５０は、画像解析用学習モデル及び電波解析用学習モデルの学習に使用するデータの選択を行う。判定部５０は、学習に使用するデータを、画像解析用モデル学習部３１及び電波解析用モデル学習部４１に引き渡す。

【0041】

判定部５０は、過不足判定部５１及び学習用データ判定部５２を有する。

【0042】

過不足判定部５１は、対象製品が製品リストに記載された製品に対して過不足がないか否かを判定する。過不足判定部５１は、画像処理部３０の結果とＲＦＩＤ処理部４０の結果とを、対象製品の識別子と対応づけ、対応づけができた対象製品と、製品リストに記載された製品とを比較することで、対象製品の過不足を判定する。

【0043】

学習用データ判定部５２は、画像処理部３０が行った画像解析とＲＦＩＤ処理部４０が行った電波解析の結果に基づき、いずれの解析が誤っているか、あるいは誤っている可能性が高いかを判定し、誤ったという結果及び当該誤った結果となった元の入力データ（画像データ、電波情報など）を、画像解析用モデル学習部３１及び電波解析用モデル学習部４１に引き渡す。

【0044】

＜製品判定システムのハードウェア構成例＞
図３は、製品判定システム１の構成例を表す図である。製品判定システム１は、ＣＰＵ（CentralProcessing Unit）１１０、ストレージ１２０、メモリ１３０、カメラ１４０、ＲＦＩＤリーダ１５０、及びディスプレイ１６０を有する。

【0045】

ストレージ１２０は、プログラムやデータを記憶する、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）などの補助記憶装置である。ストレージ１２０は、画像処理プログラム１２１、ＲＦＩＤ処理プログラム１２２、撮影プログラム１２３、ＲＦＩＤ読出プログラム１２４、判定プログラム１２５、及びモデル学習プログラム１２６を記憶する。

【0046】

メモリ１３０は、ストレージ１２０に記憶されているプログラムをロードする領域である。また、メモリ１３０は、プログラムがデータを記憶する領域としても使用されてもよい。

【0047】

ＣＰＵ１１０は、ストレージ１２０に記憶されているプログラムを、メモリ１３０にロードし、ロードしたプログラムを実行し、各部を構築し、各処理を実行するプロセッサである。

【0048】

カメラ１４０は、製品を撮影する装置である。カメラ１４０は、例えば、製品判定システム１を構成するコンピュータの外部に接続されてもよいし、コンピュータに内蔵されていてもよい。

【0049】

ＲＦＩＤリーダ１５０は、製品に貼り付けられたＲＦタグが発信する電波を受信し、ＲＦタグの情報（製品情報）を取得する装置である。ＲＦＩＤリーダ１５０は、例えば、製品判定システム１を構成するコンピュータの外部に接続されてもよいし、コンピュータに内蔵されていてもよい。また、ＲＦＩＤリーダ１５０は、ハンディタイプ又はゲートタイプのいずれであってもよい。

【0050】

ディスプレイ１６０は、画像や動画を表示する表示部である。ディスプレイ１６０は、例えば、液晶や有機ＥＬ（ElectroLuminescence）である。ディスプレイ１６０は、例えば、過不足判定の結果を表示する。

【0051】

ＣＰＵ１１０は、画像処理プログラム１２１を実行することで、画像処理部３０を構築し、画像処理を行う。画像処理は、画像データを解析し、画像距離の推定や、製品の色、形状等を推定する処理である。

【0052】

ＣＰＵ１１０は、ＲＦＩＤ処理プログラム１２２を実行することで、ＲＦＩＤ処理部４０を構築し、ＲＦＩＤ処理を行う。ＲＦＩＤ処理は、電波距離の推定や、商品の外観情報の読み出しなどを行う処理である。

【0053】

ＣＰＵ１１０は、撮影プログラム１２３を実行することで、撮影部１０を構築し、撮影処理を行う。撮影処理は、カメラ１４０を使用し、製品を撮影する処理である。

【0054】

ＣＰＵ１１０は、ＲＦＩＤ読出プログラム１２４を実行することで、ＲＦＩＤ読出部２０を構築し、ＲＦＩＤ読出処理を行う。ＲＦＩＤ読出処理は、ＲＦＩＤリーダ１５０を使用し、製品情報を読み出す。また、ＲＦＩＤ読出処理は、ＲＦタグから受信した電波の強度も取得する。

【0055】

ＣＰＵ１１０は、判定プログラム１２５を実行することで、判定部５０を構築し、判定処理を行う。判定処理は、対象製品の過不足判定や、各学習モデルに入力する学習データを選択する処理である。

【0056】

ＣＰＵ１１０は、モデル学習プログラム１２６を実行することで、判定部５０、画像処理部３０、及びＲＦＩＤ処理部４０を構築し、モデル学習処理を行う。モデル学習処理は、画像解析用学習モデル及び電波解析用学習モデルに学習させるデータの選択や、学習データの入力など、各学習モデルの学習に関する処理を行う。

【0057】

［第１の実施の形態］
第１の実施の形態について説明する。第１の実施の形態における、製品判定システム１が実行する製品判定処理について説明する。なお、製品判定処理は、製品過不足判定処理と、モデル学習処理を有する。

【0058】

図４は、製品判定処理のシーケンスの例を示す図である。図４のシーケンスは、製品過不足判定処理における処理Ｓ１０～Ｓ３０と、モデル学習処理における処理Ｓ４０～Ｓ４６とで構成される。以下、各処理について説明する。

【0059】

＜製品過不足判定処理＞
図４のシーケンスを用いて、製品過不足判定処理について説明する。撮影部１０は、撮影契機を検出すると、対象製品を撮影する。撮影部１０は、撮影した対象製品の画像データを、画像処理部３０に引き渡す（Ｓ１０）。

【0060】

画像処理部３０は、画像解析用学習モデルを使用し、画像データの画像解析を行う。画像処理部３０は、画像解析において、写真画像に映る対象製品の数を、画像データから推定する。

【0061】

画像処理部３０は、画像データまたは画像データを画像解析した結果を用いて（Ｓ１１）、色及び形状推定処理を行う（Ｓ１３）。

【0062】

色及び形状推定処理Ｓ１３は、写真画像に映った対象製品の外観を、画像データから推定する処理である。画像処理部３０は、色及び形状推定処理Ｓ１３において、例えば、画像解析用学習モデルを使用する。

【0063】

画像処理部３０は、色及び形状推定処理Ｓ１３において、対象製品の色を推定する。画像処理部３０は、例えば、対象製品の画素ごとに色を特定し、特定した色のうち、最も多く存在する色を、当該対象製品の色として推定する。また、画像処理部３０は、特定した色の存在する割合に応じて、複数の色を、当該対象製品の色として推定してもよい。画像処理部３０は、推定した色を、例えば、「赤」や「青と白」など、色の名称を使用して表してもよい。また、画像処理部３０は、推定した色を、例えば、ＲＧＢ（Red Green Blue）カラーモデルなど、各色の成分（要素）が含まれる割合で表してもよい。画像処理部３０は、製品データベースに記憶されている色に関する情報の表現と、同様の表現で対象製品の色を推定する。

【0064】

また、画像処理部３０は、色及び形状推定処理Ｓ１３において、対象製品の形状を推定する。画像処理部３０は、例えば、対象製品の立体的形状を推定する。立体的形状は、例えば、立方体、直方体、円柱形など、立体における形状である。画像処理部３０は、直方体や円柱形などの場合、縦、横、奥行き、又は直径など、それぞれの比率を推定することで、形状を特定する。画像処理部３０は、製品データベースに記憶されている形状に関する情報の表現と、同様の表現で対象製品の形状を推定する。

【0065】

また、画像処理部３０は、色及び形状推定処理Ｓ１３において、対象製品の大きさを推定する。大きさは、例えば、立方体や直方体などの場合、縦、横、奥行きの長さである。また、大きさは、円柱形の場合、直径や高さである。画像処理部３０は、対象製品の各要素（辺、直径など）の長さを用いて、対象製品の大きさを表す。また、画像処理部３０は、対象製品の大きさを、体積で表してもよい。画像処理部３０は、製品データベースに記憶されている大きさに関する情報の表現と、同様の表現で対象製品の大きさ推定する。なお、対象製品の大きさの推定は、対象製品までの距離（画像距離）が関係するため、以降で説明する画像距離推定処理において実行されてもよい。

【0066】

一方、画像処理部３０は、画像データまたは画像データを画像解析した結果を用いて（Ｓ１１）、画像距離推定処理を行う（Ｓ１４）。

【0067】

画像距離推定処理Ｓ１４は、撮影部１０から写真画像に映った対象製品までの画像距離を、画像データから推定する処理である。画像処理部３０は、画像距離推定処理Ｓ１４において、例えば、画像解析用学習モデルを使用する。

【0068】

画像処理部３０は、画像距離推定処理Ｓ１４において、画像距離を推定する。画像処理部３０は、例えば、対象製品に貼り付けられたＲＦタグを認識し、当該ＲＦタグの大きさから、対象製品までの距離を推定する。なお、ＲＦタグの大きさは、一意に決まっているものとする。また、画像処理部３０は、例えば、写真画像に映る固定された基準物（例えば、床にひかれた線、ゲートなど）の解像度と、対象製品の解像度を比較し、対象製品までの距離を推定してもよい。

【0069】

また、撮影部１０がステレオカメラ（２点から撮影するカメラ）を使用する場合がある。この場合、画像処理部３０は、２枚の画像の画素のずれ（差異）に基づき、対象製品までの距離を算出する。これにより、１枚の画像から推定する場合と比較し、距離推定の精度が向上する。

【0070】

画像処理部３０は、色及び形状推定処理Ｓ１３と、画像距離推定処理Ｓ１４が完了すると、解析結果を判定部５０に引き渡す（Ｓ１５）。

【0071】

一方、ＲＦＩＤ読出部２０は、読出契機を検出すると、対象製品のＲＦタグからの電波を受信し、ＲＦタグに含まれる製品情報を読み出す。ＲＦＩＤ読出部２０は、読み出した製品情報と、ＲＦタグから受信した電波に関する電波情報を、ＲＦＩＤ処理部４０に引き渡す（Ｓ２０）。

【0072】

ＲＦＩＤ処理部４０は、電波解析用学習モデルを使用し、電波情報の解析を行う。ＲＦＩＤ処理部４０は、ＲＦＩＤ読出部２０が、製品情報の読み出しに成功した数を、対象製品の数と判定する。

【0073】

ＲＦＩＤ処理部４０は、電波情報または電波情報を解析した結果を用いて（Ｓ２１）、電波距離推定処理を行う（Ｓ２２）。

【0074】

電波距離推定処理Ｓ２２は、ＲＦＩＤ読出部２０から対象製品のＲＦタグまで（もしくは対象製品まで）の電波距離を推定する処理である。ＲＦＩＤ処理部４０は、電波距離推定処理Ｓ２２において、例えば、電波解析用学習モデルを使用する。

【0075】

ＲＦＩＤ処理部４０は、電波距離推定処理Ｓ２２において、電波情報を用いて、対象製品ごと電波距離を推定する。電波情報は、例えば、受信した電波の受信電力（例えば、RSSI：Received Signal Strength Indicator）が含まれる。ＲＦタグがアクティブタブである場合、ＲＦＩＤ処理部４０は、ＲＦタグの送信電力と受信電力とを比較し、減衰した電力量を算出し、減衰電力量に応じた距離を、電波距離と推定する。

【0076】

また、ＲＦタグがパッシブタイプである場合、ＲＦＩＤ処理部４０は、ＲＦＩＤリーダ１５０の送信電力と受信電力とを比較し、減衰した電力量を算出する。パッシブタイプのＲＦタグは、受信した信号を電力に変換し、電波を送信する。そのため、ＲＦＩＤ処理部４０は、ＲＦタグでの信号の電力への変換の効率などを考慮し、減衰電力量に応じた距離を電波距離と推定する。

【0077】

また、ＲＦＩＤ処理部４０は、電波距離推定処理Ｓ２２において、電波情報を用いて、ＲＦＩＤ読出部２０を基準とした対象製品の位置する方向を推定する。電波情報は、例えば、受信した電波の位相に関する情報が含まれる。ＲＦタグがアクティブタブである場合、ＲＦＩＤ処理部４０は、ＲＦタグが送信する電波の位相と、受信した電波の位相とを比較し、位相の差異から対象製品（もしくはＲＦタグ）の位置する方向を推定する。

【0078】

また、ＲＦタグがパッシブタイプである場合、ＲＦＩＤ処理部４０は、ＲＦタグが送信する電波の位相はＲＦＩＤリーダ１５０が送信する電波の位相と同様であると想定し、ＲＦＩＤリーダ１５０が送信する電波の位相と、受信した受信電力とを比較し、位相の差異から製品（ＲＦタグ）の位置する方向を推定する。

【0079】

一方、ＲＦＩＤ処理部４０は、製品情報に加え、製品データベースＤ１を取得し（Ｓ２３）、外観情報読出処理を行う（Ｓ２４）。

【0080】

外観情報読出処理Ｓ２４は、製品情報に含まれる対象製品の識別子を使用し、製品データベースから、対象製品の外観に関する情報（色、形状、大きさ等）を読み出す処理である。ＲＦＩＤ処理部４０は、外観情報読出処理Ｓ２４において、製品情報に含まれる識別子を製品データベースＤ１から検出し、当該識別子に対応する対象製品の外観情報を読み出す。

【0081】

ＲＦＩＤ処理部４０は、電波距離推定処理Ｓ２２と、外観情報読出処理Ｓ２４を完了すると、解析結果及び外観情報を、判定部５０に引き渡す（Ｓ２５）。

【0082】

判定部５０は、画像処理部３０とＲＦＩＤ処理部４０から解析結果及び外観情報を取得すると（Ｓ１５、Ｓ２５）、過不足判定処理を行う（Ｓ３０）。

【0083】

図５は、過不足判定処理Ｓ３０の処理フローチャートの例を示す図である。判定部５０は、過不足判定処理Ｓ３０において、画像データから特定した対象製品ごとの画像距離を取得する（Ｓ３０－１）。画像距離は、画像処理部３０から取得した解析結果に含まれる。

【0084】

判定部５０は、ＲＦＩＤの読み出しに成功した対処製品の識別子と電波距離を取得する（Ｓ３０－２）。識別子は、製品情報に含まれ、電波距離は、解析結果に含まれる。

【0085】

判定部５０は、画像距離と電波距離を対応づける（Ｓ３０－３）。判定部５０は、ある製品と、その電波距離と同じ又は所定範囲内の画像距離の製品とを対応づけする。判定部５０は、例えば、ある電波距離と所定範囲内で一致する画像距離が複数存在する場合、最も近い製品の画像距離を電波距離に対応する画像距離とする。

【0086】

判定部５０は、全ての対象製品が対応づけできなかった（対応づけできない電波距離または画像距離の対象製品が存在する）場合（Ｓ３０－４のＮｏ）、対象製品に過不足があると判定し（Ｓ３０－６）、処理を終了する。

【0087】

なお、全ての対象製品が対応づけできない要因は、例えば、ＲＦタグの読み出し失敗（余分な製品のＲＦタグを読み出してしまった場合を含む）、電波距離の推定誤り、画像認識の誤り（画像データ中の製品を認識できない、又は製品以外のものを製品と認識してしまう）など、対象製品の過不足以外の要因もあり得る。しかし、例えば、実際に製品に不足があるのか、ＲＦタグの読み出しに失敗しているのかを、即時に判断することは困難である。そこで、判定部５０は、画像解析、ＲＦＩＤ読み出し、電波解析の精度は高いものであり、必ず成功することを前提とし、全ての電波距離と画像距離が対応づけできない場合は、対象製品に過不足があるなどの人為的なミスがあると判定する。人為的なミスは、対象製品の過不足以外に、例えば、対象製品を写真に写らないところに置いてしまったり、対象製品にＲＦタグを貼り付け忘れたりという事象も含む。

【0088】

また、対象製品に余分な製品が混入している場合や、及び対象製品が不足している場合がある。前者の場合、余分な製品のＲＦタグを読めなかった場合、対応づけできない画像距離が存在することとなる。ＲＦタグが読めたか否かだけの判断であれば、ＲＦタグを読み落としてしまうと、前者のような余分な製品がある状態を発見することができない。

【0089】

また、後者の場合、ある製品が対象製品と異なる場所（少し離れた場所）にあるのに、ある製品のＲＦタグを対象製品として読んでしまった場合、対応づけできない電波距離が存在することとなる。ＲＦタグが読めたか否かだけの判断であれば、異なる場所の製品のＲＦタグを読んでしまうと、後者のような不足した製品がある状態を発見することができない。また、ＲＦタグが読めたか否かに加え、ＲＦタグまでの電波距離も考慮して判断する場合でも、電波距離の推定が誤っており、少し離れた場所に製品が位置することを判定できない場合、同じく後者のような不足した製品がある状態を発見することができない。

【0090】

いずれの場合も、全ての対象製品の対応づけができないため、実施例においては、対象製品に過不足がある（対象製品に過不足がある可能性がある）と判定することとする。

【0091】

一方、判定部５０は、全ての対象製品が対応づけできた（対応づけできない電波距離または画像距離が存在しない）場合（Ｓ３０－４のＹｅｓ）、製品リストに記載された製品の識別子と、ＲＦタグから読み出した対象製品の識別子とが、全て一致するか否かを判定する（Ｓ３０－５）。

【0092】

判定部５０は、識別子が全て一致する場合（Ｓ３０－５のＹｅｓ）、対象製品に過不足がないと判定し（Ｓ３０－７）、処理を終了する。

【0093】

一方、判定部５０は、識別子が全て一致しない場合（Ｓ３０－５のＮｏ）、対象製品に過不足があると判定し（Ｓ３０－６）、処理を終了する。

【0094】

図６は、過不足判定処理Ｓ３０の判定例を示す図である。図６（Ａ）右表は、画像処理部３０から取得した画像距離の例を示す図である。「画像Ｎｏ．」は、例えば画像処理部３０で認識した画像の数に応じた番号（画像番号）であり、Ｇｘ（ｘは整数）で示す。「画像距離」は、各番号に対応する画像距離である。図６（Ａ）右表によると、例えば、番号Ｇ１の製品は、画像距離が「ＤＧ１」（ＤＧｘは、距離を表す数値）である。判定部５０は、図５の処理Ｓ３０－１において、図６（Ａ）右表に示す情報を取得する。

【0095】

図６（Ａ）左表は、ＲＦＩＤ処理部４０から取得した識別子と電波距離の対応表の例を示す図である。「ＲＦＮｏ．」は、例えばＲＦＩＤの読み出した対象製品に割り振られた番号（ＲＦ番号）であり、Ｆｘで示す。「ＩＤ」は、各番号に対応する対象製品の識別子である。「電波距離」は、各番号に対応する電波距離である。図６（Ａ）左表によると、例えば、番号Ｆ１の対象製品は、識別子が「１００１」で電波距離が「ＤＦ１」（ＤＦｘは、距離を表す数値）である。判定部５０は、図５の処理Ｓ３０－２において、図６（Ａ）左表に示す情報を取得する。

【0096】

判定部５０は、図５の処理Ｓ３０－３において、電波距離と画像距離を対応づける。判定部５０は、例えば、ＲＦ番号を１つ選択し、当該ＲＦ番号の電波距離と最も近い画像距離の画像番号を検索する。そして、判定部５０は、最も近い画像距離が、当該ＲＦ番号の電波距離との差異が所定範囲内である場合、当該画像番号の画像距離と当該ＲＦ番号の電波距離とは対応すると判定する。そして、判定部５０は、対応づけが済んでいる画像番号を、次の電波距離と対応づけられないよう検索対象から除外し、ＲＦ番号の選択及び検索を全てのＲＦ番号に対して繰り返す。

【0097】

図６（Ａ）では、例えば、判定部５０は、ＲＦ番号Ｆ１を選択し、ＲＦ番号Ｆ１の電波距離ＤＦ１を取得する。判定部５０は、電波距離ＤＦ１と最も近い画像距離ＤＧ１を、検索により見つけ出す。判定部５０は、電波距離ＤＦ１と画像距離ＤＧ１が所定範囲内であることを確認し、ＲＦ番号Ｆ１と画像番号Ｇ１を対応づける。

【0098】

次に、判定部５０は、ＲＦ番号Ｆ２を選択し、ＲＦ番号Ｆ２の電波距離ＤＦ２を取得する。判定部５０は、電波距離ＤＦ２と最も近い画像距離ＤＧ５を、対応づけされている画像番号Ｇ１以外から検索し、見つけ出す。判定部５０は、電波距離ＤＦ２と画像距離ＤＧ５が所定範囲内であることを確認し、ＲＦ番号Ｆ２と画像番号Ｇ５を対応づける。判定部５０は、当該処理をＲＦ番号がなくなるまで繰り返し、図６（Ａ）の矢印に示す対応関係を取得する。

【0099】

図６（Ｂ）では、ＲＦ番号と画像番号の対応関係の例を示す図である。判定部５０は、図６（Ａ）に示す対応関係（矢印）に従い、図６（Ｂ）の対応関係を取得する。判定部５０は、ＲＦ番号と対応する対象製品の識別子も、画像番号と対応づける。すなわち、図６（Ｂ）は、対応づけができた対象製品の識別子の一覧である。

【0100】

図６（Ｂ）の例では、全てのＲＦ番号と画像番号とが対応づけられている。つまり、ＲＦタグ読み出しにより把握された複数の対象製品と、カメラが撮影した画像データにより把握された複数の対象製品が一致したことになり、ＲＦタグ読み出しは複数の対象製品を全て検出したとみなすことができる。

【0101】

図７は、製品リストの例を示す図である。判定部５０は、図６（Ｂ）の対応づけができた対象製品の識別子の一覧（左図）と、製品リストＬ１（右図）の識別子を比較する（図５のＳ３０－５）。判定部５０は、図７において、対応づけができた対象製品の識別子が１００１～１００７であり、製品リストＬ１の製品の識別子が１００１～１００７であり、ともに全く同一（完全一致）の識別子であると判定し（図５のＳ３０－５のＹｅｓ）、対象製品に過不足はないと判定する（図５のＳ３０－７）。

【0102】

図４のシーケンスに戻り、判定部５０は、過不足判定処理Ｓ３０の結果を出力する。判定部５０は、出力において、例えば、出力結果の画像をディスプレイ１６０に表示したり、出力結果をファイル化し、メモリに記憶したりする。

【0103】

第１の実施の形態において、製品判定システム１は、対象製品の画像データの解析より推定した画像距離と、ＲＦＩＤ読み出し時の受信電力により推定した電波距離とを対応づけ、対応づけができた電波距離に対応する対象製品の識別子と、製品リストの製品の識別子とを比較することで、対象製品の過不足を判定することができる。

【0104】

なお、判定部５０は、過不足判定処理Ｓ３０において、全てが対応づけできない（対応づけできない電波距離又は画像距離が存在する）場合（図５のＳ３０－４のＮｏ）、対象製品に過不足があると判定する。

【0105】

対応づけできない電波距離が存在する場合とは、例えば、画像データには映らない製品（例えば、対象製品群の後方の隠れた位置にある製品）のＲＦタグを読み出してしまう場合が想定される。この場合、当該製品の電波距離は、対象製品の電波距離と比べ、非常に長いことが想定される。そこで、判定部５０は、他の製品の電波距離（例えば、電波距離の平均値や想定距離）よりも所定値以上長い電波距離の製品を、対応づけの対象から除外してもよい。想定距離とは、製品過不足判定処理を実行するタイミングで製品群が位置するところまでの距離であり、例えば、ゲートまでの距離である。

【0106】

また、対応づけできない画像距離が存在する場合とは、例えば、ＲＦＩＤを読み出すことができる距離にない製品が、画像データに映ってしまった場合が想定される。この場合、当該製品の画像距離は、対象製品の画像距離と比べ、非常に長いことが想定される。そこで、判定部５０は、他の製品の画像距離（例えば、画像距離の平均値や想定距離）よりも所定値以上長い画像距離の製品を、対応づけの対象から除外してもよい。

【0107】

また、判定部５０は、過不足判定処理Ｓ３０において、対応づけできない電波距離又は画像距離が存在する場合、いきなり対象製品の過不足があると判定する前に、再度の画像データの取得及びＲＦＩＤの読み出しを行い、新たに電波距離及び画像距離を推定しなおしてもよい。

【0108】

＜モデル学習処理＞
次に、図４のシーケンスを用いて、モデル学習処理について説明する。判定部５０は、画像処理部３０から取得した解析結果（Ｓ１５）、及びＲＦＩＤ処理部４０から取得した解析結果（Ｓ２５）に基づき、学習用データ判定処理を行う（Ｓ４０）。

【0109】

図８は、学習用データ判定処理Ｓ４０の処理フローチャートの例を示す図である。判定部５０は、対象製品に過不足があったか否かを確認する（Ｓ４０－１）。判定部５０は、例えば、過不足判定処理Ｓ３０の結果を、処理Ｓ４０－１に流用する。

【0110】

判定部５０は、製品に過不足がないと判定した場合（Ｓ４０－１のＹｅｓ）、画像解析及び電波解析に誤りがなかったと判定し、処理を終了する。

【0111】

一方、判定部５０は、対象製品に過不足があると判定した場合（Ｓ４０－１のＮｏ）、解析誤り判定を行う（Ｓ４０－２）。解析誤り判定処理Ｓ４０－２は、電波解析又は画像解析に誤りがあったか否かを判定する処理である。解析誤り判定処理Ｓ４０－２については、後述する。

【0112】

判定部５０は、画像解析に誤りがあると判定した場合（Ｓ４０－３のＹｅｓ）、画像データと誤った結果（製品数の認識誤り又は画像距離の推定誤りのいずれであるかを示す結果）を、学習データとして画像処理部３０に引き渡す（Ｓ４０－４）。また、判定部５０は、正しい製品数や製品までの距離など、正しい数値が取得可能である場合、正しい数値を画像処理部３０に引き渡してもよい。当該学習データは、画像解析用モデル学習処理に使用される。

【0113】

判定部５０は、画像解析に誤りがなく（Ｓ４０－３のＹｅｓ）、さらに電波解析に誤りがあると判定した場合（Ｓ４０－５のＹｅｓ）、電波情報と誤った結果（電波距離の推定誤りを示す結果）を、ＲＦＩＤ処理部４０に引き渡す（Ｓ４０－６）。また、判定部５０は、正しい製品までの距離など、正しい数値が取得可能である場合、正しい数値をＲＦＩＤ処理部４０に引き渡してもよい。当該学習データは、ＲＦＩＤ解析用モデル学習処理に使用される。

【0114】

一方、判定部５０は、画像解析及び電波解析に誤りがないと判定した場合（Ｓ４０－３のＮｏ、Ｓ４０－５のＮｏ）、処理を終了する。

【0115】

解析誤り判定処理Ｓ４０－２について説明する。画像解析の誤りとしては、製品数の認識誤りと、画像距離の推定誤りがある。また、電波解析の誤りは、電波距離の推定誤りがある。なお、電波解析における製品数は、ＲＦＩＤの読み出しに成功した数であるため、ＡＩの学習対象からは除外する。

【0116】

画像解析における製品数の認識誤りの例は、以下のものがある。例えば、画像データに映っているある製品を、製品として認識できない場合がある。これは、例えば、製品が重なるなどして、ある製品の一部が画像データに映っていないことや、画像データの一部が鮮明でない（ぼやけている、光量が不足している）ことが一因である。この場合、画像解析で認識する製品の数は、実際よりも少なく推定される。

【0117】

また、例えば、画像データに映っている製品以外のものを、製品として認識してしまう場合がある。これは、例えば、他の物の影が画像データに映ったこと、移動する人物など、鮮明でないものが画像データに映ったことが一因である。この場合、画像解析で認識する製品の数は、実際よりも多く推定される。

【0118】

また、例えば、画像データから全く製品を認識できない場合がある。これは、画像データ全体がぼやけていたり、光量が不足していたり、画像データ全体が鮮明でないことが一因である。この場合、画像解析で認識する製品の数は、０となる。

【0119】

画像距離の推定誤りの例としては、以下のものがある。例えば、ある製品の画像距離を、実際より短く又は長く推定してしまう場合がある。これは、例えば、画像データに映るある製品が、他の製品と比べて光量が少ない又は多いなど、他の製品との遠近感が異なることが一因である。この場合、画像距離と電波距離との対応づけで、対応づけができない画像距離の製品が存在する。

【0120】

電波距離の推定誤りの例としては、以下のものがある。例えば、ある製品の電波距離を、実際より短く又は長く推定してしまう場合がある。これは、例えば、ＲＦＩＤリーダ１５０と製品の間に遮蔽物があったり、電波に干渉が発生したりすることで、想定以上に受信電力が小さくなることが一因である。また、これは、ＲＦＩＤリーダ１５０と製品の間に、電波の電力を増強するような反射物があり、想定以上に受信電力が大きくなることが一因である。この場合、画像距離と電波距離との対応づけで、対応づけができない電波距離の製品が存在する。

【0121】

上述した解析誤りを想定し、以下の場合、解析誤りがあったと判定する。なお、画像解析及び電波解析の両方が誤っていることもあり得るが、解析誤り判定処理Ｓ４０－２においては、どちらか一方のみが誤っていることを想定する。解析誤り判定処理Ｓ４０－２において、画像解析に誤りがある判定する例、及び電波解析に誤りがあると判定する例を、以下に示す。以下、画像解析により認識した製品数をＧｘ、ＲＦＩＤ読出による製品数をＲｘ、製品リストに記載された製品数を、Ｌｘと表現する。

【0122】

＜画像解析に誤りがあると判定する例＞
・Ｇｘ＝０
・Ｇｘ≠Ｒｘ
（Ｒｘの精度が高いことが想定される場合。Ｒｘが正しいことが前提。）
・｜Ｇｘ－Ｒｘ｜＞第１閾値
（Ｒｘの精度が高いことが想定される場合。ＲｘとＧｘの差異が大きいほど、Ｇｘが誤っている確率が高い。第１閾値は、Ｒｘの精度が高いほど、小さい値とする。）
・Ｇｘ≠Ｌｘ
（実際の製品数は、Ｌｘと同じである確率が高い（人為的なミスが少ない）ことが想定される場合。Ｌｘは正しいことが前提。）
・Ｇｘ＜Ｌｘ≦Ｒｘ 又は Ｇｘ＞Ｌｘ≧Ｒｘ
（実際の製品数はＬｘと同じである確率が高く、かつＲｘの精度が高いことを想定。ＲｘとＧｘの一方はＬｘより多い値であるのに、もう一方は低い値であることから、少なくとも一方は誤っていると判定。Ｒｘの精度が高いことから、Ｇｘが誤っていると判定。）
・対応づけできない、かつ想定する距離と所定距離以上異なる画像距離がある
（電波距離のほうが、精度が高いことが想定される場合）
＜電波解析に誤りがある例＞
・対応づけできない、かつ想定する距離と所定距離以上異なる電波距離がある
（画像距離のほうが、精度が高いことが想定される場合）
図４のシーケンスに戻り、判定部５０は、学習用データ判定処理Ｓ４０において、画像解析または電波解析に誤りがあったと判定した場合（図８のＳ４０－３のＹｅｓ、又はＳ４０－５のＹｅｓ）、画像処理部３０又はＲＦＩＤ処理部４０に、画像データ、電波情報、誤った結果等の学習データを引き渡す（Ｓ４１、Ｓ４２、図８のＳ４０－４、図８のＳ４０－６）。

【0123】

画像処理部３０は、学習データを取得すると（Ｓ４２）、画像解析用モデル学習処理を行う（Ｓ４３）。画像解析用モデル学習処理Ｓ４３は、画像解析用学習モデルの学習環境に学習データを入力し、画像解析用学習モデルを学習させ、画像解析用学習モデルの画像解析の精度を向上させる処理である。

【0124】

画像処理部３０は、画像解析用モデル学習処理Ｓ４３を実行後、画像解析用学習モデルを、画像解析用モデル学習処理Ｓ４３で学習させたモデルに更新する（Ｓ４５）。

【0125】

一方、ＲＦＩＤ処理部４０は、学習データを取得すると（Ｓ４１）、電波解析用モデル学習処理を行う（Ｓ４４）。電波解析用モデル学習処理Ｓ４４は、電波解析用学習モデルの学習環境に学習データを入力し、電波解析用学習モデルを学習させ、電波解析用学習モデルの電波解析の精度を向上させる処理である。

【0126】

ＲＦＩＤ処理部４０は、電波解析用モデル学習処理Ｓ４４を実行後、電波解析用学習モデルを、電波解析用モデル学習処理Ｓ４４で学習させたモデルに更新する（Ｓ４６）。

【0127】

第１の実施の形態において、製品判定システム１は、学習用データ判定処理Ｓ４０において、画像解析又は電波解析の誤りを検出し、学習モデルを学習させることで、画像解析及び電波解析の精度を向上させることができる。

【0128】

なお、モデル学習における学習データは、解析を誤ったデータ以外に、正しく解析を行えたデータであってもよい。正しく解析を行えたデータは、例えば、上述した。画像解析又は電波解析に誤りがあると判定してデータ以外のデータである。また、モデル学習における学習データは、誤ったデータ及び正しいデータの両方であってもよい。この場合、当該データが解析に誤りがあったデータか、正しく解析されたデータかを示す情報をデータに付随し、学習を行う。

【0129】

［第２の実施の形態］
次に、第２の実施の形態について説明する。第２の実施の形態では、画像解析による製品と、ＲＦＩＤ読み出しによる製品の対応づけを行うとき、画像距離と電波距離との対応づけに加え、画像解析による外観情報と製品データベースから読み出した外観情報との対応づけを行う。これにより、対応づけの精度が向上する。

【0130】

＜過不足判定処理＞
図９は、第２の実施の形態における過不足判定処理Ｓ６０の処理フローチャートの例を示す図である。判定部５０は、過不足判定処理Ｓ６０において、画像データから推定した対象製品ごとの画像距離及び画像外観情報を取得する（Ｓ６０－１）。画像距離及び画像外観情報は、画像処理部３０から取得した解析結果に含まれる。

【0131】

判定部５０は、ＲＦＩＤの読み出しに成功した対象製品の識別子、電波距離、及び読出外観情報を取得する（Ｓ６０－２）。識別子及び読出外観情報は、製品情報に含まれ、電波距離は、解析結果に含まれる。

【0132】

判定部５０は、画像距離と電波距離、及び画像外観情報及び読出外観情報を対応づける（Ｓ６０－３）。判定部５０は、外観情報の対応づけにおいて、例えば、画像外観情報と読出外観情報を比較し、色及び形状が同じ、又は近似していれば、対応づけができると判定する。

【0133】

色は、例えば「赤」「青と白」などの色名で示される場合、色名が同じであれば、対応づけが可能となる。また、色は、例えばＲＧＢカラーモデルなどの色の要素の割合で示される場合、各要素の割合の差異が所定範囲以内である場合、色が近似すると判定し、対応づけが可能となる。

【0134】

形状は、例えば「立方体」「円柱」などの形状名で示される場合、形状名が同じであれば、対応づけが可能となる。また、形状は、形状名に加え、例えば、各辺の長さ、又は長さの比率などで示される場合がある。この場合、形状は、形状名が同じであり、かつ各辺の長さ又は比率の差異が所定範囲以内である場合、形状が近似すると判定し、対応づけが可能となる。

【0135】

判定部５０は、距離による対応づけと、外観による対応づけの、両方で対応づけができた製品を、対応づけができた製品と判定する。また、判定部５０は、距離による対応づけと、外観による対応づけの、少なくとも一方で対応づけができた製品を、対応づけができた製品として判定してもよい。

【0136】

判定部５０は、全ての製品が対応づけできなかった場合（Ｓ６０－４のＮｏ）、対象製品に過不足があると判定し（Ｓ６０－６）、処理を終了する。なお、全ての製品が対応づけできない要因のうち、外観情報に起因するものは、例えば、画像解析による色又は形状の判定を誤った場合がある。

【0137】

一方、判定部５０は、全ての製品が対応づけできた場合（Ｓ６０－４のＹｅｓ）、製品リストに記載された識別子と、ＲＦタグから読み出した識別子とが、全て一致するか否かを判定する（Ｓ６０－５）。

【0138】

判定部５０は、識別子が全て一致する場合（Ｓ６０－５のＹｅｓ）、対象製品に過不足がないと判定し（Ｓ６０－７）、処理を終了する。

【0139】

一方、判定部５０は、識別子が全て一致しない場合（Ｓ６０－５のＮｏ）、対象製品に過不足があると判定し（Ｓ６０－６）、処理を終了する。

【0140】

第２の実施の形態では、判定部５０は、画像データから画像解析した外観情報を対応づけに使用することで、対応づけの精度が向上する。距離による対応づけと外観による対応づけの両方で対応づけができた対象製品を対応づけができた対象製品と判定する場合、距離による対応づけだけを判断材料とする場合と比較し、異なる製品を対応づけしてしまうことを抑制できる。一方、距離による対応づけと外観による対応づけの少なくとも一方で対応づけができた対象製品を対応づけができた対象製品として判定する場合、距離による対応づけだけを判断材料とする場合と比較し、距離の推定が誤ったことにより対応づけができない製品を、外観情報で対応づけできることがあり、対応づけができる対象製品が増加する。

【0141】

［その他の実施の形態］
その他の実施の形態について説明する。第１の実施の形態において、判定部５０は、電波距離と画像距離とを比較し、製品を対応づける。判定部５０は、さらに、製品の方向を比較してもよい。判定部５０は、距離による対応づけに加え、電波解析により推定された方向と画像解析により推定された方向の差異が所定範囲内であれば、対応づけができると判定してもよい。

【0142】

また、図１において、カメラ１４０（撮影部１０）とＲＦＩＤリーダ１５０（ＲＦＩＤ読出部２０）は、ほぼ同じ位置に存在する。そのため、第１の実施の形態における判定部５０は、距離が同じ又は近いものを、対応づけが可能な製品と判定している。しかし、例えば、ＲＦＩＤリーダ１５０が、ゲートであった場合、撮影部１０とＲＦＩＤ読出部２０の位置が異なる場合がある。この場合、判定部５０は、それぞれの位置を基準として、距離や方向を考慮し、対応づけを行う。

【0143】

さらに、第２の実施の形態において、判定部５０は、外観情報の色及び形状を対応づけの要素として使用する。判定部５０は、さらに、製品の大きさも要素として使用してもよい。ただし、画像解析では、距離の推定が誤ると、あわせて大きさの推定も誤る。すなわち、大きさという要素は、距離の推定結果を使用して推定されるため、距離の一要素としてもよい。

【符号の説明】

【0144】

１ ：製品判定システム
１０ ：撮影部
２０ ：ＲＦＩＤ読出部
３０ ：画像処理部
３１ ：画像解析用モデル学習部
３２ ：形状推定部
３３ ：画像距離推定部
４０ ：ＲＦＩＤ処理部
４１ ：電波解析用モデル学習部
４２ ：電波距離推定部
４３ ：外観情報読出部
５０ ：判定部
５１ ：過不足判定部
５２ ：学習用データ判定部
１００ ：判定装置
１１０ ：ＣＰＵ
１２０ ：ストレージ
１２１ ：画像処理プログラム
１２２ ：ＲＦＩＤ処理プログラム
１２３ ：撮影プログラム
１２４ ：ＲＦＩＤ読出プログラム
１２５ ：判定プログラム
１２６ ：モデル学習プログラム
１３０ ：メモリ
１４０ ：カメラ
１５０ ：ＲＦＩＤリーダ
１６０ ：ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】