知財求人 - 知財ポータルサイト「IP Force」
特許7374453学習済みモデル生成方法、学習済みモデル生成装置、商品判別方法、商品判別装置、商品判別システム及び計量装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-27
(45)【発行日】2023-11-07
(54)【発明の名称】学習済みモデル生成方法、学習済みモデル生成装置、商品判別方法、商品判別装置、商品判別システム及び計量装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20231030BHJP
G07G 1/00 20060101ALI20231030BHJP
【ＦＩ】
G06T7/00 350B
G07G1/00 311D
G07G1/00 331C
【請求項の数】
26
(21)【出願番号】P 2019062949
(22)【出願日】2019-03-28
(65)【公開番号】P2020161077
(43)【公開日】2020-10-01
【審査請求日】2022-02-08
(73)【特許権者】
【識別番号】000147833
【氏名又は名称】株式会社イシダ
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100140442
【弁理士】
【氏名又は名称】柴山 健一
(72)【発明者】
【氏名】堤 弘法
(72)【発明者】
【氏名】府中谷 洸介
【審査官】山田 辰美
(56)【参考文献】
【文献】特開２０１７－１１７０１９（ＪＰ，Ａ）
【文献】特開２０１７－１８２６５３（ＪＰ，Ａ）
【文献】特開２０１８－１６９７５２（ＪＰ，Ａ）
【文献】特開２０１３－１１７８６１（ＪＰ，Ａ）
【文献】特開２００２－３２９１８８（ＪＰ，Ａ）
【文献】特開平０９－０４２９３９（ＪＰ，Ａ）
【文献】特開２０１７－０１６２６８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
Ｇ０７Ｇ １／００
(57)【特許請求の範囲】
【請求項1】
学習済みモデル生成方法によって生成された判別モデルを用いて、形状が不定形の商品が含まれる対象画像から前記商品の種類を判別する商品判別方法であって、
前記学習済みモデル生成方法は、
前記商品が含まれる商品画像と、前記商品の種類に係る商品情報とを取得する取得ステップと、
前記商品画像を複数の領域に分割して、複数の分割画像を取得する分割ステップと、
複数の前記分割画像の中から、前記商品の写り込み量に関する所定条件に基づいて所定の前記分割画像を抽出する抽出ステップと、
前記抽出ステップにおいて抽出された複数の前記分割画像に基づいて機械学習を行い、前記商品の種類を判別する判別モデルを生成する生成ステップと、を含み、
前記商品判別方法は、
前記対象画像を複数の領域に分割して、複数の分割対象画像を取得する第１取得ステップと、
複数の前記分割対象画像の中から、前記商品の写り込み量に関する所定条件を満たす複数の前記分割対象画像を取得する第２取得ステップと、
前記第２取得ステップにおいて取得された複数の前記分割対象画像に対して、前記判別モデルによる処理を行った処理結果を取得し、前記処理結果に基づいて前記商品の種類を判別する判別ステップと、を含む、商品判別方法。
【請求項2】
前記抽出ステップでは、複数の前記分割画像の中から、前記所定条件を満たす複数の前記分割画像を抽出し、前記生成ステップでは、前記抽出ステップにおいて抽出された前記分割画像と前記商品情報とを関連付けて機械学習を行い、前記判別モデルを生成する、請求項１に記載の商品判別方法。
【請求項3】
前記抽出ステップでは、前記商品以外の写り込み量が閾値以下となる前記分割画像を抽出する、請求項２に記載の商品判別方法。
【請求項4】
前記抽出ステップでは、前記商品が含まれていない画像に基づく機械学習によって生成された抽出モデルを用いて、複数の前記分割画像のそれぞれについて前記商品を含まない前記分割画像である確からしさを示す非商品尤度を取得し、前記非商品尤度が閾値以下となる前記分割画像を抽出する、請求項２又は３に記載の商品判別方法。
【請求項5】
前記抽出モデルは、前記商品が含まれない非商品画像を取得する第１ステップと、
前記非商品画像を複数の領域に分割して、複数の非商品分割画像を取得する第２ステップと、
複数の前記非商品分割画像に基づいて機械学習を行い、前記抽出モデルを生成する第３ステップと、を含んで生成される、請求項４に記載の商品判別方法。
【請求項6】
前記分割ステップでは、複数の前記分割画像のそれぞれについて、前記領域が矩形状を呈すると共に全て同寸法になるように前記商品画像を分割し、前記第２ステップでは、複数の前記非商品分割画像のそれぞれについて、前記分割画像と同形状及び同寸法となるように前記非商品画像を分割する、請求項５に記載の商品判別方法。
【請求項7】
前記抽出ステップでは、複数の前記分割画像において、前記商品以外の写り込み量が閾値以下となる一の前記分割画像と、前記商品以外の写り込み量が閾値よりも多い他の前記分割画像とを抽出し、一の前記分割画像に対して前記商品情報を対応付けると共に、他の前記分割画像に対して前記商品以外であることを示す非商品情報を対応付け、前記生成ステップでは、前記抽出ステップにおいて抽出された一の前記分割画像及び他の前記分割画像に基づいて機械学習を行い、前記判別モデルを生成する、請求項１に記載の商品判別方法。
【請求項8】
前記分割ステップでは、一の前記分割画像と他の前記分割画像との少なくとも一部が重畳するように前記商品画像を分割する、請求項１～７のいずれか一項に記載の商品判別方法。
【請求項9】
前記分割ステップでは、一の前記領域に対して、前記商品画像の画素の配列方向である第１方向又は前記第１方向に直交する第２方向において他の前記領域が所定量だけ移動するように、前記商品画像を分割する前記領域を設定する、請求項８に記載の商品判別方法。
【請求項10】
前記分割ステップでは、複数の前記分割画像のそれぞれについて、前記領域が矩形状を呈すると共に全て同寸法になるように前記商品画像を分割する、請求項１～５のいずれか一項に記載の商品判別方法。
【請求項11】
前記商品画像と前記商品を含まないベース画像とを比較して、前記商品画像から、少なくとも前記商品の全体が含まれる、前記商品画像よりも小さな商品領域を切り出す切出ステップを含み、前記分割ステップでは、前記商品領域を複数の前記領域に分割して、複数の前記分割画像を取得する、請求項１～１０のいずれか一項に記載の商品判別方法。
【請求項12】
前記第２取得ステップでは、前記商品以外の写り込み量が閾値以下となる前記分割対象画像を取得する、請求項１～１１のいずれか一項に記載の商品判別方法。
【請求項13】
前記第２取得ステップでは、前記商品が含まれていない画像に基づく機械学習によって生成された取得モデルを用いて、複数の前記分割対象画像のそれぞれについて前記商品を含まない前記分割対象画像である確からしさを示す非商品尤度を取得し、前記非商品尤度が閾値以下となる前記分割対象画像を取得する、請求項１～１２のいずれか一項に記載の商品判別方法。
【請求項14】
前記第１取得ステップでは、複数の前記分割対象画像のそれぞれについて、前記領域が矩形状を呈すると共に全て同寸法になるように前記対象画像を分割する、請求項１～１３のいずれか一項に記載の商品判別方法。
【請求項15】
学習済みモデル生成方法によって生成された判別モデルを用いて、形状が不定形の商品が含まれる対象画像から前記商品の種類を判別する商品判別方法であって、
前記学習済みモデル生成方法は、
前記商品が含まれる商品画像と、前記商品の種類に係る商品情報とを取得する取得ステップと、
前記商品画像を複数の領域に分割して、複数の分割画像を取得する分割ステップと、
複数の前記分割画像の中から、前記商品の写り込み量に関する所定条件に基づいて所定の前記分割画像を抽出する抽出ステップと、
前記抽出ステップにおいて抽出された複数の前記分割画像に基づいて機械学習を行い、前記商品の種類を判別する判別モデルを生成する生成ステップと、を含み、
前記抽出ステップでは、複数の前記分割画像において、前記商品以外の写り込み量が閾値以下となる一の前記分割画像と、前記商品以外の写り込み量が閾値よりも多い他の前記分割画像とを抽出し、一の前記分割画像に対して前記商品情報を対応付けると共に、他の前記分割画像に対して前記商品以外であることを示す非商品情報を対応付け、
前記生成ステップでは、前記抽出ステップにおいて抽出された一の前記分割画像及び他の前記分割画像に基づいて機械学習を行い、前記判別モデルを生成し、
前記商品判別方法は、
前記対象画像を複数の領域に分割して、複数の分割対象画像を取得する分割画像取得ステップと、
前記分割画像取得ステップにおいて取得された複数の前記分割対象画像に対して、前記判別モデルによる処理を行った処理結果において、前記商品である確からしさを示す商品尤度と、前記商品以外である確からしさを示す非商品尤度とを取得し、前記商品尤度に基づいて前記商品の種類を判別する判別ステップと、を含む、商品判別方法。
【請求項16】
前記判別ステップでは、複数の前記分割対象画像のそれぞれに対して前記判別モデルによる処理を行って複数の前記処理結果を取得し、複数の前記処理結果に基づいて前記商品の種類を判別する、請求項１～１５のいずれか一項に記載の商品判別方法。
【請求項17】
前記判別ステップでは、前記処理結果に対して、前記商品が一の種類である確からしさを示す商品尤度の度合いの大きさに基づいて重み付けを行い、前記処理結果に対して付与された重み付けの多数決に基づいて、前記商品の種類を判別する、請求項１～１６のいずれか一項に記載の商品判別方法。
【請求項18】
前記判別ステップでは、前記対象画像に複数の前記商品が含まれている場合、複数の前記商品のそれぞれを含む領域毎の前記処理結果に基づいて、複数の前記商品のそれぞれの種類を判別する、請求項１～１７のいずれか一項に記載の商品判別方法。
【請求項19】
学習済みモデル生成装置によって生成された判別モデルを用いて、形状が不定形の商品が含まれる対象画像から前記商品の種類を判別する商品判別装置であって、前記学習済みモデル生成装置は、
前記商品が含まれる商品画像と、前記商品の種類に係る商品情報とを取得する取得部と、
前記商品画像を複数の領域に分割して、複数の分割画像を取得する分割部と、
複数の前記分割画像の中から、前記商品の写り込み量に関する所定条件に基づいて複数の前記分割画像を抽出する抽出部と、
前記抽出部によって抽出された複数の前記分割画像に基づいて機械学習を行い、前記判別モデルを生成する生成部と、を備え、
前記商品判別装置は、
前記対象画像を複数の領域に分割して、複数の分割対象画像を取得する第１取得部と、
複数の前記分割対象画像の中から、前記商品の写り込み量に関する所定条件を満たす複数の前記分割対象画像を取得する第２取得部と、
前記第２取得部によって取得された複数の前記分割対象画像に対して、前記判別モデルによる処理を行った処理結果を取得し、前記処理結果に基づいて前記商品の種類を判別する判別部と、を備える、商品判別装置。
【請求項20】
形状が不定形の商品が含まれる商品画像から前記商品の種類を判別する判別モデルの生成装置と、前記商品が含まれる対象画像から前記商品の種類を判別する判別装置とを備える商品判別システムであって、前記生成装置は、
前記商品画像と、前記商品の種類に係る商品情報とを取得する取得部と、
前記商品画像を複数の領域に分割して、複数の第１分割画像を取得する分割部と、
複数の前記第１分割画像の中から、前記商品の写り込み量に関する所定条件を満たす複数の前記第１分割画像を抽出する抽出部と、
前記抽出部によって抽出された複数の前記第１分割画像と前記商品情報とを関連付けて機械学習を行い、前記判別モデルを生成する生成部と、を備え、
前記判別装置は、
前記対象画像を複数の領域に分割して、複数の第２分割画像を取得する第１取得部と、
複数の前記第２分割画像の中から、前記商品の写り込み量に関する所定条件を満たす複数の前記第２分割画像を取得する第２取得部と、
前記第２取得部によって取得された複数の前記第２分割画像に対して、前記判別モデルによる処理を行った処理結果を取得し、前記処理結果に基づいて前記商品の種類を判別する判別部と、を備える、商品判別システム。
【請求項21】
請求項１９に記載の商品判別装置を用いて、商品が含まれる対象画像から前記商品の種類を判別し、前記商品の価格を算出する計量装置であって、前記商品の重量を計量する計量部と、
前記商品を撮像する撮像部と、
前記撮像部によって撮像された前記対象画像に対して、前記判別モデルによる処理を行った処理結果を取得し、前記処理結果に基づいて前記商品の種類を判別する判別部と、
前記計量部で計量された前記商品の重量と、前記判別部によって判別された前記商品の種類とに基づいて、前記商品の価格を算出する算出部と、を備える、計量装置。
【請求項22】
商品が含まれる商品画像から前記商品の種類を判別する判別モデルの生成方法であって、
前記商品画像と、前記商品の種類に係る商品情報とを取得する取得ステップと、
前記商品画像を複数の領域に分割して、複数の分割画像を取得する分割ステップと、
複数の前記分割画像の中から、前記商品の写り込み量に関する所定条件に基づいて所定の前記分割画像を抽出する抽出ステップと、
前記抽出ステップにおいて抽出された複数の前記分割画像に基づいて機械学習を行い、前記判別モデルを生成する生成ステップと、を含み、
前記抽出ステップでは、複数の前記分割画像において、前記商品以外の写り込み量が閾値以下となる一の前記分割画像と、前記商品以外の写り込み量が閾値よりも多い他の前記分割画像とを抽出し、一の前記分割画像に対して前記商品情報を対応付けると共に、他の前記分割画像に対して前記商品以外であることを示す非商品情報を対応付け、
前記生成ステップでは、前記抽出ステップにおいて抽出された一の前記分割画像及び他の前記分割画像に基づいて機械学習を行い、前記判別モデルを生成する、学習済みモデル生成方法。
【請求項23】
商品が含まれる商品画像から前記商品の種類を判別する判別モデルの生成方法であって、
前記商品画像と、前記商品の種類に係る商品情報とを取得する取得ステップと、
前記商品画像を複数の領域に分割して、複数の分割画像を取得する分割ステップと、
複数の前記分割画像の中から、前記商品の写り込み量に関する所定条件に基づいて所定の前記分割画像を抽出する抽出ステップと、
前記抽出ステップにおいて抽出された複数の前記分割画像に基づいて機械学習を行い、前記判別モデルを生成する生成ステップと、を含み、
前記抽出ステップでは、前記商品が含まれていない画像に基づく機械学習によって生成された抽出モデルを用いて、複数の前記分割画像のそれぞれについて前記商品を含まない前記分割画像である確からしさを示す非商品尤度を取得し、前記非商品尤度が閾値以下となる前記分割画像を抽出し、
前記抽出モデルは、
前記商品が含まれない非商品画像を取得する第１ステップと、
前記非商品画像を複数の領域に分割して、複数の非商品分割画像を取得する第２ステップと、
複数の前記非商品分割画像に基づいて機械学習を行い、前記抽出モデルを生成する第３ステップと、を含んで生成される、学習済みモデル生成方法。
【請求項24】
前記分割ステップでは、複数の前記分割画像のそれぞれについて、前記領域が矩形状を呈すると共に全て同寸法になるように前記商品画像を分割し、
前記第２ステップでは、複数の前記非商品分割画像のそれぞれについて、前記分割画像と同形状及び同寸法となるように前記非商品画像を分割する、請求項２３に記載の学習済みモデル生成方法。
【請求項25】
請求項２２に記載の学習済みモデル生成方法によって生成された判別モデルを用いて、商品が含まれる対象画像から前記商品の種類を判別する判別方法であって、
前記対象画像を複数の領域に分割して、複数の分割対象画像を取得する分割画像取得ステップと、
前記分割画像取得ステップにおいて取得された複数の前記分割対象画像に対して、前記判別モデルによる処理を行った処理結果において、前記商品である確からしさを示す商品尤度と、前記商品以外である確からしさを示す非商品尤度とを取得し、前記商品尤度に基づいて前記商品の種類を判別する判別ステップと、を含む、商品判別方法。
【請求項26】
前記判別ステップでは、前記処理結果に対して、前記商品が一の種類である確からしさを示す商品尤度の度合いの大きさに基づいて重み付けを行い、前記処理結果に対して付与された重み付けの多数決に基づいて、前記商品の種類を判別する、請求項２５に記載の商品判別方法。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習済みモデル生成方法、学習済みモデル生成装置、商品判別方法、商品判別装置及び計量装置に関する。
【背景技術】
【0002】
従来から、商品が含まれる画像に基づいて、商品を判別する方法が知られている。例えば、特許文献１に記載の商品判別方法では、商品の画像の特徴量を抽出し、当該特徴量と学習データ中の特徴量とを比較して、商品の種類を識別している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－６４６２８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
スーパーマーケット等で販売される商品としては、例えば、サラダや惣菜等がある。サラダや惣菜等は、複数の食品が混在していると共に、形状が一定ではない。このように、商品の形状が不定形である場合、商品の特徴量を取得し難い。そのため、商品の判別精度が低下し得る。
【0005】
本発明の一側面は、商品の判別精度の向上が図れる学習済みモデル生成方法、学習済みモデル生成装置、商品判別方法、商品判別装置及び計量装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一側面に係る学習済みモデル生成方法は、商品が含まれる商品画像から商品の種類を判別する判別モデルの生成方法であって、商品画像と、商品の種類に係る商品情報とを取得する取得ステップと、商品画像を複数の領域に分割して、複数の分割画像を取得する分割ステップと、複数の分割画像の中から、商品の写り込み量に関する所定条件に基づいて所定の分割画像を抽出し、抽出ステップにおいて抽出された複数の分割画像と商品情報とを関連付けて機械学習を行い、判別モデルを生成する生成ステップと、を含む。
【0007】
本発明の一側面に係る学習済みモデル生成方法では、複数の分割画像の中から、商品の写り込み量に関する所定条件に基づいて所定の分割画像を抽出する。分割画像には、商品のみが写り込んだ画像、商品及び商品以外のもの（容器、背景等）が写り込んだ画像、及び、商品以外のもののみが写り込んだ画像が含まれる。学習済みモデル生成方法では、このような分割画像の中から、所定条件に基づいて分割画像を抽出して、抽出した分割画像に基づいて機械学習を行う。これにより、学習済みモデル生成方法では、適切な教師画像に基づく機械学習を行える。したがって、学習済みモデル生成方法では、商品の判別精度の向上が図れる判別モデルが生成できる。
【0008】
一実施形態においては、抽出ステップでは、複数の分割画像の中から、所定条件を満たす複数の分割画像を抽出してもよい。この方法では、適切な教師画像に基づく機械学習を行える。したがって、学習済みモデル生成方法では、商品の判別精度の向上が図れる判別モデルが生成できる。
【0009】
一実施形態においては、抽出ステップでは、商品以外の写り込み量が閾値以下となる分割画像を抽出してもよい。言い換えれば、抽出ステップでは、商品の写り込み量が閾値よりも多い分割画像を抽出する。この方法では、商品の占有率が高い分割画像を抽出する。すなわち、学習済みモデル生成方法では、商品以外の容器や背景が写っている分割画像を除外できる。そのため、学習済みモデル生成方法では、商品が写り込んでいる分割画像により機械学習を行うことができる。したがって、学習済みモデル生成方法では、商品の判別精度の向上が図れる判別モデルを生成できる。
【0010】
一実施形態においては、抽出ステップでは、商品が含まれていない画像に基づく機械学習によって生成された抽出モデルを用いて、複数の分割画像のそれぞれについて商品を含まない分割画像である確からしさを示す非商品尤度を取得し、非商品尤度が閾値以下となる分割画像を抽出してもよい。この方法では、商品が写り込んでいる分割画像のみを適切に抽出することができる。
【0011】
一実施形態においては、抽出モデルは、商品が含まれない非商品画像を取得する第１ステップと、非商品画像を複数の領域に分割して、複数の非商品分割画像を取得する第２ステップと、複数の非商品分割画像に基づいて機械学習を行い、抽出モデルを生成する第３ステップと、を含んで生成されてもよい。これにより、学習済みモデル生成方法では、抽出モデルを適切に生成することができる。
【0012】
一実施形態においては、分割ステップでは、複数の分割画像のそれぞれについて、領域が矩形状を呈すると共に全て同寸法になるように商品画像を分割し、第２ステップでは、複数の非商品分割画像のそれぞれについて、分割画像と同形状及び同寸法となるように非商品画像を分割してもよい。この方法では、分割画像と非商品分割画像とが同形状及び同寸法となるため、画像の形状や大きさを変換するための変換処理を行う必要がない。したがって、学習済みモデル生成方法では、処理負荷の軽減が図れる。
【0013】
一実施形態においては、抽出ステップでは、複数の分割画像において、商品以外の写り込み量が閾値以下となる一の分割画像と、商品以外の写り込み量が閾値よりも多い他の分割画像とを抽出し、一の分割画像に対して商品情報を対応付けると共に、他の分割画像に対して商品以外であることを示す非商品情報を対応付け、生成ステップでは、抽出ステップにおいて抽出された一の分割画像及び他の分割画像に基づいて機械学習を行い、判別モデルを生成してもよい。この方法では、商品情報がラベリングされた分割画像及び非商品情報がラベリングされた他の画像に基づいて機械学習を行う。このように、商品が写り込んでいる分割画像と商品の写り込み量が少ない（写り込んでいない）分割画像とに区別（分類）して機械学習を行うため、商品の判別精度の向上が図れる判別モデルを生成できる。
【0014】
一実施形態においては、抽出ステップでは、商品が含まれていない画像の画素の特徴量に基づいて、複数の分割画像の中から、画素の含まれる割合が所定の閾値以下となる分割画像を抽出してもよい。この方法では、商品が写り込んでいる分割画像のみを適切に抽出することができる。
【0015】
一実施形態においては、分割ステップでは、一の分割画像と他の分割画像との少なくとも一部が重畳するように商品画像を分割してもよい。この方法では、商品画像を分割したとき、一の分割画像では商品に含まれる一物品が途切れてしまう場合であっても、他の分割画像では一物品が全て収まることがある。そのため、学習済みモデル生成方法では、適切な教師画像に基づく機械学習を行えるため、商品の判別精度の向上が図れる判別モデルが生成できる。
【0016】
一実施形態においては、分割ステップでは、一の領域に対して、商品画像の画素の配列方向である第１方向又は第１方向に直交する第２方向において他の領域が所定量だけ移動するように、商品画像を分割する領域を設定してもよい。この方法では、領域を所定量だけ移動させることによって、移動方向に並ぶ各領域に各画素が均等の回数含まれように、商品画像を分割することができる。
【0017】
一実施形態においては、分割ステップでは、複数の分割画像のそれぞれについて、領域が矩形状を呈すると共に全て同寸法になるように商品画像を分割してもよい。この方法では、分割画像が全て同形状及び同寸法となるため、画像の形状や大きさを変換するための変換処理を行う必要がない。したがって、学習済みモデル生成方法では、処理負荷の軽減が図れる。
【0018】
一実施形態においては、商品画像と商品を含まないベース画像とを比較して、商品画像から、少なくとも商品の全体が含まれる、商品画像よりも小さな商品領域を切り出す切出ステップを含み、分割ステップでは、商品領域を複数の領域に分割して、複数の分割画像を取得。この方法では、商品画像において商品以外の部分を除外した商品領域を用いて分割するため、不要な領域を分割する必要がない。したがって、学習済みモデル生成方法では、処理負荷の軽減が図れる。
【0019】
本発明の一側面に係る学習済みモデル生成装置は、商品が含まれる商品画像から商品の種類を判別する判別モデルの生成装置であって、商品画像と、商品の種類に係る商品情報とを取得する取得部と、商品画像を複数の領域に分割して、複数の分割画像を取得する分割部と、複数の分割画像の中から、商品の写り込み量に関する所定条件に基づいて複数の分割画像を抽出する抽出部と、抽出部によって抽出された複数の分割画像に基づいて機械学習を行い、判別モデルを生成する生成部と、を備える。
【0020】
本発明の一側面に係る学習済みモデル生成装置では、複数の分割画像の中から、商品の写り込み量に関する所定条件に基づいて所定の分割画像を抽出する。分割画像には、商品のみが写り込んだ画像、商品及び商品以外のもの（容器、背景等）が写り込んだ画像、及び、商品以外のもののみが写り込んだ画像が含まれる。学習済みモデル生成装置では、このような分割画像の中から、所定条件に基づいて分割画像を抽出して、抽出した分割画像に基づいて機械学習を行う。これにより、学習済みモデル生成装置では、適切な教師画像に基づく機械学習を行える。したがって、学習済みモデル生成装置では、商品の判別精度の向上が図れる判別モデルが生成できる。
【0021】
本発明の一側面に係る商品判別方法は、上記の学習済みモデル生成方法によって生成された判別モデルを用いて、商品が含まれる対象画像から商品の種類を判別する判別方法であって、対象画像を複数の領域に分割して、複数の分割対象画像を取得する第１取得ステップと、複数の分割対象画像の中から、商品の写り込み量に関する所定条件を満たす複数の分割対象画像を取得する第２取得ステップと、第２取得ステップにおいて取得された複数の分割対象画像に対して、判別モデルによる処理を行った処理結果を取得し、処理結果に基づいて商品の種類を判別する判別ステップと、を含む。
【0022】
本発明の一側面に係る商品判別方法では、上記の判別モデルを用いて商品の種類を判別する。したがって、商品判別方法では、商品の判別精度の向上が図れる。また、商品判別方法では、複数の分割対象画像の中から、商品の写り込み量に関する所定条件を満たす複数の分割対象画像を抽出する。分割対象画像には、商品のみが写り込んだ画像、商品及び商品以外のもの（容器、背景等）が写り込んだ画像、及び、商品以外のもののみが写り込んだ画像が含まれる。商品判別方法では、このような分割対象画像の中から、所定条件を満たす分割対象画像を取得して、取得した分割対象画像に対して判別モデルによる処理を行う。これにより、商品判別方法では、適切な分割対象画像に基づく処理を行える。したがって、商品判別方法では、商品の判別精度の向上が図れる。
【0023】
一実施形態においては、第２取得ステップでは、商品以外の写り込み量が閾値以下となる分割対象画像を取得してもよい。この方法では、商品の占有率が高い画像を取得する。すなわち、商品以外の容器や背景が写っている画像を除外できる。そのため、商品判別方法では、商品の判別精度の向上が図れる。
【0024】
一実施形態においては、第２取得ステップでは、商品が含まれていない画像に基づく機械学習によって生成された取得モデルを用いて、複数の分割対象画像のそれぞれについて商品を含まない分割対象画像である確からしさを示す非商品尤度を取得し、非商品尤度が閾値以下となる分割対象画像を取得してもよい。この方法では、商品が写り込んでいる分割対象画像のみを適切に取得することができる。
【0025】
一実施形態においては、第１取得ステップでは、複数の分割対象画像のそれぞれについて、領域が矩形状を呈すると共に全て同寸法になるように対象画像を分割してもよい。この方法では、分割対象画像が全て同形状及び同寸法となるため、画像の形状や大きさを変換するための変換処理を行う必要がない。したがって、商品判別方法では、処理負荷の軽減が図れる。
【0026】
本発明の一側面に係る商品判別方法は、上記の学習済みモデル生成方法によって生成された判別モデルを用いて、商品が含まれる対象画像から商品の種類を判別する判別方法であって、対象画像を複数の領域に分割して、複数の分割対象画像を取得する分割画像取得ステップと、分割画像取得ステップにおいて取得された複数の分割対象画像に対して、判別モデルによる処理を行った処理結果において、商品である確からしさを示す商品尤度と、商品以外である確からしさを示す非商品尤度とを取得し、商品尤度に基づいて商品の種類を判別する判別ステップと、を含む。
【0027】
本発明の一側面に係る商品判別方法では、上記の判別モデルを用いて商品の種類を判別する。したがって、商品判別方法では、商品の判別精度の向上が図れる。また、商品判別方法では、判別モデルによる処理を行った処理結果において、商品である確からしさを示す商品尤度と、商品以外である確からしさを示す非商品尤度とを取得し、商品尤度に基づいて商品の種類を判別する。これにより、商品判別方法では、商品の判別精度の向上が図れる。
【0028】
一実施形態においては、判別ステップでは、複数の分割対象画像のそれぞれに対して判別モデルによる処理を行って複数の処理結果を取得し、複数の処理結果に基づいて商品の種類を判別してもよい。この方法では、個々の分割対象画像に対して判別モデルによる処理を行い、複数の処理結果を得るため、商品の判別精度の向上をより一層図れる。
【0029】
一実施形態においては、判別ステップでは、処理結果に対して、商品が一の種類である確からしさを示す商品尤度の度合いの大きさに基づいて重み付けを行い、処理結果に対して付与された重み付けの多数決に基づいて、商品の種類を判別してもよい。この方法では、商品をより精度良く判別することができる。
【0030】
一実施形態においては、判別ステップでは、対象画像に複数の商品が含まれている場合、複数の商品のそれぞれを含む領域毎の処理結果に基づいて、複数の商品のそれぞれの種類を判別してもよい。この方法では、対象画像に含まれる複数の商品のそれぞれについて、種類を判別することができる。
【0031】
本発明の一側面に係る商品判別装置は、上記の学習済みモデル生成方法によって生成された判別モデルを用いて、商品が含まれる対象画像から商品の種類を判別する判別装置であって、対象画像を複数の領域に分割して、複数の分割対象画像を取得する第１取得部と、複数の分割対象画像の中から、商品の写り込み量に関する所定条件を満たす複数の分割対象画像を取得する第２取得部と、第２取得部によって取得された複数の分割対象画像に対して、判別モデルによる処理を行った処理結果を取得し、処理結果に基づいて商品の種類を判別する判別部と、を備える。
【0032】
本発明の一側面に係る商品判別装置では、上記の判別モデルを用いて商品の種類を判別する。したがって、商品判別装置では、商品の判別精度の向上が図れる。また、商品判別装置では、複数の分割対象画像の中から、商品の写り込み量に関する所定条件を満たす複数の分割対象画像を抽出する。分割対象画像には、商品のみが写り込んだ画像、商品及び商品以外のもの（容器、背景等）が写り込んだ画像、及び、商品以外のもののみが写り込んだ画像が含まれる。商品判別装置では、このような分割対象画像の中から、所定条件を満たす分割対象画像を取得して、取得した分割対象画像に対して判別モデルによる処理を行う。これにより、商品判別装置では、適切な分割対象画像に基づく処理を行える。したがって、商品判別装置では、商品の判別精度の向上が図れる。
【0033】
本発明の一側面に係る商品判別システムは、商品が含まれる商品画像から商品の種類を判別する判別モデルの生成装置と、商品が含まれる対象画像から商品の種類を判別する判別装置とを備える商品判別システムであって、生成装置は、商品画像と、商品の種類に係る商品情報とを取得する取得部と、商品画像を複数の領域に分割して、複数の第１分割画像を取得する分割部と、複数の第１分割画像の中から、商品の写り込み量に関する所定条件を満たす複数の第１分割画像を抽出する抽出部と、抽出部によって抽出された複数の第１分割画像と商品情報とを関連付けて機械学習を行い、判別モデルを生成する生成部と、を備え、判別装置は、対象画像を複数の領域に分割して、複数の第２分割画像を取得する第１取得部と、複数の第２分割画像の中から、商品の写り込み量に関する所定条件を満たす複数の第２分割画像を取得する第２取得部と、第２取得部によって取得された複数の第２分割画像に対して、判別モデルによる処理を行った処理結果を取得し、処理結果に基づいて商品の種類を判別する判別部と、を備える。
【0034】
本発明の一側面に係る商品判別システムの生成装置では、複数の分割画像の中から、商品の写り込み量に関する所定条件を満たす複数の第１分割画像を抽出する。第１分割画像には、商品のみが写り込んだ画像、商品及び商品以外のもの（容器、背景等）が写り込んだ画像、及び、商品以外のもののみが写り込んだ画像が含まれる。生成装置では、このような第１分割画像の中から、所定条件を満たす第１分割画像を抽出して、抽出した第１分割画像に基づいて機械学習を行う。これにより、生成装置では、適切な教師画像に基づく機械学習を行える。したがって、生成装置では、商品の判別精度の向上が図れる判別モデルが生成できる。
【0035】
また、商品判別システムの判別装置では、複数の第２分割画像の中から、商品の写り込み量に関する所定条件を満たす複数の分割画像を抽出する。判別装置では、第２分割画像の中から、所定条件を満たす第２分割画像を取得して、取得した第２分割画像に対して判別モデルによる処理を行う。これにより、判別装置では、適切な第２分割画像に基づく処理を行える。したがって、商品判別システムでは、商品の判別精度の向上が図れる。
【0036】
本発明の一側面に係る計量装置は、上記の学習済みモデル生成方法によって生成された判別モデルを用いて、商品が含まれる対象画像から商品の種類を判別し、商品の価格を算出する計量装置であって、商品の重量を計量する計量部と、商品を撮像する撮像部と、撮像部によって撮像された対象画像に対して、判別モデルによる処理を行った処理結果を取得し、処理結果に基づいて商品の種類を判別する判別部と、計量部で計量された商品の重量と、判別部によって判別された商品の種類とに基づいて、商品の価格を算出する算出部と、を備える。
【0037】
本発明の一側面に係る計量装置では、上記の判別モデルを用いて商品の種類を判別する。したがって、計量装置では、商品の判別精度の向上が図れる。
【発明の効果】
【0038】
本発明の一側面によれば、商品の判別精度の向上が図れる。
【図面の簡単な説明】
【0039】
【発明を実施するための形態】
【0040】
以下、添付図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、図面の説明において同一又は相当要素には同一符号を付し、重複する説明は省略する。
【0041】
図１に示されるように、計量システム（商品判別システム）１は、計量機（商品判別装置）１００と、サーバ（学習済みモデル生成装置）２００と、を備えている。計量機１００とサーバ２００とは、通信可能に接続されている。
【0042】
計量機１００は、計量装置２と、制御装置３と、表示装置４と、カメラ（撮像部）５と、を備えている。計量装置２と制御装置３とは、互いに通信可能に接続されている。制御装置３とカメラ５とは、通信可能に接続されている。計量装置２と表示装置４とは、通信可能に接続されている。
【0043】
計量装置２は、電子秤である。計量装置２は、商品Ｓ（図６参照）の重量を計量すると共に、計量した商品Ｓに貼り付けるラベルＬＣを発行する機能を有している。本実施形態では、商品Ｓは、容器Ｐに入れられた食品（サラダ、惣菜）等である。ここで、容器Ｐは、透明な蓋部を有する。蓋部は、有色又は無色であり、光を透過する材料で形成されている。カメラ５は、容器Ｐの蓋部を透過した光を撮像することにより、容器Ｐ中の商品Ｓを撮像する。
【0044】
図２に示されるように、本実施形態では、計量装置２は、筐体１０に収容されている。筐体１０は、収容部１１と、保持部１２と、連結部１３と、を有している。収容部１１は、計量装置２を収容する。収容部１１は、箱状を呈している。収容部１１には、計量装置２の計量部２１の計量台２１ａを露出させる第１開口部１１ａ、及び、計量装置２の操作部２２を露出させる第２開口部１１ｂが設けられている。
【0045】
保持部１２には、制御装置３、カメラ５、第１照明部６及び第２照明部７が配置されている。保持部１２は、収容部１１上に配置されている。制御装置３は、保持部１２上に配置されている。連結部１３は、収容部１１と保持部１２とを連結している。連結部１３は、上下方向に沿って延在している。連結部１３の背面には、表示装置４が配置されている。表示装置４は、例えば、液晶ディスプレイである。表示装置４は、客に対する表示を行う。
【0046】
カメラ５は、計量装置２の計量台２１ａ（後述）の上方において、計量台２１ａに対向する位置に配置されている。カメラ５は、撮像した画像データを制御装置３に出力する。また、カメラ５は、撮像した画像データをサーバ２００に出力する。
【0047】
第１照明部６及び第２照明部７は、例えば、ＬＥＤ照明である。第１照明部６及び第２照明部７は、計量装置２の計量台２１ａの上方において、計量台２１ａに対向する位置に配置されている。第１照明部６と第２照明部７とは、筐体１０の幅方向において、所定の間隔をあけて配置されている。具体的には、第１照明部６と第２照明部７とは、筐体１０の幅方向において、カメラ５を間に挟む位置に配置されている。
【0048】
図３に示されるように、計量装置２は、制御ユニット２０と、計量部２１と、操作部２２と、ラベル発行部２３と、を有している。
【0049】
制御ユニット２０は、計量装置２における各種動作を制御する部分であり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を含んで構成されている。制御ユニット２０は、後述するタッチパネルディスプレイ２２ａの表示を制御する。
【0050】
計量部２１は、計量台２１ａと、図示しないロードセル、信号処理回路、及び送信モジュールと、を含んで構成されている。計量台２１ａは、商品Ｓが載置される。ロードセルは、計量台２１ａの下方に設けられている。ロードセルは、計量台２１ａに被計量物が載置されることにより発生する機械的歪を電気信号に変換する。信号処理回路は、ロードセルから出力される電気信号を増幅してデジタル信号に変換する。送信モジュールは、デジタル信号を制御ユニット２０に出力する。
【0051】
操作部２２は、タッチパネルディスプレイ２２ａと、固定キー２２ｂと、を含んでいる。タッチパネルディスプレイ２２ａには、制御ユニット２０の制御により、計量装置２において計量される商品Ｓに係る情報、計量装置２の操作に必要な基本的な情報等が表示される。固定キー２２ｂには、料金秤として必要な「単価」キー、「定額」キー、「風袋」キー、「印字」キー、及び、「呼出」キー等があり、これらが数字キーと共に適宜配置されている。
【0052】
ラベル発行部２３は、ラベルＬＣを発行する。ラベル発行部２３は、後述する出力部２９から出力された印字情報に基づいて、商品情報を印字して、ラベルＬＣを発行する。本実施形態では、ラベル発行部２３は、いわゆる台紙レスラベルを発行する。
【0053】
制御ユニット２０は、入力部２５と、記憶部２６と、算出部２７と、制御部２８と、出力部２９と、を有している。
【0054】
入力部２５は、制御装置３から出力された番号情報を入力する。入力部２５は、入力した番号情報を算出部２７に出力する。
【0055】
記憶部２６は、商品マスタを記憶している。商品マスタには、商品Ｓに係る商品関連情報を商品Ｓ毎に記憶している。商品マスタは、商品番号と、商品名、単価、定額等とが対応付けられたテーブルである。商品マスタは、更新（変更）可能である。
【0056】
算出部２７は、商品Ｓの価格を算出する。算出部２７は、入力部２５から出力された番号情報を受け取ると、番号情報に含まれる商品番号に基づいて商品マスタを参照する。算出部２７は、商品番号に対応する商品Ｓの単価を商品マスタから取得する。算出部２７は、計量部２１から出力された計量値と、商品の単価とに基づいて、商品Ｓの価格（値段）を算出する。算出部２７は、制御部２８から確定情報を受け取ると、価格を確定して、印字情報をラベル発行部２３に出力する。印字情報には、少なくとも商品名、重量、価格を示す情報が含まれている。また、算出部２７は、算出した価格をタッチパネルディスプレイ２２ａに表示させる表示情報を、タッチパネルディスプレイ２２ａに出力する。
【0057】
制御部２８は、操作部２２の固定キー２２ｂにおいて「印字」キーが押下された場合、算出部２７によって算出された価格を確定させる。制御部２８は、「印字」キーが押下されたと判断した場合には、出力部２９に確定情報を出力する。確定情報は、算出部２７において価格の確定を指示する情報である。出力部２９は、確定情報を算出部２７に出力する。
【0058】
図４に示されるように、制御装置３は、制御ユニット３０と、タッチパネルディスプレイ３１と、を備えている。制御ユニット３０は、タッチパネルディスプレイ３１の表示を制御する。制御装置３は、制御ユニット３０とタッチパネルディスプレイ３１とが一体化されたタブレット端末等であってもよし、コンピュータであってもよい。
【0059】
制御ユニット３０は、制御装置３における各種動作を制御する部分であり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を含んで構成されている。制御ユニット３０は、入力部３２と、判別部（第１取得部、第２取得部）３３と、記憶部３４と、制御部３５と、出力部３６と、を有している。
【0060】
入力部３２は、カメラ５から出力された画像データを入力する。入力部３２は、入力した画像データを判別部３３に出力する。また、入力部３２は、サーバ２００から送信された学習済みモデル（判別モデル、取得モデル）を入力して記憶部３４に記憶させる。
【0061】
判別部３３は、カメラ５によって撮像された対象画像（対象画像データ）に基づいて、計量装置２に載置された商品Ｓの種類を判別する。判別部３３は、入力部３２から出力された対象画像データに基づいて、計量装置２の計量台２１ａに商品Ｓが載置されたことを検出する。具体的には、判別部３３は、入力部３２から出力された対象画像データと、予め記憶されているベース画像（背景画像）との差分（背景差分）に基づいて、商品Ｓが載置されたことを検出する。詳細には、判別部３３は、対象画像データにおいてベース画像からの変化度合が閾値以上である場合には、商品Ｓが載置されたと判断する。
【0062】
判別部３３は、商品Ｓが載置されたと判断した場合、商品Ｓの載置が安定したか否かを判断する。すなわち、判別部３３は、商品Ｓの位置が定まったか否かを判断する。判別部３３は、例えば、連続する対象画像データのフレーム間差分法によって、商品Ｓの載置が安定したか否かを判断する。具体的には、判別部３３は、連続する対象画像データにおいて、フレーム間の差分（例えば、一定以上の画素値の変化が生じた画素の個数）が閾値以下になった場合には、商品Ｓの載置が安定したと判断する。判別部３３は、商品Ｓの載置が安定したと判断した場合、安定したと判断した対象画像データにおける画像に基づいて、商品Ｓを判別する。
【0063】
本実施形態では、判別部３３は、取得モデル及び判別モデルによって商品Ｓの種類を判別する。以下、判別部３３による商品Ｓの種類の商品判別方法について説明する。図５に示されるように、判別部３３は、商品判別方法として、第１取得ステップＳ０１、第２取得ステップＳ０２及び判別ステップＳ０３を行う。
【0064】
判別部３３は、対象画像データを複数の領域に分割して、複数の分割対象画像（第２分割画像）を取得する（第１取得ステップＳ０１：図５）。図６に示されるように、判別部３３は、対象画像データＧ１を複数の領域Ａに分割する。具体的には、判別部３３は、複数の分割対象画像のそれぞれについて、領域Ａが矩形状を呈すると共に全て同寸法になるように対象画像データＧ１を分割する。判別部３３は、一の分割対象画像と他の分割対象画像との少なくとも一部が重畳するように対象画像データＧ１を分割する。詳細には、判別部３３は、一の領域Ａに対して、対象画像データＧ１の画素の配列方向であるＸ方向（第１方向）又はＹ方向（第１方向に直交する第２方向）において他の領域Ａが所定量だけ移動するように、対象画像データＧ１を分割する領域Ａを設定する。所定量は、移動方向における領域Ａの幅を２以上の自然数で分割した幅（１／２、１／３等）に対応する量である。２以上の自然数は、対象画像データＧ１における領域Ａの移動方向の画素数を割り切れる値である。
【0065】
判別部３３は、対象画像データＧ１を分割することにより、図７（ａ）、図７（ｂ）、図７（ｃ）及び図７（ｄ）に示されるように、分割対象画像Ｇ１１，Ｇ１２，Ｇ１３，Ｇ１４等を取得する。分割対象画像Ｇ１１は、商品Ｓ等が写り込んでいない、すなわち背景Ｂのみが写り込んでいる画像である。分割対象画像Ｇ１２は、容器Ｐ及び背景Ｂが写り込んでいる画像である。分割対象画像Ｇ１３は、商品Ｓ、容器Ｐ及び背景Ｂが写り込んでいる画像である。分割対象画像Ｇ１４は、商品Ｓのみが写り込んでいる画像である。
【0066】
判別部３３は、複数の分割対象画像の中から、商品Ｓの写り込み量に関する所定条件を満たす複数の分割対象画像を取得する（第２取得ステップＳ０２：図５）。具体的には、判別部３３は、商品Ｓ以外の写り込み量が閾値以下となる分割対象画像を取得する。言い換えれば、判別部３３は、商品Ｓの写り込み量が閾値よりも多い分割対象画像を取得する。判別部３３は、取得モデルによって、商品Ｓ以外の写り込み量が閾値以下となる分割対象画像を取得する。取得モデルは、ニューラルネットワークＮＷ１を含む。取得モデルは、後述する抽出モデルと同じモデルである。
【0067】
図８に示されるように、取得モデルのニューラルネットワークＮＷ１は、例えば、入力層である第１層と、中間層（隠れ層）である第２層、第３層、及び第４層と、出力層である第５層とで構成される。第１層は、ｐ個のパラメータを要素とする入力値ｘ＝（ｘ０，ｘ１，ｘ２，…ｘｐ）をそのまま第２層に出力する。第２層、第３層、及び第４層のそれぞれは、活性化関数により総入力を出力に変換してその出力を次の層に渡す。第５層も活性化関数により総入力を出力に変換し、この出力は、１個のパラメータを要素とするニューラルネットワークの出力値ｙ＝ｙ０である。
【0068】
本実施形態では、ニューラルネットワークＮＷ１は、分割対象画像Ｇ１１～Ｇ１４の各画素の画素値を入力して、処理結果を示す情報を出力する。ニューラルネットワークＮＷ１の入力層には、分割対象画像Ｇ１１～Ｇ１４の画素数分のニューロンが設けられる。ニューラルネットワークＮＷ１の出力層には、処理結果に係る情報を出力するためのニューロンが設けられる。出力層のニューロンの出力値（非商品尤度）に基づいて、商品Ｓ以外の写り込み量が閾値以下となる分割対象画像を取得することができる。ニューロンの出力値は、例えば、０～１の値である。この場合、ニューロンの値が大きい程（値が１に近い程）、商品Ｓ以外の写り込み量が閾値以下となる分割対象画像である可能性が低く、ニューロンの値が小さい程（値が０に近い程）、商品Ｓ以外の写り込み量が閾値以下となる分割対象画像である可能性が高いことを示している。すなわち、ニューロン値が大きい場合、分割対象画像において背景Ｇ等が占める割合が大きく、ニューロン値が低い場合、分割対象画像において商品Ｓの占める割合が多いことを示している。判別部３３は、ニューラルネットワークＮＷ１から出力されたニューロン値を取得し、ニューロン値が閾値以下となる分割対象画像を取得する。
【0069】
判別部３３は、取得した複数の分割対象画像に対して、判別モデルによって、商品Ｓの種類を判別する（判別ステップＳ０３：図５）。判別モデルは、ニューラルネットワークＮＷ２を含む。
【0070】
図９に示されるように、ニューラルネットワークＮＷ２は、例えば、入力層である第１層と、中間層（隠れ層）である第２層、第３層、及び第４層と、出力層である第５層とで構成される。第１層は、ｐ個のパラメータを要素とする入力値ｘ＝（ｘ０，ｘ１，ｘ２，…ｘｐ）をそのまま第２層に出力する。第２層、第３層、及び第４層のそれぞれは、活性化関数により総入力を出力に変換してその出力を次の層に渡す。第５層も活性化関数により総入力を出力に変換し、この出力は、ｑ個のパラメータを要素とするニューラルネットワークＮＷ２の出力値ｙ＝（ｙ０，ｙ１，…，ｙｑ）である。
【0071】
本実施形態では、ニューラルネットワークＮＷ２は、各分割対象画像の各画素の画素値を入力して、分割対象画像毎に商品Ｓの判別結果を示す情報を出力する。ニューラルネットワークＮＷ２の入力層には、画像の画素数分のニューロンが設けられる。ニューラルネットワークＮＷ２の出力層には、商品Ｓの判別結果に係る情報を出力するためのニューロンが設けられる。出力層のニューロンの出力値（商品尤度）に基づいて、商品Ｓの種類を判別することができる。出力値ｙは、商品Ｓの商品尤度に対応している。例えば、出力値ｙ１が商品Ｓ１の商品尤度に対応し、出力値ｙｉが商品Ｓｉの商品尤度に対応している。ニューロンの出力値は、例えば、０～１の値である。例えば、出力値ｙ１の値が「０．８」の場合には、商品Ｓ１の商品尤度が「０．８」であり、出力値ｙ２の値が「０．２」の場合には、商品Ｓ２の商品尤度が「０．２」である。この場合、ニューロンの値が大きい程（値が１に近い程）、対象画像データＧ１の商品Ｓである可能性が高く、ニューロンの値が小さい程（値が０に近い程）、対象画像データＧ１の商品Ｓである可能性が低いことを示している。すなわち、ニューロン値が大きい場合、商品Ｓである確率が高く、ニューロン値が低い場合、商品Ｓである確率が低いことを示している。
【0072】
判別部３３は、分割対象画像を、判別モデルに入力する。判別部３３は、判別モデルのニューラルネットワークＮＷ２に分割対象画像を入力したことに応じて、各分割対象画像について、ニューラルネットワークＮＷ２から出力された出力値を含む判別結果を取得する。判別結果には、商品マスタに登録されている全ての種類の商品が含まれる。
【0073】
判別部３３は、判別結果に基づいて、候補の商品に対して順位を付ける。具体的には、判別部３３は、各分割対象画像のニューロン値の大きさに基づいて重み付けを行い、判別結果に対して付与された重み付けの多数決に基づいて、商品に順位を付ける。判別部３３は、全ての種類の商品について、商品番号と順位とを対応付けた判別情報を生成する。判別部３３は、判別処理に使用した画像データの画像情報及び判別情報を制御部３５に出力する。
【0074】
制御部３５は、判別部３３から画像情報及び判別情報が出力されると、画像情報及び判別情報をタッチパネルディスプレイ３１に表示させる。制御部３５は、タッチパネルディスプレイ３１において受け付けた入力に基づいて、タッチパネルディスプレイ３１の表示を制御する。具体的には、制御部３５は、タッチパネルディスプレイ３１に表示される一の画面において、画像情報に基づく商品Ｓの画像を表示させる。制御部３５は、一の画面において、判別情報における商品の候補のうち、順位が上位の商品の商品名を表示させる。制御部３５は、判別情報又はタッチパネルディスプレイ３１において受け付けた入力に基づいて、商品番号を示す番号情報を出力部３６に出力する。出力部３６は、番号情報を計量装置２に出力する。
【0075】
記憶部３４は、商品マスタを記憶する。この商品マスタは、計量装置２の記憶部２６に記憶されている商品マスタと同じ内容を含んで構成されている。記憶部３４は、学習済みモデルを記憶する。
【0076】
図１に示されるように、サーバ２００は、通信部２０１と、学習済みモデル生成部（取得部、分割部、抽出部、生成部）２０２と、を備えている。サーバ２００は、機械学習によって学習済モデルを生成する装置である。サーバ２００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成されている。
【0077】
通信部２０１は、計量機１００と通信を行う。通信部２０１は、計量機１００から送信された画像データを受信して、学習済みモデル生成部２０２に出力する。通信部２０１は、学習済みモデル生成部２０２から出力された学習済みモデルを計量機１００に送信する。
【0078】
学習済みモデル生成部２０２は、機械学習に用いる学習データを取得して、取得した学習データを用いて機械学習を行って学習済みモデルを生成する。本実施形態では、学習データは、教師画像である。教師画像は、例えば、計量機１００のカメラ５において取得された画像データである。
【0079】
学習済みモデル生成部２０２は、抽出モデル及び判別モデルを生成する。最初に、抽出モデルの生成方法について説明する。抽出モデルは、上記取得モデルと同一のモデルである。抽出モデルは、商品が含まれていない画像に基づく機械学習によって生成される。以下、学習済みモデル生成部２０２による抽出モデルの生成方法について説明する。図１０に示されるように、学習済みモデル生成部２０２は、抽出モデルの生成方法として、第１ステップＳ１１、第２ステップＳ１２及び第３ステップＳ１３を行う。
【0080】
学習済みモデル生成部２０２は、商品が含まれない非商品画像を教師画像として取得する（第１ステップＳ１１：図１０）。非商品画像には、背景Ｂ及び容器Ｐが含まれ得る。学習済みモデル生成部２０２は、非商品画像を複数の領域に分割して、複数の非商品分割画像を取得する（第２ステップＳ１２：図１０）。図１１に示されるように、学習済みモデル生成部２０２は、非商品画像データＧ２を複数の領域Ａ１に分割する。具体的には、学習済みモデル生成部２０２は、複数の非商品分割画像のそれぞれについて、領域Ａ１が矩形状を呈すると共に全て同寸法になるように非商品画像データＧ２を分割する。学習済みモデル生成部２０２は、一の非商品分割画像と他の非商品分割画像との少なくとも一部が重畳するように非商品画像データＧ２を分割する。詳細には、学習済みモデル生成部２０２は、一の領域Ａ１に対して、非商品画像データＧ２の画素の配列方向であるＸ方向又はＹ方向において他の領域Ａ１が所定量だけ移動するように、非商品画像データＧ２を分割する領域Ａ１を設定する。所定量は、移動方向における領域Ａ１の幅を２以上の自然数で分割した幅に対応する量である。２以上の自然数は、非商品画像データＧ２における領域Ａ１の移動方向の画素数を割り切れる値である。
【0081】
学習済みモデル生成部２０２は、取得した複数の非商品分割画像に基づいて機械学習を行い、抽出モデルを生成する（第３ステップＳ１３：図１０）。機械学習自体は、既知の機械学習アルゴリズムを用いて行うことができる。抽出モデルは、ニューラルネットワークＮＷ１（図８参照）を含む。
【0082】
学習済みモデル生成部２０２は、抽出モデルを用いて、判別モデルを生成する。以下、学習済みモデル生成部２０２による判別モデルの生成方法（学習済みモデル生成方法）について説明する。図１２に示されるように、学習済みモデル生成部２０２は、判別モデルの生成方法として、取得ステップＳ２１、分割ステップＳ２２、抽出ステップＳ２３及び生成ステップＳ２４を行う。
【0083】
学習済みモデル生成部２０２は、商品画像と、商品の種類に係る商品情報とを取得する取得する（取得ステップＳ２１：図１２）。学習済みモデル生成部２０２は、例えば、カメラ５において取得された商品画像データと、商品画像データに含まれる商品（例えば、サラダ）の種類を示す商品情報とを取得する。商品情報は、上記商品マスタに含まれる情報に対応しており、商品番号、商品名等を含む。なお、商品画像は、カメラ５で取得された画像データ以外に、サンプル画像等であってもよい。
【0084】
学習済みモデル生成部２０２は、商品画像データを複数の領域に分割して、複数の分割画像（第１分割画像）を取得する（分割ステップＳ２２：図１２）。図１３に示されるように、学習済みモデル生成部２０２は、商品画像データＧ３を複数の領域Ａ２に分割する。具体的には、学習済みモデル生成部２０２は、複数の分割画像のそれぞれについて、領域Ａ２が矩形状を呈すると共に全て同寸法になるように商品画像データＧ３を分割する。学習済みモデル生成部２０２は、領域Ａ２と領域Ａ１とが同形状及び同寸法となるように、商品画像データＧ３を分割する。学習済みモデル生成部２０２は、一の分割画像と他の分割画像との少なくとも一部が重畳するように商品画像データＧ３を分割する。詳細には、学習済みモデル生成部２０２は、一の領域Ａ２に対して、商品画像データＧ３の画素の配列方向であるＸ方向又はＹ方向において他の領域Ａ２が所定量だけ移動するように、商品画像データＧ３を分割する領域Ａ２を設定する。所定量は、移動方向における領域Ａの幅を２以上の自然数で分割した幅に対応する量である。２以上の自然数は、商品画像データＧ３における領域Ａの移動方向の画素数を割り切れる値である。
【0085】
学習済みモデル生成部２０２は、商品画像データＧ３を分割することにより、図１４（ａ）、図１４（ｂ）、図１４（ｃ）及び図１４（ｄ）に示されるように、分割画像Ｇ３１，Ｇ３２，Ｇ３３，Ｇ３４等を取得する。分割画像Ｇ３１は、商品Ｓ等が写り込んでいない、すなわち背景Ｂのみが写り込んでいる画像である。分割画像Ｇ３２は、容器Ｐ及び背景Ｂが写り込んでいる画像である。分割画像Ｇ３３は、商品Ｓ、容器Ｐ及び背景Ｂが写り込んでいる画像である。分割画像Ｇ３４は、商品Ｓのみが写り込んでいる画像である。
【0086】
学習済みモデル生成部２０２は、複数の分割画像の中から、商品Ｓの写り込み量に関する所定条件を満たす複数の分割画像を取得する（抽出ステップ：Ｓ２３）。具体的には、学習済みモデル生成部２０２は、商品Ｓ以外の写り込み量が閾値以下となる分割画像を取得する。言い換えれば、学習済みモデル生成部２０２は、商品Ｓの写り込み量が閾値よりも多い分割画像を取得する。学習済みモデル生成部２０２は、抽出モデルによって、商品Ｓ以外の写り込み量が閾値以下となる分割画像を取得する。学習済みモデル生成部２０２は、抽出モデルのニューラルネットワークから出力されたニューロン値を取得し、ニューロン値が閾値以下となる分割画像を取得する。学習済みモデル生成部２０２は、取得した分割画像と商品情報（商品の種類（商品名、商品番号等））とを対応付ける。すなわち、学習済みモデル生成部２０２は、取得した分割画像に対して、商品情報をラベリングする。
【0087】
学習済みモデル生成部２０２は、抽出した複数の分割画像と商品情報とを関連付けて機械学習を行い、判別モデルを生成する（生成ステップＳ２４：図１２）。機械学習自体は、既知の機械学習アルゴリズムを用いて行うことができる。学習済みモデル生成部２０２は、図９に示されるように、ニューラルネットワークＮＷ２を含む判別モデルを生成する。判別モデルは、畳み込みニューラルネットワークを含むものであってもよい。更に、判別モデルは、複数の階層（例えば、８層以上）のニューラルネットワークを含むものであってもよい。すなわち、ディープラーニングによって判別モデルが生成されてもよい。学習済みモデル生成部２０２は、所定のタイミングで、取得モデル（抽出モデル）及び判別モデルを通信部２０１に出力する。
【0088】
以上説明したように、本実施形態に係る計量システム１は、商品が含まれる商品画像から商品の種類を判別する判別モデルを生成するサーバ２００と、商品が含まれる対象画像から商品の種類を判別する計量機１００と、を備える。サーバ２００は、学習済みモデル生成部２０２を有する。学習済みモデル生成部２０２は、商品画像と、商品の種類に係る商品情報とを取得し（取得ステップ）、商品画像を複数の領域に分割して、複数の分割画像を取得する（分割ステップ）。学習済みモデル生成部２０２は、複数の分割画像の中から、商品の写り込み量に関する所定条件を満たす複数の分割画像を抽出する（抽出ステップ）。学習済みモデル生成部２０２は、抽出された複数の分割画像と商品情報とを関連付けて機械学習を行い、判別モデルを生成する（生成ステップ）。
【0089】
このように、本実施形態に係る計量システム１では、サーバ２００の学習済みモデル生成部２０２は、複数の分割画像の中から、商品の写り込み量に関する所定条件を満たす複数の分割画像を抽出する。分割画像には、商品のみが写り込んだ画像、商品及び商品以外のもの（容器、背景等）が写り込んだ画像、及び、商品以外のもののみが写り込んだ画像が含まれる。学習済みモデル生成部２０２では、このような分割画像の中から、所定条件を満たす分割画像を抽出して、抽出した分割画像に基づいて機械学習を行う。これにより、学習済みモデル生成部２０２では、適切な教師画像に基づく機械学習を行える。したがって、サーバ２００では、商品の判別精度の向上が図れる判別モデルが生成できる。
【0090】
また、本実施形態に係る計量システム１では、制御装置３は、判別部３３を有する。判別部３３は、対象画像を複数の領域に分割して複数の分割対象画像を取得し（第１取得ステップ）、複数の分割対象画像の中から、商品の写り込み量に関する所定条件を満たす複数の分割対象画像を取得する（第２取得ステップ）。判別部３３は、取得した複数の分割対象画像に対して、判別モデルによる処理を行った処理結果を取得し、処理結果に基づいて商品の種類を判別する（判別ステップ）。
【0091】
このように、本実施形態に係る計量システム１では、制御装置３の判別部３３は、複数の分割対象画像の中から、商品の写り込み量に関する所定条件を満たす複数の分割対象画像を抽出する。判別部３３は、分割対象画像の中から、所定条件を満たす分割対象画像を取得して、取得した分割対象画像に対して判別モデルによる処理を行う。これにより、計量機１００では、適切な分割対象画像に基づく処理を行える。したがって、計量システム１では、商品の判別精度の向上が図れる。
【0092】
本実施形態に係る計量システム１では、サーバ２００の学習済みモデル生成部２０２は、商品以外の写り込み量が閾値以下となる分割画像を抽出する。言い換えれば、学習済みモデル生成部２０２は、商品の写り込み量が閾値よりも多い分割画像を抽出する。この方法では、商品の占有率が高い分割画像を抽出する。すなわち、計量システム１では、商品以外の容器や背景が写っている分割画像を除外できる。そのため、計量システム１では、商品が写り込んでいる分割画像により機械学習を行うことができる。したがって、計量システム１では、商品の判別精度の向上が図れる判別モデルを生成できる。
【0093】
本実施形態に係る計量システム１では、学習済みモデル生成部２０２は、商品が含まれていない画像に基づく機械学習によって生成された抽出モデルを用いて、複数の分割画像のそれぞれについて商品を含まない分割画像である確からしさを示すニューロン値を取得し、ニューロン値が閾値以下となる分割画像を抽出する。この方法では、商品が写り込んでいる分割画像のみを適切に抽出することができる。
【0094】
本実施形態に係る計量システム１では、学習済みモデル生成部２０２は、商品が含まれない非商品画像を取得し、非商品画像を複数の領域に分割して、複数の非商品分割画像を取得する。学習済みモデル生成部２０２は、複数の非商品分割画像に基づいて機械学習を行い、抽出モデルを生成する。これにより、計量システム１では、抽出モデルを適切に生成することができる。
【0095】
本実施形態に係る計量システム１では、学習済みモデル生成部２０２は、複数の分割画像のそれぞれについて、領域が矩形状を呈すると共に全て同寸法になるように商品画像を分割する。学習済みモデル生成部２０２は、複数の非商品分割画像のそれぞれについて、分割画像と同形状及び同寸法となるように非商品画像を分割する。この方法では、分割画像と非商品分割画像とが同形状及び同寸法となるため、画像の形状や大きさを変換するための変換処理を行う必要がない。したがって、計量システム１では、処理負荷の軽減が図れる。
【0096】
本実施形態に係る計量システム１では、学習済みモデル生成部２０２は、一の分割画像と他の分割画像との少なくとも一部が重畳するように商品画像を分割する。この方法では、商品画像を分割したとき、一の分割画像では商品に含まれる一物品が途切れてしまう場合であっても、他の分割画像では一物品が全て収まることがある。そのため、計量システム１では、適切な教師画像に基づく機械学習を行えるため、商品の判別精度の向上が図れる判別モデルが生成できる。
【0097】
本実施形態に係る計量システム１では、学習済みモデル生成部２０２は、一の領域に対して、商品画像の画素の配列方向であるＸ方向又はＹ方向において他の領域が所定量だけ移動するように、商品画像を分割する領域を設定する。この方法では、領域を所定量だけ移動させることによって、移動方向に並ぶ各領域に各画素が均等の回数含まれように、商品画像を分割することができる。
【0098】
本実施形態に係る計量システム１では、学習済みモデル生成部２０２は、複数の分割画像のそれぞれについて、領域が矩形状を呈すると共に全て同寸法になるように商品画像を分割する。この方法では、分割画像が全て同形状及び同寸法となるため、画像の形状や大きさを変換するための変換処理を行う必要がない。したがって、計量システム１では、処理負荷の軽減が図れる。
【0099】
本実施形態に係る計量システム１では、判別部３３は、商品以外の写り込み量が閾値以下となる分割対象画像を取得する。この方法では、商品の占有率が高い画像を取得する。すなわち、商品以外の容器や背景が写っている画像を除外できる。そのため、計量システム１では、商品の判別精度の向上が図れる。
【0100】
本実施形態に係る計量システム１では、判別部３３は、商品が含まれていない画像に基づく機械学習によって生成された取得モデルを用いて、複数の分割対象画像のそれぞれについて商品を含まない分割対象画像である確からしさを示すニューロン値を取得し、ニューロン値が閾値以下となる分割対象画像を取得する。この方法では、商品が写り込んでいる分割対象画像のみを適切に取得することができる。
【0101】
本実施形態に係る計量システム１では、判別部３３は、複数の分割対象画像のそれぞれに対して判別モデルによる処理を行って複数の処理結果を取得し、複数の処理結果に基づいて商品の種類を判別する。この方法では、個々の分割対象画像に対して判別モデルによる処理を行い、複数の処理結果を得るため、商品の判別精度の向上をより一層図れる。
【0102】
本実施形態に係る計量システム１では、判別部３３は、処理結果に対して、商品が一の種類である確からしさを示すニューロン値の度合いの大きさに基づいて重み付けを行い、処理結果に対して付与された重み付けの多数決に基づいて、商品の種類を判別する。この方法では、商品をより精度良く判別することができる。
【0103】
本実施形態に係る計量システム１では、判別部３３は、複数の分割対象画像のそれぞれについて、領域が矩形状を呈すると共に全て同寸法になるように対象画像を分割する。この方法では、分割対象画像が全て同形状及び同寸法となるため、画像の形状や大きさを変換するための変換処理を行う必要がない。したがって、計量システム１では、処理負荷の軽減が図れる。
【0104】
以上、本発明の実施形態について説明してきたが、本発明は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。
【0105】
上記実施形態では、判別部３３が、対象画像データＧ１を複数の領域Ａに分割する形態を一例に説明した。しかし、判別部３３は、商品画像と商品を含まないベース画像とを比較して、商品画像から、商品の全体が含まれる、商品画像よりも小さい商品領域を切り出し（切出ステップ）、商品領域を複数の領域に分割して、複数の分割画像を取得してもよい。具体的には、図１５に示されるように、判別部３３は、商品画像である対象画像データＧ１とベース画像とを比較し、対象画像データＧ１から商品Ｓが最小限含まれる商品領域ＳＡを切り出す。ベース画像は、背景Ｂのみが写っている画像である。判別部３３は、商品領域ＳＡを複数の領域に分割して、複数の分割画像を取得する。この方法では、対象画像データＧ１において商品Ｓ以外の部分を除外した商品領域ＳＡを用いて分割するため、不要な領域を分割する必要がない。したがって、処理負荷の軽減が図れる。
【0106】
上記実施形態では、判別部３３が、対象画像データＧ１を分割する領域Ａを設定するために、一の領域Ａに対して他の領域Ａを移動させる所定量として、移動方向における領域Ａの幅を２以上の自然数で分割した幅（１／２、１／３等）に対応する量である形態を一例に説明した。しかし、判別部３３は、所定量は、一画素であってもよい。すなわち、判別部３３は、判別部３３は、一の領域Ａに対して、対象画像データＧ１の画素の配列方向であるＸ方向又はＹ方向において他の領域Ａが一画素ずつ移動するように、対象画像データＧ１を分割する領域Ａを設定してもよい。学習済みモデル生成部２０２が、非商品画像データＧ２を分割する領域Ａ１を設定する場合、及び、商品画像データＧ３を分割する領域Ａ２を設定する場合についても同様である。
【0107】
上記実施形態では、判別モデルのニューラルネットワークＮＷ２が、各分割対象画像の各画素の画素値を入力して、分割対象画像毎に商品Ｓの判別結果を示す情報を出力する形態を一例に説明した。しかし、判別モデルは、各分割対象画像の各画素の画素値を入力して、画素毎に、商品Ｓの判別結果を示す情報を出力するニューラルネットワークＮＷ２を含む構成であってもよい。
【0108】
上記実施形態では、判別部３３が、各分割対象画像のニューロン値の大きさに基づいて重み付けを行い、判別結果に対して付与された重み付けの多数決に基づいて、商品に順位を付ける形態を一例に説明した。しかし、判別部３３における商品の順位付け（判別）は、他の方法であってもよい。例えば、判別部３３は、閾値以上のニューロン値のみを用いて商品に順位付けを行ってよいし、対象画像データの中央部の領域の分割対象画像の判別結果を優先的に採用して商品に順位付けを行ってもよい。また、判別部３３は、各分割対象画像のニューロン値において、閾値以下のニューロン値（閾値以下の商品尤度）は採用しなくてもよい。
【0109】
また、判別部３３は、例えば、一の分割対象画像のニューロン値（出力値）ｙ２（商品Ｓ２の商品尤度）が「０．９」であり、他の分割対象画像のニューロン値ｙ２が「０．４」であり、且つ、上記一の分割対象画像のニューロン値ｙ５（商品Ｓ５の商品尤度）が「０．７」であり、商品Ｓ２に係るニューロン値の分散が大きい場合には、商品Ｓ２の重み付けを低くしてもよい。すなわち、判別部３３は、一の分割対象画像の一の商品に対応するニューロン値と他の分割対象画像の一商品に対応するニューロン値とにばらつき（乖離）があり（ニューロン値が分散しており）、且つ、一の分割対象画像の他の商品に対応するニューロン値が所定値よりも大きい場合には、一の商品の重み付けを低くする。
【0110】
上記実施形態では、判別部３３が、取得モデルによって複数の分割対象画像の中から、商品以外の写り込み量が閾値以下となる分割対象画像を取得する形態を一例に説明した。しかし、判別部３３は、商品が含まれていない画像の画素の特徴量に基づいて、複数の分割対象画像の中から、画素の含まれる割合が所定の閾値以下となる分割対象画像を抽出してもよい。この方法では、取得モデルを使用せずに、商品が写り込んでいる分割対象画像のみを適切に抽出することができる。
【0111】
上記実施形態では、判別部３３が、商品以外の写り込み量が閾値以下となる分割対象画像を取得する形態を一例に説明した。しかし、判別部３３は、分割対象画像の外縁部（外縁領域）における商品以外（容器、背景等）の写り込みの有無を取得し、商品以外の写り込みが無い場合には、当該分割対象画像を取得してもよい。これにより、商品の占有率が高い分割対象画像を抽出することができる。
【0112】
上記実施形態では、対象画像データに一つの商品Ｓが含まれており、判別部３３が、一つの商品Ｓの種類を判別する形態を一例に説明した。しかし、対象画像データに複数の商品が含まれていてもよい。この場合、判別部３３は、複数の商品のそれぞれの種類を判別する。具体的には、判別部３３は、対象画像データと、予め記憶されているベース画像との差分に基づいて、輪郭線（エッジ）を抽出し、エッジに基づいて商品が含まれる領域を取得する。このとき、商品の一部が重なっている等の状況により、商品が２個以上である場合であっても、一つの領域として取得される場合がある。そのため、判別部３３は、例えば、領域の面積と容器の面積とを比較して、商品毎の領域を取得する（商品毎に領域を分割する）。商品毎の領域を取得する方法としては、他の方法を用いてもよい。判別部３３は、複数の領域を取得すると、領域毎に商品の種類を判別する。
【0113】
また、判別部３３は、例えば、一つの皿等に複数の商品が載っている場合、以下の処理により複数の商品の種類をそれぞれ判別する。判別部３３は、一つの分割対象画像、及び、当該一つの分割対象画像の近傍の複数の分割対象画像における処理結果において多数決を取り、その結果を、上記一つの分割対象画像と上記複数の分割対象画像とを含む領域の中心座標での結果（商品の種類）とする（各分割対象画像の処理結果を平滑化する）。判別部３３は、全ての分割対象画像について上記処理を行い、各領域の中心座標での結果を得る。判別部３３は、取得した結果のうち、同じ結果（商品）が密集する領域を一つにまとめることにより、複数の商品それぞれの種類を判別する。なお、複数の商品が含まれる場合、上記実施形態のように、計り売りを行う計量機１００ではなく、商品判別装置として用いられる。商品判別装置は、例えば、トレー上に複数の食品が載置されたている場合に、複数の食品のそれぞれの種類を判別したり、お弁当の内容物の検査を行ったりすることができる。
【0114】
上記実施形態では、学習済みモデル生成部２０２が、複数の分割画像のそれぞれについて、領域が矩形状を呈すると共に全て同寸法になるように商品画像を分割すると共に、複数の非商品分割画像のそれぞれについて、分割画像と同形状及び同寸法となるように非商品画像を分割する形態を一例に説明した。しかし、商品画像及び非商品分割画像の形状及び寸法は、異なっていてもよい。例えば、分割画像は、非商品分割画像よりも解像度が高くてもよい。この場合、形状を長方形とする場合には、縦横の比率（アスペクト比）を揃えておくことが好ましい。すなわち、分割画像と非商品分割画像とを相似形とすることが好ましい。これにより、画像の比率を変換する処理を行う必要がないため、処理負荷の軽減が図れる。
【0115】
上記実施形態では、学習済みモデル生成部２０２が、抽出モデルによって複数の分割画像の中から、商品以外の写り込み量が閾値以下となる分割画像を取得する形態を一例に説明した。しかし、学習済みモデル生成部２０２は、商品が含まれていない画像の画素の特徴量に基づいて、複数の分割画像の中から、画素の含まれる割合が所定の閾値以下となる分割画像を抽出してもよい。この方法では、抽出モデルを使用せずに、商品が写り込んでいる分割画像のみを適切に抽出することができる。
【0116】
上記実施形態では、学習済みモデル生成部２０２が、商品以外の写り込み量が閾値以下となる分割画像を取得する形態を一例に説明した。しかし、学習済みモデル生成部２０２は、分割画像の外縁部（外縁領域）における商品以外（容器、背景等）の写り込みの有無を取得し、商品以外の写り込みが無い場合には、当該分割画像を取得してもよい。これにより、商品の占有率が高い分割画像を抽出することができる。
【0117】
上記実施形態では、学習済みモデル生成部２０２が、複数の分割画像の中から、商品Ｓの写り込み量に関する所定条件を満たす複数の分割画像を取得し、抽出した複数の分割画像と商品情報とを関連付けて機械学習を行い、判別モデルを生成する形態を一例に説明した。しかし、学習済みモデル生成部２０２は、複数の分割画像において、商品以外の写り込み量が閾値以下となる一の分割画像と、商品以外の写り込み量が閾値よりも多い他の分割画像とを抽出し、一の分割画像に対して商品情報を対応付けると共に、他の分割画像に対して商品以外を示す非商品情報を対応付けて、抽出した一の分割画像及び他の分割画像に基づいて機械学習を行い、判別モデルを生成してもよい。判別部３３は、例えば、抽出モデルを用いて、商品以外の写り込み量が閾値よりも多い（商品の写り込み量が閾値以下である）他の分割画像を抽出する。
【0118】
具体的には、学習済みモデル生成部２０２は、抽出モデルのニューラルネットワークから出力されたニューロン値を取得し、ニューロン値に基づいて、商品Ｓ以外の写り込み量が閾値以下となる一の分割画像と、商品以外の写り込み量が閾値よりも多い他の分割画像とを抽出する。すなわち、学習済みモデル生成部２０２は、商品Ｓ以外の写り込み量が閾値以下となる一の分割画像と、商品以外の写り込み量が閾値よりも多い他の分割画像とに分類し、一の分割画像と他の分割画像とを抽出する。学習済みモデル生成部２０２は、一の分割画像に商品情報（商品名）をラベリングすると共に、他の分割画像に商品以外（背景、容器等）であることを示す非商品情報をラベリングする。学習済みモデル生成部２０２は、一の分割画像及び他の分割画像に基づいて機械学習を行い、判別モデルを生成する。機械学習自体は、既知の機械学習アルゴリズムを用いて行うことができる。
【0119】
上記実施形態では、判別部３３が、複数の分割対象画像の中から、商品Ｓの写り込み量に関する所定条件を満たす複数の分割対象画像を取得し、分割対象画像を、判別モデルに入力して判別モデルによる処理を行った処理結果を取得し、処理結果に基づいて商品Ｓの種類を判別する形態を一例に説明した。しかし、判別部３３は、対象画像データを複数の領域に分割して（分割画像取得ステップ）、複数の分割対象画像を判別モデルに入力してもよい。すなわち、判別部３３は、商品Ｓ以外の背景Ｂ等も含む全ての分割対象画像を判別モデルに入力する。判別部３３は、判別モデルのニューラルネットワークＮＷ２に分割対象画像を入力したことに応じて、各分割対象画像について、ニューラルネットワークＮＷ２から出力された出力値を含む判別結果を取得する。
【0120】
判別部３３は、判別モデルによる処理を行った処理結果において、商品である確からしさを示す商品尤度と、商品以外である確からしさを示す非商品尤度とを取得する。処理結果としては、例えば、分割画像毎に、１：（０．０２；０．２０，０．３１，０．８９，…）、２：（０．８９；０．１２，０．０４，０，２３，…）等の出力値として得られる。処理結果では、（非商品尤度；商品尤度）を示している。すなわち、上記「１」の分割画像の処理結果では、非商品尤度が「０．０２」であり、商品尤度が「０．２０，０．３１，０．８９，…」である。この場合、「１」の分割画像の処理結果は、商品尤度が「０．８９」の商品である可能性が高いとを示している。上記「２」の分割画像の処理結果では、非商品尤度が「０．８９」であり、商品尤度が「０．１２，０．０４，０，２３，…」である。この場合、上記「２」の分割画像の処理結果は、背景である可能性が高いことを示している。判別部３３は、２つの種類の尤度のうち、商品尤度を抽出し、商品尤度に基づいて商品の種類を判別する。具体的には、最初に、判別部３３は、非商品尤度が閾値以上である分割画像を除去する（判別に使用しない）。次に、判別部３３は、残りの分割画像の処理結果において、分割画像毎に、最も値の大きい商品尤度を抽出する。判別部３３は、抽出した商品尤度の示す商品の多数決に基づいて、商品の種類を判別する。
【0121】
上記実施形態では、計量機１００が制御装置３を備える形態を一例に説明した。しかし、計量機１００は、制御装置３を備えていなくてもよい。この場合、計量装置２が、制御装置３の機能を有していればよい。あるいは、計量装置２及び制御装置３の機能を有する１台の装置を備えていてもよい。
【0122】
上記実施形態では、計量機１００の制御装置３が判別部３３を備え、制御装置３において商品の種類を判別する形態を一例に説明した。しかし、制御装置３は、判別部３３を備えていなくてもよい。例えば、商品の種類の判別は、サーバ２００で行われてもよい。この場合、サーバ２００は、判別結果を制御装置３に送信する。
【0123】
上記実施形態では、計量システム１が計量機１００とサーバ２００とを備える形態を一例に説明した。しかし、サーバ２００を備えていなくてもよい。この場合、計量機１００が学習済モデル生成部を備えていればよい。あるいは、計量機１００は、他の装置（コンピュータ）で生成された学習済モデルを取得して、記憶部に記憶していてもよい。
【0124】
上記実施形態では、計量機１００とサーバ２００とを備える計量システム１について説明した。しかし、本発明は、サーバ２００のみであってもよい。すなわち、本発明は、商品が含まれる商品画像から商品の種類を判別する判別モデルの生成装置であってもよい。
【0125】
上記実施形態では、制御装置３のタッチパネルディスプレイ３１が、筐体１０の保持部１２上に配置されている形態を一例に説明した。しかし、タッチパネルディスプレイ３１は、保持部１２以外の位置に配置されていてもよい。タッチパネルディスプレイ３１は、計量装置２の近くに配置されていることが好ましい。
【0126】
上記実施形態では、計量機１００が表示装置４を備えている形態を一例に説明した。しかし、例えば、客が計量機１００を操作する場合には、表示装置４を備えていなくてもよい。
【0127】
上記実施形態では、計量装置２及び制御装置３が筐体１０に設けられている形態を一例に説明した。しかし、計量機１００の形態はこれに限定されない。計量装置２（計量台２１ａ）と、制御装置３とが別体に設けられる、いわゆる分離秤の形態であってもよい。
【0128】
上記実施形態では、容器Ｐに収容された商品Ｓに対して重量を計量する例を説明した。しかし、商品Ｓは、容器Ｐに収容されない青果等であってもよい。
【符号の説明】
【0129】
１…計量システム（商品判別システム）、２…計量装置、３…制御装置、３３…判別部（第１取得部、第２取得部）、２０２…学習済みモデル生成部（取得部、分割部、抽出部、生成部）、１００…計量機（商品判別装置）、２００…サーバ（学習済みモデル生成装置）、Ｓ…商品。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】