IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ハイシンク創研の特許一覧

特許7565808判定装置、判定システム、コンピュータプログラム及び判定方法
<>
  • 特許-判定装置、判定システム、コンピュータプログラム及び判定方法 図1
  • 特許-判定装置、判定システム、コンピュータプログラム及び判定方法 図2
  • 特許-判定装置、判定システム、コンピュータプログラム及び判定方法 図3
  • 特許-判定装置、判定システム、コンピュータプログラム及び判定方法 図4
  • 特許-判定装置、判定システム、コンピュータプログラム及び判定方法 図5
  • 特許-判定装置、判定システム、コンピュータプログラム及び判定方法 図6
  • 特許-判定装置、判定システム、コンピュータプログラム及び判定方法 図7
  • 特許-判定装置、判定システム、コンピュータプログラム及び判定方法 図8
  • 特許-判定装置、判定システム、コンピュータプログラム及び判定方法 図9
  • 特許-判定装置、判定システム、コンピュータプログラム及び判定方法 図10
  • 特許-判定装置、判定システム、コンピュータプログラム及び判定方法 図11
  • 特許-判定装置、判定システム、コンピュータプログラム及び判定方法 図12
  • 特許-判定装置、判定システム、コンピュータプログラム及び判定方法 図13
  • 特許-判定装置、判定システム、コンピュータプログラム及び判定方法 図14
  • 特許-判定装置、判定システム、コンピュータプログラム及び判定方法 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-03
(45)【発行日】2024-10-11
(54)【発明の名称】判定装置、判定システム、コンピュータプログラム及び判定方法
(51)【国際特許分類】
   G06T 7/00 20170101AFI20241004BHJP
   G01N 21/88 20060101ALI20241004BHJP
【FI】
G06T7/00 350B
G06T7/00 610
G01N21/88 J
【請求項の数】 9
(21)【出願番号】P 2021008181
(22)【出願日】2021-01-21
(65)【公開番号】P2022112365
(43)【公開日】2022-08-02
【審査請求日】2023-10-31
(73)【特許権者】
【識別番号】518405429
【氏名又は名称】株式会社ハイシンク創研
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】趙 翹楚
【審査官】佐田 宏史
(56)【参考文献】
【文献】特開平05-164706(JP,A)
【文献】特開2019-212157(JP,A)
【文献】特開2002-357559(JP,A)
【文献】特開2008-175588(JP,A)
【文献】特開平05-232030(JP,A)
【文献】国際公開第96/041299(WO,A1)
【文献】中国特許出願公開第101844633(CN,A)
【文献】原田 恭嗣、塚越 有揮 ,“オールインワンのDeep Learning画像処理ソフトウェア開発ツール”,画像ラボ,日本,日本工業出版株式会社,2020年04月10日,Vol.31, No.4,pp.70-76
【文献】Chen ZHU et al.,"Brand Recognition with Partial Visible Image in the Bottle Random Picking Task based on Inception V3",2019 28th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN),米国,IEEE,2019年10月14日,pp.1-6
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00,7/00-7/90
G06V 10/00-10/98
G01N 21/88
(57)【特許請求の範囲】
【請求項1】
円筒状の対象物の側面を異なる径方向から撮像して得られた1組の画像を取得する取得部と、
前記取得部が取得した1組の画像それぞれの画像特徴量を抽出する抽出部と、
前記抽出部が抽出した1組の画像それぞれの画像特徴量を入力し、前記対象物の側面のうち前記1組の画像が撮像された撮像領域それぞれの識別情報を出力する学習済みモデルと、
前記学習済みモデルが出力した各識別情報に基づいて、前記対象物の種別を判定する種別判定部と
前記学習済みモデルが出力した各識別情報の組み合わせを判定する組合せ判定部と
を備え
前記学習済みモデルは、
前記識別情報の信頼度を出力し、
前記種別判定部は、
前記組合せ判定部が判定した組み合わせが前記対象物には存在しない組み合せである場合、前記信頼度に基づいて前記対象物の種別を判定する、
判定装置。
【請求項2】
前記画像特徴量は、
前記画像の色特徴量及び模様特徴量を含む、
請求項1に記載の判定装置。
【請求項3】
前記色特徴量は、
前記画像のRGBの値、前記画像のRGBの割合、前記画像のHSVを含むRGBと変換可能な色表現法の値又は前記色表現法の割合を含む、
請求項2に記載の判定装置。
【請求項4】
前記模様特徴量は、
前記画像の輝度値に関する画像共起情報を含む、
請求項2又は請求項3に記載の判定装置。
【請求項5】
前記画像共起情報は、
画像内の所定の配置パターンによって特定される複数の画素の組の輝度値をインデックスとし、前記画像に亘る前記複数の画素の組の頻度を要素とするマトリクス情報を含む、
請求項4に記載の判定装置。
【請求項6】
前記学習済みモデルが出力した各識別情報と、前記取得部が取得した、前記各識別情報によって識別される区分領域が撮像された画像を対応付けて表示すべく表示データを出力する出力部を備える、
請求項1から請求項のいずれか一項に記載の判定装置。
【請求項7】
請求項1から請求項のいずれか一項に記載の判定装置と、
円筒状の対象物の側面を異なる径方向から撮像する複数の撮像装置と
を備え、
前記判定装置は、
前記複数の撮像装置で撮像して得られた1組の画像を取得する、
判定システム。
【請求項8】
コンピュータに、
円筒状の対象物の側面を異なる径方向から撮像して得られた1組の画像を取得し、
取得した1組の画像それぞれの画像特徴量を抽出し、
抽出した1組の画像それぞれの画像特徴量を学習済みモデルに入力し、
前記学習済みモデルが出力する、前記対象物の側面のうち前記1組の画像が撮像された撮像領域それぞれの識別情報又は識別情報の信頼度に基づいて、前記対象物の種別を判定
前記学習済みモデルが出力した各識別情報の組み合わせを判定し、
前記学習済みモデルは、前記識別情報の信頼度を出力し、
さらに、判定した組み合わせが前記対象物には存在しない組み合せである場合、前記信頼度に基づいて前記対象物の種別を判定する、
処理を実行させるコンピュータプログラム。
【請求項9】
搬送ラインを移動する、周方向に回転可能な円筒状の対象物の側面を異なる径方向から複数の撮像装置で撮像し、
判定装置は、
前記複数の撮像装置で撮像して得られた1組の画像を取得し、
取得した1組の画像それぞれの画像特徴量を抽出し、
抽出した1組の画像それぞれの画像特徴量を学習済みモデルに入力し、
前記学習済みモデルが出力する、前記対象物の側面のうち前記1組の画像が撮像された撮像領域それぞれの識別情報又は識別情報の信頼度に基づいて、前記対象物の種別を判定
前記学習済みモデルが出力した各識別情報の組み合わせを判定し、
前記学習済みモデルは、前記識別情報の信頼度を出力し、
さらに、判定した組み合わせが前記対象物には存在しない組み合せである場合、前記信頼度に基づいて前記対象物の種別を判定する、
判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、判定装置、判定システム、コンピュータプログラム及び判定方法に関する。
【背景技術】
【0002】
缶、瓶、ペットボトルなどの容器が搬送ラインを高速で搬送される際に、カメラで容器の外観を撮像し、異種容器の混入を検出することが行われている。このような異種容器の混入検査を行うのは、容器に表示されている商品と内容品の不一致が発生すると、重大な事故や製造メーカの信頼性を失墜させるからである。
【0003】
特許文献1には、缶等の検査対象物の周囲を4台のカメラで撮像して4枚の画像を取得し、取得した4枚の画像を結合して1枚の外面画像を作成し、作成した外面画像と正常な外面画像とを画像処理により比較して異種ラベル等の欠陥を検査できる装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2009-128261号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献1の装置では、4台のカメラを導入する必要があり、生産コストが上昇する。また、作成した外面画像と正常な外面画像とを画像処理により比較する場合、画像処理量が増大し、搬送ラインを高速に搬送される検査対象物を精度よく検査できない可能性がある。一方、パターンマッチング方式と異なる方式として、作成した外面画像の色分布(RGB値の分布)を抽出し、抽出した色分布を人的に決めた閾値と比較することにより、異種ラベルを検出する方法も考えられるが、検出結果が人的に決めた閾値に左右されるのみならず、異なるラベルの画像であっても、色分布が類似する場合もあり、検査対象物の検出精度が十分ではない。容器に表示されている商品と内容品の不一致が発生すると、重大な事故や製造メーカの信頼性を失墜させることを考慮すると、対象物の種別の判定精度を向上させることが望まれる。
【0006】
本発明は、斯かる事情に鑑みてなされたものであり、対象物の種別の判定精度を向上させることができる判定装置、判定システム、コンピュータプログラム及び判定方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、判定装置は、円筒状の対象物の側面を異なる径方向から撮像して得られた1組の画像を取得する取得部と、前記取得部が取得した1組の画像それぞれの画像特徴量を抽出する抽出部と、前記抽出部が抽出した1組の画像それぞれの画像特徴量を入力し、前記対象物の側面のうち前記1組の画像が撮像された撮像領域それぞれの識別情報を出力する学習済みモデルと、前記学習済みモデルが出力した各識別情報に基づいて、前記対象物の種別を判定する種別判定部とを備える。
【発明の効果】
【0008】
本発明によれば、対象物の種別の判定精度を向上させることができる。
【図面の簡単な説明】
【0009】
図1】判定システムの構成の一例を示す模式図である。
図2】缶の側面の外観を示す模式図である。
図3】缶の撮像領域の一例を示す模式図である。
図4】特徴量抽出部の処理の一例を示す模式図である。
図5】画像共起行列の一例を示す模式図である。
図6】画像共起行列の変化の一例を示す模式図である。
図7】学習済みモデルの処理の一例を示す模式図である。
図8】識別ラベルの設定方法の一例を示す模式図である。
図9】製品の種別と識別ラベルとの関係を示す模式図である。
図10】製品種別の判定方法の一例を示す模式図である。
図11】教師データの生成方法の一例を示す模式図である。
図12】学習済みモデルの生成方法の一例を示す模式図である。
図13】製品種別判定画面の表示例を示す模式図である。
図14】判定装置による種別判定の処理手順の一例を示すフローチャートである。
図15】学習済みモデル571の生成方法の処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、本発明の実施の形態を図面に基づいて説明する。図1は判定システムの構成の一例を示す模式図である。判定システムは、判定装置50、及び2台のカメラ(撮像装置)20を備える。2台のカメラ20は、円筒状の対象物を搬送する搬送ライン(ベルトコンベア)1を間にして、搬送ライン1上の対象物に向かって対向配置され、対象物の側面の大部分(便宜上、「表側」と「裏側」とも称する)を撮像する。以下、本明細書では、対象物を缶10(例えば、飲料缶)として説明するが、対象物は缶に限定されるものではなく、瓶、ペットボトルなどの容器や、同様の形状を有する物体も含む。なお、缶10は、搬送ライン1を移動する際、振動等によって周方向に回転することが可能である。図1に示す搬送ラインは、例えば、缶10に内容物が注入済みであり、箱詰工程の前段とすることができるが、これに限定されるものではない。
【0011】
判定装置50は、装置全体を制御する制御部51、インタフェース部52、記憶部53、画像処理部54、操作部55、表示パネル56、学習器57、種別判定部58、組合せ判定部59、及び出力部60を備える。制御部51は、CPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)などで構成することができる。
【0012】
インタフェース部52は、2台のカメラ20とのインタフェース機能を有する。インタフェース部52は、取得部としての機能を有し、カメラ20で缶10の側面を異なる径方向から撮像して得られた1組の画像G1、G2を取得する。異なる径方向は、例えば、2つの径方向のなす角度が180度(直線上)とすることができるが、ほぼ直線上であれば厳密に180度である必要はない。
【0013】
図2は缶10の側面の外観を示す模式図である。図2に示すように、缶10の側面には、製品(商品)を特定する図柄が印刷されている。なお、ペットボトル等では、図柄が印刷されたフィルムが貼付されている。図柄には、様々な色を用いた模様(例えば、文字や図柄など)が表されている。図2Aは缶10の図柄の表側を示し、図2Bは缶10の図柄の裏側を示す。製品の種別が異なると、缶10に表示されている図柄の全部又は一部が異なる。前述のとおり、缶10は、搬送ライン1を移動する際、振動等によって周方向に回転することが可能である。このため、同じ製品であっても、缶10の回転位置によって、2台のカメラ20で撮像される図柄は周方向にずれる。なお、図柄は単に「ラベル」とも称する。
【0014】
図3は缶10の撮像領域の一例を示す模式図である。図3Aにおいて、破線で示す領域21が一方のカメラ20で撮像される撮像領域を示し、図3Bにおいて、破線で示す領域22が他方のカメラ20で撮像される撮像領域を示す。図3Aが缶10の表側を表すとすると、図3Bが缶10の裏側を表す。例えば、1組の画像G1、G2のうち、画像G1が撮像された領域が撮像領域21であるとすると、画像G2が撮像された領域が撮像領域22となる。
【0015】
記憶部53は、半導体メモリ又はハードディスク等で構成され、制御部51による処理結果、所要の情報を記憶することができる。また、記憶部53は、インタフェース部52を介して取得した1組の画像を記憶する。
【0016】
表示パネル56は、液晶ディスプレイ又は有機EL(Electro Luminescence)ディスプレイで構成することができる
【0017】
操作部55は、例えば、キーボード、マウス等で構成することができる。また、操作部55は、タッチパネル等で構成され、表示パネル56上で文字の入力操作、表示パネル56に表示されたアイコン、画像又は文字等に対する操作を行うようにしてもよい。
【0018】
画像処理部54は、抽出部としての後述の特徴量抽出部541、及びベクトル化処理部542を備える。まず、特徴量の抽出について説明する。
【0019】
図4は特徴量抽出部541の処理の一例を示す模式図である。特徴量抽出部541は、インタフェース部52を介して取得した1組の画像G1、G2それぞれの画像特徴量を抽出する。画像特徴量は、画像G1の色特徴量C1及び模様特徴量P1を含み、画像G2の色特徴量C2及び模様特徴量P2を含む。
【0020】
色特徴量C1は、例えば、画像G1のRGBの値又はRGBの割合を含む。色特徴量C2は、画像G2のRGBの値又はRGBの割合を含む。RGBの値を、例えば、0~255の数値で表すとすると、画像の各画素それぞれは、0~255のいずれかの数値で表される。RGBの値は、いわゆる絶対値であり、画像全体のRGBの平均値を表し、例えば、画像全体でR=100、G=200、B=150の如く表すことができる。RGBの割合は、画像全体のRGBの相対的な割合を表し、画像全体でR=30%、G=50%、B=20%の如く表すことができる。色特徴量は、RGBの値及びRGBの割合の少なくとも一方を用いることができる。なお、色特徴量は、RGBと変換可能な色表現法の値又はRGBと変換可能な色表現法の割合でもよい。RGBと変換可能な色表現法は、例えば、色相(Hue)、彩度(Saturation)、及び明度(Value)の3つの成分からなるHSV色空間、あるいは、色相(Hue)、彩度(Saturation)、及び輝度(Lightness/Luminance)の3つの成分からなるHLS色空間などを含む。
【0021】
模様特徴量P1は、画像G1の輝度値に関する画像共起情報を含み、模様特徴量P2は、画像G2の輝度値に関する画像共起情報を含む。画像共起情報(「画像共起行列」とも称する)は、画像内の所定の配置パターンによって特定される複数の画素の組の輝度値をインデックスとし、当該画像に亘る当該複数の画素の組の頻度を要素とするマトリクス情報を含む。なお、輝度値に代えて、他の画素値を用いてもよい。
【0022】
図5は画像共起行列の一例を示す模式図である。説明を簡単にするため、画像を5×5画像(ピクセル)のブロックとする。画素の数値は、輝度値を表す。所定の配置パターンを、垂直3ビクセル離れた複数の画素を特定するパターンとする。図5の例では、配置パターンを、垂直方向に3ピクセル延びる破線で表す。また、複数の画素の組として、輝度値がそれぞれ1、2の画素の組とすると、画像共起行列のインデックスは、(1、2)となる。画像全体で、輝度値が1、2の画素の組の数が4であるから、画像共起行列の(1、2)の要素は4となる。画像共起行列は、2次元の行列であり、輝度値の範囲を0~255とすると、256×256の行列となる。すなわち、輝度値の値が画像共起行列のインデックス(行1~256、列1~256)となり、要素が画像全体での画素の組の数(頻度)となる。なお、所定の配置パターンは、垂直方向に限定されるものでなく、水平方向、斜め方向でもよく、ピクセル数も3に限定されない。
【0023】
次に、製品(缶)が周方向に少し回転した場合、及び製品の種別が変わった場合の画像共起行列の変化について説明する。
【0024】
図6は画像共起行列の変化の一例を示す模式図である。図6では、図5に例示した画像共起行列からの変化について説明する。図6Aの画像は、製品(缶)が周方向に少し回転した場合を模式的に表現している。図6Aでは、便宜上、図5の例と比較して、1ピクセル分右方向にずれている。この場合、画像全体で、輝度値が1、2の画素の組の数が4のままであるから、画像共起行列の(1、2)の要素は4のままである。すなわち、本実施の形態の画像共起行列(模様特徴量)は、対象物の周方向の回転に対して、画像共起行列の要素の変化量が少ないので、回転に対して頑健な特徴量ということができ、搬送ライン1を回転可能に移動する缶10などの対象物の画像の特徴量として好適な特徴量である。
【0025】
図6Bの画像は、製品の種別が変わった場合を模式的に表現している。図6Bでは、例えば、製品の種別が異なることによって図柄が異なっている。配置パターンを、垂直方向に3ピクセル離れた、輝度値がそれぞれ1、2の画素の組の数は、存在しないため、画像共起行列の(1、2)の要素は0となっている。このように、製品の種別が異なって、図柄が変わると模様特徴量も変わるので、製品の種別を精度よく判定するための特徴量として好適である。
【0026】
なお、特徴量抽出部541は、模様特徴量を抽出する場合、1又は複数の所定の配置パターンを用いてもよい。複数の配置パターン(例えば、垂直方向のパターン、水平方向のパターン、ピクセルの間隔など)を用いる場合には、配置パターンごとに画像共起行列を求める。
【0027】
学習器57は、機械学習によって生成された学習済みモデル571を備える。機械学習は、例えば、複数の決定木を用いたランダムフォレストでもよく、多層のニューラルネットワーク(深層学習)でもよく、複数のサポートベクターマシン(SVM)を用いたものでもよい。また、他の機械学習を用いてもよい。本明細書では、一例として、ランダムフォレストを用いる。学習器57は、例えば、CPU(例えば、複数のプロセッサコアを実装したマルチ・プロセッサなど)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field-Programmable Gate Array)などのハードウェアを組み合わせることによって構成することができる。
【0028】
学習済みモデル571は、特徴量抽出部541が抽出した、1組の画像それぞれの画像特徴量を入力されると、缶10の側面のうち当該1組の画像が撮像された撮像領域それぞれの識別ラベル(「識別情報」とも称する)を出力する。撮像領域は、缶10の側面全体のうち、カメラ20で撮像された領域である。識別ラベルは、画像に写っている缶10の図柄を識別できる情報であればよく、所要の数値や符号を用いることができる。以下、具体的に説明する。
【0029】
図7は学習済みモデル571の処理の一例を示す模式図である。学習済みモデル571には、画像特徴量をベクトル化した特徴ベクトル(「画像特徴量」とも称する)が入力される。なお、画像から抽出された画像特徴量と特徴ベクトルは、形式的に異なるものであって、実質的には同じ特徴量を示すものである。図7に示すように、ベクトル化処理部542は、1組の画像の一方の画像G1から抽出された色特徴量C1及び模様特徴量P1をベクトル化して特徴ベクトルV1を出力する。また、ベクトル化処理部542は、1組の画像の他方の画像G2から抽出された色特徴量C2及び模様特徴量P2をベクトル化して特徴ベクトルV2を出力する。特徴ベクトルV1、V2は、画像の色特徴量と模様特徴量という異質の特徴量を纏めることができる。なお、図7では、ベクトル化処理部542が2つ並列に設けられているように図示されているが、これは1組の画像G1、G2それぞれから抽出された画像特徴量をベクトル化することを示すものであり、1つのベクトル化処理部542が、1組の画像G1、G2それぞれから抽出された画像特徴量を順番にベクトル化してもよい。
【0030】
学習済みモデル571は、複数の決定木を備える。それぞれの決定木は、1組の画像G1、G2のうちの一方の画像G1に対応する特徴ベクトルV1が入力されると、入力された特徴ベクトルV1の各成分を、決定木の条件分岐に使われる変数(属性)とし、各成分の値に応じて条件分岐を行って、識別ラベルを出力する。学習済みモデル571は、それぞれの決定木の出力結果に対して多数決を行って、最終的な識別ラベルL1を出力する。学習済みモデル571は、識別ラベルL1の信頼度R1を出力することができる。信頼度は、識別ラベルの確かさを表す指標であり、例えば、「0」から「1」の間の数値で表すことができる。この場合、「1」は信頼度100%を意味する。同様に、学習済みモデル571は、1組の画像G1、G2のうちの他方の画像G2に対応する特徴ベクトルV2が入力されると、識別ラベルL2及び信頼度R2を出力する。なお、図7では、2つの特徴ベクトルV1、V2を並列に学習済みモデル571に入力されるように図示しているが、2つの特徴ベクトルV1、V2を直列に順番に入力してもよい。識別ラベルL1は、画像G1が撮像された撮像領域内の缶10の図柄を識別する情報であり、識別ラベルL2は、画像G2が撮像された撮像領域内の缶10の図柄を識別する情報である。すなわち、識別ラベルL1、L2によって、缶10の表側の図柄と裏側の図柄を識別することができる。
【0031】
次に、製品(缶10)の種別を識別する識別ラベルについて説明する。
【0032】
図8は識別ラベルの設定方法の一例を示す模式図である。図8は缶10を上面から見た場合を示す。図8に示すように、缶10の全周を120度で区分して3つの区分領域を決める。3つの区分領域それぞれに異なる識別ラベル1、2、3を設定する。すなわち、1つの製品(缶10)に対して3つの識別ラベル1~3を設定する。このように識別ラベルを設定することにより、2台のカメラ20で缶10の側面(表側と裏側)を撮像した場合、表側と裏側の撮像領域それぞれには、2つの識別ラベルが含まれるが、2つの識別ラベルのうち何れかが支配的となり(撮像領域内で占める領域が大きくなり)、撮像領域を識別する識別ラベルが必ず存在するようにすることができる。2台のカメラ20が定位置に設置され、搬送ライン1上の缶10が周方向に回転しつつ移動しても、撮像領域を識別する識別ラベルが必ず存在するようにすることができる。
【0033】
なお、図8の例では、缶10の側面を3等分しているが、これに限定されるものではない。缶10の側面に印刷される図柄の情報量などに応じて、他の角度を用いて区分領域を決めてもよい。例えば、図柄の情報量が多い側面は角度を120度よりも小さくし、逆に図柄の情報量が少ない側面は角度を120度よりも大きくしてもよい。例えば、缶10の側面を110度、120度、130度で区分してもよい。
【0034】
図9は製品の種別と識別ラベルとの関係を示す模式図である。図9に示すように、製品(缶10)の種別がAの場合、識別ラベルA1、A2、A3が設定されている。製品(缶10)の種別がBの場合、識別ラベルB1、B2、B3が設定されている。製品(缶10)の種別がCの場合、識別ラベルC1、C2、C3が設定されている。製品(缶10)の種別がDの場合、識別ラベルD1、D2、D3が設定されている。製品(缶10)の種別がEの場合、識別ラベルE1、E2、E3が設定されている。他の製品種別も同様である。ここで、製品によっては、他の製品と同じ図柄が印刷されている場合もあるので、例えば、識別ラベルA3とD3は同一であるということもある。製品(缶10)の種別がAの場合、識別ラベルA1、A2、A3が設定されている。図9に示すような関係は、例えば、記憶部53に記憶しておけばよい。
【0035】
種別判定部58は、学習済みモデル571(学習器57)が出力した各識別ラベルに基づいて、缶10の種別を判定する。より具体的には、組合せ判定部59は、学習済みモデル571が出力した各識別ラベルの組み合わせを判定し、種別判定部58は、組合せ判定部59の判定結果に基づいて缶10の種別を判定する。
【0036】
図10は製品種別の判定方法の一例を示す模式図である。図10Aに示すように、学習済みモデル571が出力した識別ラベルを識別ラベルA1、A2とする。組合せ判定部59は、識別ラベルA1、A2の組み合わせを判定する。前述の図9に例示したように、識別ラベルA1、A2の組み合わせは、製品種別Aに対応する組み合せであることが分かる。すなわち、識別ラベルA1、A2の組み合わせは、製品(缶10)に実在する組み合せであるから、組合せ判定部59は、入力された識別ラベルA1、A2をそのまま種別判定部58に出力する。種別判定部58は、前述の図9に例示した関係を参照して、製品種別Aを出力する。
【0037】
一方、図10Bに示すように、学習済みモデル571が出力した識別ラベルを識別ラベルB1、A1とする。組合せ判定部59は、識別ラベルB1、A1の組み合わせを判定する。前述の図9に例示したように、識別ラベルB1、A1の組み合わせは、製品(缶10)に実在しない組み合せであることが分かる。種別判定部58は、組合せ判定部59が判定した組み合わせが缶10には存在しない組み合せである場合、各識別ラベルB1、A1の信頼度に基づいて缶10の種別を判定する。
【0038】
具体的には、組合せ判定部59は、識別ラベルB1、A1それぞれの信頼度を取得し、各信頼度の大小関係を特定する。例えば、識別ラベルB1の信頼度が識別ラベルA1の信頼度よりも大きいとすると、信頼度の小さい方の識別ラベルA1を補正して、信頼度の大きい識別ラベルB1の方に合わせる。図10の例では、識別ラベルA1が識別ラベルB2又はB3に補正される。組合せ判定部59は、補正後の識別ラベル(B1とB2、又はB1とB3)を種別判定部58に出力する。種別判定部58は、前述の図9に例示した関係を参照して、製品種別Bを出力する。
【0039】
搬送ライン上を移動する缶は、移動に伴って周方向に回転することができる。このため、カメラで撮像した画像は、同じ製品であっても撮像の都度(すなわち、移動する製品毎に)画像が異なり、異なる画像の数は多数になる。また、複数のカメラで缶の側面を区分して撮像した場合には、それぞれのカメラで撮像した画像が異なるので、画像の組み合わせの数はさらに増大する。また、搬送ラインでは、高速(例えば、3000個/分など)な搬送が行われるので、高速に製品種別判定を行う必要がある。
【0040】
本実施の形態によれば、搬送ライン1を移動する、缶10の側面を異なる径方向から撮像して得られた1組の画像を取得し、取得した1組の画像それぞれの画像特徴量を抽出し、抽出した1組の画像それぞれの画像特徴量を入力した場合に、缶10の側面のうち当該1組の画像が撮像された撮像領域それぞれの識別ラベルを出力する学習済みモデル571を用いることにより、カメラ20で撮像した画像の組み合わせの数が多数存在しても、カメラ20で撮像した撮像領域の図柄を精度よく識別することができる。
【0041】
また、本実施の形態では、機械学習としてランダムフォレストを用いるので、次元単位での特徴量分類(決定木の条件分岐に使われる変数)において、異質の特徴量(例えば、色特徴量と模様特徴量)や離散的な特徴量を適用することができる。また、決定木に基づく手法を用いているので、出力結果の説明が比較的容易であり、決定木を用いた計算は並列化処理が可能であり、高速な計算が可能である。また、分類のための閾値を人的に決める必要がなく、人の介入が不要であり、学習済みモデル571は、最適な分類を行うことができ、予測精度が高い。また、出力結果(識別ラベル)の信頼度を求めることもできる。
【0042】
また、本実施の形態では、画像から抽出した画像特徴量を用いることにより、例えば、缶の側面を複数台のカメラで撮像し、得られた複数の画像を結合して(展開して)得られた側面画像に対して画像処理を行う必要がなく、高速処理を実現できる。また、使用するカメラの台数を2台にすることができるので、例えば、4台のカメラで缶の全周を撮像するような構成に比べて、カメラの台数の低減、カメラから得られた画像数の低減による画像処理量の低減が可能となり、生産コストの低減に資する。
【0043】
また、本実施の形態では、画像特徴量として色特徴量及び模様特徴量を用いるので、単に色分布などの統計分布のパラメータの曖昧性に起因する判定精度劣化を防止でき、高精度な製品種別判定を行うことができる。
【0044】
また、本実施の形態では、色特徴量として、RGBの値(例えば、画像全体での平均値)やRGBの相対的な割合を用いるので、搬送ライン1上を移動中に缶10が周方向に回転した場合でも、色特徴量の変動を少なく抑えることができ、高精度な製品種別判定を行うことができる。
【0045】
また、本実施の形態では、模様特徴量として、画像共起行列を用いるので、搬送ライン1上を移動中に缶10が周方向に回転した場合でも、模様特徴量の変動を少なく抑えることができ、高精度な製品種別判定を行うことができる。また、缶10の回転に頑健な画像特徴量を使用することにより、多数の画像の組み合わせが存在する場合でも、高精度な製品種別判定が可能となる。
【0046】
また、本実施の形態では、1組の画像から得られた識別ラベルの組み合わせを判定し、識別ラベルの組み合わせが実在しない組み合わせである場合、識別ラベルの信頼度(結果の信頼性)に応じて補正するので、さらに高精度に製品種別を判定できる。
【0047】
次に、学習済みモデル571の生成方法について説明する。
【0048】
図11は教師データの生成方法の一例を示す模式図である。図11に示すように、缶10を周方向に沿って所定の角度αずつ回転させる。所定の角度α回転させる都度、カメラ20で缶10の側面を撮像する。ここでは、角度αを10度としているが、10度に限定されるものではない。図8において説明したように、缶10の全周を120度で区分して3つの区分領域を決め、3つの区分領域それぞれに異なる識別ラベル1、2、3を設定した。そこで、アノテーションにおいては、缶10の回転角度の合算が120度になる都度、異なる識別ラベルを設定する。図11では、識別ラベル1、2、3が設定されている。このような作業によって、画像T1、T2、…、T12(回転角度α=0度、10度、…、110度)に対して識別ラベル1を設定し、画像T13、T14、…、T24(回転角度α=120度、130度、…、230度)に対して識別ラベル2を設定し、画像T25、T26、…、T36(回転角度α=240度、250度、…、350度)に対して識別ラベル3を設定する。同様のアノテーションを、他の種別の製品の缶10についても行って、教師データを収集することができる。
【0049】
図12は学習済みモデル571の生成方法の一例を示す模式図である。図11の例で示した教師データを用いて学習済みモデル571を生成する。収集した教師データの一部を訓練用データとし、残りを評価用データとする。訓練用データから複数のデータセットを生成する。複数のデータセットは、ブートストラップサンプリング(復元抽出)によって生成することができる。あるデータセットには、図12に示すように、画像T1~T12それぞれの画像特徴量(具体的には、特徴ベクトル)及び対応する識別ラベル1、画像T13~T24それぞれの画像特徴量及び対応する識別ラベル2、画像T25~T36それぞれの画像特徴量及び対応する識別ラベル3を含めることができる。この場合、画像T1~T12、画像T13~T24、画像T25~T36それぞれの画像特徴量は、その全部又は一部をランダムに振り分けることができる。
【0050】
学習モデル571a(機械学習が未実施又は途中のモデル)に画像T1~T12それぞれの画像特徴量を入力し、学習モデル571aが出力する識別ラベルが識別ラベル1に近づくように、決定木を作成して、学習済みモデル571を生成する。同様に、学習モデル571aに画像T13~T24それぞれの画像特徴量を入力し、学習モデル571aが出力する識別ラベルが識別ラベル2に近づくように、決定木を作成して、学習済みモデル571を生成する。また、学習モデル571aに画像T25~T36それぞれの画像特徴量を入力し、学習モデル571aが出力する識別ラベルが識別ラベル3に近づくように、決定木を作成して、学習済みモデル571を生成する。この場合も、画像T1~T12、画像T13~T24、画像T25~T36それぞれの画像特徴量は、その全部又は一部をランダムに振り分けることができる。
【0051】
学習済みモデル571が生成されると、評価用データを用いて学習済みモデル571が出力する識別ラベルと正しい識別ラベルとの推定誤差を求め、必要であれば、再度機械学習を繰り返す。
【0052】
上述のように、学習モデルの生成方法は、缶10の側面を周方向に沿って区分した複数の区分領域それぞれを識別する識別ラベルを設定し、缶10を周方向に所定角度回転させる都度、缶10の側面を撮像して得られた複数の画像を取得し、取得した複数の画像それぞれの画像特徴量を抽出し、抽出した画像特徴量を入力した場合、当該画像特徴量が抽出された画像が撮像された撮像領域に対して設定された識別ラベルを出力するように、学習済みモデルを生成する。なお、学習済みモデル571の生成は、判定装置50で行ってもよく、あるいは別の装置で行ってもよい。
【0053】
図13は製品種別判定画面の表示例を示す模式図である。製品種別判定画面には、製品名(商品名でもよい)、2台のカメラ20で撮像して得られた1組の画像(図13では、表側の画像と裏側の画像としている)、1組の画像に対する識別ラベル(図13では、識別ラベルA1、A2としている)、撮像した缶10のカウンタ値(例えば、搬送ライン1上の何番目の缶10であるかを示す)、「正常」アイコン、「排除」アイコンなどが表示される。
【0054】
製品種別判定画面は、搬送ライン1上を移動する全ての缶10について表示してもよく、予め設定した条件(例えば、判定装置50が異種缶の混入を検出した場合など)を充足した場合に表示してもよい。缶10全数について表示する場合には、高速搬送であることを考慮して、複数の表示装置で分担して缶10の判定結果を表示してもよい。異種缶の混入は、例えば、アルコール飲料の缶にノンアルコールの飲料が入っている場合、ノンアルコール飲料の缶にアルコールの飲料が入っている場合、缶に表示された商品の飲料と異なる飲料が入っている場合などを含む。
【0055】
上述のように、制御部51は、学習済みモデル571が出力した各識別ラベルと、各識別ラベルによって識別される撮像領域が撮像された画像を対応付けて表示すべく表示データを生成する。
【0056】
出力部60は、制御部51が生成した表示データを外部の表示装置に出力する。当該表示装置は、図13に例示する製品種別判定画面を表示することができる。
【0057】
オペレータは、製品種別判定画面をチェックして、異種缶の混入がないと判断すれば、「正常」アイコンを操作することができ、異種缶の混入があると判断した場合には、「排除」アイコンを操作することができる。「排除」アイコンを操作すると、対応するカウンタ値の缶10は、排除装置により搬送ライン1から排除され、間違って箱詰工程に流れることを防止できる。
【0058】
なお、異種缶の混入が検出された場合、オペレータを介在させることなく、排除装置により、異種缶を搬送ライン1の外へ排除してもよい。
【0059】
図14は判定装置50による種別判定の処理手順の一例を示すフローチャートである。以下、便宜上、処理の主体を制御部51として説明する。制御部51は、製品(缶10)の1組の画像を2台のカメラ20から取得する(S11)。制御部51は、1組の画像それぞれから色特徴量及び模様特徴量を抽出し(S12)、抽出した色特徴量及び模様特徴量から1組の画像それぞれの特徴ベクトルを算出する(S13)。
【0060】
制御部51は、算出した特徴ベクトルを学習済みモデル571に入力する(S14)。制御部51は、学習済みモデル571が出力した識別ラベルの組み合わせを判定し(S15)、組み合わせが正常である場合(S15で正常)、識別ラベルの組み合わせに基づいて製品の種別を判定し(S16)、後述のステップS19の処理を行う。
【0061】
組み合わせが異常である場合(S15で異常)、制御部51は、識別ラベルの信頼度を比較し(S17)、信頼度の小さい方の識別ラベルを補正し(S18)、ステップS16の処理を行う。
【0062】
制御部51は、識別ラベルと1組の画像を対応付けて表示し(S19)、処理を終了するか否かを判定し(S20)、処理を終了しない場合(S20でNO)、ステップS11以降の処理を繰り返す。処理を終了する場合(S20でYES)、制御部51は、処理を終了する。
【0063】
図15は学習済みモデル571の生成方法の処理手順の一例を示すフローチャートである。当該製品を周方向に10度ずつ回転させ撮像し、撮像して得られた画像に対して、120度ごとに異なる識別ラベルを設定する(S31)。制御部51は、各画像から色特徴量及び模様特徴量を抽出し(S32)、各画像の特徴ベクトルを算出する(S33)。
【0064】
制御部51は、各画像の特徴ベクトル及び当該各画像の識別ラベルを用いて学習モデル571aを学習させる(S34)。制御部51は、他の種別の製品の有無を判定し(S35)、他の種別の製品がある場合(S35でYES)、ステップS31以降の処理を繰り返す。他の種別の製品がない場合(S35でNO)、制御部51は、学習済みモデルを生成し(S36)、処理を終了する。
【0065】
本実施の形態の判定装置は、円筒状の対象物の側面を異なる径方向から撮像して得られた1組の画像を取得する取得部と、前記取得部が取得した1組の画像それぞれの画像特徴量を抽出する抽出部と、前記抽出部が抽出した1組の画像それぞれの画像特徴量を入力し、前記対象物の側面のうち前記1組の画像が撮像された撮像領域それぞれの識別情報を出力する学習済みモデルと、前記学習済みモデルが出力した各識別情報に基づいて、前記対象物の種別を判定する種別判定部とを備える。
【0066】
本実施の形態の判定装置において、前記画像特徴量は、前記画像の色特徴量及び模様特徴量を含む。
【0067】
本実施の形態の判定装置において、前記色特徴量は、前記画像のRGBの値、前記画像のRGBの割合、前記画像のHSVを含むRGBと変換可能な色表現法の値又は前記色表現法の割合を含む。
【0068】
本実施の形態の判定装置において、前記模様特徴量は、前記画像の輝度値に関する画像共起情報を含む。
【0069】
本実施の形態の判定装置において、前記画像共起情報は、画像内の所定の配置パターンによって特定される複数の画素の組の輝度値をインデックスとし、前記画像に亘る前記複数の画素の組の頻度を要素とするマトリクス情報を含む。
【0070】
本実施の形態の判定装置は、前記学習済みモデルが出力した各識別情報の組み合わせを判定する組合せ判定部を備え、前記種別判定部は、前記組合せ判定部の判定結果に基づいて前記対象物の種別を判定する。
【0071】
本実施の形態の判定装置において、前記学習済みモデルは、前記識別情報の信頼度を出力し、前記種別判定部は、前記組合せ判定部が判定した組み合わせが前記対象物には存在しない組み合せである場合、前記信頼度に基づいて前記対象物の種別を判定する。
【0072】
本実施の形態の判定装置は、前記学習済みモデルが出力した各識別情報と、前記取得部が取得した、前記各識別情報によって識別される区分領域が撮像された画像を対応付けて表示すべく表示データを出力する出力部を備える。
【0073】
本実施の形態の判定システムは、前述の判定装置と、円筒状の対象物の側面を異なる径方向から撮像する複数の撮像装置とを備え、前記判定装置は、前記複数の撮像装置で撮像して得られた1組の画像を取得する。
【0074】
本実施の形態のコンピュータプログラムは、コンピュータに、円筒状の対象物の側面を異なる径方向から撮像して得られた1組の画像を取得し、取得した1組の画像それぞれの画像特徴量を抽出し、抽出した1組の画像それぞれの画像特徴量を学習済みモデルに入力し、前記学習済みモデルが出力する、前記対象物の側面のうち前記1組の画像が撮像された撮像領域それぞれの識別情報又は識別情報の信頼度に基づいて、前記対象物の種別を判定する、処理を実行させる。
【0075】
本実施の形態の判定方法は、搬送ラインを移動する、周方向に回転可能な円筒状の対象物の側面を異なる径方向から複数の撮像装置で撮像し、判定装置は、前記複数の撮像装置で撮像して得られた1組の画像を取得し、取得した1組の画像それぞれの画像特徴量を抽出し、抽出した1組の画像それぞれの画像特徴量を学習済みモデルに入力し、前記学習済みモデルが出力する、前記対象物の側面のうち前記1組の画像が撮像された撮像領域それぞれの識別情報又は識別情報の信頼度に基づいて、前記対象物の種別を判定する。
【0076】
本実施の形態の学習済みモデル生成方法は、円筒状の対象物の側面を周方向に沿って区分した前記側面の複数の区分領域それぞれを識別する識別情報を設定し、前記対象物を周方向に所定角度回転させる都度、前記対象物の側面を撮像して得られた複数の画像を取得し、取得した複数の画像それぞれの画像特徴量を抽出し、抽出した画像特徴量を入力した場合、前記画像特徴量が抽出された画像が撮像された撮像領域に対して設定された識別情報を出力するように、学習済みモデルを生成する。
【符号の説明】
【0077】
1 搬送ライン
10 缶
20 カメラ
21、22 撮像領域
50 判定装置
51 制御部
52 インタフェース部
53 記憶部
54 画像処理部
541 特徴量抽出部
542 ベクトル化処理部
55 操作部
56 表示パネル
57 学習器
571 学習済みモデル
571a 学習モデル
58 種別判定部
59 組合せ判定部
60 出力部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15