(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-24
(45)【発行日】2022-12-02
(54)【発明の名称】ラベルの検査方法及び検査装置
(51)【国際特許分類】
G01N 21/88 20060101AFI20221125BHJP
G06T 7/00 20170101ALI20221125BHJP
【FI】
G01N21/88 J
G06T7/00 300E
G06T7/00 610C
(21)【出願番号】P 2019029695
(22)【出願日】2019-02-21
【審査請求日】2021-08-20
(73)【特許権者】
【識別番号】390014661
【氏名又は名称】キリンテクノシステム株式会社
(74)【代理人】
【識別番号】100099645
【氏名又は名称】山本 晃司
(74)【代理人】
【識別番号】100104499
【氏名又は名称】岸本 達人
(72)【発明者】
【氏名】板垣 博之
【審査官】井上 徹
(56)【参考文献】
【文献】特開2017-100796(JP,A)
【文献】特開2016-4332(JP,A)
【文献】特開2005-119706(JP,A)
【文献】特開2016-17810(JP,A)
【文献】中国特許出願公開第106952257(CN,A)
【文献】特許第6379410(JP,B1)
【文献】特開2014-21973(JP,A)
【文献】特開2012-47618(JP,A)
【文献】特開平11-295034(JP,A)
【文献】特開2019-105611(JP,A)
【文献】特開2019-40281(JP,A)
【文献】ラベル検査,LINX,2015年11月11日,https://linx.jp/casestudy/halcon-label/
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84-G01N 21/958
G01N 21/00-G01N 21/01
G01N 21/17-G01N 21/61
G01B 11/00-G01B 11/30
G06T 1/00
G06T 7/00
B65B 57/00-B65B 57/20
B65G 47/00-B65G 47/20
JSTPlus/JMEDPlus/JST7580(JDreamIII)
IEEE Xplore
(57)【特許請求の範囲】
【請求項1】
容器に装着されたラベルを検査するラベルの検査方法であって、
前記ラベルが正しく装着されている見本容器を周方向の複数の位置から撮影した複数の見本画像を取得する工程と、
検査対象の容器を前記ラベルの少なくとも一部の処理対象領域が含まれるようにして撮影した検査対象画像を取得する工程と、
前記ラベル上に施された視覚的要素に対応して画像中に出現すべき特徴に関する近似度に基づいて、前記検査対象画像と比較されるべき比較対象画像を前記複数の見本画像から選択し、前記検査対象画像と前記比較対象画像としての見本画像との比較に基づいて、前記容器に対するラベルの位置のずれ及び前記ラベルの欠陥の
うち、少なくとも
前記欠陥を含んだ検査項目に関する適否を判別する工程と、を備え、
前記判別する工程は、前記ラベルの前記欠陥に関する適否を判別する欠陥検査工程を含み、
前記欠陥検査工程では、前記比較対象画像としての見本画像を複数の領域画像に分割し、前記領域画像ごとに前記検査対象画像の前記領域画像に対応する領域を特定し、特定された領域の画像と前記領域画像との差分に基づいて前記欠陥の有無を判別するラベルの検査方法。
【請求項2】
前記判別する工程では、前記検査対象画像及び前記複数の見本画像におけるエッジの分布を前記特徴として検出し、前記検査対象画像におけるエッジの分布と前記複数の見本画像のそれぞれにおけるエッジの分布との近似度に基づいて、前記比較対象画像としての見本画像を選択する請求項1に記載のラベルの検査方法。
【請求項3】
前記判別する工程では、前記検査対象画像と前記比較対象画像としての見本画像との比較に基づいて、前記ラベルが上下方向に関して正しい向きで装着されているか否かを、前記位置のずれ及び前記欠陥の少なくともいずれか一方に加えて前記検査項目として判別する請求項1又は2に記載のラベルの検査方法。
【請求項4】
容器に装着されたラベルを検査するラベルの検査装置であって、
前記ラベルが正しく装着されている見本容器を周方向の複数の位置から撮影した複数の見本画像を記憶する記憶手段と、
検査対象の容器を前記ラベルの少なくとも一部の処理対象領域が含まれるようにして撮影した検査対象画像を取得する画像取得手段と、
前記ラベル上に施された視覚的要素に対応して画像中に出現すべき特徴に関する近似度に基づいて、前記検査対象画像と比較されるべき比較対象画像を前記複数の見本画像から選択し、前記検査対象画像と前記比較対象画像としての見本画像との比較に基づいて、前記容器に対するラベルの位置のずれ及び前記ラベルの欠陥の
うち、少なくとも
前記欠陥を含んだ検査項目に関する適否を判別する検査処理手段と、を備え、
前記検査処理手段は、前記ラベルの前記欠陥に関する適否を判別する欠陥検査手段を含み、
前記欠陥検査手段は、前記比較対象画像としての見本画像を複数の領域画像に分割し、前記領域画像ごとに前記検査対象画像の前記領域画像に対応する領域を特定し、特定された領域の画像と前記領域画像との差分に基づいて前記欠陥の有無を判別するラベルの検査装置。
【請求項5】
前記検査処理手段は、前記検査対象画像及び前記複数の見本画像におけるエッジの分布を前記特徴として検出し、前記検査対象画像におけるエッジの分布と前記複数の見本画像のそれぞれにおけるエッジの分布との近似度に基づいて、前記比較対象画像としての見本画像を選択する請求項4に記載のラベルの検査装置。
【請求項6】
前記検査処理手段は、前記検査対象画像と前記比較対象画像としての見本画像との比較に基づいて、前記ラベルが上下方向に関して正しい向きで装着されているか否かを、前記位置のずれ及び前記欠陥の少なくともいずれか一方に加えて前記検査項目として判別する請求項4又は5に記載のラベルの検査装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、容器に装着されたラベルを検査する方法等に関する。
【背景技術】
【0002】
飲料容器等に装着されたラベルの位置ずれ、あるいはラベルのめくれ、破れ、穴あきといった外観上の欠陥の有無を検査する方法として、容器の周囲に配置された複数台のカメラにて容器の全周を撮影し、得られた画像からラベルの外縁を特定し、その外縁同士の間隔に基づいてラベルの位置ずれの有無を検査する方法が知られている(特許文献1参照)。良品ラベルを全周に亘って撮影した標本画像と、検査対象のラベルを全周に亘って撮影した検査対象画像とを取得し、それらの画像を平面的に展開した上で外観の適否を判別する方法も知られている(特許文献2参照)。検査対象のラベルが写り込んだ部分画像を取得し、良品ラベルの印刷データに基づく良品画像から検査対象ラベルの部分画像と比較すべき対応画像を抽出し、得られた部分画像と対応画像のそれぞれから特定色の画像領域を検出し、検出された画像領域を比較してラベルの良否を判別する方法も知られている(特許文献3参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平06-138057号公報
【文献】特開2013-178191号公報
【文献】特開2016-017811号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ラベルの外縁に着目した検査方法では、そのような外縁が明瞭に出現するラベルしか検査できない不都合がある。例えば、容器の地色、あるいは内容物の色味とラベルの外縁部分の色とが近似する場合には外縁の検出が困難となるおそれがある。容器を撮影する際に、容器を透過して反対側のラベルが映り込む場合にはラベルの外縁を正確に特定できず、検査が困難又は不可能である。一方、容器の画像を平面的に展開した画像を生成する検査方法では、容器が比較的複雑な形状を伴う場合にその展開画像を正確に生成することが困難となるおそれがある。
【0005】
そこで、本発明はラベルの位置ずれ、あるいは欠陥を、検査対象容器の形状、あるいはラベルの態様等による制約を受けることなく検査することが可能であって、適用範囲が比較的広い検査方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係るラベルの検査方法は、容器に装着されたラベル(2)を検査するラベルの検査方法であって、前記ラベルが正しく装着されている見本容器(1A)を周方向の複数の位置から撮影した複数の見本画像(100)を取得する工程(一例として
図1の工程)と、検査対象の容器(1C)を前記ラベルの少なくとも一部の処理対象領域(AR)が含まれるようにして撮影した検査対象画像(110)を取得する工程(一例として
図3の工程、
図9のS11、S12)と、前記ラベル上に施された視覚的要素に対応して画像中に出現すべき特徴に関する近似度に基づいて、前記検査対象画像と比較されるべき比較対象画像を前記複数の見本画像から選択し、前記検査対象画像と前記比較対象画像としての見本画像との比較に基づいて、前記容器に対するラベルの位置のずれ及び前記ラベルの欠陥の少なくともいずれか一方を含んだ検査項目に関する適否を判別する工程(一例として
図5及び
図6の工程、
図9~
図10のS16、S22~S25)と、を備えたものである。
【0007】
上記態様の検査方法によれば、ラベルに施された視覚的要素に対応する特徴に関する近似度に基づいて検査対象画像と比較されるべき見本画像を選択し、選ばれた見本画像と検査対象画像との比較によってラベルの位置ずれ、あるいは欠陥に関する適否を検査しているため、見本画像及び検査対象画像のそれぞれを平面的に展開した画像を生成する必要がない。そのため、ラベルが容器の形状に合わせて3次元的に変形しているような場合でも、その変形を除去するように画像を展開する処理が不要であり、容器が複雑形状であっても検査が可能である。ラベルの視覚的要素を手掛かりとしてラベルの位置ずれや欠陥の有無を判別するため、容器の地色、あるいは容器の内容物とラベルの外縁部分とが紛らわしいといった事情によりラベルの外縁が特定できない場合でも検査が可能である。容器を透かして反対側のラベルが見本画像や検査対象画像に映り込んだとしても、それらの映り込み部分を含んだ状態で見本画像を選択して位置ずれや欠陥の有無を検査することが可能である。したがって、容器や内容物の状態に影響されることなく検査を行うことができる。よって、容器の形状、あるいはラベルの態様等に制約を受けることなく、種々の容器のラベルの位置ずれや欠陥に関する適否を検査することが可能であって、その適用範囲を比較的広く確保することが可能である。
【0008】
上記態様の検査方法において、前記判別する工程では、前記検査対象画像及び前記複数の見本画像におけるエッジの分布を前記特徴として検出し、前記検査対象画像におけるエッジの分布と前記複数の見本画像のそれぞれにおけるエッジの分布との近似度に基づいて、前記比較対象画像としての見本画像を選択してもよい。これによれば、ラベルに施された視覚的要素の特徴をエッジ分布に置き換えて検出し、検査対象画像との比較に適した見本画像を簡易かつ効率よく選択することができる。
【0009】
上記態様の検査方法において、前記判別する工程は、前記ラベルの前記欠陥に関する適否を判別する欠陥検査工程(一例として
図6の工程、
図10のS24、S25)を含み、前記欠陥検査工程では、前記比較対象画像としての見本画像を複数の領域画像(102)に分割し、得られた領域画像と前記検査対象画像との比較に基づいて前記欠陥に関する適否を判別してもよい。容器に装着されたラベルは容器の形状に合わせて変形していることが通例であって、その変形は容器の形状が同一でかつラベルに欠陥が存在しない場合でも容器間で少なからずは相違することがある。この点は見本画像も検査対象画像も同様である。そのため、見本画像と検査対象画像とを全体として比較した場合は、容器間におけるラベルの変形の相違に影響されてラベルに欠陥が存在しないにも拘らず画像上に相違が現れて欠陥と誤判定されるおそれがある。これに対して、見本画像を複数の領域画像に分割し、領域画像ごとに検査対象画像とを比較すれば、変形の影響が問題とならない程度の範囲を単位として見本画像と検査対象画像とを比較し、欠陥部分を比較的精度よく特定することが可能である。
【0010】
さらに、前記欠陥検査工程では、前記領域画像ごとに前記検査対象画像の前記領域画像に対応する領域を特定し、特定された領域の画像と前記領域画像との差分に基づいて前記欠陥の有無を判別してもよい。これによれば、見本画像を分割して得られた領域画像のそれぞれと、各領域画像に対応する検査対象画像上の領域の画像との差分を領域画像ごとに取得することにより、検査対象画像に含まれた欠陥部分を差分として出現させて欠陥の有無を正確に判別することができる。
【0011】
上記態様の検査方法において、前記判別する工程では、前記検査対象画像と前記比較対象画像としての見本画像との比較に基づいて、前記ラベルが上下方向に関して正しい向きで装着されているか否かを、前記位置のずれ及び前記欠陥の少なくともいずれか一方に加えて前記検査項目として判別してもよい。これによれば、ラベルが上下方向に関して正しい向きで装着されているか否かに関する検査と、ラベルの位置ずれ又は欠陥の少なくともいずれか一方の適否に関する検査とを共通の見本画像に基づいて効率よく実施することができる。
【0012】
本発明の一態様に係るラベルの検査装置は、容器に装着されたラベル(2)を検査するラベルの検査装置(10)であって、前記ラベルが正しく装着されている見本容器(1A)を周方向の複数の位置から撮影した複数の見本画像(100)を記憶する記憶手段(14)と、検査対象の容器を前記ラベルの少なくとも一部の処理対象領域(AR)が含まれるようにして撮影した検査対象画像(110)を取得する画像取得手段(20、S11、S12)と、前記ラベル上に施された視覚的要素に対応して画像中に出現すべき特徴に関する近似度に基づいて、前記検査対象画像と比較されるべき比較対象画像を前記複数の見本画像から選択し、前記検査対象画像と前記比較対象画像としての見本画像との比較に基づいて、前記容器に対するラベルの位置のずれ及び前記ラベルの欠陥の少なくともいずれか一方を含んだ検査項目に関する適否を判別する検査処理手段(21、S16、S22~S25)と、を備えたものである。
【0013】
上記態様の検査装置によれば、上記態様の検査方法を実施してラベルの位置ずれ及び欠陥の少なくともいずれか一方に関する適否を簡易かつ効率的に検査することができる。なお、上記態様の検査装置においても、検査方法と同様のさらなる態様を含むことができる。すなわち、前記検査処理手段は、前記検査対象画像及び前記複数の見本画像におけるエッジの分布を前記特徴として検出し、前記検査対象画像におけるエッジの分布と前記複数の見本画像のそれぞれにおけるエッジの分布との近似度に基づいて、前記比較対象画像としての見本画像を選択してもよい。前記検査処理手段は、前記ラベルの前記欠陥に関する適否を判別する欠陥検査手段(21、S24、S25)を含み、前記欠陥検査手段は、前記比較対象画像としての見本画像を複数の領域画像(102)に分割し、得られた領域画像と前記検査対象画像との比較に基づいて前記欠陥に関する適否を判別してもよい。さらに、前記欠陥検査手段は、前記領域画像ごとに前記検査対象画像の前記領域画像に対応する領域を特定し、特定された領域の画像と前記領域画像との差分に基づいて前記欠陥の有無を判別してもよい。前記検査処理手段は、前記検査対象画像と前記比較対象画像としての見本画像との比較に基づいて、前記ラベルが上下方向に関して正しい向きで装着されているか否かを、前記位置のずれ及び前記欠陥の少なくともいずれか一方に加えて前記検査項目として判別してもよい。
【0014】
なお、以上の説明では本発明の理解を容易にするために添付図面の参照符号を括弧書きにて付記したが、それにより本発明が図示の形態に限定されるものではない。
【図面の簡単な説明】
【0015】
【
図1】本発明の一形態において見本画像の取得方法の一例を示す図。
【
図3】検査対象画像に所定の画像処理を施す方法の一例を示す図。
【
図4】検査対象画像と比較すべき見本画像等を選択する方法の一例を示す図。
【
図5】検査対象画像と見本画像とを比較してラベルを検査する方法の一例を示す図。
【
図6】見本画像を複数の領域画像に分割して検査対象画像との差分を取得する方法の一例を示す図。
【
図7】本発明の一形態に係る検査装置の構成の一例を示す図。
【
図8】見本画像及び倒立画像のそれぞれに対応するエッジ分布情報を生成するために画像処理部が実行するエッジ分布情報生成処理の手順を示すフローチャート。
【
図9】検査対象容器に巻かれたラベルの上下方向における向きの正否を検査するために処理部が実行するラベル検査処理の手順を示すフローチャート。
【発明を実施するための形態】
【0016】
図1~
図6は本発明の一形態に係るラベルの検査方法の手順を示している。本形態の検査方法は、
図1及び
図2に示す準備段階と、
図3~
図6に示す検査段階との二段階の手順を含んでいる。本形態では、ペットボトル等の飲料容器の胴部に巻かれたラベルを検査対象とする例を示す。ラベルは、例えばシュリンクフィルムを熱収縮させて容器に巻かれるが、シュリンクフィルムの表面には、色彩、模様、図形、文字列、ロゴあるいは商標といった各種の視覚的要素が予め印刷等により付加されている。図ではラベルの表面に複数の英文字(一例としてA、B、Cの3文字)がラベル上に施された視覚的要素の一例として表示された例を示す。ただし、実際のラベルの視覚的要素は適宜の模様、図形等が表示されてよい。容器の胴部は概ね円筒状である。ただし、胴部は筒状であれば足り、断面多角形状の胴部を有する容器が検査対象とされてもよい。ラベルは、シュリンクフィルムを全周に亘って巻きつけることにより装着される例に限らない。
【0017】
まず準備段階を説明する。
図1に示すように、準備段階では、胴部の全周に亘ってラベル2が巻かれた見本容器1Aが用意される。見本容器1Aは、印刷不良、破れ、穴あきといった外観上の欠陥が存在しない良品のラベル2が上下方向に関して正しい向きでかつ正しい位置に巻かれた容器である。容器の上下方向は容器の底を下として、容器の軸線CLに沿った方向である。準備段階では、見本容器1Aが回転台3上に同軸的に設置される。次に、回転台3を一定角度ずつ段階的に回転させつつ、各角度位置にてラベル2を含んだ見本容器1Aの画像をカメラ4で撮影することにより、ラベル2を周方向に互いに異なる位置から撮影した複数の見本画像100が取得される。また、準備段階では、
図2に示すように、複数の見本画像100のそれぞれを180°回転させることにより、ラベル2が倒立した状態で写り込んでいる複数の倒立画像101も取得される。なお、準備段階における見本容器1Aの一回の回転角度(単位角度)は適宜でよいが、単位角度を小さく設定するほど検査精度を高め得る一方で、単位角度が小さいと検査段階での処理に要する時間が長引くおそれがある。一例として、単位角度は5~10°程度に設定すれば十分である。単位角度を5°に設定した場合、72枚の見本画像100を取得することができる。
【0018】
次に、検査段階を説明する。検査段階では、
図3に示す画像処理を適用する工程と、
図4に示す比較対象画像を選択する工程と、ラベルの向きの正否を判定する工程と、ラベルの位置ずれ及び欠陥に関する適否を判別する工程とが順に行われる。まず、
図3に示す工程では、ラベル2が巻かれた検査対象容器1Cが撮影され、得られた画像から見本画像100等との比較に使用するための処理対象領域ARに対応する検査対象画像110が切り出される。検査対象画像110は、見本画像100と同一の撮影条件にてラベル2を撮影した画像である。ただし、検査対象画像110は、検査対象容器1Cを周方向のいずれか一つの位置にて撮影した一枚の画像でよい。検査対象容器1Cがベルトコンベア等の搬送装置にて搬送される多数の容器の一つであり、搬送中の各容器の周方向の向きが不定であっても、検査対象画像110はどのような方向から撮影されても構わない。なお、検査対象画像110の撮影条件は、一例として見本画像100の撮影条件と同一に設定される。例えば、撮影に用いられるカメラ4の焦点距離、画角等は同一である。検査対象容器1Cに対するカメラ4の位置及び撮影方向も見本画像100を撮影する場合と同一に設定される。したがって、上下方向に関して見本容器1A及び検査対象容器1Cは同一の高さから同一の向きで撮影される。なお、
図3の例では、ラベル2に欠陥の一種として英文字「C」の一部(下部)がラベル2の破れ、あるいは穴あきによって欠落した状態が示されている。欠陥はこのような例に限らず、ラベル2の外縁部分のめくれ等であってもよい。
【0019】
検査対象画像110の取得後は、ラベル2に施された視覚的要素に対応して検査対象画像110に出現すべき特徴を抽出する処理の一例として、検査対象画像110に対してエッジ抽出処理を適用したエッジ抽出画像111が生成される。エッジ抽出処理では、検査対象画像110の周方向に延びたエッジのみを抽出し、上下方向に延びたエッジのみを抽出し、あるいは上下方向に延びたエッジ及び周方向に延びたエッジの両者を抽出するといったように、抽出対象のエッジの方向を適宜に選択してよい。エッジ抽出の完了後、エッジ抽出画像111が多数の単位領域SCに分割され、各単位領域SCにおけるエッジの有無を記述したエッジ分布情報を取得する。単位領域SCは一例として矩形状に設定される。単位領域SCの個数、言い換えれば検査対象画像110の分割数は、ラベル2の外観、デザイン等に応じて適宜に設定されてよい。上述したように、ラベル2には各種の視覚的要素が各所に付加されており、それらの視覚的要素は、形状、大きさ、あるいは配置に応じて様々な特徴を含んだエッジを有している。検査対象画像110にはそうした特徴的なエッジが出現するはずであり、エッジ抽出を適用して領域SCごとの分布を検出すれば、ラベル2の上下方向の向きの正否、あるいは位置ずれ又は欠陥に関する適否を判別する手掛かりとなる特徴を含んだ情報を取得することが可能である。
【0020】
上述した画像処理は、準備段階で取得された複数の見本画像100及び複数の倒立画像101のそれぞれに対しても同様に適用される。すなわち、見本画像100及び倒立画像101に関しても、エッジ抽出処理、領域分割処理が順次適用され、領域ごとのエッジの有無を記述したエッジ分布情報が生成される。
【0021】
次に、
図4に示す工程では、検査対象画像110に対応するエッジ分布情報と、複数の見本画像100のそれぞれに対応するエッジ分布情報との比較に基づいて、検査対象画像110と比較すべき見本画像100を選択する。また、検査対象画像110に対応するエッジ分布情報と、複数の倒立画像101のそれぞれに対応するエッジ分布情報との比較に基づいて、検査対象画像110と比較すべき倒立画像101も選択する。これらの処理は、検査対象画像110のエッジ分布情報と、見本画像100及び倒立画像101のそれぞれに関して求められているエッジ分布情報とを比較して、検査対象画像110のエッジ分布情報と最も近似するエッジ分布情を見本画像100及び倒立画像101のそれぞれについて特定し、特定されたエッジ分布情報に対応する見本画像100及び倒立画像101を検査対象画像110に対して近似度が最も高い比較対象画像として選択する処理である。なお、
図4に示す見本画像100及び倒立画像101は、見本容器1Aを、検査対象画像110とは周方向に異なる方向から撮影したときの画像を、英文字「DEF」を付して例示的に示すものである。
【0022】
比較対象画像が選択されると、
図5の工程へと処理が進められる。
図5の工程では、検査対象画像110を、比較対象画像として選択された見本画像100及び倒立画像101のそれぞれと比較して、検査対象容器1Cに巻かれたラベル2の上下方向における向きの正否を判定する。画像の比較には、一例として、正規化相互相関マッチング法により一致度を求める手法が用いられる。見本画像100及び倒立画像101は容器の周方向に関して一定角度ごとに撮影された画像の一つであり、検査対象画像110は周方向に関して未知の方向から撮影された画像であることから、検査対象画像110と比較対象画像としての見本画像100及び倒立画像101のそれぞれとの間には周方向にいくらか角度のずれが存在することがある。よって、一致度を求める場合には、周方向に関する比較位置を適宜にずらしつつ最も高い一致度が得られるように調整することが望ましい。また、ラベル2が上下方向に関して正しい向きで巻かれているか否かの判定では、検査対象画像110と見本画像100との一致度と、検査対象画像110と倒立画像101との一致度を相互に比較し、前者が後者よりも有意に高い場合には正しい向きで巻かれていると判定すればよい。
【0023】
図4の工程で比較対象画像として選択された見本画像100は、ラベル2の位置ずれ及び欠陥に関する適否を検査(判別)する工程でも利用される。位置ずれの適否を検査する工程では、例えば、ラベル2が上下方向に関して正しい向きで装着されていると判定された容器1Cに関して、その検査対象画像110と比較対象画像としての見本画像100との間で演算された一致度に従ってラベル2の上下方向に関する位置のずれ量が計測される。そして、位置のずれ量が所定の許容範囲を超える場合にラベル2の位置が不適切であると判定される。なお、上述したように見本画像100の撮影時と検査対象画像110の撮影時とで撮影条件が一致する場合には、ラベル2の撮影位置及び撮影方向が一致するため、比較対象画像としての見本画像100と検査対象画像110との比較においては撮影条件の相違を考慮せず、ラベル2の上下方向の位置のずれ量を計測することが可能である。ただし、見本画像100の撮影時と検査対象画像110の撮影時とで、ラベル2を撮影する上下方向の位置あるいは方向に相違がある場合には、その相違を補正した上で両画像100、110を比較してラベル2の上下方向の位置のずれ量を判別すればよい。ラベル2の位置ずれは必ずしも上下方向には限られないが、円筒状の胴部にラベル2を巻き付けた場合には周方向のラベル2の位置が問題とならない。そのため、ここでは上下方向に関するラベル2の位置のずれを対象としてその適否を判別している。なお、ラベル2が容器に対して周方向に一定の位置で装着されるべき事情が存在する場合には、ラベル2の周方向の位置に関してもそのずれ量が演算されてよい。例えば、角筒状の胴部を有する容器の一側面に枚葉式のラベルを貼付するような場合にはそのような事情が存在する。
【0024】
一方、ラベル2の欠陥に関する適否を検査する工程(欠陥検査工程の一例に相当する。)は、例えば
図6に示したように行われる。
図6の工程では、比較対象としての見本画像100が複数の領域画像102に分割される。図示例では、英文字A、B、Cごとに領域画像102が分割されているが、その分割位置は必ずしも視覚的要素の区切りの位置に合わせることを要しない。領域画像102の分割位置及び分割数は検査精度と画像処理に要する手間とに応じて適宜に定められてよい。次に、得られた領域画像102のそれぞれについて、検査対象画像110と比較して各領域画像102に対応する検査対象画像110内の領域112を特定する。領域112の特定には、一例として、正規化相互相関マッチング法により領域画像102と検査対象画像110との一致度を求め、各領域画像102に対する相関度が最も高くなる位置を、各領域画像102に対応する検査対象画像110中の領域112として特定する手法が用いられてよい。この処理は、要するに領域画像102のそれぞれを検査対象画像110の対応する領域112に対して位置を合わせる処理である。
【0025】
領域画像102と領域112との位置合わせが完了すると、続いて領域画像102と検査対象画像110の対応する領域112の画像との差分を演算して差分画像120を生成する。
図6の例では、検査対象画像110の英文字「C」の一部が欠けているため、その欠落部分が差分画像120に出現している。差分画像120に出現した差分の量、例えば面積が所定の許容範囲を超えている場合、ラベル2にめくれ、破れ、あるいは穴あきといった欠陥が存在し、そのラベル2が不適正であると判定される。見本画像100を領域画像102に分割し、領域画像102を単位として検査対象画像110と比較して差分画像120を生成する理由は、シュリンクラベルであるラベル2の巻き付け状態が容器1Cに応じて多様に変化し、ラベル2に欠陥が存在しなくても巻き付け状態に応じて見本画像100と検査対象画像110との間に幾らかのずれが生じ、画像100、110の全体を一括して比較した場合には相応の差分が出現するおそれがあるためである。これに対して、見本画像100を複数の領域画像102に分割して検査対象画像110と位置を合わせてから差分を求めるものとすれば、領域画像102と検査対象画像110の領域112の画像との間のずれを抑え、欠陥部分を差分として明確に特定することが可能である。
【0026】
以上の検査方法によれば、見本容器1Aを撮影した見本画像100と、検査対象容器1Cを撮影した検査対象画像110とを、ラベル2に施された模様等の視覚的要素に着目して比較することにより、ラベル2の位置ずれ、及び欠陥に関する適否を検査することが可能である。見本画像100及び検査対象画像110を平面的に展開した画像を生成した上で比較対象の基準としての平面的な画像と比較する必要がない。そのため、容器の形状に合わせて3次元的に変形しているラベル2であっても、その変形を除去するように画像を展開する処理が不要であり、容器が複雑形状であっても検査が可能である。ラベル2の視覚的要素を手掛かりとしてラベル2の位置ずれや欠陥の有無を判別するため、ラベル2の外縁に依存した判別が不要であり、容器の地色、あるいは容器の内容物とラベル2の外縁部分とが紛らわしい場合でも検査が可能である。容器を透かして反対側のラベルが見本画像100や検査対象画像110に映り込んだとしても、それらの映り込み部分を含んだ状態で画像100、110を比較して位置ずれや欠陥の有無を検査することが可能である。したがって、容器や内容物の状態に影響されることなく検査を行うことができる。よって、容器1Cの形状、あるいはラベル2の態様等に制約を受けることなく、種々の容器のラベル2の位置ずれや欠陥に関する適否を検査することが可能であって、その適用範囲を比較的広く確保することができる。
【0027】
以上の方法では、ラベル2の位置ずれや欠陥を検査するに先立ってラベル2が上下方向に正しい向きで装着されているか否かを判別したが、ラベル2の上下方向の向きが正しいという前提が確保されている場合には、上下方向の向きを検査する工程を省略してもよい。その場合、倒立画像101を取得する必要はない。また、ラベル2の上下方向の向きを検査する場合であっても、ラベル2のデザイン等によっては、検査対象画像110と見本画像100との一致度が所定レベル以上であればラベル2の上下方向の向きの正否を実用上十分な精度で検査できることがある。そのような場合にも、倒立画像101の取得、及び検査対象画像110と倒立画像101との比較といった手順が適宜に省略されてよい。
【0028】
上記の検査方法では、検査対象画像110と比較すべき見本画像100等を選択するためにエッジ分布情報を用いたが、これに限らず、画像の特徴を検出するために用いられる頂点情報、エッジパターン情報、色情報、明暗分布情報といった各種の情報が比較対象画像の選択に利用されてよい。検査対象画像110と比較対象画像としての見本画像100等との一致度の判定に関しても、画像同士の一致度、あるいは類似度を判定するために利用される各種の手法が用いられてよい。
【0029】
上記の検査方法では、検査対象容器1Cの処理対象領域ARを周方向のいずれか一つの位置から撮影した一枚の画像のみを検査対象画像110として用いているため、その処理対象領域AR以外にもラベル2が存在する場合、その部分での欠陥を検出することはできない。しかしながら、欠陥の有無を判別すべき範囲が予め定まっている場合には、その範囲が処理対象領域ARに含まれるように検査対象画像110を撮影すれば、欠陥検査の目的は達成可能である。検査対象容器1Cが周方向に関して一定の向きで搬送される場合には、検査対象画像110を撮影するためのカメラを検査すべき範囲に合わせて設置すればよい。例えば、角筒状の容器の一側面に装着された枚葉式のラベルを検査する場合には、そのラベルの向きに合わせて検査対象画像110が撮影されるようにカメラを設置すればよい。検査対象容器1Cの全周に亘ってラベル2が装着されている場合において、そのラベル2の欠陥の有無を全周に亘って検査する必要があるときは、複数台のカメラで分担しつつ検査対象容器1Cの全周を撮影し、あるいは容器を回転させつつ単一のカメラで容器を複数回撮影するといった手法により容器の全周のラベル2を複数の検査対象画像110に分けて撮影し、得られた検査対象画像110ごとに上記の工程を実施すればよい。あるいは、ラベル2が容器の周方向の一部のみに存在し、かつ検査対象画像110の撮影方向に対してラベル2が周方向にどのような位置に存在するかが不定である場合にも、検査対象容器1Cの全周を複数の検査対象画像110に分けて撮影し、得られた検査対象画像110ごとに上述した工程を実施すればよい。いずれにしても、上記の検査方法は、検査対象容器1Cをそのラベル2の少なくとも一部の処理対象領域ARが含まれるようにして撮影した検査対象画像110が得られる限りにおいて適用することが可能である。
【0030】
次に、上述した検査方法を実施するための検査装置の一例を
図7~
図10により説明する。なお、以下では、ラベル2が上下方向に関して正しい向きで装着されているか否か、ラベル2の上下方向における位置が適正か否か、及びラベル2に欠陥が存在するか否かをそれぞれ検査する検査装置の一例を説明し、それらの検査のために見本画像100と倒立画像101の両者を利用する例を説明する。ただし、ラベル2が上下方向に正しい向きで装着されているか否かに関する検査が適宜省略可能であり、かつ倒立画像101の利用が適宜省略可能であることは上述した通りである。したがって、図示の検査装置において、倒立画像101に関連した事項は適宜に省略されてよい。
【0031】
図7は、検査装置10の一例を示す。検査装置10は、準備部11、検査部12、制御部13及び記憶部14を備えている。準備部11は、見本容器1Aを回転台3に乗せて所定の単位角度ずつ回転させ、単位角度ごとにカメラ4にて見本容器1Aに巻かれたラベル2を周方向の複数の位置から撮影する。検査部12は、検査対象容器1Cに巻かれたラベル2を周方向における一つの位置からカメラ4にて撮影する。なお、準備部11及び検査部12のカメラ4は共用されてもよいし、準備部11及び検査部12のそれぞれにカメラ4が設けられてもよい。ただし、準備部11及び検査部12のそれぞれにカメラ4を設置する場合には、画像の比較等の便宜を考慮して、同一仕様のカメラを用い、かつ画角、露出その他の撮影条件も互いに一致させることが望ましい。
【0032】
制御部13は、準備部11及び検査部12のそれぞれにて撮影された画像を取得し、必要な処理を施してラベル2の上下方向に関する向きの正否を判定し、あるいはラベル2の位置ずれ又は欠陥に関する適否を判定するといったように、カメラ4にて取得された画像に基づくラベル2の検査に必要な各種の処理を実行する。制御部13は、一例として、コンピュータのハードウエア資源とソフトウエア資源とを組み合わせた論理的装置として構成されてよい。記憶部14は、制御部13に対する記憶手段の一例として設けられる。記憶部14は、制御部13からの指示に従って各種のデータを保存し、それらのデータを制御部13の求めに応じて提供する。
【0033】
制御部13には、画像取得手段の一例としての画像取得部20、及び検査処理手段の一例としての検査処理部21を含んでいる。画像取得部20は、準備部11及び検査部12のそれぞれのカメラ4が撮影した画像、すなわち、見本画像100及び検査対象画像110を取得し、記憶部14に保存するとともに、見本画像100を180°回転させて、各見本画像100に対応する倒立画像101を生成する。見本画像100は所定の単位角度ごとに撮影され、倒立画像101も単位角度ごとに生成されるため、画像取得部20は見本画像100及び倒立画像101を角度と対応付けて記録する等、撮影位置と見本画像100、及び倒立画像101との対応関係が判るようにしてそれらの画像100、101を記録する。検査処理部21は、画像取得部20が取得した画像に基づいてラベル2の検査に必要な各種の処理を実行する。
【0034】
検査処理部21には、画像処理部22、画像選択部23、演算部24及び判定部25がさらに設けられる。画像処理部22は、記憶部14に保存された見本画像100、倒立画像101、及び検査対象画像110に対して
図3に示した各種の処理、すなわちエッジ抽出、領域分割、エッジ分布情報の生成といった処理を適用し、得られたエッジ分布情報130を記憶部14に保存する。エッジ分布情報130には、見本画像100に対応するエッジ分布情報131、倒立画像101に対応するエッジ分布情報132、及び検査対象画像110に対応するエッジ分布情報が含まれる。見本画像100及び倒立画像101に対応するエッジ分布情報131、132は、見本画像100及び倒立画像101と対応付けて記憶部14に記録される。
【0035】
画像選択部23は、検査対象画像110に対応するエッジ分布情報133と、見本画像100及び倒立画像101のそれぞれに対応するエッジ分布情報131、132との比較に基づいて、比較対象画像としての見本画像100及び倒立画像101を選択する。その選択手法は
図4にて説明した通りである。演算部24は、
図5にて説明したように、検査対象画像110と、画像選択部23にて選択された見本画像100及び倒立画像101との一致度を正規化相互相関マッチング法等を用いて演算する。また、演算部24は、画像選択部23にて選択された見本画像100と検査対象画像110との一致度に基づいて、ラベル2の上下方向の位置のずれ量を計測する。さらに、演算部24は、
図6にて説明したように、画像選択部23にて選択された見本画像100を複数の領域画像102に分割し、各領域画像102と検査対象画像110との一致度を正規化相互相関マッチング法等を用いて演算することにより、各領域画像102に対応する検査対象画像110の領域112を特定し、特定された各領域画像102と検査対象画像110の領域112との対応関係に従って領域画像102とこれに対応する検査対象画像110の領域112の画像との差分を演算することにより差分画像120を生成する。
【0036】
判定部25は、演算部24の演算結果に従ってラベル2の上下方向に関する向きの正否、ラベル2の位置ずれに関する適否、ラベル2の欠陥に関する適否を判定する。すなわち、判定部25は、検査対象画像110と、画像選択部23にて選択された見本画像100及び倒立画像101との一致度に基づいて、ラベル2が上下方向に関して正しい向きで巻かれているか否かを判定する。その処理は、一例として、上述したように検査対象画像110と見本画像100との一致度が、検査対象画像110と倒立画像101との一致度よりも有意に高い場合に正常判定するといった処理である。ただし、検査対象画像110と見本画像100との一致度が所定レベル以上確保されているといったように、ラベル2が正しい向きで巻かれていると判定するために、さらなる条件が設定されてもよい。また、判定部25は、演算部24にて演算されたラベル2の位置のずれ量が許容範囲内か否かを判定する。さらに、判定部25は、演算部24にて得られた差分画像120に許容範囲を超える差分が出現しているか否かを判別することにより、ラベル2の欠陥に関する適否を判定する。
【0037】
次に、
図8~
図10を参照して検査装置10にて検査を実行する場合の処理手順を説明する。なお、見本画像100の取得に関しては、回転台3上に見本容器1Aを同軸的に設置し、回転台3を所定の単位角度ずつ回転させながらカメラ4にてラベル2を含んだ見本容器1Aの画像を撮影し、得られた画像を画像取得部20が取得して記憶部14に撮影位置(角度)と対応付けて記録すればよい。また、倒立画像101の取得については、見本画像100のそれぞれを180°回転させればよい。したがって、それらの手順の詳細は説明を省略する。回転台3の回転は作業者が手動にて実施すれば足りる。回転台3が回転駆動機構と回転位置の割出機構とを備える場合には、制御部13にてその回転台3の回転位置を制御しつつ所定の単位角度ごとにカメラ4を動作させて見本画像100を撮影し、これを画像取得部20に取り込むようにしてもよい。
【0038】
図8は、制御部13の画像処理部22が記憶部14に保存されている見本画像100及び倒立画像101のそれぞれに対応するエッジ分布情報を生成するために実行するエッジ分布情報生成処理の手順を示している。この処理は、準備段階にて見本画像100及び倒立画像101をそれぞれ取得した後であって、かつ検査段階で比較対象画像としての見本画像100及び倒立画像101を選択する前の適宜の時期に行われる処理である。以下では、見本画像100に対してエッジ分布情報を生成する場合を例にして説明するが、倒立画像101に関するエッジ分布情報の生成も同一の手順で行われてよい。
【0039】
図8のエッジ分布情報生成処理が開始されると、画像処理部22はまず処理数をカウントするための変数Nに初期値1をセットし(ステップS1)、次いでN番目の見本画像100を記憶部14から取得する(ステップS2)。その後、画像処理部22は、取得した見本画像100に対してエッジ抽出処理を適用し、見本画像100に対応した
図3のエッジ抽出画像111を生成する(ステップS3)。次いで、画像処理部22はエッジ抽出画像111を多数の領域SCに分割し(ステップS4)、各領域SCごとのエッジの有無を検査してエッジ抽出画像111におけるエッジ分布情報を生成する(ステップS5)。その後、画像処理部22はステップS5で生成したエッジ分布情報を記憶部14に保存する(ステップS6)。エッジ分布情報の保存後、画像処理部22は変数Nが最後の見本画像100に対応するか否かを判別し(ステップS7)、対応していなければ変数Nに1を加算してステップS2に戻る(ステップS8)。ステップS7にて変数Nが最後の見本画像100に対応すると判断されると、画像処理部22は
図8の処理を終える。
【0040】
図9は、制御部13が検査対象容器1Cに巻かれたラベル2の上下方向における向きの正否、並びに位置ずれ及び欠陥に関する適否のそれぞれを検査するために実行するラベル検査処理の手順を示している。
図9の処理は、検査部12に検査対象容器1Cが配置されるごとに繰り返し実行される処理である。
図9のラベル検査処理が開始されると、まず画像取得部20が検査部12のカメラ4を制御して検査対象容器1Cのラベル2を含んだ画像を取得し(ステップS11)、その画像から見本画像100等との比較に使用するための処理対象領域ARに対応する検査対象画像110を切り出して記憶部14に記録する(ステップS12)。検査対象画像110の取得後は画像処理部22に処理が進められる。ステップS11及びS12の処理を実行することにより、画像取得部20は画像取得手段の一例として機能する。
【0041】
画像処理部22は、得られた検査対象画像110に対してエッジ抽出処理を適用し、検査対象画像110に対応した
図3のエッジ抽出画像111を生成する(ステップS13)。次いで、画像処理部22はエッジ抽出画像111を多数の領域SCに分割し(ステップS14)、各領域SCごとのエッジの有無を検査してエッジ抽出画像111におけるエッジ分布情報を生成する(ステップS15)。
【0042】
検査対象画像110に対応するエッジ分布情報が生成されると、画像選択部23へと処理が進む。画像選択部23は、検査対象画像110に対応するエッジ分布情報を、各見本画像100に対応するエッジ分布情報と比較し、検査対象画像110のエッジ分布情報と最も近似したエッジ分布情報を持つ見本画像100を比較対象画像として選択する(ステップS16)。この処理は
図4の工程に対応する。この後、演算部24は、検査対象画像110と比較対象画像として選択された見本画像100との一致度を演算する(ステップS17)。その処理は上述したように、正規化相互相関マッチング法等を用いて行われてよい。
【0043】
ステップS17にて一致度が演算された後、画像選択部23は、検査対象画像110に対応するエッジ分布情報を、各倒立画像101に対応するエッジ分布情報と比較し、検査対象画像110のエッジ分布情報と最も近似したエッジ分布情報を持つ倒立画像101を比較対象画像として選択する(ステップS18)。この後、演算部24は、検査対象画像110と比較対象画像として選択された倒立画像101との一致度を演算する(ステップS19)。その処理はステップS17のそれと同様でよい。
【0044】
ステップS17及びステップS19にて一致度が演算されると、それらの演算結果が判定部25に提供される。判定部25は、ステップS17及びステップS19のそれぞれで演算された一致度を比較してラベル2の上下方向に関する向きの正否を判別する(ステップS20)。この場合、検査対象画像110と見本画像100との一致度が、検査対象画像110と倒立画像101との一致度よりも有意に高ければラベル2の上下方向における向きが正常と判定し、そうでなければラベル2が上下方向に逆向きに巻かれているか、あるいはそのおそれがある、と判定すればよい。
【0045】
ステップS20の処理が終わると、
図10のステップS21へと処理が進められる。ステップS21において、判定部25はラベル2の上下方向の向きが正常と判定されたか否かを判別する。正常と判定された場合、判定部25は演算部24に対して位置ずれ量の演算を要求し、これに対応して演算部24は画像選択部23が選択した見本画像100と検査対象画像110とに関してステップS17で演算された一致度に基づいて位置ずれ量を演算し、その演算結果を判定部25に提供する(ステップS22)。判定部25は、与えられたずれ量が所定の許容範囲内か否かを判別することにより、ラベル2の上下方向の位置ずれに関する適否を判別する(ステップS23)。その後、判定部25は演算部24に対して差分画像120の生成を要求し、これに応じて演算部24はステップS16で選択された見本画像100と検査対象画像110との差分画像120を生成する(ステップS24)。差分画像120の生成は
図6にて説明した手順に従って行われる。
【0046】
生成された差分画像120は判定部25に提供され、判定部25は差分画像120内に出現している差分が所定の許容範囲内か否かを判別することにより、ラベル2の欠陥に関する適否を判別する(ステップS25)。ステップS25の処理が終わると、判定部25はこれまでの判定結果、すなわち、ステップS20、S23及びS25の判定結果を不図示の出力手段、例えばモニタ等の表示装置、あるいはプリンタに出力し(ステップS26)、その後に
図9及び
図10の処理を終える。なお、ステップS21にてラベル2の上下方向の向きが正常ではない、つまりラベル2が上下方向に関して反転して装着されていると判定された場合、ステップS22~S25の処理がスキップされてステップS26へと処理が進められる。この場合、判定部25はラベル2が反転して装着されていることのみを判定結果として出力する。ラベル2が上下方向に反転して装着されている場合には、ラベル2の位置ずれ、及びラベル2の欠陥を判定する必要がないことがその理由である。
【0047】
以上の処理において、ステップS13~S25の処理を実行することにより、検査処理部21は検査処理手段の一例として機能し、ステップS24及びS25の処理を実行することにより欠陥検査手段の一例として機能する。なお、上記の処理においては、ラベル2が上下方向に関して正しい向きで装着されているか否かを判別しているが、その処理が不要な場合には、ステップS18~S21の処理を省略すればよい。また、ラベル2を全周に亘って検査する必要がある場合にはステップS11にて検査対象容器1Cの全周を複数の検査対象画像110に分けて取得し、得られた検査対象画像110ごとに
図9及び
図10の処理を適用すればよい。角筒状の容器に装着されたラベル2を検査する場合等、ラベル2の周方向の位置ずれに関してその適否を判別する必要がある場合には、ステップS11にて検査対象容器1Cをそのラベル2の向きに合わせて撮影した検査対象画像110を取得し、ステップS22にてラベル2の周方向の位置ずれ量を視覚的要素に対応する特徴としてのエッジ分布情報に基づいて演算し、ステップS23でその適否を判別すればよい。
【0048】
本発明は以上の形態に限定されず、適宜の変形又は変更が施された形態にて実施されてよい。例えば、ラベルの上下方向の向きに関する検査が省略可能であること、ラベルの周方向の位置ずれを検査してもよいことは上述した通りである。また、上記の形態では、ラベルの位置ずれ及び欠陥のそれぞれに関する適否を判別しているが、いずれか一方のみを検査項目として検査するように検査方法及び検査装置が構成されてもよい。枚葉式のラベルのように容器の胴部の一部に限定して装着されるラベルを検査する場合には、上下方向の位置ずれに限らず、周方向の位置ずれに関してその適否が検査されてもよい。
【0049】
上記の形態では、検査対象画像110と比較すべき見本画像100として、エッジ分布情報が最も近い画像を選択するものとしたが、本発明はそのような形態に限定されない。例えば、エッジ分布情報などの特徴情報が過度に近似する見本画像は異常値として処理し、次に近似する画像を比較対象画像として選択するといった処理が追加されてもよい。周方向に同一又は類似のパターンが繰り返し周期的に出現するようなラベルが使用されている場合には、特徴情報が所定レベル以上に近似した複数の見本画像等を比較対象画像として取得し、それらの比較対象画像の平均値を取得する等して比較対象画像を生成し、これを検査対象画像と比較するといった変形も可能である。ラベルの上下方向の向きを検査するために倒立画像を取得する場合も同様の変形が可能である。
【0050】
上記の形態では、ラベルの欠陥を検査するために見本画像を複数の領域画像に分割しているが、ラベルが比較的小さい場合、ラベルの変形が比較的少ない場合等、見本画像と検査対象画像とを全体として比較するだけで欠陥を適切な精度で検出できる場合には、見本画像を分割する処理を省略してもよい。欠陥の検査は差分画像を生成する手法に依拠することを必ずしも要しない。例えば、検査対象画像と見本画像との明度分布等を利用して両画像の近似度を判別し、その近似度が所定の基準値未満の場合に欠陥が存在するといった手法で欠陥に関する適否を判別してもよい。
【符号の説明】
【0051】
1A 見本容器
1C 検査対象容器
2 ラベル
3 回転台
4 カメラ
10 検査装置
14 記憶部(記憶手段)
20 画像取得部
21 検査処理部(検査処理手段、欠陥検査手段)
100 見本画像
110 検査対象画像
111 エッジ抽出画像
120 差分画像
130 エッジ分布情報