IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士通フロンテック株式会社の特許一覧

特開2023-105540ラベル検査システム及びラベル検査方法
<>
  • 特開-ラベル検査システム及びラベル検査方法 図1
  • 特開-ラベル検査システム及びラベル検査方法 図2
  • 特開-ラベル検査システム及びラベル検査方法 図3
  • 特開-ラベル検査システム及びラベル検査方法 図4A
  • 特開-ラベル検査システム及びラベル検査方法 図4B
  • 特開-ラベル検査システム及びラベル検査方法 図4C
  • 特開-ラベル検査システム及びラベル検査方法 図4D
  • 特開-ラベル検査システム及びラベル検査方法 図4E
  • 特開-ラベル検査システム及びラベル検査方法 図5
  • 特開-ラベル検査システム及びラベル検査方法 図6
  • 特開-ラベル検査システム及びラベル検査方法 図7
  • 特開-ラベル検査システム及びラベル検査方法 図8A
  • 特開-ラベル検査システム及びラベル検査方法 図8B
  • 特開-ラベル検査システム及びラベル検査方法 図8C
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023105540
(43)【公開日】2023-07-31
(54)【発明の名称】ラベル検査システム及びラベル検査方法
(51)【国際特許分類】
   G06T 7/00 20170101AFI20230724BHJP
【FI】
G06T7/00 610C
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2022006437
(22)【出願日】2022-01-19
(71)【出願人】
【識別番号】000237639
【氏名又は名称】富士通フロンテック株式会社
(74)【代理人】
【識別番号】100121083
【弁理士】
【氏名又は名称】青木 宏義
(74)【代理人】
【識別番号】100138391
【弁理士】
【氏名又は名称】天田 昌行
(74)【代理人】
【識別番号】100074099
【弁理士】
【氏名又は名称】大菅 義之
(72)【発明者】
【氏名】薄 健太
(72)【発明者】
【氏名】上村 良介
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA02
5L096BA03
5L096BA17
5L096DA01
5L096DA02
5L096FA67
5L096FA69
5L096JA03
(57)【要約】      (修正有)
【課題】対象物に複数のラベルが貼付された場合にもラベル検査を速やかに行うラベル検査システム及びラベル検査方法を提供する。
【解決手段】ラベル検査システムは、複数のラベルが貼付された対象物を撮影する撮影部120を有する検査装置10と、撮影部が撮影した画像の中から、複数のラベルの各々を検出するラベル検出部、ラベル検出部により検出された個々のラベルに対する良否判定を行う良否判定部及び良否判定部による判定結果に基づいた報知を行う報知部を有する端末装置20と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
複数のラベルが貼付された対象物を撮影する撮影部と、
前記撮影部により撮影された画像の中から、前記複数のラベルの各々を検出するラベル検出部と、
前記ラベル検出部により検出された個々のラベルに対する良否判定を行う良否判定部と、
前記良否判定部による判定結果に基づいた報知を行う報知部と、を備える、
ラベル検査システム。
【請求項2】
前記複数のラベルが貼付された対象物のサンプル画像を記憶する第1の記憶部を更に備え、
前記良否判定部は、前記対象物のサンプル画像に基づいて、前記複数のラベルの各々に対し、所定の第1項目群に関する前記良否判定を行う、
請求項1に記載のラベル検査システム。
【請求項3】
前記第1項目群は、前記ラベルの貼付位置、貼付角度、誤貼付、貼付有無のうちの少なくとも1つを含む、
請求項2に記載のラベル検査システム。
【請求項4】
前記複数のラベルの各々のサンプル画像を記憶する第2の記憶部を更に備え、
前記良否判定部は、前記複数のラベルの各々のサンプル画像に基づいて、前記複数のラベルの各々に対し、所定の第2項目群に関する前記良否判定を行う、
請求項1から請求項3の何れか一項に記載のラベル検査システム。
【請求項5】
複数のラベルが貼付された対象物の撮影画像の中から、前記複数のラベルの各々を検出し、
前記検出された個々のラベルに対する良否判定を行い、
前記良否判定の結果に基づいた報知を行う、処理を、コンピュータに実行させる、
ラベル検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ラベル検査システム及びラベル検査方法に関する。
【背景技術】
【0002】
対象物に貼付されたラベルを検査するラベル検査システムが知られている。例えば特許文献1に、この種のラベル検査システムの具体的構成が記載されている。
【0003】
特許文献1に記載のラベル検査システムでは、カメラにより対象物である弁当が撮影され、撮影された弁当の画像から商品ラベルの位置が切り出されて、商品ラベルの貼付漏れ、誤貼付、貼付不適合等が判定される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2011-203886号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の構成では、対象物に貼付された1枚のラベルを検査するという簡単な検査しかできない。例示的には、この構成では、複数のラベルが貼付された対象物に対し、検査を短時間で行うことが難しい。
【0006】
本発明は、上記の事情に鑑みてなされたものであり、対象物に複数のラベルが貼付された場合にもラベル検査を速やかに行うことができるラベル検査システム及びラベル検査方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一実施形態に係るラベル検査システムは、複数のラベルが貼付された対象物を撮影する撮影部と、前記撮影部により撮影された画像の中から、前記複数のラベルの各々を検出するラベル検出部と、前記ラベル検出部により検出された個々のラベルに対する良否判定を行う良否判定部と、前記良否判定部による判定結果に基づいた報知を行う報知部と、を備える。
【0008】
本発明の一実施形態に係るラベル検査方法は、複数のラベルが貼付された対象物の撮影画像の中から、前記複数のラベルの各々を検出し、前記検出された個々のラベルに対する良否判定を行い、前記良否判定の結果に基づいた報知を行う、処理を、コンピュータに実行させる方法である。
【発明の効果】
【0009】
本発明の一実施形態によれば、対象物に複数のラベルが貼付された場合にもラベル検査を速やかに行うことができるラベル検査システム及びラベル検査方法が提供される。
【図面の簡単な説明】
【0010】
図1】本発明の一実施形態に係るラベル検査システムの概略構成を示す図である。
図2】本発明の一実施形態に係る端末装置の構成を示すブロック図である。
図3】本発明の一実施形態において実行されるラベル検査プログラムの処理を示すフローチャートである。
図4A図3のステップS101において端末装置の表示部に表示される対象機種選択画面の一例を示す図である。
図4B図3のステップS110において端末装置の表示部に表示される確認画面の一例を示す図である。
図4C図3のステップS110において端末装置の表示部に表示される確認画面の一例を示す図である。
図4D図3のステップS113において端末装置の表示部に表示される確認画面の一例を示す図である。
図4E図3のステップS113において端末装置の表示部に表示される確認画面の一例を示す図である。
図5】本発明の一実施形態に係る対象物の右側面の全体のサンプル画像の一例を示す図である。
図6】本発明の一実施形態に係る対象物の各外観面に貼付された個々のラベルのサンプル画像の一例を示す図である。
図7図3のステップS115において端末装置の表示部に表示される総合判定結果画面の一例を示す図である。
図8A図3のステップS115において端末装置の表示部に表示される総合判定結果画面の一例を示す図である。
図8B図8Aに示される総合判定結果画面で判定結果の1つがタッチされたときに端末装置の表示部に表示される画面例を示す図である。
図8C図8Bに例示される画面に列記された詳細情報の1つがタッチされたときに端末装置の表示部に表示される画面例を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の一実施形態について詳細に説明する。
【0012】
図1は、本発明の一実施形態に係るラベル検査システム1の概略構成を示す図である。本実施形態に係るラベル検査システム1は、検査装置10及び端末装置20を備える。検査装置10と端末装置20は、例えば有線ケーブル40を介して接続される。検査装置10と端末装置20との接続は無線であってもよい。
【0013】
ラベル検査システム1は、対象物30に貼付された複数のラベルを検査する。
【0014】
対象物30は、例えば、自動取引装置に内蔵される紙幣リサイクルユニット(BRU:Bill Recycle Unit)である。この種のユニットでは、各外観面に対して複数のラベルが貼付される。必要な全てのラベルが各外観面に貼付された後、ラベル検査システム1によるラベル検査が行われる。ラベル検査において合格判定になると、対象物30は出荷される。なお、対象物30は、紙幣リサイクルユニットに限らず、複数のラベルが貼付された別の形態の装置であってもよい。
【0015】
一般に、工場等のラインには、ラベルが貼付された製品をベルトコンベア等で順次搬送し、搬送された製品に対するラベル検査を自動で行うシステムが導入されている。この種のシステムは、特許文献1に例示される弁当のような小型の商品に対するラベル検査を行うのに適しているものの、紙幣リサイクルユニットに例示される大型の装置に対するラベル検査を行うのには適していない。
【0016】
大型の装置に対するラベル検査は、作業員による目視検査が一般的である。しかし、目視検査には時間がかかるため、人件費が増える。また、目視検査では、ヒューマンエラーを多大に考慮する必要がある。ヒューマンエラーを防ぐため、検査項目を増やしたり検査人員を増やしたりすると、人件費が更にかさむ。
【0017】
また、紙幣リサイクルユニットのように、複数の外観面の各所にラベルが貼付される製品の場合、作業員は、体勢を変えながら各所のラベルを目視検査する必要がある。そのため、作業員の身体への負担が大きい。
【0018】
そこで、本実施形態に係るラベル検査システム1は、複数のラベルが貼付された対象物30を撮影し、撮影された画像の中から、対象物30の各所に貼付された複数のラベルの各々を検出し、検出された個々のラベルに対する良否判定を行い、その判定結果に基づいた報知を作業員に対して行う構成となっている。
【0019】
紙幣リサイクルユニットに例示される大型の装置に対するラベル検査が自動化されるため、検査時間が短縮される(言い換えると、ラベル検査が速やかに行われる)とともにヒューマンエラーが実質的に排除される。そのため、ラベル検査にかかる費用が抑えられるとともに検査精度が向上する。また、検査中、種々の体勢の変更を作業員に強いることがないため、作業員の身体への負担が軽減される。
【0020】
図1に示されるように、検査装置10は、フレーム部100、指標部110及び撮影部120を備える。
【0021】
フレーム部100は、対象物30が配置されるブースBTを区画する区画部の一例である。フレーム部100は、ブースBTの四方を囲う側壁部100A~100D及びブースBTの上方を覆う天板部100Eを有する。側壁部100A~100D及び天板部100Eにより、床面上に矩形状のブースBTが区画される。
【0022】
側壁部100Cと側壁部100Dとの間には、ブースBTに対して対象物30を搬入出するための搬入出口100Fが形成される。なお、搬入出口100Fは、2か所以上あってもよい。また、搬入口と搬出口が違ってもよい。
【0023】
指標部110は、例えば、天板部100Eに埋設されたレーザポインタであり、床面上にレーザ光を照射する。床面上に照射されたレーザ光の位置は、ブースBT内の所定位置Pを指す。指標部110は、床面上に印された、所定位置Pを指すマークであってもよい。所定位置Pは、ラベル検査時における対象物30の配置位置を示す。
【0024】
撮影部120は、対象物30のそれぞれ異なる範囲を撮影する複数のカメラ120A~120Eを含む。カメラ120A~120Eは、ブースBT内に配置された対象物30をそれぞれ異なる角度から撮影するように、フレーム部100のそれぞれ異なる位置に設置される。具体的には、カメラ120A~120Eは、それぞれ、側壁部100A~100D、天板部100Eに埋設されている。
【0025】
カメラ120A~120Eは、所定位置Pに配置された対象物30の各外観面が画角に収まるように、位置及び向きが決められた状態で、側壁部100A~100D、天板部100Eにそれぞれ設置される。
【0026】
図1に示されるように、対象物30が予め決められた向きで所定位置Pに配置されると(より正確には、対象物30の角部が所定位置Pに合うように配置されると)、複数の外観面の各々(対象物30の右側面30A、後面30B、左側面30C、前面30D、天面30E)が、対応するカメラの画角に収まる。具体的には、対象物30が所定位置Pに配置されると、右側面30Aの全体がカメラ120Aの画角に収まる。また、後面30Bの全体がカメラ120Bの画角に収まる。また、左側面30Cの全体がカメラ120Cの画角に収まる。また、前面30Dの全体がカメラ120Dの画角に収まる。また、天面30Eの全体がカメラ120Eの画角に収まる。
【0027】
カメラ120A~120Eは、有線ケーブル40を介して端末装置20と接続される。カメラ120A~120Eは、例えば、端末装置20からの指示に従って対象物30の各外観面を撮影し、撮影された各外観面の画像を端末装置20に出力する。
【0028】
対象物30の各外観面には、1以上のラベルが貼付される。カメラ120A~120Eは、1以上のラベルが貼付された、それぞれ異なる外観面を撮影する。具体的には、カメラ120Aが右側面30Aの全体を撮影し、カメラ120Bが後面30Bの全体を撮影し、カメラ120Cが左側面30Cの全体を撮影し、カメラ120Dが前面30Dの全体を撮影し、カメラ120Eが天面30Eの全体を撮影する。なお、ラベルの貼付が無い面は省略してもよい。
【0029】
端末装置20は、例えばPC(Personal Computer)であり、ハードウェア構成として汎用のPCと同じ構成を有する。なお、端末装置20は、PCに限らず、スマートフォン、タブレット端末等の他の形態の装置であってもよい。
【0030】
図2は、本発明の一実施形態に係る端末装置20の構成を示すブロック図である。図2に示されるように、端末装置20は、プロセッサ200、メモリ210、表示部220、操作部230及び通信部240を備える。なお、端末装置20は、図2に示されていない他の構成を備えていてもよい。すなわち、端末装置20の態様には自由度があり、各種の設計変更が可能である。
【0031】
プロセッサ200は、メモリ210に記憶されたラベル検査プログラム212を実行するコンピュータの一例である。プロセッサ200は、RAM(Random Access Memory)、フラッシュROM(Read Only Memory)等を備えており、端末装置20全体を制御する。例えば、プロセッサ200は、メモリ210に記憶されたラベル検査プログラム212をはじめとする各種プログラムをワークエリアであるRAM上に展開し、展開されたプログラムに従って端末装置20を制御する。
【0032】
プロセッサ200は、例えばシングルプロセッサ又はマルチプロセッサであり、少なくとも1つのプロセッサを含む。複数のプロセッサを含む構成とした場合、プロセッサ200は、単一の装置としてパッケージ化されたものであってもよく、端末装置20内で物理的に分離した複数の装置で構成されてもよい。
【0033】
メモリ210に記憶されたラベル検査プログラム212は、複数のラベルが貼付された対象物の撮影画像(例示的には、カメラ120A~120Eによる対象物30の各外観面の撮影画像)の中から、複数のラベルの各々を検出し、検出された個々のラベルに対する良否判定を行い、良否判定の結果に基づいた報知を行う、という一連の処理を、コンピュータであるプロセッサ200に実行させる。
【0034】
ラベル検査プログラム212の実行により、例えば、検査対象の装置が紙幣リサイクルユニットのような大型で且つ複数のラベルが貼付された装置であっても、画像認識技術等を用いた機械的なラベル検査を行うことができる。そのため、検査を速やかに行うことができるとともに検査精度が向上し、更に、検査にかかる人件費が抑えられる。
【0035】
プロセッサ200は、機能ブロックとして、ラベル検出部200A、良否判定部200B及び報知部200Cを備える。各機能ブロックは、コンピュータの一例であるプロセッサ200が実行するラベル検査プログラム212により実現される。各機能ブロックは、一部又は全部が専用の論理回路等のハードウェアにより実現されてもよい。
【0036】
メモリ210は、第1の記憶部及び第2の記憶部の一例であり、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、HDD(Hard Disk Drive)等である。
【0037】
表示部220は、例えば、タッチパネルを搭載したLCD(Liquid Crystal Display)、有機EL(Electro Luminescence)等であり、ラベル検査用の操作画面、検査結果等を表示する。
【0038】
操作部230は、作業員により操作される、ハードウェア又はソフトウェア若しくはこれらを組み合わせたユーザインタフェースであり、例えば、キーボード、マウス等を含む。本実施形態では、表示部220がタッチパネルを搭載するため、表示部220が操作部230も兼ねる。
【0039】
通信部240は、カメラ120A~120Eと通信するための通信インタフェースである。通信部240は、例えば、有線ケーブル40を介してカメラ120A~120Eに対して撮影指示を送信し、また、有線ケーブル40を介してカメラ120A~120Eより送信された撮影画像を受信する。
【0040】
図3は、本発明の一実施形態においてプロセッサ200により実行されるラベル検査プログラム212の処理を示すフローチャートである。図4A図4Eは、図3に示される処理の実行時に端末装置20の表示部220に表示される画面例を示す図である。
【0041】
例えば作業員による操作部230に対する操作によりラベル検査プログラム212が起動されると、図3に示される処理の実行が開始される。なお、図3に示される処理の実行に先立ち、検査装置10の電源がオンされ、且つ予め決められた向きで、指標部110が示す所定位置Pに、対象物30が配置されているものとする(図1参照)。
【0042】
ラベル検査プログラム212は、図4Aに示される対象機種選択画面Aを表示部220に表示する(ステップS101)。対象機種選択画面Aは、ラベル検査を行う対象機種を作業員に選択させるための画面である。対象機種選択画面Aには、選択可能な対象機種の一覧A1と、「撮影実行」と表記されたボタンA2が表示される。
【0043】
なお、対象機種選択画面Aを含む幾つかの画面例に重ねて示される指は、表示部220に表示される画像を示すものではなく、表示部220に対するタッチ操作を行う作業員の指を模式的に示したものである。
【0044】
作業員が一覧A1の中から1つの対象機種をタッチしたうえでボタンA2をタッチする(言い換えると、ラベル検査プログラム212がこれらのタッチ操作を受け付ける)と、ラベル検査プログラム212は、タッチ操作で選択された機種を対象機種として設定するとともに(ステップS102)、カメラ120A~120Eに対して撮影指示を送信する(ステップS103)。
【0045】
カメラ120A~120Eは、ラベル検査プログラム212による撮影指示に従って対象物30の各外観面を撮影し、撮影された各外観面の画像を端末装置20に出力する。これにより、ラベル検査プログラム212は、対象物30の各外観面の撮影画像を取得する(ステップS104)。取得された各外観面の撮影画像は、例えばプロセッサ200のRAMに保持される。
【0046】
便宜上、カメラ120Aによる撮影画像を「撮影画像a」と記し、カメラ120Bによる撮影画像を「撮影画像b」と記し、カメラ120Cによる撮影画像を「撮影画像c」と記し、カメラ120Dによる撮影画像を「撮影画像d」と記し、カメラ120Eによる撮影画像を「撮影画像e」と記す。
【0047】
メモリ210は、対象機種毎のサンプル画像群を記憶する。サンプル画像群は、対象機種の各外観面(本実施形態では、右側面30A、後面30B、左側面30C、前面30D、天面30E)の全体のサンプル画像、及び各外観面に貼付された個々のラベルのサンプル画像を含む。これらのサンプル画像は、良品の状態を示す。
【0048】
このように、メモリ210は、複数のラベルが貼付された対象物のサンプル画像を記憶する第1の記憶部として動作する。また、メモリ210は、複数のラベルの各々のサンプル画像を記憶する第2の記憶部として動作する。
【0049】
図5は、対象物30の右側面30Aの全体のサンプル画像S0の一例を示す図である。図6は、対象物30の各外観面(右側面30A、後面30B、左側面30C、前面30D、天面30E)に貼付された個々のラベルのサンプル画像の一例を表形式で示す図である。
【0050】
本実施形態では、各外観面に10個のラベルが貼付されるものとする。図6中、縦列CAは、右側面30Aに貼付された各ラベルLA~LA10のサンプル画像SA~SA10を示す。縦列CBは、後面30Bに貼付された各ラベルLB~LB10のサンプル画像SB~SB10を示す。縦列CCは、左側面30Cに貼付された各ラベルLC~LC10のサンプル画像SC~SC10を示す。縦列CDは、前面30Dに貼付された各ラベルLD~LD10のサンプル画像SD~SD10を示す。縦列CEは、天面30Eに貼付された各ラベルLE~LE10のサンプル画像SE~SE10を示す。なお、図6において、サンプル画像SB~SB,SC~SC、SD~SD、SE~SEは、類似したラベルの画像であるため、その図示を省略している。
【0051】
ラベル検査プログラム212は、ステップS102において設定された対象機種のサンプル画像群をメモリ210から読み出して、例えばプロセッサ200のRAMに保持する(ステップS105)。
【0052】
ラベル検査プログラム212は、撮影画像a~eのそれぞれに対して順次、ステップS106~S113の処理を実行する。以下では、撮影画像aに対して実行されるステップS106~S113の処理について説明する。
【0053】
ラベル検査プログラム212は、撮影画像aの中から、特定パターンであるラベル画像を検出する(ステップS106)。この検出処理により、例えば、右側面30A内における各ラベル画像の貼付位置(x,y)、貼付角度、形状、サイズが取得される。ここでは、サンプル画像SA~SA10に対応する10個のラベル画像が検出されたものとする。便宜上、サンプル画像SA~SA10に対応する10個のラベル画像のそれぞれに符号LI~LI10を付す。
【0054】
なお、ステップS106の処理をはじめとする、本実施形態の各処理で採用される画像認識技術は、周知であるため、その詳細な説明は省略する。
【0055】
このように、ステップS106において、ラベル検査プログラム212は、撮影部120により撮影された画像の中から、複数のラベルの各々を検出するラベル検出部200Aとして動作する。
【0056】
ラベル検査プログラム212は、ステップS105においてプロセッサ200のRAMに保持されたサンプル画像S0に対しても同様の検出処理を行って、サンプル画像S0内の10個のラベル画像の情報(貼付位置(x,y)、貼付角度、形状、サイズ)を取得する(ステップS107)。なお、サンプル画像S0内の各ラベル画像の情報は、メモリ210に予め保持されていてもよい。この場合、ステップS107の処理を省略することができる。
【0057】
ラベル検査プログラム212は、ステップS106において検出されたラベル画像LI~LI10のそれぞれに対し、サンプル画像S0内の、対応するラベル画像との比較処理を行い、比較結果に基づいて、ラベルLA~LA10に対する良否判定を行い(ステップS108)、その結果を例えばメモリ210に保存する(ステップS109)。
【0058】
以下、便宜上、ラベル画像LI~LI10のうちの任意のラベル画像を示す場合、下付き文字を省いた「ラベル画像LI」と記す。また、ラベルLA~LA10のうちの任意のラベルを示す場合、下付き文字を省いた「ラベルLA」と記す。また、サンプル画像SA~SA10のうちの任意のサンプル画像を示す場合、下付き文字を省いた「サンプル画像SA」と記す。
【0059】
例示的には、ラベル検査プログラム212は、比較された両者の画像の情報(貼付位置(x,y)、貼付角度、形状、サイズ)が一致する場合、所定の第1項目群について「良」と判定し、当該情報が一致しない場合、一致しない項目について「不良」と判定する。所定の第1項目群は、例えば、ラベルの貼付位置(x,y)、貼付角度、誤貼付(形状、サイズ)、貼付有無の項目を含む。
【0060】
すなわち、ラベル検査プログラム212は、対象物30の右側面30Aに対し、ラベルLAが正しい位置に貼付されていれば、当該ラベルLAの貼付位置(x,y)を「良」と判定し、ラベルLAが正しい位置に貼付されていなければ、当該ラベルLAの貼付位置(x,y)を「不良」と判定する。
【0061】
ラベル検査プログラム212は、対象物30の右側面30Aに対し、ラベルLAが正しい角度で貼付されていれば、当該ラベルLAの貼付角度を「良」と判定し、ラベルLAが正しい角度で貼付されていなければ、当該ラベルLAの貼付角度を「不良」と判定する。
【0062】
ラベル検査プログラム212は、対象物30の右側面30Aに対し、正しい形状、サイズのラベルLAが貼付されていれば、当該ラベルLAの形状、サイズを「良」と判定し、正しい形状、サイズのラベルLAが貼付されていなければ、当該ラベルLAの形状、サイズを「不良」と判定する。すなわち、ラベル検査プログラム212は、形状とサイズに関し、誤った種類のラベルLAが貼付されていないか(誤貼付でないか)どうかを判定する。
【0063】
なお、上記の「一致」は、必ずしも完全一致を示すものでない。例えば、ステップS108で比較された両者の画像の情報の相関度が所定値以上であれば、「一致」と判定してもよい。一例として、対象物30に貼付されたラベルLAの位置のずれが許容公差に収まる場合、ラベル検査プログラム212は、貼付位置(x,y)の項目に関し、「一致」と判定する。
【0064】
作業員によるラベルLAの貼付忘れ等により、本来貼付されるべき位置及びその周辺にラベルLAがない場合がある。この場合、ステップS106において、該当するラベル画像LIが検出されない。ステップS108において比較対象のラベル画像LIが存在しない場合、ラベル検査プログラム212は、該当するラベルLAの貼付有無を「不良」(言い換えると「貼付無し」)と判定する。ステップS108において比較対象のラベル画像LIが存在する場合、ラベル検査プログラム212は、該当するラベルLAの貼付有無を「良」(言い換えると「貼付有り」)と判定する。
【0065】
このように、ステップS108において、ラベル検査プログラム212は、ラベル検出部200Aにより検出された個々のラベルに対する良否判定を行う良否判定部200Bとして動作する。附言するに、良否判定部200Bとして動作するラベル検査プログラム212は、サンプル画像S0(対象物のサンプル画像の一例)に基づいて、複数のラベルの各々に対し、所定の第1項目群に関する良否判定を行う。
【0066】
本実施形態では、貼付位置(x,y)、貼付角度、形状、サイズ、貼付有無の全ての項目に対する良否判定を行うが、本発明の構成はこれに限らない。例えば、貼付位置(x,y)、貼付角度、形状、サイズ、貼付有無のうちの少なくとも1つの項目に対する良否判定を行う構成も本発明の範疇である。また、第1項目群は、別の項目を含んでいてもよい。
【0067】
ラベル検査プログラム212は、ステップS109においてメモリ210に保存された良否判定の結果を表示部220に表示(言い換えると報知)する(ステップS110)。
【0068】
図4B図4Cは、それぞれ、ステップS110において表示部220に表示される確認画面B、Cの一例を示す図である。確認画面Bは、第1項目群に関し、「不良」判定となったラベルLAが1つでもある場合に表示部220に表示される画面例であり、各ラベルLA~LA10に対する良否判定結果一覧B1及び詳細情報B2を含む。確認画面Cは、第1項目群に関し、「不良」判定となったラベルLAが1つもない場合に表示部220に表示される画面例であり、各ラベルLA~LA10に対する良否判定結果一覧C1及び詳細情報C2を含む。
【0069】
良否判定結果一覧B1及びC1には、ステップS108において実行された、各ラベルLA~LA10に対する良否判定の結果が列記される。図4B及び図4Cをはじめとする各図中、「OK」は「良」判定であることを示し、「NG」は「不良」判定であることを示す。
【0070】
図4Bに例示される良否判定結果一覧B1では、ラベルLA~LA10のうち、ラベルLAとラベルLAが「不良」判定となっており、それ以外のラベルLAが「良」判定となっている。また、詳細情報B2には、ラベルLAのラベルが無い点(すなわち貼付有無が「不良」判定)及びラベルLAの位置がずれている点(すなわち貼付位置が「不良」判定)を指摘する情報が表示される。
【0071】
第1項目群に関し、ラベルLA~LA10が全て「良」判定の場合、図4Cの良否判定結果一覧C1において全てのラベルLA~LA10に対し「OK」が表示される。また、詳細情報C2には、ラベルLA~LA10が全て「良」判定であることを示す情報が表示される。
【0072】
このように、ステップS110において、ラベル検査プログラム212は、良否判定部200Bによる判定結果に基づいた報知を行う報知部200Cとして動作する。附言するに、報知部200Cとして動作するラベル検査プログラム212は、良否判定部200Bによる、個々のラベルに対する良否判定結果を報知する。
【0073】
ラベル検査プログラム212は、ステップS108において「良」判定となったラベルLAに対し、所定の第2項目群に関する良否判定を行い(ステップS111)、その結果を例えばメモリ210に保存する(ステップS112)。所定の第2項目群は、例えば、ラベルの品質、誤貼付の項目を含む。より詳細には、品質は、印字擦れ、破れ、剥がれ、ヨレ、汚れ、線傷の項目を含む。誤貼付は、記号・文字相違、色違いの項目を含む。
【0074】
例示的には、ステップS111において、ラベル検査プログラム212は、ステップS108において「良」判定となったラベルLAに対応するラベル画像LIとサンプル画像SAとの比較処理を行い、比較結果に基づいて良否判定を行う。
【0075】
例えば、印字擦れ等の品質エラーがラベルLAになければ、ラベル画像LIとサンプル画像SAとの相関度は高い。この場合、ラベル検査プログラム212は、ラベルLAの品質を「良」と判定する。これに対し、印字擦れ等の品質エラーがラベルLAにある場合、ラベル画像LIとサンプル画像SAとの相関度は低い。この場合、ラベル検査プログラム212は、ラベルLAの品質を「不良」と判定する。
【0076】
ラベルLAの内容(記号及び文字並びに色)が正しければ、ラベル画像LIとサンプル画像SAとの相関度は高い。この場合、ラベル検査プログラム212は、ラベルLAの記号、文字、色を「良」と判定(言い換えると、正しい内容のラベルLAが貼付されていると判定)する。これに対し、ラベルLAの内容(記号及び文字並びに色)が正しくなければ、ラベル画像LIとサンプル画像SAとの相関度は低い。この場合、ラベル検査プログラム212は、ラベルLAの記号、文字、色を「不良」と判定(言い換えると、正しい内容のラベルLAが貼付されていない(すなわち誤貼付)と判定)する。
【0077】
このように、ステップS111において、ラベル検査プログラム212は、良否判定部200Bとして動作する。附言するに、良否判定部200Bとして動作するラベル検査プログラム212は、サンプル画像SA(複数のラベルの各々のサンプル画像の一例)に基づいて、複数のラベルの各々に対し、所定の第2項目群に関する良否判定を行う。
【0078】
本実施形態では、印字擦れ、破れ、剥がれ、ヨレ、汚れ、線傷、記号・文字相違、色違いの全ての項目に対する良否判定を行うが、本発明の構成はこれに限らない。例えば、印字擦れ、破れ、剥がれ、ヨレ、汚れ、線傷、記号・文字相違、色違いのうちの少なくとも1つの項目に対する良否判定を行う構成も本発明の範疇である。また、第2項目群は、別の項目を含んでいてもよい。
【0079】
ラベル検査プログラム212は、ステップS112においてメモリ210に保存された良否判定の結果を表示部220に表示(言い換えると報知)する(ステップS113)。
【0080】
図4D図4Eは、それぞれ、ステップS113において表示部220に表示される確認画面D、Eの一例を示す図である。確認画面Dは、第2項目群に関し、「不良」判定となったラベルLAが1つでもある場合に表示部220に表示される画面例であり、検査対象のラベルLAに対する良否判定結果一覧D1及び詳細情報D2を含む。確認画面Eは、第2項目群に関し、「不良」判定となったラベルLAが1つもない場合に表示部220に表示される画面例であり、検査対象のラベルLAに対する良否判定結果一覧E1及び詳細情報E2を含む。
【0081】
良否判定結果一覧D1及びE1には、ステップS110において実行された、検査対象のラベルLAに対する良否判定の結果が列記される。
【0082】
図4Dに例示される良否判定結果一覧D1では、検査対象のラベルLAのうち、ラベルLAが「不良」判定となっており、それ以外のラベルLAが「良」判定となっている。また、詳細情報D2には、ラベルLAのラベルに汚れがある点(すなわち汚れが「不良」判定)を指摘する情報が表示される。
【0083】
第2項目群に関し、検査対象のラベルLAが全て「良」判定の場合、図4Eの良否判定結果一覧E1において検査対象の全てのラベルLAに対し「OK」が表示される。また、詳細情報E2には、検査対象のラベルLAが全て「良」判定であることを示す情報が表示される。
【0084】
このように、ステップS113において、ラベル検査プログラム212は、良否判定部200Bによる判定結果に基づいた報知を行う報知部200Cとして動作する。附言するに、報知部200Cとして動作するラベル検査プログラム212は、良否判定部200Bによる、個々のラベルに対する良否判定結果を報知する。
【0085】
ラベル検査プログラム212は、全ての検査対象の外観面(本実施形態では、右側面30A、後面30B、左側面30C、前面30D、天面30E)に対する検査が完了したか否かを判定する(ステップS114)。未検査の外観面が残っている場合(ステップS114:NO)、ラベル検査プログラム212は、次の撮影画像に対し、検査(すなわち、ステップS106~S113の処理)を実行する。
【0086】
このように、ラベル検査プログラム212は、複数のカメラ120A~120Eによる撮影画像a~e毎に、ラベル検出部200Aによるラベルの検出、良否判定部200Bによる良否判定、及び報知部200Cによる報知を行う。
【0087】
全ての検査対象の外観面に対する検査が完了すると(ステップS114:YES)、ラベル検査プログラム212は、対象物30に貼付されたラベルに対する総合的な判定結果を表示部220に表示(言い換えると報知)する(ステップS115)。
【0088】
図7は、ステップS115において表示部220に表示される総合判定結果画面Fの一例を示す図である。総合判定結果画面Fは、全ての検査対象の外観面において「不良」判定となったラベルが1つもない場合(言い換えると、全てのラベルで「良」判定となった場合)に表示部220に表示される画面例である。
【0089】
総合判定結果画面Fには、総合判定として「OK」、すなわち「不良」判定となったラベルが1つもないことを示す情報が表示される。作業者は、総合判定結果画面Fを確認することにより、対象物30に貼付されたラベルに問題がないことを把握できる。
【0090】
総合判定結果画面Fには、「継続検査」と表記されたボタンF1が表示される。検査対象の対象物がまだ残っている場合、作業者は、総合判定結果画面Fに表示されたメッセージに従い、検査が完了した対象物30をブースBTから搬出し、次の検査対象の対象物をブースBT内に搬入して、ボタンF1をタッチする。ラベル検査プログラム212は、ボタンF1に対するタッチ操作を受け付けると(ステップS116:YES)。次の検査対象の対象物に対し、図3の処理の実行を開始する。
【0091】
総合判定結果画面Fには、「終了」と表記されたボタンF2が表示される。検査対象の対象物が残っていない場合、作業者は、総合判定結果画面Fに表示されたメッセージに従い、検査が完了した対象物30をブースBTから搬出し、ボタンF2をタッチする。ラベル検査プログラム212は、ボタンF2に対するタッチ操作を受け付けると(ステップS117:YES)。図3の処理を終了する。
【0092】
図8Aは、ステップS115において表示部220に表示される総合判定結果画面G1の一例を示す図である。総合判定結果画面G1は、全ての検査対象の外観面のなかで「不良」判定となったラベルが1つでもある場合に表示部220に表示される画面例である。
【0093】
総合判定結果画面G1には、総合判定として「NG」、すなわち「不良」判定となったラベルが少なくとも1つあることを示す情報が表示される。作業者は、総合判定結果画面G1を確認することにより、対象物30に貼付されたラベルに問題があることを把握できる。
【0094】
より詳細には、総合判定結果画面G1には、検査対象の外観面の各々に対する判定結果が列記される。総合判定結果画面G1に列記された判定結果の1つがタッチされると、ラベル検査プログラム212は、タッチされた検査結果の詳細情報を表示部220に表示する。
【0095】
図8Bに、総合判定結果画面G1で判定結果の1つがタッチされたときに表示部220に表示される画面例G2を示す。図8Bに示されるように、表示部220上に、検査結果の詳細情報(「不良」判定の具体的内容)が列記される。
【0096】
図8Cに、図8Bの画面例G2に列記された詳細情報の1つがタッチされたときに表示部220に表示される画面例G3を示す。図8Cに示されるように、表示部220上に、タッチされた詳細情報に対応するラベルのサンプル画像(図中「基準」と付された画像)と撮影画像(図中「撮影ラベル」と付された画像)とが並べて表示される。作業者は、例えば、画面例G3を参照しながら、対象物30に対し、「不良」判定となったラベルを適切に貼り直すことができる。
【0097】
このように、ステップS115において、報知部200Cとして動作するラベル検査プログラム212は、良否判定部200Bによる、個々のラベルに対する良否判定結果に基づいて、対象物30に貼付されたラベルに対する総合的な判定結果を報知する。
【0098】
以上のように、本実施形態によれば、紙幣リサイクルユニットに例示される大型の装置に対するラベル検査が自動化されるため、検査時間が短縮されるとともにヒューマンエラーが実質的に排除される。そのため、ラベル検査にかかる費用が抑えられるとともに検査精度が向上する。また、検査中、種々の体勢の変更を作業員に強いることがないため、作業員の身体への負担が軽減される。
【0099】
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能である。
【0100】
[付記1]
複数のラベルが貼付された対象物を撮影する撮影部と、
前記撮影部により撮影された画像の中から、前記複数のラベルの各々を検出するラベル検出部と、
前記ラベル検出部により検出された個々のラベルに対する良否判定を行う良否判定部と、
前記良否判定部による判定結果に基づいた報知を行う報知部と、を備える、
ラベル検査システム。
[付記2]
前記複数のラベルが貼付された対象物のサンプル画像を記憶する第1の記憶部を更に備え、
前記良否判定部は、前記対象物のサンプル画像に基づいて、前記複数のラベルの各々に対し、所定の第1項目群に関する前記良否判定を行う、
付記1に記載のラベル検査システム。
[付記3]
前記第1項目群は、前記ラベルの貼付位置、貼付角度、誤貼付、貼付有無のうちの少なくとも1つを含む、
付記2に記載のラベル検査システム。
[付記4]
前記複数のラベルの各々のサンプル画像を記憶する第2の記憶部を更に備え、
前記良否判定部は、前記複数のラベルの各々のサンプル画像に基づいて、前記複数のラベルの各々に対し、所定の第2項目群に関する前記良否判定を行う、
付記1から付記3の何れか一項に記載のラベル検査システム。
[付記5]
前記第2項目群は、前記ラベルの品質、誤貼付のうちの少なくとも1つを含む、
付記4に記載のラベル検査システム。
[付記6]
前記報知部は、前記良否判定部による、前記個々のラベルに対する良否判定結果を報知する、
付記1から付記5の何れか一項に記載のラベル検査システム。
[付記7]
前記報知部は、前記良否判定部による、前記個々のラベルに対する良否判定結果に基づいて、前記対象物に貼付された前記ラベルに対する総合的な判定結果を報知する、
付記1から付記6の何れか一項に記載のラベル検査システム。
[付記8]
前記撮影部は、前記対象物のそれぞれ異なる範囲を撮影する複数のカメラを含み、
前記複数のカメラによる撮影画像毎に、前記ラベル検出部による前記ラベルの検出、前記良否判定部による前記良否判定、及び前記報知部による前記報知を行う、
付記1から付記7の何れか一項に記載のラベル検査システム。
[付記9]
前記対象物は、複数の外観面を有し、
前記複数の外観面の各々に、1以上のラベルが貼付され、
前記複数のカメラの各々は、前記1以上のラベルが貼付された、それぞれ異なる前記外観面を撮影する、
付記8に記載のラベル検査システム。
[付記10]
前記対象物が配置されるブースを区画する区画部と、
前記ブース内の所定位置を指す指標部と、を更に備え、
前記複数のカメラの各々は、前記ブース内をそれぞれ異なる角度から撮影するように、前記区画部のそれぞれ異なる位置に設置され、
前記対象物が前記所定位置に配置されると、前記複数の外観面の各々が、対応する前記カメラの画角に収まる、
付記9に記載のラベル検査システム。
[付記11]
複数のラベルが貼付された対象物の撮影画像の中から、前記複数のラベルの各々を検出し、
前記検出された個々のラベルに対する良否判定を行い、
前記良否判定の結果に基づいた報知を行う、処理を、コンピュータに実行させる、
ラベル検査方法。
[付記12]
複数のラベルが貼付された対象物の撮影画像の中から、前記複数のラベルの各々を検出し、
前記検出された個々のラベルに対する良否判定を行い、
前記良否判定の結果に基づいた報知を行う、処理を、コンピュータに実行させる、
ラベル検査プログラム。
【符号の説明】
【0101】
1 :ラベル検査システム
10 :検査装置
20 :端末装置
30 :対象物
40 :有線ケーブル
100 :フレーム部
110 :指標部
120 :撮影部
120A~120E :カメラ
200 :プロセッサ
200A :ラベル検出部
200B :良否判定部
200C :報知部
210 :メモリ
212 :ラベル検査プログラム
220 :表示部
230 :操作部
240 :通信部
図1
図2
図3
図4A
図4B
図4C
図4D
図4E
図5
図6
図7
図8A
図8B
図8C