IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ブラザー工業株式会社の特許一覧

特開2022-179314検査装置、コンピュータプログラム、および、検査方法
<>
  • 特開-検査装置、コンピュータプログラム、および、検査方法 図1
  • 特開-検査装置、コンピュータプログラム、および、検査方法 図2
  • 特開-検査装置、コンピュータプログラム、および、検査方法 図3
  • 特開-検査装置、コンピュータプログラム、および、検査方法 図4
  • 特開-検査装置、コンピュータプログラム、および、検査方法 図5
  • 特開-検査装置、コンピュータプログラム、および、検査方法 図6
  • 特開-検査装置、コンピュータプログラム、および、検査方法 図7
  • 特開-検査装置、コンピュータプログラム、および、検査方法 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022179314
(43)【公開日】2022-12-02
(54)【発明の名称】検査装置、コンピュータプログラム、および、検査方法
(51)【国際特許分類】
   G01B 11/00 20060101AFI20221125BHJP
   G06T 7/00 20170101ALI20221125BHJP
【FI】
G01B11/00 H
G06T7/00 610A
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2022009941
(22)【出願日】2022-01-26
(31)【優先権主張番号】P 2021085710
(32)【優先日】2021-05-20
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000005267
【氏名又は名称】ブラザー工業株式会社
(74)【代理人】
【識別番号】110001058
【氏名又は名称】鳳国際弁理士法人
(72)【発明者】
【氏名】尾野藤 祥司
【テーマコード(参考)】
2F065
5L096
【Fターム(参考)】
2F065AA03
2F065BB27
2F065DD03
2F065DD04
2F065EE05
2F065EE08
2F065EE11
2F065FF01
2F065FF04
2F065FF21
2F065FF61
2F065JJ03
2F065JJ26
2F065QQ36
2F065QQ38
2F065QQ39
2F065RR08
5L096BA03
5L096DA02
5L096DA03
5L096EA07
5L096FA64
5L096FA66
5L096FA67
5L096FA69
5L096GA51
5L096HA08
5L096JA09
(57)【要約】

【課題】物体の一部を構成する構成部の配置位置を容易に検査する。
【解決手段】検査装置は、構成部を含む部分の図面を示す図面データを用いて、図面内の構成部を特定し、図面内の物体の基準部位の位置を特定し、図面データと、図面内の構成部の特定結果と、図面内の基準部位の位置の特定結果と、を用いて、図面内に示される寸法情報を取得する。検査装置は、物体のうち、少なくとも構成部を含む部分を含む撮像画像を示す撮像画像データを用いて、撮像画像内の構成部を特定し、撮像画像内の物体の基準部位を特定し、撮像画像内の構成部の特定結果と、撮像画像内の基準部位の特定結果と、寸法情報と、を用いて、撮像画像内の構成部の配置位置が寸法情報によって規定される特定の配置位置であるか否かを判定する。
【選択図】 図4
【特許請求の範囲】
【請求項1】
製品に貼付されたラベルの貼付位置を検査する検査装置であって、
前記ラベルが特定の貼付位置に貼付された状態の前記製品のうち、少なくとも前記ラベルを含む部分の図面を示す図面データを取得する図面取得部と、
前記図面データを用いて、前記図面内の前記ラベルを特定する図面ラベル特定部と、
前記図面データを用いて、前記図面内の前記製品の基準部位の位置を特定する基準位置特定部であって、前記基準部位は、前記製品に対する前記ラベルの前記特定の貼付位置を規定するための基準となる部位である、前記基準位置特定部と、
前記図面データと、前記図面内の前記ラベルの特定結果と、前記図面内の前記基準部位の特定結果と、を用いて、前記図面内に示される寸法情報を取得する寸法取得部であって、前記寸法情報は、前記基準部位と前記特定の貼付位置との位置関係を規定する情報であり、前記特定の貼付位置の公差を含む、前記寸法取得部と、
前記ラベルが貼付された状態の前記製品を撮像することによって得られる撮像画像データを取得する撮像画像取得部であって、前記撮像画像データによって示される撮像画像は、前記製品のうち、少なくとも前記ラベルを含む部分を含む、前記撮像画像取得部と、
前記撮像画像データを用いて、前記撮像画像内の前記ラベルを特定する撮像ラベル特定部と、
前記撮像画像データを用いて、前記撮像画像内の前記製品の前記基準部位を特定する基準部位特定部と、
前記撮像画像内の前記ラベルの特定結果と、前記撮像画像内の前記基準部位の位置の特定結果と、前記寸法情報と、を用いて、前記撮像画像内の前記ラベルの貼付位置が前記寸法情報によって規定される前記特定の貼付位置であるか否かを判定する位置判定部と、
を備える、検査装置。
【請求項2】
請求項1に記載の検査装置であって、
前記寸法情報は、前記公差と、前記ラベルと基準部位との間の寸法の設計値と、を含み、
前記位置判定部は、
前記撮像画像内の前記ラベルと前記撮像画像内の前記基準部位との間の寸法を特定し、
特定された寸法が前記設計値と前記公差とに基づく範囲内であるか否かを判定することによって、前記撮像画像内の前記ラベルの貼付位置が前記特定の貼付位置であるか否かを判定する、検査装置。
【請求項3】
請求項1に記載の検査装置であって、
前記位置判定部は、
前記撮像画像内の前記ラベルの位置およびサイズと前記図面内の前記ラベルの位置およびサイズとが一致している状態における前記撮像画像内の前記基準部位の位置と前記図面内の前記基準部位の位置との差を特定し、
前記撮像画像内の前記基準部位の位置と前記図面内の前記基準部位の位置との差が前記公差内であるか否かを判定することによって、前記撮像画像内の前記ラベルの貼付位置が前記特定の貼付位置であるか否かを判定する、検査装置。
【請求項4】
請求項1~3のいずれかに記載の検査装置であって、さらに、
前記撮像画像データに対して、前記撮像画像内の歪みを補正する歪み補正処理を実行する補正部を備え、
前記位置判定部は、前記歪み補正処理済みの前記撮像画像データを用いて、前記撮像画像内の前記ラベルの貼付位置が前記特定の貼付位置であるか否かを判定する、検査装置。
【請求項5】
請求項1~4のいずれかに記載の検査装置であって、さらに、
前記撮像画像データと前記図面データとのうちの少なくとも一方の画像データに対して、前記撮像画像内の前記ラベルのサイズと前記図面内の前記ラベルのサイズとが一致するように画像のサイズを変更するサイズ変更処理を実行するサイズ変更部を備え、
前記位置判定部は、前記サイズ変更処理済みの前記少なくとも一方の画像データを用いて、前記撮像画像内の前記ラベルの貼付位置が前記特定の貼付位置であるか否かを判定する、検査装置。
【請求項6】
請求項1~5のいずれかに記載の検査装置であって、
前記ラベルは、第1ラベルと第2ラベルとを含み、
前記特定の貼付位置は、前記第1ラベルが貼付されるべき第1貼付位置と、前記第2ラベルが貼付されるべき第2貼付位置と、を含み、
前記基準部位は、前記製品に対する前記第1貼付位置を規定するための基準となる第1基準部位と、前記製品に対する前記第2貼付位置を規定するための基準となる第2基準部位と、を含み、
前記寸法情報は、前記第1基準部位と前記第1貼付位置との位置関係を規定する第1寸法情報と、前記第2基準部位と前記第2貼付位置との位置関係を規定する第2寸法情報と、を含み、
前記図面ラベル特定部は、前記図面内の前記第1ラベルと前記第2ラベルとを特定し、
前記基準位置特定部は、前記図面内の前記第1基準部位の位置と前記第2基準部位の位置とを特定し、
前記寸法取得部は、前記図面内に示される前記第1寸法情報と前記第2寸法情報とを取得し、
前記撮像ラベル特定部は、前記撮像画像内の前記第1ラベルと第2ラベルとを特定し、
前記基準部位特定部は、前記撮像画像内の前記第1基準部位と前記第2基準部位とを特定し、
前記位置判定部は、前記撮像画像内の前記第1ラベルの貼付位置が前記第1貼付位置であるか否かを判定し、前記撮像画像内の前記第2ラベルの貼付位置が前記第2貼付位置であるか否かを判定する、検査装置。
【請求項7】
請求項6に記載の検査装置であって、
前記第1ラベルは、前記製品の第1面に貼付され、前記第2ラベルは、前記製品の前記第1面とは異なる方向を向いた第2面に貼付され、
前記図面データは、前記第1面のうち、少なくとも前記第1ラベルを含む部分の2次元の図面を示す第1図面データと、前記第2面のうち、少なくとも前記第2ラベルを含む部分の2次元の図面を示す第2図面データと、を含み、
前記撮像画像データは、前記第1面のうち、少なくとも前記第1ラベルを含む部分の撮像画像を示す第1撮像画像データと、前記第2面のうち、少なくとも前記第2ラベルを含む部分の撮像画像を示す第2撮像画像データと、を含む、検査装置。
【請求項8】
請求項1~7のいずれかに記載の検査装置であって、
前記図面データは、ビットマップデータであり、
前記基準位置特定部は、
前記図面データを解析することによって、前記図面内の前記ラベルに接する第1寸法補助線を特定し、
前記第1寸法補助線と平行で前記図面内の前記ラベルから離れた第2寸法補助線であって前記基準部位に付された前記第2寸法補助線を特定することによって、前記基準部位の位置を特定し、
前記寸法取得部は、
前記図面データを解析することによって、前記第1寸法補助線と前記第2寸法補助線とに対応付けられた数値を特定し、
前記数値に基づいて前記寸法情報を取得する、検査装置。
【請求項9】
請求項8に記載の検査装置であって、
前記寸法取得部は、
前記第1寸法補助線と前記第2寸法補助線とに対応付けられた寸法線および前記寸法線の端末記号のうちの少なくとも一方を特定し、
前記寸法線および前記端末記号のうちの少なくとも一方に基づく範囲内を探索することによって、前記数値を特定する、検査装置。
【請求項10】
製品に貼付されたラベルの貼付位置を検査するためのコンピュータプログラムであって、
前記ラベルが特定の貼付位置に貼付された状態の前記製品のうち、少なくとも前記ラベルを含む部分の図面を示す図面データを取得する図面取得機能と、
前記図面データを用いて、前記図面内の前記ラベルを特定する図面ラベル特定機能と、
前記図面データを用いて、前記図面内の前記製品の基準部位の位置を特定する基準位置特定機能であって、前記基準部位は、前記製品に対する前記ラベルの前記特定の貼付位置を規定するための基準となる部位である、前記基準位置特定機能と、
前記図面データと、前記図面内の前記ラベルの特定結果と、前記図面内の前記基準部位の特定結果と、を用いて、前記図面内に示される寸法情報を取得する寸法取得機能であって、前記寸法情報は、前記基準部位と前記特定の貼付位置との位置関係を規定する情報であり、前記特定の貼付位置の公差を含む、前記寸法取得機能と、
前記ラベルが貼付された状態の前記製品を撮像することによって得られる撮像画像データを取得する撮像画像取得機能であって、前記撮像画像データによって示される撮像画像は、前記製品のうち、少なくとも前記ラベルを含む部分を含む、前記撮像画像取得機能と、
前記撮像画像データを用いて、前記撮像画像内の前記ラベルを特定する撮像ラベル特定機能と、
前記撮像画像データを用いて、前記撮像画像内の前記製品の前記基準部位を特定する基準部位特定機能と、
前記撮像画像内の前記ラベルの特定結果と、前記撮像画像内の前記基準部位の特定結果と、前記寸法情報と、を用いて、前記撮像画像内の前記ラベルの貼付位置が前記寸法情報によって規定される前記特定の貼付位置であるか否かを判定する位置判定機能と、
をコンピュータに実現させる、コンピュータプログラム。
【請求項11】
製品に貼付されたラベルの貼付位置を検査する検査方法であって、
前記ラベルが特定の貼付位置に貼付された状態の前記製品のうち、少なくとも前記ラベルを含む部分の図面を示す図面データを取得する図面取得工程と、
前記図面データを用いて、前記図面内の前記ラベルを特定する図面ラベル特定工程と、
前記図面データを用いて、前記図面内の前記製品の基準部位の位置を特定する基準位置特定工程であって、前記基準部位は、前記製品に対する前記ラベルの前記特定の貼付位置を規定するための基準となる部位である、前記基準位置特定工程と、
前記図面データと、前記図面内の前記ラベルの特定結果と、前記図面内の前記基準部位の位置の特定結果と、を用いて、前記図面内に示される寸法情報を取得する寸法取得工程であって、前記寸法情報は、前記基準部位と前記特定の貼付位置との位置関係を規定する情報であり、前記特定の貼付位置の公差を含む、前記寸法取得工程と、
前記ラベルが貼付された状態の前記製品を撮像することによって得られる撮像画像データを取得する撮像画像取得工程であって、前記撮像画像データによって示される撮像画像は、前記製品のうち、少なくとも前記ラベルを含む部分を含む、前記撮像画像取得工程と、
前記撮像画像データを用いて、前記撮像画像内の前記ラベルを特定する撮像ラベル特定工程と、
前記撮像画像データを用いて、前記撮像画像内の前記製品の前記基準部位を特定する基準部位特定工程と、
前記撮像画像内の前記ラベルの特定結果と、前記撮像画像内の前記基準部位の特定結果と、前記寸法情報と、を用いて、前記撮像画像内の前記ラベルの貼付位置が前記寸法情報によって規定される前記特定の貼付位置であるか否かを判定する位置判定工程と、
を備える、検査方法。
【請求項12】
物体の一部を構成する構成部の配置位置を検査する検査装置であって、
前記構成部が特定の配置位置に配置された状態の前記物体のうち、少なくとも前記構成部を含む部分の図面を示す図面データを取得する図面取得部と、
前記図面データを用いて、前記図面内の前記構成部を特定する図面構成部特定部と、
前記図面データを用いて、前記図面内の前記物体の基準部位の位置を特定する基準位置特定部であって、前記基準部位は、前記物体に対する前記構成部の前記特定の配置位置を規定するための基準となる部位である、前記基準位置特定部と、
前記図面データと、前記図面内の前記構成部の特定結果と、前記図面内の前記基準部位の特定結果と、を用いて、前記図面内に示される寸法情報を取得する寸法取得部であって、前記寸法情報は、前記基準部位と前記特定の配置位置との位置関係を規定する情報であり、前記特定の配置位置の公差を含む、前記寸法取得部と、
前記構成部が形成された状態の前記物体を撮像することによって得られる撮像画像データを取得する撮像画像取得部であって、前記撮像画像データによって示される撮像画像は、前記物体のうち、少なくとも前記構成部を含む部分を含む、前記撮像画像取得部と、
前記撮像画像データを用いて、前記撮像画像内の前記構成部を特定する撮像構成部特定部と、
前記撮像画像データを用いて、前記撮像画像内の前記物体の前記基準部位を特定する基準部位特定部と、
前記撮像画像内の前記構成部の特定結果と、前記撮像画像内の前記基準部位の位置の特定結果と、前記寸法情報と、を用いて、前記撮像画像内の前記構成部の配置位置が前記寸法情報によって規定される前記特定の配置位置であるか否かを判定する位置判定部と、
を備える、検査装置。
【請求項13】
請求項12に記載の検査装置であって、
前記寸法情報は、前記公差と、前記構成部と基準部位との間の寸法の設計値と、を含み、
前記位置判定部は、
前記撮像画像内の前記構成部と前記撮像画像内の前記基準部位との間の寸法を特定し、
特定された寸法が前記設計値と前記公差とに基づく範囲内であるか否かを判定することによって、前記撮像画像内の前記構成部の配置位置が前記特定の配置位置であるか否かを判定する、検査装置。
【請求項14】
請求項12に記載の検査装置であって、
前記位置判定部は、
前記撮像画像内の前記構成部の位置およびサイズと前記図面内の前記構成部の位置およびサイズとが一致している状態における前記撮像画像内の前記基準部位の位置と前記図面内の前記基準部位の位置との差を特定し、
前記撮像画像内の前記基準部位の位置と前記図面内の前記基準部位の位置との差が前記公差内であるか否かを判定することによって、前記撮像画像内の前記構成部の配置位置が前記特定の配置位置であるか否かを判定する、検査装置。
【請求項15】
請求項12~14のいずれかに記載の検査装置であって、さらに、
前記撮像画像データに対して、前記撮像画像内の歪みを補正する歪み補正処理を実行する補正部を備え、
前記位置判定部は、前記歪み補正処理済みの前記撮像画像データを用いて、前記撮像画像内の前記構成部の配置位置が前記特定の配置位置であるか否かを判定する、検査装置。
【請求項16】
請求項12~15のいずれかに記載の検査装置であって、さらに、
前記撮像画像データと前記図面データとのうちの少なくとも一方の画像データに対して、前記撮像画像内の前記構成部のサイズと前記図面内の前記構成部のサイズとが一致するように画像のサイズを変更するサイズ変更処理を実行するサイズ変更部を備え、
前記位置判定部は、前記サイズ変更処理済みの前記少なくとも一方の画像データを用いて、前記撮像画像内の前記構成部の配置位置が前記特定の配置位置であるか否かを判定する、検査装置。
【請求項17】
請求項12~16のいずれかに記載の検査装置であって、
前記構成部は、第1構成部と第2構成部とを含み、
前記特定の配置位置は、前記第1構成部が配置されるべき第1配置位置と、前記第2構成部が配置されるべき第2配置位置と、を含み、
前記基準部位は、前記物体に対する前記第1配置位置を規定するための基準となる第1基準部位と、前記物体に対する前記第2配置位置を規定するための基準となる第2基準部位と、を含み、
前記寸法情報は、前記第1基準部位と前記第1配置位置との位置関係を規定する第1寸法情報と、前記第2基準部位と前記第2配置位置との位置関係を規定する第2寸法情報と、を含み、
前記図面構成部特定部は、前記図面内の前記第1構成部と前記第2構成部とを特定し、
前記基準位置特定部は、前記図面内の前記第1基準部位の位置と前記第2基準部位の位置とを特定し、
前記寸法取得部は、前記図面内に示される前記第1寸法情報と前記第2寸法情報とを取得し、
前記撮像構成部特定部は、前記撮像画像内の前記第1構成部と第2構成部とを特定し、
前記基準部位特定部は、前記撮像画像内の前記第1基準部位と前記第2基準部位とを特定し、
前記位置判定部は、前記撮像画像内の前記第1構成部の配置位置が前記第1配置位置であるか否かを判定し、前記撮像画像内の前記第2構成部の配置位置が前記第2配置位置であるか否かを判定する、検査装置。
【請求項18】
請求項17に記載の検査装置であって、
前記第1構成部は、前記物体の第1面に配置され、前記第2構成部は、前記物体の前記第1面とは異なる方向を向いた第2面に配置され、
前記図面データは、前記第1面のうち、少なくとも前記第1構成部を含む部分の2次元の図面を示す第1図面データと、前記第2面のうち、少なくとも前記第2構成部を含む部分の2次元の図面を示す第2図面データと、を含み、
前記撮像画像データは、前記第1面のうち、少なくとも前記第1構成部を含む部分の撮像画像を示す第1撮像画像データと、前記第2面のうち、少なくとも前記第2構成部を含む部分の撮像画像を示す第2撮像画像データと、を含む、検査装置。
【請求項19】
請求項12~18のいずれかに記載の検査装置であって、
前記図面データは、ビットマップデータであり、
前記基準位置特定部は、
前記図面データを解析することによって、前記図面内の前記構成部に接する第1寸法補助線を特定し、
前記第1寸法補助線と平行で前記図面内の前記構成部から離れた第2寸法補助線であって前記基準部位に付された前記第2寸法補助線を特定することによって、前記基準部位の位置を特定し、
前記寸法取得部は、
前記図面データを解析することによって、前記第1寸法補助線と前記第2寸法補助線とに対応付けられた数値を特定し、
前記数値に基づいて前記寸法情報を取得する、検査装置。
【請求項20】
請求項19に記載の検査装置であって、
前記寸法取得部は、
前記第1寸法補助線と前記第2寸法補助線とに対応付けられた寸法線および前記寸法線の端末記号のうちの少なくとも一方を特定し、
前記寸法線および前記端末記号のうちの少なくとも一方に基づく範囲内を探索することによって、前記数値を特定する、検査装置。



【発明の詳細な説明】
【技術分野】
【0001】
本明細書は、撮像画像データを用いて物体の一部を構成する構成部の配置位置を検査する技術、例えば、撮像画像データを用いて製品に貼付されたラベルの貼付位置を検査する技術に関する。
【背景技術】
【0002】
検査の対象物を撮像することによって得られる撮像画像データを用いて対象物の検査を行う技術が知られている。例えば、特許文献1に開示された塗布状態検査装置は、撮像装置によってワークを撮像した画像データを用いて、ワークに塗布されたシール材の塗布状態を検査する。塗布状態検査装置は、撮像された画像内の塗布領域を特定し、塗布領域の中心線を塗布軌跡として特定する。検査装置は、塗布領域の重心に基づいて塗布軌跡の基準点と基準方向とを決定し、該基準点と基準方向とを用いて、塗布軌跡と、基準塗布軌跡と、の位置ずれを補正する。位置ずれの補正後に、検査装置は、塗布軌跡と基準塗布軌跡とを比較して、塗布状態が正常であるか否かを判定する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2014-83529号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記技術では、塗布領域自体の形状が正常であるか否かを判定することを目的としており、位置ずれの補正は、撮像装置とワークとの位置関係のずれを補正するために行われている。このために、上記技術を、製品に貼付されたラベルの貼付位置を検査するために適用しても、ラベルの貼付位置の検査を容易に実行できるとは言えなかった。このような課題は、製品に貼付されたラベルの貼付位置を検査する場合に限らず、一般的に、物体の一部を構成する構成部の配置位置を検査する場合に共通する課題であった。
【0005】
本明細書は、物体の一部を構成する構成部の配置位置を検査する技術、例えば、製品に貼付されたラベルの貼付位置を容易に検査する技術を開示する。
【課題を解決するための手段】
【0006】
本明細書に開示された技術は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の適用例として実現することが可能である。
【0007】
[適用例1]製品に貼付されたラベルの貼付位置を検査する検査装置であって、前記ラベルが特定の貼付位置に貼付された状態の前記製品のうち、少なくとも前記ラベルを含む部分の図面を示す図面データを取得する図面取得部と、前記図面データを用いて、前記図面内の前記ラベルを特定する図面ラベル特定部と、前記図面データを用いて、前記図面内の前記製品の基準部位の位置を特定する基準位置特定部であって、前記基準部位は、前記製品に対する前記ラベルの前記特定の貼付位置を規定するための基準となる部位である、前記基準位置特定部と、前記図面データと、前記図面内の前記ラベルの特定結果と、前記図面内の前記基準部位の位置の特定結果と、を用いて、前記図面内に示される寸法情報を取得する寸法取得部であって、前記寸法情報は、前記基準部位と前記特定の貼付位置との位置関係を規定する情報であり、前記特定の貼付位置の公差を含む、前記寸法取得部と、
前記ラベルが貼付された状態の前記製品を撮像することによって得られる撮像画像データを取得する撮像画像取得部であって、前記撮像画像データによって示される撮像画像は、前記製品のうち、少なくとも前記ラベルを含む部分を含む、前記撮像画像取得部と、前記撮像画像データを用いて、前記撮像画像内の前記ラベルを特定する撮像ラベル特定部と、前記撮像画像データを用いて、前記撮像画像内の前記製品の前記基準部位を特定する基準部位特定部と、前記撮像画像内の前記ラベルの特定結果と、前記撮像画像内の前記基準部位の特定結果と、前記寸法情報と、を用いて、前記撮像画像内の前記ラベルの貼付位置が前記寸法情報によって規定される前記特定の貼付位置であるか否かを判定する位置判定部と、を備える、検査装置。
【0008】
上記構成によれば、図面データを用いて図面内の製品の基準部位の位置と図面内のラベルとを特定し、これらの特定結果を用いて基準部位と特定の貼付位置との位置関係を規定する寸法情報を取得する。そして、撮像画像データを用いて撮像画像内のラベルと基準部位とを特定し、これらの特定結果と寸法情報とを用いてラベルの貼付位置が特定の貼付位置であるか否かを判定する。この結果、図面データと、撮像画像データと、を用いて製品に貼付されたラベルの貼付位置を容易に検査することができる。
【0009】
[適用例2]物体の一部を構成する構成部の配置位置を検査する検査装置であって、前記構成部が特定の配置位置に配置された状態の前記物体のうち、少なくとも前記構成部を含む部分の図面を示す図面データを取得する図面取得部と、前記図面データを用いて、前記図面内の前記構成部を特定する図面構成部特定部と、前記図面データを用いて、前記図面内の前記物体の基準部位の位置を特定する基準位置特定部であって、前記基準部位は、前記物体に対する前記構成部の前記特定の配置位置を規定するための基準となる部位である、前記基準位置特定部と、前記図面データと、前記図面内の前記構成部の特定結果と、前記図面内の前記基準部位の特定結果と、を用いて、前記図面内に示される寸法情報を取得する寸法取得部であって、前記寸法情報は、前記基準部位と前記特定の配置位置との位置関係を規定する情報であり、前記特定の配置位置の公差を含む、前記寸法取得部と、前記構成部が形成された状態の前記物体を撮像することによって得られる撮像画像データを取得する撮像画像取得部であって、前記撮像画像データによって示される撮像画像は、前記物体のうち、少なくとも前記構成部を含む部分を含む、前記撮像画像取得部と、前記撮像画像データを用いて、前記撮像画像内の前記構成部を特定する撮像構成部特定部と、前記撮像画像データを用いて、前記撮像画像内の前記物体の前記基準部位を特定する基準部位特定部と、前記撮像画像内の前記構成部の特定結果と、前記撮像画像内の前記基準部位の位置の特定結果と、前記寸法情報と、を用いて、前記撮像画像内の前記構成部の配置位置が前記寸法情報によって規定される前記特定の配置位置であるか否かを判定する位置判定部と、を備える、検査装置。
【0010】
上記構成によれば、図面データを用いて図面内の物体の基準部位の位置と図面内の構成部とを特定し、これらの特定結果を用いて基準部位と特定の配置位置との位置関係を規定する寸法情報を取得する。そして、撮像画像データを用いて撮像画像内の構成部と基準部位とを特定し、これらの特定結果と寸法情報とを用いて構成部の配置位置が特定の配置位置であるか否かを判定する。この結果、図面データと、撮像画像データと、を用いて物体の一部を構成する構成部の配置位置を容易に検査することができる。
【0011】
なお、本明細書に開示される技術は、種々の形態で実現することが可能であり、例えば、検査装置、検査方法、これらの装置および方法を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。
【図面の簡単な説明】
【0012】
図1】本実施例の検査システムの構成を示すブロック図。
図2】ワークの斜視図。
図3】図面の一例を示す図。
図4】検査準備処理のフローチャート。
図5】検査処理のフローチャート。
図6】撮像画像データによって示される撮像画像の一例を示す図。
図7】第2実施例の検査処理のフローチャート。
図8】第2実施例の検査処理の説明図。
【発明を実施するための形態】
【0013】
A.第1実施例
A-1.データ生成装置の構成
次に、実施の形態を実施例に基づき説明する。図1は、本実施例の検査システム1000の構成を示すブロック図である。検査システム1000は、検査装置100と、撮像装置400と、を含んでいる。検査装置100と撮像装置400とは、通信可能に接続されている。
【0014】
検査装置100は、例えば、パーソナルコンピュータなどの計算機である。検査装置100は、検査装置100のコントローラとしてのCPU110と、RAMなどの揮発性記憶装置120と、ハードディスクドライブなどの不揮発性記憶装置130と、マウスやキーボードなどの操作部150と、液晶ディスプレイなどの表示部140と、通信部170と、を備えている。通信部170は、外部機器、例えば、撮像装置400と通信可能に接続するための有線または無線のインタフェースを含む。
【0015】
揮発性記憶装置120は、CPU110が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域を提供する。不揮発性記憶装置130には、検査装置用のコンピュータプログラムPGが格納されている。
【0016】
コンピュータプログラムPGは、例えば、検査装置100の製造者によって提供される。コンピュータプログラムPGは、例えば、サーバからダウンロードされる形態で提供されても良く、DVD-ROMなどに格納される形態で提供されてもよい。CPU110は、コンピュータプログラムPGを実行することにより、後述する検査準備処理と検査処理とを実行する。
【0017】
撮像装置400は、光学的に被写体を撮像することによって被写体を表す画像データ(撮像画像データとも呼ぶ)を生成するデジタルカメラである。撮像装置400は、検査装置100の制御に従って、撮像画像データを生成し、検査装置100に送信する。本実施例では、撮像装置400は、検査処理の検査対象である製品300を撮像して、製品300の外観を含む撮像画像を示す撮像画像データを生成するために用いられる。
【0018】
図2は、製品300の斜視図である。製品300は、本実施例では、略直方体の筐体30を有するプリンタである。製造工程において、筐体30の前面31(-Y側の面)と、右側面32(+X側の面)と、には、それぞれ、矩形のラベルL1、L2が所定の位置に貼付される。これらのラベルL1、L2は、例えば、製造者や製品のブランドロゴ、型番、ロット番号等の各種の情報が記載されている。
【0019】
不揮発性記憶装置130には、さらに、図面データDD1、DD2が格納されている。図面データDD1、DD2は、それぞれ、図面DI1、DI2を示す画像データである。本実施例では、図面データは、複数個の画素を含む画像を示すビットマップデータであり、具体的には、RGB値によって画素ごとの色を表すRGB画像データである。RGB値は、3個の色成分の階調値(以下、成分値とも呼ぶ)、すなわち、R値、G値、B値を含むRGB表色系の色値である。R値、G値、B値は、例えば、所定の階調数(例えば、256)の階調値である。
【0020】
図3は、図面の一例を示す図である。図面DI1、DI2は、ラベルL1、L2の貼付工程の指示書に用いられる図面である。図面DI1は、筐体30の前面31のうち、ラベルL1を含む部分の線図BP1を含んでいる。以下では、線図BP1に図示されるラベルを、実物のラベルL1の符号に「B」を付してラベルBL1とも呼ぶ。線図BP1に図示される筐体の前面を、実物の前面31の符号に「B」を付して前面B31とも呼ぶ。
【0021】
図BP1は、さらに、筐体30に対するラベルL1の位置を規定するための寸法補助線A11a、A12a、A11b、A12bと、寸法線E1a、E1bと、数値N1a、N1bと、矢印R1a、R1bと、を含んでいる。
【0022】
寸法補助線A11aは、ラベルBL1の右端に接する直線であり、ラベルBL1の右端の水平方向の位置を示す。寸法補助線A12aは、前面B31の基準部位BS1a上に付された直線であり、該基準部位BS1aの水平方向の位置を示す。線図BP1の基準部位BS1aは、筐体30の基準部位S1a(図2)に対応する。基準部位は、ラベルの貼付位置を規定するための基準として用いられる部位である。基準部位は、筐体30の外観に現れた特徴的な部位であり、例えば、筐体30を構成する複数個の部品の境界や筐体30の意匠(デザイン)や筐体30の輪郭を構成する線である。2本の寸法補助線A11a、A12aは、鉛直方向に延び、互いに平行である。寸法線E1aは、2本の寸法補助線A11a、A12aに対応付けられた直線である。具体的には、寸法線E1aは、2本の寸法補助線A11a、A12aと垂直に交差している。寸法線E1aと、2本の寸法補助線A11a、A12aと、の交点には、一対の矢印R1aが付加されている。矢印R1aは、端末記号の一種である。数値N1aは、寸法線E1aに対応付けられた数値であり、寸法線E1aの近傍に位置している。
【0023】
寸法補助線A11bは、ラベルBL1の下端に接する直線であり、ラベルBL1の下端の鉛直方向の位置を示す。寸法補助線A12bは、前面B31の基準部位BS1b上に付された直線であり、該基準部位BS1bの鉛直方向の位置を示す。前面B31の基準部位BS1bは、筐体30の基準部位S1b(図2)に対応する。基準部位S1bは、基準部位S1aと同様に、筐体30の外観に現れた特徴的な部位である。2本の寸法補助線A11b、A12bは、水平方向に延び、互いに平行である。寸法線E1bは、2本の寸法補助線A11b、A12bに対応付けられた直線である。具体的には、寸法線E1bは、2本の寸法補助線A11b、A12bと垂直に交差している。寸法線E1bと、2本の寸法補助線A11b、A12bと、の交点には、一対の矢印R1bが付加されている。数値N1bは、寸法線E1bに対応付けられた数値であり、寸法線E1bの近傍に位置している。
【0024】
図面DI2は、筐体30の右側面32のうち、ラベルL2を含む部分の線図BP2を含んでいる。以下では、線図BP2に図示されるラベルを、実物のラベルL2の符号に「B」を付してラベルBL2とも呼ぶ。線図BP2に図示される筐体30の右側面を、実物の右側面32の符号に「B」を付して右側面B32とも呼ぶ。
【0025】
図BP2は、さらに、筐体30に対するラベルL2の位置を規定するための寸法補助線A21a、A22a、A21b、A22bと、寸法線E2a、E2bと、数値N2a、N2bと、矢印R2a、R2bと、を含んでいる。
【0026】
寸法補助線A21aは、ラベルBL2の右端に接する直線であり、ラベルBL2の右端の水平方向の位置を示す。寸法補助線A22aは、右側面B32の基準部位BS2a上に付された直線であり、該基準部位BS2aの水平方向の位置を示す。図面DI2の基準部位BS2aは、筐体30の基準部位S2a(図2)に対応する。基準部位S2aは、筐体30の外観に現れた特徴的な部位であり、例えば、筐体30の輪郭を構成する線である。2本の寸法補助線A21a、A22aは、鉛直方向に延び、互いに平行である。寸法線E2aは、2本の寸法補助線A21a、A22aに対応付けられた直線である。具体的には、寸法線E1aは、2本の寸法補助線A21a、A22aと垂直に交差している。寸法線E2aと、2本の寸法補助線A21a、A22aと、の交点には、一対の矢印R2aが付加されている。数値N2aは、寸法線E2aに対応付けられた数値であり、寸法線E2aの近傍に位置している。
【0027】
寸法補助線A21bは、ラベルBL2の上端に接する直線であり、ラベルBL2の上端の鉛直方向の位置を示す。寸法補助線A22bは、右側面B32の基準部位BS2b上に付された直線であり、該基準部位BS2bの鉛直方向の位置を示す。図面DI2の基準部位BS2bは、筐体30の基準部位S2b(図2)に対応する。2本の寸法補助線A21b、A22bは、水平方向に延び、互いに平行である。寸法線E2bは、2本の寸法補助線A21b、A22bに対応付けられた直線である。具体的には、寸法線E2bは、2本の寸法補助線A21b、A22bと垂直に交差している。寸法線E2bと、2本の寸法補助線A21b、A22bと、の交点には、一対の矢印R2bが付加されている。数値N2bは、寸法線E2bに対応付けられた数値であり、寸法線E2bの近傍に位置している。
【0028】
A-2.検査準備処理
検査準備処理は、図面データDD1、DD2を用いて、後述する検査処理において用いられる寸法情報を取得する処理である。検査準備処理は、検査処理に先立って実行される。図4は、検査準備処理のフローチャートである。
【0029】
S100では、CPU110は、不揮発性記憶装置130に格納された図面データDD1、DD2から1つの注目図面データを選択する。以下では、図3(A)の図面DI1を示す図面データDD1が注目図面データである場合を主な例として説明する。
【0030】
S105では、CPU110は、注目図面データによって示される図面(注目図面とも呼ぶ)内のラベルを特定する。例えば、注目図面が図3(A)の図面DI1である場合には、図面DI1内のラベルBL1が特定される。例えば、CPU110は、表示部140に図面DI1を表示する。作業者は、表示された図面DI1上において、所定のポインティングデバイスを用いてラベルBL1の位置を指定する。CPU110は、図面DI1内の指定された位置の近傍を解析して、指定された位置を含む矩形を特定する。特定方法には、公知の閉図形の探索処理が用いられる。これに代えて、パターンマッチングや機械学習モデルを用いた画像認識処理等の手法が用いられても良い。
【0031】
S110では、CPU110は、注目図面内にて特定されたラベルに接する寸法補助線を特定する。例えば、注目図面が図3(A)の図面DI1である場合には、ラベルL1に接する寸法補助線A11a、A11bが特定される。例えば、CPU110は、特定されたラベルL1の左右の端の近傍で鉛直方向に延びる直線を探索することによって、鉛直方向に延びる寸法補助線A11aを特定する。さらに、CPU110は、特定されたラベルL1の上下の端の近傍で水平方向に延びる直線を探索することによって、水平方向に延びる寸法補助線A11bを特定する。
【0032】
S115では、CPU110は、注目図面のラベルに接する寸法補助線とペアとなる寸法補助線を特定する。例えば、注目図面が図3(A)の図面DI1である場合には、ラベルL1に接する2本の寸法補助線A11a、A11bのそれぞれについて、ペアとなる寸法補助線が特定される。具体的には、CPU110は、特定済みの寸法補助線A11aの位置を始点として、ラベルBL1から離れる方向(図3(A)の右方向)に向かって、寸法補助線A11aと平行な直線を探索する。これによって、寸法補助線A11aとペアとなる寸法補助線A12aが特定される。寸法補助線A12aが特定されることは、対応する基準部位BS1aの水平方向の位置が特定されることに等しい。さらに、CPU110は、特定済みの寸法補助線A11bの位置を始点として、ラベルBL1から離れる方向(図3(A)の下方向)に向かって、寸法補助線A11bと平行な直線を探索する。これによって、寸法補助線A11bとペアとなる寸法補助線A12bが特定される。寸法補助線A12bが特定されることは、対応する基準部位BS1bの鉛直方向の位置が特定されることに等しい。
【0033】
S120では、CPU110は、注目図面にて特定済みの寸法補助線に対応付けられた矢印を特定する。注目図面が図3(A)の図面DI1である場合には、寸法補助線A11a、A12a、A11b、A12bのそれぞれに対応付けられた矢印を特定する。具体的には、CPU110は、寸法補助線A11a、A12aのそれぞれに沿って矢印を探索することによって、一対の矢印R1aを特定する。さらに、CPU110は、寸法補助線A11b、A12bのそれぞれに沿って矢印を探索することによって、一対の矢印R1bを特定する。
【0034】
S125では、CPU110は、注目図面にて特定済みの矢印に対応付けられた寸法線を特定する。注目図面が図3(A)の図面DI1である場合には、矢印R1a、R1bに対応付けられた寸法線E1a、E1bが特定される。具体的には、CPU110は、一対の矢印R1aを結ぶ直線を探索することによって、寸法線E1aを特定する。さらに、CPU110は、一対の矢印R1bを結ぶ直線を探索することによって、寸法線E1bを特定する。
【0035】
S130では、CPU110は、注目図面にて特定済みの寸法線に対応付けられた数値を特定する。注目図面が図3(A)の図面DI1である場合には、CPU110は、寸法線E1aに沿って数値を探索することによって、数値N1aを特定する。さらに、CPU110は、寸法線E1bに沿って数値を探索することによって、数値N1bを特定する。
【0036】
S135では、CPU110は、特定済みの数値に基づいて、水平方向および鉛直方向の寸法情報を取得する。水平方向および鉛直方向の寸法情報を取得する。水平方向の寸法情報は、ラベルの左右の端のいずれかと、ラベルの左右のいずれかに位置する基準部位と、の間の水平方向の寸法の設計値および公差を示す。鉛直方向の寸法情報は、ラベルの鉛直方向の端のいずれかと、ラベルの上下のいずれかに位置する基準部位と、の間の鉛直方向の寸法の設計値および公差を示す。
【0037】
具体的には、注目図面が図3(A)の図面DI1である場合には、CPU110は、数値N1a、N1bの領域に対して公知のOCR(Optical Character Recognition)技術で利用される文字認識処理を実行することによって、数値N1a、N1bの内容を認識する。数値N1a、N1bは、例えば、所定の形式「設計値±交差(単位はmm)」に従って記述されている。CPU110は、数値N1aに基づいて、ラベルL1の右端と基準部位S1aとの間の水平方向(図2のX方向)の寸法d1a(図2)の寸法情報を取得する。CPU110は、数値N1bに基づいて、ラベルL1の下端と基準部位S1bとの間の鉛直方向(図2のZ方向)の寸法d1b(図2)の寸法情報を取得する。
【0038】
S140では、CPU110は、取得された水平方向および鉛直方向の寸法情報を登録する。例えば、注目図面が図3(A)の図面DI1である場合には、水平方向および鉛直方向の寸法情報が図面データDD1と対応付けて不揮発性記憶装置130に保存される。
【0039】
S145では、CPU110は、全ての図面データを処理対象として処理したか否かを判断する。全ての図面データが処理された場合には(S145:YES)、CPU110は、検査準備処理を終了する。未処理の図面データがある場合には(S145:NO)、CPU110は、S100に戻る。
【0040】
以上の検査準備処理によって、上述したように、図面データDD1を処理対象として、ラベルL1に対応する水平方向および鉛直方向の寸法情報が登録される。また、同様の処理が、図面データDD2を処理対象として実行され、ラベルL2に対応する水平方向および鉛直方向の寸法情報が登録される。ラベルL2に対応する水平方向の寸法情報は、ラベルL2の右端と基準部位S2aとの間の水平方向(図2のY方向)の寸法d2a(図2)の設計値および公差を示す。ラベルL2に対応する鉛直方向の寸法情報は、ラベルL2の上端と基準部位S2bとの間の鉛直方向(図2のZ方向)の寸法d2b(図2)の設計値および公差を示す。
【0041】
A-3.検査処理
検査処理は、製品300に貼付されたラベルL1、L2が、特定の貼付位置に貼付されているか否かを検査する処理である。ラベルの特定の貼付位置は、ラベルL1、L2の貼付工程の指示書にて指示されている位置、すなわち、上述の図面DI1、DI2に示される位置である。
【0042】
図5は、検査処理のフローチャートである。検査処理は、製品ごとに実行され、例えば、製品が撮像装置400を用いて撮像可能な所定の位置に載置された状態で開始される。S200では、CPU110は、検査すべきラベルL1、L2(図2)から、1個の注目ラベルを選択する。以下では、ラベルL1が注目ラベルである場合を例として説明する。
【0043】
S205では、CPU110は、注目ラベルを含む撮像画像を示す撮像画像データを取得する。例えば、図2の例では、筐体30の互いに異なる面に配置された2個のラベルL1、L2が検査の対象である。このために、撮像装置400は、図2の撮像方向AR1にて筐体30の前面31のラベルL1を含む部分を撮像する第1撮像装置(図示省略)と、撮像方向AR2にて筐体30の右側面32のラベルL2を含む部分を撮像する第2撮像装置(図示省略)と、を含んでいる。撮像方向AR1は+Y方向であり、撮像方向AR2は-X方向である。注目ラベルがラベルL1である場合には、CPU110は、第1撮像装置に撮像指示を送信して、第1撮像装置から撮像画像データを取得する。撮像画像データは、図面データと同様に、複数個の画素を含む画像を示すビットマップデータであり、具体的には、RGB値によって画素ごとの色を表すRGB画像データである。
【0044】
S208では、取得された撮像画像データに対して歪み補正処理を実行する。歪み補正処理は、例えば、台形歪み補正処理と、レンズ歪み補正処理と、を含む。台形歪み補正処理は、撮影角度による撮像画像内の被写体のゆがみを補正する処理である。台形歪み補正処理は、公知のアルゴリズム、例えば、openCVの射影変換の関数を用いて実行される。レンズ歪み補正処理は、撮像装置のレンズに起因して撮像画像の被写体に生じる歪曲を補正する処理である。レンズ歪み補正処理は、公知のアルゴリズム、例えば、openCVの歪み補正の関数を用いて実行される。
【0045】
図6は、撮像画像データによって示される撮像画像の一例を示す図である。図6(A)の撮像画像PI1は、製品300の筐体30の前面31のラベルL1を含む部分を示す。撮像画像PI1は、前面31を示す画像と、ラベルL1を示す画像と、を含む。以下では、撮像画像PI1に図示されるラベルを、実物のラベルL1の符号に「P」を付し、ラベルPL1と呼ぶ。撮像画像PI1に示される筐体の前面を、実物の前面31の符号に「P」を付し、前面P31とも呼ぶ。同様に撮像画像PI1に示される筐体の基準部位を、実物の基準部位S1a、S1b(図2)の符号に「P」を付し、基準部位PS1a、PS1bとも呼ぶ。
【0046】
図6(B)の撮像画像PI2は、製品300の筐体30の右側面32のラベルL2を含む部分を示す。撮像画像PI2は、右側面32を示す画像と、ラベルL2を示す画像と、を含む。以下では、撮像画像PI2に図示されるラベルを、実物のラベルL2の符号に「P」を付し、ラベルPL2と呼ぶ。撮像画像PI2に示される筐体の右側面を、実物の右側面32の符号に「P」を付し、右側面P32とも呼ぶ。同様に撮像画像PI2に示される筐体の基準部位を、実物の基準部位S2a、S2bの符号に「P」を付し、基準部位PS2a、PS2bとも呼ぶ。
【0047】
S210では、CPU110は、撮像画像PI1内のラベルPL1を特定する。ラベルの特定は、例えば、機械学習モデルを用いた物体検出やセマンティックセグメンテーションの手法を用いて実行される。機械学習モデルとしては、例えば、YOLO(You only Look Once)、SSD(Single Shot Detector)、U-net、SegNetが用いられる。これに代えて、ラベルの特定は、パターンマッチングなどの他の手法を用いて実行されても良い。
【0048】
S212では、CPU110は、注目ラベルに対応する図面データを不揮発性記憶装置130から取得する。例えば、注目ラベルがラベルL1(図2)である場合には、ラベルL1の貼付工程の指示書として用いられる図面DI1(図3(A))を示す図面データDD1が取得される。注目ラベルがラベルL2である場合には、図面DI2(図3(B))を示す図面データDD2が取得される。
【0049】
S215では、CPU110は、撮像画像と図面とのパターンマッチングを実行する。例えば、CPU110は、図6(A)の撮像画像PI1内において、図3(A)の図面DI1をテンプレートとしてパターンマッチングを実行する。これによって、撮像画像PI1と図面DI1との位置関係が特定される。本ステップのパターンマッチングでは、例えば、図面DI1の特徴点P1、P2、P3(図3(A))と、撮像画像PI1の対応する特徴点P4、P5、P6(図6(A))と、が公知の特徴点抽出アルゴリズムによって抽出される。そして、撮像画像PI1の座標系において、図面DI1の拡大縮小処理、回転処理、および、並進処理が実行されて、図面DI1の特徴点P1、P2、P3と撮像画像PI1の対応する特徴点P4、P5、P6とが一致する位置関係が特定される。
【0050】
例えば、図6(A)において、破線の矩形で示す図面DI1は、パターンマッチングによって特定される位置関係で撮像画像PI1に対して配置されている。図6(B)において、破線の矩形で示す図面DI2は、パターンマッチングによって特定される位置関係で撮像画像PI2に対して配置されている。
【0051】
S220では、CPU110は、図面内の寸法補助線に対応する撮像画像内の基準部位を特定する。例えば、図6(A)には、破線で示す図面DI1内に、寸法補助線A11a、A11b、A12a、A12bが示されている。図6(B)には、破線で示す図面DI2内に、寸法補助線A21a、A21b、A22a、A22bが示されている。上述のように、これらの寸法補助線のうち、寸法補助線A12a、A12b、A22a、A22bは、筐体の基準部位に対応する線であり、寸法補助線A11a、A11b、A21a、A21bは、ラベルの端に対応する線である。S215のパターンマッチングによってこれらの寸法補助線に対応する撮像画像内の位置は特定されている。注目ラベルがラベルL1である場合には、CPU110は、図6(A)の撮像画像PI1において、寸法補助線A12a、A12bの近傍にて、寸法補助線A12a、A12bと平行な直線状のエッジを探索し、探索されたエッジを基準部位として特定する。これによって、撮像画像PI1において、寸法補助線A12a、A12bに対応する基準部位PS1a、PS1bが特定される。注目ラベルがラベルL2である場合には、図6(B)の撮像画像PI2において、寸法補助線A22a、A22bに対応する基準部位PS2a、PS2bが特定される。
【0052】
S225では、CPU110は、図面内の寸法補助線に対応する撮像画像内のラベルのエッジを特定する。例えば、CPU110は、S210にて特定済みのラベルの端のうち、寸法補助線の近傍に位置する端のエッジを特定する。これによって、注目ラベルがラベルL1である場合には、撮像画像PI1において、寸法補助線A11a、A11bに対応するラベルPL1の右端および下端のエッジが特定される。注目ラベルがラベルL2である場合には、撮像画像PI2において、寸法補助線A21a、A21bに対応するラベルPL2の右端および上端のエッジが特定される。
【0053】
S230では、CPU110は、撮像画像において、基準部位とラベルのエッジとの間の寸法を算出する。例えば、CPU110は、基準部位とラベルのエッジとの間の画素数をカウントし、該画素数に基づいて寸法(例えば、単位はmm)を算出する。本実施例では、撮像装置400の内部パラメータ(例えば焦点距離や光学中心)、外部パラメータ(例えばカメラの配置位置)、視野角が既知であり、製品300と撮像装置400との位置関係は固定である。このために、画素数と寸法との関係は、式として規定することができる。CPU110は、これらの式に基づいて画素数を寸法に換算することができる。
【0054】
注目ラベルがラベルL1である場合には、撮像画像PI1において、基準部位PS1aとラベルPL1の右端のエッジとの間の水平方向の寸法d1aと、基準部位PS1bとラベルPL1の下端のエッジとの間の鉛直方向の寸法d1bと、が算出される。注目ラベルがラベルL2である場合には、撮像画像PI2において、基準部位PS2aとラベルPL2の右端のエッジとの間の水平方向の寸法d2aと、基準部位PS2bとラベルPL2の上端のエッジとの間の鉛直方向の寸法d2bと、が算出される。
【0055】
S235では、CPU110は、ラベルと基準部位との間の水平方向および鉛直方向の寸法が寸法範囲内であるか否かを判断する。寸法範囲は、上述した検査準備処理(図4)において、ラベルごとに登録された寸法情報によって規定される範囲である。
【0056】
例えば、注目ラベルがラベルL1である場合には、登録される水平方向の寸法情報は、設計値「10」と公差「±3」であり、鉛直方向の寸法情報は、設計値「8」と公差「±2」である。したがって、水平方向の寸法d1aが7<d1a<13を満たし、かつ、鉛直方向の寸法d1bが6<d1b<10を満たす場合には、水平方向および鉛直方向の寸法は寸法範囲内であると判断される。水平方向の寸法d1aが7<d1a<13を満たさない、あるいは、鉛直方向の寸法d1bが6<d1b<10を満たさない場合には、水平方向および鉛直方向の寸法は寸法範囲内でないと判断される。
【0057】
注目ラベルがラベルL2である場合には、登録される水平方向の寸法情報は、設計値「16」と公差「±3」であり、鉛直方向の寸法情報は、設計値「8」と公差「±2」である。したがって、水平方向の寸法d2aが13<d2a<19を満たし、かつ、鉛直方向の寸法d2bが6<d2b<10を満たす場合には、水平方向および鉛直方向の寸法は寸法範囲内であると判断される。水平方向の寸法d2aが13<d2a<19を満たさない、あるいは、鉛直方向の寸法d2bが6<d2b<10を満たさない場合には、水平方向および鉛直方向の寸法は寸法範囲内でないと判断される。
【0058】
水平方向および鉛直方向の寸法が寸法範囲内である場合には(S235:YES)、S240にて、CPU110は、注目ラベルの貼付位置は、設計上の位置であると判定する。水平方向および鉛直方向の寸法の少なくとも一方が寸法範囲内でない場合には(S235:NO)、S245にて、CPU110は、注目ラベルの貼付位置は、設計上の位置でないと判定する。
【0059】
S250では、CPU110は、全てのラベルを注目ラベルとして処理したか否かを判断する。未処理のラベルがある場合には(S250:NO)、CPU110は、S200に戻る。全てのラベルが処理された場合には(S250:YES)、S255にて、CPU110は、判定結果を出力する。例えば、CPU110は、各ラベルの判定結果を表示部140に表示する。判定結果が出力されると、検査処理は終了される。
【0060】
以上説明した本実施例によれば、CPU110は、ラベルL1が特定の貼付位置(本実施例では設計上の貼付位置)に貼付された状態の製品300のうち、少なくともラベルL1を含む部分の図面DI1を示す図面データDD1を取得する(図4のS100、図5のS212)。CPU110は、図面データDD1を用いて、図面DI1内のラベルBL1を特定する(図4のS105)。CPU110は、図面データDD1を用いて、図面DI1内の寸法補助線A12a、A12bを特定する(図4のS115)ことによって図面DI1内の基準部位BS1a、BS1bの位置を特定する。CPU110は、図面データDD1と、図面DI1内のラベルBL1の特定結果と、図面DI1内の基準部位の位置の特定結果(本実施例では寸法補助線A12a、A12bの特定結果)と、を用いて、図面DI1内に示される寸法情報を取得する(図4のS120~S135)。さらに、CPU110は、ラベルL1が貼付された状態の製品300を撮像することによって得られる撮像画像データを取得する(図5のS205)。CPU110は、撮像画像データを用いて、撮像画像PI1内のラベルPL1を特定する(図5のS210)。CPU110は、撮像画像データを用いて、撮像画像PI1内の基準部位PS1a、PS1bを特定する(図5のS220)。CPU110は、撮像画像PI1内のラベルPL1の特定結果と、撮像画像PI1内の基準部位PS1a、PS1bの特定結果と、寸法情報と、を用いて、撮像画像PI1内のラベルPL1の貼付位置が寸法情報によって規定される特定の貼付位置(本実施例では設計上の貼付位置)であるか否かを判定する(図5のS225~S245)。この結果、図面データDD1を用いて、撮像画像データを用いて製品300に貼付されたラベルL1の貼付位置を容易に検査することができる。例えば、ラベルごとに検査のロジックを作成する必要がなく、ラベルごとに図面データを容易するだけで、様々なラベルの検査を実施できる。また、本実施例では、ラベルL1の貼付工程の指示書として用いられる図面DI1(図3(A))を示す図面データDD1が用いられるので、図面データの準備も容易である。
【0061】
さらに、本実施例によれば、寸法情報は、ラベルL1と基準部位S1a、S1bとの間の寸法の設計値と公差とを含む(図3(A))。CPU110は、撮像画像PI1内のラベルPL1と撮像画像PI1内の基準部位PS1a、PS1bとの間の寸法を特定し(図5のS225、S230)、特定された寸法が設計値と公差とに基づく寸法範囲内であるか否かを判定することによって、撮像画像PI1内のラベルPL1の貼付位置が特定の貼付位置であるか否かを判定する(図5のS235~S245)。この結果、設計値と公差とに基づいて、ラベルL1の貼付位置を適切に検査することができる。
【0062】
さらに、本実施例によれば、CPU110は、撮像画像データに対して、撮像画像PI1内の歪みを補正する歪み補正処理を実行する(図5のS208)。CPU110は、歪み補正処理済みの撮像画像データを用いて、撮像画像PI1内のラベルPL1の貼付位置が特定の貼付位置であるか否かを判定する(図5のS210~S245)。このように、歪み補正処理済みの撮像画像データが用いられることで、ラベルL1の貼付位置が特定の貼付位置であるか否かを精度良く判定することができる。例えば、筐体30の前面31が撮像装置400の撮像方向AR1に対して垂直な状態でなく、傾いた状態で撮像が行われた場合でも、ラベルL1の貼付位置が特定の貼付位置であるか否かを精度良く判定することができる。
【0063】
さらに、本実施例によれば、検査対象のラベルは、ラベルL1とラベルL2とを含み、ラベルL1とラベルL2とは、それぞれ、互いに異なる基準部位を基準として貼付されるべき貼付位置が規定されている(図3)。CPU110は、ラベルL1とラベルL2とのそれぞれについて寸法情報を取得する(図4のS135、S145等)。CPU110は、ラベルL1とラベルL2とのそれぞれについて、図5の検査処理のS200~S245を実行する。この結果、複数個のラベルL1、L2の貼付位置をそれぞれ適切に検査することができる。
【0064】
さらに、本実施例によれば、ラベルL1は筐体30の前面31に貼付され、ラベルL2は筐体30の前面31とは異なる方向を向いた右側面32に貼付される。検査準備処理および検査処理に用いられる図面データは、前面31のうち、少なくともラベルL1を含む部分の2次元の図面DI1を示す図面データDD1と、右側面32のうち、少なくともラベルL2を含む部分の2次元の図面DI2を示す図面データDD2と、を含む(図1図3等)。検査処理に用いられる撮像画像データは、前面31のうち、少なくともラベルL1を含む部分の撮像画像PI1を示す撮像画像データと、右側面32のうち、少なくともラベルL2を含む部分の撮像画像PI2を示す撮像画像データと、を含む。この結果、ラベルL1の貼付位置とラベルL2の貼付位置とを、それぞれ、互いに異なる図面データと撮像画像データのペアを用いて適切に検査することができる。また、ラベルごとに図面データを準備するだけで、複数個のラベルを容易に検査することができる。
【0065】
さらに、上記実施例によれば、検査準備処理において、CPU110は、ビットマップデータである図面データDD1を解析することによって、ラベルL1に接する寸法補助線A11a、A11bと、寸法補助線A11a、A11bと平行でラベルL1から離れた寸法補助線A12a、A12bと、を特定する(図3(A)、図4のS110、S115)。CPU110は、図面データDD1を解析することによって、これらの寸法補助線に対応付けられた数値N1a、N1bを特定し(図4のS120~S130)、数値N1a、N1bに基づいて寸法情報を取得する(図4のS135)。この結果、図面データDD1がビットマップデータであっても、図面データDD1を解析して、寸法補助線に対応付けられた数値N1a、N1bを特定することで、寸法情報を適切に取得できる。
【0066】
より具体的には、CPU110は、これらの寸法補助線に対応付けられた寸法線E1a、E1bおよび寸法線E1a、E1bの端末記号である矢印R1a、R1bを特定する(図4のS120、S125)。そして、CPU110は、寸法線E1a、E1bに基づく範囲内を探索することによって、数値N1a、N1bを特定する(図4のS130)。この結果、図面データDD1を適切に解析することで、寸法情報を確実に取得することができる。図面DI1には、一般的にJISなどの規格で定められたルールに従って、寸法補助線、寸法線、矢印などの端末記号が記載されている。例えば、該ルールを踏まえて、図面データDD1を解析すれば、寸法補助線、寸法線、矢印などの端末記号は、確実に特定することができ、ひいては、寸法を示す数値も確実に特定することができる。
【0067】
B.第2実施例
第2実施例では、第1実施例と比較して、検査処理の構成が異なる。第2実施例の他の構成は、第1実施例と同一である。図7は、第2実施例の検査処理のフローチャートである。
【0068】
図7において、図5と同一の処理には、図5と同一の符号が付され、図5と異なる処理には、符号の末尾に「B」が付されている。図7の検査処理では、図5のS215に代えて、S215Bが実行され、図5のS225、S230、S235に代えて、S225B、S235Bが実行される。図7の検査処理の他の処理は、図5の処理と同一である。以下では、注目ラベルがラベルL1である場合を例として、図7の検査処理の図5と異なる部分について説明する。
【0069】
S215Bでは、CPU110は、撮像画像PI1内のラベルPL1と、図面DI1内のラベルBL1と、のパターンマッチングを実行する。具体的には、CPU110は、図面DI1内のラベルBL1のサイズと、撮像画像PI1内のラベルPL1のサイズと、が一致するように、図面DI1に対してサイズ変更処理を実行する。サイズ変更処理は、画像のサイズを変更する処理であり、拡大処理と縮小処理とのいずれかである。CPU110は、サイズ変更処理済みの図面DI1内のラベルBL1と、撮像画像PI1内のラベルPL1と、が一致するように、撮像画像PI1に対する図面DI1の位置と角度とを決定する。なお、変形例では、パターンマッチングにおいて、撮像画像PI1に対してサイズ変更処理が実行されても良い。
【0070】
図8は、第2実施例の検査処理の説明図である。図8(A)には、図面DI1のうち、ラベルBL1と2本の寸法補助線A12a、A12bだけが図示されている。図8(B)には、S215Bのパターンマッチングにて決定されたサイズおよび位置関係で、撮像画像PI1に対して、図8(A)のラベルBL1と2本の寸法補助線A12a、A12bとが配置された状態が図示されている。図8(B)では、撮像画像PI1内のラベルPL1と図面DI1内のラベルBL1とが完全に重なっている。
【0071】
S220では、図5のS220と同様に、CPU110は、寸法補助線A12a、A12bに対応する撮像画像内の基準部位PS1a、PS1bを特定する。図8(B)の状態において、ラベルBL1と基準部位PS1aとの距離が設計値と一致している場合には、基準部位PS1aと寸法補助線A12aとは重なる。ラベルBL1と基準部位PS1aとの距離が設計値と一致しない場合には、基準部位PS1aと寸法補助線A12aとは重ならない。同様に、基準部位PS1bと寸法補助線A12bとは重なる場合と重ならない場合とがある。図8(B)の例では、基準部位PS1aと寸法補助線A12a、および、基準部位PS1bと寸法補助線A12bは、重なっていない。
【0072】
S225Bでは、CPU110は、図8(B)の状態において、撮像画像PI1内の基準部位PS1aと、図面DI1の寸法補助線A12aと、の間の水平方向の距離Δdaを算出する。例えば、CCPU110は、ラベルBL1と寸法補助線A12aとの間の距離dp(図8(A))を、画素数を単位として算出する。CPU110は、画素数を単位とする距離dpと、距離dpの設計値、すなわち、図3(A)の数値N1aに示される設計値(単位はmm)と、の比率に基づいて、画素数をミリメートル(mm)に換算する係数を決定する。これに代えて、該係数は、ラベルBL1の幅または高さの画素数と、ラベルL1の幅または高さの予め記憶された実測値(単位はmm)と、の比率に基づいて、決定されても良い。数値N1aに示される設計値は、検査準備処理にて登録される寸法情報に含まれている。CPU110は、距離Δdaを、画素数を単位として算出した後に、上述した係数を用いて、距離Δdaの単位をミリメートルに換算する。CPU110は、同様の手法を用いて、図8(B)の状態において、撮像画像PI1内の基準部位PS1bと、図面DI1の寸法補助線A12bと、の間の鉛直方向の距離Δdbを算出する。
【0073】
S235Bでは、CPU110は、水平方向および鉛直方向の距離Δda、Δdbが公差内であるか否かを判断する。公差は、検査準備処理にて登録される寸法情報に含まれている。水平方向および鉛直方向の距離Δda、Δdbが公差内である場合には(S235B:YES)、S240にて、CPU110は、注目ラベル(例えば、ラベルL1)の貼付位置は、設計上の位置であると判定する。水平方向および鉛直方向のΔda、Δdbの少なくとも一方が公差内でない場合には(S235B:NO)、S245にて、CPU110は、注目ラベル(例えば、ラベルL1)の貼付位置は、設計上の位置でないと判定する。
【0074】
以上説明した第2実施例によれば、パターンマッチングにおいて、撮像画像PI1内のラベルLP1のサイズと図面DI1内のラベルBL1のサイズとが一致するようにサイズ変更処理が実行され、サイズ変更処理済みの図面データを用いて、撮像画像PI1内のラベルPL1の貼付位置が特定の貼付位置であるか否かが判定される。ラベルのサイズは、製造誤差などで変動することはほとんどないと考えて良い。また、ラベルの形状は、矩形等のシンプルな形状であるので、サイズ変更処理を容易に精度良く実行することができる。この結果、上述した水平方向および鉛直方向の距離Δda、Δdbを精度良く算出できるので、ラベルPL1の貼付位置が特定の貼付位置であるか否かを精度良く判定できる。
【0075】
さらに、第2実施例によれば、撮像画像PI1内のラベルPL1の位置およびサイズと図面DI1内のラベルBL1の位置およびサイズとが一致している状態(図8(B))における撮像画像PI1内の基準部位PS1a、PS1bの位置と図面DI1内の基準部位BS1a、BS1bの位置との差(すなわち、距離Δda、Δdb)が特定される(図7のS225B)。そして、これらの距離Δda、Δdbが公差内であるか否かを判定することによって、撮像画像PI1内のラベルPL1の貼付位置が特定の貼付位置であるか否かが判定される。この結果、第1実施例の検査処理とは異なる手法で、ラベルの貼付位置が特定の貼付位置であるか否かを適切に判定することができる。
【0076】
C.変形例:
(1)上記実施例の図4の検査準備処理では、図4のS110、S115にて寸法補助線が特定され、S120~S130にて寸法補助線に対応付けられた数値が特定されることによって寸法情報が取得されているが、これに限られない。
【0077】
例えば、CPU110は、図4のS115にて寸法補助線A12a、A12bを特定することに代えて、パターンマッチング等の手法を用いて、図面DI1内の基準部位BS1a、BS1bそのものを特定することによって、基準部位BS1a、BS1bの位置を特定しても良い。そして、CPU110は、図面DI1において、ラベルLB1と基準部位BS1a、BS1bとの近傍において、数値を探索することによって、寸法情報を取得しても良い。
【0078】
(2)上記実施例では、図面データDD1は、ビットマップデータであるが、図面データは、線図や寸法補助線等を示すベクトルデータおよび設計値や公差を示す数値データを含むCADデータであっても良い。この場合には、CPU110は、図面データに含まれる寸法補助線のデータからラベルと筐体との位置関係を規定するための寸法補助線を特定し、該寸法補助線と対応付けられている設計値や公差を示す数値データを取得しても良い。
【0079】
(3)上記実施例の図5の検査処理では、歪み補正処理(S208)が実行されているが、例えば、撮像画像PI1の歪みが検査処理に影響が無い程度に小さい場合には、歪み補正処理は省略されても良い。
【0080】
(4)上記実施例では、2個のラベルが検査の対象とされているが、検査の対象となるラベルの個数は、1個でも良く、3個以上であっても良い。また、上記実施例では、一つのラベルに対して一つの図面データと一つの撮影画像データが用いられている。これに代えて、複数個のラベルに対して一つの図面データが用いられても良いし、複数個のラベルに対して一つの撮影画像データが用いられても良い。例えば、前面31に複数個のラベルが貼付される場合には、該複数個のラベルを含む一つの図面データや一つの撮影画像データが用いられても良い。
【0081】
(5)上記実施例の検査準備処理では、寸法線の端末記号として矢印が特定され(図4のS120)、該矢印に対応付けられた寸法線が特定されている(図4のS125)。これに代えて、矢印とは異なる端末記号、例えば、黒丸や斜線が特定されても良い。また、端末記号を特定することなく、寸法補助線の近傍で直線を探索することによって、寸法線が特定されても良い。
【0082】
(6)上記実施例では、ラベルL1、L2の形状は、矩形である。これに代えて、ラベルL1、L2の形状は、三角形、五角形などの矩形以外の多角形であっても良く、円、楕円であっても良い。
【0083】
(7)上記実施例では、ラベルと基準部位との水平方向の距離、および、ラベルと基準部位との鉛直方向の距離を規定することによって、ラベルの筐体に対する貼付位置が規定されている。これに代えて、ラベルの筐体に対する貼付位置を規定するためのラベルと基準部位との距離の全部または一部は、水平方向と鉛直方向とのいずれとも平行でない斜め方向の距離を含んでも良い。この場合であっても当該斜め方向の距離の寸法情報を取得し、撮像画像内の当該斜め方向の距離が、寸法情報によって定められる寸法範囲内であるか否かを判定することによって、ラベルが貼付位置にあるか否かが判定される。
【0084】
(8)上記実施例では、検査準備処理と検査処理とは、図1の検査装置100によって実行されている。これに代えて、検査準備処理と検査処理とは、それぞれ、別の装置によって実行されても良い。この場合には、例えば、検査準備処理によって登録された寸法情報は、検査処理を実行する装置の記憶装置に格納される。また、検査準備処理と検査処理との全部または一部は、ネットワークを介して互いに通信可能な複数個の計算機(例えば、いわゆるクラウドサーバ)によって実行されても良い。
【0085】
(9)上記実施例では、製品300に貼付されたラベルL1、L2の貼付位置の検査が行われている。これに限らず、上記実施例と同様の手法は、一般的に、物体の一部を構成する構成部の配置位置を検査する際に、採用することができる。すなわち、上記各実施例では、ラベルL1、L2が貼付された製品300(ラベルL1、L2と製品300との全体)が物体の一例であり、ラベルL1、L2が構成部の一例である。
【0086】
例えば、物体は、製品300に限らず、製品300を構成する部品、例えば、プリンタに用いられる印刷ヘッドであっても良い。また、物体は、製品300を構成する一部の部品の組み合わせ、例えば、プリンタに用いられる印刷ヘッドと印刷ヘッドが組み付けられたキャリッジであっても良い。また、物体は、製品300を製造する過程で製造される未完成の中間製造物であっても良い。
【0087】
例えば、構成部は、物体に貼付されたラベルに限らず、物体に形成された形成部、具体的には、ねじ穴であっても良く、凹凸で表現された模様や銘(製造者や製品のブランドロゴ)であっても良い。また、構成部は、物体に塗布された塗装部であっても良い。
【0088】
物体や構成部として上記に例示したいずれが採用される場合であっても、例えば、図4のS100にて、CPU110は、該構成部が特定の配置位置に配置された状態の該物体のうち、少なくとも該構成部を含む部分の図面を示す図面データを取得すれば良い。そして、図4のS105にて、CPU110は、取得された図面データを用いて、図面内の該構成部を特定する。図4のS115にて、CPU110は、図面データを用いて、図面内の寸法補助線等を特定することによって図面内の基準部位、すなわち、該物体に対する該構成部の特定の配置位置を規定するための基準となる部位の位置を特定する。CPU110は、図面データと、図面内の該構成部の特定結果と、図面内の基準部位の位置の特定結果と、を用いて、図面内に示される寸法情報を取得する。さらに、図5のS205にて、CPU110は、該構成部が配置された状態の該物体を撮像することによって得られる撮像画像データを取得すれば良い。そして、図5のS210にて、CPU110は、撮像画像データを用いて、撮像画像内の該構成部を特定し、図5のS220にて、撮像画像データを用いて、撮像画像内の基準部位を特定する。図5のS225~S245にて、CPU110は、撮像画像内の該構成部の特定結果と、撮像画像内の基準部位の特定結果と、寸法情報と、を用いて、撮像画像1内の該構成部の配置位置が寸法情報によって規定される特定の配置位置であるか否かを判定すれば良い。この結果、図面データDD1を用いて、撮像画像データを用いて該物体の一部を構成する該構成部の配置位置を容易に検査することができる。
【0089】
(10)上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、検査準備処理と検査処理との全部または一部は、ASIC(Application Specific Integrated Circuit)等のハードウェア回路によって実行されてよい。
【0090】
以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。
【符号の説明】
【0091】
100…検査装置,1000…検査システム,110…CPU,120…揮発性記憶装置,130…不揮発性記憶装置,140…表示部,150…操作部,170…通信部,30…筐体,300…製品,31…前面,32…右側面,400…撮像装置,A11a,A11b,A12a,A12b,A21a,A21b,A22a,A22b…寸法補助線,DD1,DD2…図面データ,DI1,DI2…図面,E1a,E1b,E2a,E2b…寸法線,L1,L2…ラベル,PG…コンピュータプログラム,PI1,PI2…撮像画像,R1a,R1b,R2a,R2b…矢印,S1a,S1b,S2a,S2b…基準部位
図1
図2
図3
図4
図5
図6
図7
図8