(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-13
(45)【発行日】2023-09-22
(54)【発明の名称】欠陥分類方法、欠陥分類装置及びガラス物品の製造方法
(51)【国際特許分類】
G01N 21/958 20060101AFI20230914BHJP
G01B 11/22 20060101ALI20230914BHJP
G01B 11/24 20060101ALI20230914BHJP
G02F 1/1333 20060101ALI20230914BHJP
【FI】
G01N21/958
G01B11/22 H
G01B11/24 K
G02F1/1333 500
(21)【出願番号】P 2019227239
(22)【出願日】2019-12-17
【審査請求日】2022-08-23
(73)【特許権者】
【識別番号】000232243
【氏名又は名称】日本電気硝子株式会社
(74)【代理人】
【識別番号】100107423
【氏名又は名称】城村 邦彦
(74)【代理人】
【識別番号】100120949
【氏名又は名称】熊野 剛
(74)【代理人】
【識別番号】100129148
【氏名又は名称】山本 淳也
(72)【発明者】
【氏名】茗原 貴裕
(72)【発明者】
【氏名】北川 幹将
(72)【発明者】
【氏名】井上 厚司
【審査官】蔵田 真彦
(56)【参考文献】
【文献】中国特許出願公開第106645180(CN,A)
【文献】特開2009-103508(JP,A)
【文献】特開2012-026982(JP,A)
【文献】特開2004-354251(JP,A)
【文献】特開2017-054239(JP,A)
【文献】特開2015-038441(JP,A)
【文献】中国特許出願公開第109635856(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84-21/958
G01B 11/00-11/30
G06T 1/00-19/20
(57)【特許請求の範囲】
【請求項1】
ガラス物品に含まれる欠陥を画像データとして検出し、前記画像データに基づいて前記欠陥の種別を欠陥分類装置によって分類する方法であって、
前記欠陥の種別は、第一分類と、第二分類とを含み、
前記欠陥分類装置は、前記第一分類に係る第一教師データを機械学習することにより作成した第一分類器と、前記第二分類に係る第二教師データを機械学習することにより作成した第二分類器とを備え、
前記画像データに基づいて前記欠陥が前記第一分類に属するか否かを前記第一分類器によって判定する第一判定工程と、
前記欠陥が前記第一分類に属さないと判定された場合に、前記画像データに基づいて前記欠陥が前記第二分類に属するか否かを前記第二分類器によって判定する第二判定工程と、を備え
、
前記第一分類に係る前記第一教師データ及び前記第二分類に係る前記第二教師データは、前記ガラス物品の所定の深さに形成される前記欠陥の前記画像データを含み、
前記第一判定工程の前に、前記ガラス物品から検出された前記画像データにおける前記欠陥の深さが前記所定の深さであるか否かを判定する深さ判定工程を備え、
前記第一判定工程は、前記深さ判定工程において、前記欠陥の深さが前記所定の深さであると判定された場合に実行されることを特徴とする欠陥分類方法。
【請求項2】
ガラス物品に含まれる欠陥を画像データとして検出し、前記画像データに基づいて前記欠陥の種別を欠陥分類装置によって分類する方法であって、
前記欠陥の種別は、第一分類と、第二分類とを含み、
前記欠陥分類装置は、前記第一分類に係る第一教師データを機械学習することにより作成した第一分類器と、前記第二分類に係る第二教師データを機械学習することにより作成した第二分類器とを備え、
前記画像データに基づいて前記欠陥が前記第一分類に属するか否かを前記第一分類器によって判定する第一判定工程と、
前記欠陥が前記第一分類に属さないと判定された場合に、前記画像データに基づいて前記欠陥が前記第二分類に属するか否かを前記第二分類器によって判定する第二判定工程と、を備え、
前記第一教師データに係る前記画像データは、泡に関する画像データのみを含み、
前記第二教師データに係る前記画像データは、白金異物に関する画像データのみを含むことを特徴とする欠陥分類方法。
【請求項3】
前記第一分類に係る前記第一教師データ及び前記第二分類に係る前記第二教師データは、前記ガラス物品の所定の深さに形成される前記欠陥の前記画像データを含み、
前記第一判定工程の前に、前記ガラス物品から検出された前記画像データにおける前記欠陥の深さが前記所定の深さで
ある
か否かを判定する深さ判定工程を備え、
前記第一判定工程は、前記深さ判定工程において、前記欠陥の深さが前記所定の深さであると判定された場合に実行される請求項
2に記載の欠陥分類方法。
【請求項4】
前記泡に関する前記画像データは、前記泡の形状及び/又は色に関する情報を含む請求項
2又は3に記載の欠陥分類方法。
【請求項5】
前記白金異物に関する前記画像データは、前記白金異物の形状及び/又は色に関する情報を含む請求項
2から4のいずれか一項に記載の欠陥分類方法。
【請求項6】
前記第一分類器の正解率が、前記第二分類器の正解率よりも高い請求項1
から5のいずれか一項に記載の欠陥分類方法。
【請求項7】
ガラス物品の製造方法であって、
前記ガラス物品に含まれる欠陥の画像データを取得する撮像工程と、
前記画像データに基づいて、請求項1から6のいずれか一項に記載の欠陥分類方法によって前記欠陥の種別を分類する工程と、を備えることを特徴とするガラス物品の製造方法。
【請求項8】
ガラス物品に含まれる欠陥を画像データとして検出し、前記画像データに基づいて前記欠陥の種別を分類する装置であって、
前記欠陥の種別は、第一分類と、第二分類とを含み、
前記第一分類に係る第一教師データを機械学習することにより作成された第一分類器であって、前記画像データに基づいて前記欠陥が前記第一分類に属するか否かを判定する第一分類器と、
前記第二分類に係る第二教師データを機械学習することにより作成された第二分類器であって、前記欠陥が前記第一分類に属さないと判定された場合に、前記画像データに基づいて前記欠陥が前記第二分類に属するか否かを判定する第二分類器と、を備え
、
前記第一分類に係る前記第一教師データ及び前記第二分類に係る前記第二教師データは、前記ガラス物品の所定の深さに形成される前記欠陥の前記画像データを含み、
前記ガラス物品から検出された前記画像データにおける前記欠陥の深さが前記所定の深さであるか否かを判定する深さ判定手段を備え、
前記深さ判定手段において、前記欠陥の深さが前記所定の深さであると判定された場合に前記第一分類器を用いるように構成されることを特徴とする欠陥分類装置。
【請求項9】
ガラス物品に含まれる欠陥を画像データとして検出し、前記画像データに基づいて前記欠陥の種別を分類する装置であって、
前記欠陥の種別は、第一分類と、第二分類とを含み、
前記第一分類に係る第一教師データを機械学習することにより作成された第一分類器であって、前記画像データに基づいて前記欠陥が前記第一分類に属するか否かを判定する第一分類器と、
前記第二分類に係る第二教師データを機械学習することにより作成された第二分類器であって、前記欠陥が前記第一分類に属さないと判定された場合に、前記画像データに基づいて前記欠陥が前記第二分類に属するか否かを判定する第二分類器と、を備え、
前記第一教師データに係る前記画像データは、泡に関する画像データのみを含み、
前記第二教師データに係る前記画像データは、白金異物に関する画像データのみを含むことを特徴とする欠陥分類装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ガラス物品に含まれる欠陥を分類する方法及び装置、並びに当該方法及び装置を利用することでガラス物品を製造する方法に関する。
【背景技術】
【0002】
液晶ディスプレイや有機ELディスプレイ等のディスプレイには、ガラス板が使用される。ディスプレイ用のガラス板の製造では、各種の製造装置を使用し、ガラス板が成形されているが、いずれもガラス原料を加熱溶解し、溶融ガラスを均質化した後に所定形状に成形するということが一般に行われている。この製造方法では、種々の原因によってガラス板に表面又は内部に欠陥が生じる場合がある。従って、ガラス板の欠陥を正確に測定する技術は非常に重要なものとなっている。
【0003】
例えば特許文献1には、ガラス板の内部に存在する欠陥の寸法や深さ(ガラス表面からの距離)等をレーザ顕微鏡によって測定する検査工程を備えたガラス板の製造方法が開示されている。この製造方法では、検査工程において、検査員がレーザ顕微鏡を操作することで、欠陥の測定を行っている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
測定される欠陥には、泡や異物、汚れといった種別が存在し、検査工程で検査員が欠陥の種別を分類する場合がある。この場合、検査における人員の増加や各検査員の負担が増加し、作業効率の低下を招くおそれがあった。また、本発明者らの鋭意研究によれば、分類器に泡や異物、汚れを全て機械学習させ、その分類器で欠陥の種別の分類を行うと、精度が不十分であった。
【0006】
本発明は上記の事情に鑑みてなされたものであり、ガラス物品に係る欠陥の種別の分類を分類器で精度良くすることで、検査の作業効率を向上させることを技術的課題とする。
【課題を解決するための手段】
【0007】
本発明は上記の課題を解決するためのものであり、ガラス物品に含まれる欠陥を画像データとして検出し、前記画像データに基づいて前記欠陥の種別を欠陥分類装置によって分類する方法であって、前記欠陥の種別は、第一分類と、第二分類とを含み、前記欠陥分類装置は、前記第一分類に係る第一教師データを機械学習することにより作成した第一分類器と、前記第二分類に係る第二教師データを機械学習することにより作成した第二分類器とを備え、前記画像データに基づいて前記欠陥が前記第一分類に属するか否かを前記第一分類器によって判定する第一判定工程と、前記欠陥が前記第一分類に属さないと判定された場合に、前記画像データに基づいて前記欠陥が前記第二分類に属するか否かを前記第二分類器によって判定する第二判定工程と、を備えることを特徴とする。
【0008】
かかる構成によれば、欠陥分類装置によって欠陥の種別の分類を自動化することで、欠陥の検査に係る作業を効率良く行うことが可能になる。本発明では、第一判定工程を行う第一分類器と、第二判定工程を行う第二分類器は、第一教師データ及び第二教師データを機械学習することにより作成されたものであるため、第一分類及び第二分類に係る欠陥の種別の分類を精度良く行うことができる。
【0009】
本発明に係る欠陥分類方法において、前記第一分類器の正解率は、前記第二分類器の正解率よりも高くなってもよい。これにより、ガラス物品に含まれる欠陥の種別をさらに精度良く分類できる。
【0010】
本発明に係る欠陥分類方法において、前記第一分類に係る前記第一教師データは、前記ガラス物品の所定の深さに形成される欠陥に係る画像データを含み、前記第一判定工程の前に、前記ガラス物品から検出された前記画像データにおける前記欠陥の深さが前記所定の深さである否かを判定する深さ判定工程を備え、前記第一判定工程は、前記深さ判定工程において、前記欠陥の深さが前記所定の深さであると判定された場合に実行され得る。
【0011】
傷や汚れはガラス物品の表面のみに存在し、中間部分には存在しない。このため、深さ判定工程において、欠陥の深さに関する基準値を設定することで、欠陥の種別を絞り込むことができ、第一分類器及び第二分類器の正解率を向上させることが可能になる。これにより、欠陥の種別をさらに精度良く分類できる。
【0012】
本発明に係る欠陥分類方法において、前記第一教師データに係る前記画像データは、泡に関する画像データのみを含んでもよく、前記第二教師データに係る前記画像データは、白金異物に関する画像データのみを含んでもよい。
【0013】
本発明者らの鋭意研究により、泡に関する画像データと白金異物に関する画像データとが混在する教師データにより機械学習を行って作成された分類器よりも、泡に関する画像データのみを含む第一教師データと、白金異物に関する画像データのみを含む第二教師データとにより作成された第一分類器及び第二分類器の方が、欠陥の分類に係る正解率が向上することが判明している。これにより、泡及び白金異物に関する欠陥の分類を精度良く行うことが可能になる。
【0014】
前記泡に関する前記画像データは、前記泡の形状及び/又は色に関する情報を含んでもよい。このように、第一教師データに泡の形状及び/又は色に情報を含ませることで、泡に関する欠陥の種別をその形状、色にまで細分化することが可能になる。
【0015】
前記白金異物に関する前記画像データは、前記白金異物の形状及び/又は色に関する情報を含んでもよい。このように、第二教師データに白金異物の形状及び/又は色に情報を含ませることで、白金異物に関する欠陥の種別をその形状、色にまで細分化することが可能になる。
【0016】
本発明は上記の課題を解決するためのものであり、ガラス物品の製造方法であって、前記ガラス物品に含まれる欠陥の画像データを取得する撮像工程と、前記画像データに基づいて、上記いずれかの欠陥分類方法によって前記欠陥の種別を分類する工程と、を備えることを特徴とする。
【0017】
かかる構成によれば、撮像工程において取得された画像データに基づいて、上記の欠陥分類方法により欠陥の種別を分類することで、欠陥の検査に係る作業を効率良く行うことが可能になる。これにより、ガラス物品の製造効率を向上させることができる。
【0018】
本発明は上記の課題を解決するためのものであり、ガラス物品に含まれる欠陥を画像データとして検出し、前記画像データに基づいて前記欠陥の種別を分類する装置であって、前記欠陥の種別は、第一分類と、第二分類とを含み、前記第一分類に係る第一教師データを機械学習することにより作成された第一分類器であって、前記画像データに基づいて前記欠陥が前記第一分類に属するか否かを判定する第一分類器と、前記第二分類に係る第二教師データを機械学習することにより作成された第二分類器であって、前記欠陥が前記第一分類に属さないと判定された場合に、前記画像データに基づいて前記欠陥が前記第二分類に属するか否かを判定する第二分類器と、を備えることを特徴とする。
【0019】
かかる構成によれば、欠陥分類装置によって欠陥の種別の分類を自動化することで、欠陥の検査に係る作業を効率良く行うことが可能になる。本発明に係る欠陥分類装置の第一分類器及び第二分類器は、第一教師データ及び第二教師データを機械学習することにより作成されたものであるため、欠陥の種別の分類を精度良く行うことができる。
【発明の効果】
【0020】
本発明によれば、ガラス物品に係る欠陥の種別の分類を分類器で精度良くすることで、検査の作業効率を向上させることができる。
【図面の簡単な説明】
【0021】
【
図2】ガラス物品の検査装置を示す機能ブロック図である。
【
図9】ガラス物品の製造方法を示すフローチャートである。
【発明を実施するための形態】
【0022】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
図1乃至
図12は、本発明に係るガラス物品の製造方法及び当該方法に使用される検査装置の一実施形態を示す。以下では、ガラス物品の例としての透明なガラス板を製造する場合について説明する。
【0023】
図1に示すように、検査装置1は、載置台2に載置されたガラス板Gを撮像する撮像装置3と、撮像装置3によって取得された画像データに対して画像処理を行う画像処理装置4と、当該画像データに含まれる欠陥の種別を分類する欠陥分類装置5と、を備える。
【0024】
撮像装置3は、光学顕微鏡を備えており、ガラス板Gにおける表面S及び内部の拡大画像をデータとして取得できる。撮像装置3は、移動機構3aにより、上下方向及び水平方向に対して移動可能に構成されている。撮像装置3は、所定ピッチで上下方向に移動することで、ガラス板Gの厚さ方向に対してその焦点の位置を変更できる。これにより、撮像装置3は、ガラス板Gの内部に含まれる欠陥を撮像することができる。撮像装置3は、画像処理装置4に接続されている。撮像装置3は、取得した画像データを画像処理装置4に送信する。
【0025】
画像処理装置4は、CPU、GPU、RAM、ROM、HDD、SDD等を内蔵する他、ディスプレイ4a、入力インターフェース等の各種ハードウェアを実装するPCを含む。
図2に示すように、画像処理装置4は、CPU等により構成される演算処理部6と、HDD、SSD等により構成される記憶部7と、撮像装置3、欠陥分類装置5との間でデータの送受信を行う通信部8と、を備える。
【0026】
画像処理装置4は、記憶部7に記憶される画像解析プログラムを演算処理部6により実行することで、撮像装置3の動作を制御する。画像処理装置4は、撮像装置3により取得される多数の画像データを当該撮像装置3から受信するとともに、各画像データに対して各種の画像処理を実行することができる。
【0027】
欠陥分類装置5は、CPU、GPU、RAM、ROM、HDD、SSD等のハードウェアを内蔵するPCを含む。
図2に示すように、欠陥分類装置5は、CPU等により構成される演算処理部9と、HDD、SSD等により構成される記憶部10と、画像処理装置4との間でデータの送受信を行う通信部11とを備える。
【0028】
演算処理部9は、記憶部10に記憶されている画像解析プログラムを実行することにより、撮像装置3によって取得された画像データに含まれる欠陥の種別を分類することができる。また、演算処理部9は、画像解析プログラムを実行することにより、記憶部10に保存される教師データを用いて、欠陥の種別を分類するための機械学習を行うことができる。
【0029】
記憶部10は、欠陥の分類を行うための画像解析プログラムを記憶している。画像解析プログラムには、例えばディープラーニングツール(プログラム)が組み込まれている。画像解析プログラムは、教師データに基づく機械学習(ディープラーニング)により、欠陥の種別を分類するための推論モデル(アルゴリズム)を作成することができる。
【0030】
記憶部10は、ガラス板Gに含まれる欠陥の種別を第一分類に分類する第一分類器12と、欠陥の種別を第二分類に分類する第二分類器13とを含む。各分類器12,13は、画像解析プログラムに係る機械学習によって演算処理部9が作成する推論モデルである。本実施形態では、欠陥の種別のうち、「泡」に関する欠陥が第一分類に設定され、「白金異物」に関する欠陥が第二分類に設定されている。
【0031】
欠陥としての泡は、何らかの気体を含む気泡、或いは気体を含まない真空気泡を含む。気体を含む気泡の場合、その気体の種類としては、酸素、二酸化炭素、一酸化炭素、ノックス(NOX)、窒素、塩素、ブロム、水素、アルゴン、ヘリウム、ネオン、キセノン、水蒸気、ソックス(SOX)、亜硫酸ガス等がある。また、真空気泡である場合には、気泡内壁に気泡生成時の成分が何らかの状態で固体として析出したものとなっている場合がある。
【0032】
「白金異物」に係る欠陥は、泡のように可視光に対して透過性を有するのではなく、遮蔽性を有する微細な白金により構成される。「白金異物」による欠陥は、例えばガラス板Gを成形するための溶融ガラスを供給及び移送する白金製の容器から生じた微小な白金が溶融ガラスに混入することによりガラス板Gの内部に形成される。
【0033】
第一分類器12は、「泡」に関する複数の画像データを含む第一教師データに対して機械学習が行われることにより作成された推論モデルである。第一教師データは、「泡」に関する画像データのみを含み、「白金異物」に関する画像データを含まない。第一教師データにおける「泡」の画像データは、泡の形状及び/又は色に関する情報を含む。
【0034】
泡の形状に係る情報の例としては、例えば、「横長」、「縦長」、「寸法過大」などが挙げられる。「横長」に関する形状は、
図3に示すように、横方向に延びる扁平状の泡の形状をいう。「縦長」に関する形状は、
図4に示すように、縦方向に延びる扁平状の泡の形状をいう。「寸法過大」に関する形状は、
図5に示すように、「横長」形状(又は「縦長」形状)のうち、画面の範囲に泡の全体形状が映し出されていないものを意味する。泡の「色」に関する情報の例としては、例えば「白」が挙げられる。具体的には、第一教師データの各画像データは、「横長」、「縦長」、「寸法過大」、「白」といった小分類に分類され、各画像データは小分類に紐づけられた状態で機械学習される。
【0035】
第二分類器13は、「白金異物」に関する複数の画像データを含む第二教師データに対して機械学習が行われることにより作成された推論モデルである。第二教師データは、「白金異物」に関する画像データのみを含み、「泡」に関する画像データを含まない。第二教師データにおける「白金異物」の画像データは、白金異物の形状及び/又は色に関する情報を含む。
【0036】
白金異物の形状に関する情報の例としては、例えば、「三角」、「多角」、「丸」などが挙げられる。「三角」に関する形状は、
図6に示すように、三角形状を呈する白金異物の形状をいう。「多角」に関する形状は、
図7に示すように、三角形を除く多角形状の白金異物の形状をいう。「丸」に関する形状は、
図8に示すように、円形状の白金異物の形状をいう。また、白金異物の「色」に関する情報の例としては、例えば「白」が挙げられる。具体的には、第二教師データの各画像データは、「三角」、「多角」、「丸」、「白」といった小分類に分類され、各画像データは小分類に紐づけられた状態で機械学習される。
【0037】
以下、上記の検査装置1を利用してガラス板Gを製造する方法について説明する。
図9に示すように、本方法は、切断工程S1と、端面加工工程S2と、洗浄工程S3と、検査工程S4とを主に備える。
【0038】
切断工程S1に供給されるガラス原板は、例えばオーバーフローダウンドロー法を実行可能な成形装置によって、溶融ガラスから一枚(帯状)のガラスリボンを連続的に成形され、ガラスリボンから矩形状のガラス原板を切り出すことで得られる。なお、ガラスリボンの成形には、フロート法を用いてもよい。
【0039】
切断工程S1では、ガラス原板を切断することにより、一枚又は複数枚の矩形状のガラス板Gが所望の寸法で切り出される。切断は、例えばガラス原板にスクライブ線を形成した後で折り割ることで行われる。
【0040】
端面加工工程S2では、ガラス板Gの端面(切断面)を砥石で研削・研磨することにより、端面のクラックを除去する。
【0041】
洗浄工程S3では、端面加工工程S2を経たガラス板Gに洗浄処理が施される。
【0042】
検査工程S4は、ガラス板Gにおける欠陥の有無を検査する第一検査工程と、ガラス板Gに欠陥が含まれる場合に、その欠陥を検査する第二検査工程とを含む。
【0043】
第一検査工程では、検査装置1の上流側に配置される公知の検査装置(図示せず)により、ガラス板Gに対して欠陥の有無が検査される。この検査装置としては、例えばエッジライト方式の検査装置が使用されるが、これに限定されるものではない。ガラス板Gに欠陥が検出された場合、当該欠陥の位置(平面方向における位置)及び大きさに関する情報が画像処理装置4に入力され、その記憶部7に保存される。
【0044】
一方、ガラス板Gに欠陥が検出されなかった場合、欠陥が存在しない旨の情報が画像処理装置4に入力され、記憶部7に保存される。欠陥が検出されたガラス板Gのうちで、当該欠陥の大きさが基準(例えば10μm程度)を超えるガラス板Gが第二検査工程においてさらに検査される。その他のガラス板Gは、良品と認定される。
【0045】
図10に示すように、第二検査工程は、ガラス板Gに含まれる欠陥を撮像してその画像データを取得する撮像工程S41と、画像データに含まれる欠陥の状態を測定する測定工程S42と、欠陥の種別を分類する分類工程S43と、ガラス板G(欠陥)の良否を判定する良否判定工程S44と、を備える。
【0046】
図11に示すように、撮像工程S41では、オペレータ(検査員)が画像処理装置4を操作することにより、又は自動制御により、撮像装置3によるガラス板Gの撮影が行われる。撮像工程S41では、移動機構3aの動作により、ガラス板Gに含まれている欠陥Fが視野内に位置するように、撮像装置3を移動させる。その後、撮像装置3は、所定のピッチで上下方向に移動しつつ、ガラス板Gの表面S及び内部を複数回にわたり撮像する。
【0047】
撮像装置3によって取得されたガラス板Gの画像データは、画像処理装置4に送信される。画像処理装置4の演算処理部6は、受信した画像データを記憶部7に保存する。続いて、画像処理装置4の画像解析プログラムにより、欠陥Fの測定が行われる。
【0048】
測定工程S42では、欠陥Fの大きさ及び深さが測定される。欠陥Fの大きさ(最大寸法)は、例えば、画像解析プログラムにより測定される。
【0049】
図11に示すように、欠陥Fの深さDは、ガラス板Gの厚さ方向において、表面Sから当該欠陥Fまでの距離を意味する。欠陥Fの深さDは、例えば、以下のようにして測定される。
【0050】
すなわち、複数の焦点位置で撮像された欠陥Fに係る複数の画像データのうち、最も焦点の合う画像データを、画像処理装置4の画像解析プログラムにより選定する。そして、選定された画像データにおける撮像装置3の焦点位置(座標)からガラス板Gの表面Sまでの距離を、欠陥Fの深さDとして算出する。測定された欠陥Fの大きさ及び深さDに関する情報は、画像データとともに記憶部7に保存される。
【0051】
分類工程S43は、欠陥分類装置5によって欠陥Fの種別を分類する第一の分類工程と、オペレータが画像処理装置4を使用して欠陥Fの種別を分類する第二の分類工程と、を含む。
【0052】
図12に示すように、第一の分類工程は、第一分類器12により欠陥Fが第一分類に属するか否かを判定する第一判定工程S431と、欠陥Fが第二分類に属するか否かを判定する第二判定工程S432と、を備える。
【0053】
第一判定工程S431において、演算処理部9は、第一分類器12を起動させ、画像データに含まれる欠陥Fの種別が第一分類(「泡」)に属するか否かを判定する。本実施形態では、演算処理部9は、第一分類器12で欠陥Fが「横長」、「縦長」、「寸法過大」、「白」といった小分類のいずれかに属するか否かを判定する。演算処理部9は、画像データに含まれる欠陥Fが「泡」に該当すると判定した場合、当該画像データに第一分類に係る分類情報を付加して記憶部10に保存する。演算処理部9は、画像データの欠陥Fを第一分類器12が「泡」でないと判定した場合、当該欠陥Fを「その他」に分類し、画像データにその分類情報を付加して記憶部10に保存する。
【0054】
第二判定工程S432において、演算処理部9は、第二分類器13を起動させ、第一分類に属さないと判定された画像データ、すなわち「その他」に分類された画像データ(欠陥F)が第二分類に属するか否かを判定する。本実施形態では、演算処理部9は、第二分類器13で欠陥Fが「三角」、「多角」、「丸」、「白」といった小分類のいずれかに属するか否かを判定する。演算処理部9は、第二分類器13が画像データに含まれる欠陥Fを「白金異物」に該当すると判定した場合、当該画像データを第二分類に分類する。演算処理部9は、その画像データに第二分類に係る分類情報を付加して記憶部10に保存する。
【0055】
演算処理部9は、第二分類器13が欠陥Fを「白金異物」に該当しないと認定した場合に、当該欠陥Fを「その他」に分類する。演算処理部9は、その画像データにその分類情報を付加して記憶部10に保存する。
【0056】
その後、演算処理部9は、分類が終了した画像データを画像処理装置4に送信する。画像処理装置4は、欠陥分類装置5から送信された分類済みの画像データを記憶部7に保存する。
【0057】
画像処理装置4は、オペレータの操作により、または自動制御により、欠陥分類装置5から受信した画像データをディスプレイ4aに表示させる。ディスプレイ4aには、画像データとともにその分類情報(「泡」、「白金異物」、「その他」に関する情報)が表示される。
【0058】
第二の分類工程では、第一の分類工程で「その他」に分類された欠陥Fについて、オペレータが目視により欠陥Fの種別を認定する。具体的には、オペレータは、画像処理装置4のディスプレイ4aに表示される画像データを目視により観察し、欠陥Fの種別(例えば「泡」、「白金異物」、「白金以外の異物」、「汚れ」、「傷」)を認定する。オペレータは、画像データに分類情報(認定結果)を付加して記憶部7に保存する。
【0059】
良否判定工程S44において、画像処理装置4は、欠陥Fの大きさ(寸法)、深さD及び種別等の情報に基づいて、ガラス板Gの良否を認定する。具体的には、画像処理装置4は、欠陥Fがガラス板Gにおける表面Sの面性状に悪影響を及ぼす場合、すなわち、欠陥Fがガラス板Gの表面Sにおける凹凸等の原因になると判断すると、その画像データに対応する当該ガラス板Gを不良品と認定する。一方、画像処理装置4は、欠陥Fがガラス板Gの表面Sの面性状に悪影響を及ぼさない場合、当該ガラス板Gを良品と認定する。
【0060】
以上説明した本実施形態に係るガラス物品(ガラス板G)の製造方法、欠陥分類方法及び検査装置1によれば、検査工程S4において、画像データに含まれる欠陥Fの種別を欠陥分類装置5によって自動的に分類することで、検査工程S4の作業効率を高めることが可能になる。これにより、ガラス物品の製造効率を向上させることができる。
【0061】
なお、本発明は、上記実施形態の構成に限定されるものではなく、上記した作用効果に限定されるものでもない。本発明は、本発明の要旨を逸脱しない範囲で種々の変更が可能である。
【0062】
上記の実施形態では、画像処理装置4と欠陥分類装置5とを別々の装置により構成した検査装置1を例示したが、本発明はこの構成に限定されるものではない。例えば、画像処理装置4と欠陥分類装置5とを一台の装置により構成してもよい。
【0063】
上記の実施形態では、ガラス物品としてガラス板Gの欠陥Fを分類する方法及び装置を例示したが、本発明はこの構成に限定されるものではない。本発明は、例えば管ガラスに含まれる欠陥を分類する場合にも適用可能である。
【0064】
上記の実施形態では、欠陥分類装置5による第一の分類工程と、オペレータによる第二の分類工程とを実行する欠陥分類方法を例示したが、本発明はこの構成に限定されるものではない。本発明は、欠陥分類装置5のみによって分類工程S43を実行することが可能である。
【0065】
上記の実施形態では、欠陥の種別を第一分類(「泡」)に分類する第一分類器12と、欠陥の種別を第二分類(「白金異物」)に分類する第二分類器13とを備える欠陥分類装置5を例示したが、本発明はこの構成に限定されるものではない。欠陥分類装置5は、例えば欠陥の種別を別の分類に分類する別の分類器をさらに一以上備えてもよい。また、第一分類は「泡」に限らず、別の欠陥の種別であってもよく、第二分類も「白金異物」に限らず、別の欠陥の種別であってもよい。
【0066】
上記の実施形態では、欠陥の深さにかかわらず第一分類器12及び第二分類器13を用いたが、欠陥の深さに応じた第一分類器12及び第二分類器13を準備し、測定された欠陥の深さに対応する第一分類器12及び第二分類器13で欠陥を分類してもよい。例えば、ガラス板の表面周辺の深さに位置する「泡」に関する第一教師データと、ガラス板の裏面周辺の深さに位置する「泡」に関する第一教師データと、表面と裏面の中間の深さに位置する「泡」に関する第一教師データとを準備する。これらの第一教師データをそれぞれ用い、表面周辺に位置する「泡」に関する第一分類器と、裏面周辺に位置する「泡」に関する第一分類器と、表面と裏面の中間に位置する「泡」に関する第一分類器とをそれぞれ作成する。
【0067】
この場合には、第一判定工程S431が実行される前に、欠陥が所定の深さであるか否かを判定する深さ判定工程を行うことができる。具体的には、深さ判定工程では、検出された画像データの欠陥が表面周辺、中間、裏面周辺のいずれに位置するかを判定する。そして、その後の第一判定工程S431では、深さ判定工程での判定結果に対応する位置の第一分類器を用いて欠陥の種別を分類する。この場合、第二分類器についても、第一分類器と同様に表面周辺、中間、裏面周辺に位置する「白金異物」に関する第二分類器を作成する。第二判定工程S432では、第一判定工程S431と同様に、深さ判定工程での判定結果に対応する位置の第二分類器を用いて欠陥の種別を判定する。
【実施例】
【0068】
本発明者らは、画像データに含まれる欠陥の種別を精度良く分類するために、欠陥分類装置による効果的な機械学習の方法を確認する試験を行った。本発明者らは、「泡」、「白金異物」、「白金以外の異物」、「汚れ」、「傷」の属性を有する画像データが混在する教師データを作成し、欠陥分類装置による機械学習(ディープラーニング)を実施した。以下、この機械学習によって作成された欠陥の推論モデル(アルゴリズム)を比較例という。
【0069】
本発明者らは、「泡」の属性を有する画像データのみを含む教師データ(第一教師データ)を作成し、欠陥分類装置による機械学習を実施した。以下、この機械学習によって作成された欠陥の推論モデル(第一分類器)を実施例1という。
【0070】
また、本発明者らは、「白金異物」の属性を有する画像データのみを含む教師データ(第二教師データ)を作成し、欠陥分類装置による機械学習を実施した。以下、この機械学習によって作成された欠陥の推論モデル(第二分類器)を実施例2という。
【0071】
この試験では、熟練の作業者(オペレータ)によって「泡」と判定された複数の試験用画像データを、比較例及び実施例1によって判定させ、その正解率を比較した。また、熟練の作業者によって「白金異物」と判定された複数の試験用画像データを、比較例及び実施例2によって判定させ、その正解率を比較した。また、「泡」に係る試験用画像データの数(第一教師データのデータ数)と、「白金異物」に係る試験用画像データの数(第二教師データのデータ数)とを同一とし、実施例1によって「泡」を判定させた場合の正解率と、実施例2によって「白金異物」を判定させた場合の正解率とを比較した。
【0072】
試験の結果、「泡」の分類に関し、比較例の正解率は100%、実施例1の正解率は100%となり、比較例の正解率と実施例1の正解率が同等であったが、「白金異物」の分類に関し、比較例の正解率は76%、実施例2の正解率は97%となり、比較例の正解率よりも実施例2の正解率が高いことが判明した。
【0073】
この試験結果から、欠陥分類装置を使用して画像データに対する「泡」及び「白金異物」のによる分類を行う場合に、「泡」に関する分類(第一判定工程S431)を先に実行し、その後に「白金異物」に関する分類(第二判定工程S432)を実行することで、当該分類(特に比較例で正解率が低い「白金異物」に関する分類)を精度良くかつ効率良く行うことが可能となることが明らかとなった。
【符号の説明】
【0074】
5 欠陥分類装置
12 第一分類器
13 第二分類器
D 欠陥の深さ
F 欠陥
G ガラス板
S41 撮像工程
S43 分類工程
S431 第一判定工程
S432 第二判定工程