特開 2023-177926 金属セラミックス複合基板の表面傷検出方法、及び、その装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023177926

(43)【公開日】2023-12-14

(54)【発明の名称】金属セラミックス複合基板の表面傷検出方法、及び、その装置

(51)【国際特許分類】

   G01N 21/956 20060101AFI20231207BHJP

   G06T 7/00 20170101ALI20231207BHJP

   G06V 10/82 20220101ALI20231207BHJP

【ＦＩ】

G01N21/956 B

G06T7/00 350C

G06V10/82

G06T7/00 610B

【審査請求】未請求

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2022090899

(22)【出願日】2022-06-03

(71)【出願人】

【識別番号】504409543

【氏名又は名称】国立大学法人秋田大学

(71)【出願人】

【識別番号】000224798

【氏名又は名称】ＤＯＷＡホールディングス株式会社

(74)【代理人】

【識別番号】100129838

【弁理士】

【氏名又は名称】山本 典輝

(72)【発明者】

【氏名】鄒 敏

(72)【発明者】

【氏名】景山 陽一

(72)【発明者】

【氏名】小山内 英世

(72)【発明者】

【氏名】菅原 剛史

(72)【発明者】

【氏名】上田 祐司

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA65

2G051AB01

2G051AB02

2G051BB03

2G051CA04

2G051EA11

2G051EB05

2G051ED21

5L096BA03

5L096CA17

5L096EA43

5L096HA11

5L096JA11

5L096KA04

5L096KA15

(57)【要約】

【課題】画像処理と機械学習の手法を用いて、金属セラミックス複合基板の機械による傷の判別をする技術において精度を向上させる。
【解決手段】金属セラミックス複合基板の傷検出において、金属セラミックス複合基板を撮像し、撮像により得られた画像から線形フィルタを用いて傷候補領域を抽出し、傷候補領域に対して畳み込みニューラルネットワークにより傷候補領域に傷が含まれるか否かを判別する。
【選択図】図４

【特許請求の範囲】

【請求項1】

金属セラミックス複合基板の傷を検出する方法であって、
前記金属セラミックス複合基板を撮像し、
前記撮像により得られた画像から線形フィルタを用いて傷候補領域を抽出し、
前記傷候補領域に対して畳み込みニューラルネットワークにより前記傷候補領域に傷が含まれるか否かを判別する、
金属セラミックス複合基板の表面傷検出方法。

【請求項2】

金属セラミックス複合基板の傷を検出する装置であって、
撮像装置と、
前記撮像装置で得られた画像を処理する傷判別装置と、を備え、
前記傷判別装置は、前記画像を線形フィルタにより画像処理して傷候補領域を抽出し、前記傷候補領域に対して畳み込みニューラルネットワークにより傷候補領域に傷が含まれるか否かを判別する演算を行う、
金属セラミックス複合基板の傷検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は金属セラミックス複合基板に生じる表面傷を検出する技術に関する。

【背景技術】

【0002】

電気自動車や電気鉄道のモーター駆動制御、及び、太陽光発電や風力発電など再生可能エネルギーに関する分野において、電力の変換と制御を高効率で行うパワーモジュールが普及している。パワーモジュールは基板及び該基板に固定された半導体チップを備えている。パワーモジュールでは大電流を取り出すために、基板に高い電気的絶縁性が求められる。また、大電流を制御するために、実動時の半導体チップは発熱により温度が上昇するので、基板には高い放熱性も要求される。その他にも、基板にはパワーモジュールの小型化や高出力化のため、信頼性(ヒートサイクル耐量)、抗折強度(曲げ強度)、組立性(半田濡れ性、ワイヤーボンディング性)が求められている。そのために、基板としてセラミックス基材に金属層が積層された金属セラミックス複合基板が広く用いられている。

【0003】

金属セラミックス複合基板（以下、単に「基板」と記載することがある。）は多数の微細な結晶粒から構成された多結晶体である。そして隣り合う結晶粒の界面を形成する結晶粒界は結晶内部とは原子配列が異なるために様々な異なる性質を示すことがあり、基板全体の機械的・電気的・熱的といった多くの材料特性に影響を与える。

【0004】

一方、基板の製造工程では、基板に傷、クラック、しみ、及び、外周欠けなどの傷が発生する場合がある。そのため、基板の外観から傷の有無を判別する必要があり、判別は人手による判別と機械による判別に大別される。人手による判別では基板を様々な角度から目視することで傷を検出する。これに対して機械による判別では、基板を撮影し、２値化を基本とした画像処理を行うことで傷を検出している。

【0005】

例えば特許文献１には傷を検出する技術が開示されている。具体的には、光を透過させる基板と当該基板に対して取り付けられた電極とを含む画像を取得し、この画像から検出対象を抽出して複雑度が判定基準以上である検出対象を傷として検出する。
また、特許文献２には、画像検査装置が開示されている。この画像検査装置は、新たに取得された検査対象画像に対し通常検査処理を適用し、良品判定又は不良品判定が可能な特徴量を有する検査対象画像に対しては良品判定又は不良品判定を確定させ、良品判定又は不良品判定が確定できない特徴量を有する検査対象画像に対しては深層学習処理を適用して良品又は不良品の判定を実行可能な検査実行手段を備えていることを特徴としている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１９－１３８７８３号公報

【特許文献2】特開２０２０－１８７６５６号公報

【特許文献3】特開平９－３１８３３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

従来、機械的な外観検査手法としては２次元画像に対して微分等のエッジ検出処理を行なった画像において、輝度レベルの高い領域のみを抽出するために所定のしきい値で２値化を行なう場合、エッジ検出処理画像に発生するノイズに関する物理量に基づいて所定の演算を行なってしきい値を算出していた（例えば特許文献３）。しかしながら、実際の金属やセラミックスの材料は原子配列の異なる領域が多数集まった構造を有しており、金属やセラミックスの結晶が複数連なって界面（結晶粒界）を形成している。図１２に結晶粒界の例を示す。従来の外観検査法で外観検査を行う際、この結晶粒界を傷として誤判定される場合が多い。

【0008】

そこで本発明では、画像処理と機械学習の手法を用いて、金属セラミックス複合基板の機械による傷検出をする技術において精度を向上させることができる方法及び装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

本願は、金属セラミックス複合基板の傷を検出する方法であって、金属セラミックス複合基板を撮像し、撮像により得られた画像から線形フィルタを用いて傷候補領域を抽出し、傷候補領域に対して畳み込みニューラルネットワークにより傷候補領域に傷が含まれるか否かを判別する、金属セラミックス複合基板の表面傷検出方法を開示する。

【0010】

また、本願は、金属セラミックス複合基板の傷を検出する装置であって、撮像装置と、撮像装置で得られた画像を処理する傷判別装置と、を備え、傷判別装置は、画像を線形フィルタにより画像処理して傷候補領域を抽出し、傷候補領域に対して畳み込みニューラルネットワークにより傷候補領域に傷が含まれるか否かを判別する演算を行う、金属セラミックス複合基板の傷検出装置を開示する。

【発明の効果】

【0011】

本発明によれば、画像処理及び機械学習の手法を用いて、金属セラミックス複合基板の機械による傷検出の技術において傷判別の精度を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】図１は検査装置１の構成を概念的に示した図である。

【図2】図２は検査対象の画像の例を示した図である。

【図3】図３は傷判別装置２０の構成例を説明する図である。

【図4】図４は傷判別方法Ｓ１の流れを示す図である。

【図5】図５は傷候補領域の抽出の過程Ｓ１０の流れを示す図である。

【図6】図６はグレースケール変換処理の過程Ｓ１１を説明する図である。

【図7】図７は二値化処理の過程Ｓ１２を説明する図である。

【図8】図８は傷候補領域の抽出の過程Ｓ１３におけるフィルタを説明する図である。

【図9】図９は原画像の位置確定の過程Ｓ１４を説明する図である。

【図10】図１０は畳み込みニューラルネットワークを概念的に表す図である。

【図11】図１１は傷領域画像の例（ａ）及び非傷領域画像（ｂ）の例である。

【図12】図１２は結晶粒界の例を示す図である。

【発明を実施するための形態】

【0013】

１．傷検出装置
図面を参照しつつ１つの例にかかる傷検出装置１について説明する。図１は傷検出装置１の構成を概念的に表した図である。傷検出装置１はパワーモジュールに用いられる金属セラミックス複合基板の傷を検出する装置であり、例えば金属セラミックス複合基板の製造ラインに配置されている。

【0014】

傷検出装置１は、検査対象である基板の像を撮る撮像装置１０、及び、撮像装置１０で得られた画像（デジタル画像データ）から傷を判別する傷判別装置２０を備える。

【0015】

１．１．撮像装置
撮像装置１０では、検査対象である基板に対して照明光を照射し、デジタルカメラで撮影することで検査のための基板のデジタル画像データを生成する。図２は疑似同軸落射照明で撮影した画像例である。疑似同軸落射照明方式は公知であり本開示でも利用できる照明方法である。疑似同軸落射照明方式は対象物に直接照明を当てる照明方式であって、光学レンズを通さずにハーフミラーやビームスプリッターで照明光路をレンズの光軸と同じにし、対象物に対して垂直に照明する。

【0016】

１．２．傷判別装置
傷判別装置２０は、撮像装置１０で得たデジタル画像に対して画像処理を行い、傷を判別する。図３に概念的に示したように傷判別装置２０は、プロセッサーであり画像処理の演算を行うＣＰＵ（Central Processing Unit、中央演算ユニット）２１、作業領域として機能するＲＡＭ（Random Access Memory）２２、記録媒体として機能するＲＯＭ（Read-Only Memory）２３、有線、無線を問わず情報を傷判別装置２０に受け入れるインターフェイスである受信部２４、及び、有線、無線を問わず情報を傷判別装置２０から外部に送るインターフェイスである送信部２５を備える。
従って傷判別装置２０は受信部２４、送信部２５を介して撮像装置１０や他の機器と接続されており信号の送信、受信ができるように構成されている。

【0017】

傷判別装置２０には、画像処理をして傷を判別するプログラムが保存されている。傷検出装置１では、ハードウェア資源としてのＣＰＵ２１、ＲＡＭ２２、及びＲＯＭ２３と、プログラムとが協働する。具体的には、ＣＰＵ２１が、ＲＯＭ２３に記録されたコンピュータプログラムを、作業領域として機能するＲＡＭ２２で実行することによって、傷判別を始めとする様々な機能を実現する。ＣＰＵ２１が取得または生成した情報は、ＲＡＭ２２に格納される。その他、傷判別装置２０の内部や外部に設けられた記録媒体が具備されて、ここにプログラムや各種データが記録されてもよい。

【0018】

本形態では傷判別装置２０は、撮像装置１０から受信部２４を介して検査対象である基板のデジタル画像を取得する。そして傷判別装置２０は得られたデジタル画像のデータに基づいて、ＲＯＭ２３や他の記録媒体に記録されたデータベースを用いる等しつつ、ＲＯＭ２３や他の記録媒体に記録されたコンピュータプログラムを実行して画像処理を行い傷の判別を行ってＲＡＭ２２や記録媒体に記録する。傷判別のための具体的な内容は後で説明する。傷判別の結果は送信部２５からモニタ２７等に必要な情報が出力される。

【0019】

このような傷判別装置２０は典型的にはコンピュータにより構成できる。従って傷判別装置２０には傷判別装置２０を操作するための入力手段（キーボードやマウス等）２６が受信部２４に接続されている。

【0020】

２．傷検出
次に傷検出の手順について説明する。
本形態で傷検出は上記したように撮像装置１０で得たデジタル画像データを傷判別装置２０で処理することで行われる。そこでここでは、傷検出の方法について説明する。この方法の具体的な実行は、当該方法の各過程に対応した各ステップを有するコンピュータプログラムが作成され、傷判別装置２０のＲＯＭ２３や記録媒体に保存され、実行することで傷検出を行うことができる。以下、１つの例にかかる傷検出方法を説明するが、上記のようにこれに基づいたコンピュータプログラムは、傷判別装置２０のＲＯＭ２３や記録媒体に記録されていることで傷検出装置１の１つの構成要素として機能する。

【0021】

図４に１つの形態にかかる傷検出方法Ｓ１の流れを示した。図４からわかるように本開示の傷検出方法Ｓ１は、傷候補領域の抽出の過程Ｓ１０及び傷判別の過程Ｓ２０を有している。以下、各過程について説明する。

【0022】

２．１．傷候補領域の抽出の過程
傷候補領域の抽出の過程Ｓ１０ではフィルタを適用して傷候補領域を抽出する。図５に傷候補領域の抽出の過程Ｓ１０の流れを示した。図５からわかるように、傷候補領域の抽出の過程Ｓ１０は、グレースケール変換処理の過程Ｓ１１、二値化処理の過程Ｓ１２、傷候補領域の抽出の過程Ｓ１３、原画像の位置確定の過程Ｓ１４を有している。

【0023】

２．１．１．グレースケール変換処理の過程
グレースケール変換処理の過程Ｓ１１（「過程Ｓ１１」と記載することがある。）では、撮像装置１０で得た原画像（デジタル画像、例えば図２）をグレースケールに変換する。グレースケールへの変換は公知の通りである。図６には図２の画像をグレースケールに変換した画像を示した。本形態では画像の画素ごとにＲ成分、Ｇ成分、Ｂ成分について下記式のように重み付き和を計算することによって、ＲＧＢ値をグレースケール値に変換した。
グレースケール値＝０．２９８９・Ｒ＋０．５８７０・Ｇ＋０．１１４０・Ｂ

【0024】

２．１．２．二値化処理の過程
二値化処理の過程Ｓ１２（「過程Ｓ１２」と記載することがある。）では、過程Ｓ１１で得たグレースケールデータを二値化する。二値化の方法は公知の通りであるが例えば大津の二値化法（判別分析法）を挙げることができる。図７には図６を二値化した結果の画像を示す。

【0025】

２．１．３．傷候補領域の抽出
傷候補領域の抽出の過程Ｓ１３（「過程Ｓ１３」と記載することがある。）では、過程Ｓ１２で得られた二値化画像から特徴を抽出し、傷の候補となる領域を挙げる。本開示では特徴を抽出するために線形フィルタを用いて傷候補領域を得た。より具体的には、本形態では図８に示したように縦（（ａ））、横（（ｂ））、右斜め（（ｃ））、及び左斜め（（ｄ））の４種類の線形フィルタを用いた。本形態で線形フィルタは直線的なフィルタであるためフィルタの大きさ（本形態ではフィルタの長さ）は２ｋ＋１で表される。具体的なｋの値は試験を経て傷検出に効果的な値が適用される。

【0026】

この用いた４種類の線形フィルタと、過程Ｓ１２で得た二値化画像とを排他的理論和で畳み込み演算を行う。下に畳み込み演算による特徴抽出計算式（１）～（４）を示す。式（１）は縦の線形フィルタ（図８（ａ））、式（２）は横（図８（ｂ））、式（３）は右斜め（図８（ｃ））、及び、式（４）は左斜め（図８（ｄ））のための式である。これらの式でｘはｘ座標、ｙはｙ座標、Ｎ（Ｎ_１～Ｎ_４）は抽出した特徴量、ｆ（ｆ_１～ｆ_４）は線形フィルタ、Ｐは当該座標における二値化した画像の値（０又は１、すなわち黒又は白）である。

【0027】

【数1】

【0028】

式（１）～式（４）の右辺からわかるように、線形フィルタ（ｆ）と二値化画像（Ｐ）との排他的理論和の解としてＮが得られる。すなわち、線形フィルタ（ｆ）と二値化画像（Ｐ）との比較により、傷候補の特徴を抽出する。ｆ＝０（黒）かつＰ＝１（白）の場合、及び、ｆ＝１（白）かつＰ＝０（黒）の場合に傷候補として判定し、ｆ＝Ｐ＝０（白）の場合、及び、ｆ＝Ｐ＝１（黒）の場合には傷候補でないと判定する。

【0029】

なお、傷候補領域は、得られた複数の傷候補領域のいずれかに傷が含まれている可能性が高いことを意味するものであり、本過程の段階で複数の傷候補領域の全てが傷であることを意味するものではない。この複数の傷候補領域から後述する傷判別の過程Ｓ２０により傷を判別する。

【0030】

２．１．４．原画像における位置確定
原画像における位置確定の過程Ｓ１４（「過程Ｓ１４」と記載することがある。）は、過程Ｓ１３で得た傷候補領域を原画像（生成したデジタル画像データ、図２）に当てはめて傷候補領域となった金属セラミックス複合基板における領域の位置を確定する。図９に傷候補領域を表した画像を示した。図９の□の部分が傷候補領域である。
なお、図９に示した例では、原画像の元となった金属セラミックス複合基板について傷の位置を予め調べておいた結果、図９に示した傷候補領域のうち２か所が傷であることがわかった。また、傷候補領域として挙がらなかった部位に傷はなかった。

【0031】

２．２．傷判別の過程
２．２．１．傷の判別
傷判別の過程Ｓ２０では、検査対象である金属セラミックス複合基板について、過程Ｓ１４で得た各傷候補領域に対して、傷であるか否かを判別する。
本開示では、深層ニューラルネットワーク、その中でも畳み込みニューラルネットワーク(Convolutional Neural Network、「ＣＮＮ」と記載することがある。）を用いて判別を行う。図１０にＣＮＮの概要を示した。ＣＮＮは公知の通りであるが、入力層、複数の隠れ層、及び出力層を備えており、その少なくとも一部に畳み込み層及びプーリング層を備えて構成されている。
入力層に傷候補領域の抽出の過程Ｓ１０で抽出した傷候補領域の画像が入力されると、複数の隠れ層で順次演算され、最終的に出力層にこの傷候補領域に傷が含まれるか否かの結果が出力される。これにより検査対象である金属セラミックス複合基板の傷が検出できる。

【0032】

２．２．２．学習
傷判別に用いられるＣＮＮを決定するためには隠れ層における重みやバイアスを具体的に決める必要があり、これらは学習によって行われる。本形態では次のように学習を行ない、その結果の検証も行った。

【0033】

［正解ラベル付け］
傷候補領域の抽出の過程Ｓ１０と同様の手法で得られた傷候補領域と、当該傷候補領域検出の対象となった金属セラミックス複合基板の実際の傷と、を対比して傷候補領域ごとに、実際に傷がある傷候補領域を「傷領域画像」とし、傷がない傷候補領域を「非傷領域画像」として正解ラベル付けを行う。図１１に傷領域画像の例（ａ）及び非傷領域画像（ｂ）の例をそれぞれ示した。
このとき、条件として、本形態では傷の一部を含む傷候補領域は「傷領域画像」として扱い、傷であっても結晶粒界と見分けがつかないような小さな傷は「非傷領域画像」として扱う。

【0034】

［データ数］
上記のように正解ラベル付けを行った「傷領域画像」及び「非傷領域画像」を複数準備して学習用データ（教師データ）及びテスト用データとした。具体的には次の通りである。
データ群Ａのセットでは「傷領域画像」を２４２枚、「非傷領域画像」を１１００枚、合計１３４２枚とし、そのうちの８０％を学習用データ、２０％をテスト用データとした。
データ群Ｂのセットでは、データ群Ａを拡張して「傷領域画像」を１６４９枚、「非傷領域画像」を１６４９枚、合計３３８８枚とし、そのうちの８０％を学習用データ、２０％をテスト用データとした。
ここでデータ群Ｂにおける拡張は、「傷領域画像」については、データ群Ａの「傷領域画像」である２４２枚のそれぞれについて、これを左に５画素移動させた画像、右に５画素移動させた画像、上に５画像移動させた画像、下に５画素移動させた画像、上下反転させた画像、及び、左右反転させた画像をそれぞれ「傷領域画像」に追加（２４２×７＝１６９４枚）し、「非傷領域画像」については無作為に１１００枚から１６９４枚に追加した。

【0035】

［学習の態様］
本例では以下に示す４つの学習方法（学習例１～学習例４）で学習を行い傷判別のためのＣＮＮを決定した。
学習例１ではデータ群Ｂを用いて、事前学習なしの条件で学習させることで傷判別に用いるＣＮＮを決定した。
学習例２ではデータ群Ａを用いて、事前学習済であるＡｌｅｘＮｅｔを再学習させることで傷判別に用いるＣＮＮを決定した。
学習例３ではデータ群Ｂを用いて、事前学習済であるＡｌｅｘＮｅｔを再学習させることで傷判別に用いるＣＮＮを決定した。
学習例４ではデータ群Ｂを用いて、事前学習済であるＧｏｏｇＬｅＮｅｔを再学習させることで傷判別に用いるＣＮＮを決定した。
それぞれの学習例で決定したＣＮＮによる傷検出精度を算出した。表１に結果を示した。ここで、傷検出精度は、傷判別に供した全ての画像に対して傷か傷でないかを正しく判別できた比率を百分率で示した。

【0036】

【表1】

【0037】

以上からわかるように、本開示による傷検出によれば、いずれも９０％以上の高い精度で傷を結晶粒界等の他の要素と区別して判別することができた。
その中でも事前学習ツールを用いて学習させたＣＮＮを適用するとさらに精度を高めることが可能であった。
また、学習例２と学習例３とを比べるとデータ拡張により精度が向上していることもわかる。

【0038】

例として、学習例１（事前学習なし）に関し、構築したＣＮＮの識別器を用いて１つの学習に利用していない金属セラミックス複合基板について上記過程Ｓ１の手順により傷検出を行ったところ、過程Ｓ１０で６２か所の傷候補領域が抽出され、過程Ｓ２０でそれぞれの傷候補領域に対して傷であるか傷でないかの判別を行ったところ、６２か所の判別のうち５５か所で傷か傷でないかの正しい検出ができた。
また、抽出された傷候補領域以外の位置には実際の金属セラミックス複合基板にも傷がないという観点からも正しい傷検出ができた。

【0039】

また、他の例として、学習例４により構築したＣＮＮを用いて１つの例の金属セラミックス複合基板について上記過程Ｓ１の手順により傷検出を行ったところ、過程Ｓ１０で４９か所の傷候補領域が抽出され、過程Ｓ２０でそれぞれの傷候補領域に対して傷であるか傷でないかの判別を行ったところ、４９か所の判別のうち４７か所で傷か傷でないかの正しい検出ができた。
また、抽出された傷候補領域以外の位置には実際の金属セラミックス複合基板にも傷がないという観点からも正しい傷検出ができた。

【符号の説明】

【0040】

１ 傷検出装置
１０ 撮像装置
２０ 傷判別装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】