特許 7302800 部品キャリアの製造方法、取り扱いシステム、コンピュータプログラム、およびシステムアーキテクチャ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-26

(45)【発行日】2023-07-04

(54)【発明の名称】部品キャリアの製造方法、取り扱いシステム、コンピュータプログラム、およびシステムアーキテクチャ

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230627BHJP

   G05B 19/418 20060101ALI20230627BHJP

【ＦＩ】

G06T7/00 610Z

G05B19/418 Z

G06T7/00 350C

【請求項の数】 26

【外国語出願】

(21)【出願番号】P 2022036830

(22)【出願日】2022-03-10

(65)【公開番号】P2022140391

(43)【公開日】2022-09-26

【審査請求日】2022-05-09

(31)【優先権主張番号】202110269628.1

(32)【優先日】2021-03-12

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520212406

【氏名又は名称】エーティーアンドエス （チョンチン） カンパニー リミテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ヨン ワン

(72)【発明者】

【氏名】シュエビン ワン

(72)【発明者】

【氏名】ヤンシュ チェン

(72)【発明者】

【氏名】ヤン チェン

(72)【発明者】

【氏名】タオ リン

【審査官】佐藤 直樹

(56)【参考文献】

【文献】中国特許出願公開第１１１０５４６３８（ＣＮ，Ａ）

【文献】中国特許出願公開第１１１７８８４７６（ＣＮ，Ａ）

【文献】特開２０１９－１２４５９１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０５Ｂ １９／４１８

(57)【特許請求の範囲】

【請求項1】

部品キャリアを製造するおよび／またはチェックするおよび／または試験するための方法であって、
（ａ）半製品の部品キャリアまたは部品キャリアを自動または半自動光学的検査デバイスに供給する段階と、
（ｂ）前記自動または半自動光学的検査デバイスによって前記半製品の部品キャリアまたは前記部品キャリアの自動または半自動光学的検査を行う段階であって、前記自動または半自動光学的検査を行うことは、
第１の照射によって前記半製品の部品キャリアまたは前記部品キャリアの第１の画像をキャプチャする段階と、
第２の照射によって前記半製品の部品キャリアまたは前記部品キャリアの第２の画像をキャプチャする段階であって、前記第１の照射は前記第２の照射の第２の分光組成と異なる第１の分光組成を有する、キャプチャする段階と、
前記第１の画像および前記第２の画像のうちの少なくとも１つを示す実データセットを、前記半製品の部品キャリアまたは前記部品キャリアの基準画像を示す基準データセットと比較する段階と、
前記実データセットと前記基準データセットとの比較の結果に基づいて前記半製品の部品キャリアまたは前記部品キャリアの潜在的欠陥を識別する段階とを含む、
行う段階と、
（ｃ）前記半製品の部品キャリアまたは前記部品キャリアの品質分類を実行する段階であって、前記品質分類を実行することは、
前記第１の画像および前記第２の画像のうちの少なくとも１つに基づいて、前記半製品の部品キャリアまたは前記部品キャリアの仮想の第３の画像を生成する段階であって、前記第３の画像は、前記第１の分光組成および前記第２の分光組成の両方と異なる第３の分光組成を有する仮想の第３の照射下の前記半製品の部品キャリアまたは前記部品キャリアを示す、生成する段階と、
人工知能を適用することによって前記第１の画像、前記第２の画像、および前記第３の画像を処理する段階と、
前記人工知能の処理に基づいて識別された前記潜在的欠陥を分類する段階と
を含む、実行する段階と、
（ｄ）実行された前記品質分類に基づいて対策を取る段階と
を含む、方法。

【請求項2】

前記識別された潜在的欠陥を分類する段階は、真の欠陥および疑似欠陥において前記識別された潜在的欠陥を分類する段階を含む、請求項１に記載の方法。

【請求項3】

前記第１の分光組成は少なくとも１つの第１の波長を含み、前記第２の分光組成は少なくとも１つの第２の波長を含み、前記第３の分光組成は、波長目盛において、前記第１の波長と前記第２の波長との間に位置する少なくとも１つの第３の波長を含む、請求項１または請求項２に記載の方法。

【請求項4】

前記第１の分光組成は赤色光を含み、前記第２の分光組成は青色光を含む、請求項３に記載の方法。

【請求項5】

前記第３の分光組成は緑色光を含む、請求項４に記載の方法。

【請求項6】

前記半製品の部品キャリアまたは前記部品キャリアの前記品質分類を実行する段階は、前記仮想の第３の画像を生成後、かつ人工知能を適用することによって前記第１の画像、前記第２の画像、および前記第３の画像を処理する前に、
前記第１の画像、前記第２の画像、および前記第３の画像のうちの少なくとも１つの画素値を変換する段階であって、前記第１の画像、前記第２の画像、および前記第３の画像の前記処理は変換された前記画素値で実行される、変換する段階
をさらに含む、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記第１の画像、前記第２の画像、および前記第３の画像を処理する段階は、（ｉ）前記第１の画像の第１の部分画像の第１のグループ、（ｉｉ）前記第２の画像の第２の部分画像の第２のグループ、および（ｉｉｉ）前記第３の画像の第３の部分画像の第３のグループによって実行され、
それぞれの部分画像は少なくとも１つの識別された潜在的欠陥を示す、
請求項１から６のいずれか一項に記載の方法。

【請求項8】

部分画像のそれぞれのグループは、厳密に、１つの半製品の部品キャリアまたは１つの部品キャリアに割り当てられる、請求項７に記載の方法。

【請求項9】

それぞれの部分画像は、２００×２００画素より小さい、とりわけ、１００×１００画素より小さい画素サイズを有する、請求項７または８に記載の方法。

【請求項10】

前記半製品の部品キャリアまたは前記部品キャリアは、複数の個々の半製品の部品キャリアまたは複数の個々の部品キャリアを含むパネルである、請求項１から９のいずれか一項に記載の方法。

【請求項11】

取られる前記対策は、処理段階に介入せずに前記部品キャリアの製造を続行することである、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

取られる前記対策は、前記品質分類において、前記半製品の部品キャリアまたは前記部品キャリアの修復可能な真の欠陥が示される時に前記半製品の部品キャリアまたは前記部品キャリアを修復する段階を含む、請求項１から１０のいずれか一項に記載の方法。

【請求項13】

いくつかの事前定義されたタイプの欠陥の中のあるタイプの欠陥を示すことによって真の欠陥を分類する段階をさらに含む、請求項１から１２のいずれか一項に記載の方法。

【請求項14】

前記方法は、人間であるオペレータの対話を全く伴うことなく実行される、請求項１から１３のいずれか一項に記載の方法。

【請求項15】

前記第１の画像、前記第２の画像、および前記仮想の第３の画像は、２次元画像を含む、請求項１から１４のいずれか一項に記載の方法。

【請求項16】

前記第１の画像、前記第２の画像、および前記仮想の第３の画像は、３次元画像を含む、請求項１から１５のいずれか一項に記載の方法。

【請求項17】

前記自動または半自動光学的検査を行う段階および前記品質分類を実行する段階は、形成された導体トレースの品質を評価するために、前記半製品の部品キャリアまたは前記部品キャリアの電気伝導体トレースを形成するために金属層をパターニングした後に行われる、請求項１から１６のいずれか一項に記載の方法。

【請求項18】

人工知能を適用することによる処理および／または人工知能の処理は、ユーザインターフェースデバイスを介してユーザから入力されるデータによって前記処理を更新することを含む、請求項１から１７のいずれか一項に記載の方法。

【請求項19】

人工知能を適用することによる処理および／または人工知能の処理は、機械学習によって、とりわけ、深層学習によって前記処理を更新することを含む、請求項１から１８のいずれか一項に記載の方法。

【請求項20】

機械学習による前記処理を更新することは、前記人工知能を訓練するために機械学習による処理の間にデータを記憶することを含む、請求項１９に記載の方法。

【請求項21】

部品キャリアの製造中に半製品の部品キャリアを取り扱うためのシステムであって、
（ａ）半製品の部品キャリアまたは部品キャリアを自動または半自動光学的検査デバイスに供給するためのデバイスと、
（ｂ）前記半製品の部品キャリアまたは前記部品キャリアの自動または半自動光学的検査を行うための前記自動または半自動光学的検査デバイスであって、前記自動または半自動光学的検査デバイスは、
第１の照射によって前記半製品の部品キャリアまたは前記部品キャリアの第１の画像をキャプチャすることと、
第２の照射によって前記半製品の部品キャリアまたは前記部品キャリアの第２の画像をキャプチャすることであって、前記第１の照射は前記第２の照射の第２の分光組成と異なる第１の分光組成を有する、キャプチャすることと、
前記第１の画像および前記第２の画像のうちの少なくとも１つを示す実データセットを、前記半製品の部品キャリアまたは前記部品キャリアの基準画像を示す基準データセットと比較することと、
前記実データセットと前記基準データセットとの比較の結果に基づいて前記半製品の部品キャリアまたは前記部品キャリアの潜在的欠陥を識別することと
を行うように構成される、自動または半自動光学的検査デバイスと、
（ｃ）前記半製品の部品キャリアの品質分類を実行するために前記自動または半自動光学的検査デバイスと通信可能に結合されるデータ処理デバイスであって、前記データ処理デバイスは、
前記第１の画像および前記第２の画像のうちの少なくとも１つに基づいて、前記半製品の部品キャリアの仮想の第３の画像を生成することであって、前記第３の画像は、前記第１の分光組成および前記第２の分光組成の両方と異なる第３の分光組成を有する仮想の第３の照射下の前記半製品の部品キャリアまたは前記部品キャリアを示す、生成することと、
人工知能を適用することによって前記第１の画像、前記第２の画像、および前記第３の画像を処理することと、
前記人工知能の処理に基づいて真の欠陥および疑似欠陥において識別された前記潜在的欠陥を分類することと
を行うように構成される、データ処理デバイスと、
（ｄ）実行された前記品質分類に基づいて対策を取るための実行デバイスと
を備える、システム。

【請求項22】

部品キャリアを製造するためのコンピュータプログラムであって、前記コンピュータプログラムは、１つまたは複数のプロセッサ、データプロセッサによって実行される時、請求項１から２０のいずれか一項に記載の方法を制御するおよび／または実行するように適応される、コンピュータプログラム。

【請求項23】

部品キャリアの製造中に、とりわけ、請求項１から２０のいずれか一項に記載の方法によって部品キャリアを製造中に、半製品の部品キャリアの欠陥を分類するためのシステムアーキテクチャであって、前記システムアーキテクチャは、
（ａ）前記半製品の部品キャリアの自動または半自動光学的検査を行うための自動または半自動光学的検査システムであって、
前記半製品の部品キャリアまたは前記部品キャリアの少なくとも１つの画像をキャプチャするように構成される自動または半自動光学的検査デバイスと、
データ処理デバイスであって、
（ｉ）前記少なくとも１つのキャプチャされた画像を受信することと、
（ｉｉ）前記少なくとも１つのキャプチャされた画像を示す実データセットを、前記半製品の部品キャリアまたは前記部品キャリアに対する基準画像を示す基準データセットと比較することと、
（ｉｉｉ）前記実データセットと前記基準データセットとの比較の結果に基づいて前記半製品の部品キャリアまたは前記部品キャリアの潜在的欠陥を識別することと
を行うように構成される、データ処理デバイスと
を有する、自動または半自動光学的検査システムと、
（ｂ）標準データインターフェースと、
（ｃ）アプリケーションシステム（２３０）であって、
少なくとも１つの前記キャプチャされた画像および識別された前記潜在的欠陥に関連する画像情報を交換するために前記標準データインターフェースを介して前記自動または半自動光学的検査システムと通信可能に結合される少なくとも１つのアプリケーションサーバを有し、
前記少なくとも１つのアプリケーションサーバは前記画像情報を処理するように構成される、
アプリケーションシステムと、
（ｄ）人工知能システムであって、前記アプリケーションサーバと前記画像情報を交換するために前記アプリケーションシステムと通信可能に結合される少なくとも１つの人工知能サーバを有し、
前記少なくとも１つの人工知能サーバは、
（ｉ）交換された前記画像情報を処理することと、
（ｉｉ）人工知能の処理に基づいて、前記識別された潜在的欠陥を真の欠陥および疑似欠陥に分類することと、
（ｉｉｉ）真の欠陥および疑似欠陥についての情報を少なくとも前記アプリケーションサーバと交換することと
を行うように構成される、人工知能システムと
を備える、システムアーキテクチャ。

【請求項24】

前記アプリケーションシステムと通信可能に結合され、かつ
（ｉ）複数の個々の半製品の部品キャリアまたは個々の部品キャリアの識別情報を記憶することと、
（ｉｉ）少なくとも前記半製品の部品キャリアまたは前記部品キャリアに関する自動光学的検査測定結果または半自動光学的検査測定結果を受信することであって、前記自動光学的検査測定結果または前記半自動光学的検査測定結果は前記識別された潜在的欠陥についての情報を含む、受信することと、
（ｉｉｉ）少なくとも前記半製品の部品キャリアまたは前記部品キャリアに対する真の欠陥および疑似欠陥についての前記情報を受信することと、
（ｉｖ）受信される前記自動光学的検査測定結果および受信される前記真の欠陥および疑似欠陥についての情報を記憶された前記識別情報に割り当てることと
を行うように構成される、制御システム
をさらに備える、請求項２３に記載のシステムアーキテクチャ。

【請求項25】

前記アプリケーションシステムと通信可能に結合され、かつ複数の半製品の部品キャリアに関するラベル付け画像情報を記憶するように構成されるデータ記憶システムであって、それぞれのラベル付け画像情報は、（ｉ）前記少なくとも１つのキャプチャされた画像および前記識別された潜在的欠陥に関連する前記画像情報、および（ｉｉ）それぞれの識別された潜在的欠陥について、疑似欠陥であるかどうかを示すラベル情報を含む、データ記憶システム
をさらに備える、請求項２３または２４に記載のシステムアーキテクチャ。

【請求項26】

前記自動光学的検査システムは、複数のキャプチャされた画像のそれぞれについて、前記データ記憶システムから受信された関連の前記ラベル情報を記憶するための自動光学的検査データ記憶デバイスをさらに備える、請求項２５に記載のシステムアーキテクチャ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は一般的に、部品キャリアの製造の技術分野に関する。具体的には、本発明は、部品キャリアを製造するための方法であって、部品キャリアの半完成品または完成した部品キャリアの品質分類は人工知能の処理を用いて実行される、方法に関する。さらに、本発明は、部品キャリアの製造中に、半製品の部品キャリアまたは完成した部品キャリアの欠陥を分類するためのシステムアーキテクチャに関する。

【背景技術】

【0002】

１つまたは複数の電子部品を備える部品キャリアの電子的な機能性の発達、およびそのような電子部品の小型化の着実な増加のみならず、部品キャリア、例えば、プリント回路基板（ＰＣＢ）上に実装される電子部品の増加の文脈において、いくつかの電子部品を有するますます強力になったアレイ状部品またはパッケージが用いられている。そのようなアレイ状電子部品は、比較的小さいエリア内に、部品キャリア上に形成される対応する導体パッドと電気的に接触させなければならない複数の接触端子を有する。アレイ状部品は、例えば、ボールグリッドアレイ（ＢＧＡ）であり得る。この接触端子は、小型化が高まるにつれて、これらの接触端子の間の間隔が一層小さくなったボールである。さらに、動作中のそのような電子部品および部品キャリア自体によって生成される熱の除去がますます問題になっている。同時に、部品キャリアは、機械的に堅牢なもので、厳しい条件下でも動作可能であるように電気的に信頼できるものでなければならない。

【0003】

高品質の電子製品を製作するために、（表面実装の）電子部品の取り付け台として高品質の部品キャリアを使用することは重要である。高品質の部品キャリアは、とりわけ、（ｉ）部品キャリアの上面に形成され、かつ（ｉｉ）多層部品キャリアの潜在的に存在している内側のパターニングされた電気層によって形成される接触痕の空間的に正確に画定されたパターンを特徴とする。

【0004】

高品質の部品キャリアを製造するために、多段階製造プロセス中にパネルレベルでの半製品の部品キャリアまたは完成した部品キャリアの品質分類を行うことが必要である。従来、そのような品質分類は、多くの場合、人間であるオペレータによって実行されている。しかしながら、人間であるオペレータによる品質分類は、煩雑であり失敗する傾向がある。

【0005】

半製品の部品キャリアまたは完成した部品キャリアの品質分類を改善するために、自動光学的検査（ＡＯＩ）システムと組み合わせた人工知能（ＡＩ）システムを使用して、ＡＯＩ出力情報の誤検出欠陥の量、例えば、割合の数を下げることは既知である。しかしながら、既知のシステムはかなりの量の誤検出欠陥を依然生じさせる。

【発明の概要】

【0006】

半製品の部品キャリアのこれを製造する時のＡＯＩベースの品質分類によって生じる誤検出欠陥の量を減少させる必要があることが考えられる。この必要性は、本願による主題によって満たされ得る。

【0007】

本発明の第１の態様によると、部品キャリアを製造するおよび／またはチェックするおよび／または試験するための方法が提供される。提供される方法は、（ａ）半製品の部品キャリアまたは部品キャリアを自動光学的検査デバイスに供給することと、（ｂ）自動または半自動光学的検査デバイスによって半製品の部品キャリアまたは部品キャリアの自動または半自動光学的検査を行うこととを含む。自動または半自動光学的検査を行うことは、以下の段階：（ｂ１）第１の照射によって半製品の部品キャリアまたは部品キャリアの第１の画像をキャプチャする段階と、（ｂ２）第２の照射によって半製品の部品キャリアまたは部品キャリアの第２の画像をキャプチャする段階であって、第１の照射は第２の照射の第２の分光組成と異なる第１の分光組成を有する、キャプチャする段階と、（ｂ３）第１の画像および第２の画像のうちの少なくとも１つを示す実データセットを、半製品の部品キャリアまたは部品キャリアの基準画像を示す基準データセットと比較する段階と、（ｂ４）実データセットと基準データセットとの比較の結果に基づいて半製品の部品キャリアまたは部品キャリアの潜在的欠陥を識別する段階とを含む。提供される方法は、（ｃ）半製品の部品キャリアまたは部品キャリアの品質分類を実行することをさらに含む。品質分類を実行することは、以下の段階：（ｃ１）第１の画像および第２の画像のうちの少なくとも１つに基づいて、半製品の部品キャリアまたは部品キャリアの仮想の第３の画像を生成する段階であって、第３の画像は、第１の分光組成および第２の分光組成の両方と異なる第３の分光組成を有する仮想の第３の照射下の半製品の部品キャリアまたは部品キャリアを示す、生成する段階と、（ｃ２）人工知能を適用することによって第１の画像、第２の画像、および第３の画像を処理する段階と、（ｃ３）人工知能の処理に基づいて真の欠陥および疑似欠陥において識別された潜在的欠陥を分類する段階とを含む。提供される方法は、（ｄ）実行された品質分類に基づいて（真の欠陥のみに対する）対策を取ることをさらに含む。

【0008】

説明される方法は、さらなる第３の画像によって、人工知能の処理に使用されるデータ基準が拡張される発想に基づく。拡張されたデータ基準は、より信頼できる欠陥分類に対する人工知能の処理を可能にし得る。

【0009】

述べられたデータ基準が、潜在的欠陥に関して調査される対応する（半製品の）部品キャリアに専ら関連しているデータを含むことは指摘されるべきである。このデータ基準は、好ましくは、説明した方法が特定の（半製品の）部品キャリアに対して実行される前に、手動でまたは自動的に生成されているいわゆる「学習」データを含まない。これは、ＡＩの基本原理に従って、「学習データ」が、過去の人による判定、または先のＡＩによって分類する判定の過去の機械自己学習データに基づいて以前に生成されたデータであり得ることを意味する。

【0010】

実際には、説明される品質分類が（最終の）部品キャリアを製造するために処理される全ての半製品の部品キャリアまたは部品キャリアに対して実行されなければならないことが不可欠ではないことは指摘されるべきである。品質分類は、欠陥を含むことが疑わしい半製品の部品キャリアまたは部品キャリアに制限される可能性がある。換言すれば、欠陥の存在について後になっても知らずに、対応する半製品の部品キャリアまたは部品キャリアは通常通り処理可能である。

【0011】

説明した方法は、画像処理がリアルタイムで実現可能である利点をさらに提供し得る。説明される画像処理は、ＡＯＩデバイス、または半自動、自動光学的検査デバイスによって識別された欠陥を分類するように命令される非常に熟練しかつ非常に敏速なオペレータのいずれのヒューマンインタラクションよりも間違いなくはるかに速いと言える。これは、従来のＡＩ手順によってサポートされるＡＯＩデバイス、または半自動、自動光学的検査デバイスにも該当し、この場合、（対応する半製品の部品キャリアまたは部品キャリアの）実際のキャプチャされた画像のみがデータ入力として使用される。

【0012】

説明した分光組成は、例えば、広く使用されるＲＧＢまたはＣＭＹＫ色空間などの任意の可能な色空間において定められ得る。

【0013】

説明した仮想の第３の画像の生成は、波長目盛上の第１の画像と第２の画像との間の補間または外挿によって実現され得る。仮想の第３の画像を生成するために、当然ながら、対応する半製品の部品キャリアまたは部品キャリアの典型的な物理（光学）特性は考慮に入れられるべきである。そのようにするために、データベースに「記憶」可能である先験的な知識を参照することができる。

【0014】

当然ながら、検査された半製品の部品キャリアまたは検査された部品キャリアの少なくともいくつかの物理（光学）特性を知ることなく仮想の第３の画像を生成することが不可能であると思われることは述べられるべきである。しかしながら、物理（光学）特性が既知である場合、仮想の第３の画像を「欠落色」画像として再構成することが可能である。そのようにするために、対応する供給された半製品の部品キャリアまたは部品キャリアの異なる材料が異なる分光画像における異なるシグネチャを有することを考慮に入れることができる。そのような再構成アルゴリズムの一例は、機械工学士および海洋学者であるＤｅｒｙａ Ａｋｋａｙｎａｋによって開発されたいわゆる「Ｓｅａ－ｔｈｒｕアルゴリズム」である。このアルゴリズムは、水中映像で発生するアーチファクトおよび歪みを除去することができる。「Ｓｅａ－ｔｈｒｕ」は、異なる照射特性下の、とりわけ、異なる分光照射特性下の画像差を考慮し、この差は、とりわけ、（対応する半製品の部品キャリアまたは対応する部品キャリアの表面における）異なる光学構造の異なる分光散乱挙動に基づく。

【0015】

「欠落色」画像を合成するために（前述の）人工知能（ＡＩ）による方法を使用することも可能であることが考えられることはさらに述べられるべきである。

【0016】

本明細書の文脈で、用語「部品キャリア」は特に、機械的支持および／または電気接続性および／または光学的接続性および／または熱的接続性を提供するために１つまたは複数の部品を上におよび／または中に収容することが可能である任意の支持構造を示し得る。換言すれば、部品キャリアは、部品用の機械的および／または電子的キャリアとして構成され得る。とりわけ、部品キャリアは、プリント回路基板、有機インターポーザ、およびＩＣ（集積回路）基板のうちの１つであり得る。部品キャリアはまた、上記のタイプの部品キャリアの異なる部品キャリアを組み合わせる混載基板であり得る。

【0017】

本明細書の文脈において、用語「自動光学的検査」は、特に、半製品の部品キャリアおよび部品キャリアの画像をキャプチャし、かつ対応する半製品の部品キャリアまたは対応する部品キャリアの特異性が目的の性質に従うものであるかどうかに関して検査する光監視システムを示し得る。この目的のために、人間であるオペレータから独立して機能し得る自動光学的検査ユニットは、検査される半製品の部品キャリアまたは部品キャリアの画像を示すデータセット、すなわち、この実画像を示すデータセットをキャプチャし得る。上記の実画像データはさらにまた、基準画像または目的画像を示すデータセット、すなわち、半製品の部品キャリアまたは部品キャリアが特定の仕様をどのように満たすように見えるのかを示すパラメータのデータセットと比較され得る。そのような自動または半自動光学的検査の結果は、半製品の部品キャリアまたは部品キャリアが自動検査試験で合格するまたは自動検査試験で不合格になることである場合がある。

【0018】

本明細書の文脈において、用語「半自動光学的検査」は、例えば、人間であるオペレータの部分的な介入を通して機能する少なくとも１つの監視および／または検査段階と、例えば、部品キャリア、欠陥認識、処理段階の中の１つに関連する入力データとの差異を有する先に説明した「自動光学的検査」に対応し得る。以下の説明では、用語「自動光学的検査（ＡＯＩ）」が完全ＡＯＩだけでなく半自動光学的検査も意味することは指摘されるべきである。

【0019】

自動光学的検査（ＡＯＩ）がまた、画像データが欠陥（すなわち、既知の不良画像データ）を示すデータセットと比較されるように、または人工知能（ＡＩ）ソフトウェアをセットアップするために使用される利用可能な訓練用データセットに応じて、良好として既知の画像データおよび不良として既知の画像データと比較されるように実行され得ることは述べられるべきである。この手法は、ＡＯＩが場合により検出する可能性がある特定の絶対的な限定数の誤差／欠陥があるときに有益であり得る。記述的に言えば、得られた画像データを「既知の不適当な」画像データと比較することは、得られた画像データを「良好として既知の」画像データと比較することと比較して、ＡＩ処理に必要とされる、必要とされる計算能力の量を減少させることに有用である場合がある。

【0020】

本明細書の文脈において、用語「対策を取る」は、特に、いくつかの可能な動作から選択可能である特定の手順が実行され得ることを示し得る。どの対策が取られるかの決定は、品質分類の結果に基づいて行われ得る。

【0021】

本明細書の文脈において、用語「人工知能」は、特に、ニューラルネットワーク、（深層）自己学習または自己適応システム、ファジー論理などのツールを示し得る。人工知能は、電子的ハードウェアおよびソフトウェアリソースに基づいて人間から独立して動作し得る。

【0022】

本明細書の文脈において、用語「…実データセットを基準データセットと比較する」は、特に、画像が集めたデータによって定められ得るため、画像または写真から演繹されるさまざまなパラメータおよび／または測定が比較され得ることを示し得る。しかしながら、画像もしくは写真自体またはこれらの画素を比較することも可能であり得る。

【0023】

本発明の一実施形態によると、識別された潜在的欠陥を分類する段階は、真の欠陥および疑似欠陥において識別された潜在的欠陥を分類することを含む。これは、先の自動光学的検査（ＡＯＩ）で識別された潜在的欠陥が真の欠陥ではなく単なる疑似欠陥であることが認識されることを意味する。故に、疑似欠陥の量は減少させることができることで、当然ながら、対策を取ることと関連付けられる（手）作業の量が減少する。換言すれば、疑似欠陥を扱うことと関連付けられることになる無用な作業は回避可能であり、結果として、部品キャリア製造工場におけるオペレータの人的生産性が著しく増加する可能性がある。

【0024】

本発明の一実施形態によると、第１の分光組成は少なくとも１つの第１の波長を含み、第２の分光組成は少なくとも１つの第２の波長を含み、第３の分光組成は、波長目盛において、第１の波長と第２の波長との間に位置する少なくとも１つの第３の波長を含む。

【0025】

記述的に言えば、第３の波長または第３の分光組成は、波長目盛において、第１の波長と第２の波長との間の補間を表すように見え得る。２つの「端」の分光組成の間のそのような補間によってデータ基準の拡張が生じ得ることで、おそらく欠陥分類の信頼性が最も改善する。この「最良の改善」の理由は、実際の世界において、第１の「端」の分光組成が第１のタイプの構造および／または第１のタイプの光学的外観に非常に敏感であり得、第２の「端」の分光組成は、異なる第２のタイプの構造および／または異なる第２のタイプの光学的外観に非常に敏感であり得、これらの構造および／または光学的外観は、対応する半製品の部品キャリアまたは対応する部品キャリアにおける潜在的欠陥と関連付けられ得ることが考えられる。構造は、任意の欠陥関連の２次元（２Ｄ）または３次元（３Ｄ）構造であり得る。光学的外観はまた、対応する潜在的欠陥の表面部分の任意の光学的外観であり得る。具体的には、該当する光学的外観は、例えば、色、反射性、拡散因子、光沢度、および対応する表面部分のつや消し因子であり得る。当然ながら、該当する光学的外観は、対応する潜在的欠陥によって占有される空間領域内で変化し得る。

【0026】

本発明のさらなる実施形態によると、第１の分光組成は赤色光を含み、第２の分光組成は青色光を含む。これは、対応する半製品の部品キャリアまたは対応する部品キャリアを照明するために、通常の安価なＬＥＤ光源が使用可能であるという利点を提供し得る。そのようなＬＥＤ光源は、典型的には、市販の展開されるＡＯＩデバイスで使用されるため、説明した方法は、ハード面でいずれの修正も行う必要なくそのようなＡＯＩデバイスによって実現可能である。故に、説明した方法は、既にずっと以前から操業中の先行技術のＡＯＩデバイスによっても実現可能である。必要なものは、データプロセッサに説明した方法を制御または実行させるプログラムによる適したソフトウェア更新である。

【0027】

本発明のさらなる実施形態によると、第３の分光組成は緑色光を含む。生成された仮想の第３の緑色の画像と共に、人工知能の処理に３つのカラー画像が使用され、このカラー画像は、完全で頻繁に使用される色空間、すなわち、ＲＧＢ色空間を占有する。これはさらに、偽の誤りの量の低減に寄与し得る。

【0028】

ＲＧＢ色空間における説明したＡＩ処理では、人の画像処理挙動がシミュレート可能であることは指摘されるべきである。ＲＢＧ ＡＩ処理は疑似欠陥または疑似欠陥警告の識別に対する信頼できる結果をもたらすことが本発明者によって認識されている。

【0029】

本発明のさらなる実施形態によると、半製品の部品キャリアまたは部品キャリアの品質分類を実行する段階は、仮想の第３の画像を生成後、かつ人工知能を適用することによって第１の画像、第２の画像、および第３の画像を処理する前に、第１の画像、第２の画像、および第３の画像のうちの少なくとも１つの画素値を変換することであって、第１の画像、第２の画像、および第３の画像の処理は変換された画素値で実行される、変換することをさらに含む。

【0030】

適した変換によって、以下のＡＩ画像処理は、容易かつ信頼できるやり方で実現可能である。説明した方法のソフトウェア実現を容易にする一般的に入手できるＡＩアルゴリズムが用いられ得る。

【0031】

説明した変換する段階は画素値の正規化を含み得る。これは、ＡＩ技法によって処理される画素値が正確に画定される範囲内にあるという利点を提供し得る。故に、画像のうちの少なくとも１つの潜在的な露出過多および潜在的な露出不足は補償可能である。これによって、疑似欠陥の量の著しい減少に対するさらなる寄与がなされ得る。

【0032】

本発明のさらなる実施形態によると、第１の画像、第２の画像、および第３の画像を処理する段階は、（ｉ）第１の画像の第１の部分画像の第１のグループ、（ｉｉ）第２の画像の第２の部分画像の第２のグループ、および（ｉｉｉ）第３の画像の第３の部分画像の第３のグループによって（専ら）実行される。それにより、それぞれの部分画像は少なくとも１つの識別された潜在的欠陥を示す。

【0033】

説明した部分画像のグループに基づく処理は、識別される潜在的欠陥がない半製品の部品キャリアまたは部品キャリアの領域が、ＡＩ画像処理に使用されない場合があるという利点を提供し得る。故に、大量の計算能力が節約され得る。部分画像のグループはまた、部分画像のバッチと称される場合がある。

【0034】

本発明のさらなる実施形態によると、部分画像のそれぞれのグループは、厳密に、１つの半製品の部品キャリアまたは１つの部品キャリアに割り当てられる。これは、説明したＡＩ画像処理が、それぞれの単一の半製品の部品キャリアまたはそれぞれの単一の部品キャリアに対して個々に実行可能であるという利点を提供し得る。このタイプのＡＩ画像処理によっても少量の認識されない疑似欠陥に対するさらなる寄与がなされることが分かった。

【0035】

発明のさらなる実施形態によると、それぞれの部分画像は、２００×２００画素より小さい、とりわけ、１００×１００画素より小さい画素サイズを有する。これによってさらに、必要とされる計算能力の量が減少し得る。

【0036】

本発明者によって実行された実証研究によって、６０×６０画素の小さい画素サイズでも信頼できるＡＩ画像処理をもたらすことが明らかになったことは指摘されるべきである。驚くことに、空間分解能も疑似欠陥を明確に識別するためには十分であった。

【0037】

本発明のさらなる実施形態によると、半製品の部品キャリアまたは部品キャリアは、複数の個々の半製品の部品キャリアまたは複数の個々の部品キャリアを含むパネルである。これは、複数の個々の半製品の部品キャリアまたは部品キャリアが並行して製造可能であるという利点を提供し得る。既知のＰＣＢ製造手法によれば、好ましくは最終処理されたパネルが複数の個々の半製品の部品キャリアまたは複数の個々の部品キャリアに後で個別化可能である。この並列化によって、とりわけ、比較的小さい個々の部品キャリアに対して、説明した部品キャリア製造方法のスループットが増大する。

【0038】

好ましくは、説明した第１の画像および説明した第２の画像は、個々の半製品の部品キャリアまたは個々の部品キャリアが位置するパネル全体またはパネルの少なくとも連続領域を覆う。複数の、例えば、それぞれが、１つのみの個々の半製品の部品キャリアまたは１つのみの部品キャリアによって占有されるパネル領域のみを示す第１の画像の処理と比較して、説明したパネル全体のＡＩ画像処理によって、説明した方法のかなりの高速化がもたらされる。当然ながら、上に指摘されているように、潜在的欠陥の部分領域を識別した後、ＡＩ画像処理はこれらの部分領域のみで実行され得る。

【0039】

本明細書の文脈において、用語「パネル」は、特に、バッチ手順での部品キャリアの製造中に得られる依然一体的に接続される部品キャリアのプリフォームを示し得る。例えば、そのようなパネルは、一体構造を依然形成し、かつ行および列で配置され得る部品キャリアの複数のプリフォームを含み得る。例えば、それぞれが６の部品キャリアを含む、パネルの部品キャリアが列で配置されることも可能である。例えば、そのようなパネルは、１８×１２平方インチ（４５．７２×３０．４８平方センチメートル）または１８×２４平方インチ（４５．７２×６０．９６平方センチメートル）の寸法を有し得る。

【0040】

発明のさらなる実施形態によると、取られる対策は、処理段階に介入せずに部品キャリアの製造を続行することである。

【0041】

実行されるのに必要な特定の手順はないという決定を行うことによって、品質管理に関して、部品キャリア製造プロセスにおいて伴う労力は非常に低くなる。換言すれば、品質分類において取られる必要がある特定の対策はないという結論になる場合、部品キャリア製造手順は簡潔に進む。例えば、説明した処理段階に介入しないことは、特別の対策または方策を取らず、標準的なまたは事前定義された既定のプロセスフローで進めることに関連し得る。処理段階に介入することなく、人の介在なく、真の故障がない場合の人の介在なくなど、処理の続行は生じ得る。

【0042】

一実施形態では、方法は、品質分類において、半製品の部品キャリアまたは部品キャリアの実際のまたは真の欠陥がないことが示される時に介入なしで部品キャリアの製造を続行させる対策を取ることを含む。換言すれば、品質分類において半製品の部品キャリアまたは部品キャリアに真の欠陥がないという結論になる時、通常の製造プロセスの続行とは別に取られる必要がある特定の対策はない。

【0043】

一実施形態において、方法は、品質分類において、対応する半製品の部品キャリアまたは対応する部品キャリアの修復不可能な欠陥が示される時に介入なしで部品キャリアの製造を続行させる対策を取ることを含む。故に、対応する半製品の部品キャリアまたは対応する部品キャリアを、例えば、修復できないまたは相応の労力でも修復できない少なくとも１つの真の欠陥が識別されたため、修復不可能と分類することは、この半製品の部品キャリアまたはこの部品キャリアを最終的に不合格であるとみなすことになり得る。この場合、製造方法は、別の半製品の部品キャリアまたは別の部品キャリアの処理に進んでよく、修復不可能な半製品の部品キャリアまたは修復不可能な部品キャリアは製造プロセスの最後には使用されないことになる。

【0044】

本発明のさらなる実施形態によると、取られる対策は、品質分類において、半製品の部品キャリアまたは部品キャリアの修復可能な真の欠陥が示される時に半製品の部品キャリアまたは部品キャリアを修復することを含む。

【0045】

説明した修復は、真の欠陥が自動修復プロセスによってまたは人間であるオペレータによって（容易に）修復可能であるような性質を有する場合、適した対策であり得る。この方策を取ることによって、部品キャリア製造プロセスの生産高は改善され得る。品質分類によって修復可能な欠陥が識別される時、半製品の部品キャリアまたは部品キャリアはそれに応じて分類され、これらの修復が実行され得る。修復が成功した後、半製品の部品キャリア全体または部品キャリア全体の分類は、不合格から合格に変更され得る。

【0046】

一実施形態において、修復は、誤って接続されたトレースの分離、誤って分離したトレースの接続、誤ったはんだ構造体の修復、および誤ったコアの修復から成るグループのうちの少なくとも１つを含む。例えば、誤って接続された半製品の部品キャリアまたは部品キャリアの導電性トレースは、自動的にまたは人間であるオペレータの制御下で動作可能であるレーザまたは切刃によって分離され得る。また、半製品の部品キャリアまたは部品キャリアの異なるトレースの好ましくない分離は、これらを接続することによって、例えば、２つのトレースが誤って切断される部分にはんだ溜まりまたは任意の導電性ペーストを施すことによって修復され得る。例えば、はんだ構造体が誤って小さい体積を単に失うまたは有する時、追加のはんだ材料は、人間であるオペレータによってまたは自動的に、例えば、適切なロボットによって、上記の特定の欠陥部分に適用され得る。コア、すなわち、半製品の部品キャリアまたは部品キャリアの完全な硬化板形状の中心構造が識別された時でも、これは部品キャリア全体の損失を回避するために修復され得る。そのような修復手順も、自動的に、または人間であるオペレータによって手動で実行され得る。

【0047】

本発明のさらなる実施形態によると、方法は、いくつかの事前定義されたタイプの欠陥の中のあるタイプの欠陥を示すことによって真の欠陥を分類することをさらに含む。

【0048】

欠陥のタイプは、例えば、パターニングされた導電層の導体トレースの誤った接続、導体トレースの誤った分離、不十分な量のはんだ、過剰量のはんだなどがあり得る。識別された欠陥が選択され得る、頻繁に生じる欠陥のリストを提供することは、欠陥の取り扱い、および、とりわけ欠損修復のプロセスを合理化し得る。

【0049】

本発明のさらなる実施形態によると、方法は、人間であるオペレータの対話を全く伴うことなく実行される。これは、説明した方法が、人の干渉が全く必要ではないやり方で達成され得ることを意味する。特定の数の学習サイクルの後に、ＡＩに基づく品質分類では、人間であるオペレータよりももっと良い分類が行われ得ることが分かった。いずれのヒューマンインタラクションも回避することによって、部品キャリアの製造プロセスは合理化され、部品キャリアの製造におけるスループットおよび生産高は改善され得る。

【0050】

本発明のさらなる実施形態によると、第１の画像、第２の画像、および仮想の第３の画像は、２次元画像を含む。これは、自動光学的検査デバイスが少なくとも１つの２Ｄカメラによって実現され得るという利点を提供し得る。多くの用途に対して、実データセットと基準データセットとの比較、また、２つの次元のみでの後続のＡＩ画像処理を行うことで十分であることが分かった。故に、説明した方法は、比較的少量の計算能力で実行可能である。

【0051】

本発明のさらなる実施形態によると、第１の画像、第２の画像、および仮想の第３の画像は、３次元画像を含む。これは、潜在的欠陥についてのさらなる詳細がキャプチャされかつさらに処理され得るという利点を提供し得る。非常に有利には、画像は、２次元画像および３次元画像の両方を含む。故に、説明した方法によって定められるさらなる処理は、品質分類において２Ｄおよび３Ｄを組み合わせた分析を伴う。

【0052】

本発明のさらなる実施形態によると、自動または半自動光学的検査を行う段階および品質分類を実行する段階は、形成された導体トレースの品質を評価するために、半製品の部品キャリアまたは部品キャリアの電気伝導体トレースを形成するために金属層をパターニングした後に行われる。これは、そのようなパターニング手順の直後に後者の成功が自動光学的検査によって評価された後、フロントエンドで品質分類が行われ得るという利点を提供し得る。製造される多層部品キャリアの場合、そのような手順はそれぞれのパターニング層に対して繰り返され得る。

【0053】

本発明のさらなる実施形態によると、人工知能を適用することによる処理および／または人工知能の処理は、ユーザインターフェースデバイスを介してユーザから入力されるデータによって処理を更新することを含む。

【0054】

いくつかの用途において、半製品の部品キャリアまたは部品キャリアのＡＯＩを行うためのＡＩモジュールまたはＡＯＩデバイスのＡＩモジュールは、そのようなＡＩモジュールの適した訓練によって継続的に改善され得る。それにより、適した訓練は自己訓練も含み得る。

【0055】

説明した半製品の部品キャリアまたは部品キャリアのＡＯＩは、ビッグデータ手法に基づいてよく、すなわち、ＡＩモジュールに供給されるデータが多くなるほど、ＡＯＩの作業がより効率的かつ正確になる。この文脈において、例示的な実施形態は、既に部品キャリアの製造中の半製品の部品キャリアまたは部品キャリアの欠陥を分類するための効率的な解決策を提供する。とりわけ、識別された潜在的欠陥の信頼できる分類が提供され得る。この手法について、ＡＩモジュールは、ユーザフレンドリーなインターフェースを有し得、かつ容易に動作可能かつ実装可能であり得る。とりわけ、ＡＩモジュールによって、真の欠陥および疑似欠陥に関して潜在的欠陥を信頼できるやり方で分類することが可能になり得る。

【0056】

潜在的欠陥がＡＩモジュールによって真の欠陥または疑似欠陥として完全に認識できない場合、この分類が人間であるオペレータの助けにより達成可能であることは指摘されるべきである。例えば、好適な、例えば、処理装置、または接続されたモバイルデバイスなどの任意の好適なリモートインターフェース上に提供されるユーザインターフェースを通して、人間であるオペレータは、ＡＩモジュールによって問い合わせを受ける可能性があり、かつ、人間であるオペレータのフィードバックに応じて、例えば、潜在的欠陥が真の欠陥であるかを確認すること、または潜在的欠陥を疑似欠陥として分類することに応じて、ＡＩモジュールは、この評価論理を適切に更新することで、人間であるオペレータのフィードバックの情報に基づいて将来この種類の欠陥をより良く判定することができる。

【0057】

一実施形態では、ＡＩモジュールによる処理はニューラルネットワークによる処理を含む。そのようなニューラルネットワークは、一般的に、タスク固有の規則によってプログラムされることなく、例を検討することによってタスクを行うように学習することが可能であり得るコンピューティングシステムであり得る。ニューラルネットワークは、人工ニューロンと呼ばれる接続されたノードの集合に基づいてよい。上記のニューロンの間のそれぞれの接続は、信号を他のニューロンに送信することができる。信号を受信する人工ニューロンは、さらにまた、この信号を処理し、かつこれに接続されるニューロンを信号で伝えることができる。学習中、潜在的欠陥は正確に識別かつ分類可能である。半製品の部品キャリアまたは部品キャリアの画像を入力することによって、ニューラルネットワークは、潜在的欠陥のうちのそれぞれ１つを真の欠陥または疑似欠陥として確実に分類することができる。

【0058】

本発明のさらなる実施形態によると、人工知能を適用することによる処理および／または人工知能の処理は、機械学習によって、とりわけ、深層学習によって処理を更新することを含む。

【0059】

用語「深層学習」は、特に、表現学習による人工ニューラルネットワークに基づく機械学習手順を示し得る。深層学習は、教師あり、半教師あり、または教師なしのものであり得る。本発明の例示的な実施形態に従って実装され得る深層学習アーキテクチャの例には、深層ニューラルネットワーク、ディープビリーフネットワーク、再帰型ニューラルネットワーク、および畳み込みニューラルネットワークがある。半製品の部品キャリアまたは部品キャリアの潜在的欠陥を分類するための対策計画の判断における深層学習アルゴリズムの実装によって、ＡＯＩの効率および能力がさらに改善され得る。

【0060】

本発明のさらなる実施形態によると、機械学習による処理を更新することは、人工知能を訓練するための機械学習による処理の間にデータを記憶することを含む。

【0061】

方法を実行する間に得られるデータは、ＡＩモジュールのニューラルネットワークを訓練するために使用され得る。例えば、データは、適切データベースに訓練用データとして記憶され得、かつ上記のＡＩモジュールを訓練するために使用され得る。先の部品キャリア欠陥の識別ルーチンからのそのようなデータをＡＩモジュールに導入することによって、（例えば、このニューラルネットワークの）ＡＩモジュールの性能は継続的に改善され得る。換言すれば、半製品の部品キャリアまたは部品キャリアのＡＯＩの出力は、ＡＩモジュールの非常に有益な訓練用データとして相乗的に使用され得る。ＡＩモジュールの出力は、再度ＡＩモジュールを使用するさらなる繰り返しの対象になり得る。

【0062】

本発明のさらなる態様によると、部品キャリアの製造中に半製品の部品キャリアを取り扱うためのシステムが提供される。提供されたシステムは、（ａ）半製品の部品キャリアまたは部品キャリアを自動または半自動光学的検査デバイスに供給または搬送するように構成されるデバイスと、（ｂ）半製品の部品キャリアまたは部品キャリアの自動または半自動光学的検査を行うための自動または半自動光学的検査デバイスとを備える。自動または半自動光学的検査デバイスは、（ｂ１）第１の照射によって半製品の部品キャリアまたは部品キャリアの第１の画像をキャプチャすることと、（ｂ２）第２の照射によって半製品の部品キャリアまたは部品キャリアの第２の画像をキャプチャすることであって、第１の照射は第２の照射の第２の分光組成と異なる第１の分光組成を有する、キャプチャすることと、（ｂ３）第１の画像および第２の画像のうちの少なくとも１つを示す実データセットを、半製品の部品または部品キャリアに対する基準画像を示す基準データセットと比較することと、（ｂ４）実データセットと基準データセットとの比較の結果に基づいて半製品の部品キャリアまたは部品キャリアの潜在的欠陥を識別することとを行うように構成される。提供されるシステムは、半完成品の品質分類を実行するために自動または半自動光学的検査デバイスと通信可能に結合される（ｃ）データ処理デバイスをさらに備える。データ処理デバイスは、（ｃ１）第１の画像および第２の画像のうちの少なくとも１つに基づいて、半製品の部品キャリアの仮想の第３の画像を生成することであって、第３の画像は、第１の分光組成および第２の分光組成の両方と異なる第３の分光組成を有する仮想の第３の照射下で半製品の部品キャリアまたは部品キャリアを示す、生成することと、（ｃ２）人工知能を適用することによって、第１の画像、第２の画像、および第３の画像を処理することと、（ｃ３）人工知能の処理に基づいて真の欠陥および疑似欠陥において識別された潜在的欠陥を分類することとを行うように構成される。提供されたシステムは、（ｄ）実行された品質分類に基づいて（真の欠陥のみに対する）（物理的）対策を取るための実行デバイスをさらに含む。

【0063】

また、説明したシステムは、さらなる第３の画像によって人工知能の処理に使用されるデータ基準が拡張される発想に基づく。拡張されたデータ基準は、人工知能の処理が、先のＡＯＩ手順によって識別された潜在的欠陥が真の欠陥ではなく単なる疑似欠陥であることをより確実に認識することを可能にし得る。

【0064】

説明した搬送装置は、半製品の部品キャリアまたは部品キャリアを直線または湾曲の搬送経路に沿って自動光学的検査デバイスに供給するように設計される任意の運搬システムによって実現され得る。

【0065】

本発明のさらなる態様によると、部品キャリアを製造するためのコンピュータプログラムが提供される。コンピュータプログラムは、１つまたは複数のプロセッサ、データプロセッサによって実行される時、部品キャリアを製造するための上述される方法を制御するおよび／または実行するように適応される。

【0066】

本明細書で使用される時、コンピュータプログラムへの言及は、上述される方法の性能を調整するようにコンピュータシステムを制御するための命令を含むプログラム要素および／またはコンピュータ可読媒体への言及と同等であることが意図される。コンピュータプログラムは、例えば、ＪＡＶＡ（登録商標）、Ｃ＋＋などの任意の好適なプログラミング言語におけるコンピュータ可読命令コードとして実装され得、かつ、コンピュータ可読媒体（リムーバブルディスク、揮発性または不揮発性メモリ、埋め込みメモリ／プロセッサなど）上に記憶され得る。命令コードは、意図される機能を実行するためにコンピュータまたは任意の他のプログラム可能型デバイスをプログラムするように動作可能である。コンピュータプログラムは、ダウンロードされ得るワールドワイドウェブなどのネットワークから利用可能であり得る。

【0067】

本発明は、コンピュータプログラムまたはソフトウェアによって実現され得る。しかしながら、本発明はまた、１つまたは複数の固有の電子回路またはハードウェアによって実現され得る。さらに、本発明は、混成形態で、すなわち、ソフトウェアモジュールおよびハードウェアモジュールの組み合わせでも実現され得る。本明細書に説明される本発明はまた、必要な仮想記憶空間および必要な仮想計算能力を提供する「クラウド」ネットワークに関連して実現され得る。

【0068】

本発明のさらなる態様によると、部品キャリアの製造中に半製品の部品キャリアまたは部品キャリアの欠陥を分類するためのシステムアーキテクチャが提供される。提供されるシステムアーキテクチャは、とりわけ、上述されるような方法によって部品キャリアを製造する時に欠陥を分類するために使用可能である。提供されるシステムアーキテクチャは、（ａ）半製品の部品キャリアまたは部品キャリアの自動または半自動光学的検査を行うための自動または半自動光学的検査システムを備える。自動または半自動光学的検査システムは、（ａ１）半製品の部品キャリアまたは部品キャリアの少なくとも１つの画像をキャプチャするように構成される自動または半自動光学的検査デバイスと、（ａ２）データ処理デバイスであって、（ｉ）少なくとも１つのキャプチャされた画像を受信することと、（ｉｉ）少なくとも１つのキャプチャされた画像を示す実データセットを、半製品の部品キャリアまたは部品キャリアに対する基準画像を示す基準データセットと比較することと、（ｉｉｉ）実データセットと基準データセットとの比較の結果に基づいて半製品の部品キャリアまたは部品キャリアの潜在的欠陥を識別することとを行うように構成される、データ処理デバイスとを備える。提供されるシステムアーキテクチャは、（ｂ）標準データインターフェースと、（ｃ）アプリケーションシステムであって、（ｃ１）少なくとも１つのキャプチャされた画像および識別された潜在的欠陥に関連する画像情報を交換するために標準データインターフェースを介して自動または半自動光学的検査システムと通信可能に結合される少なくとも１つのアプリケーションサーバを有し、少なくとも１つのアプリケーションサーバは画像情報を処理するように構成される、アプリケーションシステムとをさらに備える。提供されるシステムアーキテクチャは、（ｄ）アプリケーションサーバと画像情報を交換するためにアプリケーションシステムと通信可能に結合される少なくとも１つのＡＩサーバを含む人工知能（ＡＩ）システムであって、少なくとも１つのＡＩサーバは、（ｉ）交換された画像情報を処理することと、（ｉｉ）人工知能の処理に基づいて、識別された潜在的欠陥を真の欠陥および疑似欠陥に分類することと、（ｉｉｉ）真の欠陥および疑似欠陥についての情報を少なくともアプリケーションサーバと交換することとを行うように構成される、人工知能（ＡＩ）システムをさらに備える。

【0069】

説明したシステムアーキテクチャは、ＡＩ処理に基づく真の欠陥または疑似欠陥における欠陥分類は、説明した標準インターフェースによって自動光学的検査（ＡＯＩ）システムまたは半自動光学的検査システムから論理的におよび／または物理的に分離可能である情報技術（ＩＴ）機器によって実現可能であるという発想に基づく。この標準インターフェースは、説明したシステムアーキテクチャに、用いられるＡＯＩシステムのＡＯＩ機器に対するモジュール性を提供する。このＡＯＩ機器は異なるＡＯＩ機器供給元から得られ得るため、説明したシステムアーキテクチャは、異なるタイプのＡＯＩシステムによってそれぞれ実現されるように使用可能である。これは、説明したシステムアーキテクチャについて、ＩＴアーキテクチャを適応させる必要なく異なるＡＯＩシステムに対して全く同一のＩＴアーキテクチャが使用可能であるという利点を提供し得る。これによって、説明したシステムアーキテクチャは非常に柔軟になる。具体的には、いずれのＩＴアーキテクチャ再構成もなく、これは、異なるＡＯＩ機器供給元から提供され得る多くの異なるタイプのＡＯＩシステムに使用可能である。故に、それぞれの固有の半製品の部品キャリアまたはそれぞれの固有の部品キャリアの検査および欠陥識別について、最良のＡＯＩシステムが選択可能である。標準インターフェースにより、例えば、部品キャリアを製造するための半製品の部品キャリアのタイプの変更に関連して、ＡＯＩシステムは、新しいタイプの半製品の部品キャリアにとってより適切である別のＡＯＩシステムと迅速かつ容易にやり取り可能である。

【0070】

少なくとも１つのＡＩサーバは、いわゆる「深層学習」手法に基づいて動作するように構成され得る。これによって、（ｉ）真の欠陥を確認することに関しておよび／またはとりわけ（ｉｉ）疑似欠陥を認識することに関して高い信頼性を提供することが可能になる。既知のＡＯＩシステムでは、多くの場合、疑似欠陥の割合が９０％であるため、真の欠陥だけでなくこれらの疑似欠陥も取り扱い、かつこれらを疑似欠陥であると認識するためにかなりの（人手による）労力がいる。説明したシステムアーキテクチャでは、この無用で無益な量または作業負荷が回避可能である。故に、部品キャリアおよびとりわけ多層部品キャリアの製造全体ははるかにより効率的になる可能性がある。

【0071】

標準インターフェースは、少なくともＡＯＩシステムおよびアプリケーションシステムに対する「標準」を表す任意のタイプのデータインターフェースであり得る。それにより、既知のまたは専用の標準が使用され得る。標準インターフェースが、アプリケーションサーバ／システムとだけでなく少なくとも２つの異なるＡＯＩシステムに対しても互換性を有することのみが必須である。

【0072】

（ｉ）標準インターフェースを介してＡＯＩシステムとアプリケーションシステムとの間で交換される画像情報、および（ｉｉ）アプリケーションシステムとＡＩシステムとの間で交換される画像情報が同じデータフォーマットを有することが不要であることは述べられるべきである。さらに、これらが情報内容に関して（全く）同一であることも必要ではない。しかしながら、説明した２つの画像情報が少なくとも部分的に同じ情報内容を保持し、この（重複する）情報内容が対応するキャプチャされた画像の実データセット、およびこのキャプチャされた画像が少なくとも１つの欠陥を含むかどうかの特定の種類のラベルを含むことは必須である。記述的に言えば、ＡＯＩシステムはＡＩシステムにキャプチャされた画像における潜在的欠陥についての情報を提供し、ＡＩシステムは、任意の疑似欠陥の存在または実在について少なくともアプリケーションサーバに通知する。

【0073】

説明したシステムアーキテクチャが、ＡＩシステムが訓練された後、疑似欠陥についての情報をリアルタイムで提供することが可能であることは指摘されるべきである。これは、疑似欠陥の検出に対して関連する遅延がないため、部品キャリアの製造の効率には大きな利点である。

【0074】

本発明のさらなる実施形態によると、システムアーキテクチャは、アプリケーションシステムと通信可能に結合され、かつ（ｉ）複数の個々の半製品の部品キャリアまたは個々の部品キャリアの識別（ＩＤ）情報を記憶することと、（ｉｉ）少なくとも半製品の部品キャリアまたは部品キャリアに関するＡＯＩまたは半自動光学的検査測定結果を受信することであって、ＡＯＩ測定結果または半自動光学的検査測定結果は識別された潜在的欠陥についての情報を含む、受信することと、（ｉｉｉ）少なくとも半製品の部品キャリアまたは部品キャリアに対する真の欠陥および疑似欠陥についての情報を受信することと、（ｉｖ）受信されるＡＯＩ測定結果および受信される真の欠陥および疑似欠陥についての情報を記憶されたＩＤ情報に割り当てることとを行うように構成される制御システムをさらに備える。

【0075】

説明した制御システムでは、直接測定された、またはＡＯＩシステムのデータ処理デバイスおよび／またはＡＩシステムのＡＩサーバによって計算されたかのどちらかが行われた全ての技術情報の正しい割り当ては、対応する（半製品の）部品キャリアに正しく帰属され得る。それにより、オペレータまたはユーザから（手）入力された情報はまた、考慮に入れられる場合がある。

【0076】

いくつかの実施形態において、説明した制御システムはまた、原材料の任意の変態および／またはこのさまざまな処理段階における半製品の部品キャリアまたは部品キャリアを追跡しかつ文書に記録する、いわゆる生産実行システム（ＭＥＳ）を備える。さらに、説明した制御システムはまた、企業運営および顧客窓口を管理するためのソフトウェアを実行する企業資源計画（ＥＲＰ）コンピューティングエンティティを含み得る。ソフトウェアは、データベース管理システムによって維持される共通データベースを使用して、技術的プロセスだけでなく主力事業プロセスの統合されかつ継続的に更新されたビューを提供し得る。ＭＥＳおよび／またはＥＲＰコンピューティングエンティティは、ハードウェアにおいて、ソフトウェアにおいて、またはハードウェアおよびソフトウェアの任意の組み合わせにおいて実現され得る。

【0077】

本発明のさらなる実施形態によると、説明したシステムアーキテクチャはさらに、アプリケーションシステムと通信可能に結合され、かつ複数の半製品の部品キャリアまたは複数の部品キャリアに関するラベル付け画像情報を記憶するように構成されるデータ記憶システムを備える。それにより、それぞれのラベル付け画像情報は、（ｉ）少なくとも１つのキャプチャされた画像および識別された潜在的欠陥に関連する画像情報、および（ｉｉ）それぞれの識別された潜在的欠陥について、疑似欠陥（または真の欠陥）であるかどうかを示すラベル情報を含む。

【0078】

説明したデータ記憶システムは、これまで行われていた複数のＡＩ判定について、ＡＩシステムによって（これまでに）得られた疑似欠陥についての情報を収集することを可能にし得る。本明細書ではラベル情報と称されるこの情報はとりわけ対応するキャプチャされた画像と関連付けられるため、ＡＩシステムによる改善された（深層）学習に利用可能であるデータセットは、継続的に拡張可能である。

【0079】

本発明のさらなる実施形態によると、自動光学的検査システムはさらに、複数のキャプチャされた画像のそれぞれについて、（アプリケーションシステムを介して）データ記憶システムから受信された関連のラベル情報を記憶するためのＡＯＩデータ記憶デバイスを備える。

【0080】

ＡＯＩデータ記憶デバイスは、いわゆる画像管理システム（ＩＭＳ）によって実現され得る。既知のソフトウェアアプリケーションはＩＭＳに使用可能である。

【0081】

さらに、説明したＡＯＩデータ記憶デバイスは、（実際の）真の欠陥を有する対応する（半製品の）部品キャリアの適切な処置が実行可能であるワークステーションまたは作業場と通信可能に接続され得る。既に上に述べたように、そのような処置は、例えば、そのような真の欠陥の自動または人手による修復であってよい。いくつかの実施形態において、そのようなワークステーションはまた、真の欠陥のさらなる人による検証を可能し得る。

【0082】

以下において、部品キャリアを製造するための説明した方法および部品キャリアの製造中の半製品の部品キャリアを取り扱うための説明したシステムに関するさらなる実施形態および技術的な考慮事項について説明する。

【0083】

一実施形態において、半製品の部品キャリアまたは部品キャリアは、少なくとも１つの電気絶縁層構造および少なくとも１つの導電層構造のスタックを含む。本願の文脈において、用語「層構造」は特に、共通平面内の連続層、パターニング層、または複数の連続していないアイランドを示し得る。層構造は、電気絶縁性および／または導電性を有し得る。例えば、（半製品の）部品キャリアは、とりわけ、機械的圧力および／または熱エネルギーを加えることによって形成される、述べられた電気絶縁層構造および導電層構造の積層であり得る。述べられたスタックは、さらなる部品のための大きい実装面を提供することが可能であり、それにもかかわらず、非常に薄くコンパクトである板状部品キャリアを提供し得る。

【0084】

一実施形態において、半製品の部品キャリアまたは部品キャリアは板状に成形される。これは、コンパクトな設計に寄与するが、最終の部品キャリアは部品を実装するための大きい基部を提供する。さらに、とりわけ、例として、埋め込み電子部品用の露出したダイは、この薄い厚さにより、プリント回路基板などの薄板に簡便に埋め込み可能である。板状部品キャリアはまた、短い電気接続経路を保証するため、搬送中の信号の歪みを抑制する。一実施形態において、最終の部品キャリアは、プリント回路基板、基板（とりわけ、ＩＣ基板）、およびインターポーザから成るグループのうちの１つとして構成される。

【0085】

本明細書の文脈において、用語「プリント回路基板」（ＰＣＢ）は、特に、例えば、圧力を加えることによっておよび／または熱エネルギーの供給によって、いくつかの導電層構造といくつかの電気絶縁層構造とを積層することによって形成される板状部品キャリアを示し得る。ＰＣＢ技術に対する好ましい材料として、導電層構造は銅から作られるのに対し、電気絶縁層構造は樹脂および／またはガラス繊維、いわゆるプリプレグまたはＦＲ４材料を含み得る。さまざまな導電層構造は、積層を通るスルーホールを形成することによって、例えば、レーザ穿孔または機械式穿孔加工によって、および、導電材料（とりわけ、銅）を充填することによって（縦）スルーホール接続としてビアを形成することによって、所望のやり方で互いに接続され得る。ＰＣＢに埋め込まれ得る１つまたは複数の部品とは別に、ＰＣＢは通常、板状のＰＣＢの対向面の１つまたは両方において１つまたは複数の部品を収容するように構成される。これらは、はんだによって対応する主面に接続され得る。ＰＣＢの誘電部品は、（ガラス繊維などの）強化用繊維を有する樹脂から構成され得る。

【0086】

本明細書の文脈において、用語「基板」は特に、小さい部品キャリアを示し得る。基板は、ＰＣＢとの関連で、１つまたは複数の部品が実装され得、かつ１つまたは複数のチップとさらなるＰＣＢとの間の接続媒体の機能を果たし得る比較的小さい部品キャリアであり得る。例えば、基板は、（例えば、チップサイズパッケージ（ＣＳＰ）の場合に）実装される部品（とりわけ、電子部品）と実質的に同じサイズを有し得る。より具体的には、基板は、電気接続または電気回路網のためのキャリアとして、および、プリント回路基板（ＰＣＢ）と同等の部品キャリアとして理解可能であるが、横方向におよび／または鉛直方向に配置された接続の密度が大幅に高くなる。横方向の接続は、例えば、導電経路であるのに対し、鉛直方向の接続は、例えば、ドリル穴であり得る。これらの横方向のおよび／または鉛直方向の接続は、基板内に配置され、かつ収められた部品または収められない部品（ベアダイなど）の、特にＩＣチップの、プリント回路基板または中間プリント回路基板との電気的および／または機械的接続を提供するために使用可能である。よって、用語「基板」は「ＩＣ基板」も含む。基板の誘電部品は、強化粒子（強化球体、とりわけガラスの球体など）を有する樹脂から構成され得る。

【0087】

基板またはインターポーザは、少なくともガラス層、シリコン（Ｓｉ）層、またはエポキシ系ビルドアップ材料（エポキシ系ビルドアップフィルムなど）、またはポリイミド、ポリベンゾオキサゾール、もしくはベンゾシクロブテンのようなポリマー化合物のような光像形成可能なまたはドライエッチング可能な有機材料を含み得るまたはこれらから成り得る。

【0088】

一実施形態において、上述される電気絶縁層構造のそれぞれは、樹脂（強化または非強化樹脂、例えば、エポキシ樹脂またはビスマレイミド－トリアジン樹脂など）、シアン酸エステル、ポリフェニレン誘導体、ガラス（とりわけ、ガラス繊維、多層ガラス、ガラス状材料）、プリプレグ材料（ＦＲ－４またはＦＲ－５など）、ポリイミド、ポリアミド、液晶性ポリマー（ＬＣＰ）、エポキシ系ビルドアップフィルム、ポリテトラフルオロエチレン（テフロン（登録商標））、セラミック、および金属酸化物から成るグループのうちの少なくとも１つを含む。例えば、ガラス（多層ガラス）から作られたウェブ、繊維、または球体などの強化材料も使用され得る。プリプレグ、特にＦＲ４は、硬質のＰＣＢにとって通常好ましいが、基板用の他の材料、とりわけエポキシ系ビルドアップフィルムも使用され得る。高周波用途では、ポリテトラフルオロエチレン、液晶性ポリマーおよび／またはシアン酸エステル樹脂などの高周波材料、低温同時焼成セラミック（ＬＴＣＣ）、または他の低、極低、もしくは超低ＤＫ材料が、電気絶縁層構造として部品キャリアにおいて実装され得る。

【0089】

一実施形態では、上述される導電層構造のそれぞれは、銅、アルミニウム、ニッケル、銀、金、パラジウム、およびタングステンから成るグループのうちの少なくとも１つを含む。銅が通常は好ましいが、他の材料またはこれを被覆したもの、とりわけ、グラフェンなどの超伝導材料での被覆も可能である。

【0090】

一実施形態において、半製品の部品キャリアまたは部品キャリアは、とりわけスタックで、部品キャリア材料に実装および／または埋め込まれる電子部品をさらに含む。例えば、電子部品は、配線構造を介して高周波信号を発するおよび／または受信するように構成され、かつ導電性配線構造と電気的に結合される高周波半導体チップであり得る。故に、電子部品は、高周波用途、とりわけ、１ＧＨｚを上回る周波数を伴う高周波用途を実行するように構成され得る。

【0091】

少なくとも１つの部品は、部品キャリアに表面実装されおよび／または埋め込まれ得、かつとりわけ、非導電性インレイ、導電性インレイ（好ましくは、銅またはアルミニウムを含む金属インレイなど）、伝熱ユニット（例えば、ヒートパイプ）、導光素子（例えば、光導波路または導光体接続）、光学素子（例えば、レンズ）、電子部品、またはこれらの組み合わせから成るグループから選択できる。例えば、部品は、能動電子部品、受動電子部品、電子チップ、記憶デバイス（例えば、ＤＲＡＭまたは別のデータメモリ）、フィルタ、集積回路、信号処理部品、電力管理部品、光電子インターフェース要素、発光ダイオード、フォトカプラ、電圧変換器（例えば、ＤＣ／ＤＣ変換器またはＡＣ／ＤＣ変換器）、暗号化部品、送信機および／または受信機、電気機械トランスデューサ、センサ、アクチュエータ、微小電気機械システム（ＭＥＭＳ）、マイクロプロセッサ、コンデンサ、抵抗器、インダクタンス、電池、スイッチ、カメラ、アンテナ、論理チップ、ならびに環境発電ユニットであり得る。しかしながら、他の部品が部品キャリアに埋め込まれ得る。例えば、磁気素子は部品として使用可能である。そのような磁気素子は、永久磁性素子（強磁性素子、反強磁性素子、マルチフェロイック素子、もしくはフェリ磁性素子、例えばフェライトコアなど）であり得、または常磁性素子であり得る。しかしながら、部品はまた、例えば、基板内基板（ｂｏａｒｄ－ｉｎ－ｂｏａｒｄ）構成の、基板、インターポーザ、またはさらなる部品キャリアであり得る。部品は、部品キャリアに表面実装され得る、および／または部品キャリアの内部に埋め込まれ得る。

【0092】

一実施形態において、（半製品の）部品キャリアは積層型部品キャリアである。そのような一実施形態において、部品キャリアは、スタックされ、かつ押圧および／または熱を加えることによって共に接続される、複数層構造の合成物である。

【0093】

半製品の部品キャリアまたは部品キャリアの内部層構造を処理した後、処理された層構造の１つまたは両方の対向する主面を、１つもしくは複数のさらなる電気絶縁層構造および／または導電層構造で対称的または非対称に（とりわけ、積層によって）覆うことが可能である。換言すれば、ビルドアップは所望の数の層が得られるまで続行され得る。

【0094】

電気絶縁層構造および導電層構造のスタックの形成が完了した後、得られた層構造または部品キャリアの表面処理に進むことが可能である。とりわけ、電気絶縁性はんだレジストが、表面処理に関して、積層体または部品キャリアの１つまたは両方の対向する主面に適用され得る。例えば、はんだレジストなどを主面全体に形成し、続いてはんだレジストの層をパターニングして、部品キャリアを周辺電子機器に電気的に結合するために使用されるべき１つまたは複数の導電性表面部分を露出させることが可能である。はんだレジストで覆われたままの部品キャリアの表面部分、とりわけ、銅を含む表面部分は、酸化または腐食から効率的に保護され得る。

【0095】

また、表面処理に関して、部品キャリアの露出した導電性表面部分に対して、表面仕上げを選択的に適用することが可能である。そのような表面仕上げは、部品キャリアの表面上の露出した導電層構造（とりわけ、銅を含むまたは銅から成る、パッド、導体トラックなど）に対する導電性被覆材料であり得る。そのような露出した導電層構造が保護されないままである場合、露出した導電性の部品キャリア材料（とりわけ、銅）が酸化して、部品キャリアの信頼性を低下させる場合がある。表面仕上げはさらにまた、例えば、表面実装された部品と部品キャリアとの間の接点として形成され得る。表面仕上げは、露出した導電層構造（とりわけ、銅回路）を保護し、かつ、例えば、はんだ付けによる１つまたは複数の部品との接合プロセスを可能にする機能を有する。表面仕上げに適切な材料の例は、有機はんだ付け性防腐剤（ＯＳＰ）、無電解ニッケルめっき置換金めっき（ＥＮＩＧ）、金（とりわけ、硬質金）、化学錫、ニッケル金、ニッケルパラジウムなどである。

【0096】

本発明の実施形態が異なる主題を参照して説明されていることに留意されたい。しかしながら、当業者であれば、他の注記がない限りは、上記および以下の説明から、主題の１つのタイプに属する特徴の任意の組み合わせに加えて、異なる主題に関連する特徴間の任意の組み合わせも本明細書により開示されているとみなされることを推測するであろう。

【図面の簡単な説明】

【0097】

上に定められた態様および本発明のさらなる態様は、以降に説明される実施形態の例から明らかであり、実施形態の例を参照しながら説明される。本発明について、実施形態の例を参照しながら以降により詳細に説明するが、本発明はこれらに限定されない。

【図1】半製品の部品キャリア上の疑似欠陥を識別するためのＡＯＩキャプチャ画像のＡＩ処理用のアルゴリズムを示す図である。

【図2】部品キャリアの製造中に半製品の部品キャリアの欠陥をＡＩ分類するためのシステムアーキテクチャを示す図である。

【図3】図２に示されるシステムアーキテクチャ内のデータフローを示す図である。

【発明を実施するための形態】

【0098】

図面における例示は概略的である。異なる図において、同様のまたは同一の要素もしくは特徴には、同じ参照符号、または最初の一桁のみが対応する参照符号と異なる参照符号が与えられていることに留意されたい。不必要な繰り返しを回避するために、以前に説明した実施形態に関して既に説明されている要素または特徴について、その後の記載箇所では改めて説明しない。

【0099】

図１は、半製品の部品キャリアの表面上で示されないＡＯＩデバイスによって検出された疑似欠陥を識別するためのＡＯＩキャプチャ画像のＡＩ処理用のアルゴリズムを示す。ＡＯＩ欠陥検出に頼る場合がある説明したアルゴリズムは、多層部品キャリアのそれぞれの層に対して実行可能である。そのような多層部品キャリアは、導電層構造および電気絶縁層構造を交互の順序で互いに順次積層することによって製作可能である。多層部品キャリアを製造するプロセスは当業者には周知であるため、このプロセスについての詳細は本明細書では説明しない。

【0100】

説明したＡＩ処理アルゴリズムは、半製品の部品キャリア１８０の表面から画像をキャプチャすることから開始し、ここで、既知のＡＯＩ欠陥識別に従って、半製品の部品キャリア１８０の表面全体のいくつかの部分的画像が提供される。これによって、これらの部分的画像のそれぞれの部分画像は好ましくは、ＡＯＩデバイスによって、とりわけ、パターニングされた導電層上の少なくとも１つの欠陥を含むとみなされている。そのような欠陥は、例えば、パターニングされた導電層の導体トレースの誤った接続、または導体トレースの誤った分離であり得る。

【0101】

説明したアルゴリズムによれば、ＡＯＩデバイスは、それぞれの仮定または潜在的欠陥領域１８２について、２つのＡＯＩ画像、すなわち、第１のＡＯＩ画像１７１および第２のＡＯＩ画像１７２を提供する。第１のＡＯＩ画像１７１は、第１の分光組成を有する第１の照明光１７１ａによってキャプチャされている。本明細書に説明される実施形態によると、第１の照射１７１ａは赤色光を含む。第２のＡＯＩ画像１７２は、第２の分光組成を有する第２の照射１７２ａによってキャプチャされている。本明細書に説明される実施形態によると、第２の照射１７２ａは青色光を含む。

【0102】

２つのＡＯＩ画像１７１および１７２のそれぞれの画像は好ましくは、２つのＡＯＩ画像１７１、１７２のそれぞれの画素に対してキャプチャされた（グレースケール）値を含むデータセット１８４によって表される。本明細書に説明される実施形態によると、２つの画像は６０×６０＝３６００画素の画素数を有する。これは比較的小さい数であり、当然ながら、２つの画像１７１、１７２の比較的小さい空間分解能に対応し、この画像のそれぞれは、半製品の部品キャリア１８０の表面全体の部分領域のみを示していることで、少ない計算量でリアルタイムの処理の範囲内で説明したアルゴリズムを実現することが可能になる。

【0103】

この点で、当然ながら、２つの画像１７１および１７２がまた、部分領域だけでなく、半製品の部品キャリア１８０の表面全体も示すことができることは述べられるべきである。しかしながら、表面全体を示す画像をさらに処理する時、以下のニューラルネットワーク処理のために必要とされる計算リソースは著しく増大することになる。さらに、半製品の部品キャリアの表面全体を使用することは、比較的小さい部分領域のみが潜在的欠陥を示す場合、ニューラルネットワーク処理の訓練および認識プロセスを困難にするが、これは、単純に言うと、ニューラルネットワークがどこを見るべきか知らないからである。故に、ニューラルネットワークは、画像１７１および／または画像１７２の関係のない特徴を捉えることになる。計算量の増大とは別に、これらの関係のない特徴によって、また、ニューラルネットワーク処理の信頼性が低くなる場合がある。

【0104】

説明したアルゴリズムは、第１のＡＯＩ画像１７１および第２のＡＯＩ画像１７２のうちの少なくとも１つに基づいて、半製品の部品キャリア１８０の（部分領域の）仮想の第３の画像を生成することを進める。仮想の第３の画像は、第１の分光組成および第２の分光組成の両方と異なる第３の分光組成を有する仮想の第３の照射下の対応する部分領域の表現を含む。本明細書に説明される実施形態によると、第３の分光組成は（仮想の）緑色照明光を含む。

【0105】

仮想の第３の画像を生成する基本原理は、上述されており、本明細書を簡潔にするために、ここで改めて繰り返すことはしない。

【0106】

本明細書に説明される実施形態によると、仮想の第３の画像を生成する前に、第１のＡＯＩ画像１７１および第２のＡＯＩ画像１７２の画素値のオプションの正規化が実行されている。この正規化によって、画素値は正規化された値に変換される。正規化された値によって、３つの画像のさらなる処理が容易になる。

【0107】

図１から分かるように、説明したアルゴリズムは３つの画像のＡＩ処理を進める。このＡＩ処理は、複数のＡＩ層を伴う（従来の）畳み込みニューラルネットワーキングで実行される第１のＡＩ処理１４５を含む。第２のＡＩ処理１４７では、異なる層の結果またはそれぞれの層のニューラルノードは、いわゆる完全接続ネットワークによって互いに論理的に相互接続される。これらのタイプのＡＩ処理の基本原理は、当業者に周知であるため、本明細書を簡潔にするために、詳細に説明されない。

【0108】

ＡＩ処理１４５および１４７の結果は欠陥分類１４９であり、これはそれぞれの潜在的欠陥の改善された識別を含み、それぞれの潜在的欠陥は、この欠陥が真の欠陥であるかまたは疑似欠陥であるかについて、既知ではあるが信頼性は低いＡＯＩ欠陥識別画像処理によるＡＯＩデバイスによって以前に識別されている。これによって、対応する半製品の部品キャリアを再加工するために使用される欠陥リストから疑似欠陥を除去することが可能になる。そのような統合リストが、真の欠陥である欠陥のみを示し、かつ非常に少数の疑似欠陥のみを有することで、適した後処理になるように作業負荷が著しく減少することが明らかである。疑似欠陥と関連がある後処理の作業負荷を回避することによって、部品キャリアの製造全体がより効果的になる。

【0109】

図２は、部品キャリアの製造中の半製品の部品キャリアの欠陥をＡＩ分類するためのシステムアーキテクチャ２００を示す。システムアーキテクチャ２００は、既知のＡＯＩデバイス２１２、ＡＯＩデータ処理デバイス２１４、およびＡＯＩデータ記憶デバイス２１６を含むＡＯＩシステム２１０を備える。ＡＯＩデバイス２１２は、市販のＡＯＩデバイス２１２であり得る。本発明の実施形態によれば、ＡＯＩデバイス２１２は、半製品の部品キャリアの自動光学的検査を行うように構成され、ここで、２つの画像は、異なる照射条件下で対応する半製品の部品キャリアからキャプチャされる。上に既に述べられているように、第１の画像をキャプチャするために使用される第１の照明光は赤色光を含み、第２の画像をキャプチャするために使用される第２の照明光は青色光を含む。

【0110】

２つの生成された画像は、ＡＯＩデータ処理デバイス２１４に提供される。本明細書に説明される実施形態によると、ＡＯＩデータ処理デバイス２１４は、異なる半製品の部品キャリアからキャプチャされた複数のまたは２つの画像を管理するように構成される画像管理システム（ＩＭＳ）を表す。ＡＯＩデータ記憶デバイス２１６はこれらの画像を少なくとも一時的に記憶する。ＡＯＩデータ処理デバイス２１４は、ＡＯＩデバイス２１２によって検査されたそれぞれの半製品の部品キャリアに対して、潜在的欠陥を識別するように構成される。

【0111】

本明細書に説明される実施形態によると、既知のＡＯＩシステム２１０によれば、ＡＯＩデータ処理デバイス２１４は、ワークステーション２１８と通信可能に結合され、このワークステーション２１８においてまたはこれによって、半製品の部品キャリアの表面における（真の欠陥の）修復が実行可能である。既に上に述べられているように、典型的にはＡＯＩデータ処理デバイス２１４によってレポートされる多数の疑似欠陥によって、潜在的に欠陥がある半製品の部品キャリアを後処理するための作業負荷が増大する。本明細書では、ワークステーション２１８はまた、修復確認システム（ＶＲＳ）と呼ばれる。

【0112】

疑似欠陥を取り扱うことと関連付けられたこの全く無用な作業負荷を低減するために、説明したシステムアーキテクチャ２００は標準データインターフェース２２０を備え、これによって、疑似欠陥の（外部）識別が可能になる。具体的には、本明細書に説明される実施形態によると、（ａ）キャプチャされた画像（例えば、画像のグレースケール画素値）、および（ｂ）ＡＯＩシステム２１０によって識別される（潜在的な）欠陥についての情報は、少なくとも１つのアプリケーションサーバ２３２を備えるアプリケーションシステム２３０に転送される。オプションのクライアントコンピュータ２３４は、オペレータが、説明したシステムアーキテクチャ２００による欠陥分類および／またはＡＯＩ処理全体を遠隔位置からでも制御および／または監視することを可能するためにアプリケーションシステム２３０に接続される。

【0113】

図２から分かるように、説明したシステムアーキテクチャ２００は、企業資源計画（ＥＲＰ）サーバ２５２および機械実行システム（ＭＥＳ）２５４を含む制御システム２５０をさらに備える。ＥＲＰサーバ２５２およびＭＥＳ２５４は、ＡＩを利用したＡＯＩ欠陥識別（情報）と、部品キャリア製造プロセス全体のロジスティックデータとの相関および／または位置調整を行うために使用される。これらのロジスティックデータは、例えば、ロット番号、（それぞれの半製品および／または最終の部品キャリアに対する）識別番号、担当オペレータについての情報などを含み得る。このロジスティックデータは、例えば、部品キャリア製造プロセス全体の全ての段階のトレーサビリティに使用され得る。

【0114】

説明したシステムアーキテクチャ２００は、ＡＩシステム２４０およびデータ記憶システム２６０をさらに備える。ＡＩシステム２４０およびデータ記憶システム２６０は両方共、アプリケーションシステム２３０と通信可能に接続される。ＡＩシステム２４０は好ましくは、深層学習ＡＩ処理を行うように構成されるいくつかのＡＩサーバ２４２を備える。データ記憶システム２６０は、本明細書に説明される実施形態によると、ＳＱＬデータストレージ２６２およびファイルサーバ２６４を備える。

【0115】

説明したシステムアーキテクチャ２００の動作中、アプリケーションシステム２３０は、標準データインターフェース２２０を介してＡＯＩシステム２１０から、ＡＯＩシステム２１０のＡＯＩデータ処理デバイス２１４よって識別された（それぞれの画像における）潜在的欠陥についての情報と共にキャプチャされた画像を受信する。この情報は全て、潜在的欠陥の疑似欠陥を識別することが可能であるＡＩシステム２４０に転送される。

【0116】

疑似欠陥についての情報は、アプリケーションシステム２３０に返送される。それにより、それぞれの画像について、（ｉ）疑似欠陥であると分かった欠陥、および／または真の欠陥であると分かった欠陥は、適切なやり方でラベル付けされる。ラベル付けされた画像はデータ記憶システム２６０に記憶される。記憶されたラベル付けされた画像は、その後、いつでも、深層学習ＡＩシステム２４０の訓練を改善するために使用可能である。

【0117】

疑似欠陥および／または真の欠陥についての情報はさらに、（標準データインターフェース２２０を介して）ＡＯＩシステム２１０に伝達される。ここで、疑似欠陥情報は、ＡＯＩデータ処理デバイス２１４によって識別された疑似欠陥についてワークステーション２１８（のオペレータ）に通知するために使用される。故に、ワークステーション２１８（のオペレータ）は、疑似欠陥から「解放」され、かつ真の欠陥の後処理に集中できる。

【0118】

図３は、システムアーキテクチャ２００内のデータフローを示す。ＡＯＩシステム２１２は、キャプチャされた画像をリアルタイムでＡＯＩデータ処理デバイス２１４のＩＭＳに転送し、ここで、（事前の）ＡＯＩ欠陥識別は既知のやり方で実行される。対応する情報はデータアーカイブファイル「＊．ＶＲＳ」に追加される。このアーカイブファイル「＊．ＶＲＳ」は、既知のやり方で、ワークステーション／修復確認システム（ＶＲＳ）２１８と共有される。

【0119】

図３から分かるように、ＡＯＩデータ処理デバイス２１４のＩＭＳは、キャプチャされた画像を、対応する半製品の部品キャリアの潜在的欠陥についての（事前の）情報と共に、ＡＩシステム２４０に転送する。ＡＩシステム２４０は、上述のＡＩ欠陥分類を行う。ＡＩシステム２４０は、以前キャプチャされた（かつＡＩ処理された）画像について、真の欠陥および疑似欠陥を示すデータによって既知のやり方で訓練可能である。本明細書に説明される実施形態によると、これらのデータは、ＡＩシステム２４０に接続されるＳＱＬデータストレージ２６２上に適切な判定履歴を有するアーカイブとして記憶される。

【0120】

ＡＩシステム２４０によって識別された疑似（警告）欠陥についての全ての情報は、（示されない標準データインターフェースを介して）ワークステーション／ＶＲＳ２１８に転送される。この情報に基づいて、ワークステーション／ＶＲＳ２１８（のオペレータ）は、ＡＯＩデバイス２１２およびＡＯＩデータ処理デバイス２１４を備えるＡＯＩシステム２１０によって識別される潜在的欠陥の疑似欠陥を無視することができる。

【0121】

用語「備える」は他の要素または段階を除外せず、冠詞「ａ」または「ａｎ」の使用は複数を除外しないことは留意されるべきである。異なる実施形態と関連して説明された要素も組み合わせられてよい。請求項における参照符号が特許請求の範囲を限定すると解釈されるべきではないことも留意されるべきである。

【符号の説明】

【0122】

１４５ 畳み込みニューラルネットワークによるＡＩ処理
１４７ 完全接続ネットワークによるＡＩ処理
１４９ 欠陥分類
１７１ 第１のＡＯＩ画像
１７１ａ 第１の照射
１７２ 第２のＡＯＩ画像
１７２ａ 第２の照射
１７３ 仮想の第３の画像
１８０ 半製品の部品キャリア
１８２ 潜在的欠陥領域
１８４ データセット／グレースケール値
２００ システムアーキテクチャ
２１０ ＡＯＩシステム
２１２ ＡＯＩデバイス
２１４ ＡＯＩデータ処理デバイス／ＩＭＳクラスタ
２１６ ＡＯＩデータ記憶デバイス
２１８ ワークステーション
２２０ 標準データインターフェース
２３０ アプリケーションシステム
２３２ アプリケーションサーバ
２３４ クライアントコンピュータ
２４０ ＡＩシステム
２４２ ＡＩサーバ
２５０ 制御システム
２５２ ＥＲＰサーバ
２５４ 機械実行システム
２６０ データ記憶システム
２６２ ＳＱＬデータストレージ
２６４ ファイルサーバ

【図1】

【図2】

【図3】