▶ ヴィトロックス テクノロジーズ センディリアン ベルハッドの特許一覧
特開2023-155124パッケージチップのコンタクト高さを決定するためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023155124
(43)【公開日】2023-10-20
(54)【発明の名称】パッケージチップのコンタクト高さを決定するためのシステム及び方法
(51)【国際特許分類】
G01B 11/02 20060101AFI20231013BHJP
【ＦＩ】
G01B11/02 H
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022156226
(22)【出願日】2022-09-29
(31)【優先権主張番号】PI2022001873
(32)【優先日】2022-04-08
(33)【優先権主張国・地域又は機関】MY
(71)【出願人】
【識別番号】522384938
【氏名又は名称】ヴィトロックス テクノロジーズ センディリアン ベルハッド
【氏名又は名称原語表記】ＶＩＴＲＯＸ ＴＥＣＨＮＯＬＯＧＩＥＳ ＳＤＮ． ＢＨＤ．
【住所又は居所原語表記】７４６， ＰＥＲＳＩＡＲＡＮ ＣＡＳＳＩＡ ＳＥＬＡＴＡＮ ３， ＢＡＴＵ ＫＡＷＡＮ ＩＮＤＵＳＴＲＩＡＬ ＰＡＲＫ， ＢＡＮＤＡＲ ＣＡＳＳＩＡ， １４１１０ ＰＥＮＡＮＧ， Ｍａｌａｙｓｉａ
(74)【代理人】
【識別番号】100169904
【弁理士】
【氏名又は名称】村井 康司
(74)【代理人】
【識別番号】100159905
【弁理士】
【氏名又は名称】宮垣 丈晴
(72)【発明者】
【氏名】ヘン ジュアン タン
(72)【発明者】
【氏名】ティン リク ウォン
(72)【発明者】
【氏名】チェー キット ロー
(72)【発明者】
【氏名】ケク キョン キム
(72)【発明者】
【氏名】カイ ツー セオウ
(72)【発明者】
【氏名】イー ティン サン
【テーマコード（参考）】
2F065
【Ｆターム（参考）】
2F065AA24
2F065CC25
2F065DD03
2F065DD06
2F065FF07
2F065FF61
2F065GG04
2F065GG07
2F065HH06
2F065JJ03
2F065JJ05
2F065JJ26
2F065QQ31
(57)【要約】 （修正有）
【課題】パッケージチップのコンタクト高さを決定するためのシステム及び方法を提供する。
【解決手段】パッケージチップ（１０）のコンタクト高さを決定するためのシステムは、直接光を放出する第１の光源と、構造化光を放出する第２の光源と、２つ以上のカメラ（４１、４２、４３）でパッケージチップ（１０）の第１の画像セット、第２の画像セットを取り込み、パッケージチップ（１０）のコンタクト高さを決定する少なくとも１つのプロセッサ（６１）と、を備える。カメラ（４１、４２、４３）は、第１の光源が直接光をパッケージチップ（１０）に向けて放出するとき、第１の画像セットを取り込み、第２の光源が構造化光をパッケージチップ（１０）に向けて放出するとき、第２の画像セットを取り込む。
【選択図】図１
【解決手段】パッケージチップ（１０）のコンタクト高さを決定するためのシステムは、直接光を放出する第１の光源と、構造化光を放出する第２の光源と、２つ以上のカメラ（４１、４２、４３）でパッケージチップ（１０）の第１の画像セット、第２の画像セットを取り込み、パッケージチップ（１０）のコンタクト高さを決定する少なくとも１つのプロセッサ（６１）と、を備える。カメラ（４１、４２、４３）は、第１の光源が直接光をパッケージチップ（１０）に向けて放出するとき、第１の画像セットを取り込み、第２の光源が構造化光をパッケージチップ（１０）に向けて放出するとき、第２の画像セットを取り込む。
【選択図】図１
【特許請求の範囲】
【請求項1】
パッケージチップ（１０）のコンタクト高さを決定するためのシステムであって、
直接光を放出するための第１の光源と、
構造化光を放出するための第２の光源と、
２つ以上のカメラ（４１、４２、４３）であって、
前記パッケージチップ（１０）の第１の画像セット（５１）、及び
前記パッケージチップ（１０）の第２の画像セット（５２）
を取り込むために前記パッケージチップ（１０）の方に向けられた、２つ以上のカメラ（４１、４２、４３）と、
前記２つ以上のカメラ（４１、４２、４３）によって取り込まれた前記第１の画像セット（５１）及び前記第２の画像セット（５２）を処理し、前記パッケージチップ（１０）のコンタクト高さを決定する少なくとも１つのプロセッサ（６１）と、
を備え、
前記２つ以上のカメラ（４１、４２、４３）が、
前記第１の光源が直接光を前記パッケージチップ（１０）に向けて放出するとき、前記第１の画像セット（５１）を取り込み、
前記第２の光源が構造化光を前記パッケージチップ（１０）に向けて放出するとき、前記第２の画像セット（５２）を取り込む、システム。
直接光を放出するための第１の光源と、
構造化光を放出するための第２の光源と、
２つ以上のカメラ（４１、４２、４３）であって、
前記パッケージチップ（１０）の第１の画像セット（５１）、及び
前記パッケージチップ（１０）の第２の画像セット（５２）
を取り込むために前記パッケージチップ（１０）の方に向けられた、２つ以上のカメラ（４１、４２、４３）と、
前記２つ以上のカメラ（４１、４２、４３）によって取り込まれた前記第１の画像セット（５１）及び前記第２の画像セット（５２）を処理し、前記パッケージチップ（１０）のコンタクト高さを決定する少なくとも１つのプロセッサ（６１）と、
を備え、
前記２つ以上のカメラ（４１、４２、４３）が、
前記第１の光源が直接光を前記パッケージチップ（１０）に向けて放出するとき、前記第１の画像セット（５１）を取り込み、
前記第２の光源が構造化光を前記パッケージチップ（１０）に向けて放出するとき、前記第２の画像セット（５２）を取り込む、システム。
【請求項2】
前記プロセッサ（６１）が、
前記第１の画像セット（５１）から前記パッケージチップ（１０）の１つ以上のコンタクト（１１）の位置を導出するためのコンタクト決定モジュール（６１４）、
前記パッケージチップ（１０）の前記コンタクト（１１）の前記位置と、第１の基準点との間の第２の相対距離に基づいて第１の高さを導出するための第１の高さ決定モジュール（６１５）、
前記第２の画像セット（５２）から前記パッケージチップ（１０）のパッケージ表面（１２）に沿った１つ以上の点を導出するためのパッケージ表面決定モジュール（６１６）、
前記パッケージチップ（１０）の前記パッケージ表面（１２）に沿った前記点と、第２の基準点との間の第２の相対距離に基づいて第２の高さを導出するための第２の高さ決定モジュール（６１７）、及び
前記第１の高さと前記第２の高さとの絶対差に基づいて前記パッケージチップ（１０）のコンタクト高さを算出するための、コンタクト高さ決定モジュール（６１８）、
を含む、１つ以上のモジュールを動作させる、請求項１に記載のシステム。
前記第１の画像セット（５１）から前記パッケージチップ（１０）の１つ以上のコンタクト（１１）の位置を導出するためのコンタクト決定モジュール（６１４）、
前記パッケージチップ（１０）の前記コンタクト（１１）の前記位置と、第１の基準点との間の第２の相対距離に基づいて第１の高さを導出するための第１の高さ決定モジュール（６１５）、
前記第２の画像セット（５２）から前記パッケージチップ（１０）のパッケージ表面（１２）に沿った１つ以上の点を導出するためのパッケージ表面決定モジュール（６１６）、
前記パッケージチップ（１０）の前記パッケージ表面（１２）に沿った前記点と、第２の基準点との間の第２の相対距離に基づいて第２の高さを導出するための第２の高さ決定モジュール（６１７）、及び
前記第１の高さと前記第２の高さとの絶対差に基づいて前記パッケージチップ（１０）のコンタクト高さを算出するための、コンタクト高さ決定モジュール（６１８）、
を含む、１つ以上のモジュールを動作させる、請求項１に記載のシステム。
【請求項3】
前記プロセッサ（６１）によって動作させられる前記パッケージ表面決定モジュール（６１６）が、
前記第２の画像セット（５２）の各画像を１つ以上のサブ画像にセグメント化するための画像セグメント化サブモジュール（６１６１）、
各サブ画像内に存在する明るい縞部分及び暗い縞部分を決定するための縞決定サブモジュール（６１６２）、並びに
前記サブ画像の各暗い縞部分の中心内に配置されるべき１つ以上の指定点を当てがうための点指定サブモジュール（６１６３）、
を含む、１つ以上のサブモジュールを含む、請求項２に記載のシステム。
前記第２の画像セット（５２）の各画像を１つ以上のサブ画像にセグメント化するための画像セグメント化サブモジュール（６１６１）、
各サブ画像内に存在する明るい縞部分及び暗い縞部分を決定するための縞決定サブモジュール（６１６２）、並びに
前記サブ画像の各暗い縞部分の中心内に配置されるべき１つ以上の指定点を当てがうための点指定サブモジュール（６１６３）、
を含む、１つ以上のサブモジュールを含む、請求項２に記載のシステム。
【請求項4】
前記プロセッサ（６１）によって動作させられる前記パッケージ表面決定モジュール（６１６）が、前記サブ画像に沿った鉛直中心線上に配置されているか、その近くに配置されているか、又はその両方である点が残るよう、前記１つ以上の指定点をフィルタリングするための第１の点フィルトレーションサブモジュール（６１６４）をさらに含む、請求項３に記載のシステム。
【請求項5】
前記プロセッサ（６１）によって動作させられる前記第２の高さ決定モジュール（６１７）が、前記パッケージチップ（１０）の前記パッケージ表面（１２）に沿った点が残るよう、前記１つ以上の指定点をフィルタリングするための第２の点フィルトレーションサブモジュール（６１７１）を含む、１つ以上のサブモジュールを含む、請求項３又は４に記載のシステム。
【請求項6】
前記２つ以上のカメラ（４１、４２、４３）が、
前記パッケージチップ（１０）に対して垂直に配置された第１のカメラ（４１）、並びに
前記第１のカメラ（４１）に対して第１の角度をなして、及び前記パッケージチップ（１０）に対して第２の角度をなして配置された第２のカメラ（４２）、
を含む、請求項１～５のいずれか一項に記載のシステム。
前記パッケージチップ（１０）に対して垂直に配置された第１のカメラ（４１）、並びに
前記第１のカメラ（４１）に対して第１の角度をなして、及び前記パッケージチップ（１０）に対して第２の角度をなして配置された第２のカメラ（４２）、
を含む、請求項１～５のいずれか一項に記載のシステム。
【請求項7】
請求項１～５のいずれか一項に記載のシステムを用いてパッケージチップ（１０）のコンタクト高さを決定するための方法であって、
２つ以上のカメラ（４１、４２、４３）を前記パッケージチップ（１０）の方に向けるステップと、
第１の光源によって、直接光を放出するステップと、
第２の光源によって、構造化光を放出するステップと、
前記２つ以上のカメラ（４１、４２、４３）によって、
前記パッケージチップ（１０）の第１の画像セット（５１）、及び
前記パッケージチップ（１０）の第２の画像セット（５２）
を取り込むステップと、
少なくとも１つのプロセッサ（６１）によって、前記２つ以上のカメラ（４１、４２、４３）によって取り込まれた前記第１の画像セット（５１）及び前記第２の画像セット（５２）を処理し、前記パッケージチップ（１０）のコンタクト高さを決定するステップと、
を含み、
前記２つ以上のカメラ（４１、４２、４３）によって、前記パッケージチップ（１０）の第１の画像セット（５１）及び前記パッケージチップ（１０）の第２の画像セット（５２）を取り込む前記ステップの間に、前記２つ以上のカメラ（４１、４２、４３）が、
前記第１の光源が直接光を前記パッケージチップ（１０）に向けて放出するとき、前記第１の画像セット（５１）を取り込み、
前記第２の光源が構造化光を前記パッケージチップ（１０）に向けて放出するとき、前記第２の画像セット（５２）を取り込む、方法。
２つ以上のカメラ（４１、４２、４３）を前記パッケージチップ（１０）の方に向けるステップと、
第１の光源によって、直接光を放出するステップと、
第２の光源によって、構造化光を放出するステップと、
前記２つ以上のカメラ（４１、４２、４３）によって、
前記パッケージチップ（１０）の第１の画像セット（５１）、及び
前記パッケージチップ（１０）の第２の画像セット（５２）
を取り込むステップと、
少なくとも１つのプロセッサ（６１）によって、前記２つ以上のカメラ（４１、４２、４３）によって取り込まれた前記第１の画像セット（５１）及び前記第２の画像セット（５２）を処理し、前記パッケージチップ（１０）のコンタクト高さを決定するステップと、
を含み、
前記２つ以上のカメラ（４１、４２、４３）によって、前記パッケージチップ（１０）の第１の画像セット（５１）及び前記パッケージチップ（１０）の第２の画像セット（５２）を取り込む前記ステップの間に、前記２つ以上のカメラ（４１、４２、４３）が、
前記第１の光源が直接光を前記パッケージチップ（１０）に向けて放出するとき、前記第１の画像セット（５１）を取り込み、
前記第２の光源が構造化光を前記パッケージチップ（１０）に向けて放出するとき、前記第２の画像セット（５２）を取り込む、方法。
【請求項8】
少なくとも１つのプロセッサ（６１）によって、前記２つ以上のカメラ（４１、４２、４３）によって取り込まれた前記第１の画像セット（５１）及び前記第２の画像セット（５２）を処理し、前記パッケージチップ（１０）のコンタクト高さを決定する前記ステップが、
前記プロセッサ（６１）によって動作させられるコンタクト決定モジュール（６１４）によって、前記第１の画像セット（５１）から前記パッケージチップ（１２）の１つ以上のコンタクト（１１）の位置を導出するステップ、
前記プロセッサ（６１）によって動作させられる第１の高さ決定モジュール（６１５）によって、前記パッケージチップ（１０）の前記コンタクトの前記位置と、第１の基準点との間の第１の相対距離に基づいて第１の高さを導出するステップ、
前記プロセッサ（６１）によって動作させられるパッケージ表面決定モジュール（６１６）によって、前記第２の画像セット（５２）から前記パッケージチップ（１０）のパッケージ表面（１２）に沿った１つ以上の点を導出するステップ、
前記プロセッサ（６１）によって動作させられる第２の高さ決定モジュール（６１７）によって、前記パッケージチップ（１０）の前記パッケージ表面（１２）に沿った前記点と、第２の基準点との間の第２の相対距離に基づいて第２の高さを導出するステップ、及び
前記プロセッサ（６１）によって動作させられるコンタクト高さ決定モジュール（６１８）によって、前記第１の高さと前記第２の高さとの絶対差に基づいて前記パッケージチップ（１０）のコンタクト高さを算出するステップ、
をさらに含む、請求項７に記載の方法。
前記プロセッサ（６１）によって動作させられるコンタクト決定モジュール（６１４）によって、前記第１の画像セット（５１）から前記パッケージチップ（１２）の１つ以上のコンタクト（１１）の位置を導出するステップ、
前記プロセッサ（６１）によって動作させられる第１の高さ決定モジュール（６１５）によって、前記パッケージチップ（１０）の前記コンタクトの前記位置と、第１の基準点との間の第１の相対距離に基づいて第１の高さを導出するステップ、
前記プロセッサ（６１）によって動作させられるパッケージ表面決定モジュール（６１６）によって、前記第２の画像セット（５２）から前記パッケージチップ（１０）のパッケージ表面（１２）に沿った１つ以上の点を導出するステップ、
前記プロセッサ（６１）によって動作させられる第２の高さ決定モジュール（６１７）によって、前記パッケージチップ（１０）の前記パッケージ表面（１２）に沿った前記点と、第２の基準点との間の第２の相対距離に基づいて第２の高さを導出するステップ、及び
前記プロセッサ（６１）によって動作させられるコンタクト高さ決定モジュール（６１８）によって、前記第１の高さと前記第２の高さとの絶対差に基づいて前記パッケージチップ（１０）のコンタクト高さを算出するステップ、
をさらに含む、請求項７に記載の方法。
【請求項9】
前記プロセッサ（６１）によって動作させられるパッケージ表面決定モジュール（６１６）によって、前記第２の画像セット（５２）から前記パッケージチップ（１０）のパッケージ表面（１２）に沿った１つ以上の点を導出する前記ステップが、
前記パッケージ表面決定モジュール（６１６）の画像セグメント化サブモジュール（６１６１）によって、前記第２の画像セット（５２）の各画像を１つ以上のサブ画像にセグメント化するステップ、
前記パッケージ表面決定モジュール（６１６）の縞決定サブモジュール（６１６２）によって、各サブ画像内に存在する明るい縞部分及び暗い縞部分を決定するステップ、並びに
前記パッケージ表面決定モジュール（６１６）の点指定サブモジュール（６１６３）によって、前記サブ画像の各暗い縞部分の中心内に配置されるべき１つ以上の指定点を当てがうステップ、
をさらに含む、請求項８に記載の方法。
前記パッケージ表面決定モジュール（６１６）の画像セグメント化サブモジュール（６１６１）によって、前記第２の画像セット（５２）の各画像を１つ以上のサブ画像にセグメント化するステップ、
前記パッケージ表面決定モジュール（６１６）の縞決定サブモジュール（６１６２）によって、各サブ画像内に存在する明るい縞部分及び暗い縞部分を決定するステップ、並びに
前記パッケージ表面決定モジュール（６１６）の点指定サブモジュール（６１６３）によって、前記サブ画像の各暗い縞部分の中心内に配置されるべき１つ以上の指定点を当てがうステップ、
をさらに含む、請求項８に記載の方法。
【請求項10】
前記プロセッサ（６１）によって動作させられるパッケージ表面決定モジュール（６１６）によって、前記第２の画像セット（５２）から前記パッケージチップ（１０）のパッケージ表面（１２）に沿った１つ以上の点を導出する前記ステップが、前記パッケージ表面決定モジュール（６１６）の第１の点フィルトレーションサブモジュール（６１６４）によって、前記サブ画像に沿った鉛直中心線上に配置されているか、その近くに配置されているか、又はその両方である点が残るよう、前記１つ以上の指定点をフィルタリングするステップをさらに含む、請求項９に記載の方法。
【請求項11】
前記プロセッサ（６１）によって動作させられる第２の高さ決定モジュール（６１７）によって、前記パッケージチップ（１０）の前記パッケージ表面（１２）に沿った前記点と、前記所定の基準空間との間の第２の相対距離に基づいて第２の高さを導出する前記ステップが、前記第２の高さ決定モジュール（６１７）の第２の点フィルトレーションサブモジュール（６１７１）によって、前記パッケージチップ（１０）の前記パッケージ表面（１２）に沿った点が残るよう、前記１つ以上の指定点をフィルタリングするステップをさらに含む、請求項９又は１０に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はチップコンタクトの検査に関する。より詳細には、本発明は、特に、ボールグリッドアレイ（ＢＧＡ（Ｂａｌｌ Ｇｒｉｄ Ａｒｒａｙ））パッケージ及びランドグリッドアレイ（ＬＧＡ（Ｌａｎｄ Ｇｒｉｄ Ａｒｒａｙ））パッケージのチップのための、パッケージチップのコンタクト高さを決定するためのシステム及び方法に関する。
【背景技術】
【0002】
パッケージチップ（ｐａｃｋａｇｅｄ ｃｈｉｐ）は、集積回路への電流の流れを可能にする１つ以上の露出したパッドを有する、基板パッケージ内に成形されたチップ形態の集積回路を有する半導体デバイスを指し得る。パッケージチップは、その意図された適用を考慮して、様々な種類のパッケージング技術に基づいて製造され得る。
【0003】
特に、パッケージチップは、ボールグリッドアレイ（ＢＧＡ）パッケージ又はランドグリッドアレイ（ＬＧＡ）パッケージ内に含まれるように成形されたチップ形態の集積回路を有する種類の半導体デバイスを指し得る。これらの種類のパッケージチップは、複数のはんだボール又ははんだパッドの使用を通じて回路板上に表面実装されるように設計される。表面実装される前に、はんだボール又ははんだパッドは、これらの種類のパッケージチップの露出したパッドに付着させられることになる。それゆえ、この種のパッケージチップにとって、はんだボール又ははんだパッドはそのコンタクトと見なされ得る。その上で、はんだボール又ははんだパッドが付着させられたこの種のパッケージチップは、次に、回路板のパッド上に載せられ、リフローはんだ付け作業を通じてそれにはんだ付けされ得る。
【0004】
はんだボール又ははんだパッドがこの種のパッケージチップに付着させられるために、この種のパッケージチップは、その露出したパッドにはんだボール又ははんだパッドが接着するよう、弱い熱に曝露される。しかし、このプロセスの間に、全てのはんだボール又ははんだパッドがこの種のパッケージチップに適切に接着しないことがあり、それゆえ、はんだボール又ははんだパッドの高さにばらつきが生じ得る。これは、この種のパッケージチップにわたる全体的な凸凹を生じさせ得る。それゆえ、この種のパッケージチップはリフローはんだ付け作業の間にプリント回路板に十分に付着させられなくなり得る。それゆえ、最終的な組み立てられた回路板の故障率を最小限に抑えるために、パッケージチップのコンタクト高さの決定を可能にするシステム及び方法が非常に重要である。
【0005】
パッケージチップのコンタクト高さを測定するためのシステム及び方法に関する従来技術に対する開示技術が数例存在する。その中にあるのが（特許文献１）である。同出願は、ｘ、ｙ及びｚ次元におけるスケーリング係数を利用する電子部品の接触要素の位置を測定するための方法及び手段を開示している。スケーリング係数は校正手順の間に決定される。この従来技術では、校正作業が、第１の像点と第２の像点との間の変位を得、高さの差を決定するためのプロセスの部分として、接触要素の点ごとの第１のカメラにおいて記録された像点を、第２及び第３のカメラにおいて記録された対応する像点に写像する。
【0006】
別の開示技術は（特許文献２）である。同出願は、構造化光を測定対象上に照射する照射デバイスと、光パターンによって照射された測定対象からの反射光を撮像し、画像データを得る撮像デバイスと、撮像デバイスによって撮像された画像データに基づいて測定対象上の様々な座標位置における高さを測定する画像処理デバイスと、歪み補正を遂行する補正算出デバイスと、を有する３次元測定デバイスを開示している。特に、この開示技術は４つの異なるパターン光を用い、コンタクト高さを測定するために用いられることが留意される。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】国際公開第２０１００１１１２４（Ａ）号パンフレット
【特許文献2】米国特許出願公開第２０１００１７７１９２（Ａ１）号明細書
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、直接光及び構造化光の双方の利用を通じたパッケージデバイスのコンタクト高さの正確な算出を可能にする解決策は上述の従来技術によって開示されなかったことが留意される。したがって、特に、ボールグリッドアレイ（ＢＧＡ）パッケージ及びランドグリッドアレイ（ＬＧＡ）パッケージのチップのための、パッケージチップのコンタクト高さを決定するためのシステム及び方法を有することが望ましくなり得る。また、検査時間を低減するために、１つの単一のパターン光が用いられることも好ましい。
【課題を解決するための手段】
【0009】
本発明の主目的は、パッケージチップのコンタクト高さを決定するためのシステム及び方法を提供することである。この目的を達成するために、本発明は、パッケージチップのコンタクト高さを決定するための直接光及び構造化光の利用を採用する。具体的には、直接光は、パッケージチップのコンタクトと第１の基準点との間の高さが得られることを可能にすることになり、構造化光は、パッケージチップのパッケージ表面上の点と第２の基準点との間の高さが得られることを可能にすることになる。これらの高さの間の絶対差がパッケージチップのコンタクト高さの決定を可能にすることになる。
【0010】
本発明の結果、コンタクト高さを決定するために、１つ以上の基準点を基準としたパッケージチップ上の２つ以上の別個の点の高さを得ることができるため、パッケージチップのコンタクト高さの決定は、改善された精度を有する。さらに、本発明は検査プロセスにおけるコプラナリティ試験のために潜在的に用いられ得る。
【0011】
本発明は、パッケージチップのコンタクト高さを決定するためのシステムであって、直接光を放出するための第１の光源と、構造化光を放出するための第２の光源と、２つ以上のカメラであって、パッケージチップの第１の画像セット、及びパッケージチップの第２の画像セットを取り込むためにパッケージチップの方に向けられた、２つ以上のカメラと、カメラによって取り込まれた第１の画像セット及び第２の画像セットを処理し、パッケージチップのコンタクト高さを決定する少なくとも１つのプロセッサと、を備えるシステムを提供することを意図する。カメラは、第１の光源が直接光をパッケージチップに向けて放出するとき、第１の画像セットを取り込み、第２の光源が構造化光をパッケージチップに向けて放出するとき、第２の画像セットを取り込む。
【0012】
好ましくは、プロセッサは、第１の画像セットからパッケージチップの１つ以上のコンタクトの位置を導出するためのコンタクト決定モジュール、パッケージチップのコンタクトの位置と、第１の基準点との間の第１の相対距離に基づいて第１の高さを導出するための第１の高さ決定モジュール、第２の画像セットからパッケージチップのパッケージ表面に沿った１つ以上の点を導出するためのパッケージ表面決定モジュール、パッケージチップのパッケージ表面に沿った点と、第２の基準点との間の第２の相対距離に基づいて第２の高さを導出するための第２の高さ決定モジュール、及び第１の高さと第２の高さとの絶対差に基づいてパッケージチップのコンタクト高さを算出するためのコンタクト高さ決定モジュールを含む、１つ以上のモジュールを動作させる。
【0013】
好ましくは、プロセッサによって動作させられるパッケージ表面決定モジュールは、第２の画像セットの各画像を１つ以上のサブ画像にセグメント化するための画像セグメント化サブモジュール、各サブ画像内に存在する明るい縞部分及び暗い縞部分を決定するための縞決定サブモジュール、並びにサブ画像の各暗い縞部分の中心内に配置されるべき１つ以上の指定点を当てがうための点指定サブモジュールを含む、１つ以上のサブモジュールを含む。
【0014】
好ましくは、プロセッサによって動作させられるパッケージ表面決定モジュールは、サブ画像に沿った鉛直中心線上に配置されているか、その近くに配置されているか、又はその両方である点が残るよう、１つ以上の指定点をフィルタリングするための第１の点フィルトレーションサブモジュールをさらに含む。
【0015】
好ましくは、プロセッサによって動作させられる第２の高さ決定モジュールは、パッケージチップのパッケージ表面に沿った点が残るよう、１つ以上の指定点をフィルタリングするための第２の点フィルトレーションサブモジュールを含む、１つ以上のサブモジュールを含む。
【0016】
好ましくは、カメラは、パッケージチップに対して垂直に配置された第１のカメラ、第１のカメラに対して第１の角度をなして、及びパッケージチップに対して第２の角度をなして配置された第２のカメラ、を含む。
【0017】
本発明はまた、パッケージチップのコンタクト高さを決定するための方法であって、１つ以上のカメラをパッケージチップの方に向けるステップと、第１の光源によって、直接光を放出するステップと、第２の光源によって、構造化光を放出するステップと、カメラによって、パッケージチップの第１の画像セット、及びパッケージチップの第２の画像セットを取り込むステップと、少なくとも１つのプロセッサによって、カメラによって取り込まれた第１の画像セット及び第２の画像セットを処理し、パッケージチップのコンタクト高さを決定するステップと、を含む方法を提供することを意図する。カメラによって、パッケージチップの第１の画像セット及びパッケージチップの第２の画像セットを取り込むステップの間に、カメラは、第１の光源が直接光をパッケージチップに向けて放出するとき、第１の画像セットを取り込み、第２の光源が構造化光をパッケージチップに向けて放出するとき、第２の画像セットを取り込む。
【0018】
好ましくは、少なくとも１つのプロセッサによって、カメラによって取り込まれた第１の画像セット及び第２の画像セットを処理し、パッケージチップのコンタクト高さを決定するステップは、プロセッサによって動作させられるコンタクト決定モジュールによって、第１の画像セットからパッケージチップの１つ以上のコンタクトの位置を導出するステップ、プロセッサによって動作させられる第１の高さ決定モジュールによって、パッケージチップのコンタクトの位置と、第１の基準点との間の第１の相対距離に基づいて第１の高さを導出するステップ、プロセッサによって動作させられるパッケージ表面決定モジュールによって、第２の画像セットからパッケージチップのパッケージ表面に沿った１つ以上の点を導出するステップ、プロセッサによって動作させられる第２の高さ決定モジュールによって、パッケージチップのパッケージ表面に沿った点と、第２の基準点との間の第２の相対距離に基づいて第２の高さを導出するステップ、及びプロセッサによって動作させられるコンタクト高さ決定モジュールによって、第１の高さと第２の高さとの絶対差に基づいてパッケージチップのコンタクト高さを算出するステップ、をさらに含む。
【0019】
好ましくは、プロセッサによって動作させられるパッケージ表面決定モジュールによって、第２の画像セットからパッケージチップのパッケージ表面に沿った１つ以上の点を導出するステップは、パッケージ表面決定モジュールの画像セグメント化サブモジュールによって、第２の画像セットの各画像を１つ以上のサブ画像にセグメント化するステップ、パッケージ表面決定モジュールの縞決定サブモジュールによって、各サブ画像内に存在する明るい縞部分及び暗い縞部分を決定するステップ、並びにパッケージ表面決定モジュールの点指定サブモジュールによって、サブ画像の各暗い縞部分の中心内に配置されるべき１つ以上の指定点を当てがうステップ、をさらに含む。
【0020】
好ましくは、プロセッサによって動作させられるパッケージ表面決定モジュールによって、第２の画像セットからパッケージチップのパッケージ表面に沿った１つ以上の点を導出するステップは、パッケージ表面決定モジュールの第１の点フィルトレーションサブモジュールによって、サブ画像に沿った鉛直中心線上に配置されているか、その近くに配置されているか、又はその両方である点が残るよう、１つ以上の指定点をフィルタリングするステップをさらに含む。
【0021】
好ましくは、プロセッサによって動作させられる第２の高さ決定モジュールによって、パッケージチップのパッケージ表面に沿った点と、所定の基準空間との間の第２の相対距離に基づいて第２の高さを導出するステップは、第２の高さ決定モジュールの第２の点フィルトレーションサブモジュールによって、パッケージチップのパッケージ表面に沿った点が残るよう、１つ以上の指定点をフィルタリングするステップをさらに含む。
【0022】
当業者は、本発明は、目的を果たし、上述された結果及び利点、並びにそれに固有のものを得るためにうまく適応されていることを容易に理解するであろう。本明細書において説明される実施形態は本発明の範囲の限定として意図されていない。
【0023】
本発明の理解を促進するために、好ましい実施形態が添付の図面に示される。それらを以下の説明に関連して考慮しつつ精査することで、本発明、その構成及び動作、並びにその利点のうちの多くが容易に理解され、認識されるであろう。
【図面の簡単な説明】
【0024】
【発明を実施するための形態】
【0025】
本発明は、パッケージチップの１つ以上のコンタクト高さを測定するためのシステム及び方法に関する。本発明はまた、共通要素を有する多数の異なる実施形態において提示され得る。本発明のコンセプトによれば、パッケージチップが保持される保持器ユニット、パッケージチップの方に向いた、異なる角度でそれの画像を取り込むための１つ以上のカメラ、第１の光源及び第２の光源の役割を果たす照光ユニット、並びにパッケージチップのコンタクト高さが決定されるよう、カメラによって取り込まれた画像を処理するためのコンピュータが存在する。
【0026】
次に、図面を参照して本発明が例としてより詳細に説明される。
【0027】
図１は、パッケージチップ１０のもう１つのコンタクト高さＨを決定するための本発明のシステムを示す。好ましくは、パッケージチップ１０は基板パッケージングプロセスによって作り出される。最も好ましくは、パッケージチップ１０は、パッケージチップ１０が、それに付着させられた１つ以上のはんだボールを有した状態での表面実装技術に適合している。これらのはんだボールはパッケージチップ１０のコンタクトと見なされ得る。代替的に、これらのはんだボールははんだパッドで置換されてもよい。それゆえ、はんだボールを含む説明ははんだパッドにも当てはまる。
【0028】
代替的に、パッケージチップ１０はリードフレームパッケージングプロセスによって作り出されてもよく、それゆえ、リードをそのコンタクトとして有する。パッケージチップ１０はまた、チップスケールパッケージング、リードありパッケージング、リードなしパッケージング、フリップチップ－ボールグリッドアレイパッケージング、又は同様のものなどの他の関連パッケージングプロセスによっても作り出され得ることを理解されたい。それゆえ、本発明のシステム及び方法の説明はこれらの種類のパッケージチップにも当てはまり得ることを理解されたい。
【0029】
図１を参照すると、パッケージチップ１０は、好ましくは、保持器ユニット２０によって、直立した様態で、所定位置に保持又は支持される。１つ以上の照光ユニット３１、３２が光をパッケージチップ１０に向けて放出する。レンズをパッケージチップ１０の方に向けさせた１つ以上のカメラ４１、４２、４３が複数の視点におけるそれの画像を取り込み得る。アプリケーションソフトウェア６１０を実行する、少なくともプロセッサ６１、及びメモリユニット５２を有する、コンピュータ６０が、次に、パッケージチップ１０のコンタクト高さＨを得るためにこれらの画像を処理し得る。
【0030】
図１を参照すると、パッケージチップ１０、保持器ユニット２０、照光ユニット３１、３２、及び１つ以上のカメラ４１、４２、４３などの、特定の図示された構成要素は、側方視点から知覚されたように描かれたことに留意されたい。図２は、それが、パッケージチップ１０、保持器ユニット２０、照光ユニット３１、３２、及び１つ以上のカメラ４１、４２、４３の上面図を図示しているため、図１の補足図面と見なされ得る。その上で、パッケージチップ１０、保持器ユニット２０、照光ユニット３１、３２、及び１つ以上のカメラ４１、４２、４３の配置が説明され得る。
【0031】
図１及び図２を参照すると、保持器ユニット２０は、それがパッケージチップ１０を所定位置に保持しながらパッケージチップ１０の上方にあるように配置されることが留意される。保持器ユニット２０は、好ましくは、直動的な仕方で動作する、メカニカルアームのエンドエフェクタであり得る。保持器ユニット２０は、真空吸引を通じてパッケージチップ１０を所定位置に保持又は支持するピックアップ先端をさらに具備する。
【0032】
図１及び図２を参照すると、照光ユニット３１、３２は、パッケージチップ１０の下方にあるように配置されることが留意される。好ましくは、照光ユニット３１、３２は、光がパッケージチップ１０に向けて放出されよう、実質的にパッケージチップ１０の底部の方に向けられている。
【0033】
図１及び図２を参照すると、カメラ４１、４２、４３は、それらのレンズをパッケージチップ１０の方に向けてパッケージチップ１０の下方にあるように配置されていることが留意される。カメラ４１、４２、４３は、パッケージチップ１０を包囲するように配置され得る。カメラは、第１のカメラ４１、第２のカメラ４２、及び第３のカメラ４３を含む。
【0034】
具体的には、第１のカメラ４１は、そのレンズを、９０°の仰角をなして直接、パッケージチップ１０の方に向け、パッケージチップ１０に対して垂直であるように構成されていることが留意される。これは、それがパッケージチップ１０の「２次元」画像を取り込み得るようにするためである。第２のカメラ４２は、それが、中心点の役割を果たす第１のカメラ４１に対して第１の角度にあるように、及びそのレンズがパッケージチップ１０に対して第２の角度にあるように配置され得る。この第２の角度は、好ましくは４５°の、０でない仰角である。第３のカメラ４３は、それが、中心点の役割を果たす第１のカメラ４１に対して第３の角度にあるように、及びそのレンズがパッケージチップ１０に対して第４の角度にあるように配置され得る。この第４の角度は、好ましくは、同様に４５°の、０でない仰角である。それゆえ、第２のカメラ４２及び第３のカメラ４３の配置は、それらの各々がパッケージチップ１０の「３次元」画像を取り込み得るようになっている。好ましくは、図２のとおり、カメラ４１、４２、４３は、一直線になるように配置されており、互いに等距離にある。
【0035】
カメラ４１、４２、４３の画像センサに関して、それらは、科学的相補型金属酸化膜半導体（ｓＣＭＯＳ（ｓｃｉｅｎｔｉｆｉｃ ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ））技術を用いて製作される能動ピクセルセンサであり得る。代替的に、カメラ４１、４２、４３の画像センサは電荷結合素子（ＣＣＤ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ））センサ技術のものであり得る。さらに、カメラ４１、４２、４３はティルトシフトレンズをより良好な画像集束のために用い得る。
【0036】
代替的実施形態では、一方のカメラがパッケージチップ１０の「２次元」画像を取り込み、他方のカメラがパッケージチップ１０の「３次元」画像を取り込む、２つのカメラのみが、パッケージチップ１０のコンタクト高さＨを決定するために必要とされ得る。それゆえ、第３のカメラ４３又は任意の追加のカメラは、パッケージチップ１０のためのより多くの「３次元」画像を得るために用いられる補足カメラと考えられ得る。さらに、第１のカメラ４１及び第３のカメラ４３によって取り込まれた画像に基づいてパッケージチップ１０のコンタクト高さＨを決定するための動作は、第１のカメラ４１及び第２のカメラ４２によって取り込まれた画像に基づいてパッケージチップ１０のコンタクト高さＨを決定するための動作と同じであることが留意される。それゆえ、本発明ははまた、第１のカメラ４１及び第２のカメラ４２のみを用いて説明され得る。
【0037】
本発明の代替的実施形態では、システムの空間制約を克服するためにミラーが含まれ得る。具体的には、パッケージチップ１０の画像がカメラ４２、４３のレンズ内へ反射され得るよう、第２のカメラ４２と第３のカメラ４３との間に１つ以上の角度の付いたミラーが配設される。ミラーの使用は、第２のカメラ４２及び第３のカメラ４３が第１のカメラ４１により接近して密集することを可能にすることになり、これにより、カメラ４１、４２、４３によって占有される空間を低減する。
【0038】
図１を参照すると、コンピュータ６０は従来の産業用コンピュータであり得る。コンピュータ６０のプロセッサ６１に関して、それは、好ましくは、保持器ユニット２０、照光ユニット３１、３２、及びカメラ４１、４２、４３とインターフェースで接続されている。それは、その上で実行するアプリケーションソフトウェア６１０によって命令されるとおりにソフトウェア命令又はコンピュータ論理命令のスケジューリング及び実行を遂行することになる。好ましくは、それは、限定するものではないが、従来のプロセッサ、特定用途向け集積回路（ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ））、フィールドプログラマブルゲートアレイ（ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ））、又はこれらの組み合わせであり得る。メモリユニット６２に関して、それは、好ましくは、プロセッサ６１とインターフェースで接続されている。メモリユニット６２は、アプリケーションソフトウェア６１０に関連するプログラムファイルを記憶するか、又はアプリケーションソフトウェア６１０の実行時間の間に処理データを一時的に記憶し得る。
【0039】
図３ａは、第１の照光ユニット３１が、直接光３１ａをパッケージチップ１０に向けて放出する第１の光源として動作する、本発明内の実例を示す。それに対して、図３ｂは、第２の照光ユニット３２が、構造化光３２ａをパッケージチップ１０に向けて放出する第２の光源として動作する、本発明内の別の実例を示す。本発明の文脈において、直接光３１ａは、妨害なくパッケージチップ１０に向けて発光させられる種類の光を指すものとする。それに対して、構造化光３２ａは、１つ以上のスリットを有する物体によって妨害され、明るい縞部分及び暗い縞部分の交互パターンをパッケージチップ１０上に作り出す、パッケージチップ１０に向けて発光させられる種類の光を指すものとする。第１の照光ユニット３１の実施形態は複数の発光ダイオードを含み得、それに対して、第２の照光ユニット３２の実施形態はレーザデバイス、プロジェクタ、又はこれらの組み合わせを含み得る。一方が第１の光源の役割を果たし、他方が第２の光源の役割を果たす、２つの別個の照光ユニット３１、３２が存在することが好ましいが、代替的に、これらの照光ユニット３１、３２の双方が、第１の光源及び第２の光源の双方の役割を果たす能力を有する単一の照光ユニットに統合されてもよい。
【0040】
図４ａ～図４ｃは、カメラ４１、４２、４３によって取り込まれたパッケージチップ１０の第１の画像セット５１を示す。この第１の画像セット５１から見えているものは、パッケージチップ１０のコンタクト１１及びパッケージ表面１２である。好ましくは、この画像セット５１は、第１の照光ユニット３１が直接光をパッケージチップ１０に向けて放出するときに取り込まれる。
【0041】
具体的には、図４ａは、第１のカメラ４１によって取り込まれた画像である、この第１の画像セット５１のパッケージチップ１０の第１の画像５１１を示す。図４ｂは、第２のカメラ４２によって取り込まれた画像である、この第１の画像セット５１のパッケージチップ１０の第２の画像５１２を示す。図４ｃは、第３のカメラ４３によって取り込まれた画像である、この第１の画像セット５１のパッケージチップ１０の第３の画像５１３を示す。具体的には、第２のカメラ４２及び第３のカメラ４３の配置のゆえに、前述の第２の画像５１２及び第３の画像５１３はパッケージチップ１０の透視図である。
【0042】
図５ａ～図５ｃは、カメラ４１、４２、４３によって取り込まれたパッケージチップ１０の第２の画像セット５２を示す。これらの第１の画像セット５２から見えているものは、パッケージチップ１０のコンタクト１１及びパッケージ表面１２を含む。好ましくは、この画像セット５２は、第２の照光ユニット３２が構造化光をパッケージチップ１０に向けて放出するときに取り込まれる。それゆえ、この第２の画像セット５２内のパッケージチップ１０の各画像は交互の明るい縞部分及び暗い縞部分を有する。
【0043】
具体的には、図５ａは、第１のカメラ４１によって取り込まれた画像である、この第２の画像セット５１のパッケージチップ１０の第１の画像５２１を示す。図５ｂは、第２のカメラ４２によって取り込まれた画像である、この第２の画像セット５２のパッケージチップ１０の第２の画像５２２を示す。図５ｃは、第３のカメラ４３によって取り込まれた画像である、この第１の画像セット５２のパッケージチップ１０の第３の画像５１３を示す。具体的には、第２のカメラ４２及び第３のカメラ４３の配置のゆえに、前述の第２の画像５２２及び第３の画像５２３はパッケージチップ１０の透視図である。
【0044】
図６は、パッケージチップ１０のコンタクト高さＨを決定するための本発明の動作を制御及び管理するコンピュータ６０の詳細ブロック図表現を示す。
【0045】
図６を参照すると、プロセッサ６１が１つ以上のモジュールを動作させると言うことができる。より具体的には、これらのモジュールは、アルゴリズムを計算し、本発明のシステムの動作に関連する制御命令を生成するための、プロセッサ６１上で動作する、又は実行するアプリケーションソフトウェア６１０のソフトウェアモジュールである。これらのモジュールは、マスタ制御モジュール６１１、画像処理モジュール６１２、校正モジュール６１３、コンタクト決定モジュール６１４、第１の高さ決定モジュール６１５、パッケージ表面決定モジュール６１６、第２の高さ決定モジュール６１７、及びコンタクト高さ決定モジュール６１８を含み得る。提示されたモジュールはソフトウェアの実施形態の形態のものである必要はなく、それらがプロセッサ６１に接続されたハードウェアの実施形態であってもよいことに留意されたい。上述のモジュールのためのさらなるサポートを提供するための補助モジュールが含まれてもよい。
【0046】
図６に示されるとおりのマスタ制御モジュール６１１に関して、それは、好ましくは、１つ以上の制御構成を通じて保持器ユニット２０、照光ユニット３１、３２、及びカメラ４１、４２、４３の動作を管理し得る。
【0047】
第１の制御構成例では、マスタ制御モジュール６１１は保持器ユニット２０を、パッケージチップ１０を生産バッチから取り上げ、それを図１及び図２による位置へ持ってくるよう作動させ得る。パッケージチップ１０の画像が取り込まれた後に、マスタ制御モジュール６１１は保持器ユニット２０を、パッケージチップ１０から離れ、次のものを生産バッチから取り上げるよう作動させ得る。
【0048】
第２の制御構成例では、マスタ制御モジュール６１１は照光ユニット３１、３２を、それらの動作を交代させるように制御し得る。これは、第１の照光ユニット３１が１つの時点で直接光３１ａを放出し得、第２の照光ユニット３２が別の時点で構造化光３２ａを放出し得るようにするためである。
【0049】
第３の制御構成例では、マスタ制御モジュール６１１はカメラ４１、４２、４３を、それらがパッケージチップ１０の画像を同時に取り込むよう制御し得る。
【0050】
第４の制御構成例では、マスタ制御モジュール６１１は、照光ユニット３１、３２の各々が、１つの時点におけるパッケージチップ１０に向けた直接光３１ａの放出、及び１つの時点におけるパッケージチップ１０に向けた構造化光３２ａの放出のためにそれらの動作を交代させた際に、カメラ４１、４２、４３がパッケージチップ１０の画像を直ちに取り込み得るよう、第２の制御構成と第３の制御構成との間のタイミングを制御し得る。
【0051】
図６に示されるとおりの画像処理モジュール６１２に関して、それは、好ましくは、カメラ４１、４２、４３によって取り込まれた画像を、それらが後続のモジュールによる処理のために準備され得るよう前処理する。具体的には、画像処理モジュール６１２は従来の画像鮮明化及び画像ノイズ除去アルゴリズムを画像に対して遂行する。これは、パッケージチップ１０のコンタクト、或いは画像上の明るい縞部分及び暗い縞部分を画定する縁部が識別されることを可能にし得る。
【0052】
図６に示されるとおりの校正モジュール６１３に関して、それは、好ましくは、座標系に関して定義される、１つ以上の基準座標空間を確立又は出力する役割を果たす。好ましくは、校正モジュール６１３は校正作業を実施し、その説明は従来技術の（特許文献１）と同様であり得る。
【0053】
校正作業の要約された説明は以下のとおりである。標線を有する基準校正器（図６には示されていない）が、保持器ユニット２０によって保持又は支持されことになる。第１の照光ユニット３１が直接光３１ａを基準校正器に向けて放出し得る。次に、カメラ４１、４２、４３が、校正基準画像のセットを形成する基準校正器の画像を取り込み得る。これらの校正基準画像は、画像処理モジュール６１２によって前処理された後に、第１の基準座標空間及び第２の基準座標空間を生成するために校正モジュール６１３によって処理されることになる。これらの基準座標空間から、基準座標空間を現実世界距離にスケーリングするための、好ましくは無単位である、スケール係数ｆが導出され得る。さらに、基準校正器の座標が導出され、基準座標空間上に写像され得る。これで校正作業の説明は終わりである。
【0054】
第１のカメラ４１によって取り込まれた基準校正器の第１の画像に基づいて、校正モジュール６１３の基準座標空間決定サブモジュール６１３１が、デカルト座標系に関して定義される、第１の基準座標空間を導出し得る。
【0055】
第２のカメラ４２によって取り込まれた基準校正器の第２の画像に基づいて、校正モジュール６１３の基準座標空間決定サブモジュール６１３１は、アフィン変換デカルト座標系又は射影変換デカルト座標系に関して定義される、以後、第２の基準座標空間と称されることになる、第１の座標空間の透視射影を導出し得る。これは、第２の画像が基準校正器の透視図であるためである。それゆえ、この第２の基準座標空間は深度情報を含む。
【0056】
（基準校正器の第３の画像を取り込むための）第３のカメラ４３、又は追加のカメラを含むことは、第２の基準座標空間と同様の性質のものであるが、代わりに、第１の座標空間に対する異なる透視射影の、追加の基準座標空間をもたらし得る。簡潔にするために、第２の基準座標空間のみが用いられるように説明されることになる。しかし、第２の基準座標空間に関する説明は、第３のカメラ４３又は追加のカメラを含むことによって導出された追加の基準座標空間に当てはまり得ることに留意されたい。
【0057】
第１の基準座標空間内の一意の点は第２の基準座標空間内の１つ以上の一意の点に対応し得ることを理解されたい。さらに、第２の基準座標空間の前述の１つ以上の一意の点は、第１の基準座標空間内の前述の一意の点から正射影されたものと見なされ得る。
【0058】
その上で、確立された基準座標空間は、基準校正器の座標と共に、次に、それらが、パッケージチップ１０のコンタクト高さＨを得るために他のモジュールによって後に利用されるよう、メモリユニット６２内に永久的又は一時的に記憶され得る。基準校正器は、パッケージチップ１０のコンタクト高さＨを決定する際に必ずしも存在しなくてもよく、その理由は、その座標及び寸法がシステムによって知られており、その存在に対する任意の補償は従来の手段を通じて行われるためであることを理解されたい。
【0059】
図６に示されるとおりのコンタクト決定モジュール６１４に関して、それは、好ましくは、パッケージチップ１０のパッケージ表面１２から最も遠いはんだボール上の点である、最大点に対応するパッケージチップ１０のコンタクト１１の位置点を決定する役割を果たす。コンタクト決定モジュール６１４は、好ましくは、前処理された第１の画像セット５１を画像処理モジュール６１２から受け取る。コンタクト決定モジュール６１４は、従来技術の（特許文献１）において説明されたものと同様に動作し得る。代替的に、それは、第２のカメラ４２及び第３のカメラ４３によって知覚されたとおりの、コンタクト１１の投じられた影に基づいてこれらの位置を決定するアルゴリズムを通じてこれらの点を導出することを試み得る。
【0060】
図６に示されるとおりの第１の高さ決定モジュール６１５に関して、それは、パッケージチップ１０のコンタクト１１と基準校正器との間の高さ又は高さ群を決定する役割を果たす。これは、第１の画像セット５１を、決定されたコンタクト１１の位置点と共に、メモリユニット６２内に以前に記憶された基準座標空間及び基準校正器の座標の上に写像することによって行われる。
【0061】
具体的には、第１の高さ決定モジュール６１５は、第２の基準座標空間内におけるコンタクト１１と基準校正器の第１の基準点との間の距離である、第１の相対距離ΔＺ１’を導出することになる。第１の相対距離ΔＺ１’を得た後に、第１の高さ決定モジュール６１５は、次に、第１の相対距離ΔＺ１’とスケール係数ｆとの間の乗算演算を遂行し、第１の高さΔＺ１を積として得ることができる。この第１の高さΔＺ１は、現実世界距離においてパッケージチップ１０のコンタクト１１と基準校正器の第１の基準点との間の実際の高さに対応する。
【0062】
図６に示されるとおりのパッケージ表面決定モジュール６１６に関して、それは、パッケージチップ１０のパッケージ表面１２に沿った点を決定する役割を果たす。パッケージ表面決定モジュール６１６は、好ましくは、前処理された第２の画像セット５２を画像処理モジュール６１２から受け取る。パッケージ表面決定モジュール６１６は、画像セグメント化サブモジュール６１６１、縞決定サブモジュール６１６２、点指定サブモジュール６１６３、及び第１の点フィルトレーションサブモジュール６１６４を含む、１つ以上のサブモジュールを含むことがさらに示されている。
【0063】
具体的には、パッケージ表面決定モジュール６１６の画像セグメント化サブモジュール６１６１は、第２の画像セット５２の各画像を、好ましくは、固定された区域の、１つ以上のサブ画像にセグメント化する役割を果たす。
【0064】
具体的には、パッケージ表面決定モジュール６１６の縞決定サブモジュール６１６２は、次に、各サブ画像を受け取り、その内部に存在する暗い縞部分を決定し得る。これは、例えば、各サブ画像内のコントラストレベルを、暗い縞部分が強調されるようアルゴリズム的に調整することによって行われ得る。好ましくは、これを行った後は、サブ画像にわたる暗い縞部分の幅及び長さにおける曖昧さは存在しない。
【0065】
具体的には、パッケージ表面決定モジュール６１６の点指定サブモジュール６１６３は、好ましくは、１つ以上の指定点を、それらを、パッケージチップ１０のパッケージ表面１２が配置され得る潜在的な点として標識するために、サブ画像内の各暗い縞部分の中心内に配置されるよう当てがう。まず、暗い縞部分ごとに、点指定サブモジュール６１６３は、長手方向縁部に沿って配置されたそのピクセルが検出されたと決定する。次に、点指定サブモジュール６１６３は暗い縞部分の中心ピクセル点を決定し、指定点をそれに当てがう。ある意味で、前述の暗い縞部分の中心ピクセル点は、前述の暗い縞部分の「重心」であると言える。
【0066】
具体的には、パッケージ表面決定モジュール６１６の第１の点フィルトレーションサブモジュール６１６４は、好ましくは、サブ画像の鉛直中心線に最も近い、又はそれに沿って配置された点が残るよう、点指定サブモジュール６１６３によって指定された１つ以上の指定点をフィルタリングにより除外する。これが行われるために、第１の点フィルトレーションサブモジュール６１６４はサブ画像の縁部をアルゴリズム的に導出し、サブ画像内のパッケージ表面１２にわたる鉛直中心線を推定し得る。好ましくは、鉛直中心線から２ピクセルの誤差マージン以内にある指定点が残るよう選定される。
【0067】
サブ画像が第２の画像セット５２内の第２の画像５２２又は第３の画像５２３によって作り出される場合には、鉛直中心線は、それが、第２の画像５２２又は第３の画像５２３のようにパッケージチップ１０の対応する透視図と実質的に平行になるよう、アフィン変換又は透視変換を通じて変換され得る。
【0068】
図６に示されるとおりの第２の高さ決定モジュール６１７に関して、それは、パッケージチップ１０のパッケージ表面１２に沿った点と基準校正器との間の高さ又は高さ群を決定する役割を果たす。これは、第２の画像セット５２を、決定されたパッケージ表面１２の指定点と共に、メモリユニット６２内に以前に記憶された基準座標空間及び基準校正器の座標の上に写像することによって行われる。
【0069】
具体的には、第２の高さ決定モジュール６１７は、第２の基準座標空間内におけるパッケージチップ１０のパッケージ表面１２に沿った点と基準校正器の第２の基準点との間の距離である、第２の相対距離ΔＺ２’を導出することになる。第２の相対距離ΔＺ２’を得た後に、第２の高さ決定モジュール６１７は、次に、第１の相対距離ΔＺ２’とスケール係数ｆとの間の乗算演算を遂行し、第２の高さΔＺ２を積として得ることができる。この第２の高さΔＺ２は、現実世界距離におけるパッケージチップ１０のパッケージ表面１２に沿った点と基準校正器の第２の基準点との間の実際の高さに対応する。
【0070】
第２の高さ決定モジュール６１７は、第２の点フィルトレーションサブモジュール６１７１を含む、１つ以上のサブモジュールを含むことがさらに示されている。第２の点フィルトレーションサブモジュール６１７１は、点指定サブモジュール６１６３によって指定された指定点をさらにフィルタリングする役割を果たす。それは、最小平均二乗アルゴリズムを通じて第１の高さΔＺ１によって規定される平面を基準とした第２の高さΔＺ２の誤差の大きさを算出することによって、これを行う。これは、所定の閾値よりも高い、又はそれよりも低い誤差の大きさを有し得るパッケージ表面１２に沿った点をフィルタリングにより除外する役割を果たす。この誤差の大きさは０～１の範囲を有し得る。第１の例では、点の誤差の大きさが第１の所定の閾値を下回る場合に、該点はフィルタリングにより除外されることになる。第２の例では、１から点の誤差の大きさを差し引いた値が第２の所定の閾値を上回る場合に、該点はフィルタリングにより除外されることになる。
【0071】
図６に示されるとおりのコンタクト高さ決定モジュール６１８に関して、それは、１つ以上のコンタクト高さＨを算出する役割を果たす。コンタクト高さＨは、パッケージチップ１０のコンタクト１１とパッケージチップ１０のパッケージ表面１２上の点との間の高さである。具体的には、第１の高さΔＺ１と第２の高さΔＺ２との絶対差が算出される。その上で、パッケージチップ１０のコンタクト高さＨが決定される。
【0072】
図７は、パッケージ表面決定モジュール６１６によって遂行されるパッケージチップ１０のパッケージ表面１２上の点の指定及びフィルトレーションを示す図的フローチャートである。好ましくは、これは第２の画像セット５２内の画像のうちの全てのために行われる。一例として、第２の画像セット５２の第１の画像５２１が用いられる。指定点の指定を例示するために、この第１の画像５２１は、その明るい縞が（Ｂ）とラベル付けされ、その暗い縞が（Ｄ）とラベル付けされるという仕方で例示されている。
【0073】
第１の画像５２１が画像処理モジュール６１１によって前処理された後に、画像セグメント化モジュール６１６１は、次に、図示のように、画像を、固定された区域の１つ以上のサブ画像にセグメント化することになる。次に、１つ以上の点が、縞決定モジュール６１６２及び点指定モジュール６１６３によって、サブ画像の暗い縞部分上に指定されることになる。最後に、サブ画像内のパッケージ表面１２上の指定点が、第１の点フィルトレーションサブモジュール６１６４及び第２の点フィルトレーションモジュール６１７１によって、サブ画像内の最終的な指定点が残るようフィルタリングされる。
【0074】
図８ａは、第１のカメラ４１の視点による、第１の基準座標空間内の写像点を示す。図８ｂは、第２のカメラ４２の視点による、第２の基準座標空間内の写像点を示す。これらの図は、第１の高さ決定モジュール６１５及び第２の高さ決定モジュール６１７内で行われる算出を例示することを意図されていることに留意されたい。
【0075】
図９は図８ａ及び図８ｂに対する補足図面と見なされ得る。それは、図８ａの第１の基準座標空間に関する第１のカメラ４１の観望、図８ｂの第２の基準座標空間に関する第２のカメラ４２の観望、及びコンタクト高さＨの決定のためのパッケージチップ１０の点と基準校正器との間の相対距離を示す。
【0076】
図８ａ及び図９を参照すると、第１の基準座標空間内に、グリッドセルＡＢＣＤが存在する。このグリッドセルＡＢＣＤはその内部に点Ｘ１、Ｘ２、Ｘ３及びＸ４を有する。この第１の基準座標空間内においては、以下のことが留意される：
・ 点Ｘ１はコンタクト１１に対応する。
・ 点Ｘ２はパッケージ表面１２上の点に対応する。
・ 点Ｘ３は基準校正器の第１の基準点に対応する。
・ 点Ｘ４は基準校正器の第２の基準点に対応する。
・ 点Ｘ１はコンタクト１１に対応する。
・ 点Ｘ２はパッケージ表面１２上の点に対応する。
・ 点Ｘ３は基準校正器の第１の基準点に対応する。
・ 点Ｘ４は基準校正器の第２の基準点に対応する。
【0077】
特に、Ｘ１及びＸ３は同じ座標位置を占有し得、その一方で、Ｘ２及びＸ４は同じ座標位置を占有し得る。第１の基準座標空間内の点Ｘ１、Ｘ２、Ｘ３及びＸ４の正確な座標が決定されるよう、グリッドセルＡＢＣＤの座標に関する補間、より具体的には、バイリニア補間が利用され得る。
【0078】
図８ｂ及び図９を参照すると、第２の基準座標空間内に、グリッドセルＡ’Ｂ’Ｃ’Ｄ’が存在する。このグリッドセルＡ’Ｂ’Ｃ’Ｄ’はその内部に点Ｘ１’、Ｘ２’、Ｘ３’、及びＸ４’を有する。この第２の基準座標空間内においては、以下のことが留意される：
・ 点Ｘ１’はコンタクト１１に対応する。
・ 点Ｘ２’はパッケージ表面１２上の点に対応する。
・ 点Ｘ３’は、点Ｘ１’に対して正射影された、基準校正器の第１の基準点に対応する。
・ 点Ｘ４’は、点Ｘ２’に対して正射影された、基準校正器の第２の基準点に対応する。
・ 点Ｘ１’はコンタクト１１に対応する。
・ 点Ｘ２’はパッケージ表面１２上の点に対応する。
・ 点Ｘ３’は、点Ｘ１’に対して正射影された、基準校正器の第１の基準点に対応する。
・ 点Ｘ４’は、点Ｘ２’に対して正射影された、基準校正器の第２の基準点に対応する。
【0079】
図示のように、第２の基準座標空間内の点Ｘ１’、Ｘ２’、Ｘ３’，及びＸ４’は第１の基準座標空間の点Ｘ１、Ｘ２、Ｘ３、及びＸ４に対応する。同様に、第２の基準座標空間内の点Ｘ１’、Ｘ２’、Ｘ３’，及びＸ４’の正確な座標が決定されるよう、グリッドセルＡ’Ｂ’Ｃ’Ｄ’の座標に関する補間が利用され得る。この第２の基準座標空間内の深度情報を含むことで、今度は、点Ｘ１’、Ｘ２’、Ｘ３’、及びＸ４’の各々の間の距離が存在する。
【0080】
この第２の基準座標空間から、（点Ｘ１’である）パッケージチップ１０のコンタクト１１と（点Ｘ３’である）基準校正器の第１の基準点との間の第１の相対距離ΔＺ１’が算出され得る。また、（点Ｘ２’である）パッケージチップ１０のパッケージ表面１２上の点と（点Ｘ４’である）基準校正器の第１の点との間の第２の相対距離ΔＺ２’も算出され得る。
【0081】
その上で、次に、第１の相対距離ΔＺ１’及び第２の相対距離ΔＺ２’は、校正モジュール６１３によって以前に導出されたスケール係数ｆを用いて乗算され、第１の高さΔＺ１及び第２の高さΔＺ２を得ることができる。
【0082】
上述されたように、第１の高さΔＺ１は、現実世界距離におけるパッケージチップ１０のコンタクト１２と基準校正器の第１の基準点との間の実際の高さである。第２の高さΔＺ２は、現実世界距離におけるパッケージチップ１０のパッケージ表面１２に沿った点と基準校正器の第２の基準点との間の実際の高さである。
【0083】
コンタクト高さ決定モジュール６１８は、次に、第１の高さΔＺ１と第２の高さΔＺ２との絶対差を算出することによって、コンタクト１１とパッケージ表面１２上の点との間のコンタクト高さＨを導出することになる。
【0084】
図示はされないが、本発明の方法の簡潔な概要が説明され得る。好ましくは、本方法のステップに先立って、第１の基準座標空間及び第２の基準座標空間の確立のための校正作業が校正モジュール６１３によって行われる。
【0085】
【0086】
ステップ２において、アプリケーションソフトウェア６１０が、次に、第１の照光ユニット３１を、直接光３１ａをパッケージチップ１０に向けて発光するように動作させ得る。
【0087】
ステップ３において、アプリケーションソフトウェア６１０が、カメラ４１、４２、４３を、それらの各々がパッケージチップ１０の画像を取り込むように仕向けることができ、これにより、第１の画像セット５１を得る。この第１の画像セット５１はカメラ４１、４２、４３自体の内部に記憶され得る。
【0088】
ステップ４において、アプリケーションソフトウェア６１０が、次に、第２の照光ユニット３２を、構造化光３２ａをパッケージチップ１０に向けて発光するように動作させ得る。
【0089】
ステップ５において、アプリケーションソフトウェア６１０が、カメラ４１、４２、４３を、それらの各々がパッケージチップ１０の画像を取り込むように仕向けることができ、これにより、第２の画像セット５２を得る。この第２の画像セット５２はカメラ４１、４２、４３自体の内部に記憶され得る。
【0090】
ステップ６において、アプリケーションソフトウェア６１０がカメラ４１、４２、４３からの第１の画像セット５１及び第２の画像セット５２を要求し得る。
【0091】
ステップ７において、アプリケーションソフトウェア６１０が画像処理モジュール６１２を用いて第１の画像セット５１及び第２の画像セット５２を前処理し得る。
【0092】
ステップ８において、アプリケーションソフトウェア６１０が、パッケージチップ１０上のコンタクトの位置が決定されるよう、前処理された第１の画像セット５１をコンタクト決定モジュール６１４内へ誘導し得る。
【0093】
ステップ９において、前のステップ、ステップ８からの情報を用いて、第１の高さ決定モジュール６１５が、第２の基準座標空間におけるコンタクト１１と基準校正器の第１の点との間の第１の相対距離ΔＺ１’を算出し、次に、第１の高さΔＺ１を得る。第１の高さΔＺ１は、現実世界距離におけるパッケージチップ１０のコンタクト１２と基準校正器の第１の基準点との間の実際の高さである。
【0094】
ステップ１０において、アプリケーションソフトウェア６１０が、パッケージチップ１０のパッケージ表面上の点が指定されるよう、前処理された第２の画像セット５２をパッケージ表面決定モジュール６１４内へ誘導し得る。
【0095】
ステップ１０．１において、画像セグメント化サブモジュール６１６１が、第２の画像セット５２の各画像を、好ましくは、固定された区域の、サブ画像にセグメント化する。
【0096】
ステップ１０．２において、縞決定サブモジュール６１６２が、前のステップ、ステップ１０．１において得られた各サブ画像内の明るい縞部分及び暗い縞部分を決定する。
【0097】
ステップ１０．３において、点指定サブモジュール６１６３が、サブ画像の各暗い縞部分の中心内に配置された１つ以上の指定点を当てがう。
【0098】
ステップ１０．４において、第１の点フィルトレーションサブモジュール６１６４が、サブ画像に沿った鉛直中心線上に配置されているか、その近くに配置されているか、又はその両方である点が残るよう、１つ以上の指定点をフィルタリングする。
【0099】
ステップ１１において、前のステップ、ステップ１０．４からの情報を用いて、第２の高さ決定モジュール６１７がパッケージ表面１２上の指定点と基準校正器の第２の基準点との間の第２の相対距離ΔＺ２’を算出し、次に、第２の高さΔＺ２を得る。第２の高さΔＺ２は、現実世界距離におけるパッケージチップ１０のパッケージ表面１２に沿った点と基準校正器の第２の基準点との間の実際の高さである。
【0100】
ステップ１１．１において、第２の点フィルトレーションサブモジュール６１７１が、最小平均二乗アルゴリズムを通じて第１の高さΔＺ１によって規定される平面を基準とした第２の高さΔＺ２の誤差の大きさを算出することによって、１つ以上の指定点をフィルタリングする。これは、所定の閾値よりも高い、又はそれよりも低い誤差の大きさを有し得るパッケージ表面１２に沿った点をフィルタリングにより除外する役割を果たす。
【0101】
ステップ８～９及びステップ１０～１１．１はアプリケーションソフトウェア６１０によって順次に、又は同時に実行され得ることに留意されたい。
【0102】
最後に、ステップ１２において、コンタクト高さ決定モジュール６１８が、前のステップ、ステップ９及びステップ１１．１から得られた情報を用いて、第１の高さΔＺ１と第２の高さΔＺ２との絶対差を算出することによってコンタクト高さＨを決定する。
【0103】
これをもって、パッケージチップ１０のコンタクト高さＨを決定するためのシステム及び方法の説明は完結した。
【0104】
本開示は、添付の請求項に包含されるとおりのもの、及び上述の説明のものを含む。本発明は、ある程度の特定性を持ってその好ましい形態で説明されたが、好ましい形態の開示は単なる例として行われたにすぎず、本発明の範囲から逸脱することなく、構成の詳細、並びに部分の組み合わせ及び配置における数多くの変更が行われ得ることが理解される。
【符号の説明】
【0105】
１０ パッケージチップ
１１ コンタクト
１２ パッケージ表面
２０ 保持器ユニット
３１ 照光ユニット
４１ 第１のカメラ
４２ 第２のカメラ
４３ 第３のカメラ
５１ 第１の画像セット
５２ 第２の画像セット
６０ コンピュータ
６１ プロセッサ
６２ メモリユニット
６１０ アプリケーションソフトウェア
６１１ 画像処理モジュール
６１１ マスタ制御モジュール
６１２ 画像処理モジュール
６１３ 校正モジュール
６１４ パッケージ表面決定モジュール
６１４ コンタクト決定モジュール
６１５ 第１の高さ決定モジュール
６１６ パッケージ表面決定モジュール
６１７ 第２の高さ決定モジュール
６１８ コンタクト高さ決定モジュール
６１３１ 基準座標空間決定サブモジュール
６１６１ 画像セグメント化サブモジュール
６１６２ 縞決定サブモジュール
６１６３ 点指定サブモジュール
６１６４ 第１の点フィルトレーションサブモジュール
６１７１ 第２の点フィルトレーションサブモジュール
１１ コンタクト
１２ パッケージ表面
２０ 保持器ユニット
３１ 照光ユニット
４１ 第１のカメラ
４２ 第２のカメラ
４３ 第３のカメラ
５１ 第１の画像セット
５２ 第２の画像セット
６０ コンピュータ
６１ プロセッサ
６２ メモリユニット
６１０ アプリケーションソフトウェア
６１１ 画像処理モジュール
６１１ マスタ制御モジュール
６１２ 画像処理モジュール
６１３ 校正モジュール
６１４ パッケージ表面決定モジュール
６１４ コンタクト決定モジュール
６１５ 第１の高さ決定モジュール
６１６ パッケージ表面決定モジュール
６１７ 第２の高さ決定モジュール
６１８ コンタクト高さ決定モジュール
６１３１ 基準座標空間決定サブモジュール
６１６１ 画像セグメント化サブモジュール
６１６２ 縞決定サブモジュール
６１６３ 点指定サブモジュール
６１６４ 第１の点フィルトレーションサブモジュール
６１７１ 第２の点フィルトレーションサブモジュール
【図1】
【図2】
【図3a】
【図3b】
【図4a】
【図4b】
【図4c】
【図5a】
【図5b】
【図5c】
【図6】
【図7】
【図8a】
【図8b】
【図9】
【外国語明細書】