(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-24
(45)【発行日】2023-06-01
(54)【発明の名称】部品実装機、部品認識方法
(51)【国際特許分類】
G06T 7/90 20170101AFI20230525BHJP
G01B 11/24 20060101ALI20230525BHJP
G06T 1/00 20060101ALI20230525BHJP
G06T 7/194 20170101ALI20230525BHJP
G06V 10/141 20220101ALI20230525BHJP
H05K 13/04 20060101ALI20230525BHJP
H05K 13/08 20060101ALI20230525BHJP
【FI】
G06T7/90 C
G01B11/24 K
G06T1/00 430G
G06T7/194
G06T7/90 D
G06V10/141
H05K13/04 M
H05K13/08 Q
(21)【出願番号】P 2019199641
(22)【出願日】2019-11-01
【審査請求日】2022-06-14
(73)【特許権者】
【識別番号】000010076
【氏名又は名称】ヤマハ発動機株式会社
(74)【代理人】
【識別番号】100105935
【氏名又は名称】振角 正一
(74)【代理人】
【識別番号】100136836
【氏名又は名称】大西 一正
(72)【発明者】
【氏名】川井 太朗
(72)【発明者】
【氏名】加藤 寛
【審査官】笠田 和宏
(56)【参考文献】
【文献】特開2015-126216(JP,A)
【文献】国際公開第2018/105051(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/90
G01B 11/24
G06T 1/00
G06T 7/194
G06V 10/141
H05K 13/04
H05K 13/08
(57)【特許請求の範囲】
【請求項1】
蛍光波長で蛍光する部品を保持する実装ヘッドと、
前記部品に前記蛍光波長と異なる照明波長の光を背面側から照射する照明と、
前記背面側と逆の正面側から前記部品を撮像することでカラー画像を取得するカラーカメラと、
前記カラー画像に基づき前記部品を認識する制御部と
を備え、
前記制御部は、前記カラー画像に含まれる前記照明波長に対応する照明色と前記蛍光波長に対応する蛍光色との違いに基づき前記部品と前記部品の背景とを区別することで前記部品を認識する認識処理を実行する部品実装機。
【請求項2】
前記照明色と前記蛍光色との違いを識別する閾値を記憶する記憶部をさらに備え、
前記制御部は、前記照明色と前記蛍光色との違いを前記閾値に基づき判断して前記認識処理を実行する請求項1に記載の部品実装機。
【請求項3】
前記記憶部は、前記部品の種類による前記蛍光波長の違いに応じて異なる前記閾値を前記部品の種類毎に記憶する請求項2に記載の部品実装機。
【請求項4】
前記制御部は、前記部品と前記部品の背景とを区別できずに前記認識処理に失敗した場合には、前記閾値を変更して前記認識処理を再試行する請求項2または3に記載の部品実装機。
【請求項5】
前記制御部は、再試行した前記認識処理に成功した場合には、成功した前記認識処理で用いた前記閾値を、以後の前記認識処理で用いる請求項4に記載の部品実装機。
【請求項6】
前記認識処理は、前記カラー画像から色相を抽出した色相画像を取得する工程と、前記色相画像に含まれる前記背景の色相を特定する工程と、前記色相画像のうち前記背景の色相と同じ色相の範囲をマスクして被マスク画像を生成する工程と、前記被マスク画像から前記部品のエッジを検出して前記部品と前記部品の背景とを区別することで前記部品を認識する工程とを有する請求項1に記載の部品実装機。
【請求項7】
前記カラーカメラの各画素について求められたシェーディング補正値を所定の閾値に加算した値と前記色相画像とを画素毎に比較することで、前記被マスク画像を生成する請求項6に記載の部品実装機。
【請求項8】
蛍光波長で蛍光する部品に、前記蛍光波長と異なる照明波長の光を背面側から照射する工程と、
前記背面側と逆の正面側から前記部品をカラーカメラにより撮像することでカラー画像を取得する工程と、
前記カラー画像に含まれる前記照明波長に対応する照明色と前記蛍光波長に対応する蛍光色との違いに基づき前記部品と前記部品の背景とを区別することで前記部品を認識する工程と
を備える部品認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、蛍光波長の光によって蛍光する部品を、背面側から光を照射しつつ正面側から撮像した画像に基づき部品を認識する技術に関する。
【背景技術】
【0002】
基板に部品を実装する部品実装機では、種々の場面で部品の撮像が実行される。例えば、特許文献1、2では、電子部品や基板といった対象物に光を照射して、対象物で反射した光をカメラによって撮像する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2001-15993号公報
【文献】特開平8-219716号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
また、部品実装機では、上述のような撮像とは別に、部品の認識のために部品のシルエット画像を撮像する場合がある。このシルエット画像は、部品の背面側から照明光を照射しつつ部品の正面側から部品を撮像することにより取得される。かかるシルエット画像では、明るい周囲を背景として、部品の影が写る。したがって、部品と背景との輝度の違いに基づいてこれらを区別することで、部品を認識することができる。
【0005】
ところで、部品実装機では、照明光と異なる光が部品に入射する場合がある。このような場合、例えばLED(Light Emitting Diode)などの蛍光体を含む部品のシルエット画像を撮像する際に、部品に入射する光によって部品の蛍光体が蛍光すると、部品と背景とで輝度の違いが表れず、その結果、部品の認識に失敗するおそれがあった。
【0006】
この発明は、上記課題に鑑みなされたものであり、蛍光波長の光によって蛍光する部品を、背面側から光を照射しつつ正面側から撮像した画像に基づき部品を認識することを可能とする技術の提供を目的とする。
【課題を解決するための手段】
【0007】
本発明に係る部品実装機は、蛍光波長で蛍光する部品を保持する実装ヘッドと、部品に蛍光波長と異なる照明波長の光を背面側から照射する照明と、背面側と逆の正面側から部品を撮像することでカラー画像を取得するカラーカメラと、カラー画像に基づき部品を認識する制御部とを備え、制御部は、カラー画像に含まれる照明波長に対応する照明色と蛍光波長に対応する蛍光色との違いに基づき部品と部品の背景とを区別することで部品を認識する認識処理を実行する。
【0008】
本発明に係る部品認識方法は、蛍光波長で蛍光する部品に、蛍光波長と異なる照明波長の光を背面側から照射する工程と、背面側と逆の正面側から部品をカラーカメラにより撮像することでカラー画像を取得する工程と、カラー画像に含まれる照明波長に対応する照明色と蛍光波長に対応する蛍光色との違いに基づき部品と部品の背景とを区別することで部品を認識する工程とを備える。
【0009】
このように構成された本発明(部品実装機、部品認識方法)では、蛍光波長で蛍光する部品に照明波長の光を背面側から照射しつつ、正面側から部品をカラーカメラにより撮像することでカラー画像を取得する。この際、部品の蛍光波長と異なる照明波長の光が背面側から部品に照射されるため、カラー画像に含まれる照明波長に対応する色(照明色)と蛍光波長に対応する色(蛍光色)とは異なる。したがって、これらの色の違いに基づき、部品と部品の背景とを区別して、部品を認識することができる。こうして、蛍光波長の光によって蛍光する部品を、背面側から光を照射しつつ正面側から撮像した画像に基づき部品を認識することが可能となる。
【0010】
また、照明色と蛍光色との違いを識別する閾値を記憶する記憶部をさらに備え、制御部は、照明色と蛍光色との違いを閾値に基づき判断して認識処理を実行するように、部品実装機を構成してもよい。かかる構成では、照明色と蛍光色との違いを閾値により的確に判断して、より確実に部品を認識することができる。
【0011】
また、記憶部は、部品の種類による蛍光波長の違いに応じて異なる閾値を部品の種類毎に記憶するように、部品実装機を構成してもよい。かかる構成では、部品の種類に応じた適切な閾値で照明色と蛍光色との違いを的確に判断して、部品の種類によらずに確実に部品を認識することができる。
【0012】
また、制御部は、部品と部品の背景とを区別できずに認識処理に失敗した場合には、閾値を変更して認識処理を再試行するように、部品実装機を構成してもよい。かかる構成では、閾値が不適切であるために認識処理に失敗した場合には、閾値を変更して認識処理が再試行される。したがって、適切な閾値を用いて認識処理に成功することが可能となる。
【0013】
また、制御部は、再試行した認識処理に成功した場合には、成功した認識処理で用いた閾値を、以後の認識処理で用いるように、部品実装機を構成してもよい。かかる構成では、成功した認識処理で用いた閾値によって、以後の認識処理でより確実に部品を認識することができる。
【0014】
また、認識処理は、カラー画像から色相を抽出した色相画像を取得する工程と、色相画像に含まれる背景の色相を特定する工程と、色相画像のうち背景の色相と同じ色相の範囲をマスクして被マスク画像を生成する工程と、被マスク画像から部品のエッジを検出して部品と部品の背景とを区別することで部品を認識する工程とを有するように、部品実装機を構成してもよい。かかる構成では、カラー画像から色相を抽出した色相画像に基づき背景の色相を特定し、色相画像のうち背景の色相と同じ色相の範囲をマスクする。したがって、部品と背景とを的確に区別して、より確実に部品を認識することが可能となる。
【0015】
カラーカメラの各画素について求められたシェーディング補正値を所定の閾値に加算した値と色相画像とを画素毎に比較することで、被マスク画像を生成するように、部品実装機を構成してもよい。かかる構成では、背景のムラの影響を抑制しつつ被マスク画像を生成することができる。
【発明の効果】
【0016】
以上のように、本発明によれば、蛍光波長の光によって蛍光する部品を、背面側から光を照射しつつ正面側から撮像した画像に基づき部品を認識することが可能となる。
【図面の簡単な説明】
【0017】
【
図1】本発明に係る部品実装機を模式的に示す部分平面図。
【
図2】
図1の部品実装機が備える電気的構成を示すブロック図。
【
図3】実装ヘッドの一例の下端部近傍を模式的に示す部分正面図。
【
図4】
図3の実装ヘッドの底部を模式的に示す部分平面図。
【
図5】撮像ユニットの外観を模式的に示す部分斜視図。
【
図6】
図5の撮像ユニットが具備する光学的構成を等価的に示した模式図。
【
図8】
図7の部品認識で実行される蛍光部品認識の一例を示すフローチャート。
【
図9】
図7の部品認識で実行される通常部品認識の一例を示すフローチャート。
【
図10】
図7の部品認識で撮像されるカラー画像を模式的に示す図。
【
図11】蛍光部品認識の第1変形例を示すフローチャート。
【
図12】
図11の蛍光部品認識の第1変形例で実行される動作を模式的に示す図。
【
図13】蛍光部品認識の第2変形例を示すフローチャート。
【
図14】蛍光部品認識の第3変形例を示すフローチャート。
【
図15】蛍光部品認識の第3変形例で用いられるデータの一例を示す図。
【
図16】本発明を適用可能な部品実装機の別の構成を模式的に示す図。
【発明を実施するための形態】
【0018】
図1は本発明に係る部品実装機を模式的に示す部分平面図であり、
図2は
図1の部品実装機が備える電気的構成を示すブロック図である。両図および以下の図では、Z方向を鉛直方向とするXYZ直交座標を適宜示す。
図2に示すように、部品実装機1は、装置全体を統括的に制御するコントローラー100を備える。コントローラー100は、CPU(Central Processing Unit)やRAM(Random Access Memory)で構成されたコンピューターである演算処理部110およびHDD(Hard Disk Drive)で構成された記憶部120を有する。さらに、コントローラー100は、部品実装機1の駆動系を制御する駆動制御部130と、後に詳述する部品の撮像を制御する撮像制御部140とを有する。
【0019】
そして、演算処理部110は記憶部120に記憶されるプログラムに従って駆動制御部130を制御することで、プログラムが規定する部品実装を実行する。この際、演算処理部110は撮像制御部140がカラーカメラ60により撮像した画像に基づき、部品実装を制御する。また、部品実装機1には、表示/操作ユニット150が設けられており、演算処理部110は、部品実装機1の状況を表示/操作ユニット150に表示したり、表示/操作ユニット150に入力された作業者からの指示を受け付けたりする。
【0020】
図1に示すように、部品実装機1は、基台11の上に設けられた一対のコンベア12、12を備える。そして、部品実装機1は、コンベア12によりX方向(基板搬送方向)の上流側から実装処理位置(
図1の基板Bの位置)に搬入した基板Bに対して部品を実装し、部品実装を完了した基板Bをコンベア12により実装処理位置からX方向の下流側へ搬出する。
【0021】
部品実装機1では、Y方向に延びる一対のY軸レール21、21と、Y方向に延びるY軸ボールネジ22と、Y軸ボールネジ22を回転駆動するY軸モーターMyとが設けられ、X方向に延びるX軸レール23が一対のY軸レール21、21にY方向に移動可能に支持された状態でY軸ボールネジ22のナットに固定されている。X軸レール23には、X方向に延びるX軸ボールネジ24と、X軸ボールネジ24を回転駆動するX軸モーターMxとが取り付けられており、ヘッドユニット3がX軸レール23にX方向に移動可能に支持された状態でX軸ボールネジ24のナットに固定されている。したがって、駆動制御部130は、Y軸モーターMyによりY軸ボールネジ22を回転させてヘッドユニット3をY方向に移動させ、あるいはX軸モーターMxによりX軸ボールネジ24を回転させてヘッドユニット3をX方向に移動させることができる。
【0022】
一対のコンベア12、12のY方向の両側それぞれでは、2つの部品供給部28がX方向に並んでいる。各部品供給部28に対しては、複数のテープフィーダー281がX方向に配列ピッチLaで並んで着脱可能に装着されており、各テープフィーダー281には、集積回路、トランジスター、コンデンサーなどの小片状の部品(チップ電子部品)を所定間隔おきに収納したテープが巻かれたリールが配置されている。そして、テープフィーダー281は、テープをヘッドユニット3側に間欠的に送り出すことによって、テープ内の部品を供給する。
【0023】
ヘッドユニット3は、実装ヘッド4を有する。実装ヘッド4は下端に取り付けられたノズル40(
図3)により、部品の吸着・実装を行う。つまり、実装ヘッド4はテープフィーダー281の上方へ移動して、テープフィーダー281により供給された部品を吸着する。具体的には、実装ヘッド4は、部品に当接するまでノズル40を下降させた後にノズル40内に負圧を発生させつつノズル40を上昇させることで、部品を吸着する。続いて、実装ヘッド4は実装処理位置の基板Bの上方に移動して基板Bに部品を実装する。具体的には、実装ヘッド4は、部品が基板Bに当接するまでノズル40を下降させた後にノズル40内に大気圧あるいは正圧を発生させることで、部品を実装する。
【0024】
図3は実装ヘッドの一例の下端部近傍を模式的に示す部分正面図であり、
図4は
図3の実装ヘッドの底部を模式的に示す部分平面図である。
図3および
図4に示すように、実装ヘッド4は、複数のノズル40を円周状に配列したロータリーヘッドである。続いては、
図3および
図4を併用しつつ実装ヘッド4の構成について説明する。
【0025】
実装ヘッド4はZ方向(鉛直方向)に延びるメインシャフト41と、メインシャフト41の下端に支持されたノズルホルダー42とを有する。ノズルホルダー42は、Z方向に平行な回転軸C(仮想軸)を中心とする回転方向Rに回転可能に支持されており、実装ヘッド4の上端部に設けられたR軸モーターMr(
図2)の駆動力を受けて回転する。また、ノズルホルダー42は、回転軸Cを中心とする円周状に等角度を空けて配列された複数(8本)の昇降シャフト43を支持する。
【0026】
各昇降シャフト43は昇降可能に支持されており、図略の付勢部材により上方へ付勢されている。各昇降シャフト43の下端にはノズル40が着脱可能に装着される。これによって、ノズルホルダー42は、回転軸Cを中心とする円周状に等角度を空けて配列された複数(8個)のノズル40を支持する。したがって、駆動制御部130がR軸モーターMrに回転指令を出力すると、R軸モーターMrからの駆動力を受けて回転するノズルホルダー42に伴って、複数のノズル40が一体的に回転軸Cを中心とする円周軌道Oに沿って回転する。
【0027】
また、メインシャフト41は、複数の昇降シャフト43の上方にノズル昇降機構44を支持する。ノズル昇降機構44は、回転軸Cを中心として180度の角度を空けて配置された2本の押圧部材441を有する。各押圧部材441は、ノズル昇降機構44に内蔵されたZ軸モーターMz(
図2)の駆動力を受けて、互いに独立して昇降する。したがって、駆動制御部130がZ軸モーターMzに下降指令を出力すると、Z軸モーターMzからの駆動力を受けて押圧部材441が下降する。これにより、押圧部材441は、複数の昇降シャフト43のうち直下に位置する一の昇降シャフト43を当該昇降シャフト43に働く付勢力に抗して下降させ、部品の吸着あるいは実装を行う下降位置Zdまでノズル40を下降させる。一方、駆動制御部130がZ軸モーターMzに上昇指令を出力すると、Z軸モーターMzからの駆動力を受けて押圧部材441が上昇する。これにより、押圧部材441に押下されていた一の昇降シャフト43が、ノズル40を伴いつつ付勢力に従って上昇し、ノズル40が上昇位置Zuまで上昇する。なお、
図3においては、ノズル40の下端に対して下降位置Zdおよび上昇位置Zuがそれぞれ示されている。
【0028】
このような実装ヘッド4では、押圧部材441の直下がノズル40による部品の吸着・実装を行う作業位置PA、PBとなる。すなわち、上述した2個の押圧部材441の配置に対応して、実装ヘッド4では、2個の作業位置PA、PBが回転軸Cを中心に180度の角度を空けて設けられている。一方、
図4に示すようにノズルホルダー42では、回転軸Cを中心に180度の間隔を空けて配置された2個のノズル40(回転軸Cを挟んで互いに逆側に位置する2個のノズル40)の対(ノズル対)が4対設けられて、2×4(=8)個のノズル40が円周軌道Oに沿って配列されている。こうして対を成す2個のノズル40は、一方のノズル40が作業位置PAに位置すると同時に他方のノズル40が作業位置PBに位置できる配置関係を満たす。
【0029】
したがって、駆動制御部130はR軸モーターMrにより複数のノズル40の回転角度を調整することで、4個のノズル対のうち任意の1個のノズル対を成す2個のノズル40、40のそれぞれを作業位置PA、PBに位置させて、部品の吸着・実装に用いることができる。
【0030】
例えば、作業位置PAで部品を吸着する場合は、実装ヘッド4を部品供給部28の上方へ移動させて作業位置PAをテープフィーダー281の直上に位置決めする。この状態で、部品を吸着しないノズル40を回転方向Rにおいて作業位置PAに停止させつつ、Z方向において上昇位置Zuから下降位置Zdへ下降させる。そして、ノズル40がテープフィーダー281により供給される部品に接したタイミングでノズル40に負圧を与えて、テープフィーダー281からノズル40に部品を吸着する。続いて、部品を吸着したノズル40をZ方向において下降位置Zdから上昇位置Zuまで上昇させる。作業位置PBで部品を吸着する場合も同様である。特に、2個の作業位置PA、PBはX方向に直線状に並んで設けられ、対を成す2個のノズル40、40の中心間距離Lbはテープフィーダー281のX方向への配列ピッチLa(
図1)に等しい。したがって、作業位置PA、PBに位置する2個のノズル40、40は、テープフィーダー281、281からの部品の吸着を同時に実行できる。
【0031】
作業位置PAで部品を実装する場合は、実装ヘッド4を基板Bの上方へ移動させて作業位置PAを基板Bの実装対象箇所の直上に位置決めする。この状態で、部品を吸着するノズル40を回転方向Rにおいて作業位置PAに停止させつつ、Z方向において上昇位置Zuから下降位置Zdへ下降させる。そして、部品が基板Bに接したタイミングでノズル40に大気圧あるいは正圧を与えて、ノズル40から基板Bへ部品を実装する。続いて、部品が離脱したノズル40をZ方向において下降位置Zdから上昇位置Zuまで上昇させる。作業位置PBで部品を実装する場合も同様である。
【0032】
また、実装ヘッド4のメインシャフト41の下端には、円柱形状の光拡散部材5が取り付けられており、複数のノズル40は光拡散部材5を囲むようにして配列されている。この光拡散部材5は例えば特開2012-238726号公報に記載の拡散部材と同様の構成を具備しており、後に詳述する撮像ユニット6(
図5、
図6)によるノズル40(およびノズル40吸着される部品)のサイドビュー撮像に用いられる。
【0033】
つまり、部品実装機1では、回転方向Rにおいて作業位置PA、PBに位置しつつZ方向において上昇位置Zuに位置するノズル40のサイドビュー(X方向から見たノズル40の側面)が撮像ユニット6のカラーカメラ60により撮像される。そして、演算処理部110は、ノズル40のサイドビュー画像に基づき、例えば次のようにしてノズル40による部品の吸着・実装を制御する。
【0034】
部品を吸着する場合は、部品を吸着する前後の各タイミングで上昇位置Zuに位置するノズル40のサイドビューを撮像する。そして、部品吸着前のサイドビュー画像においてノズル40に異物が付着している場合は、部品吸着を中止する。また、部品吸着のためにノズル40を下降位置Zdに下降させた後のサイドビュー画像においてノズル40の下端に部品が無ければ、部品吸着に失敗したと判断して、部品吸着を再実行する。さらに、ノズル40に吸着される部品の厚みや姿勢も、ノズル40のサイドビュー画像に基づき適宜判断する。
【0035】
部品を実装する場合は、部品を実装する前後の各タイミングで上昇位置Zuに位置するノズル40のサイドビューを撮像する。そして、部品実装前のサイドビュー画像においてノズル40の下端に部品が無ければ、ノズル40から部品が脱落していると判断して、部品実装を中止する。また、部品実装のためにノズル40を下降位置Zdまで下降させた後のサイドビュー画像においてノズル40の下端に部品が残っていれば、部品実装に失敗したと判断して、部品実装を再実行する。
【0036】
続いては、
図5および
図6を併用しつつ撮像ユニット6の構成について説明する。
図5は撮像ユニットの外観を模式的に示す部分斜視図であり、
図6は
図5の撮像ユニットが具備する光学的構成を等価的に示した模式図である。なお、
図5および
図6では実装ヘッド4との関係を示すために、実装ヘッド4の構成が部分的に示されている。この撮像ユニット6はカラーカメラ60を備え、作業位置PA、PBに位置するノズル40をカラーカメラ60により撮像する。
【0037】
撮像ユニット6が具備する筐体61は、Y方向からの側面視において逆T字状を有して上部にカラーカメラ60が取り付けられた本体部611と、本体部611のX方向の両端からY方向に突出する2個のノズル対向部612、612とを有する。そして、撮像ユニット6は、2個のノズル対向部612、612により複数のノズル40をX方向から挟むように配置されて、実装ヘッド4のメインシャフト4に固定されている。こうして、撮像ユニット6は実装ヘッド4と一体的に構成され、実装ヘッド4に伴って移動可能である。
【0038】
X方向の一方側のノズル対向部612の内側壁には、X方向の一方側の作業位置PAに対向する第1窓62Aが設けられ、一方側のノズル対向部612および本体部611の内部には、プリズム、ミラーおよびレンズといった光学素子631で構成された第1光学系63Aが設けられている。そして、作業位置PAから第1窓62Aへ入射した光は、第1光学系63Aによりカラーカメラ60に導かれる。カラーカメラ60は、固体撮像素子601の前面にカラーフィルターを設けた構成を有し、固体撮像素子601によってカラー画像を撮像することができる。そして、カラーカメラ60に導かれた作業位置PAからの光は、固体撮像素子601のうちの第1範囲601Aに入射して、当該第1範囲601Aにより検出される。このように、第1窓62A、第1光学系63Aおよびカラーカメラ60の固体撮像素子601の第1範囲601Aにより構成された第1撮像部64Aが実装ヘッド4の一方側に配置される。そして、この第1撮像部64Aが、実装ヘッド4の一方側の側面に対して設けられた作業位置PAに対向し、作業位置PAを撮像する。
【0039】
なお、上述のとおり、押圧部材441の昇降に伴ってノズル40は上昇位置Zuと下降位置Zdとの間で昇降する。これに対して、第1窓62Aは、作業位置PAにおいて上昇位置Zuにあるノズル40の先端に対して対向するように配置されており、第1撮像部64Aは、作業位置PAにおいて上昇位置Zuにあるノズル40の先端をX方向(水平方向)から撮像してノズル40のサイドビュー画像を取得する。
【0040】
また、X方向の他方側のノズル対向部612の内側壁には、第1撮像部64Aの撮像に用いられる照明用の光を照射する第1照明65Aが配置されている。この第1照明65Aは、第2窓62Bの両側それぞれにマトリックス状に配列された複数のLEDで構成され、第1波長(黄色の波長)の光をX方向の他方側から作業位置PAに向けて照射する。こうして、実装ヘッド4のX方向の他方側に配置された第1照明65Aから射出された光は、光拡散部材5で拡散された後に作業位置PAに照射される。
【0041】
このように、第1撮像部64Aは、実装ヘッド4の一方側に配置されて、実装ヘッド4の一方側の側面の作業位置PAに対向する。これに対して、第1照明65Aは、実装ヘッド4の他方側から光拡散部材5を介して作業位置PAに光を照射する。したがって、第1撮像部64Aは、第1照明65Aから光拡散部材5を介して作業位置PAのノズル40に背面側(他方側)から光を照射しつつ、カラーカメラ60の固体撮像素子601により正面側(一方側)からノズル40を撮像することで、ノズル40のカラー画像を取得する。このカラー画像は、固体撮像素子601から撮像制御部140に転送されて、ノズル40による部品の吸着や実装の成否判定に用いられる。
【0042】
さらに、第1光学系63Aを構成する各光学素子631のうち、第1窓62Aに対向して配置された光学素子631の入射面(第1窓62Aに対向する表面)には、第1光学フィルター66Aが設けられている。この第1光学フィルター66Aは、第1波長(黄色の波長)の光の透過を許容する一方、第1波長より短い第2波長(青色の波長)の光の透過を制限する。したがって、第1撮像部64Aは、第1波長の光により、作業位置PAに位置するノズル40のカラー画像を撮像する。この際、第1光学フィルター66Aとしては、吸収型および反射型のいずれのタイプも使用可能である。
【0043】
このように、第1照明65A、第1光学フィルター66Aおよび第1撮像部64Aにより第1撮像システム67Aが構成されている。そして、第1撮像システム67Aは、第1照明65Aから作業位置PAへ照射された後に第1光学フィルター66Aを透過した光を第1撮像部64Aの固体撮像素子601(第1範囲601A)により受光することで、作業位置PAに位置するノズル40を撮像する。
【0044】
X方向の他方側(一方側の逆)のノズル対向部612の内側壁には、X方向の他方側の作業位置PBに対向する第2窓62Bが設けられ、他方側のノズル対向部612および本体部611の内部には光学素子631で構成された第2光学系63Bが設けられている。そして、作業位置PBから第2窓62Bへ入射した光は、第2光学系63Bによりカラーカメラ60に導かれる。上述の通り、カラーカメラ60は、固体撮像素子601の前面にカラーフィルターを設けた構成を有し、固体撮像素子601によってカラー画像を撮像することができる。そして、カラーカメラ60に導かれた作業位置PBからの光は、固体撮像素子601のうち、第1範囲601Aと異なる第2範囲601Bに入射して、当該第2範囲601Bにより検出される。このように、第2窓62B、第2光学系63Bおよびカラーカメラ60の固体撮像素子601の第2範囲601Bにより構成された第2撮像部64Bが実装ヘッド4の他方側に配置される。そして、この第2撮像部64Bが実装ヘッド4の他方側の側面に対して設けられた作業位置PBに対向し、作業位置PBを撮像する。
【0045】
なお、上述のとおり、押圧部材441の昇降に伴ってノズル40は上昇位置Zuと下降位置Zdとの間で昇降する。これに対して、第2窓62Bは、作業位置PBにおいて上昇位置Zuにあるノズル40の先端に対して対向するように配置されており、第2撮像部64Bは、作業位置PBにおいて上昇位置Zuにあるノズル40の先端をX方向(水平方向)から撮像してノズル40のサイドビュー画像を取得する。
【0046】
また、X方向の一方側のノズル対向部612の内側壁には、第2撮像部64Bの撮像に用いられる照明用の光を照射する第2照明65Bが配置されている。この第2照明65Bは、第1窓62Aの両側それぞれにマトリックス状に配列された複数のLEDで構成され、第2波長(青色の波長)の光をX方向の一方側から作業位置PBに向けて照射する。こうして、実装ヘッド4のX方向の一方側に配置された第2照明65Bから射出された光は、光拡散部材5で拡散された後に作業位置PBに照射される。
【0047】
このように、第2撮像部64Bは、実装ヘッド4の他方側に配置されて、実装ヘッド4の他方側の側面の作業位置PBに対向する。これに対して、第2照明65Bは、実装ヘッド4の一方側から光拡散部材5を介して作業位置PBに光を照射する。したがって、第2撮像部64Bは、第2照明65Bから光拡散部材5を介して作業位置PBのノズル40に背面側(一方側)から光を照射しつつ、カラーカメラ60の固体撮像素子601により正面側(他方側)からノズル40を撮像することで、ノズル40のカラー画像を取得する。このカラー画像は、固体撮像素子601から撮像制御部140に転送されて、ノズル40による部品の吸着や実装の成否判定に用いられる。
【0048】
さらに、第2光学系63Bを構成する各光学素子631のうち、第2窓62Bに対向して配置された光学素子631の入射面(第2窓62Bに対向する表面)には、第2光学フィルター66Bが設けられている。この第2光学フィルター66Bは、第2波長(青色の波長)の光の透過を許容する一方、第2波長より長い第1波長(黄色の波長)の光の透過を制限する。したがって、第2撮像部64Bは、第2波長の光により、作業位置PBに位置するノズル40のカラー画像を撮像する。この際、第2光学フィルター66Bとしては、吸収型および反射型のいずれのタイプも使用可能である。
【0049】
このように、第2照明65B、第2光学フィルター66Bおよび第2撮像部64Bにより第2撮像システム67Bが構成されている。そして、第2撮像システム67Bは、第2照明65Bから作業位置PBへ照射された後に第2光学フィルター66Bを透過した光を第2撮像部64Bの固体撮像素子601(第2範囲601B)により受光することで、作業位置PBに位置するノズル40を撮像する。
【0050】
上記の構成では、撮像制御部140は、第1撮像システム67Aおよび第2撮像システム67Bによって同時に作業位置PA、PBのノズル40の撮像を行って(後述する
図7のステップS101)、ノズル40に吸着される部品を認識する。続いては、かかる部品認識について説明する。なお、作業位置PAに位置する部品の認識および作業位置PBに位置する部品の認識の実行態様は共通するため、ここでは、主として作業位置PAに位置する部品の認識について説明を行う。
【0051】
図7は部品認識の一例を示すフローチャートであり、
図8は
図7の部品認識で実行される蛍光部品認識の一例を示すフローチャートであり、
図9は
図7の部品認識で実行される通常部品認識の一例を示すフローチャートであり、
図10は
図7の部品認識で撮像されるカラー画像を模式的に示す図である。
図7~
図9のフローチャートは、撮像制御部140の制御によって実行される。
【0052】
図7に示す部品認識では、第1照明65Aから光拡散部材5を介して作業位置PAに背面側(他方側)から第1波長(黄色)の光を照射しつつ、カラーカメラ60の固体撮像素子601により正面側(一方側)から作業位置PAを撮像することで、作業位置PAに位置するノズル40に吸着される部品E(
図9)のカラー画像Icが撮像される(ステップS101)。また、上述のとおり、ステップ101では、作業位置PAに位置するノズル40に吸着される部品Eの撮像と同時に、第2波長(青色)の光を照射しつつ作業位置PBに位置するノズル40に吸着される部品Eの撮像が行われる。
【0053】
ステップS102では、作業位置PAのノズル40に吸着される部品Eが蛍光部品であるか否かが判断される。例えば、
図10に示す部品Eは、LEDで構成される蛍光体Eaと、モールド樹脂で構成される非蛍光体Ebとを有する。かかる部品Eは、蛍光体Eaを有するため、蛍光部品である。蛍光体Ea(LED)は第2波長(励起波長)の光によって励起されて、蛍光波長で発光する。この蛍光波長は、蛍光した蛍光体Eaが発する色の波長である。蛍光波長は、第2波長(励起波長)よりも第1波長(照明波長)側の波長であり、蛍光波長の光は第1光学フィルター66Aを通過して、カラーカメラ60に到達する。ちなみに、ステップS101では、第1照明65Aは、蛍光体Eaの蛍光波長と異なる第1波長(照明波長)の光を作業位置PAに照射する。
【0054】
これに対して、ステップS101では、作業位置PBのノズル40により吸着される部品Eの撮像のために、第2照明65Bから第2波長の光が射出される。そして、作業位置PAは、第2照明65Bから射出された光の通過範囲内にあるため、第2照明65Bからの光は、作業位置PAのノズル40に吸着される部品Eの蛍光体Eaに入射して、この蛍光体Eaを蛍光させる。その結果、ステップS101で撮像したカラー画像において、部品Eの背景Gの輝度(第1波長の光の輝度)と、部品Eの蛍光体Eaの輝度(蛍光波長の光の輝度)との差が十分に生じず、輝度に基づいて部品Eを認識することが困難となる。そこで、部品Eが蛍光部品である場合(ステップS102で「YES」の場合)には、
図8に示す蛍光部品認識が実行される(ステップS103)。
【0055】
蛍光部品認識では、ステップS101で撮像したカラー画像Icに含まれる各画素の色が分析される(ステップS201)。そして、ステップS202では、各画素の色の違いに基づき、部品Eと背景Gとの境界(すなわち、部品Eのエッジ)が検出されて、部品Eが認識される(認識処理)。特に、背景の色に相当する第1波長(照明波長)の色(照明色)と、部品Eの蛍光体Eaが発する蛍光波長の色(蛍光色)との違いを利用して、部品Eのエッジが検出される。また、部品Eの非蛍光体Ebと背景Gとの境界も、色の違いに基づいて検出される。
【0056】
一方、部品Eが蛍光体Eaを含まず、非蛍光部品である場合には、ステップS102で「NO」と判断され、
図9の通常部品認識が実行される。通常部品認識では、ステップS101で撮像したカラー画像Icに含まれる各画素の輝度が分析される(ステップS301)。そして、各画素の輝度の違いに基づき、部品Eと背景Gとの境界(すなわち、部品Eのエッジ)が検出されて、部品Eが認識される(ステップS302)。
【0057】
以上に説明した実施例では、蛍光波長で蛍光する部品Eに照明波長(第1波長)の光を背面側から照射しつつ、正面側から部品Eをカラーカメラ60により撮像することでカラー画像Icを取得する。この際、部品Eの蛍光波長と異なる照明波長(第1波長)の光が背面側から部品Eに照射されるため、カラー画像Icに含まれる照明波長に対応する色(照明色)と蛍光波長に対応する色(蛍光色)とは異なる。したがって、これらの色の違いに基づき、部品Eと部品Eの背景Gとを区別して、部品Eを認識することができる。こうして、蛍光波長の光によって蛍光する部品Eを、背面側から光を照射しつつ正面側から撮像したカラー画像Icに基づき部品Eを認識することが可能となる。
【0058】
図11は蛍光部品認識の第1変形例を示すフローチャートであり、
図12は
図11の蛍光部品認識の第1変形例で実行される動作を模式的に示す図である。
図11のフローチャートは、撮像制御部140の制御によって実行される。上記のような色の違いは、色の三属性(色相、明度、彩度)に基づき判断できるが、第1変形例は特に色相に基づき色の違いを判断する。なお、以下では、上記の実施例との違いを主に説明することとし、上記の実施例と共通する部分は相当符号を付して適宜説明を省略する。
【0059】
ステップS401では、カラー画像Icから、色相画像Ihが抽出される。この色相画像Ihは、カラー画像に含まれる画素の色の色相を求める演算を、各画素について実行することで取得できる。
【0060】
ステップS402では、色相画像Ihのうち、色相閾値T以下の範囲をマスクする。具体的には、色相閾値は、第1波長(照明波長)の光の色相と、蛍光波長の光の色相との間に設定されており、記憶部120に予め保存されている。そして、全画素の色相が色相閾値であるマスク画像Imが生成される。さらに、色相画像Ihの色相とマスク画像Imの色相とを画素毎に比較することで、色相画像Ihのうち、色相閾値T以下の色相を有する範囲をマスクする。これによって、部品Eの周囲の背景Gがマスクされることとなる。なお、ここでは、第1波長(照明波長)の光の色相(すなわち、背景Gの色相)が蛍光波長の光の色相より小さい値を有するとして説明したが、第1波長の光の色相が蛍光波長の光の色相より大きい値を有する場合には、閾値以上の色相を有する範囲をマスクすることで、背景Gをマスクすることができる。こうして、ステップS402では、部品Eと背景Gとの色相の違いを強調した被マスク画像Idが生成される。そして、ステップS403では、被マスク画像Idの各画素の色相に基づき、部品Eと背景Gとの境界(すなわち、部品Eのエッジ)が検出されて、部品Eが認識される(認識処理)。
【0061】
ちなみに、部品Eと背景Gとの境界検出に、マスク画像Imを用いることは必須ではなく、色相画像Ihの各画素が示す色相の値と閾値Tとを直接比較することで境界検出を行っても構わない。また、背景Gが不均一であってムラを含むような場合には、シェーディング補正を併用してもよい。具体的には、ムラを有さない均一な基準対象物をカラーカメラ60により撮像した基準画像に対してシェーディング補正を行って、カラーカメラ60の各画素のシェーディング補正値を記憶しておき、シェーディング補正値と閾値Tとを加算したマスク画像と色相画像Ihとを画素毎に比較した結果に基づき、部品Eと背景Gとの境界検出を行ってもよい。ここで、シェーディング補正値は、基準画像を均一化するために、各画素に対して設けた色相の値のオフセット値である。これによって、ムラの影響を抑制しつつ背景Gをマスクすることが可能となる。
【0062】
部品Eと背景Gとの境界検出に成功して、認識処理に成功した場合(ステップS404で「YES」の場合)には、当該認識処理で用いられた色相閾値が記憶部120に保存され(ステップS405)、以後に実行される認識処理では、この色相閾値が記憶部120から読み出されて用いられる。
【0063】
一方、部品Eと背景Gとの境界検出に失敗して、認識処理に失敗した場合(ステップS404で「NO」の場合)には、失敗の回数が所定回数に到達したか否かが判断される(ステップS406)。失敗の回数が所定回数未満である場合(ステップS406で「NO」)の場合には、ステップS407で色相閾値を変更してから、ステップS402、S403を再試行する。そして、変更後の色相閾値で認識処理に成功した場合(ステップS404で「YES」の場合)には、変更後の色相閾値が記憶部120に保存され(ステップS405)、以後に実行される認識処理で用いられる。また、失敗の回数が所定回数に到達した場合(ステップS406で「YES」の場合)には、表示/操作ユニット150によってユーザーに警告を報知する(ステップS408)。
【0064】
以上に説明した第1変形例においても、カラー画像Icに含まれる照明波長に対応する色(照明色)と蛍光波長に対応する色(蛍光色)との違いに基づき、部品Eと部品Eの背景Gとを区別して、部品Eを認識する。その結果、蛍光波長の光によって蛍光する部品Eを、背面側から光を照射しつつ正面側から撮像したカラー画像Icに基づき部品Eを認識することが可能となっている。
【0065】
また、カラー画像Icに含まれる照明波長に対応する色(照明色)と蛍光波長に対応する色(蛍光色)との違いを識別する色相閾値(閾値)が記憶部120に記憶されている。そして、撮像制御部140は、照明色と蛍光色との違いを色相閾値に基づき判断して認識処理を実行する。したがって、照明色と蛍光色との違いを色相閾値により的確に判断して、より確実に部品Eを認識することが可能となっている。
【0066】
また、撮像制御部140は、部品Eと部品Eの背景Gとを区別できずに認識処理(ステップS401~403)に失敗した場合(ステップS404で「NO」の場合)には、色相閾値を変更して認識処理を再試行する。かかる構成では、色相閾値が不適切であるために認識処理に失敗した場合には、色相閾値を変更して認識処理が再試行される。したがって、適切な色相閾値を用いて認識処理に成功することが可能となる。なお、色相閾値の変更態様は、色相閾値を徐々に大きくしてもよいし、色相閾値を徐々に小さくしてもよいし、色相閾値をランダムに変更してもよい。
【0067】
また、撮像制御部140は、再試行した認識処理(ステップS401~403)に成功した場合(ステップS404で「YES」)には、成功した認識処理で用いた色相閾値を、以後の認識処理で用いる。かかる構成では、成功した認識処理で用いた色相閾値によって、以後の認識処理でより確実に部品Eを認識することができる。
【0068】
図13は蛍光部品認識の第2変形例を示すフローチャートである。
図13のフローチャートは、撮像制御部140の制御によって実行される。なお、以下では、第1変形例との違いを主に説明することとし、第1変形例と共通する部分は相当符号を付して適宜説明を省略する。
【0069】
第1変形例と第2変形例との違いは、色相閾値の設定態様である。つまり、第1変形例では、記憶部120から読み出した色相閾値を用いるが、第2変形例では、色相画像Ihに応じた色相閾値を設定する。具体的には、色相画像Ihに含まれる背景Gの色相が分析される(ステップS409)。かかる背景Gの色相分析は、例えば、色相画像Ihの周縁部分(すなわち、部品Eが存在しない範囲)の色相を求めることで実行できる。そして、色相分析で求められた色相に基づき、色相閾値が設定される(ステップS410)。この色相閾値は、たとえば、色相分析で求められた色相に所定のマージンを加算した値などである。こうして設定された色相閾値に基づき、ステップS402~S408が実行される。
【0070】
以上に説明した第2変形例においても、カラー画像Icに含まれる照明波長に対応する色(照明色)と蛍光波長に対応する色(蛍光色)との違いに基づき、部品Eと部品Eの背景Gとを区別して、部品Eを認識する。その結果、蛍光波長の光によって蛍光する部品Eを、背面側から光を照射しつつ正面側から撮像したカラー画像Icに基づき部品Eを認識することが可能となっている。
【0071】
また、第2変形例では、認識処理は、カラー画像Icから色相を抽出した色相画像Ihを取得する工程(ステップS401)と、色相画像Ihに含まれる背景Gの色相を特定する工程(ステップS409)と、色相画像IhのうちステップS409で特定した色相(背景Gの色相)と同じ色相の範囲をマスクして被マスク画像Idを生成する工程(ステップS402)と、被マスク画像Idから部品Eのエッジを検出して部品Eと部品Eの背景Gとを区別することで部品Eを認識する工程(ステップS403)とを有する。かかる構成では、カラー画像Icから色相を抽出した色相画像Ihに基づき背景Gの色相を特定し、色相画像Ihのうち背景Gの色相と同じ色相の範囲をマスクする。したがって、部品Eと背景Gとを的確に区別して、より確実に部品Eを認識することが可能となる。
【0072】
図14は蛍光部品認識の第3変形例を示すフローチャートであり、
図15は蛍光部品認識の第3変形例で用いられるデータの一例を示す図である。
図14のフローチャートは、撮像制御部140の制御によって実行される。なお、以下では、第1変形例との違いを主に説明することとし、第1変形例と共通する部分は相当符号を付して適宜説明を省略する。
【0073】
第1変形例と第3変形例との違いは、部品Eの種類に応じて色相閾値を設定する点である。つまり、部品Eの種類が異なると、部品Eの蛍光体Eaの蛍光波長も異なる場合がある。そこで、第3変形例では、
図15に示すように、互いに種類の異なる複数の部品E(1)~E(4)それぞれの蛍光波長の違いに応じて、色相閾値T(1)~T(4)が予め実験的に求められて、記憶部120に記憶されている。そして、
図14の蛍光部品認識では、複数の色相閾値T(1)~T(4)のうち、部品Eの種類に応じた色相閾値Tが記憶部120から読み出されて(ステップS411)、この色相閾値Tに基づきステップS402~S408画実行される。
【0074】
このように第3変形例では、記憶部120は、部品Eの種類による蛍光波長の違いに応じて異なる色相閾値T(1)~T(4)を部品Eの種類毎に記憶する。かかる構成では、部品Eの種類に応じた適切な色相閾値Tで照明色と蛍光色との違いを的確に判断して、部品Eの種類によらずに確実に部品Eを認識することができる。
【0075】
図16は本発明を適用可能な部品実装機の別の構成を模式的に示す図である。
図16の部品実装機1は、例えばWO2017/013781に記載の部品実装機と同様の構成を備え、上記の実施例あるいは第1~第3変形例(実施例など)を適用可能である。この部品実装機1では、円筒形状の蛍光部材7と、蛍光部材7に紫外線を照射するUV光源69Aとが具備されている。そして、蛍光部材7は、UV光源69Aからの紫外線によって蛍光する。かかる部品実装機1の認識処理では、蛍光部材7からの光を、作業位置PAに位置するノズル40に吸着される部品Eに背面側(他方側)から照射しつつ、カラーカメラ60が当該部品Eを正面側(一方側)から撮像する。
【0076】
この際、作業位置PAは、UV光源69Aからの紫外線の通過範囲に存在するため、作業位置PAにおいてノズル40に吸着される部品Eの蛍光体Eaは蛍光する。そこで、蛍光体Eaの蛍光波長と異なる照明波長の光を蛍光部材7から照射するように蛍光部材7を構成することで、上記の実施例などによって部品Eを的確に認識することができる。
【0077】
このように上述の実施形態では、部品実装機1が本発明の「部品実装機」の一例に相当し、撮像制御部140が本発明の「制御部」の一例に相当し、実装ヘッド4が本発明の「実装ヘッド」の一例に相当し、カラーカメラ60が本発明の「カラーカメラ」の一例に相当し、第1照明65Aおよび光拡散部材5が協働して本発明の「照明」として機能し、UV光源69Aおよび蛍光部材7が協働して本発明の「照明」として機能し、第2照明65Bが本発明の「光源」の一例に相当し、UV光源69Aが本発明の「光源」の一例に相当し、部品Eが本発明の「部品」の一例に相当し、カラー画像Icが本発明の「カラー画像」の一例に相当し、被マスク画像Idが本発明の「被マスク画像」の一例に相当し、色相画像Ihが本発明の「色相画像」の一例に相当し、ステップS201~S202あるいはステップS401~S403が本発明の「認識処理」の一例に相当する。
【0078】
なお、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したものに対して種々の変更を加えることが可能である。例えば、
図8のステップS202において、色相、明度および彩度によって部品Eと背景Gとの境界を検出するのが難しい部分(例えば、非蛍光体Ebと背景Gとの境界)については、輝度によって当該境界を検出してもよい。つまり、色に基づき境界を検出する画像処理と、輝度に基づき境界を検出する画像処理とを併用できる。
【0079】
同様に、ステップS401~S403において、色相によって部品Eと背景Gとの境界を検出するのが難しい部分については、輝度によって当該境界を検出してもよい。
【0080】
また、
図11のフローチャートにおいて、色相画像Ihをマスクせずに、色相画像Ihの各画素の色相の違いに基づき、色相画像Ihから直接に背景Gと部品Eとを区別してもよい。
【0081】
また、実装ヘッド4の構成、具体的には昇降シャフト43の個数(換言すれば、ノズル40の個数)など、適宜変更が可能である。したがって、実装ヘッド4は、複数のノズル40を円周状に並べた上述のロータリータイプに限られず、複数のノズル40を直線状に並べたインラインタイプでもよい。
【0082】
また、上記の例では、部品実装機1に具備される光源(第2照明65B、UV光源69A)からの光によって部品Eが蛍光する例を説明した。しかしながら、部品実装機1の外部からの光(例えば、日光などの環境光)によって部品Eが蛍光する場合においても、上記の実施形態を同様に適用できる。
【符号の説明】
【0083】
1…部品実装機
140…撮像制御部(制御部)
4…実装ヘッド
5…光拡散部材(照明)
60…カラーカメラ
65A…第1照明(照明)
65B…第2照明(光源)
69A…UV光源(照明、光源)
7…蛍光部材(照明)
E…部品
Ic…カラー画像
Id…被マスク画像
Ih…色相画像
S201~S202…認識処理
S401~S403…認識処理