IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オムロン株式会社の特許一覧

特開2024-49959位置計測システム及び照明条件好適化システム
<>
  • 特開-位置計測システム及び照明条件好適化システム 図1
  • 特開-位置計測システム及び照明条件好適化システム 図2
  • 特開-位置計測システム及び照明条件好適化システム 図3
  • 特開-位置計測システム及び照明条件好適化システム 図4
  • 特開-位置計測システム及び照明条件好適化システム 図5
  • 特開-位置計測システム及び照明条件好適化システム 図6
  • 特開-位置計測システム及び照明条件好適化システム 図7
  • 特開-位置計測システム及び照明条件好適化システム 図8
  • 特開-位置計測システム及び照明条件好適化システム 図9
  • 特開-位置計測システム及び照明条件好適化システム 図10
  • 特開-位置計測システム及び照明条件好適化システム 図11
  • 特開-位置計測システム及び照明条件好適化システム 図12
  • 特開-位置計測システム及び照明条件好適化システム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024049959
(43)【公開日】2024-04-10
(54)【発明の名称】位置計測システム及び照明条件好適化システム
(51)【国際特許分類】
   G01B 11/00 20060101AFI20240403BHJP
【FI】
G01B11/00 H
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022156495
(22)【出願日】2022-09-29
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100139066
【弁理士】
【氏名又は名称】伊藤 健太郎
(72)【発明者】
【氏名】成瀬 洋介
【テーマコード(参考)】
2F065
【Fターム(参考)】
2F065AA03
2F065AA07
2F065AA20
2F065BB28
2F065FF04
2F065GG15
2F065GG17
2F065HH12
2F065HH13
2F065JJ03
2F065JJ26
2F065PP15
2F065QQ31
2F065SS04
2F065SS13
(57)【要約】
【課題】撮像装置とワークとの間の位置関係が変動しても形態要素のワークに対する相対位置の計測値の変動を小さくする。
【解決手段】ワーク及びワークに備えられた立体の形態要素を対象として、形態要素のワークに対する相対位置を計測する位置計測システムであって、ワークを撮像する撮像装置と、撮像装置が撮像するための光源として使用され、ワークに対する照明条件を変化させることができる照明装置と、ワークの画像を用いて相対位置を求める画像処理部と、ワークの画像の撮像時における撮像装置とワークとの間の位置関係の変動に起因して生じる画像処理部によって求められた相対位置の変動が小さくなる、照明装置の好適照明条件を特定する照明条件特定部と、好適照明条件のもとで撮像装置にワークを撮像させ、撮像されたワークの画像を用いて画像処理部に相対位置を求めさせる計測制御部とを備える。
【選択図】図6
【特許請求の範囲】
【請求項1】
ワーク及び前記ワークに備えられた立体の形態要素を対象として、前記形態要素の前記ワークに対する相対位置を計測する位置計測システムであって、
前記ワークを撮像する撮像装置と、
前記撮像装置が撮像するための光源として使用され、前記ワークに対する照明条件を変化させることができる照明装置と、
前記ワークの画像を用いて前記相対位置を求める画像処理部と、
前記ワークの画像の撮像時における前記撮像装置と前記ワークとの間の位置関係の変動に起因して生じる前記画像処理部によって求められた前記相対位置の変動が小さくなる、前記照明装置の好適照明条件を特定する照明条件特定部と、
前記好適照明条件のもとで前記撮像装置に前記ワークを撮像させ、撮像された前記ワークの画像を用いて前記画像処理部に前記相対位置を求めさせる計測制御部と
を備えた、位置計測システム。
【請求項2】
前記形態要素は、1次元の形態要素であり、
前記画像処理部は、探索線と前記1次元の形態要素との交点を前記形態要素の位置として前記相対位置を求める、
請求項1に記載の位置計測システム。
【請求項3】
前記形態要素は、2次元の形態要素であり、
前記画像処理部は、探索領域内で特定された前記2次元の形態要素の代表位置を前記形態要素の位置として前記相対位置を求める、
請求項1に記載の位置計測システム。
【請求項4】
前記形態要素は、複数の1次元の形態要素であり、
前記画像処理部は、複数の探索線のうちの1の探索線と前記複数の1次元の形態要素のうちの1の形態要素との交点の位置を、前記1の探索線と前記1の形態要素との複数の組について求め、求めた複数の交点の位置に基づいて求めた代表位置を前記複数の1次元の形態要素の位置として前記相対位置を求める、
請求項1に記載の位置計測システム。
【請求項5】
前記照明条件特定部が特定する好適照明条件は、前記好適照明条件の特定に用いる画像が複数の前記ワークについての画像であり、かつ、1の前記ワークについて前記撮像装置と前記ワークとの間の前記位置関係が互いに異なる複数の画像を含み、さらに、それぞれの前記ワークについて前記相対位置の真値とみなす値が利用可能とされている場合に、それぞれの前記ワークについての前記真値とみなす値からの前記相対位置の変動の、前記複数のワークについての合計が小さくなる照明条件である、
請求項1に記載の位置計測システム。
【請求項6】
前記照明条件特定部が特定する好適照明条件は、前記好適照明条件の特定に用いる画像が複数の前記ワークについての画像であり、かつ、1の前記ワークについて前記撮像装置と前記ワークとの間の前記位置関係が互いに異なる複数の画像を含む場合に、それぞれの前記ワークについての前記相対位置の変動の、前記複数のワークについての合計が小さくなる照明条件である、
請求項1に記載の位置計測システム。
【請求項7】
前記照明条件特定部は、前記ワークに複数の前記立体の形態要素が備えられる場合において、前記立体の形態要素毎に前記好適照明条件を特定し、
前記画像処理部は、前記ワークに備えられた前記複数の立体の形態要素毎に、処理の対象とする前記立体形態要素に対応する前記好適照明条件のもとで撮像された前記ワークの画像を用いて前記相対位置を求める、
請求項1に記載の位置計測システム。
【請求項8】
さらに、複数の照明条件のもとで撮像された前記ワークの画像に基づいて、撮像に用いられた照明条件とは異なる照明条件のもとで撮像された場合に得られるはずの前記ワークの仮想画像を生成する仮想画像生成部を備え、
前記画像処理部は、前記ワークの画像が前記仮想画像である場合にも前記相対位置を求め、
前記照明条件特定部は、前記仮想画像について、又は撮像された前記ワークの画像及び前記仮想画像について求められた前記相対位置の変動が小さくなる、前記好適照明条件を特定する、
請求項1から7のいずれか1項に記載の位置計測システム。
【請求項9】
さらに、前記画像処理部によって求められた前記相対位置の、基準位置からのずれ量を求め、前記ずれ量に基づいて前記相対位置の良否を判定する判定部を備えた、請求項8に記載の位置計測システム。
【請求項10】
さらに、前記画像処理部によって求められた前記相対位置の、基準位置からのずれ量を求め、前記ずれ量に基づいて前記相対位置の良否を判定する判定部を備えた、請求項1から7のいずれか1項に記載の位置計測システム。
【請求項11】
ワーク及び前記ワークに備えられた立体の形態要素を対象として、前記形態要素の前記ワークに対する相対位置を計測するための撮像の際の照明の照明条件を好適化する照明条件好適化システムであって、
前記ワークを撮像する撮像装置と、
前記撮像装置が撮像するための光源として使用され、前記ワークに対する照明条件を変化させることができる照明装置と、
前記ワークの画像を用いて前記相対位置を求める画像処理部と、
前記ワークの画像の撮像時における前記撮像装置と前記ワークとの間の位置関係の変動に起因して生じる前記画像処理部によって求められた前記相対位置の変動が小さくなる、前記照明装置の好適照明条件を特定する照明条件特定部と
を備えた、照明条件好適化システム。
【請求項12】
ワーク及び前記ワークに備えられた立体の形態要素を対象として、前記形態要素の前記ワークに対する相対位置を計測する位置計測システムであって、
前記ワークを撮像する撮像装置と、
前記撮像装置が撮像するための光源として使用され、前記ワークに対する照明条件を変化させることができる照明装置と、
前記ワークの画像を用いて前記相対位置を求める画像処理部と、
前記ワークの画像の撮像時における前記撮像装置と前記ワークとの間の位置関係の変動に起因して生じる前記画像処理部によって求められた前記相対位置の変動が小さくなる、前記照明装置の予め特定された好適照明条件を取得する照明条件特定部と、
前記好適照明条件のもとで前記撮像装置に前記ワークを撮像させ、撮像された前記ワークの画像を用いて前記画像処理部に前記相対位置を求めさせる計測制御部と
を備えた、位置計測システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、位置計測システム及び照明条件好適化システムに関する。
【背景技術】
【0002】
LED素子を基板に実装する場合、LEDから出射される光を受けるレンズとの間の位置精度を確保するため、LED素子は基板上の正しい位置に実装される必要がある。そこで、LED実装位置の検査が行われる。
【0003】
特許文献1には、LED素子が実装済みの基板を保持したキャリアを光学認識することにより、キャリアに形成された代表マークの位置およびキャリアにおいてLED素子が基板に実装された実装位置を検出し、実装位置の代表マークに対する相対位置を求めることが記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2014-179186号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、LED素子のような丸みを帯びた立体物については、撮像のために立体物に照射される光の方向が変動すると立体物表面の陰影の状態が変化するため、位置の計測値の変動が発生する場合がある。基板をコンベアで搬送しながら撮像するような状況においては、撮像時の撮像装置及び照明装置と基板との間の位置関係にばらつきが生じ、基板上の立体物に照射される光の方向も変動することとなるため、位置の計測値の変動が生じうる。
特許文献1に記載されるような従来の方法では、撮像時の撮像装置及び照明装置と基板との間の位置関係にばらつきが生じないことが前提とされていたため、上記の計測値の変動が生じうることが認識されていなかった。
【0006】
本発明は、基板のようなワークに備えられたLED素子のような立体の形態要素のワークに対する相対位置を計測するに際し、撮像装置とワークとの間の位置関係が変動しても形態要素のワークに対する相対位置の計測値の変動を小さくできるようにすることを目的とする。
【課題を解決するための手段】
【0007】
本発明の一実施形態に係る位置計測システムは、ワーク及び前記ワークに備えられた立体の形態要素を対象として、前記形態要素の前記ワークに対する相対位置を計測する位置計測システムであって、前記ワークを撮像する撮像装置と、前記撮像装置が撮像するための光源として使用され、前記ワークに対する照明条件を変化させることができる照明装置と、前記ワークの画像を用いて前記相対位置を求める画像処理部と、前記ワークの画像の撮像時における前記撮像装置と前記ワークとの間の位置関係の変動に起因して生じる前記画像処理部によって求められた前記相対位置の変動が小さくなる、前記照明装置の好適照明条件を特定する照明条件特定部と、前記好適照明条件のもとで前記撮像装置に前記ワークを撮像させ、撮像された前記ワークの画像を用いて前記画像処理部に前記相対位置を求めさせる計測制御部とを備えたものである。
【0008】
上記構成によれば、ワークに備えられた立体の形態要素のワークに対する相対位置を計測するに際して、撮像装置とワークとの間の位置関係が変動しても形態要素のワークに対する相対位置の計測値の変動を小さくすることができる。
【0009】
また、前記形態要素は、1次元の形態要素であり、前記画像処理部は、探索線と前記1次元の形態要素との交点を前記形態要素の位置として前記相対位置を求めるようにしてもよい。
【0010】
また、前記形態要素は、2次元の形態要素であり、前記画像処理部は、探索領域内で特定された前記2次元の形態要素の代表位置を前記形態要素の位置として前記相対位置を求めるようにしてもよい。
【0011】
また、前記形態要素は、複数の1次元の形態要素であり、前記画像処理部は、複数の探索線のうちの1の探索線と前記複数の1次元の形態要素のうちの1の形態要素との交点の位置を、前記1の探索線と前記1の形態要素との複数の組について求め、求めた複数の交点の位置に基づいて求めた代表位置を前記複数の1次元の形態要素の位置として前記相対位置を求めるようにしてもよい。
【0012】
また、前記照明条件特定部が特定する好適照明条件は、前記好適照明条件の特定に用いる画像が複数の前記ワークについての画像であり、かつ、1の前記ワークについて前記撮像装置と前記ワークとの間の前記位置関係が互いに異なる複数の画像を含み、さらに、それぞれの前記ワークについて前記相対位置の真値とみなす値が利用可能とされている場合に、それぞれの前記ワークについての前記真値とみなす値からの前記相対位置の変動の、前記複数のワークについての合計が小さくなる照明条件とすることができる。
【0013】
また、前記照明条件特定部が特定する好適照明条件は、前記好適照明条件の特定に用いる画像が複数の前記ワークについての画像であり、かつ、1の前記ワークについて前記撮像装置と前記ワークとの間の前記位置関係が互いに異なる複数の画像を含む場合に、それぞれの前記ワークについての前記相対位置の変動の、前記複数のワークについての合計が小さくなる照明条件とすることができる。
【0014】
また、前記照明条件特定部は、前記ワークに複数の前記立体の形態要素が備えられる場合において、前記立体の形態要素毎に前記好適照明条件を特定し、前記画像処理部は、前記ワークに備えられた前記複数の立体の形態要素毎に、処理の対象とする前記立体形態要素に対応する前記好適照明条件のもとで撮像された前記ワークの画像を用いて前記相対位置を求めるようにしてもよい。
【0015】
さらに、複数の照明条件のもとで撮像された前記ワークの画像に基づいて、撮像に用いられた照明条件とは異なる照明条件のもとで撮像された場合に得られるはずの前記ワークの仮想画像を生成する仮想画像生成部を備え、前記画像処理部は、前記ワークの画像が前記仮想画像である場合にも前記相対位置を求め、前記照明条件特定部は、前記仮想画像について、又は撮像された前記ワークの画像及び前記仮想画像について求められた前記相対位置の変動が小さくなる、前記好適照明条件を特定するようにしてもよい。
【0016】
さらに、前記画像処理部によって求められた前記相対位置の、基準位置からのずれ量を求め、前記ずれ量に基づいて前記相対位置の良否を判定する判定部を備えるようにしてもよい。
【0017】
本発明の一実施形態に係る照明条件好適化システムは、ワーク及び前記ワークに備えられた立体の形態要素を対象として、前記形態要素の前記ワークに対する相対位置を計測するための撮像の際の照明の照明条件を好適化する照明条件好適化システムであって、前記ワークを撮像する撮像装置と、前記撮像装置が撮像するための光源として使用され、前記ワークに対する照明条件を変化させることができる照明装置と、前記ワークの画像を用いて前記相対位置を求める画像処理部と、前記ワークの画像の撮像時における前記撮像装置と前記ワークとの間の位置関係の変動に起因して生じる前記画像処理部によって求められた前記相対位置の変動が小さくなる、前記照明装置の好適照明条件を特定する照明条件特定部とを備えたものである。
【0018】
上記構成によれば、ワークに備えられた立体の形態要素のワークに対する相対位置を計測するに際して、撮像装置とワークとの間の位置関係が変動しても形態要素のワークに対する相対位置の計測値の変動を小さくすることができる照明条件を提供することができる。
【0019】
本発明の一実施形態に係る位置計測システムは、ワーク及び前記ワークに備えられた立体の形態要素を対象として、前記形態要素の前記ワークに対する相対位置を計測する位置計測システムであって、前記ワークを撮像する撮像装置と、前記撮像装置が撮像するための光源として使用され、前記ワークに対する照明条件を変化させることができる照明装置と、前記ワークの画像を用いて前記相対位置を求める画像処理部と、前記ワークの画像の撮像時における前記撮像装置と前記ワークとの間の位置関係の変動に起因して生じる前記画像処理部によって求められた前記相対位置の変動が小さくなる、前記照明装置の予め特定された好適照明条件を取得する照明条件特定部と、前記好適照明条件のもとで前記撮像装置に前記ワークを撮像させ、撮像された前記ワークの画像を用いて前記画像処理部に前記相対位置を求めさせる計測制御部とを備えたものである。
【0020】
上記構成によれば、ワークに備えられた立体の形態要素のワークに対する相対位置を計測するに際して、特定済みの好適照明条件を利用して、撮像装置とワークとの間の位置関係が変動しても形態要素のワークに対する相対位置の計測値の変動を小さくすることができる。
【発明の効果】
【0021】
本発明によれば、ワークに備えられた立体の形態要素のワークに対する相対位置を計測するに際して、撮像装置とワークとの間の位置関係が変動しても形態要素のワークに対する相対位置の計測値の変動を小さくできる。
【図面の簡単な説明】
【0022】
図1】本発明の実施形態に係る位置計測システム1の例を模式的に示す図。
図2】本発明の実施形態に係るカメラ102に一体化された照明装置LSの模式図。
図3】本発明の実施形態に係る照明装置LSのXZ断面を示す図。
図4】本発明の実施形態に係る照明装置LSの底面図。
図5】本発明の実施形態に係る位置計測システム1に含まれる制御装置のハードウェア構成を模式的に示す図。
図6】本発明の実施形態に係る位置計測システム1の機能構成の一例を模式的に示す図。
図7】本発明の実施形態に係る位置計測システム1の動作段階を示す図。
図8】本発明の実施形態において計測対象とする、部品を実装した基板を示す図。
図9】本発明の実施形態に係る部品に生じる陰領域の変動を説明する図。
図10】本発明の実施形態に係る1次元マーカーの位置計測を説明する図。
図11】本発明の実施形態に係る2次元マーカーの位置計測を説明する図。
図12】本発明の実施形態に係る複数の1次元マーカーから決められる位置の計測を説明する図。
図13】本発明の実施形態に係る基底発光パターンの例を示す図。
【発明を実施するための形態】
【0023】
以下、本発明の一側面に係る実施の形態(以下「本実施形態」とも表記する)を、図面に基づいて説明する。ただし、以下で説明する実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
【0024】
図1は、本発明による位置計測システム1の例を模式的に示す図である。
位置計測システム1は、例えば、ベルトコンベア2上を搬送される計測対象であるワーク4を撮像して得られる入力画像に対して画像処理を実行することで、ワーク4に備えられた立体の形態要素のワークに対する相対位置を計測する。ワーク4は例えば基板であり、その上にLED素子が実装されている。LED素子は、ワーク4に備えられた立体の形態要素の例である。
【0025】
ベルトコンベア2の上部には、照明装置LSが一体化された撮像装置としてのカメラ102が配置されており、カメラ102の撮像視野6はベルトコンベア2の所定領域を含むように構成される。ここで、照明装置LSとしては、例えばMDMC(Multi Direction Multi Color)照明装置等のマルチチャネル照明装置が挙げられ、より具体的には、本出願人による例えば特願2018-031747に記載の照明装置を例示することができる。
【0026】
図2は、カメラ102に一体化された照明装置LSの模式図である。図2に示すように、照明装置LSから光が照射される方向をZ軸、紙面の左右方向をX軸、X軸およびZ軸に対して垂直な軸をY軸とする。また、光が照射される側を下とし、図2の「Front」と記載した位置から照明装置LSと対峙した場合の右側を右、左側を左、手前側を前、奥側を後ろとする。照明装置LSは、カメラ102を介して処理装置10に制御される。照明装置LSの上部には、カメラ102が照明装置LSの上部から対象物Wを撮像することができるように、開口部46が設けられている。
【0027】
また、図3は照明装置LSのXZ断面を示す図(図2の「Front」と示した位置から見たXZ断面)、図4は照明装置LSの底面図である。図3,4に示すように、マルチチャネル照明装置としての照明装置LSは、複数のチャネル照明部LSiを有している。より具体的には、照明装置LSは、図4に示すように、平面視において中央部に円形状を成す1つのチャネル照明部LSiCと、その周りに同心円状に配置された扇帯状を成す12個のチャネル照明部LSiを有している。中央部のチャネル照明部LSiCから照射される光は、図3に示すように、反射板47にあたり、反射することによって下に向かうようになっている。この場合、照明装置LSは、合計13個のチャネル照明部LSiから構成され、各チャネル照明部LSiが3色発光する場合、単色且つ単チャネルの既定照明発光パターンは13×3=39パターンとなる。さらに、カメラ102の撮像により生成された画像のデータは、処理装置100へ送信される。カメラ102による撮像は、周期的又はイベント的に実行される。
【0028】
また、照明装置LSは、マルチチャネル照明装置の他に、可動照明装置であってもよい。可動照明装置とは、照明部がカメラ102から分離されていて、照明部の位置を機械的に動かすことによってワーク4に対する照明方向を変更することができる照明装置である。可動照明装置を用いる場合の照明方向も照明条件の一例である。
【0029】
照明条件は、例えば、(1)照明装置内の発光強度及び/又は発光色の空間分布、又は(2)可動照明装置における照明装置の位置で決まる発光位置である。(1)及び(2)を組み合わせた条件でもよい。
【0030】
処理装置100は、照明装置LSに対して照明指令値を出力し、照明装置LSを照明指令値に対応する発光パターンで発光させる。
【0031】
処理装置100は、カメラ102に対して撮像実行を指示し、撮像された画像を入力する。撮像実行を指示するタイミングは、図示しないセンサによってワーク4が撮像されるのに適した位置に到来したことが検出されタイミングであってよい。処理装置100から撮像実行のタイミングを指示することなく、カメラ102が一定の時間間隔で撮像した画像を処理装置100が順次入力し、処理装置100が入力した画像の中から使用する画像を選択するようにしてもよい。
【0032】
処理装置100は、処理中の状態や計測結果等を表示するための出力部としてのディスプレイ104と、ユーザによる操作を受け付ける入力部としての例えばキーボード106及びマウス108とが接続されていてもよい。処理装置100は、ネットワーク8に接続されており、ネットワーク8を介して他の装置と通信することができる。
【0033】
(1.ハードウェア構成)
次に、図5を用いて、本開示の一実施形態に係る位置計測システム1に含まれる処理装置100のハードウェア構成の一例について説明する。図5は、処理装置100のハードウェア構成を模式的に示す図である。
【0034】
処理装置100は、一例として、汎用的なコンピュータアーキテクチャに従って構成される汎用コンピュータを用いて実現されてもよい。処理装置100は、プロセッサ110と、メインメモリ112と、カメラインターフェイス114と、入力インターフェイス116と、表示インターフェイス118と、通信インターフェイス120と、ストレージ130とを含む。これらのコンポーネントは、典型的には、内部バス122を介して互いに通信可能に接続されている。
【0035】
プロセッサ110は、ストレージ130に格納されている各種プログラムをメインメモリ112に展開して実行することで、後述するような機能及び処理を実現する。メインメモリ112は、揮発性メモリにより構成され、プロセッサ110によるプログラム実行に必要なワークメモリとして機能する。
【0036】
カメラインターフェイス114は、カメラ102と接続されて、カメラ102にて撮像された画像138を取得する。カメラインターフェイス114は、カメラ102に対して撮像タイミング等を指示するようにしてもよい。
【0037】
入力インターフェイス116は、キーボード106及びマウス108といった入力部と接続されて、ユーザによる入力部に対する操作等を示す指令を取得する。
【0038】
表示インターフェイス118は、プロセッサ110によるプログラムの実行によって生成される各種処理結果をディスプレイ104へ出力する。
【0039】
通信インターフェイス120は、ネットワーク8を介して、他の装置と通信するための処理を担当する。
【0040】
ストレージ130は、OS(Operating System)や計測プログラム132等の、コンピュータを処理装置100として機能させるためのプログラムを格納している。ストレージ130は、さらに、照明パラメータ134、複数の画像138を格納していてもよい。照明パラメータ134は、照明条件を表すパラメータである。照明パラメータ134に基づいて照明指令値が生成される。
【0041】
ストレージ130に格納される計測プログラム132は、DVD(Digital Versatile Disc)等の光学記録媒体又はUSB(Universal Serial Bus)メモリ等の半導体記録媒体等を介して、処理装置100にインストールされてもよい。或いは、計測プログラム132は、ネットワーク上のサーバ装置等からダウンロードするようにしてもよい。
【0042】
このように汎用コンピュータを用いて実現する場合には、OSが提供するソフトウェアモジュールのうち、必要なソフトウェアモジュールを所定の順序及び/又はタイミングで呼び出して処理することで、本実施形態に係る機能の一部を実現するものであってもよい。すなわち、本実施形態に係る計測プログラム132は、本実施形態に係る機能を実現するための全てのソフトウェアモジュールを含んでおらず、OSと協働することで、必要な機能が提供されるようにしてもよい。
【0043】
また、計測プログラム132は、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、計測プログラム132自体には、上記のような組み合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。このように、本実施形態に係る計測プログラム132は、他のプログラムに組み込まれた形態であってもよい。
【0044】
なお、図5には、汎用コンピュータを用いて処理装置100を実現する例を示すが、これに限定されず、その全部又は一部の機能を専用回路(例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)等)を用いて実現してもよい。さらに、一部の処理をネットワーク接続された外部装置に担当させてもよい。
【0045】
(2.機能構成)
次に、図6を用いて、本開示の実施形態に係る位置計測システム1の機能構成の一例を説明する。図6は、本開示の実施形態に係る位置計測システム1の機能構成の一例を模式的に示す図である。位置計測システム1の処理装置100は、画像処理部141、照明条件特定部142、計測制御部143、記憶部144、判定部145及び仮想画像生成部146を含むことができる。
【0046】
処理装置100における画像処理部141、照明条件特定部142、計測制御部143、判定部145及び仮想画像生成部146は、プロセッサ110が計測プログラム132を実行することによって実現される。プロセッサ110は、汎用プロセッサである。プロセッサ110の全部又は一部の機能を専用回路(例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)等)を用いて実現してもよい。さらに、一部の処理をネットワーク接続された外部装置に担当させてもよい。
【0047】
画像処理部141は、ワーク4の画像を用いて、ワーク4に備えられた立体の形態要素のワーク4に対する相対位置を求める。
【0048】
照明条件特定部142は、ワーク4の画像の撮像時におけるカメラ102とワーク4との間の位置関係の変動に起因して生じる画像処理部141によって求められた相対位置の変動が小さくなる、照明装置LSの好適照明条件を特定する。
【0049】
計測制御部143は、好適照明条件のもとでカメラ102にワーク4を撮像させ、撮像されたワーク4の画像を用いて画像処理部141にワーク4に備えられた立体の形態要素のワークに対する相対位置を求めさせる。
【0050】
記憶部144は、画像処理部141によって処理される画像を記憶する。また、記憶部144は、照明条件特定部142によって特定された好適照明条件を表す照明パラメータを記憶する。記憶部144は、位置計測システム1の動作に必要なプログラム又はデータを記憶する上述したストレージ130によって実現される。なお、処理装置100は、記憶部144を含まなくてもよく、記憶部144に替えて、外部(装置)のストレージを用いてもよい。
【0051】
判定部145は、画像処理部141によって求められた相対位置の、基準位置からのずれ量を求め、ずれ量に基づいて相対位置の良否を判定する。位置計測システム1は、相対位置を求めるが、相対位置の良否の判定までは行わない場合は、判定部145を含まなくてもよい。
【0052】
仮想画像生成部146は、複数の照明条件のもとで撮像されたワークの画像に基づいて、撮像に用いられた照明条件とは異なる照明条件のもとで撮像された場合に得られるはずのワークの仮想画像を生成する。仮想画像は、照明条件を好適化するために利用することができる。位置計測システム1は、実際に撮像されたワークの画像のみに基づいて照明条件を好適化する場合は、仮想画像生成部146を含まなくてもよい。
【0053】
位置計測システム1は、好適照明条件を特定する照明条件好適化システムとして用いることもできる。この場合、計測制御部143を含まなくてもよい。
【0054】
位置計測システム1は、構成を一部変更して、外部から取得した好適照明条件のもとで計測する位置計測システムとして用いることもできる。この場合、照明条件特定部142に代えて、ワークの画像の撮像時におけるカメラ102とワーク4との間の位置関係の変動に起因して生じる画像処理部141によって求められた相対位置の変動が小さくなる、照明装置LSの予め特定された好適照明条件を取得する照明条件特定部を備える。
【0055】
(3.動作例)
以下の動作例の説明において、数式中で使用する各記号の意味は表1~3に示すとおりである。ボールドの小文字はベクトルを示し、ボールドの大文字は行列を示す(文中においては非ボールドで示す。)。それ以外の記号はスカラーである。また、∥∥はベクトルに対するL2ノルムを示すものとする。
【0056】
【表1】
【0057】
【表2】
【0058】
【表3】
【0059】
(照明条件特定段階と計測段階)
図7は、位置計測システム1の動作段階を示す図である。図7に示すように、位置計測システム1の動作は、照明条件特定段階と計測段階とに分けられる。
照明条件特定段階においては、位置計測システム1は、次のように動作する。
画像処理部141は、複数の照明条件のもとで撮像されたワーク4の各画像について、ワーク4に備えられた立体の形態要素のワーク4に対する相対位置を求める。
【0060】
照明条件特定部142は、ワーク4の画像の撮像時におけるカメラ102とワーク4との間の位置関係の変動に起因して生じる画像処理部141によって求められた相対位置の変動が小さくなる、照明装置LSの好適照明条件を特定する。
【0061】
照明条件特定段階における照明装置LSに対する照明条件の設定及びカメラ102に対する撮像の制御は、手動操作によって行ってもよいし、処理装置100にプログラムされた自動操作によって行ってもよい。
【0062】
計測段階において、位置計測システム1は、次のように動作する。
計測制御部143は、好適照明条件のもとでカメラ102にワーク4を撮像させ、撮像されたワーク4の画像を用いて画像処理部141にワーク4に備えられた立体の形態要素のワークに対する相対位置を求めさせる。
【0063】
相対位置の良否を判定する場合は、判定部145は、画像処理部によって求められた相対位置の、基準位置からのずれ量を求め、ずれ量に基づいて相対位置の良否を判定する。ここで、基準位置は、設計上の基準位置であってもよく、複数の計測された相対位置の統計値(例えば平均値)であってもよい。
【0064】
(位置の計測値の変動要因)
図8は、部品を実装した基板を示す図である。部品は立体の形態要素の例であり、基板はワーク4の例である。基板には基板位置基準マークA、B、Cが印刷されている。基板位置基準マークAは基板座標系の原点r (0)を示す。基板位置基準マークAと基板位置基準マークBとを結ぶ方向が基板座標系におけるX方向である。基板位置基準マークAと基板位置基準マークCとを結ぶ方向が基板座標系におけるY方向である。撮像された画像上で、部品の左側の辺と位置計測システム1が設定する探索線との交点が測定位置r (1)とされる。
【0065】
図9は、部品に生じる陰領域の変動を説明する図である。図9は、図8の部品の部分を基板のY方向から見た図である。撮像時点における基板の搬送位置のばらつきにより、第1の撮像時の部品の位置は第1の搬送位置における部品として図示した部品の位置であり、第2の撮像時の部品の位置は第2の搬送位置における部品として図示した部品の位置であるとする。搬送位置のばらつきにより部品の左側の丸みを帯びた角にあたる光線の方向は図示したように変化する。これに伴い、光が当たる領域と光が当たらない陰領域との境界位置も変化する。この陰領域の境界位置が画像上で部品の左側の辺を表すエッジと認識される。したがって、搬送位置のばらつきによってエッジの位置の計測値が変動する。この場合の計測値の変動は、計測対象としている部品の左側の辺に対して図9で左上方向から光が照射されていて計測対象部分に影が生じないようになっていれば軽減されることが予想されるであろう。このような照明装置LS及びカメラ102と基板との位置関係の変動に起因するエッジの位置の計測値の変動は、基板の搬送方向の位置の変動だけでなく、基板の表面の傾きの変化によっても生じる。また、どの程度計測値が変動するかは、部品の形状、部品に光の透過性があるかどうか、部品の表面に鏡面反射性があるかどうか、部品の色と照明光の色との関係などの部品の状態にも依存する。
【0066】
(マーカー)
以下、画像上において位置を計測したい立体の形態要素のことをマーカーと記載し、立体の形態要素に対応して定められる計測対象点の位置をマーカーの位置と記載する。
【0067】
マーカーには1次元マーカーと2次元マーカーとがある。1次元マーカーは、エッジである。エッジとは、画像内で画素の濃度、色などの属性が周辺に対して急激に変化する箇所(画素の集合)が線状に分布している部分である。1次元マーカーの位置を特定するために探索線が用いられる。1次元マーカーの位置は、エッジと交差する探索線上のエッジの位置である。
【0068】
2次元マーカーは、図形である。2次元マーカーの位置は、図形の特定の特徴点の位置である。図形の特徴点は、例えば、閉曲線図形の重心、円や円弧の中心、2線の交点、折れ線の角、線分の端点である。2次元マーカーの位置は、選ばれた種類の特徴点を対象として計測される。
【0069】
以下の説明では、数式の内容との整合上、照明条件の「最適化」、計測値の分散の「最小化」などの用語も用いるが、実際には最適ではなくとも実用上支障のない好適な範囲で照明条件が決定されたり、計測値の分散が小さくされたりすれば足りるのであり、最良の1点のみを意味する「最適化」等を実現することは発明の趣旨ではない。
【0070】
撮像された又は仮想画像として作成された画像gを参照して、マーカーの位置を計測する一般的な手順を示す。画像gより、マーカーの座標rを特定する状況を考える。位置計測の問題設定では、ワークとカメラの位置関係は毎回の搬送によってばらつくことを想定するため、カメラ座標系ではなくてワーク座標系において計測しなくてはならない。例えば、カメラ座標系におけるワーク位置
【数1】
を測定する手段が別に存在しており、ワークの位置に並進ばらつきがある場合には
【数2】
のようにワーク座標系に変換する処理がされているものとする。
【数1】
は画像gより検出されるワークの位置であっても良い。マーカーの座標rは、直交座標系のワーク座標系で表してもよいし、極座標系のワーク座標系で表してもよい。
【0071】
マーカー位置は、画像gの全体又は一部を探索領域Eとして、探索領域Eの中で予め決められたマーカー尤度関数Lを最大化させる(もしくは既定の座標の検索順序にて、最初に尤度が閾値を超える)位置として決定される。
【数3】
【0072】
ここで、θはマーカー検出のためのパラメータベクトルである。パラメータベクトルは、尤度関数Lを求めるアルゴリズムにおいて用いられる値のほか、尤度関数Lを求めるアルゴリズム自体を指定する値を含んでもよい。例えば、探索線上の画像濃度に対するしきい値を設け、探索線の始点から終点に向かって画像濃度がしきい値を下から上に超える点の位置をエッジ位置とするか、しきい値を上から下に超える点の位置をエッジ位置とするかのいずれかのアルゴリズムを指定するパラメータを含んでもよい。
【0073】
位置計測の問題設定は、同一のワーク個体を計測対象とする際に、カメラに対するワークの位置のばらつき(搬送ばらつき)があってもワークに対する立体の形態要素の相対位置の計測値がばらつかないようにすることである。同一ワークについての搬送ばらつきのある状況で撮像したM個のワーク画像g(1≦m≦M)について、以下で定義される位置の計測値の分散Jが最小化されるように、照明条件を決定する。その際、マーカー検出パラメータθも併せて決定してもよいし、マーカー検出パラメータθは固定値であってもよい。
【数4】
【0074】
(計測の問題設定のバリエーション)
計測値の分散Jは、表4に示すものであってもよい。
【表4】
表4では、位置と姿勢とを分けて示したが、一般に本明細書においてはマーカー(立体の形態要素)の位置にはマーカーの姿勢も含み、ワークの位置にはワークの姿勢も含むものとする。
【0075】
(照明条件の好適化)
候補となる複数の照明条件の中から好適な条件を選択する問題設定を考える。候補となる照明条件は例えば次のように与えられるものとする。
・照明装置がマルチCH照明の場合、各照明CHの発光量のパターンがZパターンだけ用意されており、その中から計測に適したパターンを選択する。
・照明装置が可動照明(=照明装置の位置又は姿勢が制御可能であるもの)である場合、照明装置の位置又は姿勢がz個だけ用意されているときに、その中から計測に適した位置又は姿勢を選択する。
【0076】
本実施形態では、選択可能な各照明条件のもとで、搬送ばらつきを模してカメラに対するワークの位置が互いに異なる状態での複数回の撮像を行い、その結果得られた各画像から求めた位置計測結果のばらつきが最小となる照明条件を選択する。
【0077】
具体的には、実際の検査の環境において、同一のワーク個体を1つの照明条件で搬送しながらM枚の画像を撮像することを、Z個の照明条件毎に繰り返す。このように撮像されたZM枚の画像の中の1枚の画像を gz,mと表記する。
【0078】
求めるべき最適な照明条件zoptは、測定位置のばらつきJを最小化するものとして以下のように求められる。
【数5】
上式の最適化問題を、任意の最適化手法で解くことで最適な照明条件が得られることになる。
【0079】
最適なマーカー検出パラメータθoptも同時に求めるようにしてもよい。照明条件及びマーカー検出パラメータの最適化問題は以下のように表現できる。
【数6】
【0080】
照明条件特定段階において、マーカーを含む領域をユーザに予め指定させるようにしてもよい。そうすると、ユーザが意図していない画像特徴を誤って計測対象にしてしまう可能性が減少する。この領域のことを以降、探索領域E(p)と呼ぶ。
【0081】
1次元マーカーについては、エッジの探索線を探索領域E(p)とみなすことができる。あるいは、エッジ上の計測対象位置を含むように探索領域E(p)を設定し、探索領域E(p)の中でエッジの探索線を自動設定するようにしてもよい。2次元マーカーについての探索領域E(p)は、2次元マーカーである図形を含むように設定される。
【0082】
(実施例1)1次元エッジ情報から1次元座標軸上の位置を求める
図10は、1次元マーカーの位置計測を説明する図である。
以下では、具体的にマーカー尤度関数を定義する実施例を述べる。
最も簡単な例として、画像上で定義される探索線上からマーカーの位置を探す問題を考える。これはマーカー探索領域が線分である場合に相当する。マーカーとしては、少なくとも探索線方向に空間周波数がある(勾配がゼロではない)構造が必要となる。例えば輝度や色の急な変化に相当する。探索線上における画像のプロファイル関数をφ(t) とすると、これが与えられればマーカー位置を確定させることができる。プロファイル関数とは、探索線上の値として周辺の画像情報を集約させたものであり、例えば探索線上の各点について、その点を通り探索線に直行する方向の画素値の集合に対して、ノイズ除去のための平均値やメディアン値をとったものである。必要に応じて微分や周波数フィルタなどの後処理を適用してもよい。
【0083】
この場合、マーカー尤度関数としては、例として以下の表で示すバリエーションが挙げられる。ここで、マーカー尤度関数における位置rはプロファイル上の位置tと1対1で対応している。
【表5】
【0084】
(実施例2)2次元マーカーから2次元座標軸上の位置を求める
図11は、2次元マーカーの位置計測を説明する図である。
2次元マーカーの例としては、所定の任意の図形(例:円や矩形)が挙げられる。図形は、何らかの局所特徴量で識別される部分画像であってよい。ただし、座標計測をしたい全ての座標の次元の方向について空間周波数が存在している、つまり、ヘッセ行列が縮退していない必要がある。位置rは何らかの決め方による図形の代表位置であり、例えばxy座標で表される。図11は、図形が正方形であり、代表位置を正方形の中心とした場合を表している。この際のマーカー尤度関数の例としては、以下の表で示すバリエーションが存在している。
【0085】
【表6】
マーカー座標を特定するための特徴量としては、例えばSIFT, SURF, HoG, Haar-Likeなどのこれまで提案されている任意の局所特徴量を用いることができる。探索領域E(p)からマーカーとなる座標を決定する作業は、SIFT, SURF, HoGなどの特徴量におけるキーポイントの探索と類似したものである。
【0086】
(実施例3)複数の1次元エッジ情報から2次元座標軸上の位置を求める
図12は、複数の1次元マーカーから決められる位置の計測を説明する図である。
(実施例1)のケースでは、画像上で予め決められた探索線上でマーカー座標が決定されたが、図12(A)のように平行でない2つ直線状のエッジの方向が決定されれば、エッジの交点の座標を特定することが可能である。ノイズに対するロバスト性を確保するために、多くの1次元マーカー座標の情報を統合するケースは実用上多い。
【0087】
例えば、基板上の丸い穴の位置や四角い部品の位置を特定したい用途においては、図12(B)のように円周上や図12(C)のように矩形の辺上に、エッジ方向と直行するように細かい間隔で探索線を配置し、それぞれの探索線上でエッジ座標(=1次元マーカー座標)を検出して、それらのエッジ位置情報から外れ値除去や最小二乗フィッティングをして、計測対象の位置を確定させる。このような手法を用いる場合、探索領域の指示は、検出したい形状の輪郭部分を囲う二重線の間の区間形状として指定し、二重線の間に二重線のそれぞれを終端とする線分である探索線を設定するのが良い。
【0088】
(実施例4)個体ばらつきを含む場合の最適化
ワークの搬送ばらつきに加え、個体ばらつきも加えて照明条件を好適化してもよい。ここで、個体ばらつきの真値とみなす値(以下、単に「真値」という)は、別の計測手段によって測定できているものとする。M個のワークサンプル集合を、Q個あるワーク個体ごとの搬送ばらつきのサンプル集合Cに分け、それぞれのワーク個体に対して計測値の真値
【数7】
が別の測定手段によって測定できているものとする。このとき、それぞれのワーク個体についての真値からのばらつきをそれぞれ同時に最小化させる必要があるため、以下の評価基準Jを最小化させる。
【数8】
【0089】
以上のように、ワークの個体ばらつきを含む場合について、それぞれの真値と近くなるように最適化される。
【0090】
(実施例5)個体ばらつきの真値が不明である場合の最適化
計測ばらつきを、ワークの個体/搬送ばらつきの双方を含んでいる全ワークサンプルに対する分散であると定義したときに、もし、測定したい寸法の真値にも個体ばらつきが含まれていた場合、全体の分散を最小化する基準では、寸法の真値の個体ばらつきが、逆に見えなくなってしまうような照明条件と検査パラメータが得られることになってしまう。
これを避けるために、M個のワークサンプル集合を、Q個あるワーク個体ごとの搬送ばらつきのサンプル集合Cに分け、それぞれのワーク個体に対して個別に分散を評価して、最終的に全てのワークに対して、個々に算出された分散を足し合わせたものを最小化すべき分散として定義してもよい。このときに最小化すべき評価基準Jは次のように定義される。
【数9】
【0091】
以上のように、ワークの個体ばらつきに起因して計測される真値がばらつく場合においても、搬送ばらつきのみを最小化できる。
【0092】
(実施例6)複数のマーカーを同時に測る検査
これまでの説明では、測定値を得るために1つのマーカーの位置を求める必要がある問題設定を扱ってきた。しかし一般には、1つの測定値を得るために複数のマーカー位置を測定しなくてはならない場合も存在する。例えば、測定量をマーカー間の距離として定義する場合である。
【0093】
位置計測に照明条件の影響を受ける2つのマーカーの間の距離を計測する場合の具体例としては、ワークである基板に実装されたLED素子の基板に対する相対位置を計測する場合に、基板の位置の基準とする特徴も縁の断面形状が丸みを帯びている穴のように照明条件の影響を受ける立体(マーカー)である場合が挙げられる。また、他の具体例として、基板に2つのLED素子が実装される場合に、各LED素子の基板に対する相対位置よりも2つのLED素子の間隔を安定的に計測することの方が重要である場合が挙げられる。このような状況は、2つのLED素子が他の部材に所定間隔空けて設けられた2つの穴に挿入されるような場合に現れる。この場合には、一方のLED素子の位置をワークである基板の位置の基準をとみなし、他方のLED素子の位置を立体の形態要素の位置とみなして発明を適用することができる。また、一方のLED素子自体をワークとみなしてもよい。この場合、立体の形態要素である他方のLED素子は、ワークである一方のLED素子に基板を介して間接的に備えられているとみなされる。
【0094】
なお、複数のマーカーの位置を計測する場合、マーカーごとに照明条件を好適化し、特定のマーカーを撮像するときにはそのマーカーに対して好適化された照明条件で照明するようにしてもよい。
【0095】
撮像された又は仮想画像として作成された画像gより、P個のマーカーの座標r(p)を特定する状況を考える。画像gにはワーク座標系が設定されているものとする。それぞれのマーカーについて、予め決められた探索領域E(p)より、予め決められたマーカー尤度関数Lを最大化させる(もしくは既定の座標の検索順序にて、最初に尤度が閾値を超えた)ものとして、それぞれのマーカー座標を確定する。
【数10】
【0096】
ここで、θ(p)はp番目のマーカー検出のためのパラメータである。ワークの搬送ばらつきがある状況で撮像されたM個のワーク画像g(1≦m≦M)について、表7で定義される計測値の分散Jが最小化されるように、照明条件を決定する。その際、マーカー検出パラメータも併せて決定してもよいし、マーカー検出パラメータは固定値であってもよい。
【0097】
【表7】
例として、マーカー間の距離を測る問題を扱う。距離を測る場合には最低2つのマーカーが必要になるため、以下ではP=2と仮定して話を進める。位置計測の場合と同様にして求められたマーカー位置座標を利用して、寸法の計測量が|r(2)-r(1)|として得られる。もし、カメラの視野内に寸法を計測したい対象(例えばA点とB点)が入りきらなかった場合には、位置合わせ用のマークを導入し、1枚目の撮像でA点(p=1)と位置合わせ用マーク(位置r(3))が写るように、2枚目の撮像でB点(p=2)と位置合わせ用マーク(位置r(4))が写るようにする。回転ずれがない場合、寸法の計測量は|(r(2)-r(4))-(r(1)-r(3))|として得られる。
【0098】
ワークの搬送ばらつきがある状況で撮像されたM個のワーク画像g(1≦m≦M)について、以下で定義される寸法の計測値の分散Jが最小化されるように、照明条件を決定する。その際、マーカー検出パラメータθも併せて決定してもよいし、マーカー検出パラメータθは固定値であってもよい。
【数11】
【0099】
(実施例7)照明シミュレーションによる位置検査の最適照明条件の決定
ここでは、照明条件の数が、全ての照明条件を網羅して事前に撮像しておくことが困難なほど多く存在する場合において照明条件を最適化する方法を述べる。照明条件を変化させた際の撮像画像は、照明シミュレーションによって精度良く推定できることを利用して最適化作業を自動化する。
【0100】
撮像システムにおけるセンサのリニアリティ(輝度と画素値の間のリニアリティ)が成立していると仮定する。これはつまり、カラーフィルタのデモザイキングなどの信号処理やガンマ補正、暗電流オフセット補正などの撮像補正を全て含んだシステムにおいてリニアリティが成立しているという意味である。画素飽和による非線形を避けるために、画像の撮像にはHDR(High dynamic range)合成などを用いても良い。このとき、K個のマルチCH照明で照らしたワークを撮像する状況を考え、各照明の発光強度を以下のベクトルとして表記する。
【0101】
u=(u,u,…,u, u≧0
【0102】
このとき、u=1,u=0(j≠i)のようにi番目の照明のみを所定の強度で点灯させ、その他は消灯させて撮像された画像をコラムベクトルとして並べたものをfとすると、任意の照明条件uにおける撮像画像gは、以下のように画像重ね合わせによりモデル化できる。
【数12】
【0103】
ここで、f’は以下で定義されるK枚分の画像を縦に並べてまとめたマルチCH画像(大きな1つのコラムベクトル)である。
【数13】
また、上式において
【数14】
はKronecker積、e
【数15】
の標準基底、Iは単位行列を示す。
【0104】
このように、マルチCH照明の最適化は元画像f’からの内積演算による特徴ベクトルgの生成、つまり射影行列
【数16】
における線形射影方向uの最適設計をしていることと等価である。
【0105】
以下では一般に、K個の照明が実装されている状況において、1つのワークについて照明発光パターンを変化させてNパターンの撮像を行ない最適照明を決定することを考える。
【0106】
n(1≦n≦N)枚目の撮像における発光パターンを以下のように定義する。この発光パターンの具体例を図13に示す。
【0107】
【数17】
【0108】
これらの発光パターンによってワークを撮像することで、任意の発光パターンで照らした場合のワークの撮像画像を再構成することが可能となる。このシステム行列の全ての自由度を取得するためには、rankH=min(N,K)つまり線形独立となるように発光パターンを決定することが望ましい。K個の照明の自由度を全て余すことなく活用させるためには、少なくともN=Kであり、その際にHはフルランクとなっている必要がある。
【0109】
一方、N<Kだと照明個数の自由度を十分に活用できないが、ワークの撮像時間を短縮させるためには有効な手法である。これを実現する手法としてはさまざまなものが考えられるが、代表的なものとしてCompressed Sensingを用いたLT(Light Transport)行列推定を行う手法が挙げられる。
【0110】
また、N>Kとするケースも考えられ、これは照明の自由度を十分に活用させるという意味では必要以上であり無駄な撮像枚数となるが、SN比やダイナミックレンジを稼ぐなどの別目的で選択されうる。
【0111】
これらの発光パターンで撮像された画像をコラムベクトルとして並べたものをfとして、これらをさらにN枚分縦に並べてまとめたマルチCH画像ベクトルを以下のように定義する。
【数18】
【0112】
上式において
【数14】
はKronecker積、e
【数15】
の標準基底を示す。各照明CHによる輝度uとその際の撮像画像gは以下のように表現される。
【数19】
ここで、wは画像重ね合わせ重みである。(発光強度の指令値はこれを元に算出されるが、この値そのものではない。)これは一般に負の値をとることも許されるが、照明CHの発光強度は必ず非負でなければならないため、以下の条件が課せられる。
Hw≧0
【0113】
ここで、ベクトルや行列に対する不等号は、全ての要素についての不等号であるとする。H=Iつまり、照明を1つずつ点灯させてK(=N)枚撮像した場合には、uとwは等価となる。以下では、最適な画像重ね合わせ重みwを求めることによって、その際の最適照明uを求める問題を扱う。
【0114】
照明シミュレーションを用いれば、実際に生じるワークの搬送ばらつきを事前に画像として記録しておいて、コンピュータ上のみに閉じた作業によって、それらのサンプルに対して計測結果のばらつきを最小化させるように照明条件を最適化することが可能となる。
【0115】
ワークの搬送ばらつきがある状況で撮像された画像を取得するために、実際の検査の環境において、同一のワーク個体を1つの照明条件で搬送しながら撮像することによって、照明シミュレーション用のM枚からなる基底画像セットを取得する。以降では、M枚の基底画像セットを前述の表記を利用してf’(1≦m≦M)と表記する。
【0116】
照明条件に応じた画像重ね合わせウェイトをwとしたとき、撮像画像g(1≦m≦M)を照明シミュレーション
【数20】
で置き換えることによって、位置の計測値の分散をコンピュータ上のみで評価できる。位置計測に最適な照明条件に対応する画像重ね合わせウェイトを求める最適化問題は、以下のように表現できる。
【数21】
【0117】
これをP個のマーカー検出パラメータも同時に最適化する場合には、次のように表現できる。
【数22】
【0118】
カメラの露出やゲインも調整要素ではあるが、露出やゲインの調整状態は、ワークに対する立体の形態要素の相対位置の計測結果の、ワークの位置(搬送ばらつき)に応じた偏差の出方に影響しない。露出やゲインは、照明条件特定段階及び計測段階において、撮像される画像が明るくなりすぎたり暗くなりすぎたりしない範囲に決定される。
【0119】
以上、本発明の実施の形態を詳細に説明してきたが、上述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。なお、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記1)
ワーク(4)及び前記ワーク(4)に備えられた立体の形態要素を対象として、前記形態要素の前記ワーク(4)に対する相対位置を計測する位置計測システム(1)であって、
前記ワーク(4)を撮像する撮像装置(102)と、
前記撮像装置(102)が撮像するための光源として使用され、前記ワーク(4)に対する照明条件を変化させることができる照明装置(LS)と、
前記ワーク(4)の画像を用いて前記相対位置を求める画像処理部(141)と、
前記ワーク(4)の画像の撮像時における前記撮像装置(102)と前記ワーク(4)との間の位置関係の変動に起因して生じる前記画像処理部(141)によって求められた前記相対位置の変動が小さくなる、前記照明装置(LS)の好適照明条件を特定する照明条件特定部(142)と、
前記好適照明条件のもとで前記撮像装置(102)に前記ワーク(4)を撮像させ、撮像された前記ワーク(4)の画像を用いて前記画像処理部(141)に前記相対位置を求めさせる計測制御部(143)と
を備えた、位置計測システム(1)。
【0120】
(付記2)
前記形態要素は、1次元の形態要素であり、
前記画像処理部(141)は、探索線と前記1次元の形態要素との交点を前記形態要素の位置として前記相対位置を求める、
付記1に記載の位置計測システム(1)。
【0121】
(付記3)
前記形態要素は、2次元の形態要素であり、
前記画像処理部(141)は、探索領域内で特定された前記2次元の形態要素の代表位置を前記形態要素の位置として前記相対位置を求める、
付記1に記載の位置計測システム(1)。
【0122】
(付記4)
前記形態要素は、複数の1次元の形態要素であり、
前記画像処理部(141)は、複数の探索線のうちの1の探索線と前記複数の1次元の形態要素のうちの1の形態要素との交点の位置を、前記1の探索線と前記1の形態要素との複数の組について求め、求めた複数の交点の位置に基づいて求めた代表位置を前記複数の1次元の形態要素の位置として前記相対位置を求める、
付記1に記載の位置計測システム(1)。
【0123】
(付記5)
前記照明条件特定部(142)が特定する好適照明条件は、前記好適照明条件の特定に用いる画像が複数の前記ワーク(4)についての画像であり、かつ、1の前記ワーク(4)について前記撮像装置(102)と前記ワーク(4)との間の前記位置関係が互いに異なる複数の画像を含み、さらに、それぞれの前記ワーク(4)について前記相対位置の真値とみなす値が利用可能とされている場合に、それぞれの前記ワーク(4)についての前記真値とみなす値からの前記相対位置の変動の、前記複数のワーク(4)についての合計が小さくなる照明条件である、
付記1に記載の位置計測システム(1)。
【0124】
(付記6)
前記照明条件特定部(142)が特定する好適照明条件は、前記好適照明条件の特定に用いる画像が複数の前記ワーク(4)についての画像であり、かつ、1の前記ワーク(4)について前記撮像装置(102)と前記ワーク(4)との間の前記位置関係が互いに異なる複数の画像を含む場合に、それぞれの前記ワーク(4)についての前記相対位置の変動の、前記複数のワークについての合計が小さくなる照明条件である、
付記1に記載の位置計測システム(1)。
【0125】
(付記7)
前記照明条件特定部(142)は、前記ワーク(4)に複数の前記立体の形態要素が備えられる場合において、前記立体の形態要素毎に前記好適照明条件を特定し、
前記画像処理部(141)は、前記ワーク(4)に備えられた前記複数の立体の形態要素毎に、処理の対象とする前記立体形態要素に対応する前記好適照明条件のもとで撮像された前記ワーク(4)の画像を用いて前記相対位置を求める、
付記1に記載の位置計測システム(1)。
【0126】
(付記8)
さらに、複数の照明条件のもとで撮像された前記ワーク(4)の画像に基づいて、撮像に用いられた照明条件とは異なる照明条件のもとで撮像された場合に得られるはずの前記ワーク(4)の仮想画像を生成する仮想画像生成部(146)を備え、
前記画像処理部(141)は、前記ワーク(4)の画像が前記仮想画像である場合にも前記相対位置を求め、
前記照明条件特定部(142)は、前記仮想画像について、又は撮像された前記ワークの画像及び前記仮想画像について求められた前記相対位置の変動が小さくなる、前記好適照明条件を特定する、
付記1から7のいずれか1項に記載の位置計測システム(1)。
【0127】
(付記9)
さらに、前記画像処理部(141)によって求められた前記相対位置の、基準位置からのずれ量を求め、前記ずれ量に基づいて前記相対位置の良否を判定する判定部(145)を備えた、付記8に記載の位置計測システム(1)。
【0128】
(付記10)
さらに、前記画像処理部(141)によって求められた前記相対位置の、基準位置からのずれ量を求め、前記ずれ量に基づいて前記相対位置の良否を判定する判定部(145)を備えた、付記1から7のいずれか1項に記載の位置計測システム(1)。
【0129】
(付記11)
ワーク(4)及び前記ワーク(4)に備えられた立体の形態要素を対象として、前記形態要素の前記ワーク(4)に対する相対位置を計測するための撮像の際の照明の照明条件を好適化する照明条件好適化システム(1)であって、
前記ワーク(4)を撮像する撮像装置(102)と、
前記撮像装置(102)が撮像するための光源として使用され、前記ワーク(4)に対する照明条件を変化させることができる照明装置(LS)と、
前記ワーク(4)の画像を用いて前記相対位置を求める画像処理部(141)と、
前記ワーク(4)の画像の撮像時における前記撮像装置(102)と前記ワーク(4)との間の位置関係の変動に起因して生じる前記画像処理部(141)によって求められた前記相対位置の変動が小さくなる、前記照明装置(LS)の好適照明条件を特定する照明条件特定部(142)と、
を備えた、照明条件好適化システム(1)。
【0130】
(付記12)
ワーク(4)及び前記ワーク(4)に備えられた立体の形態要素を対象として、前記形態要素の前記ワーク(4)に対する相対位置を計測する位置計測システム(1)であって、
前記ワーク(4)を撮像する撮像装置(102)と、
前記撮像装置(102)が撮像するための光源として使用され、前記ワーク(4)に対する照明条件を変化させることができる照明装置(LS)と、
前記ワーク(4)の画像を用いて前記相対位置を求める画像処理部(141)と、
前記ワーク(4)の画像の撮像時における前記撮像装置(102)と前記ワーク(4)との間の位置関係の変動に起因して生じる前記画像処理部(141)によって求められた前記相対位置の変動が小さくなる、前記照明装置(LS)の予め特定された好適照明条件を取得する照明条件特定部(142)と、
前記好適照明条件のもとで前記撮像装置(102)に前記ワーク(4)を撮像させ、撮像された前記ワーク(4)の画像を用いて前記画像処理部(141)に前記相対位置を求めさせる計測制御部(143)と
を備えた、位置計測システム。
【符号の説明】
【0131】
1…位置計測システム、2…ベルトコンベア、4…ワーク、6…撮像視野、8…上位ネットワーク、10…PLC、12…データベース装置、100…処理装置、102…カメラ、104…ディスプレイ、106…キーボード、108…マウス、110…プロセッサ、112…メインメモリ、114…カメラインターフェイス、116…入力インターフェイス、118…表示インターフェイス、120…通信インターフェイス、122…内部バス、130…ストレージ、132…計測プログラム、134…照明パラメータ、138…画像、141…画像処理部、142…照明条件特定部、143…計測制御部、144…記憶部、145…判定部、146…仮想画像生成部、LS…照明装置、LSi…チャネル照明部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13