IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

<>
  • -撮像装置および撮像方法 図1
  • -撮像装置および撮像方法 図2
  • -撮像装置および撮像方法 図3
  • -撮像装置および撮像方法 図4
  • -撮像装置および撮像方法 図5
  • -撮像装置および撮像方法 図6
  • -撮像装置および撮像方法 図7
  • -撮像装置および撮像方法 図8
  • -撮像装置および撮像方法 図9
  • -撮像装置および撮像方法 図10
  • -撮像装置および撮像方法 図11
  • -撮像装置および撮像方法 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025040897
(43)【公開日】2025-03-25
(54)【発明の名称】撮像装置および撮像方法
(51)【国際特許分類】
   G01N 21/88 20060101AFI20250317BHJP
【FI】
G01N21/88 J
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023147986
(22)【出願日】2023-09-12
(71)【出願人】
【識別番号】000000099
【氏名又は名称】株式会社IHI
(74)【代理人】
【識別番号】110000936
【氏名又は名称】弁理士法人青海国際特許事務所
(72)【発明者】
【氏名】内田 雄太
(72)【発明者】
【氏名】中川 倫宏
【テーマコード(参考)】
2G051
【Fターム(参考)】
2G051AB07
2G051CA04
2G051CB01
2G051DA08
2G051EA23
2G051EB01
(57)【要約】
【課題】ワークの表面を適切に検査する。
【解決手段】撮像装置10は、曲面形状を有するワーク20を撮像するカメラ11と、ワーク20に対して光を照射する照明装置12と、カメラ11および照明装置12に対して相対的にワーク20をカメラ11の光軸A1と交差する回動軸A2まわりに回動させることによってカメラ11および照明装置12に対して相対的にワーク20の姿勢を変化させ、互いに異なる複数の姿勢の各々でのワーク20をカメラ11によりそれぞれ撮像した複数の撮像画像を取得し、複数の撮像画像を合成して合成画像を生成する制御装置14と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
曲面形状を有するワークを撮像するカメラと、
前記ワークに対して光を照射する照明装置と、
前記カメラおよび前記照明装置に対して相対的に前記ワークを前記カメラの光軸と交差する回動軸まわりに回動させることによって前記カメラおよび前記照明装置に対して相対的に前記ワークの姿勢を変化させ、互いに異なる複数の姿勢の各々での前記ワークを前記カメラによりそれぞれ撮像した複数の撮像画像を取得し、前記複数の撮像画像を合成して合成画像を生成する制御装置と、
を備える、
撮像装置。
【請求項2】
前記制御装置は、前記合成画像を生成する前に、前記複数の撮像画像の各々において前記ワークが表示される領域の寸法が、前記互いに異なる複数の姿勢における特定の姿勢での前記ワークを前記カメラにより撮像した場合に得られる画像において前記ワークが表示される領域の寸法と一致するように、前記複数の撮像画像の少なくとも一部を補正する、
請求項1に記載の撮像装置。
【請求項3】
前記制御装置は、前記複数の撮像画像の各々から輝度が第1閾値を上回る第1領域を除いて、前記合成画像を生成する、
請求項1に記載の撮像装置。
【請求項4】
前記制御装置は、前記複数の撮像画像の各々から輝度が第2閾値を下回る第2領域を除いて、前記合成画像を生成する、
請求項1に記載の撮像装置。
【請求項5】
前記制御装置は、前記合成画像に基づいて、前記ワークの表面に形成されている傷を検出する、
請求項1に記載の撮像装置。
【請求項6】
前記制御装置は、前記カメラおよび前記照明装置を回動させずに、前記ワークを前記回動軸まわりに回動させることによって、前記ワークの姿勢を変化させる、
請求項1~5のいずれか一項に記載の撮像装置。
【請求項7】
曲面形状を有するワークを撮像するカメラ、および、前記ワークに対して光を照射する照明装置に対して相対的に前記ワークを前記カメラの光軸と交差する回動軸まわりに回動させることによって前記カメラおよび前記照明装置に対して相対的に前記ワークの姿勢を変化させることと、
コンピュータが、互いに異なる複数の姿勢の各々での前記ワークを前記カメラによりそれぞれ撮像した複数の撮像画像を取得することと、
前記コンピュータが、前記複数の撮像画像を合成して合成画像を生成することと、
を含む、
撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像装置および撮像方法に関する。
【背景技術】
【0002】
生産現場において、ワークの表面の検査が行われている。例えば、特許文献1に開示されているように、ワークに対して光を照射した状態でワークをカメラにより撮像し、得られた画像を用いて、ワークの表面の傷の有無等の検査を行う技術が提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-038215号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ワークが曲面形状を有する場合、ワークの表面における光の反射方向は、表面上の位置によって異なる。それにより、ワークが映る画像に、輝度が過度に高い領域、または、輝度が過度に低い領域が含まれる場合がある。例えば、ワークに対して照射された光の一部がカメラに向かって反射し、得られる画像の一部が白飛びするハレーションと呼ばれる現象が生じる場合がある。ハレーション等が生じると、ワークの表面を適切に検査することが困難となり得る。
【0005】
本開示の目的は、ワークの表面を適切に検査することが可能な撮像装置および撮像方法を提供することである。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本開示の撮像装置は、曲面形状を有するワークを撮像するカメラと、ワークに対して光を照射する照明装置と、カメラおよび照明装置に対して相対的にワークをカメラの光軸と交差する回動軸まわりに回動させることによってカメラおよび照明装置に対して相対的にワークの姿勢を変化させ、互いに異なる複数の姿勢の各々でのワークをカメラによりそれぞれ撮像した複数の撮像画像を取得し、複数の撮像画像を合成して合成画像を生成する制御装置と、を備える。
【0007】
制御装置は、合成画像を生成する前に、複数の撮像画像の各々においてワークが表示される領域の寸法が、互いに異なる複数の姿勢における特定の姿勢でのワークをカメラにより撮像した場合に得られる画像においてワークが表示される領域の寸法と一致するように、複数の撮像画像の少なくとも一部を補正してもよい。
【0008】
制御装置は、複数の撮像画像の各々から輝度が第1閾値を上回る第1領域を除いて、合成画像を生成してもよい。
【0009】
制御装置は、複数の撮像画像の各々から輝度が第2閾値を下回る第2領域を除いて、合成画像を生成してもよい。
【0010】
制御装置は、合成画像に基づいて、ワークの表面に形成されている傷を検出してもよい。
【0011】
制御装置は、カメラおよび照明装置を回動させずに、ワークを回動軸まわりに回動させることによって、ワークの姿勢を変化させてもよい。
【0012】
上記課題を解決するために、本開示の撮像方法は、曲面形状を有するワークを撮像するカメラ、および、ワークに対して光を照射する照明装置に対して相対的にワークをカメラの光軸と交差する回動軸まわりに回動させることによってカメラおよび照明装置に対して相対的にワークの姿勢を変化させることと、コンピュータが、互いに異なる複数の姿勢の各々でのワークをカメラによりそれぞれ撮像した複数の撮像画像を取得することと、コンピュータが、複数の撮像画像を合成して合成画像を生成することと、を含む。
【発明の効果】
【0013】
本開示によれば、ワークの表面を適切に検査することができる。
【図面の簡単な説明】
【0014】
図1図1は、本開示の実施形態に係る撮像装置の構成を示す模式図である。
図2図2は、本開示の実施形態に係る制御装置の機能構成の一例を示すブロック図である。
図3図3は、本開示の実施形態に係る制御装置が行う処理の流れの一例を示すフローチャートである。
図4図4は、本開示の実施形態に係るワークの第1姿勢を示す図である。
図5図5は、本開示の実施形態に係るワークの第2姿勢を示す図である。
図6図6は、本開示の実施形態に係るワークの第3姿勢を示す図である。
図7図7は、本開示の実施形態に係る第1姿勢でのワークが映る撮像画像を示す図である。
図8図8は、本開示の実施形態に係る第2姿勢でのワークが映る撮像画像を示す図である。
図9図9は、本開示の実施形態に係る第3姿勢でのワークが映る撮像画像を示す図である。
図10図10は、本開示の実施形態に係る第1姿勢でのワークが映る撮像画像と対応する補正後画像を示す図である。
図11図11は、本開示の実施形態に係る第3姿勢でのワークが映る撮像画像と対応する補正後画像を示す図である。
図12図12は、本開示の実施形態に係るワークが映る合成画像を示す図である。
【発明を実施するための形態】
【0015】
以下に添付図面を参照しながら、本開示の実施形態について説明する。実施形態に示す寸法、材料、その他具体的な数値等は、理解を容易とするための例示にすぎず、特に断る場合を除き、本開示を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本開示に直接関係のない要素は図示を省略する。
【0016】
図1は、本実施形態に係る撮像装置10の構成を示す模式図である。撮像装置10は、ワーク20の表面の検査のために、ワーク20が被写体となる画像を得るための装置である。図1に示すように、撮像装置10は、カメラ11と、照明装置12と、位置決め装置13と、制御装置14とを備える。図1の上方向が鉛直上方向と一致し、図1の下方向が鉛直下方向と一致する。ただし、鉛直方向に対する各構成要素の姿勢は図1の例に限定されない。
【0017】
カメラ11は、可視光画像を撮像する。具体的には、カメラ11は、可視光を感知する複数の撮像素子を有する。上記の撮像素子によって可視光が感知されることによって、可視光画像が得られる。後述するように、カメラ11の光軸A1上にワーク20が位置する状態で、カメラ11による撮像が行われる。それにより、カメラ11は、ワーク20を撮像することができる。
【0018】
図1の例では、カメラ11は上下方向に延在している。ゆえに、カメラ11の光軸A1は上下方向に延在している。カメラ11の下端に撮像素子が位置する。カメラ11の撮像範囲は、カメラ11の下端から下方に放射状に拡がっている。カメラ11は、ワーク20よりも上方に配置される。カメラ11の位置は、調整可能となっていてもよい。
【0019】
照明装置12は、ワーク20に対して光を照射する。図1の例では、照明装置12は、円環形状を有する。照明装置12が円環形状を有することにより、ワーク20の表面に影が形成されにくくなる。ただし、照明装置12の形状は、円環形状に限定されず、例えば、棒形状等であってもよい。図1の例では、照明装置12は、カメラ11の光軸A1と同軸上に配置される。照明装置12は、カメラ11の下端よりも下方に位置する。照明装置12は、ワーク20よりも上方に配置される。照明装置12の位置は、調整可能となっていてもよい。
【0020】
位置決め装置13は、ワーク20の位置決めを行う。位置決め装置13は、ワーク20が取り付けられる取付部13aを備える。例えば、位置決め装置13は、略直方体形状を有する。位置決め装置13の側面に取付部13aが設けられる。例えば、取付部13aは、略円柱形状を有する。取付部13aは、光軸A1に直交する回動軸A2と同軸上に配置される。つまり、取付部13aの中心軸が回動軸A2と一致する。取付部13aは、回動軸A2まわりに回動可能となっている。ただし、回動軸A2は、光軸A1と交差していればよく、光軸A1に直交していなくてもよい。
【0021】
取付部13aは、例えば、不図示の3つ爪チャック等の把持機構を用いて、ワーク20を把持することができる。ワーク20が取付部13aに取り付けられた状態で、取付部13aが回動することによって、ワーク20が回動軸A2まわりに回動する。それにより、ワーク20の姿勢が変化する。
【0022】
位置決め装置13は、水平方向に移動可能となっていてもよい。位置決め装置13が水平方向に移動することによって、ワーク20を水平方向に移動させることができる。
【0023】
制御装置14は、撮像装置10の各装置の制御、および、画像処理を行う。制御装置14は、例えば、中央処理装置(CPU)、プログラム等が格納されたROM、および、ワークエリアとしてのRAM等を含む。
【0024】
図2は、制御装置14の機能構成の一例を示すブロック図である。図2に示すように、制御装置14は、取得部14aと、制御部14bと、処理部14cとを含む。
【0025】
取得部14aは、各種情報を取得する。例えば、取得部14aは、カメラ11により得られる画像をカメラ11から取得する。
【0026】
制御部14bは、撮像装置10の各装置の動作を制御する。例えば、制御部14bは、カメラ11の動作を制御する。また、例えば、制御部14bは、照明装置12の動作を制御する。また、例えば、制御部14bは、位置決め装置13の動作を制御する。
【0027】
処理部14cは、各種の画像処理を行う。処理部14cにより行われる画像処理の詳細については、後述する。
【0028】
ただし、制御装置14の機能は、1つの装置によって実現されてもよく、複数の装置に分担されてもよい。また、後述するように、制御装置14が行う処理の一部が作業者により手動で行われる処理に置き換えられてもよい。
【0029】
上述したように、撮像装置10は、ワーク20の表面の検査のために用いられる。ワーク20の表面の検査では、後述するように、照明装置12からワーク20へ光が照射された状態で、ワーク20がカメラ11により撮像される。そして、得られる画像を用いて、例えば、ワーク20の表面に形成されている傷の検出等が行われる。
【0030】
後述する図4等に示すように、ワーク20は、曲面形状を有する。つまり、ワーク20の表面の少なくとも一部が湾曲している。ゆえに、ワーク20の表面における光の反射方向は、表面上の位置によって異なる。特に、ワーク20は、例えば、金属材料により形成されている。ゆえに、ワーク20の表面において、光を反射する性質が高い。ワーク20が曲面形状を有することに起因して、ワーク20が映る画像に、輝度が過度に高い領域、または、輝度が過度に低い領域が含まれる場合がある。例えば、ワーク20に対して照射された光の一部がカメラ11に向かって反射し、得られる画像の一部が白飛びするハレーションと呼ばれる現象が生じる場合がある。ハレーション等が生じると、ワーク20の表面を適切に検査することが困難となり得る。以下、ワーク20の表面を適切に検査するための本実施形態の工夫について説明する。
【0031】
図3は、制御装置14が行う処理の流れの一例を示すフローチャートである。図3に示す処理フローは、ワーク20の表面の検査を行う時に実行される。
【0032】
図3に示す処理フローが開始すると、ステップS101において、制御部14bは、ワーク20への光の照射を開始する。
【0033】
ステップS101では、制御部14bは、照明装置12による光の照射を開始する。それにより、照明装置12からワーク20へ光が照射される。
【0034】
ステップS101の次に、ステップS102において、制御部14bは、ワーク20の姿勢を変更する。
【0035】
ステップS102では、制御部14bは、位置決め装置13の取付部13aを回動軸A2まわりに回動させる。それにより、ワーク20が回動軸A2まわりに回動し、ワーク20の姿勢が変化する。ワーク20の姿勢の変更が完了した後、制御部14bは、位置決め装置13の取付部13aの回動を停止する。
【0036】
ステップS102の次に、ステップS103において、制御部14bは、ワーク20の撮像を行う。
【0037】
ステップS103では、制御部14bは、直前のステップS102で変更された姿勢でのワーク20をカメラ11により撮像する。それにより、取得部14aは、ワーク20が映る撮像画像を取得できる。
【0038】
ステップS103の次に、ステップS104において、制御部14bは、全ての姿勢でのワーク20の撮像が終了したか否かを判定する。全ての姿勢でのワーク20の撮像が終了していないと判定された場合(ステップS104/NO)、ステップS102に戻り、ステップS102およびステップS103が再度行われる。一方、全ての姿勢でのワーク20の撮像が終了したと判定された場合(ステップS104/YES)、ステップS105に進む。
【0039】
上記のように、撮像装置10を用いた撮像方法では、ワーク20の姿勢を複数の姿勢に変化させ、各姿勢でのワーク20をカメラ11により撮像する。以下では、ワーク20の姿勢を、第1姿勢、第2姿勢および第3姿勢の各姿勢に変化させる例を説明する。この例では、ステップS102およびステップS103が3回ずつ繰り返される。ただし、後述するように、撮像装置10を用いた撮像方法においてワーク20が取り得る姿勢は、以下の例に限定されない。
【0040】
図4は、ワーク20の第1姿勢を示す図である。図5は、ワーク20の第2姿勢を示す図である。図6は、ワーク20の第3姿勢を示す図である。図4から図6は、ワーク20を回動軸A2方向に見た図である。図4から図6の上方向が鉛直上方向と一致し、図4から図6の下方向が鉛直下方向と一致する。
【0041】
図4から図6に示すように、ワーク20は、略平板形状を有する。ワーク20の厚みは、位置によらず略一定となっている。ワーク20は、回動軸A2に直交する断面において湾曲している。ワーク20は、回動軸A2に沿った方向に延在している。回動軸A2に直交する断面におけるワーク20の断面形状は、回動軸A2の軸方向における各位置で略一致している。ただし、ワーク20の形状は、図4から図6の例に限定されない。
【0042】
例えば、1回目のステップS102において、制御部14bは、位置決め装置13の取付部13aを回動させ、ワーク20の姿勢を図4の第1姿勢にする。図4に示すように、第1姿勢では、ワーク20の中央部の領域R11において、ワーク20の法線方向がカメラ11の光軸A1の方向と一致しやすくなっている。領域R11は、回動軸A2に沿った方向に延在する領域である。
【0043】
また、2回目のステップS102において、制御部14bは、位置決め装置13の取付部13aを回動させ、ワーク20の姿勢を図4の第1姿勢から図5の第2姿勢に変更する。具体的には、制御部14bは、図4の状態において、ワーク20を図4の時計回りに回動させることにより、ワーク20の姿勢を図5の第2姿勢にする。図5に示すように、第2姿勢では、ワーク20を取付部13aと逆側から回動軸A2に沿った方向に見た場合におけるワーク20の左端部と中央部との間の領域R21、および、上記の場合におけるワーク20の右端部と中央部との間の領域R22において、ワーク20の法線方向がカメラ11の光軸A1の方向と一致しやすくなっている。領域R21および領域R22は、回動軸A2に沿った方向に延在する領域である。
【0044】
また、3回目のステップS102において、制御部14bは、位置決め装置13の取付部13aを回動させ、ワーク20の姿勢を図5の第2姿勢から図6の第3姿勢に変更する。具体的には、制御部14bは、図5の状態において、ワーク20を図5の時計回りに回動させることにより、ワーク20の姿勢を図6の第3姿勢にする。図6に示すように、第3姿勢では、ワーク20を取付部13aと逆側から回動軸A2に沿った方向に見た場合におけるワーク20の左端部の領域R31、および、上記の場合におけるワーク20の右端部の領域R32において、ワーク20の法線方向がカメラ11の光軸A1の方向と一致しやすくなっている。領域R31および領域R32は、回動軸A2に沿った方向に延在する領域である。
【0045】
そして、上述したように、各回のステップS102の次に、ステップS103において、ワーク20の撮像が行われる。
【0046】
図7は、第1姿勢でのワーク20が映る撮像画像P1を示す図である。図8は、第2姿勢でのワーク20が映る撮像画像P2を示す図である。図9は、第3姿勢でのワーク20が映る撮像画像P3を示す図である。図7から図9では、各画像において、ハレーションが生じている領域がハッチングにより示されている。
【0047】
上述したように、1回目のステップS102において、ワーク20の姿勢は図4の第1姿勢になる。そして、1回目のステップS102の次のステップS103において、制御部14bは、第1姿勢でのワーク20をカメラ11により撮像する。それにより、取得部14aは、第1姿勢でのワーク20をカメラ11により撮像した図7の撮像画像P1を取得できる。上述したように、第1姿勢では、ワーク20の中央部の領域R11において、ワーク20の法線方向がカメラ11の光軸A1の方向と一致しやすくなっている。ゆえに、ワーク20の領域R11に対して照射された光がカメラ11に向かって反射する。それにより、図7の撮像画像P1では、ワーク20の領域R11においてハレーションが生じる。
【0048】
上述したように、2回目のステップS102において、ワーク20の姿勢は図5の第2姿勢になる。そして、2回目のステップS102の次のステップS103において、制御部14bは、第2姿勢でのワーク20をカメラ11により撮像する。それにより、取得部14aは、第2姿勢でのワーク20をカメラ11により撮像した図8の撮像画像P2を取得できる。上述したように、第2姿勢では、ワーク20を取付部13aと逆側から回動軸A2に沿った方向に見た場合におけるワーク20の左端部と中央部との間の領域R21、および、上記の場合におけるワーク20の右端部と中央部との間の領域R22において、ワーク20の法線方向がカメラ11の光軸A1の方向と一致しやすくなっている。ゆえに、ワーク20の領域R21および領域R22に対して照射された光がカメラ11に向かって反射する。それにより、図8の撮像画像P2では、ワーク20の領域R21および領域R22においてハレーションが生じる。
【0049】
上述したように、3回目のステップS102において、ワーク20の姿勢は図6の第3姿勢になる。そして、3回目のステップS102の次のステップS103において、制御部14bは、第3姿勢でのワーク20をカメラ11により撮像する。それにより、取得部14aは、第3姿勢でのワーク20をカメラ11により撮像した図9の撮像画像P3を取得できる。上述したように、第3姿勢では、ワーク20を取付部13aと逆側から回動軸A2に沿った方向に見た場合におけるワーク20の左端部の領域R31、および、上記の場合におけるワーク20の右端部の領域R32において、ワーク20の法線方向がカメラ11の光軸A1の方向と一致しやすくなっている。ゆえに、ワーク20の領域R31および領域R32に対して照射された光がカメラ11に向かって反射する。それにより、図9の撮像画像P3では、ワーク20の領域R31および領域R32においてハレーションが生じる。
【0050】
第1姿勢、第2姿勢および第3姿勢の全ての姿勢でのワーク20の撮像が終了した場合、図3のステップS104でYESと判定され、ステップS105において、処理部14cは、撮像画像の補正を行う。
【0051】
ステップS105では、処理部14cは、各撮像画像においてワーク20が表示される領域の寸法が、特定の姿勢でのワーク20をカメラ11により撮像した場合に得られる画像においてワーク20が表示される領域の寸法と一致するように、少なくとも一部の撮像画像を補正する。ステップS105における撮像画像の補正は、後述するステップS108における合成画像の生成を適切に行うための前処理に相当する。
【0052】
例えば、処理部14cは、各撮像画像においてワーク20が表示される領域の寸法が、第2姿勢でのワーク20をカメラ11により撮像した撮像画像P2においてワーク20が表示される領域の寸法と一致するように、少なくとも一部の撮像画像を補正する。この場合、処理部14cは、第1姿勢でのワーク20が映る撮像画像P1、および、第3姿勢でのワーク20が映る撮像画像P3に対して上記のように補正を行う。一方、処理部14cは、第2姿勢でのワーク20が映る撮像画像P2に対しては補正を行わない。このように、上記の特定の姿勢は、例えば、ステップS102およびステップS103でワーク20が取り得る互いに異なる複数の姿勢における1つの姿勢である。
【0053】
図10は、第1姿勢でのワーク20が映る撮像画像P1と対応する補正後画像PC1を示す図である。図11は、第3姿勢でのワーク20が映る撮像画像P3と対応する補正後画像PC3を示す図である。
【0054】
図7の撮像画像P1と図8の撮像画像P2との間で、ワーク20が表示される領域の寸法が異なっている。ゆえに、処理部14cは、撮像画像P1においてワーク20が表示される領域の寸法が、撮像画像P2においてワーク20が表示される領域の寸法と一致するように、撮像画像P1を補正する。このような補正により得られる画像が、図10の補正後画像PC1である。
【0055】
具体的には、処理部14cは、撮像画像P1においてワーク20が表示される領域内の各画素の座標に対して一次変換を行うことによって、撮像画像P1においてワーク20が表示される領域の寸法を、撮像画像P2においてワーク20が表示される領域の寸法と一致させる。より詳細には、処理部14cは、撮像画像P1においてワーク20が表示される領域内の各画素の表示位置を上記の一次変換後の座標に変更する。例えば、ワーク20の姿勢を第1姿勢から第2姿勢に変更する際のワーク20の回動角度に応じて、上記の一次変換で用いられる変換行列が予め設定されている。そして、処理部14cは、ワーク20の姿勢を第1姿勢から第2姿勢に変更する際のワーク20の回動角度と対応する変換行列を用いて上記の一次変換を行うことによって、図10の補正後画像PC1を得ることができる。
【0056】
図8の撮像画像P2と図9の撮像画像P3との間で、ワーク20が表示される領域の寸法が異なっている。ゆえに、処理部14cは、撮像画像P3においてワーク20が表示される領域の寸法が、撮像画像P2においてワーク20が表示される領域の寸法と一致するように、撮像画像P3を補正する。このような補正により得られる画像が、図11の補正後画像PC3である。
【0057】
具体的には、処理部14cは、撮像画像P3においてワーク20が表示される領域内の各画素の座標に対して一次変換を行うことによって、撮像画像P1においてワーク20が表示される領域の寸法を、撮像画像P2においてワーク20が表示される領域の寸法と一致させる。より詳細には、処理部14cは、撮像画像P3においてワーク20が表示される領域内の各画素の表示位置を上記の一次変換後の座標に変更する。例えば、ワーク20の姿勢を第2姿勢から第3姿勢に変更する際のワーク20の回動角度に応じて、上記の一次変換で用いられる変換行列が予め設定されている。そして、処理部14cは、ワーク20の姿勢を第2姿勢から第3姿勢に変更する際のワーク20の回動角度と対応する変換行列を用いて上記の一次変換を行うことによって、図11の補正後画像PC3を得ることができる。
【0058】
図3のステップS105の次に、ステップS106において、処理部14cは、ワーク20の各姿勢と対応する各撮像画像の第1領域の特定を行う。
【0059】
第1領域は、輝度が第1閾値を上回る領域である。第1閾値は、ハレーションが生じていると判断できる程度に大きな値である。ゆえに、処理部14cは、輝度が第1閾値を上回る領域をハレーションが生じている領域であると判断できる。
【0060】
上述したように、ステップS105において、図7の撮像画像P1は図10の補正後画像PC1に補正されており、図9の撮像画像P3は図11の補正後画像PC3に補正されている。よって、ステップS106では、処理部14cは、図10の補正後画像PC1、図8の撮像画像P2、および、図11の補正後画像PC3の各画像に対して、第1領域の特定を行う。例えば、処理部14cは、図10の補正後画像PC1における領域R11を第1領域として特定する。例えば、処理部14cは、図8の撮像画像P2における領域R21および領域R22を第1領域として特定する。例えば、処理部14cは、図11の補正後画像PC3における領域R31および領域R32を第1領域として特定する。
【0061】
図3のステップS106の次に、ステップS107において、処理部14cは、ワーク20の各姿勢と対応する各撮像画像の第2領域の特定を行う。
【0062】
第2領域は、輝度が第2閾値を下回る領域である。第2閾値は、第1閾値より小さく、光が当たっていないと判断できる程度に小さな値である。ゆえに、処理部14cは、輝度が第2閾値を下回る領域を光が当たっていない領域であると判断できる。
【0063】
上述したように、ステップS105において、図7の撮像画像P1は図10の補正後画像PC1に補正されており、図9の撮像画像P3は図11の補正後画像PC3に補正されている。よって、ステップS107では、処理部14cは、図10の補正後画像PC1、図8の撮像画像P2、および、図11の補正後画像PC3の各画像に対して、第2領域の特定を行う。
【0064】
図3のステップS107の次に、ステップS108において、処理部14cは、合成画像の生成を行う。
【0065】
ステップS108では、処理部14cは、ワーク20の各姿勢とそれぞれ対応する複数の撮像画像を用いて、合成画像の生成を行う。上述したように、ステップS105において、図7の撮像画像P1は図10の補正後画像PC1に補正されており、図9の撮像画像P3は図11の補正後画像PC3に補正されている。よって、ステップS108では、処理部14cは、図10の補正後画像PC1、図8の撮像画像P2、および、図11の補正後画像PC3の各画像を用いて、合成画像の生成を行う。
【0066】
図12は、ワーク20が映る合成画像PSを示す図である。ステップS108では、処理部14cは、各撮像画像からステップS106で特定した第1領域、および、ステップS107で特定した第2領域を除いて、合成画像PSを生成する。例えば、処理部14cは、図10の補正後画像PC1から領域R11の画像データを除いた画像と、図8の撮像画像P2から領域R21および領域R22の画像データを除いた画像と、図11の補正後画像PC3から領域R31および領域R32の画像データを除いた画像とを合成する。それにより、図12の合成画像PSが得られる。ゆえに、図12の合成画像PSでは、ハレーションが生じている領域が存在していない。処理部14cは、例えば、既存のアルゴリズムを用いて、合成画像PSを生成してもよい。処理部14cは、合成画像PSの生成において、各撮像画像同士で重複する領域については、例えば、画像データを平均化してもよく、輝度が最大の画素を優先して用いてもよい。
【0067】
図3のステップS108の次に、ステップS109において、処理部14cは、合成画像PSに基づいて、ワーク20の表面に形成されている傷の検出を行い、図3に示す処理フローは終了する。
【0068】
ステップS109では、処理部14cは、例えば、機械学習により構築された学習モデルを用いて、合成画像PSに映る傷の検出を行う。例えば、上記の学習モデルは、疑似的な傷を示す複数の画像を予め用意し、当該複数の画像を教師データとして用いた教師あり学習を行うことによって構築される。処理部14cは、そのような学習モデルを用いることによって、合成画像PSにおいて傷である確からしさが高い領域を傷として検出できる。
【0069】
以上説明したように、本実施形態に係る撮像装置10では、制御装置14が、カメラ11および照明装置12に対して相対的にワーク20をカメラ11の光軸A1と交差する回動軸A2まわりに回動させることによってカメラ11および照明装置12に対して相対的にワーク20の姿勢を変化させ、互いに異なる複数の姿勢の各々でのワーク20をカメラ11によりそれぞれ撮像した複数の撮像画像P1、P2、P3を取得し、複数の撮像画像P1、P2、P3を合成して合成画像PSを生成する。それにより、ワーク20が映る画像として、輝度が過度に高い領域、および、輝度が過度に低い領域の少なくとも一方が除かれた合成画像PSを得ることができる。例えば、上記の例では、ハレーションが生じている領域が存在していない図12の合成画像PSを得ることができる。ゆえに、ワーク20の表面を適切に検査することができる。
【0070】
上記では、制御装置14が、カメラ11および照明装置12を回動させずに、ワーク20を回動軸A2まわりに回動させることによって、カメラ11および照明装置12に対して相対的にワーク20の姿勢を変化させる例を説明した。ただし、制御装置14は、ワーク20を回動させずに、カメラ11および照明装置12を回動軸A2まわりに回動させることによって、カメラ11および照明装置12に対して相対的にワーク20の姿勢を変化させてもよい。また、制御装置14は、ワーク20と、カメラ11および照明装置12との両方を回動軸A2まわりに回動させることによって、カメラ11および照明装置12に対して相対的にワーク20の姿勢を変化させてもよい。しかしながら、撮像装置10の機構の複雑化または大型化を抑制する観点では、カメラ11および照明装置12を回動させずに、ワーク20を回動軸A2まわりに回動させることによって、ワーク20の姿勢を変化させることが好ましい。
【0071】
上記では、ワーク20の姿勢が、第1姿勢、第2姿勢および第3姿勢の各姿勢に変化する例を説明した。ただし、ワーク20が取り得る姿勢は、上記の例に限定されない。例えば、制御装置14は、ワーク20の姿勢を2つまたは4つ以上の姿勢に変化させ、各姿勢でのワーク20をカメラ11により撮像してもよい。また、各姿勢の間でのワーク20の回動角度は、図4から図6の例と異なってもよい。なお、ワーク20の姿勢は、手動で変化してもよい。
【0072】
特に、撮像装置10では、制御装置14は、合成画像PSを生成する前に、複数の撮像画像P1、P2、P3の各々においてワーク20が表示される領域の寸法が、上記の互いに異なる複数の姿勢における特定の姿勢でのワーク20をカメラ11により撮像した場合に得られる画像(上記の例では撮像画像P2)においてワーク20が表示される領域の寸法と一致するように、複数の撮像画像P1、P2、P3の少なくとも一部(上記の例では撮像画像P1、P3)を補正する。それにより、各姿勢と対応する撮像画像P1、P2、P3の間で、ワーク20が表示される領域の寸法を一致させた上で、合成画像PSを生成することができる。ゆえに、合成画像PSの生成を適切に行うことができる。
【0073】
上記では、特定の姿勢が第2姿勢である例を説明した。ただし、特定の姿勢は、第2姿勢以外の姿勢であってもよい。例えば、特定の姿勢は、第1姿勢または第3姿勢であってもよい。例えば、特定の姿勢は、第1姿勢、第2姿勢および第3姿勢のいずれとも異なる姿勢であってもよい。
【0074】
ただし、制御装置14は、合成画像PSを生成する前に、上記の補正を行わなくてもよい。例えば、各姿勢の間でのワーク20の回動角度が小さい場合等には、上記の補正を行わなくても合成画像PSの生成を行うことができる。
【0075】
特に、撮像装置10では、制御装置14は、複数の撮像画像P1、P2、P3の各々から輝度が第1閾値を上回る第1領域を除いて、合成画像PSを生成する。それにより、ワーク20が映る画像として、輝度が過度に高く、ハレーションが生じている第1領域が除かれた合成画像PSを得ることができる。特に、制御装置14が各撮像画像から第1領域を除く処理が自動で行われることによって、作業者による作業負担を低減できる。
【0076】
特に、撮像装置10では、制御装置14は、複数の撮像画像P1、P2、P3の各々から輝度が第2閾値を下回る第2領域を除いて、合成画像PSを生成する。それにより、ワーク20が映る画像として、輝度が過度に低く、光が当たっていない第2領域が除かれた合成画像PSを得ることができる。特に、制御装置14が各撮像画像から第2領域を除く処理が自動で行われることによって、作業者による作業負担を低減できる。
【0077】
上記では、制御装置14が、各撮像画像から第1領域および第2領域の両方を除いて、合成画像PSを生成する例を説明した。ただし、制御装置14は、各撮像画像から第1領域を除く処理を行うものの、各撮像画像から第2領域を除く処理を行わなくてもよい。この場合、例えば、合成画像PSの生成処理の前に、各撮像画像から第2領域を除く処理を作業者が手動で行ってもよい。また、制御装置14は、各撮像画像から第2領域を除く処理を行うものの、各撮像画像から第1領域を除く処理を行わなくてもよい。この場合、例えば、合成画像PSの生成処理の前に、各撮像画像から第1領域を除く処理を作業者が手動で行ってもよい。また、制御装置14は、各撮像画像から第1領域を除く処理、および、各撮像画像から第2領域を除く処理の両方を行わなくてもよい。この場合、例えば、合成画像PSの生成処理の前に、各撮像画像から第1領域を除く処理、および、各撮像画像から第2領域を除く処理の両方を作業者が手動で行ってもよい。
【0078】
特に、撮像装置10では、制御装置14は、合成画像PSに基づいて、ワーク20の表面に形成されている傷を検出する。それにより、制御装置14が傷を検出する処理が自動で行われることによって、作業者による作業負担を低減できる。
【0079】
ただし、制御装置14は、ワーク20の表面に形成されている傷を検出する処理を行わなくてもよい。この場合、例えば、作業者が、合成画像PSを目視することによって、傷の検出を行ってもよい。
【0080】
以上、添付図面を参照しながら本開示の実施形態について説明したが、本開示はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
【0081】
本開示は、例えば、持続可能な開発目標(SDGs)の目標12「持続可能な消費と生産のパターンを確保する」に貢献することができる。
【符号の説明】
【0082】
10 撮像装置
11 カメラ
12 照明装置
14 制御装置
20 ワーク
A1 光軸
A2 回動軸
P1 撮像画像
P2 撮像画像
P3 撮像画像
PS 合成画像
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12