(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-06
(45)【発行日】2025-01-15
(54)【発明の名称】三次元カメラ
(51)【国際特許分類】
G01B 11/00 20060101AFI20250107BHJP
G03B 17/56 20210101ALI20250107BHJP
【FI】
G01B11/00 H
G03B17/56 Z
(21)【出願番号】P 2021037957
(22)【出願日】2021-03-10
【審査請求日】2024-02-13
(73)【特許権者】
【識別番号】599016785
【氏名又は名称】株式会社シーマイクロ
(74)【代理人】
【識別番号】100167047
【氏名又は名称】石原 幸典
(74)【代理人】
【氏名又は名称】石原 昌典
(72)【発明者】
【氏名】岩本 裕
(72)【発明者】
【氏名】高尾 典之
【審査官】井亀 諭
(56)【参考文献】
【文献】特開2001-183120(JP,A)
【文献】特開平07-012534(JP,A)
【文献】特開平05-067198(JP,A)
【文献】特開2001-141427(JP,A)
【文献】特開2009-270918(JP,A)
【文献】特開2017-151067(JP,A)
【文献】特開昭64-078104(JP,A)
【文献】特開2019-215181(JP,A)
【文献】特開2019-164068(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00-11/30
G03B 35/20
(57)【特許請求の範囲】
【請求項1】
三次元距離計測用の光を撮影対象物に対して出射する投光部と、前記撮影対象物において反射した前記光を撮像する撮像部とを備える三次元カメラであって、該三次元カメラは、
前記投光部として、第一投光部と第二投光部とを備え、
前記撮像部として、第一撮像部と第二撮像部とを備え、
前記第一投光部と前記第二投光部とが、交互に前記光を出射し、
前記第一撮像部と前記第二撮像部とが、前記第一投光部と前記第二投光部とから交互に出射されて前記撮影対象物において反射した前記光をそれぞれ撮像
し、
前記第一投光部を前方として前記第一投光部と前記第一撮像部とを第一グループとし、前記第二投光部を前方として前記第二投光部と前記第二撮像部とを第二グループとしたとき、
前記第一グループと前記第二グループとが、前記三次元カメラの移動方向又は前記撮影対象物の移動方向に対して前後を反転させて左右に隣接するように配設されており、且つ、前記第一投光部及び前記第二投光部が、前記第一撮像部及び前記第二撮像部よりも中心に近い位置に配設されている、三次元カメラ。
【請求項2】
請求項
1に記載の三次元カメラであって、
前記第一投光部と前記第二投光部とが出射する前記光が、レーザー平面が互いに平行でないレーザースリット光である、三次元カメラ。
【請求項3】
請求項
2に記載の三次元カメラであって、
前記第一投光部及び前記第二投光部の光軸と、前記第一撮像部及び前記第二撮像部の撮像軸とが、三次元カメラを前方から見たときに内向きの角度をもっている、三次元カメラ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、溶接検査システムなどの三次元検査において用いられている光切断方式の三次元カメラに関する。
【背景技術】
【0002】
溶結検査システムなどの三次元検査において、ライン状(スリット状)のレーザー光を撮影対象物(ワーク)に照射し、その反射光を高さデータ(プロファイル)として取得する光切断法(光切断方式)を用いる三次元カメラが広く普及している。このような光切断法を用いる三次元カメラは、三次元カメラ又は撮影対象物を移動させながら、撮影対象物との距離を三角測量の原理に基づいて測定するものである。
従来の三次元カメラでは、溶接ワークなどのように凹凸のあるワークを撮影する場合、
図12や
図13においてハッチングで示すような死角部分(撮影対象物が溶接ワークであれば、ピットやスパッタによる死角部分)が発生し、検査において誤検出や未検出が発生するなどの課題が存在していた。そこで、この課題を解決するため、三次元カメラの視点を変えて複数回のスキャンを行うなどの対策が講じられていた。しかしながら、三次元カメラの視点を変えて複数回のスキャンを行うにはスキャンの回数に応じた検査時間が必要となるため、タクトタイムが伸びる要因となっていた。また、ロボットのティーチング(走査位置をロボットに教え込ませる作業)も煩雑となっていた。
また、撮影対象物が例えば金属である場合、たとえ複数回のスキャンを行ったとしても、
図14において参照符号363で示すようにレーザー光が多重反射したときに高さ情報を正しく取得できない課題が生じていた。
そこで、例えば
図11に示すように、撮像部を複数備えた三次元カメラが存在している。
図11に示す三次元カメラ300は、レーザースリット光を照射する投光部301と、第一の撮像部302と、第二の撮像部303とを備えている。
このような三次元カメラによれば、一度のスキャンによって異なる視点からのプロファイルを取得することができる。
しかしながら、投光部301が中央に一つのみであるため、死角部分の発生及びレーザー光の多重反射による影響を取り除くことはできなかった。
【発明の概要】
【発明が解決しようとする課題】
【0003】
そこで、本発明は、死角部分の発生及びレーザーの多重反射による影響を取り除き、一度のスキャンで撮影対象物を検査することができる三次元カメラを提供することを目的とする。
【課題を解決するための手段】
【0004】
上記の課題を解決するために、本発明に係る三次元カメラは、三次元距離計測用の光を撮影対象物に対して出射する投光部と、撮影対象物において反射した光を撮像する撮像部とを備える三次元カメラであって、該三次元カメラは、投光部として、第一投光部と第二投光部とを備え、撮像部として、第一撮像部と第二撮像部とを備え、第一投光部と第二投光部とが、交互に光を出射し、第一撮像部と第二撮像部とが、第一投光部と第二投光部とから交互に出射されて撮影対象物において反射した光をそれぞれ撮像する。
【0005】
また、本発明に係る三次元カメラは、第一投光部を前方として第一投光部と第一撮像部とを第一グループとし、第二投光部を前方として第二投光部と第二撮像部とを第二グループとしたとき、第一グループと第二グループとが、三次元カメラの移動方向又は撮影対象物の移動方向に対して前後を反転させて左右に隣接するように配設されており、且つ、第一投光部及び第二投光部が、第一撮像部及び第二撮像部よりも中心に近い位置に配設されても良い。
【0006】
また、本発明に係る三次元カメラは、第一投光部と第二投光部とが出射する光が、レーザー平面が互いに平行でないレーザースリット光であっても良い。
【0007】
また、本発明に係る三次元カメラは、第一投光部及び第二投光部の光軸と、第一撮像部及び第二撮像部の撮像軸とが、三次元カメラを前方から見たときに内向きの角度をもっていても良い。
【発明の効果】
【0008】
本発明によれば、死角部分の発生及びレーザーの多重反射による影響を取り除き、一度のスキャンで撮影対象物を検査することができる三次元カメラを提供できる。
【図面の簡単な説明】
【0009】
【
図1】本発明の実施形態に係る三次元カメラの斜視図である。
【
図2】本発明の実施形態に係る三次元カメラの処理部の構成図である。
【
図3】本発明の実施形態に係る三次元カメラの動作を表す斜視図である。
【
図4】本発明の実施形態に係る三次元カメラの動作を表す斜視図である。
【
図5】本発明の実施形態に係る三次元カメラの動作を表す側面図である。
【
図6】本発明の実施形態に係る三次元カメラの底面図である。
【
図7】本発明の実施形態に係る三次元カメラの底面図である。
【
図8】本発明の実施形態に係る三次元カメラの動作を表す正面図である。
【
図9】本発明の実施形態に係る三次元カメラの動作を表す側面図である。
【
図10】本発明の実施形態に係る三次元カメラの動作フローである。
【
図11】従来の三次元カメラの一例を示した底面図である。
【
図12】従来の三次元カメラにおいて生じる死角部分の一例を示した正面図である。
【
図13】従来の三次元カメラにおいて生じる死角部分の一例を示した側面図である。
【
図14】レーザー光の多重反射の一例を示した斜視図である。
【発明を実施するための形態】
【0010】
以下、本発明に係る三次元カメラの構成を説明する。なお、各図を通して、同一の参照符号が付されているものは、同一または同等のものである。
【0011】
まず、
図1を参照しながら、本発明に係る三次元カメラ100について説明する。
【0012】
図1は、三次元カメラ100を示す斜視図である。ここで、y方向は三次元カメラ100(又は撮影対象物)の移動方向を示す。図示されるように、三次元カメラ100は、筐体101の内部に、第一投光部102と、第二投光部103と、第一撮像部104と、第二撮像部105とを備える。
【0013】
第一投光部102及び第二投光部103は、三次元距離計測用の光を撮影対象物に対して出射する投光部であり、例えば半導体レーザー(図示せず)とレンズ(図示せず)とで構成される。ここで、第一投光部102及び第二投光部103は、光の相互干渉を防ぐため、撮影対象物に対して三次元距離計測用の光を交互に出射するように構成されている。第一投光部102及び第二投光部103が出射する光は、スリット光であって、例えばレーザースリット光とすることができる。以下、第一投光部102及び第二投光部103が出射する光をレーザースリット光として説明する。
【0014】
第一撮像部1004及び第二撮像部105は、撮影対象物において反射したレーザースリット光を撮像する撮像部(受光部)であり、例えばレンズ(参照符号128及び129)とCMOSなどの撮像素子(図示せず)とで構成される。ここで、第一撮像部104及び第二撮像部105はどちらも、第一投光部102から出射されて撮影対象物において反射したレーザースリット光と第二投光部103から出射されて撮影対象物において反射したレーザースリット光とをそれぞれ撮像する。即ち、第一撮像部104及び第二撮像部105はどちらも、第一投光部102が撮影対象物に対してレーザースリット光を出射したときは撮影対象物において反射したそのレーザースリット光を撮像し、第二投光部103が撮影対象物に対してレーザースリット光を出射したときは撮影対象物において反射したそのレーザースリット光を撮像する。
【0015】
次に、
図2を参照しながら、本発明に係る三次元カメラ100の構成について説明する。
【0016】
図2は、三次元カメラ100の処理部120の構成を示した図である。なお、処理部120は、三次元カメラ100の筐体101に内蔵されるなどして三次元カメラ100と一体的に構成されても良く、外部のコンピュータ装置などによって処理部120の一部又は全部が構成されても良い。
【0017】
図示されるように、処理部120は、記憶部121と、制御部122と、投光制御部123と、受光制御部(撮像制御部)124と、プロファイル取得部125と、演算部126と、出力部127とを備えている。
【0018】
記憶部121は、RAM(ランダムアクセスメモリ)、ROM(リードオンリーメモリ)、ハードディスク又は半導体メモリなどによって構成され、プロファイルの視点変換や重ね合わせなどの演算を行うプログラムなどの各種プログラムを記憶している。
【0019】
制御部122は、例えばCPU(中央演算処理装置)であり、制御部122が記憶部121に記憶されたプログラムを実行することにより、演算部126を含む処理部120の各種機能部が実現される。なお、処理部120の各種機能部の一部又は全部が、電子回路などのハードウェアによって実現されて良い。
【0020】
投光制御部123は、第一投光部102及び第二投光部103のレーザースリット光の出射タイミング(照射タイミング)やレーザースリット光の強度などを制御する。なお、投光制御部123は、制御部122に統合されても良い。
【0021】
受光制御部124は、第一撮像部104及び第二撮像部105の撮像(受光)タイミングなどを制御する。なお、受光制御部124は、制御部122に統合されても良い。
【0022】
プロファイル取得部125は、第一撮像部104及び第二撮像部105によって取得された受光量の分布に基づく、撮影対象物130のプロファイルを示すデータを取得する。
【0023】
演算部126は、プロファイル取得部125によって取得されたプロファイルデータに対する演算などの処理を行う。ここで、演算とは、例えばプロファイルの視点変換や重ね合わせである。
【0024】
出力部127は、演算部126による演算の結果を、ディスプレイなどの外部装置(図示せず)に出力する。なお、出力部127は、ディスプレイなどの外部装置に出力する必要がないときは省略して良い。
【0025】
次に、
図3及び
図4を参照しながら、本発明に係る三次元カメラ100の動作について説明する。
【0026】
図3は、第一投光部102が撮影対象物130に対してレーザースリット光を出射し、撮影対象物130において反射したレーザースリット光を第一撮像部104及び第二撮像部105が撮像する状態を示した斜視図である。図示されるように、第一投光部102が作動して撮影対象物130に対してレーザースリット光140を照射すると、撮影対象物130において反射したレーザースリット光140を、第一撮像部104が撮像(参照符号141)するとともに第二撮像部105が撮像(参照符号142)する。なお、参照符号143で示す矢印は三次元カメラ100(又は撮影対象物130)の移動方向を示し、アルファベットのaは撮影対象物130の幅(横幅)を示す。
【0027】
図4は、第二投光部103が撮影対象物130に対してレーザースリット光を出射し、撮影対象物130において反射したレーザースリット光を第一撮像部104及び第二撮像部105が撮像する状態を示した斜視図である。図示されるように、第二投光部103が作動して撮影対象物130に対してレーザースリット光160を照射すると、撮影対象物130において反射したレーザースリット光160を、第一撮像部104が撮像(参照符号161)するとともに第二撮像部105が撮像(参照符号162)する。
【0028】
次に、
図5を参照しながら、第一投光部102から出射されるレーザースリット光140と、第二投光部103から出射されるレーザースリット光160について説明する。
【0029】
図5は、三次元カメラ100の側面図であり、第一投光部102から出射されるレーザースリット光140と、第二投光部103から出射されるレーザースリット光160とを示している。図示されるように、第一投光部102から出射されるレーザースリット光140と、第二投光部103から出射されるレーザースリット光160とは、レーザー平面同士が互いに平行とならないように構成することができる。このように構成することで、レーザースリット光140とレーザースリット光160とで反射の態様が変わるため、多重反射が現れる場所が変化する。これにより、プロファイルデータを統合処理する過程で多重反射によるものかどうかを見分けることができるようになり、多重反射による影響を取り除くことができる。なお、レーザースリット光140とレーザースリット光160とで反射の態様を変えるには、第一投光部102から出射されるレーザースリット光140と第二投光部103から出射されるレーザースリット光160とのレーザー平面同士が互いに平行でなければ良いため、
図5に示す構成の他、例えば、三次元カメラ100を上方から見たときにレーザー平面がく字状またはX字状に交差するような構成としても良い。
【0030】
次に、
図6及び
図7を参照しながら、第一投光部102、第二投光部103、第一撮像部104及び第二撮像部105の配置(相対的な位置関係)について説明する。
【0031】
図6は、第一投光部102、第二投光部103、第一撮像部104及び第二撮像部105の第一の配置パターンに係る三次元カメラ100の底面図である。図示されるように、第一投光部102と第一撮像部104とが第一グループ200を構成し、第二投光部103と第二撮像部105とが第二グループ201を構成している。ここで、それぞれのグループにおいて投光部側を前方としたとき、第一グループ200と第二グループ201とは、三次元カメラ100(又は撮影対象物130)の移動方向(参照符号143)に対して前後を反転させて(即ち、前後を入れ替えるようにして)、且つ、左右に隣接するように配設されている。また、参照符号202で示す位置を三次元カメラ100の中心としたとき、第一投光部102及び第二投光部103は、第一撮像部104及び第二撮像部105よりも中心に近い位置に配設されている。
【0032】
図7は、第一投光部102、第二投光部103、第一撮像部104及び第二撮像部105の第二の配置パターンに係る三次元カメラ100の底面図である。図示されるように、第一投光部102と第一撮像部104とが第一グループ200を構成し、第二投光部103と第二撮像部105とが第二グループ201を構成している。ここで、それぞれのグループにおいて投光部側を前方としたとき、第一グループ200と第二グループ201とは、三次元カメラ100(又は撮影対象物130)の移動方向(参照符号143)に対して前後を反転させて(即ち、前後を入れ替えるようにして)、且つ、左右に隣接するように配設されている。また、参照符号202で示す位置を三次元カメラ100の中心としたとき、第一撮像部104及び第二撮像部105は、第一投光部102及び第二投光部103よりも中心に近い位置に配設されている。
【0033】
第一投光部102、第二投光部103、第一撮像部104及び第二撮像部105の配置は、上述の第一の配置パターンと第二の配置パターンのどちらであっても良いが、第一の配置パターンは第二の配置パターンと比較して、二つの撮像部によって撮像した画像(プロファイルデータ)を合成する際の位置合わせが容易であるという利点がある。これは、二つの撮像部によって撮像した画像(プロファイルデータ)を合成する際の基準がレーザー平面であるためである。
【0034】
なお、第一投光部102及び第一撮像部104の中心と第二投光部103及び第二撮像部105の中心との間の距離(
図6及び
図7におけるアルファベットのb)を、撮影対象物130の幅(
図3及び
図4におけるアルファベットのa)よりも大きくすることで、或いは、第一撮像部104及び第二撮像部105の視野よりも大きくすることで、左右方向(幅方向)の死角部分の発生を抑制することができる。
【0035】
次に、
図8及び
図9を参照しながら、第一投光部102及び第二投光部103から出射されるレーザースリット光の光軸と、第一撮像部104及び第二撮像部105の撮像軸(撮像領域の中心)について説明する。
【0036】
図8は、三次元カメラ100の正面図であり、第一投光部102から出射されるレーザースリット光140と、第二投光部103から出射されるレーザースリット光160と、第一撮像部104の撮像軸240と、第二撮像部105の撮像軸241とを示している。図示されるように、第一投光部102の光軸と第二投光部103の光軸とが内向きの角度をもつように、第一投光部102及び第二投光部103を設けることができる。このように第一投光部102及び第二投光部103を設けることで、左右方向においてレーザースリット光140とレーザースリット光160とが重なる幅が広がり、より大きな幅(
図3及び
図4におけるアルファベットのa)の撮影対象物130を検査することができる。また、撮像軸240と撮像軸241とが内向きの角度をもつように、第一撮像部104及び第二撮像部105を設けることができる。このように第一撮像部104及び第二撮像部105を設けることで、より大きな幅(
図3及び
図4におけるアルファベットのa)の撮影対象物130を撮像領域に収めることができる。
【0037】
図9は、三次元カメラ100の側面図であり、第一投光部102から出射されるレーザースリット光140と、第二投光部103から出射されるレーザースリット光160と、第一撮像部104の撮像軸240と、第二撮像部105の撮像軸241とを示している。図示されるように、第一投光部102の光軸と第二投光部103の光軸とが内向きの角度をもつように、第一投光部102及び第二投光部103を設けることができる。このように第一投光部102及び第二投光部103を設けることで、撮影対象物130においてレーザースリット光140及び160が反射する位置のズレが小さくなる。これにより、ロボットの移動速度にばらつきによって移動速度を完全にトレースできない場合であっても、プロファイルデータの合成における誤差が低減される。また、撮像軸240と撮像軸241とが内向きの角度をもつように、第一撮像部104及び第二撮像部105を設けることができる。このように第一撮像部104及び第二撮像部105を設けることで、撮像領域のより中心に近い位置でプロファイルが形成される。
【0038】
次に、
図10を参照しながら、本発明に係る三次元カメラ100の動作の流れについて説明する。
【0039】
図10は、三次元カメラ100の動作の流れを示すフロー図である。まず、ステップS280において、投光制御部123によって第一投光部102が作動してレーザースリット光140を出射する。次に、ステップS281において、受光制御部124によって第一撮像部104及び第二撮像部105が作動し、第一投光部102より出射されて撮影対象物130において反射したレーザースリット光140を撮像する。次に、ステップS282において、投光制御部123によって第一投光部102がレーザースリット光140の出射を終了して停止する。次に、ステップS283において、投光制御部123によって第二投光部103が作動してレーザースリット光160を出射する。次に、ステップS284において、受光制御部124によって第一撮像部104及び第二撮像部105が作動し、第二投光部103より出射されて撮影対象物130において反射したレーザースリット光160を撮像する。次に、ステップS285において、投光制御部123によって第二投光部103がレーザースリット光160の出射を終了して停止する。次に、ステップS286において、制御部122が撮影対象物130の撮影が完了したかを判断する。ステップS286において撮影が完了したと判断されたときは三次元カメラの動作が終了され、ステップS286において撮影が完了していないと判断されたときはステップS280に戻って三次元カメラ100の動作が継続される。なお、ステップS281及びステップS284において第一撮像部104及び第二撮像部105によって取得された受光量の分布などのデータは、ステップS281及びステップS284においてプロファイル取得部125によって随時取得されても良く、ステップS284においてプロファイル取得部125によってまとめて取得されても良い。
【0040】
なお、得られた画像からそれぞれのプロファイルを生成するにあたっては、レーザースリット光が複数本あるために、レーザースリット光の本数分、座標が異なるプロファイルが得られる。ここで、三次元カメラ100又は撮影対象物130が移動して三次元形状を生成する構造上、複数得られたプロファイルをそれぞれ視点変換し、カメラ中心を基準とするプロファイルにする。視点を変換した後のプロファイルを重ね合わせると、多重反射によるプロファイルは片方のカメラでしか得られないため、正しいプロファイルと見分けることが容易である。また、仮に鏡面反射などで正しいプロファイルが片方のカメラでしか得られない場合でも、前後左右の位置関係から、多重反射によるものかどうかを見分けることは容易である。
【0041】
以上のとおり説明した構成及び動作からなる本発明に係る三次元カメラ100によれば、従来の三次元カメラであれば死角を減らすために複数回の撮像(スキャン)が必要であったところを一度のスキャンで済ませることができるため、タクトタイムを短縮することができる。また、多重反射による影響が取り除かれるため、検査装置の性能向上に寄与することができる。
【0042】
以上、本発明の好適な実施形態について説明したが、本発明は上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の改変が可能である。
【0043】
例えば、本発明に係る三次元カメラ100は、溶接検査ではなく、ボルトなどの部品の有無・脱落を検査する用途にも適用できる。
【符号の説明】
【0044】
100 三次元カメラ
101 筐体
102 第一投光部
103 第二投光部
104 第一撮像部
105 第二撮像部
120 処理部
121 記憶部
122 制御部
123 投光制御部
124 受光制御部
125 プロファイル取得部
126 演算部
127 出力部
128 レンズ
129 レンズ
130 撮影対象物
140 レーザースリット光
141 反射光
142 反射光
143 移動方向(前後方向)
160 レーザースリット光
161 反射光
162 反射光
200 第一グループ
201 第二グループ
202 中心
240 撮像軸
241 撮像軸
300 三次元カメラ
301 投光部
302 第一の撮像部
303 第二の撮像部
320 撮像部
321 撮影対象物
322 撮像領域(カメラ視野)
324 死角部分
340 三次元カメラ
341 撮影対象物
342 レーザースリット光
343 撮像軸
360 撮影対象物
361 溶接部
362 レーザースリット光
363 多重反射したレーザースリット光