特開 2024-75323 計測装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024075323

(43)【公開日】2024-06-03

(54)【発明の名称】計測装置

(51)【国際特許分類】

   G01B 11/245 20060101AFI20240527BHJP

   G01B 11/25 20060101ALI20240527BHJP

【ＦＩ】

G01B11/245 H

G01B11/25 H

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022186697

(22)【出願日】2022-11-22

(71)【出願人】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】荒川 正行

(72)【発明者】

【氏名】大西 康裕

(72)【発明者】

【氏名】長谷川 昂宏

(72)【発明者】

【氏名】松本 慎也

【テーマコード（参考）】

2F065

【Ｆターム（参考）】

2F065AA53

2F065BB05

2F065DD04

2F065FF01

2F065FF02

2F065FF05

2F065FF07

2F065FF09

2F065GG04

2F065HH04

2F065HH05

2F065HH06

2F065JJ03

2F065JJ05

2F065JJ26

2F065LL13

2F065MM06

2F065PP22

2F065QQ21

2F065QQ31

2F065QQ38

(57)【要約】

【課題】間接光を減らして、測定対象物の表面からの光を取り込んだ画像から３次元データを取得可能な計測装置を提供する。
【解決手段】測定対象物の部分へ光を照射する照射部と、前記測定対象物のうち、前記照射部からの光が照射された前記測定対象物の部分を予め定められたタイミングで撮像する複数の撮像部と、前記照射部及び前記撮像部を制御する制御部と、前記撮像部で撮像された画像を元に前記測定対象物の３次元形状を計測する計測部とを備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

測定対象物の部分へ光を照射する照射部と、
前記測定対象物のうち、前記照射部からの光が照射された前記測定対象物の部分を予め定められたタイミングで撮像する複数の撮像部と、
前記照射部及び前記撮像部を制御する制御部と、
前記撮像部で撮像された画像を元に前記測定対象物の３次元形状を計測する計測部とを備える計測装置。

【請求項2】

前記照射部は、前記測定対象物に向けてライン状の光を走査可能に照射する請求項１に記載の計測装置。

【請求項3】

前記撮像部は、互いに異なる角度から、共通の前記測定対象物を撮像する請求項１に記載の計測装置。

【請求項4】

前記撮像部は、前記測定対象物における前記照射部のライン状の光の走査方向に並ぶ共通の複数の視野列を有し、
各前記視野列は前記照射部から走査されるライン状の前記光と交差するよう配置される請求項３に記載の計測装置。

【請求項5】

前記制御部は、
前記照射部を用いて前記測定対象物に向けてライン状の光を照射させ、
前記撮像部を用いてライン状の前記光の走査に応じて当該光と露光が交差する領域についてそれぞれ撮像すると共に、当該領域を走査の並び順に並べて画像を生成し、
前記計測部は、
複数の前記撮像部によって取得された画像により３次元計測を行う請求項１に記載の計測装置。

【請求項6】

前記照射部は、レーザー走査式プロジェクタであり、
前記撮像部は、ローリングシャッターカメラである請求項１に記載の計測装置。

【請求項7】

前記制御部は、
前記レーザー走査式プロジェクタのレーザー光の前記測定対象物への照射タイミングと、前記ローリングシャッターカメラの前記測定対象物の撮像タイミングとを合わせて撮像させる請求項６に記載の計測装置。

【請求項8】

前記制御部は、
前記ローリングシャッターカメラの前記測定対象物の撮像タイミングを変更することで、前記測定対象物の前記ローリングシャッターカメラからの撮像される距離を変更して、当該測定対象物のカメラからの奥行き方向の複数の位置の当該測定対象物を撮像する請求項７に記載の計測装置。

【請求項9】

前記計測部は、
変更された撮像タイミングで複数の前記撮像部により撮像された画像を元に、ステレオマッチングにより前記測定対象物の３次元形状を計測する請求項８に記載の計測装置。

【請求項10】

前記測定対象物は、透明な素材で形成された透明物体又は光沢面を備える光沢面物体である請求項１に記載の計測装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、計測装置に関する。

【背景技術】

【0002】

従来、レーザー光を照射して測定対象物の３次元データを取得する装置が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１８３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、測定対象物が、表面で光を乱反射しやすい場合は、３次元データの取得が困難であるという問題がある。特に、測定対象物が、透明体や光沢面物体である場合には、照射した光のうち測定対象物の表面から返ってくる光が弱く、又、ノイズとなる間接光（マルチパス光）を測定してしまう。

【0005】

本開示は、間接光を減らして、測定対象物の表面からの光を取り込んだ画像から３次元データを取得可能な計測装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

第１態様に係る計測装置は、測定対象物の部分へ光を照射する照射部と、前記測定対象物のうち、前記照射部からの光が照射された前記測定対象物の部分を予め定められたタイミングで撮像する複数の撮像部と、前記照射部及び前記撮像部を制御する制御部と、前記撮像部で撮像された画像を元に前記測定対象物の３次元形状を計測する計測部とを備える。

【0007】

第２態様に係る計測装置は、前記照射部は、前記測定対象物に向けてライン状の光を走査可能に照射する。

【0008】

第３態様に係る計測装置は、前記撮像部は、互いに異なる角度から、共通の前記測定対象物を撮像する。

【0009】

第４態様に係る計測装置は、前記撮像部は、前記測定対象物における前記照射部のライン状の光の走査方向に並ぶ共通の複数の視野列を有し、各前記視野列は前記照射部から走査されるライン状の前記光と交差するよう配置される。

【0010】

第５態様に係る計測装置は、前記制御部は、前記照射部を用いて前記測定対象物に向けてライン状の光を照射させ、前記撮像部を用いてライン状の前記光の走査に応じて当該光と露光が交差する領域についてそれぞれ撮像すると共に、当該領域を走査の並び順に並べて画像を生成し、前記計測部は、複数の前記撮像部によって取得された画像により３次元計測を行う。

【0011】

第６態様に係る計測装置は、前記照射部は、レーザー走査式プロジェクタであり、前記撮像部は、ローリングシャッターカメラである。

【0012】

第７態様に係る計測装置は、前記制御部は、前記レーザー走査式プロジェクタのレーザー光の前記測定対象物への照射タイミングと、前記ローリングシャッターカメラの前記測定対象物の撮像タイミングとを合わせて撮像させる。

【0013】

第８態様に係る計測装置は、前記制御部は、前記ローリングシャッターカメラの前記測定対象物の撮像タイミングを変更することで、前記測定対象物の前記ローリングシャッターカメラからの撮像される距離を変更して、当該測定対象物のカメラからの奥行き方向の複数の位置の当該測定対象物を撮像する。

【0014】

第９態様に係る計測装置は、前記計測部は、変更された撮像タイミングで複数の前記撮像部により撮像された画像を元に、ステレオマッチングにより前記測定対象物の３次元形状を計測する。

【0015】

第１０態様に係る計測装置は、前記測定対象物は、透明な素材で形成された透明物体又は光沢面を備える光沢面物体である。

【発明の効果】

【0016】

本開示によれば、間接光を減らして、測定対象物の表面からの光を取り込んだ画像から３次元データを取得可能な計測装置を提供することができる。

【図面の簡単な説明】

【0017】

【図1】実施形態に係る計測装置のハードウェア構成を示すブロック図である。

【図2】実施形態に係るプロジェクタとカメラの配置を説明するための説明図である。

【図3】実施形態に係る計測装置の機能構成の例を示すブロック図である。

【図4】実施形態に係る計測装置の制御部の動作を説明するための説明図である。

【図5】実施形態に係る制御部の動作の一例を説明するための説明図である。

【図6】実施形態に係る制御部の奥行き制御を説明するための説明図である。

【図7】実施形態に係る制御部の傾き制御を説明するための説明図である。

【図8】実施形態に係る制御部の厚み制御を説明するための説明図である。

【図9】実施形態に係る計測処理の流れの一例を示すフローチャートである。

【図10】実施形態に係る測定対象物の撮像位置と撮像厚みの一例を説明するための説明図である。

【図11】実施形態に係るセンサユニットと測定対象物との位置関係を説明するための説明図である。

【図12】実施形態に係る測定対象物の撮像位置と撮像厚みの他の一例を説明するための説明図である。

【図13】実施形態に係るプロジェクタとカメラの配置の他の例を説明するための説明図である。

【図14】実施形態に係るプロジェクタを説明するための説明図である。

【発明を実施するための形態】

【0018】

（実施形態）
以下、本開示の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素および部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0019】

計測装置１０のハードウェア構成について説明する。
図１は、本実施形態に係る計測装置１０のハードウェア構成を示すブロック図である。

【0020】

図１に示すように、計測装置１０は、測定対象物Ｆに対向して配置されるセンサユニット１００、及びセンサユニット１００に接続されたコンピュータ２００を備える。

【0021】

センサユニット１００は、図１に示すように、プロジェクタ１０１と、カメラ１０２（第１カメラ１０３及び第２カメラ１０４）とが、一体に構成されたものである。ここで、プロジェクタ１０１は、照射部の一例であり、カメラ１０２は撮像部の一例である。また、カメラ１０２は、第１カメラ１０３及び第２カメラ１０４から構成される。なお、プロジェクタ１０１及びカメラ１０２は、センサユニット１００として全部が一体化されておらず、それぞれ別体に設けられてもよく、一部が一体化されていてもよい。また、センサユニット１００は、コンピュータ２００と一体化されていてもよい。

【0022】

プロジェクタ１０１は、測定対象物Ｆの３次元計測を行うための計測光（例えばパターン光）を含む照明を、測定対象物Ｆへ照射する。より詳しくは、プロジェクタ１０１は、測定対象物Ｆに向けてライン状（線状）の光を走査可能に照射する。また、プロジェクタ１０１は、本実施形態では、レーザー光を走査方向に沿って走査させるレーザー走査式プロジェクタを用いている。なお、プロジェクタ１０１は、レーザー走査式プロジェクタに限定されず、他の方式のプロジェクタであってもよい。また、プロジェクタ１０１からの光（レーザー）は、常時連続点灯でも、カメラ１０２の露光時間に同期したパルス点灯でもよい。

【0023】

第１カメラ１０３及び第２カメラ１０４は、それぞれ例えば一般的な光学センサが搭載されたカメラ装置を含んで構成されており、照明が投射された測定対象物Ｆをそれぞれ撮像する。また、第１カメラ１０３及び第２カメラ１０４は、互いに異なる角度から、共通の測定対象物Ｆを撮像する。また、第１カメラ１０３及び第２カメラ１０４は、本実施形態では、ローリングシャッターカメラを用いている。なお、カメラ１０２は、ローリングシャッターカメラに限定されず、グローバルシャッターカメラであってもよい。

【0024】

また、プロジェクタ１０１と、第１カメラ１０３及び第２カメラ１０４の配置は、図２に示すように、測定対象物Ｆに対向して配置されている。また、プロジェクタ１０１及び第１カメラ１０３、第２カメラ１０４は、プロジェクタ１０１の走査方向Ｌに、第１カメラ１０３及び第２カメラ１０４の撮影する視野列を揃えて配置され、走査方向Ｌと交差する垂直方向に走査及び撮影の走査の向きを揃えて配置されている。そして、第１カメラ１０３及び第２カメラ１０４は、プロジェクタ１０１の垂直方向に並べて配置されている。なお、カメラ１０２は、プロジェクタ１０１の投影位置に、撮像する位置を寄せるように傾けて配置されてもよい。プロジェクタ１０１は、カメラ１０３及びカメラ１０４の撮像する位置に、投影位置を寄せるように傾けて配置されてもよい。すなわち、プロジェクタ１０１及びカメラ１０２は、輻輳角を設けて配置されてもよい。

【0025】

コンピュータ２００は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、メモリ２０２、記憶装置２０３、入力装置２０４、出力装置２０５、記憶媒体読取装置２０６、及び通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２０７を有する。各構成は、バス２０８を介して相互に通信可能に接続されている。

【0026】

記憶装置２０３には、後述する計測処理を実行するための計測プログラムが格納されている。ＣＰＵ２０１は、中央演算処理ユニットであり、各種プログラムを実行したり、各構成を制御したりする。すなわち、ＣＰＵ２０１は、記憶装置２０３からプログラムを読み出し、メモリ２０２を作業領域としてプログラムを実行する。ＣＰＵ２０１は、記憶装置２０３に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。

【0027】

メモリ２０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）により構成され、作業領域として一時的にプログラム及びデータを記憶する。記憶装置２０３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

【0028】

入力装置２０４は、例えば、キーボードやマウス等の、各種の入力を行うための装置である。出力装置２０５は、例えば、ディスプレイやプリンタ等の、各種の情報を出力するための装置である。出力装置２０５として、タッチパネルディスプレイを採用することにより、入力装置２０４として機能させてもよい。記憶媒体読取装置２０６は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ、ブルーレイディスク、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の各種記憶媒体に記憶されたデータの読み込みや、記憶媒体に対するデータの書き込み等を行う。通信Ｉ／Ｆ２０７は、他の機器と通信するためのインタフェースであり、本実施形態では、センサユニット１００（プロジェクタ１０１、第１カメラ１０３及び第２カメラ１０４）が接続されている。

【0029】

つぎに、本実施形態における計測装置１０の機能構成について説明する。
図３は、計測装置１０の機能構成の例を示すブロック図である。図３に示すように、計測装置は、機能構成として、制御部２１０と、計測部２１１とを含む。各機能構成は、ＣＰＵ２０１が記憶装置２０３に記憶された計測プログラムを読み出し、メモリ２０２に展開して実行することにより実現される。

【0030】

制御部２１０は、プロジェクタ１０１及びカメラ１０２（第１カメラ１０３及び第２カメラ１０４）を制御する。

【0031】

制御部２１０の動作について、図４を用いて説明する。図４は、プロジェクタ１０１とカメラ１０２とを側面から見た図である。

【0032】

図４に示すように、制御部２１０は、レーザー走査式のプロジェクタ１０１が測定対象物Ｆに光Ｅを照射する。また、制御部２１０は、プロジェクタ１０１の光Ｅとカメラ１０２の露光が交差する領域のみを撮像するようにカメラ１０２のローリングシャッターのタイミングを同期させる。すなわち、プロジェクタ１０１が光Ｅを照射した測定対象物Ｆの部分のみを撮像するようにカメラ１０２のローリングシャッターのタイミングを合わせる。Ｐ１は、プロジェクタ１０１が光Ｅを照射した測定対象物Ｆの部分のみを撮像するようにカメラ１０２のローリングシャッターのタイミングを合わせた測定対象物Ｆの位置である。そして、プロジェクタ１０１が光Ｅを照射した測定対象物Ｆの部分のみを撮像するようにカメラ１０２のローリングシャッターのタイミングが合っていない、Ｐ２，Ｐ３，Ｐ４の位置の測定対象物Ｆはカメラ１０２に撮像されない。そして、プロジェクタ１０１の光Ｅとカメラ１０２の露光が交差する領域をプロジェクタ１０１の走査の並び順に並べて測定対象物Ｆを撮像した画像を生成する。

【0033】

また、制御部２１０は、図５に示すように、プロジェクタ１０１の光Ｅの照射に対しカメラ１０２のローリングシャッターのタイミングを調整することで測定対象物Ｆの奥行き方向のどの部分を撮像するかの奥行き制御と、プロジェクタ１０１の走査速度の差が生じるようにカメラ１０２の走査速度を変更することで測定対象物Ｆをどの傾きで撮像するかの傾き制御と、カメラ１０２の露光時間を変えることで測定対象物Ｆをどの厚さで撮像（撮像厚み）するかの厚み制御とが可能となる。

【0034】

奥行き制御について、図６を用いて説明する。
制御部２１０は、カメラ１０２の露光開始を遅くすると、遅くする時間（以下、「遅延時間」ともいう。）によって撮像面Ｎまでの距離を変えることができ、測定対象物Ｆの奥行き方向のどの部分を撮像するかを制御することができる。例えば、図６（Ａ）に示すように、プロジェクタ１０１の光Ｅの照射開始からの遅延時間がｔ１の光Ｅ２で照射している場合は、距離Ｋ１の撮像面Ｎ１の撮像が可能となる。そして、図６（Ｂ）に示すように、遅延時間がｔ１よりも長いｔ２の光Ｅ３で照射している場合は、撮像面Ｎ１よりもカメラ１０２からの距離Ｋ１よりも近い距離Ｋ２の撮像面Ｎ２の撮像が可能となる。すなわち、カメラ１０２の露光開始のタイミングによって、測定対象物Ｆの奥行き方向のどの部分を撮像するかを制御することができ、測定対象物Ｆのカメラからの距離方向の複数の位置、例えば、測定対象物Ｆの表面部分や裏面部分、測定対象物Ｆの奥行き方向の様々な部分を撮像することが可能となる。

【0035】

傾き制御について、図７を用いて説明する。
プロジェクタ１０１の走査速度とカメラ１０２の走査速度とが一致する場合は、図７（Ａ）に示すように、傾いていない撮像面Ｎ３の撮像が可能となる。また、カメラ１０２の走査速度をプロジェクタ１０１の走査速度よりも早くすると、図７（Ｂ）に示すように、先に撮像される側（図７中右側）が傾いていない撮像面Ｎ３よりもカメラ１０２と反対方向に傾いた撮像面Ｎ４の撮像が可能となる。また、カメラ１０２の走査速度をプロジェクタ１０１の走査速度よりも遅くすると、図７（Ｃ）に示すように、後に撮像される側（図７中右側）が傾いていない撮像面Ｎ３よりもカメラ１０２の方向に傾いた撮像面Ｎ５の撮像が可能となる。すなわち、プロジェクタ１０１の走査速度とカメラ１０２の走査速度とに差を設けることで、測定対象物Ｆの傾いた面を撮像することが可能となる。

【0036】

厚み制御について、図８を用いて説明する。
カメラ１０２の露光時間を変更すると、撮像するプロジェクタ１０１の光Ｅの走査線の数が変更され、複数の走査線が撮像可能になることから、図８に示すように、撮像面Ｎの厚みである撮像厚みΔＰを制御することができる。具体的には、図８に示すように、カメラ１０２の露光時間が長くなるように変更すると、プロジェクタ１０１の光Ｅの複数の走査線、すなわち、光Ｅ４から光Ｅ５を撮像することになり、撮像厚みΔＰを厚くすることが可能となる。図８に示すように、カメラの視野幅とプロジェクタ１０１の光Ｅのビーム幅が重なる部分が撮像されることになる。

【0037】

また、測定対象物Ｆを撮像する撮像厚み最小値ΔＰについては、以下の関係式により算出される。

【数1】

【数2】

【数3】

ここで、ｚ_ωｓは露光開始（ｓｔａｒｔ）時刻の奥行方向の位置、ｚ_ωｅは露光終了（ｅｎｄ）時刻の奥行方向の位置を示す。また、ｔは任意の撮影時刻、ｔ_ｅは露光時間を示す。すなわち、時刻ｔでのｚ_ωｓが露光開始時の奥行方向の距離、ｚ_ωｅが露光終了時の奥行き方向の距離を示しており、その差分が時刻ｔの位置での撮像の厚みになる。また、ｂはカメラとプロジェクタの間の基線長(ベース長さ)を示し、カメラの座標（０，－ｂ／２，０）及びプロジェクタの座標（０，ｂ／２，０）を元にし、ｖ_ｐｔはプロジェクタの照明投影器列を示し、ｖ_ｃ（ｔ－ｔ_ｄ－ｔ_ｅ／２）とｖ_ｃ（ｔ－ｔ_ｄ＋ｔ_ｅ／２）は、ローリングシャッターでキャプチャされたカメラ列を示す。また、ｖ_ｐは行毎のプロジェクタのスキャン速度を示し、ｖ_ｃは行毎のローリングシャッターの速度を示す。また、ｆ及びｃは、カメラ行列Ｋについての以下の関係式を元にする。

【数4】

【0038】

制御部２１０は、上述した奥行き制御、傾き制御及び厚み制御で測定対象物Ｆを撮像した画像を取得する。また、制御部２１０は、同じ奥行き制御、傾き制御及び厚み制御で測定対象物Ｆを複数枚撮像し、計測部２１１で合成することを可能にしている。

【0039】

計測部２１１は、カメラ１０２で撮像された画像を元に測定対象物Ｆの３次元形状を計測する。すなわち、計測部２１１は、カメラ１０２により撮像された画像を元に、ステレオマッチングにより測定対象物Ｆの３次元データを算出する。具体的には、計測部２１１は、第１カメラ１０３による測定対象物Ｆのカメラ側となる表面側を撮像した第１表面画像と、第２カメラ１０４による測定対象物Ｆのカメラ側となる表面側を撮像した第２表面画像とを元に、ステレオマッチングにより表面画像の３次元データを算出する。また、計測部２１１は、第１カメラ１０３によるローリングシャッターのタイミングを調整して、測定対象物Ｆの奥行き方向の一部を撮像した第１調整画像と、第２カメラ１０３によるローリングシャッターのタイミングを調整して、測定対象物Ｆの奥行き方向の一部を撮像した第２調整画像とを元に、ステレオマッチングにより調整画像の３次元データを算出する。そして、表面画像の３次元データと調整画像の３次元データとを統合し、測定対象物Ｆの３次元データを作成する。なお、表面画像の３次元データと調整画像の３次元データとを統合して、測定対象物Ｆの３次元データを取得する場合に限定されず、表面画像の３次元データ又は調整画像の３次元データのいずれか一方のみを使用して、測定対象物Ｆの３次元データを取得してもよい。

【0040】

また、計測部２１１は、ステレオマッチングの前に、表面画像と調整画像とのうち、測定対象物Ｆの奥行き方向で複数枚撮像した画像の各画素の輝度データ値を取得し、最大輝度値となる各画素を集めて画像を生成し、生成した画像をステレオマッチングしてもよい。また、計測部２１１は、ステレオマッチングにおいて、表面画像の輝度パターンを画素表面上でズラしながら輝度パターンの合致するズラシ量を探索することで、第１カメラ１０３の画像と第２カメラ１０４の画像との間で視差を決定する処理を行う。そして、計測部２１１は、この視差を決定する処理の輝度パターンを探索する範囲を、調整画像から計算される距離の範囲に狭めることで、探索する範囲を削減し、ステレオマッチングの処理を軽減することで、高速化をはかってもよい。すなわち、調整画像は、上述した数１により、撮像厚みΔＰの範囲に測定対象物Ｆの表面があることが分かり、ΔＰの範囲に探索する範囲を決定するようにしてもよい。また、計測部２１１は、統合された表面画像と調整画像との３次元データを予め定められた係数を用いた歪み補正を行って３次元データを調整することが望ましい。また、第１カメラ１０３及び第２カメラ１０４により撮像された画像を予め定められた係数を用いた歪み補正を行い、歪み補正後の画像を元に、ステレオマッチングにより測定対象物Ｆの３次元データを算出してもよい。ここで、予め定められた係数は、キャリブレーションの際に取得した画像を元に決定しておくものである。また、計測部２１１は、カメラ１０２により撮像された画像を、２Ｄメジアンフィルタやしきい値処理などによりノイズを除去することが望ましい。

【0041】

上述のステレオマッチングは、既知の手法を用いて行うため、説明を省略する。なお、ステレオマッチングの手法は限定されず、例えば、特開２０１８－６３２２０号公報、特開２０１９－１３８８１７号公報、特開２０１９－１３８８２２号公報などに記載の方法であってもよい。

【0042】

また、計測部２１１は、測定対象物ＦのＣＡＤモデルとのマッチングをして、３次元形状の計測を補助してもよい。すなわち、予め測定対象物Ｆの３次元ＣＡＤモデル記憶しておき、取得した３次元データと３次元ＣＡＤモデルとのマッチングを行い、３次元データを修正したり、補完したりしてもよい。

【0043】

次に、本実施形態に係る計測装置１０の作用について説明する。図９は、計測装置１０のコンピュータ２００のＣＰＵ２０１により実行される計測処理のフローチャートである。ＣＰＵ２０１が記憶装置２０３からプログラムを読み出して、メモリ２０２に展開して実行することにより、ＣＰＵ２０１が計測装置１０の各機能構成として機能し、図９に示す処理が実行される。

【0044】

また、かかる処理の前提として、ユーザは、プロジェクタ１０１の光Ｅの照射と、カメラ１０２のローリングシャッターのタイミングとを同期させておく。例えば、撮像距離範囲内で、距離３条件以上（例えば、最短、中間、最遠の距離）で白いキャリブレーション用のサンプルを撮像した遅延時間データから各画素の遅延時間と撮像距離の相関関係を予め取得しておく。また、カメラ１０２から測定対象物Ｆまでの距離を、カメラなどを用いた既知の手法で取得しておく。なお、カメラ１０２から測定対象物Ｆまでの距離は、ユーザが手動で入力しても良い。

【0045】

また、ユーザは、撮像パラメータとして、奥行き制御に関する遅延時間、傾き制御に関するカメラ１０２の走査速度、厚み制御に関するカメラ１０２の露光時間などを、入力装置２０４を用いて入力しておく。具体的には、測定対象物Ｆの大きさを参考に撮像する深さや厚みを決定して入力しておく。奥行き方向の撮像枚数は、「撮像枚数≧測定対象物Ｆの厚さ÷２÷最小撮像厚み」などとなるように決定する。また、例えば、測定対象物Ｆの厚み（カメラ１０２からの奥行き方向の厚さ）が５ｍｍの場合は、測定対象物Ｆの厚み方向で複数の画像を撮像するため、１ｍｍずつの撮像厚みで奥行き方向に６枚の撮像となるように調整する。具体的には、図１０に示すように、測定対象物Ｆの奥行き方向に、Ｍ１～Ｍ６の位置の画像を撮像するように設定する。ここで、測定対象物Ｆの撮像は、図１０に示すように、予め定められた撮像厚みで測定対象物Ｆ全体を全て撮像することが望ましい。すなわち、測定対象物Ｆを予め定められた撮像厚みで複数枚、本例では６枚撮像することで、測定対象物Ｆの全体を撮像する。ここで、予め定められた撮像厚みは、撮像厚みが最も小さくなる最小撮像厚みであってもよい。

【0046】

また、プロジェクタ１０１から測定対象物Ｆへ照射する光の投影パターンを設定しておく。投影パターンは、例えば、黒パターン（投影なし）と白パターン、ランダムドットパターンの３つの投影パターンである。なお、白パターンで照射した場合に、光源の映り込みなどによって距離違いで白トビする場合は、白トビする箇所の白パターンの明るさを下げるなどの調整をしてもよい。また、撮像パラメータとして、撮像枚数や、表面反射光として検出する画素輝度値を設定しておく。

【0047】

ステップＳ１０において、ＣＰＵ２０１が、事前にユーザにより入力されていた撮像の設定を取得する。ここで、撮像の設定は、奥行き制御に関する遅延時間、傾き制御に関するカメラ１０２の走査速度、厚み制御に関するカメラ１０２の露光時間などの撮像パラメータや、投影パターンなどである。ここで、奥行き制御の範囲は、奥行き制御に関する遅延時間をスイープして測定対象物Ｆまでの奥行きを探索して取得してもよい。そして、次のステップＳ１２に進む。

【0048】

ステップＳ１２において、ＣＰＵ２０１が、プロジェクタ１０１を用いて、ステップＳ１０で取得した投影パターンで測定対象物Ｆに光を照射する。そして、次のステップＳ１４に進む。

【0049】

ステップＳ１４において、ＣＰＵ２０１が、カメラ１０２を用いて、ステップＳ１０で取得した撮像パラメータで測定対象物Ｆを撮像する。そして、次のステップＳ１６に進む。

【0050】

ステップＳ１６において、ＣＰＵ２０１が、ステップＳ１４で撮像した画像から、表面画像と、調整画像とを作成する。かかる表面画像と調整画像の作成では、全ての撮像した画像から作成する場合の他、各画像の画素の最大輝度値となる各画素を集めて画像を生成し、生成した画像をステレオマッチングする。また、ステップＳ１４で撮像した画像は、予め定められた係数を用いて歪み補正とノイズ除去が行われる。そして、次のステップＳ１８に進む。

【0051】

ステップＳ１８において、ＣＰＵ２０１が、ステップＳ１６で作成した表面画像と調整画像とを用いてステレオマッチング処理を行い、測定対象物Ｆの３次元データを算出する。そして、次のステップＳ２０に進む。

【0052】

ステップＳ２０において、ＣＰＵ２０１が、ステップＳ１８で算出した表面画像の３次元データと調整画像の３次元データとを統合して、測定対象物Ｆの３次元データを作成する。そして、処理を終了する。

【0053】

このように作成した３次元データを元に、測定対象物Ｆを特定し、ピッキングなどを可能にする。このように構成することで、測定対象物Ｆを奥行き方向にスライス撮像し、測定対象物Ｆで乱反射する間接光ではなく、測定対象物Ｆの表面の反射光だけを取り込んだ画像を取得することが可能となる。そして、取得した画像を元に３次元データを算出することが可能となる。

【0054】

（変形例）
本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0055】

上述した実施形態では、カメラ１０２のシャッターのタイミングを制御することで、図１０に示すように、測定対象物Ｆの厚み方向に複数枚の撮像を行っているが、これに限定されず、図１１（Ａ）に示すように、センサユニット１００を矢印方向に動かしてセンサユニット１００から同じ距離の測定対象物Ｆを撮像することで、測定対象物Ｆの奥行き方向を全て撮像しても良いし、又、図１１（Ｂ）に示すように、測定対象物Ｆを矢印方向に動かしてセンサユニット１００から同じ距離の測定対象物Ｆを撮像することで、測定対象物Ｆの奥行き方向を全て撮像しても良い。また、図１１（Ｃ)に示すように、センサユニット１００を矢印方向に動かしてセンサユニット１００から同じ距離の測定対象物Ｆを撮像することと、測定対象物Ｆを矢印方向に動かしてセンサユニット１００から同じ距離の測定対象物Ｆを撮像することとを組み合わせて測定対象物Ｆを撮像してもよい。

【0056】

また、上述した実施形態では、図１０に示すように、測定対象物Ｆの全体を予め定められた撮像厚みで撮像しているが、これに限定されず、図１２に示すように、間引いて撮像しても良い。例えば、上述した実施形態では、図１０に示すように、測定対象物Ｆの奥行き方向に６枚で撮像しているが、図１２（Ａ）に示すように、カメラ側の表面と中間とカメラ反対側の裏面との３枚（Ｍ１～Ｍ３の位置の画像）に間引いて撮像してもよい。また、図１２（Ｂ）に示すように、測定対象物Ｆの全体を撮像可能な撮像厚みで撮像しつつ（Ｍ１の位置の画像）、カメラ側の表面（Ｍ２の位置の画像）と、カメラ反対側の裏面（Ｍ３の位置の画像）とを撮像するようにしてもよい。これにより、撮像枚数を少なくすることで、処理の高速化を図ることができる。

【0057】

また、プロジェクタ１０１と第１カメラ１０３及び第２カメラ１０４の配置は、上述した、図２に示すものに限定されず、他の配置であってもよい。例えば、図１３（Ａ）に示すように、プロジェクタ１０１の走査方向Ｌに並行にプロジェクタ１０１を挟むように第１カメラ１０３及び第２カメラ１０４を配置してもよい。また、図１３（Ｂ）に示すように、プロジェクタ１０１の走査方向Ｌに垂直にプロジェクタ１０１を挟むように第１カメラ１０３及び第２カメラ１０４を配置してもよい。また、カメラ１０２の数は２個に限定されず、３個以上であってもよいし、図１３（Ｃ）に示すように、カメラ１０２をプロジェクタ１０１の走査速度Ｌに並行に２個、垂直方向に２個配置してもよい。また、図１３（Ｄ）に示すように、プロジェクタ１０１の走査速度Ｌに並行に２個のずつカメラ１０２を配置してもよい。

【0058】

また、プロジェクタ１０１は、図１４（Ａ）に示すような、２軸のＭＥＭＳミラーなどの点レーザースキャン方式や、図１４（Ｂ）に示すような、ポリゴンミラーレーザースキャナなどのラインレーザースキャン方式であってもよい。ここで、点レーザースキャン方式の場合は、水平方向には高速に走査していくことで、垂直方向にもスキャンを行っていく。また、ラインレーザースキャン方式の場合は、垂直方向（図中の矢印方向）への走査のみになる。本開示で、点レーザースキャン方式のプロジェクタを使う場合、水平方向の高速な走査は、カメラ露光時間内に水平１ライン分以上の時間の間に行われる。そして、カメラ１０２のローリングシャッターの露光は、水平画素ライン毎に管理される。同じ水平ラインの画素は露光開始終了が同じになる。そのため、１ライン分の点レーザースキャンがカメラ１０２の露光時間内で行われるため、カメラ１０２の画像上では水平ライン上に投影された光が撮像されることになる。そして、今回の開示では、その水平ライン上の光がカメラ１０２の画像上で上から下に向かって走査されて観測されるようにプロジェクタ１０１やカメラ１０２の設定を調整して動作をさせる。

【0059】

本実施形態における計測装置１０は、透明な部品の成形後、ばら積みになっている部品をピッキングする際のロボットアームの先端側や、部品がばら積みになっている上方側にプロジェクタ１０１とカメラ１０２を備え、計測された部品をピッキングすることに好適である。

【0060】

また、本実施形態は、測定対象物Ｆが透明な素材で形成された透明物体や、光沢面を備える光沢面物体に対して好適であるが、測定対象物Ｆは、透明物体や光沢面物体に限定されない。

【0061】

また、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した計測処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＴＰＵ（Ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、計測処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0062】

また、上記実施形態では、計測プログラムが記憶装置に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ブルーレイディスク、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【符号の説明】

【0063】

１０ 計測装置
１００ センサユニット
１０１ プロジェクタ
１０２ カメラ
２００ コンピュータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】