(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-26
(45)【発行日】2024-09-03
(54)【発明の名称】三次元計測システムおよび三次元計測方法
(51)【国際特許分類】
G01B 11/25 20060101AFI20240827BHJP
G06T 7/50 20170101ALI20240827BHJP
G06T 7/00 20170101ALI20240827BHJP
【FI】
G01B11/25 H
G06T7/50
G06T7/00 350C
(21)【出願番号】P 2020198307
(22)【出願日】2020-11-30
【審査請求日】2023-11-20
(73)【特許権者】
【識別番号】504157024
【氏名又は名称】国立大学法人東北大学
(73)【特許権者】
【識別番号】000114215
【氏名又は名称】ミネベアミツミ株式会社
(74)【代理人】
【識別番号】100114890
【氏名又は名称】アインゼル・フェリックス=ラインハルト
(74)【代理人】
【識別番号】100116403
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100135633
【氏名又は名称】二宮 浩康
(74)【代理人】
【識別番号】100162880
【氏名又は名称】上島 類
(72)【発明者】
【氏名】小菅 一弘
(72)【発明者】
【氏名】荒井 翔悟
(72)【発明者】
【氏名】芳住 幸平
(72)【発明者】
【氏名】小柳 大輔
【審査官】山▲崎▼ 和子
(56)【参考文献】
【文献】特開2019-184340(JP,A)
【文献】特開2019-074777(JP,A)
【文献】国際公開第2020/095233(WO,A1)
【文献】特開2019-090782(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00-11/30
G01N 21/00-21/01
21/17-21/61
21/84-21/958
G06T 7/00-7/90
G06V 10/00-20/90
30/418、40/16、40/20
(57)【特許請求の範囲】
【請求項1】
三次元計測システムであって、
正弦波状のパターン光を、位相シフトしながら対象物に対して複数回照射する投影部と、
前記対象物で反射された反射光を撮影する撮像部と、
位相シフト法を用いて撮影画像から位相画像を生成する計測処理部と、
を有し、
前記計測処理部は、
位相シフト法を
用いて撮影画像から位相画像を生成し、
前記位相画像を、鏡面反射成分の影響を低減した画像を生成するように学習したCNNに入力
して、鏡面反射成分の影響を低減した位相画像を生成し、
鏡面反射成分の影響を低減した前記位相画像からエピポーラ拘束条件を利用してさらなる位相画像を生成し、
前記さらなる位相画像から三角測量の原理を用いて三次元点群を生成する、
三次元計測システム。
【請求項2】
三次元計測方法であって、
正弦波状のパターン光を、位相シフトしながら対象物に対して複数回照射し、
前記対象物で反射された反射光を撮影し、
位相シフト法を用いて撮影画像から位相画像を生成し、
前記位相画像を、鏡面反射成分の影響を低減した画像を生成するように学習したCNNに入力
して、鏡面反射成分の影響を低減した位相画像を生成し、
鏡面反射成分の影響を低減した前記位相画像からエピポーラ拘束条件を利用してさらなる位相画像を生成し、
前記さらなる位相画像から三角測量の原理を用いて三次元点群を生成する、
三次元計測方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光沢面を有する対象物の三次元計測システムおよび三次元計測方法に関するものである。
【背景技術】
【0002】
三次元計測技術は、例えば、工場の製造ラインにおいて、ロボットハンドで対象物であるワークを把持する際、ワーク位置を認識するために用いられる。三次元計測技術として、例えば、プロジェクタからワークに対してパターン画像を投影し、カメラによりワークからの反射光を撮影して解析する方法が知られている。
【0003】
特許文献1には、複数種類の符号化パターン画像からなる符号化パターン画像列を順に投影する投影部と、投影部にて符号化パターン画像が投影される対象物を順に撮像して、複数の撮影画像からなる撮影画像列を取得する撮像部と、符号化パターン画像列および撮影画像列を用いて、相互反射に対応した復号化を行う復号化部と、復号化部における復号化の結果および投影部と撮像部との幾何的関係を用いて、符号化パターン画像と撮影画像との対応付けを行うことで対象物の三次元形状を計測する計測部と、を備えた三次元形状計測システムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、光沢面を有する金属等の鏡面反射の割合が大きい対象物において、位相シフト法等のアクティブ三次元計測方法を用いる場合、計測精度が悪化する、または、計測が不可能になることが知られている。
【0006】
そこで、本発明では、光沢面を有する対象物について高精度に三次元計測可能なシステムおよび方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の三次元計測システムは、
正弦波状のパターン光を、位相シフトしながら対象物に対して複数回照射する投影部と、
前記対象物で反射された反射光を撮影する撮像部と、
位相シフト法を用いて撮影画像から位相画像を生成する計測処理部と、
を有し、
前記計測処理部は、前記計測処理部が位相シフト法を実行する前および後の少なくとも一方の画像を、鏡面反射成分の影響を低減した画像を生成するように学習したCNNに入力する。
【0008】
本発明の三次元計測システムでは、前記計測処理部は、前記位相画像および前記位相画像をCNNで処理した画像の一方からエピポーラ拘束条件を利用してさらなる位相画像を生成することが好ましい。
【0009】
本発明の三次元計測システムでは、前記計測処理部は、
位相シフト法を用いて撮影画像から位相画像を生成し、
前記位相画像をCNNに入力して、鏡面反射成分の影響を低減した位相画像を生成し、
鏡面反射成分の影響を低減した前記位相画像からエピポーラ拘束条件を利用してさらなる位相画像を生成し、
前記さらなる位相画像から三角測量の原理を用いて三次元点群を生成することが好ましい。
【0010】
本発明の三次元計測方法では、
正弦波状のパターン光を、位相シフトしながら対象物に対して複数回照射し、
前記対象物で反射された反射光を撮影し、
位相シフト法を用いて撮影画像から位相画像を生成し、
位相シフト法を実行する前および後の少なくとも一方の画像を、鏡面反射成分の影響を低減した画像を生成するように学習したCNNに入力する。
【発明の効果】
【0011】
本発明により、光沢面を有する対象物について高精度に三次元計測可能なシステムおよび方法を提供することができる。
【図面の簡単な説明】
【0012】
【
図1】本発明の一実施形態による三次元計測システムの構成を示す図である。
【
図2】本発明の一実施形態による三次元計測方法のフローを示す図である。
【
図3】互いに位相シフトされた正弦波状のパターン光を示す。
【
図4】本発明の一実施形態において構築したCNNを示す。
【
図5】エピポーラ拘束による修正を説明するための図である。
【
図6】本発明の変形実施形態による三次元計測方法のフローを示す図である。
【
図7】本実施例において、CNNの学習データを生成するためのシミュレータによって生成された2つのシーンを示す。
【
図8】(a)はばら積みにした対象物の画像を示し、(b)は本実施例により得られた三次元点群の画像を示す。
【発明を実施するための形態】
【0013】
図1は、本発明の一実施形態による三次元計測システムの構成を示す図である。
三次元計測システム10は、プロジェクタである投影部1と、カメラである撮像部2と、コンピュータである計測処理部3と、を有する。
投影部1は、正弦波状のパターン光を、位相シフトしながら対象物4に対して複数回照射する。撮像部2は、対象物4で反射された反射光を撮影する。
【0014】
図2は、本発明の一実施形態による三次元計測方法のフローを示す図である。
ステップS1において、計測処理部3は、位相シフト法を用いて撮影画像から位相画像Aを生成する。
ステップS2において、計測処理部3は、位相画像AをCNN(畳み込みニューラルネットワーク)に入力することで、鏡面反射成分の影響を低減した位相画像Bを生成する。
ステップS3において、計測処理部3は、位相画像Bからエピポーラ拘束条件を利用して位相画像Cを生成する。なお、このステップS3は、オプションであり、省略することができる。
ステップS4において、計測処理部3は、位相画像Cから三角測量の原理を用いて三次元点群を生成する。
【0015】
第1に、位相シフト法について説明する。
図3(a)~(d)は、互いに位相シフトされた正弦波状のパターン光を示す。
投影部1は、
図3に示すような位相シフトされた複数の正弦波状のパターン光を対象物4に対して照射する。位相シフト法では、パターン光の数が多いほど、計測精度が向上するが、計算量も増加する。それゆえ、本実施形態では、4つのパターン光による4step位相シフト法を用いているが、パターン光は、3つ以上であれば、任意の数とすることができる。
【0016】
第2に、CNNについて説明する。
図4は、本発明の一実施形態において構築したCNNを示す。
通常のCNNでは、画像を畳み込む過程で局所情報が失われる。しかし、ばら積みにした対象物の三次元計測では、鏡面反射成分の影響により計測困難な画素の情報をその周囲の局所的な画像特徴から復元する必要がある。したがって、CNNの入力に近い上層で出力される局所的な画像特徴をSkip Connectionにより下層に直接伝達する必要がある。そこで、本実施形態では、Skip Connectionを有しており、画素単位で回帰問題を解くことが可能なUnetをベースとしたCNNを利用する。
このように、計測処理部3において、位相画像Aから鏡面反射成分の影響を低減した位相画像Bを生成するようにCNNをあらかじめ学習させる。
なお、Unetを二段重ねた構造を有するCNNを用いることもできる(後述する
図6(c)(d)参照)。この場合、鏡面反射成分の影響をより精度よく低減することができる。
【0017】
第3に、エピポーラ拘束について説明する。
図5は、エピポーラ拘束による修正を説明するための図である。
点O
Lにあるカメラで観測点xを撮影すると、観測点xは、カメラの投影面の点x
Lに投影される。このとき、観測点xと点x
Lの間の点x
1、x
2、x
3は、点O
Rにあるプロジェクタの投影面のエピポーラ線に投影される。
このように、プロジェクタ・カメラシステムでは、任意のカメラ画素に対応するプロジェクタ画素は、対応するエピポーラ線上に存在するという条件があり、このエピポーラ線を、外部パラメータおよび内部パラメータを使って事前に計算することができる。
エピポーラ線から外れる点(位相)があった場合、計測処理部3は、当該点からエピポーラ線上に垂線を下ろし、当該垂線とエピポーラ線との交点を正しい点として修正する。
【0018】
上述した実施形態では、計測処理部3は、位相シフト法、CNNおよびエピポーラ拘束の各ステップをこの順で実行している。最初に位相シフト法を用いて、撮影画像から位相画像Aを生成し、位相画像AをCNNに入力して、鏡面反射成分の影響を低減した位相画像Bを生成することにより、実環境で撮影する画像の枚数を減少することができる。
例えば、CNNの入力データとして、100枚の画像を用いると仮定する。撮影画像をCNNに入力する場合、100枚の画像を撮影しなければならない。一方、最初に位相シフト法を用いて、撮影画像から位相画像を生成し、位相画像をCNNに入力する場合、撮影画像とシミュレーションデータとを組み合わせて位相画像を生成するため、例えば、10枚の画像を撮影すればよくなり(残りの90枚はシミュレーションデータを用いる)、撮影の手間および時間を削減することができる。
ただし、各ステップの順番は上述した実施形態に限定されるものではなく、さまざまな変形が可能であり、以下その変形例を説明する。
【0019】
図6(a)~(d)は、本発明の変形実施形態による三次元計測方法のフローを示す図である。
図6(a)では、CNNを位相シフト法の前に実行する。すなわち、計測処理部3は、位相シフト法を実行する前の画像である撮影画像を、CNNに入力して、鏡面反射成分の影響を低減した画像を生成した後、位相シフト法を用いて位相画像Aを生成する。
なお、本明細書において、「撮影画像から位相画像を生成する」という表現は、撮影画像から直接位相画像を生成する場合だけでなく、撮影画像を処理した画像(例えば
図6(a)のように、撮影画像をCNNにおいて処理した画像)から位相画像を生成する場合も含むものとする。
【0020】
図6(b)では、CNNをエピポーラ拘束の後に実行する。すなわち、計測処理部3は、位相シフト法を用いて撮影画像から位相画像Aを生成し、エピポーラ拘束条件を利用して位相画像Bを生成し、位相画像BをCNNに入力して、鏡面反射成分の影響を低減した位相画像Cを生成する。
【0021】
図6(c)では、2回のCNNを実行する。すなわち、計測処理部3は、位相画像AをCNNに入力して、鏡面反射成分の影響を低減した位相画像Bを生成し、位相画像BをCNNに入力して、鏡面反射成分の影響をさらに低減した位相画像Cを生成する。
【0022】
図6(d)では、2回のCNNを位相シフト法の前後に実行する。すなわち、計測処理部3は、撮影画像をCNNに入力して、鏡面反射成分の影響を低減した画像を生成し、位相シフト法を用いて位相画像Aを生成し、位相画像AをCNNに入力して、鏡面反射成分の影響を低減した位相画像Bを生成する。
【実施例】
【0023】
以下、本発明の実施例を説明する。
本実施例では、
図2に示した順で各ステップを実行した。
本実施例で用いたプロジェクタおよびカメラの構成は、以下のとおりである。
プロジェクタ:Panasonic PT-VMZ50J
解像度:1920×1080
有効光束:5000lm
コントラスト:3,000,000:1
カメラ:Baumer VCxU-124
レンズ:VS TECHNOLOGY VS-1614H1N
解像度:800×600
視野範囲:400×300mm
WD:550mm
空間解像度:0.50×0.50mm/pixel
また、プロジェクタとカメラとの間の校正にはZhangの方法を用いた。校正試験結果は、以下のとおりである。
【数1】
【0024】
図7(a)(b)は、本実施例において、CNNの学習データを生成するためのシミュレータによって生成された2つのシーンを示す。
シミュレータにはBlenderを利用し、Blenderの設定は、以下のとおりである。
メタリック:1.00
スペキュラー:0.50
粗さ:0.30
拡散反射回数:4
鏡面反射回数:4
レンダー数:1024本/pixel
【0025】
第1の実験として、位相シフト法、CNNおよびエピポーラ拘束による鏡面反射成分の影響低減をシミュレーションによって確認した。すなわち、位相シフト法により生成された位相画像A、CNNにより生成された位相画像Bおよびエピポーラ拘束により生成された位相画像Cをそれぞれ三次元点群に変換した。
位相画像Aから変換された三次元点群より位相画像Bから変換された三次元点群の方が精度が上昇し、さらに位相画像Cから変換された三次元点群の方が精度が上昇していることが目視で確認できた。
これは、ステップを経るごとに、鏡面反射成分の影響を低減できたことを意味する。
【0026】
第2の実験として、シミュレーションによる計測精度誤差の評価を実施した。
従来法(本実施例からCNNを取り除いた方法)では、平均が7.21mmであり、標準偏差(σ)が6.39mmであり、3σが19.17mmであった。
本実施例では、平均が0.21mmであり、標準偏差(σ)が0.68mmであり、3σが1.64mmであった。
これにより、本実施例では、従来法と比較して計測精度が大きく向上していることが分かった。
【0027】
第3の実験として、実環境において三次元計測を実施し、計測誤差を求めた。
図8(a)はばら積みにした対象物の画像を示し、
図8(b)は本実施例により得られた三次元点群の画像を示す。
作業台上の1つの対象物について、本実施例の方法により三次元点群を取得した。
対象物を1mm、5mm、10mm移動し、各移動後の位置において同様に三次元点群を取得した。
移動前後の三次元点群をコンピュータで読み込み、画像上に表示し、手作業で重ね合わせた。
各三次元点群間の移動量を計算し、その移動量の平均値を計測誤差とした。
この環境における計測誤差は0.4mmであり、本実施例では、計測誤差が小さいことが分かった。
【符号の説明】
【0028】
1…投影部、2…撮像部、3…計測処理部、4…対象物、10…三次元計測システム