特許 7453554 三次元計測装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-12

(45)【発行日】2024-03-21

(54)【発明の名称】三次元計測装置

(51)【国際特許分類】

   G01B 11/25 20060101AFI20240313BHJP

【ＦＩ】

G01B11/25 H

【請求項の数】 3

(21)【出願番号】P 2021050500

(22)【出願日】2021-03-24

(65)【公開番号】P2022148711

(43)【公開日】2022-10-06

【審査請求日】2023-07-24

(73)【特許権者】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】100095795

【弁理士】

【氏名又は名称】田下 明人

(74)【代理人】

【識別番号】100143454

【弁理士】

【氏名又は名称】立石 克彦

(72)【発明者】

【氏名】辻本 将隆

【審査官】仲野 一秀

(56)【参考文献】

【文献】特開２０１８－１６１７００（ＪＰ，Ａ）

【文献】特表２０１２－５１８７９１（ＪＰ，Ａ）

【文献】特開２００４－１９８２６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

(57)【特許請求の範囲】

【請求項1】

計測対象物に対して所定のパターンを投影する投影部と、
前記所定のパターンが投影された前記計測対象物を撮像する撮像部と、
前記撮像部の撮像結果から前記計測対象物の三次元形状を計測する計測部と、
を備える三次元計測装置であって、
前記所定のパターンは、第１の方向にて輝度が周期的に変化して前記第１の方向に直交する第２の方向にて輝度が変化しない縞パターンであり、
前記投影部は、当該投影部及び前記撮像部が所定の移動方向に移動する際に、前記第２の方向が前記所定の移動方向に一致するように前記所定のパターンを投影し、
前記計測部は、前記所定の移動方向への移動時に前記撮像部により時間をずらして撮像された複数の撮像画像を合成した合成画像を利用して位相シフト法により前記計測対象物の三次元形状を計測することを特徴とする三次元計測装置。

【請求項2】

前記計測部は、
前記所定の移動方向への移動時に前記撮像部により時間をずらして撮像された複数の撮像画像ごとに画素単位で輝度値を取得してなる輝度データを生成する輝度データ生成部と、
前記計測対象物を基準とする前記複数の撮像画像間での前記所定の移動方向に沿うずれ量を算出するずれ量算出部と、
前記輝度データ生成部により撮像画像ごとに生成された複数の前記輝度データを、前記ずれ量算出部より算出された前記ずれ量に応じて前記計測対象物の位置が一致するように補正した後に、画素単位で輝度値を平均化することで平均輝度データを生成する平均輝度データ生成部と、
を備え、
前記平均輝度データ生成部により生成された前記平均輝度データを前記合成画像として利用して位相シフト法により前記計測対象物の三次元形状を計測することを特徴とする請求項１に記載の三次元計測装置。

【請求項3】

前記所定の移動方向は、前記計測対象物が載置された平面に沿う方向であることを特徴とする請求項１又は２に記載の三次元計測装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、計測対象物の三次元形状を計測する三次元計測装置に関するものである。

【背景技術】

【0002】

従来、計測対象物の三次元形状等を計測する三次元計測装置として、例えば、位相シフト法を利用した装置が知られている。位相シフト法は、位相をずらした複数枚の縞パターンを投影することでこの縞パターンを投影した計測対象物に関して三次元計測を行う手法である。このように位相シフト法を利用して三次元計測を行う技術として、下記特許文献１に開示されている計測装置が知られている。

【0003】

この計測装置では、投影部により１組の縞パターンを被写体に投影した際に、撮影部により被写体等を順次撮影した１組の縞パターン画像が得られると、画像処理部により１組の縞パターン画像から画素ごとに位相値が復元され、この復元された画素ごとの位相値に基づいて被写体の表面形状の計測が行われる。上記画像処理部では、１組の縞パターン画像相互の位置ずれ量が算出された後、第１の位置ずれ量補正として、算出されたずれ量分だけ画素の位置を移動する補正がなされ、第２の位置ずれ量補正として、位置ずれ量を縞パターンの波長と比較して得られる位相ずれ量を縞パターンの位相に加算する補正がなされることで、上記復元がなされる。これにより、投影部及び撮影部が高速に動作するものでなくても、手振れによる影響を低減することができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００８－１９０９６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、ロボットアームの先端にハンドとともに取り付けられた三次元計測装置によって三次元形状が計測されたワークを把持する作業では、把持作業に関するサイクルタイムのさらなる低減が望まれている。このため、ワークを把持するためのロボットアームの動作中での計測結果、すなわち、移動中での三次元計測装置にて撮像された撮像結果から計測された計測結果を利用することで、停止中での三次元計測装置の計測結果を利用する場合と比較して、上記サイクルタイムを低減することができる。

【0006】

このような移動中の撮像では、ワーク等がブレて撮像されるモーションブラーが発生する場合があり、上記特許文献１に開示される計測装置でも同様に生じる場合がある。このようなモーションブラーの発生を抑制するためには、露光時間を短くする必要があるが、単に露光時間を短くするだけでは、ランダムノイズ等の影響によってＳ／Ｎが低くなるという問題がある。

【0007】

本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、投影部及び撮像部が移動状態であっても、撮像部にて撮像された撮像画像から生成される合成画像を利用して位相シフト法により計測対象物の三次元形状を計測可能な構成を提供することにある。

【課題を解決するための手段】

【0008】

上記目的を達成するため、特許請求の範囲の請求項１に記載の発明は、
計測対象物（Ｗ）に対して所定のパターンを投影する投影部（２０）と、
前記所定のパターンが投影された前記計測対象物を撮像する撮像部（３０）と、
前記撮像部の撮像結果から前記計測対象物の三次元形状を計測する計測部（４０）と、
を備える三次元計測装置（１０）であって、
前記所定のパターンは、第１の方向（Ｘ）にて輝度が周期的に変化して前記第１の方向に直交する第２の方向（Ｙ）にて輝度が変化しない縞パターンであり、
前記投影部は、当該投影部及び前記撮像部が所定の移動方向（Ｆ）に移動する際に、前記第２の方向が前記所定の移動方向に一致するように前記所定のパターンを投影し、
前記計測部は、前記所定の移動方向への移動時に前記撮像部により時間をずらして撮像された複数の撮像画像を合成した合成画像を利用して位相シフト法により前記計測対象物の三次元形状を計測することを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

【発明の効果】

【0009】

請求項１の発明では、投影部から計測対象物に対して投影される所定のパターンは、第１の方向にて輝度が周期的に変化して第１の方向に直交する第２の方向にて輝度が変化しない縞パターンであり、投影部は、当該投影部及び撮像部が所定の移動方向に移動する際に、上記第２の方向が所定の移動方向に一致するように所定のパターンを投影する。そして、計測部では、所定の移動方向への移動時に撮像部により時間をずらして撮像された複数の撮像画像を合成した合成画像を利用して位相シフト法により計測対象物の三次元形状が計測される。

【0010】

露光時間を短くするために生じるランダムノイズ等に起因するＳ／Ｎの低下は、移動中に撮像された複数の撮像画像から得られる輝度値等を平均化することで解消できるが、位相シフト法では縞パターンを投影しながら撮像するため、計測対象物での縞番号や位相値が撮像画像ごとにずれてしまうと、正確に三次元形状を計測できないという問題がある。このため、輝度が変化しない上記第２の方向を所定の移動方向に一致させるように縞パターンを投影することで、各撮像画像から縞番号や位相値をずらすことなく合成画像を生成できる。したがって、投影部及び撮像部が移動状態であっても、撮像部にて撮像された撮像画像から生成される合成画像を利用して位相シフト法により計測対象物の三次元形状を計測することができる。

【0011】

請求項２の発明では、計測部において、所定の移動方向への移動時に撮像部により時間をずらして撮像された複数の撮像画像ごとに画素単位で輝度値を取得するように輝度データ生成部により生成された複数の輝度データを、ずれ量算出部より算出されたずれ量に応じて計測対象物の位置が一致するように補正した後に、平均輝度データ生成部により画素単位で輝度値を平均化することで平均輝度データを生成し、この平均輝度データを上記合成画像として利用して位相シフト法により計測対象物の三次元形状が計測される。これにより、各撮像画像での縞番号や位相値をずらすことなく画素単位で輝度値を平均化した平均輝度データを合成画像として生成でき、合成画像を利用した位相シフト法による計測対象物の三次元形状の計測に関して、計測精度を向上させることができる。

【0012】

請求項３の発明では、上記所定の移動方向は、計測対象物が載置された平面に沿う方向であるため、縞番号や位相値をずらさないことを目的とする縞パターンの縞幅を合わせるため補正等が不要になり、三次元計測に関する処理負荷を軽減することができる。

【図面の簡単な説明】

【0013】

【図1】第１実施形態に係る三次元計測装置が取り付けられたロボットを示す説明図である。

【図2】図１の三次元計測装置の概略構成を示すブロック図である。

【図3】第１実施形態において計測部にてなされる三次元形状認識処理の流れを例示するフローチャートである。

【図4】平均輝度データの生成過程を説明するための説明図であり、図４（Ａ）は、最初に撮像された撮像画像を示し、図４（Ｂ）は、次のフレームで撮像された撮像画像を示し、図４（Ｃ）は、図４（Ａ）の撮像画像から生成された輝度データと図４（Ｂ）の撮像画像から生成された輝度データとが画素単位で位置合わせされた状態を示す。

【図5】図５（Ａ）は、１つ目の撮像画像Ｐ１から生成される輝度データのイメージを説明する説明図であり、図５（Ｂ）は、図５（Ａ）をＲＧＢに分解した輝度データのイメージを説明する説明図である。

【図6】図６（Ａ）は、２つ目の撮像画像Ｐ２から生成される輝度データのイメージを説明する説明図であり、図６（Ｂ）は、図６（Ａ）をＲＧＢに分解した輝度データのイメージを説明する説明図である。

【図7】図７（Ａ）は、分解されたＲ色に関して画素単位で加算平均化したイメージを説明する説明図であり、図７（Ｂ）は、分解されたＧ色に関して画素単位で加算平均化したイメージを説明する説明図であり、図７（Ｃ）は、分解されたＢ色に関して画素単位で加算平均化したイメージを説明する説明図であり、

【発明を実施するための形態】

【0014】

［第１実施形態］
以下、本発明の三次元計測装置を具現化した第１実施形態について、図面を参照して説明する。
本実施形態に係る三次元計測装置１０は、位相シフト法により計測対象物の三次元形状を計測する装置である。より具体的には、図１に示すように、三次元計測装置１０は、ロボット１が有するロボットアーム２に取り付けられて、ロボットアーム２に取り付けられたハンド３で把持すべきワークＷを計測対象物として、そのワークＷの位置姿勢（三次元形状）をＲＧＢ位相シフト法によって計測し、その計測結果をロボット制御装置４に出力するように構成されている。このため、三次元計測装置１０は、ハンド３でワークＷを把持する際のロボットアーム２の動作に応じて、そのワークＷに対して相対的に移動することになる。

【0015】

三次元計測装置１０は、図２に示すように、計測対象物となるワークＷに対して位相シフト法用の所定のパターンを投影する投影部２０と、所定のパターンが投影された計測対象物を撮像する撮像部３０と、この撮像部３０の撮像画像からワークＷの位置姿勢を計測する計測部４０と、を備えるように構成されている。

【0016】

投影部２０は、例えば、ＤＬＰプロジェクタであって、上記所定のパターンとして、第１の方向（以下、Ｘ方向ともいう）にて輝度が周期的に変化してこのＸ方向に直交する第２の方向（以下、Ｙ方向ともいう）にて輝度が変化しない縞パターンを、ワークＷ等に対して投影するように構成されている。特に、投影部２０は、投影される縞パターンのＹ方向が後述するハンド移動方向Ｆに一致するように配置されている。

【0017】

撮像部３０は、投影部２０から投影される縞パターンを撮像範囲とするように配置されている。

【0018】

計測部４０は、投影部２０から上述した縞パターンが投影されている状態のワークＷを撮像部３０により撮像した撮像画像に基づいて、そのワークＷの位置姿勢をＲＧＢ位相シフト法を利用して計測するように構成されている。

【0019】

このように構成される三次元計測装置１０は、ロボット制御装置４からの指示を受けて、ワークＷの位置姿勢に関する計測結果をロボット制御装置４に出力するように機能する。特に、三次元計測装置１０では、把持作業に関するサイクルタイムを低減するため、ワークＷを把持するためのロボットアーム２の動作中での計測結果、すなわち、所定の移動方向への移動中に撮像部３０で撮像された撮像結果から計測された計測結果を利用して、把持すべきワークＷの位置姿勢を認識する。

【0020】

その際、上述したようにモーションブラーの発生を抑制する目的で露光時間を短くしたために生じるＳ／Ｎの低下を抑制するため、移動中に撮像された複数の撮像画像ごとに画素単位で輝度値を取得してなる輝度データを生成し、このように生成された複数の輝度データを平均化する。そして、この平均化によって生成された平均輝度データ（複数の撮像画像を合成した合成画像）を上記計測結果として利用することで、ＲＧＢ位相シフト法によりワークＷの位置姿勢を認識する。

【0021】

特に、ワークＷに投影された縞パターンに関して縞番号や位相値が撮像画像ごとにずれてしまうことを防止するため、輝度が変化しない縞パターンのＹ方向を上記所定の移動方向に一致させるように縞パターンを投影する。本実施形態では、把持前のワークＷが載置された平面を載置面Ｓとするとき、その載置面Ｓに載置されているワークＷをハンド３で把持するためにロボットアーム２が動作し始める際に、ハンド３とともに三次元計測装置１０が載置面Ｓに沿って移動するようにロボットアーム２が制御される。このように三次元計測装置１０が載置面Ｓに沿って移動する移動方向をハンド移動方向Ｆとするとき、このハンド移動方向Ｆに縞パターンのＹ方向が一致するように、投影部２０が配置される。なお、ハンド移動方向Ｆは、「所定の移動方向」の一例に相当し得る。

【0022】

これにより、上記ハンド移動方向Ｆに移動している間に、三次元計測装置１０の撮像部３０にて撮像された複数の撮像画像（連続画像）では、ワークＷの位置を基準に縞パターンのＹ方向（ハンド移動方向Ｆ）に沿ってずらすようにして各撮像画像を重ねても、縞番号や位相値が撮像画像ごとにずれることもない。これにより、移動中に撮像された複数の撮像画像からそれぞれ得られる輝度データを正確に平均化でき、このように生成された平均輝度データを利用したワークＷの位置姿勢の認識を精度良く行うことができる。

【0023】

以下、ワークＷを把持するためにロボットアーム２が動作し始める際に、ハンド移動方向Ｆに移動する三次元計測装置１０の撮像部３０にて撮像された撮像画像を利用してワークＷの位置姿勢を認識するために計測部４０にてなされる三次元形状認識処理について、図３のフローチャートを参照して詳述する。

【0024】

ロボット制御装置４からの指示を受けて計測部４０にて三次元形状認識処理が開始されると、図３のステップＳ１０１に示す縞パターン投影処理がなされて、投影部２０からワークＷが載置された載置面Ｓに対して縞パターンが投影される。その際、縞パターンは、上記Ｙ方向がハンド移動方向Ｆに一致するように投影される。

【0025】

次に、ステップＳ１０３に示す連続撮像処理がなされ、ハンド移動方向Ｆへの移動時に、撮像部３０にて複数の撮像画像（連続画像）が撮像される。すなわち、移動する撮像部３０によりフレームレート単位で時間をずらすように連続画像が撮像される。そして、ステップＳ１０５に示す輝度データ生成処理がなされ、撮像画像ごとに、画素単位で輝度値を取得してなる輝度データが生成される。なお、上記輝度データ生成処理を行う計測部４０は、「輝度データ生成部」の一例に相当し得る。

【0026】

続いて、ステップＳ１０７に示すずれ量算出処理がなされ、ワークＷを基準とする複数の撮像画像間でのハンド移動方向Ｆに沿う画素単位でのずれ量ΔＹを算出するための処理がなされる。このずれ量算出処理では、例えば、予め計測したロボットの位置座標と載置面Ｓまでの距離との関係を基準にロボット１の移動量からずれ量ΔＹを算出してもよいし、ハンド移動方向Ｆの移動速度とフレームレートとからずれ量ΔＹを算出してもよい。なお、上記ずれ量算出処理を行う計測部４０は、「ずれ量算出部」の一例に相当し得る。

【0027】

このように撮像画像間でずれ量ΔＹが算出されると、ステップＳ１０９に示す平均輝度データ生成処理がなされる。この処理では、撮像画像ごとに生成された複数の輝度データを、上述のように算出されたずれ量ΔＹに応じてワークＷの位置が一致するように補正した後に、画素単位で輝度値を平均化することで平均輝度データが生成される。なお、上記平均輝度データ生成処理を行う計測部４０は、「平均輝度データ生成部」の一例に相当し得る。

【0028】

ここで、平均輝度データの生成について、連続する撮像画像Ｐ１，Ｐ２からそれぞれ生成された輝度データが平均化される場合を例に、図４～図７を参照して説明する。図４（Ａ）は、三次元形状認識処理が開始されてから最初に撮像された撮像画像Ｐ１を示し、図４（Ｂ）は、次のフレームで撮像された撮像画像Ｐ２を示し、上述のように投影部２０及び撮像部３０が配置されることで、縞パターンのＹ方向がハンド移動方向Ｆに一致するように撮像される（Ｓ１０３）。

【0029】

そして、撮像画像Ｐ１と撮像画像Ｐ２との間のずれ量ΔＹが算出されると（Ｓ１０７）、図４（Ｃ）に示すように、ずれ量ΔＹに応じてワークＷの位置が一致するように、撮像画像Ｐ１から生成された輝度データと撮像画像Ｐ２から生成された輝度データとが画素単位で補正（位置合わせ）される。このとき、縞パターンのＹ方向がハンド移動方向Ｆに一致しており、三次元計測装置１０が載置面Ｓに沿って移動しているので、位置合わせした輝度データ間で縞パターンにおける縞番号や位相値がずれることもない。

【0030】

そして、このように補正された各輝度データの輝度値を同じ位置の画素ごとに加算平均法によって平均化することで、平均輝度データが生成される（Ｓ１０９）。本実施形態では、ＲＧＢ位相シフト法を採用しているため、ワンショットで撮像された撮像画像においてＲ色の輝度値が取得される画素と、Ｇ色の輝度値が取得される画素と、Ｂ色の輝度値が取得される画素とが区別される。

【0031】

このため、例えば、図５（Ａ）に示すように取得された撮像画像Ｐ１の輝度データから図５（Ｂ）に示すようにＲＧＢに分解された輝度データと、図６（Ａ）に示すように取得された撮像画像Ｐ２の輝度データから図６（Ｂ）に示すようにＲＧＢに分解された輝度データとが、図７（Ａ）～（Ｃ）に示すように、ＲＧＢそれぞれ個別に画素単位で加算平均化される。そして、平均化された各輝度値を分解前の元の位置に復元することで、複数の撮像画像を合成した合成画像として平均輝度データが生成される。

【0032】

なお、図５～図７では、ずれ量ΔＹに応じてワークＷの位置が一致するように位置合わせされた後の輝度データに関して、同じ範囲に相当する輝度データの一部を例に説明しており、かっこ内の数値は位置合わせ後の画素座標を示している。また、輝度データをＲＧＢに分解する場合、図５（Ａ）及び図６（Ａ）のＧ色のように、他色に対して対応画素が多い場合は、間引きや平均値をとって画素数を合わせることができる。また、上述したようにＲＧＢに分解した後に加算平均化することに限らず、加算平均化した後にＲＧＢに分解してもよい。

【0033】

このように平均輝度データが生成されると、ステップＳ１１１に示す三次元形状計測処理がなされ、上述のように生成された平均輝度データを利用してＲＧＢ位相シフト法によりワークＷの三次元形状が計測される。そして、ステップＳ１１３に示す計測結果出力処理にて、計測されたワークＷの三次元形状に関する情報が計測結果として、ロボット制御装置４に出力される。

【0034】

以上説明したように、本実施形態に係る三次元計測装置１０では、投影部２０からワークＷに対して投影される所定のパターンは、Ｘ方向（第１の方向）にて輝度が周期的に変化してＸ方向に直交するＹ方向（第２の方向）にて輝度が変化しない縞パターンであり、投影部２０は、当該投影部２０及び撮像部３０がハンド移動方向Ｆに移動する際に、上記Ｙ方向がハンド移動方向Ｆに一致するように所定のパターンを投影する。そして、計測部４０では、ハンド移動方向Ｆへの移動時に撮像部３０により時間をずらして撮像された複数の撮像画像ごとに画素単位で輝度値を取得するように生成された複数の輝度データを、算出されたずれ量ΔＹに応じてワークＷの位置が一致するように補正した後に、画素単位で輝度値を平均化することで平均輝度データを生成し、この平均輝度データを合成画像として利用してＲＧＢ位相シフト法によりワークＷの三次元形状が計測される。

【0035】

このように、輝度が変化しないＹ方向をハンド移動方向Ｆに一致させるように縞パターンを投影することで、各撮像画像での縞番号や位相値をずらすことなく画素単位で輝度値を平均化した平均輝度データを生成できる。したがって、投影部２０及び撮像部３０が移動状態であっても、撮像部３０にて撮像された撮像画像から生成される平均輝度データを利用して位相シフト法によりワークＷの三次元形状を計測することができる。

【0036】

特に、上記ハンド移動方向Ｆは、ワークＷが載置された載置面Ｓに沿う方向であるため、計測部４０にて三次元形状認識処理を行う際に、縞番号や位相値をずらさないことを目的とする縞パターンの縞幅を合わせるため補正等が不要になり、三次元計測に関する処理負荷を軽減することができる。

【0037】

なお、本発明は上記実施形態等に限定されるものではなく、例えば、以下のように具体化してもよい。
（１）三次元計測装置１０は、ＲＧＢ位相シフト法によってワークＷなどの計測対象物の三次元形状を計測するように構成されることに限らず、例えば、従来の位相シフト法や空間コード化法等直線状のパターンを使用する計測方法によって計測対象物の三次元形状を計測するように構成されてもよい。このような構成でも、計測対象物に対して上記Ｙ方向がハンド移動方向Ｆに一致するように縞パターンを投影し、各撮像画像から生成された輝度データをずれ量ΔＹに応じて補正して平均化することで、従来の位相シフト法や空間コード化法等直線状のパターンを使用する計測方法に利用する平均輝度データを精度良く生成することができる。

【0038】

（２）本発明は、ロボット１のハンド３で把持すべきワークＷを計測対象物とする三次元計測装置１０に採用されることに限らず、計測対象物に対して相対的に移動する三次元計測装置に採用することができる。その際、相対移動方向と投影される縞パターンのＹ方向とが一致することを前提に、相対移動方向は、計測対象物が載置される平面に対して沿う方向に設定されることに限らず、縞パターンの縞幅を各撮像画像間で合わせるため補正を行うことで上記平面に沿わない方向に設定されてもよい。

【0039】

（３）三次元計測装置１０は、投影部２０及び撮像部３０を除く機能の少なくとも一部がワークＷに対して相対移動しない位置に設置されてもよい。例えば、三次元計測装置１０の計測部４０に相当する機能が、ロボット制御装置４に組み込まれてもよい。

【符号の説明】

【0040】

１…ロボット
２…ロボットアーム
３…ハンド
４…ロボット制御装置
１０…三次元計測装置
２０…投影部
３０…撮像部
４０…計測部（輝度データ生成部，ずれ量算出部，平均輝度データ生成部）
Ｆ…ハンド移動方向（所定の移動方向）
Ｗ…ワーク（計測対象物）
ΔＹ…ずれ量

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】