特許 7541135 ２Ｄ画像データを取得し、光三角測量からの３Ｄ画像データに関連付けるための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-19

(45)【発行日】2024-08-27

(54)【発明の名称】２Ｄ画像データを取得し、光三角測量からの３Ｄ画像データに関連付けるための方法および装置

(51)【国際特許分類】

   G06T 7/586 20170101AFI20240820BHJP

   G01B 11/00 20060101ALI20240820BHJP

【ＦＩ】

G06T7/586

G01B11/00 H

【請求項の数】 15

【外国語出願】

(21)【出願番号】P 2023011042

(22)【出願日】2023-01-27

(65)【公開番号】P2023110906

(43)【公開日】2023-08-09

【審査請求日】2023-03-27

(31)【優先権主張番号】22154020

(32)【優先日】2022-01-28

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】504048696

【氏名又は名称】シック アイヴィピー エービー

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】アンデシュ・ムルヘド

(72)【発明者】

【氏名】マティアス・ヨハンネソン

【審査官】合田 幸裕

(56)【参考文献】

【文献】特開２０２１－０３４０４４（ＪＰ，Ａ）

【文献】特開２０００－３４６６３４（ＪＰ，Ａ）

【文献】特開２００６－２６１４３６（ＪＰ，Ａ）

【文献】特開２０１２－２５１８９３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／００３７２２９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０１６８３６８（ＵＳ，Ａ１）

【文献】米国特許第１０５７４９３８（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／５８６

Ｇ０１Ｂ １１／００

ＩＥＥＥ Ｘｐｌｏｒｅ

ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

2D画像データを取得し、3D画像データに関連付けるための方法であって、前記3D画像データは、第1の光(211、512)で測定物体(220、520)を照明するための第1の光源(210)と、前記測定物体(220、520)からの反射された第1の光(413、513)を検知するための画像センサー(231)とを含む、撮像システム(205)によって行われる光三角測量から生じる第1の強度ピーク位置(471、571)に基づくものであり、前記光三角測量は、前記第1の光(211、512)で前記測定物体(220、520)の第1の部分を照明し、第1の露光期間(361-1)中に前記画像センサー(231)によって、前記第1の部分からの反射された第1の光(413、513)を検知し、第1のセンサー位置SP1(471、571)において発生する第1の強度ピークをもつ第1の画像(340-1)が生ずること、および前記第1の光(211、512)で前記第1の部分に隣接する前記測定物体(220、520)の他の第2の部分を照明し、他の第2の露光期間(361-2)中に前記画像センサー(231)によって、前記第2の部分からの反射された第1の光を検知し、第2のセンサー位置SP2において発生する第2の強度ピークをもつ第2の画像(340-2)が生ずることを含み、前記撮像システム(205)は、1つまたは複数の第2の光(251)で前記測定物体(220、520)を照明するための、1つまたは複数の追加の第2の光源(250)をさらに含み、前記方法は、
- 前記1つまたは複数の第2の光(251)で前記測定物体(220、520)を照明し(201)、1つまたは複数の第3の露光期間(361-3)中に前記画像センサー(231)によって、前記測定物体(220、520)からのいずれかの反射された第2の光(453)を検知し(201)、1つまたは複数の第3の画像(340-3)が生ずるステップと、
- 前記第1の画像(340-1)内のそれぞれの第1のセンサー位置SP1(471、571)に対し、前記1つまたは複数の第3の画像(340-3)内のそれぞれの第3のセンサー位置SP3(473、573)を選択し(202)、前記1つまたは複数の第3の露光期間(361-3)中に、前記測定物体(220、520)からのいずれかの反射された第2の光が、前記選択された第3のセンサー位置SP3(473、573)において、反射された第1の光(413、513)よりも高い強度が生ずることになるように、前記1つまたは複数の第2の光(251)で前記測定物体(220、520)を照明する(202)ステップと、
- 前記1つまたは複数の第3の画像(340-3)内のそれぞれの選択された第3のセンサー位置SP3(473、573)の2D画像データを取得し(203)、前記取得された2D画像データを、前記それぞれの選択された第3のセンサー位置SP3(473、573)が選択された前記それぞれの第1のセンサー位置SP1(471、571)に関連付ける(203)ステップと
を含む、方法。

【請求項2】

前記選択された第3のセンサー位置SP3(473、573)は、前記第1の画像(340-1)と前記1つまたは複数の第3の画像(340-3)との間の前記測定物体(220、520)のいずれかの実世界移動のための調整を伴う、センサー座標における、それぞれの選択された第3のセンサー位置SP3(473、573)と前記それぞれの第1のセンサー位置SP1(471、571)との間のそれぞれの差(475、575)が、2Dデータが3Dデータに関連すると見なされるための適用例に固有の最大許容オフセットに対応する、所定の最大距離(579)内であるように選択される、請求項1に記載の方法。

【請求項3】

前記1つまたは複数の第3の露光期間(361-3)は、前記第1の露光期間(361-1)であり、前記1つまたは複数の第3の画像(340-3)は、前記第1の画像(340-1)であり、前記第1の画像(340-1)内のそれぞれの選択された第3のセンサー位置SP3(473、573)は、前記それぞれの第1のセンサー位置SP1(471、571)までのセンサー座標におけるそれぞれの差(475、575)を用いて選択される、請求項1または2に記載の方法。

【請求項4】

前記1つまたは複数の第3の露光期間(361-3)は、前記第1の露光期間(361-1)と前記第2の露光期間(361-2)との間の別個の1つまたは複数の露光期間である、請求項1または2に記載の方法。

【請求項5】

前記第1の光(211、512)は、前記1つまたは複数の第3の露光期間(361-3)中に前記測定物体(220、520)を照明することを防止される、請求項4に記載の方法。

【請求項6】

前記1つまたは複数の第2の光(251)は、前記第1の露光期間(361-1)および前記第2の露光期間(361-2)中に前記測定物体(220、520)を照明することを防止される、請求項4に記載の方法。

【請求項7】

前記1つまたは複数の第3の画像(340-3)内の前記それぞれの選択された第3のセンサー位置SP3(473、573)は、前記第1の画像(340-1)内の前記強度ピークと同じそれぞれの第1のセンサー位置SP1(471、571)において選択される、請求項4に記載の方法。

【請求項8】

前記第2の光源(250)は、異なる波長の第2の光(251)を提供し、前記測定物体(220、520)を照明する前記第2の光(251)は、前記第3の露光期間(361-3)のうちの2つ以上の間で光波長において異なる、請求項4に記載の方法。

【請求項9】

前記第2の光源(250)のうちの少なくとも1つは、拡散する第2の光(251)を提供している、請求項1または2に記載の方法。

【請求項10】

前記第2の光源(250)は、前記第1の光源(210)が前記第1の光(211)を提供しているのと同じ方向および/または場所からの第2の光(251a)を提供する、少なくとも1つの光源(250a)を含む、請求項1または2に記載の方法。

【請求項11】

前記第2の光源(250)は、前記選択された第3のセンサー位置SP3(473、573)のうちの少なくともいくつかを照明する鏡面的な第2の光反射を生じる、前記測定物体(220、520)上の第2の光照明を引き起こす、方向(252b)からの第2の光(251b)を提供する、少なくとも1つの光源(250b)を含む、請求項1または2に記載の方法。

【請求項12】

前記第2の光源(250)は、前記測定物体(220、520)の表面に沿った暗視野照明として、前記表面上のいずれかの照明された突出構造が、前記選択された第3のセンサー位置SP3(473、573)のうちの少なくともいくつかを照明する第2の光反射を引き起こすことになるように、第2の光(251c)を提供する、1つまたは複数の光源(250c)を含む、請求項1または2に記載の方法。

【請求項13】

前記第2の光源(250)は、前記選択された第3のセンサー位置SP3(473、573)のうちの少なくともいくつかを照明する第2の光反射を生じる、前記測定物体(220、520)上の第2の光照明を引き起こす、それぞれ、少なくとも2つの異なる方向(252e-1、252e-2)からの第2の光(251e-1、251e-2)を提供する、請求項1または2に記載の方法。

【請求項14】

1つまたは複数のプロセッサ(901、904)によって実行されると、1つまたは複数のデバイス(900)に、請求項1または2に記載の方法を行わせる命令を含む、コンピュータプログラム(903)。

【請求項15】

2D画像データを取得し、3D画像データに関連付けるための、1つまたは複数のデバイス(900、230、233、205)であって、前記3D画像データは、第1の光(211、512)で測定物体(220、520)を照明するための第1の光源(210)と、前記測定物体(220、520)からの反射された第1の光(413、513)を検知するための画像センサー(231)とを含む、撮像システム(205)によって行われる光三角測量から生じる第1の強度ピーク位置(471、571)に基づくものであり、前記光三角測量は、前記第1の光(211、512)で前記測定物体(220、520)の第1の部分を照明し、第1の露光期間(361-1)中に前記画像センサー(231)によって、前記第1の部分からの反射された第1の光(413、513)を検知し、第1のセンサー位置SP1(471、571)において発生する第1の強度ピークをもつ第1の画像(340-1)が生ずること、および前記第1の光(211、512)で前記第1の部分に隣接する前記測定物体(220、520)の他の第2の部分を照明し、他の第2の露光期間(361-2)中に前記画像センサー(231)によって、前記第2の部分からの反射された第1の光を検知し、第2のセンサー位置SP2において発生する第2の強度ピークをもつ第2の画像(340-2)が生ずることを含み、前記撮像システム(205)は、1つまたは複数の第2の光(251)で前記測定物体(220、520)を照明するための、1つまたは複数の追加の第2の光源(250)をさらに含み、前記1つまたは複数のデバイスは、
前記1つまたは複数の第2の光(251)で前記測定物体(220、520)を照明し(201)、1つまたは複数の第3の露光期間(361-3)中に前記画像センサー(231)によって、前記測定物体(220、520)からのいずれかの反射された第2の光(453)を検知し(201)、1つまたは複数の第3の画像(340-3)が生ずること、
前記第1の画像(340-1)内のそれぞれの第1のセンサー位置SP1(471、571)に対し、前記1つまたは複数の第3の画像(340-3)内のそれぞれの第3のセンサー位置SP3(473、573)を選択し(202)、前記1つまたは複数の第3の露光期間(361-3)中に、前記測定物体(220、520)からのいずれかの反射された第2の光が、前記選択された第3のセンサー位置SP3(473、573)において、反射された第1の光(413、513)よりも高い強度が生ずることになるように、前記1つまたは複数の第2の光(251)で前記測定物体(220、520)を照明する(202)こと、および
前記1つまたは複数の第3の画像(340-3)内のそれぞれの選択された第3のセンサー位置SP3(473、573)の2D画像データを取得し(203)、前記取得された2D画像データを、前記それぞれの選択された第3のセンサー位置SP3(473、573)が選択された前記それぞれの第1のセンサー位置SP1(471、571)に関連付ける(203)こと
を行うように構成される、1つまたは複数のデバイス(900、230、233、205)。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書の実施形態は、2D画像データを取得し、光三角測量(light triangulation)からの3D画像データに関連付けるための方法および装置に関する。

【背景技術】

【0002】

ファクトリーおよびロジスティックオートメーションのための産業用視覚カメラおよびシステムは、シーンおよび/または物体の3D画像がキャプチャされる3次元(3D)機械視覚に基づくものであり得る。3D画像とは、従来の画像の場合のような2次元(2D)のみにおけるピクセルに関する情報、たとえば、強度および/または色ではなく、または少なくともそれのみでなく、「高さ」または「深度」情報も含む画像のことを指す。すなわち、画像の各ピクセルは、画像内のピクセルの位置に関連付けられ、かつ撮像されたもの、たとえば、物体の位置にマッピングするような情報を含み得る。次いで、3D画像から物体の特性、すなわち、物体の3D特性についての情報を抽出し、たとえば、様々な3D画像フォーマットに変換するために、処理が適用され得る。高さについてのそのような情報は、範囲データと呼ばれることがあり、ここで、範囲データは、したがって、撮像されている物体の高さ測定値からの、または言い換えれば物体の範囲もしくは距離測定値からのデータに対応し得る。代替的にまたは追加的に、ピクセルは、たとえば、撮像されるエリア内の光の散乱、または光の特定の波長の反射などに関する、材料特性についての情報を含み得る。

【0003】

したがって、ピクセル値は、たとえば、ピクセルの強度、および/または範囲データ、および/または材料特性に関し得る。

【0004】

ライン走査画像データは、たとえば、画像データを一回に1本のピクセル線ずつ検知および提供するように構成されたセンサーをもつカメラによって、画像の画像データが一回に1本の線ずつ走査または提供される場合に生じる。ライン走査画像の特殊な場合は、いわゆる「光のシート(sheet of light)」、たとえば、レーザー線、3D三角測量によって提供される画像データである。レーザーは、好ましいことが多いが、「光のシート」を提供することができる他の光源、たとえば、集束し続け、あまり広がらない光、または言い換えれば、「構造化」される光、たとえば、レーザーもしくは発光ダイオード(LED)によって提供される光を提供することができる光源も使用され得る。

【0005】

3D機械視覚システムは、そのような光のシート三角測量に基づくことが多い。そのようなシステムでは、たとえば、物体上に光またはレーザー線を生じ、かつそれに沿って、物体の輪郭に対応する物体の線3D特性がキャプチャされ得る、特定の光パターンとしての光のシートなど、特定の光パターンで物体を照明する光源がある。線および/または物体の移動を伴う、そのような線で物体を走査すること、すなわち、ライン走査を行うことによって、複数の輪郭に対応して、物体全体の3D特性がキャプチャされ得る。

【0006】

三角測量のために光のシートを用いる3D機械視覚システムまたはデバイスは、光、もしくは光のシート、三角測量、またはレーザー光が使用されるときは単にレーザー三角測量に基づく、3D撮像のためのシステムまたはデバイスと呼ばれることがある。

【0007】

典型的には、光三角測量に基づいて3D画像を作り出すために、撮像されることになる物体からの反射光は、カメラの画像センサーによってキャプチャされ、画像データにおいて強度ピークが検出される。ピークは、物体から反射された、たとえば、レーザー線に対応する、入射光がある、撮像された物体上の場所に対応する位置において発生する。検出されたピークの画像内の位置は、ピークを生じる光がそこから反射された物体上の位置にマッピングすることになる。

【0008】

レーザー三角測量カメラシステム、すなわち、光三角測量に基づく撮像システムは、物体上にレーザー線を投影して、対象物体の表面からの高さ曲線を作成する。関与するカメラおよび光源に対して物体を移動させることによって、物体の異なる部分からの高さ曲線についての情報が画像によってキャプチャされ、次いで、システムの関連するジオメトリの知識とともに組み合わせられ、使用されて、物体の3次元表現が作り出され得、すなわち、3D画像データが提供される。この技法は、光、典型的にはレーザー線が物体上に投影され、物体によって反射されるときの、光、典型的にはレーザー線の画像の獲得、および次いで、画像内の、反射されたレーザー線の位置の抽出として説明されることがある。このことは、たとえば、従来のピーク発見アルゴリズムを使用して、画像フレーム内で強度ピークの位置を特定することによって、正常に達成される。必要ではないが、典型的には、撮像システムは、強度ピークがセンサーの列ごとに探索され得、かつ列内の位置が高さまたは深度にマッピングするように、セットアップされる。

【0009】

多数の適用例では、たとえば、モデルが実世界の物体のように見えるようにされ得るように、3D画像データから形成された物体の3Dモデルにテクスチャを提供するために、物体の高さおよび深度などの3D画像データのみでなく、物体の従来の2D画像データにとっても望ましい。追加的にまたは代替的に、たとえば、品質保証の理由のために、物体の表面からの特定の2D情報を得ることが重要である。3D画像データと同じ位置のためのそのような情報を得ること、すなわち、2D画像データが、3D画像データと2D画像データの両方がそこからキャプチャされた物体上の実際の位置に対応する3D位置のためのものであり、かつ/またはそれと整合されるようにすることが、特に重要であり得る。光三角測量の場合、したがって、強度ピーク位置に関連付けられた2D画像データを得ることが重要である。3D画像データ位置に関連付けられた2D画像データを用いて、たとえば、物体の3Dモデルの2D画像表面を分析して、たとえば、テキスト、スクラッチ、マーク、および/または色変化などを特定すること、ならびにそれらが高さ変化などにも関連付けられる場合、実際の物体上のどこにこれらが位置するかを特定可能であることが可能である。たとえば、いくつかの場所におけるあるタイプのスクラッチは、他の場所においてよりも重大であり得る。問題のあるスクラッチがある物体は、マークが付けられ、かつ/または分類され、かつ/またはスクラッチが修繕され得る。

【0010】

反射率および強度からのグレースケール2D画像データは、たとえば、3D画像データを提供するために光三角測量において使用されるものと同じ光、たとえば、レーザーを使用して取得され得る。しかしながら、レーザーの場合、レーザー光の特殊な特性のために、いわゆるスペックル雑音が発生し、次いで、2D画像内に発生することが多い。また、物体の表面からこのようにして取得され得る2D情報は、かなり限定されることがわかり得る。

【発明の概要】

【課題を解決するための手段】

【0011】

上記に鑑みて、光三角測量から生じる3D画像データに2D画像データがどのように関連付けられ得るかの改善された方法を提供することといった、従来技術の1つまたは複数の改善または代替物を提供することを目的とする。

【0012】

本明細書の実施形態の第1の態様によれば、この目的は、2D画像データを取得し、3D画像データに関連付けるための方法によって達成される。3D画像データは、第1の光で測定物体(measure object)を照明するための第1の光源と、測定物体からの反射された第1の光を検知するための画像センサーとを含む、撮像システムによって行われる光三角測量から生じる第1の強度ピーク位置に基づく。前記光三角測量は、従来のように、第1の光で測定物体の第1の部分を照明し、第1の露光期間(EXP1)中に画像センサーによって、第1の部分からの反射された第1の光を検知し、第1のセンサー位置(SP1)において発生する第1の強度ピークをもつ第1の画像(IM1)が生ずること、および第1の光で前記第1の部分に隣接する測定物体の他の第2の部分を照明し、他の第2の露光期間(EXP2)中に画像センサーによって、第2の部分からの反射された第1の光を検知し、第2のセンサー位置(SP2)において発生する第2の強度ピークをもつ第2の画像が生ずることを含む。撮像システムは、1つまたは複数の第2の光で測定物体を照明するための、1つまたは複数の追加の第2の光源をさらに含む。

【0013】

方法は、前記1つまたは複数の第2の光で測定物体を照明し、1つまたは複数の第3の露光期間(EXP3)中に画像センサーによって、測定物体からのいずれかの反射された第2の光を検知し、1つまたは複数の第3の画像(IM3)が生ずることを含む。

【0014】

方法は、IM1内のそれぞれのSP1に対し、前記IM3内のそれぞれの第3のセンサー位置(SP3)を選択すること、および前記EXP3中に、測定物体からのいずれかの反射された第2の光が、選択されたSP3において、反射された第1の光よりも高い強度が生ずることになるように、1つまたは複数の第2の光を用いる前記照明を提供することをさらに含む。

【0015】

さらに、方法は、前記IM3内のそれぞれの選択されたSP3の2D画像データを取得すること、および取得された2D画像データを、それぞれの選択されたSP3がそれに対して選択されたSP1に関連付け、それによって、取得された2D画像データは、3D画像データに関連付けられるようになることを含む。

【0016】

本明細書の実施形態の第2の態様によれば、この目的は、1つまたは複数のプロセッサによって実行されると、1つまたは複数のデバイスに、第1の態様による方法を行わせる命令を含む、コンピュータプログラムによって達成される。

【0017】

本明細書の実施形態の第3の態様によれば、この目的は、第2の態様によるコンピュータプログラムを含むキャリアによって達成される。

【0018】

本明細書の実施形態の第4の態様によれば、この目的は、2D画像データを取得し、3D画像データに関連付けるための、1つまたは複数のデバイスによって達成される。3D画像データは、第1の光で測定物体を照明するための第1の光源と、測定物体からの反射された第1の光を検知するための画像センサーとを含む、撮像システムによって行われる光三角測量から生じる第1の強度ピーク位置に基づく。前記光三角測量は、従来のように、第1の光で測定物体の第1の部分を照明し、第1の露光期間(EXP1)中に画像センサーによって、第1の部分からの反射された第1の光を検知し、第1のセンサー位置(SP1)において発生する第1の強度ピークをもつ第1の画像(IM1)が生ずること、および第1の光で前記第1の部分に隣接する測定物体の他の第2の部分を照明し、他の第2の露光期間(EXP2)中に画像センサーによって、第2の部分からの反射された第1の光を検知し、第2のセンサー位置(SP2)において発生する第2の強度ピークをもつ第2の画像が生ずることを含む。撮像システムは、1つまたは複数の第2の光で測定物体を照明するための、1つまたは複数の追加の第2の光源をさらに含む。

【0019】

前記デバイスは、前記1つまたは複数の第2の光で測定物体を照明し、1つまたは複数の第3の露光期間(EXP3)中に画像センサーによって、測定物体からのいずれかの反射された第2の光を検知し、1つまたは複数の第3の画像(IM3)が生ずることを行うように構成される。

【0020】

前記デバイスは、IM1内のそれぞれのSP1に対し、前記IM3内のそれぞれの第3のセンサー位置(SP3)を選択すること、および前記EXP3中に、測定物体からのいずれかの反射された第2の光が、選択されたSP3において、反射された第1の光よりも高い強度が生ずることになるように、1つまたは複数の第2の光を用いる前記照明を提供することを行うようにさらに構成される。

【0021】

さらに、前記デバイスは、前記IM3内のそれぞれの選択されたSP3の2D画像データを取得すること、および取得された2D画像データを、それぞれの選択されたSP3がそれに対して選択されたSP1に関連付け、それによって、取得された2D画像データは、3D画像データに関連付けられるようになることを行うように構成される。

【0022】

本明細書の実施形態は、光三角測量からの3D画像データに関連付けられ、光三角測量からの3D画像データとセンサー位置またはピクセルのレベルで整合された、2D画像データの提供を可能にする。このことは、3D画像データを取得するために使用された同じ光源による照明から2D画像データを取得することに限定されることはない。結果として、より多種多様な2D画像データが、たとえば、異なる位置および方向からの照明を含む、異なる種類の光源および/または照明を使用することに基づいて取得され得る。

【0023】

いくつかの実施形態では、2D画像データは、関連付けられた3D画像データと同じ画像フレームおよび露光から取得され得、いくつかの実施形態では、光三角測量からの後続の画像フレーム間の時間期間を利用して、別個の露光、および別個であるが、関連する画像フレームから取得され得る。同じ画像フレームおよび露光を用いる前記実施形態は、より少ないデータ処理を可能にし、既存のシステムを用いる実装を容易にするが、2Dデータのために別個の露光および画像フレームを用いる前記実施形態は、代替種類の照明、および、したがって、より多くの種類の2D画像データを可能にし、それによって、より多くの適用例もサポートする。

【0024】

本明細書の実施形態は、たとえば、
レーザー三角測量ベースの3D撮像システムにおける、スペックル雑音のない反射率に基づく2D画像データ、
光三角測量ベースの3D撮像システムにおける、代替光源ジオメトリからの反射率に基づく2D画像データ、および
反射率に基づき、光三角測量からの3D画像データと整合され、かつ、たとえば、それとともに登録される、2D画像データにおける表面欠陥の改善された検出を可能にする。

【0025】

本明細書の実施形態の例については、以下で簡単に説明される添付の概略図を参照しながら、より詳細に説明される。

【図面の簡単な説明】

【0026】

【図1】本明細書の実施形態も使用することができ、かつ/またはそれに基づき得る、従来技術の撮像システムの一例を概略的に示す図である。

【図2A】本明細書の実施形態を行うように構成され得る撮像システムの簡略化された例を概略的に示す図である。

【図2B】本明細書の実施形態による方法の実施形態を概略的に示すためのフローチャートである。

【図3A】本明細書の実施形態の1つの主要サブグループのための状況を概略的に示す図である。

【図3B】本明細書の実施形態の1つの主要サブグループのための状況を概略的に示す図である。

【図4A】本明細書の一実施形態に関する一例を概略的に示す図である。

【図4B】本明細書の一実施形態に関する一例を概略的に示す図である。

【図4C】本明細書の一実施形態に関する一例を概略的に示す図である。

【図4D】本明細書の一実施形態に関する一例を概略的に示す図である。

【図5】センサー位置SP1とSP3との間の差がある一例を概略的に示す図である。

【図6A】本明細書の一実施形態を行うように構成され得る撮像システムの一例を概略的に示す図である。

【図6B】本明細書の一実施形態を行うように構成され得る撮像システムの一例を概略的に示す図である。

【図6C】本明細書の一実施形態を行うように構成され得る撮像システムの一例を概略的に示す図である。

【図6D】本明細書の一実施形態を行うように構成され得る撮像システムの一例を概略的に示す図である。

【図6E】本明細書の一実施形態を行うように構成され得る撮像システムの一例を概略的に示す図である。

【図7A】本明細書の実施形態の適用なしで生成された2D画像データに基づく測定物体の画像を示す図である。

【図7B】本明細書の実施形態の適用ありで生成された2D画像データに基づく測定物体の画像を示す図である。

【図8A】本明細書の実施形態の適用なしで生成された2D画像データに基づく測定物体の他の例示的な画像を示す図である。

【図8B】本明細書の実施形態の適用ありで生成された2D画像データに基づく測定物体の他の例示的な画像を示す図である。

【図9】図2Bに関して説明された方法およびアクションを行うように構成され得る、1つまたは複数のデバイスの実施形態を示すための概略ブロック図である。

【図10】図2Bに関して説明された方法およびアクションをデバイスに行わせるためのコンピュータプログラムおよびそのキャリアに関する、いくつかの実施形態を示す概略図である。

【発明を実施するための形態】

【0027】

本明細書の実施形態は、例示的な実施形態である。これらの実施形態は、必ずしも相互排他的であるとは限らないことに留意されたい。ある実施形態からの構成要素は、他の実施形態において存在することが暗に仮定されることがあり、それらの構成要素が他の例示的な実施形態においてどのように使用され得るかは、当業者には明らかになる。

【0028】

光三角測量光源、典型的にはレーザーが、反射率画像、すなわち、測定物体の2Dデータに基づく画像を取得するために使用されるとき、欠点は、画像内のスペックル雑音、および光三角測量において使用される光から可能である以外に代替表面情報を収集可能でないことを含む。

【0029】

一方、測定物体の画像が、光三角測量とは別個に取得される場合、光三角測量から生じるような測定物体の3D画像との望ましい整合を得ることは、すべての適用例において可能であるとしても極めて困難である。

【0030】

「マルチ走査」手法が使用されることがあり、ここで、たとえば、使用されるイメージャ、すなわち、画像センサーの別個の1つまたは複数の行が、2D画像データを収集するために使用され得るが、これには、依然として3D画像データとのいかなる良好な整合もなく、リサンプリングプロセスが必要とされる。さらに、イメージャの大部分がそのために使用される光三角測量と、別個の2D画像データ読出しの両方のために、良好な焦点を作成することは困難である。光三角測量セットアップは、典型的には、シャインプルーフフォーカシング(Scheimpflug focusing)を使用するレーザー面の周囲のみの最大焦点、ならびにより多くの光がイメージャに到達することを可能にするために、大きいアパーチャ開口(aperture opening)を使用するための能力および要望を有するようになる。

【0031】

したがって、光三角測量において使用される光をそのようなものとして使用することに限定されず、同時に、2D画像データを光三角測量からの3D画像データと良好に整合させることが可能である、2D画像データを取得するための方法があることが望ましくなる。

【0032】

本明細書の実施形態は、上記のための解決策に関する。

【0033】

図1は、背景技術において述べられたようなタイプの撮像システムの一例、すなわち、対象物体の3D特性についての情報をキャプチャするために光三角測量に基づく、3D機械視覚のための撮像システム100を概略的に示す。システムは、以下でさらに説明される本明細書の実施形態がそれにおいて動作することができる、画像を提供するために使用され得る。システム100は、図では、通常動作の状況において、すなわち、典型的には較正が行われた後に示されており、したがって、システムが較正されている。システム100は、ここでは、背景技術において述べられたように光三角測量のシートの形で、光三角測量を行うように構成される。システム100は、図では光のシートとして例示および図示された、特定の光パターン111を用いて撮像されることになる物体を照明するための光源110、たとえば、レーザーをさらに含む。光はレーザー光であり得るが、そうである必要はない。図示の例では、対象物体は、車の形の第1の測定物体120、および歯車構造の形の第2の測定物体121によって例示される。特定の光パターン111が物体上に入射するとき、これは、特定の光パターン111が物体と交差するときに見られ得る、物体上の特定の光パターン111の投影に対応する。たとえば、図示の例では、光のシートとして例示された特定の光パターン111は、第1の測定物体120上の光線112を生じる。特定の光パターン111は、物体によって、より具体的には、交差部における、すなわち、図示の例では光線112における物体の部分によって反射される。測定システム100は、画像センサー(図1には示されていない)を含むカメラ130をさらに含む。カメラおよび画像センサーは、特定の光パターンが物体によって反射されると、画像センサー上で入射光になるように、光源110および撮像されることになる物体に対して配置される。画像センサーは、入射光を画像データに変換するための、典型的にはチップとして実装される装置である。反射によって画像センサー上で前記入射光を引き起こす、物体の前記部分は、それによってカメラ130および画像センサーによってキャプチャされ得、対応する画像データが作り出され、さらなる使用のために提供され得る。たとえば、図示の例では、特定の光パターン111は、第1の測定物体120の車の屋根の部分上の光線112において、カメラ130および画像センサーに向かって反射されるようになり、カメラ130および画像センサーは、それによって画像データを作り出し、車の屋根の前記部分についての情報とともに提供し得る。測定システム100のジオメトリ、たとえば、画像センサー座標がどのように、撮像されている物体およびそのコンテキストに関連する座標系123の座標、たとえば、デカルトなどの世界座標に関係するかの知識を用いて、画像データは、好適なフォーマットで、撮像されている物体の3D特性、たとえば、3D形状または輪郭についての情報に変換され得る。前記3D特性、たとえば、前記3D形状または輪郭についての情報は、任意の好適なフォーマットで3D特性を表すデータを含み得る。

【0034】

たとえば、光源110、および/または第1の測定物体120もしくは第2の物体121など、撮像されることになる物体を移動させ、それにより物体の複数の部分が照明され、画像センサー上に反射光を生じさせることによって、実際には、典型的には物体を走査することによって、物体のより完全な3D形状を記述する画像データが作り出され得、たとえば、第1の測定物体120の示されている輪郭画像141-1～141-Nなど、物体の複数の連続する輪郭に対応するものであり、ここで、各輪郭画像は、カメラユニット130の画像センサーが、輪郭画像を生じる光を検知したとき、特定の光パターン111が反射されたところの、第1の物体120の外形を示す。図に示されているように、コンベヤベルト122または同様のものが、特定の光パターン111を通して、物体を移動させるために使用され得、光源110およびカメラユニット130が典型的には固定であるか、あるいは特定の光パターン111および/またはカメラ130が、物体上で移動され得るので、物体のすべての部分、または少なくとも光源110に面するすべての部分が照明されるようになり、カメラは、撮像することが望ましい物体のすべての部分から反射された光を受けるようになる。

【0035】

以上のことから理解されるように、たとえば、第1の測定物体120の、カメラ130およびその画像センサーによって提供された画像フレームは、輪郭画像141-1～141-Nのうちのいずれか1つに対応し得る。背景技術において述べられたように、輪郭画像141-1～141-Nのうちのいずれかにおいて示された第1の物体の外形の各位置は、典型的には、画像センサーによってキャプチャされた画像データ内の強度ピークの特定、およびこれらの強度ピークの位置を発見することに基づいて決定される。システム100および従来のピーク発見アルゴリズムは、典型的には、各画像フレーム内で、ピクセル列ごとに強度ピークを探索するように構成される。センサー座標がu、vであり、たとえば、uが、図に示されているように、画像センサー内の行に沿ったピクセル位置に対応し、vが、列に沿ったピクセル位置に対応する場合、各位置について、vに沿ってピーク位置について探索された画像フレームのuがあり、画像フレーム内の特定されたピークが、図に示されているような1つのクリーンな輪郭画像を生じ得、画像フレームおよび輪郭画像の全体が、第1の物体120の3D画像を作成するために使用され得る。

【0036】

図2Aは、本明細書の実施形態を行うように構成され得る、すなわち、本明細書の実施形態を実装するためのものである、撮像システム205の簡略化された第1の例を概略的に示す。撮像システム205は、1つまたは複数の測定物体の2Dおよび3D特性についての情報をキャプチャするために、光三角測量に基づく。示されたシステムは、基本構成に対応し、以下を含む。測定物体220の3D撮像のための光三角測量の一部として、第1の光211、典型的にはレーザー光で測定物体220を照明するための第1の光源210。測定物体220の2D撮像のために、第2の光251で測定物体220を照明するための第2の光源250。3D撮像のための前記光三角測量の一部として、測定物体220からの反射された第1の光を検知するために、および前記2D撮像のために、測定物体220からの反射された第2の光を検知するために配置された、画像センサー231をもつカメラ230。

【0037】

カメラ230、画像センサー231、および第1の光源210は、光三角測量のために互いに対して構成および配置される。システム205は、光三角測量の目的のために、すなわち、第1の光源210、カメラ230、画像センサー231が、どのように互いにおよび測定物体220などに対して配置されるか、さらに本明細書の実施形態に従って、および以下でさらに説明されるように実行するように構成されるかに関して、図1におけるシステム100に対応し得る。画像センサー231は、もちろん、第2の光にも反応するべきであるが、このことは、典型的には、光三角測量のために使用されるすべての従来の画像センサーについて当てはまることになる。

【0038】

したがって、測定物体220は、第1の測定物体120に対応し得、少なくとも部分的にカメラ230の視野232内に配置されるように示される。第1の光源210は、典型的には、測定物体220によって反射される、特定の光パターン、たとえば、光のシート、および/またはレーザーなどの光線など、構造化光(structured light)の形態における、第1の光211で測定物体220を照明するように構成され、反射された第1の光が、カメラ230および画像センサー231によってキャプチャされる。第1の光として使用され得る構造化光の他の例は、光エッジ、すなわち、照明があるエリアまたは部分のエッジである。

【0039】

測定物体220は、このようにして照明され得、画像は、従来の光三角測量の場合のようにキャプチャされ得る。そのようなものとしての前記光三角測量は、したがって、従来技術の場合のようであり、互いに対する第1の光源210および/または測定物体220の移動を伴い得るので、異なる連続する時刻において、測定物体220の異なる連続する部分が、第1の光源210および第1の光211によって照明されるようになる。測定物体220からの反射された第1の光211は、画像センサー231によって検知される。光三角測量では、典型的には、必要ではないが、カメラ230および第1の光源210は、互いに対して固定され、測定物体220は、これらに対して移動する。画像センサー231による前記検知を通して、それぞれの画像フレームは、画像フレームが検知された、すなわち、キャプチャされたときのそれぞれの時刻に、およびそこから画像センサー231がそれぞれの時刻において反射された第1の光211を検知した、測定物体220のそれぞれの部分に、関連付けられる。

【0040】

カメラ230は、従来技術のカメラであり、たとえば、図1のシステム100におけるカメラ130に対応し得、画像センサー231は、図1に関して上記で説明された、同じまたは同様の画像センサーであり得る。カメラ230および画像センサー231によって提供された画像フレーム、および/または画像フレームから導出された情報は、カメラ230の外部のさらなる処理のために、たとえば、コンピュータまたは同様のものなどのコンピューティングデバイス233に転送すること、たとえば、送信することが望ましくなり得る。そのようなさらなる処理は、追加的にまたは代替的に、別個のコンピューティングユニットまたはデバイス(図示されていない)、すなわち、画像プロセッサ231とは別個であるが、依然としてカメラ230、またはカメラ230を含むユニット内に含まれる、たとえば、それと統合されるものによって行われ得る。コンピューティングデバイス233、たとえば、コンピュータまたは他のデバイス(図示されていない)は、光三角測量に関与する、かつ/または本明細書の実施形態に関与するデバイスを制御するように構成され得るので、光三角測量および/または本明細書の実施形態に関する他のアクションが行わされるようになる。

【0041】

第1の光源110およびカメラ230は、典型的には、所定の固定された位置において、光三角測量のための互いとの既知の関係を用いて配置される。第2の光源250もまた、カメラ230および第1の光源210に対して固定位置にあり得るが、正確な位置、ならびにカメラ230および画像センサー231との関係は、本明細書の実施形態のための光三角測量の場合のように利用されず、したがって、第2の光源は、以下でさらに説明されるような本明細書の様々な実施形態に従って、第2の光および照明を提供するための目的で、より自由に配置され得る。

【0042】

図2Bは、本明細書の実施形態による方法の実施形態を概略的に示すためのフローチャートである。方法を形成し得る、以下のアクションは、2D画像データを取得し、3D画像データに関連付けるためのものである。3D画像データは、撮像システム、たとえば、撮像システム205によって行われる光三角測量から生じる第1の強度ピーク位置に基づく。第1の強度ピーク位置は、したがって、従来の光三角測量において決定されるような強度ピーク位置であり得る。それらについては、以下でさらに本明細書の実施形態に関して、ならびに別個の図面および例において説明および例示される。撮像システムは、第1の光で測定物体を照明するための第1の光源と、測定物体からの反射された第1の光を検知するための画像センサーとを含む。以下では、第1の光源および第1の光は、第1の光源210および第1の光211によって例示され得、測定物体および画像センサーは、測定物体220および画像センサー231によって例示され得る。

【0043】

従来の光三角測量の場合のように、光三角測量は以下を含む。

【0044】

第1の光211で測定物体220の第1の部分を照明し、第1の露光期間中に画像センサー231によって、第1の部分からの反射された第1の光を検知し、第1のセンサー位置(SP1)において発生する第1の強度ピークをもつ第1の画像(IM1)が生ずること。

【0045】

第1の光211で前記第1の部分に隣接する測定物体220の他の第2の部分を照明し、他の第2の露光期間(EXP2)中に画像センサー231によって、第2の部分からの反射された第1の光を検知し、第2のセンサー位置(SP2)において発生する第2の強度ピークをもつ第2の画像(IM2)が生ずること。

【0046】

したがって、第1の画像および第2の画像は、光三角測量のために使用される強度ピークをもつ、連続する画像フレームに対応する。

【0047】

前記露光期間、画像、センサー位置SP1およびSP2については、以下でさらに、別個の図面および例において説明および例示される。

【0048】

さらに、撮像システム、たとえば、撮像システム205は、好ましくは、前記第1の光とは異なる1つまたは複数の第2の光で測定物体220を照明するための、1つまたは複数の追加の第2の光源をさらに含む。以下では、第2の光源および第2の光は、第2の光源250および第2の光251によって例示され得る。第2の光源および第2の光についての説明、さらなる例および詳細は、以下で別個の図面および例において提供される。

【0049】

以下の、図2Bに示されている方法および/またはアクションは、デバイス、すなわち、カメラ230および/またはコンピューティングデバイス233などの1つまたは複数のデバイスによって、あるいは撮像システム205、および/またはその、もしくはそれに接続された好適なデバイスによって実行され得る。方法およびそのアクションを実行するためのデバイスについては、以下でさらに説明される。

【0050】

以下のアクションは、任意の好適な順序において取られ、かつ/またはこれが可能および好適である時間に、完全にもしくは部分的に重複して行われ得ることに留意されたい。

【0051】

アクション201
測定物体220が、前記1つまたは複数の第2の光251を用いて照明され、1つまたは複数の第3の露光期間(EXP3)中に画像センサー231によって、測定物体220からのいずれかの反射された第2の光が検知され、1つまたは複数の第3の画像(IM3)がそれぞれ生じる。

【0052】

照明は、第1の露光期間(EXP1)中に、いずれかの反射された第2の光が、第1のセンサー位置(SP1)および第2のセンサー位置(SP2)において、反射された第1の光からの強度よりも低い強度が生ずることになるように、提供され得る。このことは、第1の光強度ピークの第2の光干渉が低く保たれることを確実にし、図4A～図4Dに関して以下でさらに説明および例示される。

【0053】

画像IM1～3および露光期間EXP1～3については、それぞれ、実施形態の2つの主要グループについての図3A～図3Bに関して、以下で説明および考察される。

【0054】

アクション202
第1の画像内のそれぞれの第1のセンサー位置(SP1)に対し、前記1つまたは複数の第3の画像(IM3)内のそれぞれの第3のセンサー位置(SP3)が選択され、1つまたは複数の第2の光251を用いる前記照明は、前記1つまたは複数の第3の露光期間(EXP3)中に、測定物体220からのいずれかの反射された第2の光が、選択された第3のセンサー位置(SP3)において、反射された第1の光211よりも高い強度が生ずることになるように、提供され得る。このことは、反射された第2の光が不明瞭にされず、かつ/またはSP3において反射された第1の光によって望ましくなく干渉されないことを確実にする。

【0055】

いくつかの実施形態では、第3のセンサー位置(SP3)は、光三角測量から生じる第1のセンサー位置(SP1)とのあらかじめ定義されたまたは所定の関係を用いて選択される。たとえば、それぞれのSP3が、それぞれのSP1から所定の距離にある、および/または所定の方向にあるなど、それぞれのSP1との所定の関係を用いて選択されるべきであることが、あらかじめ決定され得る。たとえば、そのそれぞれのSP3は、それぞれのSP1から、所定の数のピクセルで選択されるべきであるか、または所定の距離におけるピクセルもしくは位置であるべきである。所定の方向は、光三角測量のために適用される走査方向に対応し得る、すなわち、走査方向にマッピングする画像センサー上の方向であり得る。たとえば、本明細書でx、y、z実世界座標系およびu、vセンサー座標を用いて図示の例の場合のように、yに沿った走査方向は、画像センサー231上でvに沿った方向にマッピングする。あらかじめ定義されたまたは所定の方向はまた、SP1における強度ピークをもつ第1の光強度が、SP1から離れるときに最も近いおよび/または最も大きい低下を有する方向に対応する方向として、または、それがSP1およびそこでの強度ピークからの第1の光強度勾配方向であると説明され得る。

【0056】

第3のセンサー位置SP3の選択、および実施形態の前記2つの主要グループ間で何が異なるかを含む、センサー位置SP1～3については、以下で図4A～図4Dに関してさらに説明および例示される。

【0057】

アクション203
前記1つまたは複数の第3の画像内のそれぞれの第3のセンサー位置(SP3)、すなわち、アクション202において選択された第3のセンサー位置からの2D画像データが取得され、取得された画像データが、それぞれの第3のセンサー位置(SP3)がそれに対して選択された第1のセンサー位置(SP1)に関連付けられる。結果として、光三角測量からの3D画像データが、第1のセンサー位置(SP1)における第1の強度ピーク位置に基づくので、取得された2D画像データは、3D画像データに関連付けられるようになる。

【0058】

本明細書で使用されるとき、「2D画像データ」は、光への露光から生じる、画像センサー、たとえば、画像センサー231の位置もしくはピクセルにおける、または画像センサーによって生成された画像内の対応する位置における、画像データを指す。2D画像データは、典型的には、光強度および/または色に対応している。本明細書の実施形態では、ある位置またはピクセルの2D画像データは、第2の光を反射した測定物体上の対応する位置についての情報を含み、すなわち、ある位置の2D画像データは、撮像された測定物体の対応する位置がどのように第2の光を反射するかについての情報をもつ画像データに対応する。

【0059】

本明細書で使用されるとき、「光三角測量から生じる強度ピーク位置に基づく3D画像データ」は、前記強度ピーク位置が生ずる第1の光を反射した測定物体上の対応する位置についての、画像センサーに対する少なくとも深度情報を含むデータとして理解されるべきである。たとえば、図1に関して示された輪郭画像141-1...141-Nでは、特定された強度ピーク位置がセンサー座標u、vにおいて示されており、各位置uのための強度ピーク位置vは、撮像された物体120の深度についての情報、より具体的には、強度ピーク位置vが生ずる光112を反射した物体120上の位置についての深度情報を含む。

【0060】

実際には、第1の光を反射した測定物体上の位置に関する3D画像データは、測定物体上のx、y、zにおける位置にマッピングするu、v、tにおける強度ピーク位置の3D位置であり得るか、またはそれは、測定物体の3Dモデルの座標x'、y'、z'における対応する3D位置であり得、そのモデルは、u、v、tならびに光三角測量において使用される既知の動作状態および関係に基づく計算から提供されたものである。

【0061】

したがって、本明細書の実施形態は、光三角測量からの3D画像データに関連付けられた2D画像データの提供に関する。2D画像データは、3D画像データがそこから来る測定物体上の同じ位置に関連し、その理由は、2D画像データは、上記で説明され、以下でさらに説明および例示されるように、光三角測量のために使用される第1の強度ピークをもつ画像フレームの取得に関して、および好ましくはそれとともに、ならびに同じ画像センサーを使用することによって取得されるが、3D画像データを取得するために使用されるものと同じ光源による照明から2D画像データを取得することに限定されないからである。結果として、3D画像データに関連付けられた多種多様な2D画像データが、たとえば、同じく以下で別個にさらに説明されるように、異なる方向および位置からの照明を含む、異なる種類の光および/または照明を使用することに基づいて取得され得る。

【0062】

第2の光251、または、たとえば、いくつかの第2の光源を用いる実施形態では、複数の光は、有利に拡散する、第2の光のうちの少なくともいくつかであり、かつ/または、したがって、第2の光源250がそれに基づき得るLEDによって提供され得る。すなわち、第2の光源のうちの少なくとも1つは、拡散する第2の光を提供し得る。拡散光は、レーザー光など、典型的には極めて指向性のある第1の光211とは対照的である。拡散光は、レーザースペックルなしの反射率を可能にする。拡散する第2の光による他の利点は、SP3において、および同じくSP1において好適な強度を達成することがより容易な、より簡単なシステムセットアップである。拡散光はまた、正常に発生する照明により近いものであり、したがって、測定物体についての所望の2D画像データをキャプチャするためにより良好であり得る。いくつかの実施形態はまた、拡散する第2の光を用いて実装することがより簡単になり得る。

【0063】

図3A～図3Bは、図2Bに関して上記で説明された方法に対する、本明細書の実施形態の2つの主要サブグループのための状況をそれぞれ概略的に示す。要するに、図3Aは、実施形態の第1の主要サブグループについてのものであり、ここで、前記第3の画像(IM3)は、第1の画像(IM1)と同じであり、したがって、第3の露光期間(EXP3)は、第1の露光期間(EXP1)と同じである。図3Bは、代わりに、実施形態の第2の主要サブグループについてのものであり、ここで、第3の画像(IM3)は、第1の画像(IM1)および第2の画像(IM2)とは別個であり、ここで、第3の露光期間(EXP3)は、第1の露光期間(EXP1)の後、より具体的には、EXP1とEXP2との間の新しい別個の露光期間であり、したがって、IM3は、時間においてIM1とIM2との間、すなわち、光三角測量のために使用される画像の間にある。

【0064】

図3Aは、EXP1に対応する第1の露光期間361-1aと同じである、EXP3に対応する第3の露光期間361-3aをより具体的に、および概略的に示す。また、したがって、IM1に対応する第1の画像340-1aと同じ画像である、IM3に対応する第3の画像340-3aも示されている。また、EXP2に対応する第2の露光期間361-2aとともに、IM2に対応する第2の画像340-2aも示されている。したがって、示された画像IM1およびIM2は、光三角測量のために使用される画像に対応する。第1の画像340-1aは、キャプチャ時間t1に関連付けられ、第2の画像340-2aは、キャプチャ時間t2に関連付けられる。t2とt1との間の差T_3D、すなわち、T_3D=t2-t1は、3D画像データの提供のための光三角測量の一部としての、後続の画像間の時間期間に対応する時間期間363aである。露光期間の時間における示された長さは、単に、時間における延長があることを示すためのものであり、光三角測量において使用される後続の画像フレーム間の時間期間T_3Dとのいかなる望ましい関係も示していないことに留意されたい。

【0065】

露光期間、および後続の画像間の時間期間は、従来の光三角測量の場合のようであり得るが、いくつかの実施形態では、同じ画像内の反射された第1の光211と反射された第2の光251の両方の好適な検知を達成するために、露光期間を調整することが重要であり得る。

【0066】

実施形態の第1の主要サブグループによる実施形態では、それぞれの第3のセンサー位置(SP3)は、図2Bにおける方法のアクション202において、第1の画像340-1内で、すなわち、IM1内で、それぞれの第1のセンサー位置(SP1)までのセンサー座標におけるそれぞれの差(d)を用いて選択される。前記それぞれの差を含む、これらの実施形態については、図4A、図4D、および図5に関連して以下でさらに説明および考察される。

【0067】

図3Bは、EXP1に対応する第1の露光期間361-1bと、EXP2に対応する第2の露光期間361-2bとの間の新しいおよび/または別個の露光期間である、EXP3に対応する第3の露光期間361-3bをより具体的に、および概略的に示す。第3の露光期間361-3bは、したがって、ここでは、他の、IM1に対応する第1の画像340-1bとは別個の画像である、IM3に対応する第3の画像340-3bの露光期間である。図は、前記1つまたは複数の第3の露光期間(EXP3)および1つまたは複数の第3の画像(IM3)がただ1つ、すなわち、1つの第3の露光期間および1つの第3の画像である、一例を示すことがわかるはずである。しかしながら、本明細書では図に示されていない、他の例および実施形態では、EXP1、IM1とEXP2、IM2との間に2つ以上の後続のEXP3およびIM3がある。

【0068】

示されている第1の露光期間361-1bをもつ第1の画像340-1b、第2の露光期間361-2bをもつ第2の画像340-2b、T_3Dに対応する時間期間363bは、図3Aにおけるそれらの相対物のようであり得、かつ/または従来の光三角測量の場合のようであり得る。したがって、示された画像IM1およびIM2は、図2Bに関して上記で説明された方法の光三角測量のために使用される画像に対応し、画像IM3は、反射された第2の光251をキャプチャするためのものである。実施形態の第1の主要グループと比較して、他の違いは、実施形態の第2の主要サブグループでは、第1の光211が、たとえば、361-3b中など、1つまたは複数の露光期間(EXP3)中に、オフに切り替えられるか、減衰されるか、または他の場所に向けられることによって、測定物体220を照明することを防止され得、かつ有利に防止されることである。このことは、反射された第2の光251をキャプチャするための別個のIM3のおかげで可能であり、1つまたは複数の第3の画像内の第1の光、たとえば、レーザーからの光妨害(light disturbance)のリスクを取り除くために使用され得る。

【0069】

第2の主要サブグループの実施形態については、図4B～図4C、および図5に関連して以下でさらに説明および考察される。

【0070】

図4A～図4Dは、本明細書のいくつかの実施形態に関する例を概略的に示す。具体的には、図4A、図4Dは、実施形態の前記第1の主要サブグループに関する例であり、図4B～図4Cは、実施形態の前記第2の主要サブグループに関する例である。

【0071】

実施形態の前記第1の主要サブグループに関する図4Aは、EXP1中に画像センサー231によって検知され、たとえば、IM1内に含まれるものなど、測定物体、たとえば、測定物体220からの反射光に対応する、画像センサー座標vに沿った光強度を示す。上述のように、第1の主要サブグループによる実施形態では、IM3=IM1およびEXP3=EXP1である。反射された第1の光211および反射された第2の光251からの寄与は、説明のため、図中、分けて示されている。反射された第1の光、すなわち、測定物体220から反射され、画像センサー231によって検知された第1の光211からの寄与は、図において第1の光強度分布413aに対応する。反射された第2の光、すなわち、測定物体220から反射され、画像センサー231によって検知された第2の光251からの寄与は、図において第2の光強度分布453aに対応する。言い換えれば、第1の光強度分布413aは、反射された第1の光211、すなわち、反射された第1の光の一例であり、第2の光強度分布453aは、反射された第2の光251、すなわち、反射された第2の光の一例である。実際には、光強度分布413aおよび453aは、示された分布を加えることに対応して重ね合わせられ、それによって、画像センサーによって検知されるものに対応する単一の光強度分布が形成される。

【0072】

第1の光強度分布413aは、典型的には、照明が、たとえば、測定物体上のレーザー線などの光線であるときの場合のように、かなり狭く、SP1に対応する強度ピーク位置471aを有する。第2の光強度分布453aは、典型的には、第2の光が測定物体を照明する拡散光として提供されるときの場合のように、実質的に一定のレベルである。

【0073】

アクション202を参照しながら、図3Aに関連して、それぞれの第3のセンサー位置(SP3)が、第1の画像340-1内で、すなわち、IM1内で、それぞれの第1のセンサー位置(SP1)までのセンサー座標におけるそれぞれの差(d)を用いて選択されることが上述された。SP3に対応する、第3のセンサー位置473aが、図4Aに示されている。前記差dは、図において差475aとして示されている。

【0074】

さらに、アクション202の下で、1つまたは複数の第2の光251を用いる前記照明は、前記1つまたは複数の第3の露光期間(EXP3)、すなわち、第1の主要サブグループによる実施形態では、EXP1に等しいただ1つのEXP3中に、第2の光強度分布453aによる第2の光など、測定物体からのいずれかの反射された第2の光が、選択された第3のセンサー位置(SP3)において、反射された第1の光211よりも高い強度が生ずることになるように、提供され得ることが上述された。このことが図4Aに示されており、ここで、第2の光強度分布453aは、第3のセンサー位置473aにおいて、すなわち、SP3において第1の光強度分布413aを上回る。したがって、SP3における第1の光および第2の光からの光強度寄与における差、すなわち、I_DIFF(SP3)があり、図において光強度差479aとして示されている。

【0075】

対照的に、第2の光強度分布453aは、第1のセンサー位置471aにおいて、すなわち、SP1において第1の光強度分布413aを下回る。このことはまた、図3Aおよびアクション201に関連して上記で示されたこと、すなわち、照明は、第1の露光期間(EXP1)中に、いずれかの反射された第2の光が、第1のセンサー位置(SP1)において、反射された第1の光からの強度よりも低い強度が生ずるべきであるように、提供され得ることにも合致している。したがって、SP1における第1の光および第2の光からの光強度における差、すなわち、I_DIFF(SP1)もあり、図において光強度差477aとして示されている。

【0076】

図から、なぜSP3が、第1の主要サブグループによる実施形態、すなわち、第1の光および第2の光が同じ画像内で検知される、すなわち、IM1およびIM3が同じである実施形態について上述されたような差dを用いて選択されるべきであるかがわかるはずである。その理由は、第2の光がSP3において優勢であるべきであり、好ましくは第1の光から受ける影響ができるだけ小さくなるべきであるが、IM3=IM1であるときを完全に回避することが困難であり得ることである。もちろん、SP3はまた、SP3における2D画像データがSP1に基づく3D画像データに関連すると見なされるように、SP1に十分近い位置であるべきである。このことについては、以下で、とりわけ、図5に関連して別個に説明される。

【0077】

同様に、反射された第1の光は、有益には、強度ピーク、およびそれによって光三角測量が悪影響を受けないように、SP1において優勢であるべきである。強度ピーク位置は、第2の光のいかなる存在にもかかわらず、たとえば、従来のように、特定可能であるべきである。第1の光強度ピークは、好ましくは、第2の光から受ける影響ができるだけ小さくなるべきである。

【0078】

いくつかの実施形態では、たとえば、拡散光、および第2の光の分布さえもある場合、所与のSP3について、増加されたI_DIFF(SP1)は、減少されたI_DIFF(SP3)を意味する。次いで、それは、これらの間の好適なバランスを発見すること、および/またはSP3を好適に選択することについてのことである。最も実際的な状況では、たとえば、第2の光分布さえもある場合、このことは問題にならず、その理由は、第2の光強度レベルが、典型的にはいかなる問題もなしに、SP1から離れるときに同じく急速に低下する第1の光ピーク強度レベルを十分に下回るように保たれ得、すなわち、ピークが極めて狭いからである。特定の適用例のために必要とされる場合、当業者は、たとえば、日常的な検査および実験を通して、好適なSP3およびSP3のための第2の光強度レベルを選択することが可能になる。

【0079】

図4B～図4Cは、実施形態の前記第2の主要サブグループに関し、画像センサー231によって検知された、測定物体、たとえば、測定物体220からの反射光に対応する、画像センサー座標vに沿った光強度を示す。図4Bは、EXP1中に、およびたとえば、IM1内に含まれる、検知された反射された第1の光211を示し、図4Cは、EXP3中に、およびたとえば、これらの実施形態では、上記で説明されたように、IM1とは別個であるIM3内に含まれる、検知された反射された第2の光251を示す。図4Bは、第1の光強度分布413aに対応し、かつそれと同じであり得る、第1の光強度分布413bを示す。図4Cは、第2の光強度分布453aに対応し、かつそれと同じであり得る、第2の光強度分布453bを示す。これらの実施形態では、図には示されていないが、さらなる第3の画像、IM3の場合、図4Cのようなまた他の図が、前記さらなるIM3を生じる画像のさらなるEXP3中に反射された第2の光の検知から生じる、また他の第2の光強度分布とともに提供され得る。

【0080】

SP1に対応する、第1のセンサー位置471bが、図4Bに示されている。SP3に対応する、第3のセンサー位置473bが、図4Cに示されている。

【0081】

図3Bに関連して、
第1の光211が、1つまたは複数の露光期間(EXP3)、たとえば、第3の露光期間361-3b中に、測定物体220を照明することを防止され得、かつ有利に防止されることが上述された。それによって、いかなる第1の光もIM3内でキャプチャされ得ず、このことは、明確に図4Cの場合である。同様に、同じく上述されたように、第2の光251は、第1の露光期間361-1b中、すなわち、EXP1中に測定物体220を照明することを防止され得、したがって、図4Bでわかるように、IM1内でキャプチャされないことがある。図4B～図4Cを図4Aと比較することからわかるように、このことは、反射された第1の光および第2の光が、SP3がSP1に対してどこで選択されるかに無関係に、互いに干渉しないことを意味する。したがって、反射された第1の光または第2の光のみが画像内で同時に存在するので、図4Aの場合のように、SP1からの距離dにSP3を配置する必要はなく、代わりに、SP3は、図4B～図4Cに示されているように、たとえば、SP1と同じセンサー位置であり得るので、SP3を選択することが極めて簡単になる。言い換えれば、前記1つまたは複数の第3の画像(IM3)、たとえば、340-3内のそれぞれの第3のセンサー位置SP3は、第1の画像(IM1)、たとえば、340-1内の強度ピークと同じそれぞれの第1のセンサー位置SP1、たとえば、471bにおいて選択され得る。もちろん、dに対応する、センサー位置vにおける距離は、典型的には、これらの実施形態でも受け入れ可能である。

【0082】

光三角測量は、典型的には、互いに対する測定物体および/またはカメラ/光源の連続移動とともに実行されるので、IM1以外の他の時間における、たとえば、時間t2においてIM1よりも後である時間t3におけるIM3は、それにもかかわらず、1つの同じセンサー位置にマッピングする、測定物体位置におけるある変化があったことを意味することに留意されたい。言い換えれば、SP3は、SP1と同じセンサー位置においても、依然として、強度ピーク位置SP1において生じる光を反射した測定物体上の実際の物体位置に、あるオフセットとともにマッピングし得る。しかしながら、概して、原理上はすべての従来のおよび実際的な光三角測量システムでは、IM1とIM3との間など、光三角測量において使用された2つの連続する画像間の物体位置における差は、典型的には、図4Aに関して説明された実施形態のために使用されるいかなるdよりも小さくなる。しかしながら、依然として、同じセンサー位置にあるとき、たとえば、同じu、vについて、SP3内の2D画像データをSP1にできるだけ関連するようにさせるために、IM3は、できるだけIM1の直後に提供され、t1とt3との間の移動によって引き起こされる距離が最小化され得る。たとえば、前記1つまたは複数の第3の露光期間(EXP3)は、第1の露光期間(EXP1)に隣接し、たとえば、EXP1の前または後のできるだけ近い、露光期間であり得る。EXP3がいくつかの露光期間である実施形態では、これらは、連続し、できるだけ互いの直後に、かつできるだけEXP1の近くで後続し得る。

【0083】

もちろん、SP3はまた、t1とt3との間の測定物体位置における移動および変化を補正するために、センサー位置においてあるオフセットとともに選択され得るが、したがって、典型的には必要とされないようになる。概して、第2の主要サブグループと比較して、第1の主要サブグループによる実施形態では、より大きいオフセットが、SP1にマッピングする測定物体位置と、SP3にマッピングする測定物体位置との間で受け入れられる必要がある。

【0084】

いかなるオフセットも完全に除去する解決策は、たとえば、光三角測量において使用される相対移動を一時的に停止すること、たとえば、t1において停止し、t3において再度開始することによって、IM1とIM3との間で、測定物体220と画像センサー231との間の相対移動がないことを確実にすることである。しかしながら、このことは、典型的には、実際的な理由のために望ましくなく、典型的には、たとえば、既存の光三角測量システムを適合させることによって実装される場合、光三角測量システムスループットの低減も引き起こすことになる。

【0085】

図4Dは、ちょうど図4Aのように、実施形態の前記第1の主要サブグループに関し、単なる他の例である。

【0086】

示されているものは、図において第3のセンサー位置473-1c、473-2cによってそれぞれ例示された、SP3のための2つのセンサー位置SP3-1およびSP3-2が使用される一例である。これらは、好ましくは、SP1から同じ距離などにおいて、SP1の各側にある。示されているように、SP3-1 473-1cが、SP1から距離d1 475-1cのところにあり、SP3-2 473-2cが、SP1から距離d2 475-2cのところにある場合、d1はd2に等しくなり得るが、このことは必要ではない。取得された2D画像データは、SP3-1およびSP3-2からの2D画像データの平均として提供され得、これによって、特にSP1がSP3-1とSP3-2との間に配置されるとき、SP3のための2D画像データの関連性を向上させ得る。このことは、d、またはd1およびd2に対応するオフセットが、実施形態の第1の主要サブグループでは回避され得ないとき、第2の画像データをより関連させるために、SP1の両側の2つの近い位置からのSP3のための、第2の光に基づく、2D画像データのサンプリングおよび取得として見なされ得る。

【0087】

各側に1つなど、各SP1のための2つまたは複数のSP3を伴う原理はまた、もちろん、図4Dに示されたもの以外の他の第2の光分布とともに、たとえば、図4Aに示されているような、より平坦な第2の光分布とともに使用され得る。

【0088】

図4Aに示されているものと比較して、さらなる違いは、第2の光が、測定物体、たとえば、測定物体220上のより狭い光分布とともに、測定物体220を照明しているので、SP1における第2の光強度の寄与が少なくなり得ることである。図示の例では、光強度分布453cは、たとえば、2つの第2の光源の使用からによる、測定物体上の第1の光照明の各側の2つの狭い第2の光照明エリアに対応し得る。狭い光分布は、示されているように、図に示されているような第1の光と同様に狭くなり、第1の強度ピークSP1の各側などに最大値またはピークがあり得る。第2の光および第2の光強度分布は、第1の光211に対応する光線の各側の、測定物体、たとえば、測定物体220上の2つの光線または帯に対応し得る。このような実施形態は、第2の光が、実際には、SP3において第2の光照明を提供することのみが必要であることを利用することであると見なされ得る。図4Aにおけるものよりも狭い第2の光分布を用いると、SP1における第2の光の干渉を低減することが可能になり、依然としてSP3において十分な照明を提供することが可能になり得る。狭い第2の光分布を伴う図4Dのような実施形態では、第2の光の強度ピークがSP3において有利に提供され得、すなわち、その場合、SP3が、図示の例では、SP3-1およびSP3-2において選択される。これによって、図4Aの場合のような、より広い、かつより平坦な第2の光分布を伴う場合と比較して、より小さいdを伴い、それによって、SP1により関連する2D画像データを取得することを可能にし得る。たとえば、図4Aと比較して、I_DIFF(SP1)477cは、同じSP1のためのI_DIFF(SP1)477aよりも大きくなり得、I_DIFF(SP3-2)479cは、同じSP3のためのI_DIFF(SP3)479aよりも大きくなり得る。

【0089】

図5は、センサー位置SP1とSP3との間の差、および関与するセンサー位置がそれにマッピングする測定物体位置OP1とOP3との間の対応する差がある一例を概略的に示す。

【0090】

測定物体は、ここでは、実世界座標系x、y、zにおけるくさびのような形状をもつ測定物体520である。第1の光の光線512は、測定物体520上に示されている。第1の光は、上記の例の場合のようであり得る。光線512によって照明される第1の物体点(OP1)581をもつ、光線512の一部もカバーする、測定物体520上の表面エリアの拡大が示されている。OP1 581は、上記で説明され、ここではセンサー座標u、vにおいて示されている、そのようなSP1に対応する、第1のセンサー位置SP1 571にマッピングする。下のほうの図において、軸上のu、vとともに示されているものは、したがって、vにおける特定された第1の強度ピーク位置のみがすべてのuについて示される場合、光三角測量の一部として取られた画像IM、たとえば、IM1がセンサー座標においてどのように見え得るかである。したがって、実世界座標x、y、zにおける光線512にマッピングする、センサー座標u、vにおいて示された光強度ピーク位置線513がある。マッピングは、典型的には、たとえば、従来の光三角測量の場合のように、光三角測量のために使用される、所定の動作状態および関係から得られる。

【0091】

SP3が、SP1からの距離dにおいて、実施形態の第1のサブグループについて上記で説明されたように選択されるとき、SP3は、実際には、測定物体520上の他の点、たとえば、OP1 581から距離Δ585における第3の物体点OP3 583にマッピングする。光三角測量および強度ピーク位置SP1に関連して、SP3を選択するので、2D画像データが取得されるSP3位置が制御され得、すべてのSP3のためのすべての2D画像データが、それらのそれぞれのSP1までの同じ距離d、すなわち、オフセットで一貫して取得され得る。上記ですでに示されたように、すべてではないとしても、大部分の実際的適用例では、SP3における関連する2D画像データのために十分小さい距離dを可能にする、第2の光が提供され得る。また、距離dは、知られているので、これが望ましい場合、いくつかの適用例では、およびいくつかの状況において、少なくともある程度まで調整または補正され得る。

【0092】

しかしながら、いずれの場合も、できるだけ小さいdを伴うことが望ましいことがわかり、その理由は、このことが、Δもできるだけ小さくなり、したがって、OP2がOP1により近くなることを意味し、このことは、典型的には、SP3において取得された2Dデータが、SP1およびその対応するOP1により関連するようになることを意味するからである。言い換えれば、OP1を撮像する3D画像データは、OP1のためのより関連する2D画像データに関連付けられ得る。

【0093】

図において、センサー座標においてd_MAX579によって示され、2Dデータが3Dデータに関連すると見なされるための最大許容オフセットに対応する、所定の最大距離(d_MAX)があり得る。許容されると見なされ得るものは、たとえば、関与する撮像システムが光三角測量のためにどのように構成されているか、および2D画像データに関する要件など、適用例に固有である。d_MAXは、たとえば、所定の数のピクセルにおいて表され得る。d_MAXは、たとえば、図においてΔ_MAX589によって示されているような、実世界において相当する最大許容距離Δ_MAXに対応し得る。

【0094】

したがって、図2Aに関する方法に関連して上記で説明されたものなど、本明細書の実施形態では、前記第3のセンサー位置SP3は、第1の画像(IM1)と前記1つまたは複数の第3の画像(IM3)との間の測定物体、たとえば、測定物体220または520のいずれかの実世界移動のための調整を伴う、センサー座標における、それぞれの第3のセンサー位置(SP3)とそれぞれの第1のセンサー位置(SP1)との間のそれぞれの差(d)が、2D画像データが3D画像データに関連すると見なされるための適用例に固有の最大許容オフセット(application specific maximum allowed offset)に対応する、所定の最大距離、たとえば、d_MAX579内であるように選択され得る。

【0095】

「測定物体のいずれかの実世界移動のための調整を伴う」という部分は、実施形態の第2の主要サブグループ、すなわち、IM1およびIM2とは別個のIM3を伴うものに関し、その中で、図4B～図4Cに関して上記で開示されたように、典型的には、たとえば、IM1内のSP1とIM3内のSP3との間の測定物体の移動である。したがって、SP3=SP1であるときでも、IM3内のSP3は、IM1内のSP1と同じ物体位置にマッピングしないことがある。以上のことから、これもまたセンサー座標における差に対応することがわかる。IM3=IM1である、実施形態の第1の主要サブグループの場合、画像間に関与する実世界移動はない。

【0096】

図6A～図6Eは、本明細書の実施形態を行うように構成され得る、すなわち、本明細書の実施形態を実装するために使用され得る、様々な撮像システムの例を概略的に示す。システムは、特に、異なる第2の光が本明細書の実施形態のためにどのように提供され得るかについてのものである。示されている撮像システム例は、図2Bに関して上記で開示されたより一般的な撮像システム205のより詳細な例、変形態、および/または拡張と見なされ得る。したがって、以下では、撮像システム205と比較して異なる詳細、具体的には、第2の光、ならびにそれぞれの撮像システム例がどのように本明細書の実施形態をサポートするか、および/または本明細書の実施形態を実装するために使用され得るかに関してのみ、焦点が合わせられる。

【0097】

図6Aは、撮像システム205aを概略的に示し、ここで、第2の光源250aは、第1の光源210が第1の光211を提供しているのと実質的に同じ方向および場所から、第2の光251aを提供する。示されているように、提供される第2の光251aは、拡散光であり得る。

【0098】

したがって、図2Bに関して上記で説明された方法を参照すると、前記第2の光源は、第1の光源210が第1の光211を提供しているのと同じ方向および/または場所からの第2の光、たとえば、第2の光251aを提供する、少なくとも1つの光源、たとえば、250aを含み得る。

【0099】

撮像システム205aに基づく実施形態は、実装を容易にし、多数の適用例のために十分な第2の光照明を提供する。たとえば、第1の光源と第2の光源の両方をもつ単一の照明ユニットが提供および使用され得る。

【0100】

図6Bは、撮像システム205bを概略的に示し、ここで、第2の光源250bは、カメラ230および画像センサー231上の鏡面的な第2の光反射(specular second light reflection)、ならびにそれによって、第3のセンサー位置SP3上の照明を生じる、測定物体(220、520)、たとえば、その表面上の第2の光照明を引き起こす、角度θ252bによって定義された方向からの第2の光251bを提供する。

【0101】

したがって、図2Bに関して上記で説明された方法を参照すると、前記第2の光源は、第3のセンサー位置(SP3)のうちの少なくともいくつかを照明する鏡面的な第2の光反射を生じる、測定物体220上の第2の光照明を引き起こす、たとえば、252bによって定義された方向からの第2の光、たとえば、251bを提供する、少なくとも1つの光源、たとえば、250bを含み得る。

【0102】

望ましい鏡面的な第2の光反射を引き起こすために、撮像システム205bをセットアップするために、たとえば、第2の光源250bの好適な位置および方向を発見するために、鏡面的な第2の光反射は、第3のセンサー位置(SP3)にマッピングする測定物体位置において、すなわち、第1の光が測定物体を照明するところにおいてまたはその近くにあるべきであり、すなわち、鏡面反射は、第1の光、たとえば、レーザーが光三角測量中に測定物体を照明することになるところの場所において発生することを目的とされ得る。既知のオフセット、たとえば、SP3がSP1に対して配置されることになる所定の距離dがある場合、鏡面反射のための場所は、これを考慮に入れ得るが、それは、典型的には、物体位置における極めて小さい差を意味する。

【0103】

撮像システム205bに基づく実施形態は、測定物体、たとえば、検査するために重要な単一のまたは主要な平坦な表面をもつ測定物体の平坦な表面を検査可能であることが望ましいとき、特に有利であり得る。撮像システム205bは、反射光が画像センサー上のSP3上に来るように、第2の光源がそのような表面上に鏡面反射を引き起こすことになるように、セットアップされ得る。鏡面反射は、表面光沢変化に関する、ならびに/または極めて浅い表面変化、たとえば、スクラッチなどの損傷、およびそれらの向きについての画像情報をキャプチャするために、特に良好であり得る。実施形態を適用することによって、そのような変化は、測定物体表面のその他の明るい画像における暗さとして可視であり得る。

【0104】

図6Cは、撮像システム205cを概略的に示し、ここで、第2の光源250c-1および250c-2は、測定物体220の表面に沿った暗視野照明として、反対方向からの第2の光251c-1および251c-2を提供する。前記表面上にいずれかの突出部がある場合、これらは、第3のセンサー位置SP3を含む、カメラ230および画像センサー231を照明する第2の光反射を引き起こすことになる。

【0105】

図6Dは、第2の光251c'が複数の方向および側からの暗視野照明として提供され得るように、第2の光源または単一の第2の光源250c'がどのように測定物体220を囲むことができるかの上面図を概略的に示す。

【0106】

したがって、図2Bに関して上記で説明された方法を参照すると、前記第2の光源は、測定物体220の表面に沿った暗視野照明として、前記表面上のいずれかの照明された突出構造が、第3のセンサー位置(SP3)のうちの少なくともいくつかを照明する第2の光反射を引き起こすことになるように、第2の光、たとえば、251cを提供する、1つまたは複数の光源、たとえば、250cを含み得る。

【0107】

このような暗視野照明は、表面粗さ、または、もしあれば、表面粗さを生じる構造、たとえば、表面における隆起もしくはスクラッチによって引き起こされる粗さを特定するために、特に有利であり得る。暗視野照明を用いると、粗さを引き起こすいかなる構造も、典型的には、測定物体表面のその他の暗い画像における明るさとして可視である。

【0108】

図6Eは、撮像システム205eを概略的に示し、ここで、第2の光源250e-1および250e-2は、カメラ230および画像センサー231に向けて、2つの異なる角度で、たとえば、120度および90度で、第2の光251e-1および251e-2を提供する。第2の光は、代替的にまたは追加的に、反対方向、たとえば、図における左右からであり得る。

【0109】

より一般的には、図2Bに関して上記で説明された方法を参照すると、前記第2の光源は、第3のセンサー位置SP3のうちの少なくともいくつかを照明する第2の光反射を生じる、測定物体220上の第2の光照明を引き起こす、それぞれ、少なくとも2つの異なる方向、たとえば、252e-1、252e-2からの第2の光、たとえば、251e-1、251e-2を提供し得る。2つの方向は、表面向きが、たとえば、任意の従来のフォトメトリックステレオ方法を使用して推定され得るように、物体表面向きに対して異なり得る。

【0110】

さらに、図2Bに関して上記で説明された方法を参照すると、以下のようになる。

【0111】

本明細書の実施形態における前記第2の光は、第1の光と同じおよび/または異なる光波長のものであり得る。第2の光は、典型的には、可視光の1つまたは複数の波長を含むが、いくつかの実施形態では、紫外線(UV)光など、(人間の)視覚的な光の範囲の外側および/または近くの波長を含むか、またはそれに対応する。UVなどの非視覚的な光は、たとえば、いくつかの実施形態では、すなわち、測定物体が、その表面またはその一部を蛍光にする蛍光材料を含むとき、蛍光測定物体とともに使用され得る。そのような実施形態では、UV遮断フィルタが、少なくとも前記1つまたは複数の第3の露光期間中に、カメラとともに使用され得るので、測定物体からの蛍光のみが、前記1つまたは複数の第3の画像(IM3)内でキャプチャされるようになる。そのような実施形態では、蛍光材料、たとえば、測定物体表面上のそのようなものの存在は、前記1つまたは複数の第3の画像(IM3)内で明るく見える。すなわち、そのような実施形態では、反射された第2の光は、蛍光を発しながら、かつ波長をより少ないエネルギーをもつ波長に変化させながら、戻るように反射された光を意味する。

【0112】

いくつかの実施形態では、前記第2の光源、たとえば、第2の光源250a、または複数のそのような第2の光源、もしくは第2の光源250e-1、250e-2は、異なる波長の第2の光、たとえば、251a、または251e-1および251e-2を提供し、ここにおいて、測定物体220を照明する前記第2の光は、前記第3の露光期間361-3のうちの2つ以上の間で光波長において異なる。したがって、これらの実施形態は、複数の第3の露光期間(EXP3)とともに、および、したがって、実施形態の第2の主要サブグループとともに使用するためのものである。

【0113】

具体的には、異なる露光において異なる光波長を使用するが、代替的にまたは追加的に、異なる第3の露光期間中に異なる方向から提供された第2の光を伴う、複数の第3の露光期間(EXP3)および複数の第3の画像(IM3)は、測定物体から追加のまたはさらなる情報を抽出し、2D画像データにおける情報をキャプチャし、かつそれによって、本明細書の実施形態のために、この情報を光三角測量からの3D画像データに関連付けられるようにするために使用され得る。

【0114】

本明細書の実施形態における複数の第2の光源を用いると、第3の画像(IM3)のシーケンスを使用および提供することがさらに可能であり、ここで、たとえば、別個の第2の光源は、IM1とIM2との間の各第3の画像IM3のために使用され得る。それぞれのそのような第3の画像は、SP1の周囲から、拡散、鏡面、および暗視野反射率データをサンプリングし得る。

【0115】

反射された第2の光から、測定物体についてのさらなる情報を取得するために、前記1つまたは複数の第3の画像(IM3)内のSP3に対して複数の近隣の位置、たとえば、行から、画像データが取得され得る。このことは、たとえば、動き、すなわち、走査の方向において、光三角測量において使用されるよりも高いサンプリング密度で強度画像を作成することを可能にし、かつ/または、走査方向における分解能を失うことなしに、交互のサイクルにおいて、異なる照明タイプ、たとえば、鏡面的な照明と暗視野照明との間で交互にすることを可能にする。

【0116】

図7A～図7Bは、本明細書の実施形態の適用なしでおよびありで生成された2D画像データに基づく測定物体の例示的な画像を示す。図7Aは、たとえば、第1の光源110に対応する、レーザーである第1の光源が、測定物体の2D画像データを生成するために使用されたときの結果を示す。図7Bは、本明細書の実施形態の場合のような、LEDからの拡散光をもつ、たとえば、第2の光源250に対応する第2の光源が、同じ測定物体の2Dデータを生成するために使用されたときの結果を示す。最初の場合、図7Aでは、レーザースペックル効果が存在し、可視である。対照的に、図7Bでは、本明細書の実施形態に基づいて、レーザースペックル効果がない、はるかに改善された画像が示されている。

【0117】

図8A～図8Bは、本明細書の実施形態の適用なしでおよびありで生成された2D画像データに基づく測定物体の他の例示的な画像を示す。測定物体の撮像された表面は、半光沢に塗装されており、極めて小さいスクラッチの形態のいくつかの軽微な浅い損傷、およびわずかに「ギザギザの(rugged up)」エリアを有する。図8Aは、たとえば、第1の光源110に対応する、レーザーである第1の光源が、表面の2D画像データを生成するために使用されたときの結果を示し、すなわち、図8Aにおける画像は、第1の光反射率に基づく。図8Bは、本明細書の実施形態の場合のような、たとえば、第2の光源250に対応する第2の光源が使用されたときの結果を示す。具体的には、鏡面反射をもつ第2の光が、すなわち、図6Bに関して説明されたような本明細書の実施形態に基づいて使用された。言い換えれば、図8Bにおける画像は、第2の光鏡面反射率に基づく。

【0118】

わかるように、前記軽微な浅い損傷は、図8Aの画像がそれに基づく2D画像データによって可視でなく、十分にキャプチャされていないが、前記軽微な浅い損傷は、図8Bの画像がそれに基づく2D画像データによって明確に可視であり、したがって十分にキャプチャされている。

【0119】

図9は、図2Bに関して上記で説明された方法および/またはアクションを実行するためなど、本明細書の実施形態を実行するためにすでに上述されたデバイスに対応し得る、1つまたは複数のデバイス900、すなわち、デバイス900の実施形態を示すための概略ブロック図である。デバイス900は、たとえば、コンピューティングデバイス233および/もしくはカメラ230、または撮像システム205、205a～eのうちのいずれか1つなど、本明細書で開示される撮像システムのうちのいずれかに含まれる、かつ/またはそれを形成する好適なデバイスに対応し得る。

【0120】

概略ブロック図は、デバイス900が、図2Bに関して上記で説明された方法およびアクションを実行するように、どのように構成され得るかに関する実施形態を示すためのものである。したがって、デバイス900は、前記2D画像データを取得し、前記3D画像データに関連付けるためのものであり、3D画像データは、撮像システム、たとえば、撮像システム205、205a～eのうちのいずれか1つによって実行される光三角測量から生じる前記第1の強度ピーク位置に基づく。

【0121】

デバイス900は、処理手段、たとえば、プロセッサなどの1つもしくは複数の処理回路、回路構成を含む、1つもしくは複数のハードウェアモジュール、ならびに/または前記方法および/もしくはアクションを実行するための1つもしくは複数のソフトウェアモジュールなど、処理モジュール901を含み得る。

【0122】

デバイス900は、コンピュータプログラム903を、入れたまたは記憶するなどで、含み得るメモリ902をさらに含み得る。コンピュータプログラム903は、前記方法および/またはアクションを実行するために、デバイス900によって直接または間接的に実行可能な「命令」または「コード」を含む。メモリ902は、1つまたは複数のメモリユニットを含み得、本明細書の実施形態の機能およびアクションを実行することに関与するか、またはそれらを実行するための構成、データ、および/または値など、データを記憶するためにさらに配置され得る。

【0123】

さらに、デバイス900は、例示するハードウェアモジュールとして、データを処理すること、および、たとえば、符号化することに関与する処理回路構成904を含み得、1つまたは複数のプロセッサまたは処理回路を含むか、またはそれに対応し得る。処理モジュール901は、処理回路構成904を含み、たとえば、「その形態で具現化される」か、または「それによって実現され」得る。これらの実施形態では、メモリ902は、処理回路構成904によって実行可能なコンピュータプログラム903を含み得、それによって、デバイス900は、前記方法および/またはそのアクションを実行するために動作可能であるか、または構成される。

【0124】

典型的には、デバイス900、たとえば、処理モジュール901は、他のデバイスに情報を送信すること、および/または他のデバイスから情報を受信することなど、他のユニットおよび/またはデバイスへおよび/またはそれからの任意の通信に、たとえば、それを実行することによって関与するように構成された、入力/出力(I/O)モジュール905を含む。I/Oモジュール905は、適用可能であるとき、取得モジュール、たとえば、受信モジュール、および/または提供モジュール、たとえば、送信モジュールによって例示され得る。

【0125】

さらに、いくつかの実施形態では、デバイス900、たとえば、処理モジュール901は、本明細書の実施形態のアクションを行うための例示するハードウェアおよび/またはソフトウェアモジュールとして、照明モジュール、検知モジュール、選択モジュール、提供モジュール、取得モジュール、関連付けモジュールのうちの1つまたは複数を含む。これらのモジュールは、処理回路構成904によって完全にまたは部分的に実装され得る。

【0126】

したがって、以下のようになる。

【0127】

デバイス900、および/または処理モジュール901、および/または処理回路構成904、および/またはI/Oモジュール905、および/または照明モジュール、および/または検知モジュールは、前記1つまたは複数の第2の光で測定物体を照明し、前記1つまたは複数の第3の露光期間中に画像センサーによって、測定物体からのいずれかの反射された第2の光を検知するように動作可能であるか、または構成され得る。

【0128】

デバイス900、および/または処理モジュール901、および/または処理回路構成904、および/またはI/Oモジュール905、および/または選択モジュール、および/または提供モジュールは、第1の画像内のそれぞれの第1のセンサー位置SP1に対し、前記1つまたは複数の第3の画像内の前記それぞれの第3のセンサー位置SP3を選択し、前記1つまたは複数の第3の露光期間中に、測定物体からのいずれかの反射された第2の光が、選択された第3のセンサー位置SP3において、反射された第1の光よりも高い強度を生じることになるように、1つまたは複数の第2の光を用いる前記照明を提供するように動作可能であるか、または構成され得る。

【0129】

デバイス900、および/または処理モジュール901、および/または処理回路構成904、および/またはI/Oモジュール905、および/または取得モジュール、および/または関連付けモジュールは、前記1つまたは複数の第3の画像内の前記それぞれの第3のセンサー位置SP3の前記2D画像データを取得し、取得された2D画像データを、それぞれの第3のセンサー位置SP3がそれに対して選択された第1のセンサー位置SP1に関連付けるように動作可能であるか、または構成され得る。

【0130】

図10は、前記方法およびアクションを上記で説明された前記デバイス900に実行させるためのコンピュータプログラムおよびそのキャリアに関する、いくつかの実施形態を示す概略図である。

【0131】

コンピュータプログラムは、コンピュータプログラム903であり得、処理回路構成904および/または処理モジュール901によって実行されると、上記で説明されたようにデバイス900に実行させる命令を含む。いくつかの実施形態では、コンピュータプログラムを含むキャリア、またはより具体的にはデータキャリア、たとえば、コンピュータプログラム製品が提供される。キャリアは、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体、たとえば、図に概略的に示されているようなコンピュータ可読記憶媒体1001のうちの1つであり得る。したがって、コンピュータプログラム903は、コンピュータ可読記憶媒体1001上に記憶され得る。キャリアによって、一時的な伝搬信号が除外されることがあり、データキャリアは、対応して非一時的データキャリアと称されることがある。コンピュータ可読記憶媒体であるデータキャリアの非限定的な例は、メモリカードもしくはメモリスティック、CDもしくはDVDなどのディスク記憶媒体、または典型的にはハードドライブもしくはソリッドステートドライブ(SSD)に基づく大容量記憶デバイスである。コンピュータ可読記憶媒体1001は、コンピュータネットワーク1002、たとえば、インターネットまたはローカルエリアネットワーク(LAN)上でアクセス可能なデータを記憶するために使用され得る。コンピュータプログラム903は、純粋なコンピュータプログラムとしてさらに提供されるか、または1つもしくは複数のファイル内に含まれ得る。1つまたは複数のファイルは、コンピュータ可読記憶媒体1001上で記憶され、たとえば、サーバを介して、たとえば、図に示されているようなコンピュータネットワーク1002上で、たとえば、ダウンロードを通して利用可能であり得る。サーバは、たとえば、ウェブまたはファイル転送プロトコル(FTP)サーバであり得る。1つまたは複数のファイルは、たとえば、処理回路構成904による実行によって、上記で説明されたように前記デバイスに実行させるために、前記デバイスへの直接的または間接的なダウンロード、および前記デバイス上の実行のための、たとえば、実行可能ファイルであり得る。1つまたは複数のファイルはまた、または代替的に、同じまたは他のプロセッサが、さらなるダウンロードおよび実行前にファイルを実行可能にするために、上記で説明されたように前記デバイス900に実行させることを伴う、中間ダウンロードおよびコンパイルのためのものであり得る。

【0132】

上記で述べられた任意の処理モジュールおよび回路は、ソフトウェアおよび/もしくはハードウェアモジュールとして、たとえば、既存のハードウェアにおいて、ならびに/または特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)などとして実装され得ることに留意されたい。また、上記で述べられた任意のハードウェアモジュールおよび/または回路は、たとえば、単一のASICもしくはFPGA中に含まれ得るか、または個々にパッケージ化されるか、システムオンチップ(SoC)にアセンブルされるかにかかわらず、いくつかの別個のハードウェア構成要素の間で分散され得ることにも留意されたい。

【0133】

本明細書で説明されたモジュールおよび回路構成は、ハードウェアモジュール、ソフトウェアモジュール、アナログおよびデジタル回路、ならびに/または、1つもしくは複数のプロセッサによって実行されると、デバイス、センサーなどが上記で説明された方法およびアクションを実行するように構成されるように、および/もしくはそれを実行するようにさせ得る、たとえば、メモリ内に記憶された、ソフトウェアおよび/もしくはファームウェアとともに構成された、1つもしくは複数のプロセッサの組合せを指すことがあることも、当業者は諒解されよう。

【0134】

本明細書での任意の識別子による識別は、暗黙的または明示的であり得る。識別は、たとえば、あるコンピュータプログラムまたはプログラムプロバイダのための、あるコンテキストにおいて一意であり得る。

【0135】

本明細書で使用されるとき、「メモリ」という用語は、デジタル情報を記憶するためのデータメモリ、典型的には、ハードディスク、磁気ストレージ、媒体、ポータブルコンピュータディスケットまたはディスク、フラッシュメモリ、ランダムアクセスメモリ(RAM)などを指すことがある。さらに、メモリは、プロセッサの内部レジスタメモリであり得る。

【0136】

また、第1のデバイス、第2のデバイス、第1の表面、第2の表面などの任意の列挙する用語は、そのようなものとして非限定的であると見なされるべきであり、その用語は、そのようなものとして、ある階層的関係を暗示しないことにも留意されたい。反対に、いかなる明示的な情報もない場合、列挙による命名は、異なる名称を達成する方法にすぎないと見なされるべきである。

【0137】

本明細書で使用されるとき、「するように構成される」という表現は、処理回路が、ソフトウェアまたはハードウェア構成を用いて、本明細書で説明されるアクションのうちの1つまたは複数を実行するように構成または適合されることを意味し得る。

【0138】

本明細書で使用されるとき、「数」または「値」という用語は、2進数、実数、虚数、または有理数など、任意の種類の数字を指すことがある。さらに、「数」または「値」は、文字(letter)または文字列(string of letters)など、1つまたは複数の文字(character)であり得る。また、「数」または「値」は、ビット列によって表され得る。

【0139】

本明細書で使用されるとき、「あり得る(may)」および「いくつかの実施形態では」という表現は、典型的には、説明される特徴が、本明細書で開示される任意の他の実施形態と組み合わせられ得ることを示すために使用されている。

【0140】

図面では、いくつかの実施形態のみにおいて存在し得る特徴は、典型的には、点線または破線を使用して描かれている。

【0141】

「含む(comprise)」または「含む(comprising)」という語を使用するとき、その語は、非限定的である、すなわち、「少なくとも～からなる(consist at least of)」を意味するものと解釈されるべきである。

【0142】

本明細書の実施形態は、上記で説明された実施形態に限定されない。様々な代替形態、変更形態、および均等物が使用され得る。したがって、上記の実施形態は、添付の特許請求の範囲によって定義される、本開示の範囲を限定するものとして解釈されるべきではない。

【符号の説明】

【0143】

100 撮像システム、システム、測定システム
110 光源、第1の光源
111 特定の光パターン
112 光線、光
120 第1の測定物体、第1の物体、撮像された物体、物体
121 第2の測定物体、第2の物体
122 コンベヤベルト
123 座標系
130 カメラ、カメラユニット
141-1～141-N 輪郭画像
205 撮像システム、システム、デバイス
205a、205b、205c、205e 撮像システム
210 第1の光源
211 第1の光、反射された第1の光、検知された反射された第1の光
220、520 測定物体
230 カメラ、デバイス
231 画像センサー、画像プロセッサ
232 視野
233 コンピューティングデバイス、デバイス
250、250c'、250c-1、250c-2、250e-1、250e-2 第2の光源
250a、250b 第2の光源、光源
250c 光源
251 第2の光、反射された第2の光、検知された反射された第2の光、拡散する第2の光
251a、251b、251c、251c'、251c-1、251c-2、251e-1、251e-2 第2の光
252b 角度θ、方向
252e-1、252e-2 方向
340-1、340-1a、340-1b 第1の画像
340-2、340-2a、340-2b 第2の画像
340-3、340-3a、340-3b 第3の画像
361-1、361-1a、361-1b 第1の露光期間
361-2、361-2a、361-2b 第2の露光期間
361-3、361-3a、361-3b 第3の露光期間
363a、363b 時間期間
413 反射された第1の光
413a 第1の光強度分布、光強度分布
413b 第1の光強度分布
453 反射された第2の光
453a 第2の光強度分布、光強度分布
453b 第2の光強度分布
453c 光強度分布
471、571 第1のセンサー位置SP1、第1の強度ピーク位置
471a 強度ピーク位置、第1のセンサー位置
471b 第1のセンサー位置
473、573 第3のセンサー位置SP3
473a、473b 第3のセンサー位置
473-1c 第3のセンサー位置、SP3-1
473-2c 第3のセンサー位置、SP3-2
475、575 それぞれの差
475a 差
475-1c 距離d1
475-2c 距離d2
477a 光強度差、I_DIFF(SP1)
477c I_DIFF(SP1)
479a 光強度差、I_DIFF(SP3)
479c I_DIFF(SP3-2)
512 光線、第1の光
513 光強度ピーク位置線、反射された第1の光
579 d_MAX、所定の最大距離
581 第1の物体点(OP1)、OP1
583 第3の物体点OP3
585 距離Δ
589 Δ_MAX
900 デバイス
901 処理モジュール、プロセッサ
902 メモリ
903 コンピュータプログラム
904 処理回路構成、プロセッサ
905 入力/出力(I/O)モジュール、I/Oモジュール
1001 コンピュータ可読記憶媒体
1002 コンピュータネットワーク

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図6E】

【図7A】

【図7B】

【図8A】

【図8B】

【図9】

【図10】