知財求人 - 知財ポータルサイト「IP Force」
特開2024-80670光三角測量に基づく３次元撮像のための撮像システムの較正において使用するための実世界および画像センサー対応点の提供
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024080670
(43)【公開日】2024-06-13
(54)【発明の名称】光三角測量に基づく３次元撮像のための撮像システムの較正において使用するための実世界および画像センサー対応点の提供
(51)【国際特許分類】
G06T 7/70 20170101AFI20240606BHJP
G01B 11/24 20060101ALI20240606BHJP
【ＦＩ】
G06T7/70 Z
G01B11/24 K
【審査請求】有
【請求項の数】11
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023202843
(22)【出願日】2023-11-30
(31)【優先権主張番号】22211198
(32)【優先日】2022-12-02
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】504048696
【氏名又は名称】シック アイヴィピー エービー
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ダニエル・リードシュトレム
【テーマコード（参考）】
2F065
5L096
【Ｆターム（参考）】
2F065AA06
2F065AA53
2F065DD00
2F065FF09
2F065FF61
2F065GG04
2F065JJ03
2F065JJ26
5L096AA09
5L096BA05
5L096FA06
5L096FA32
5L096FA67
5L096FA69
(57)【要約】 （修正有）
【課題】光三角測量に基づく3次元撮像のための撮像システムの較正において使用するための実世界および画像センサー対応点のペアの提供方法並びにデバイスを提供する。
【解決手段】実世界点５２９－１は、第１の実世界線５２７ａと第２の実世界線５２７ｂとの間の第１の仮想交差部として提供される。画像センサー点５５４－１は、第１の画像線と第２の画像線との間の第２の仮想交差部として提供される。撮像システムによる第１の画像は、第１の実世界線を撮像するキャプチャされた光を備え、撮像システムによる第２の画像は、第２の実世界線を撮像するキャプチャされた光を備える。第１の画像線５５２ａは、第１の画像内のキャプチャされた光の強度ピークの位置に対応し、第２の画像線５５２ｂは、第２の画像内のキャプチャされた光の強度ピークの位置に対応する。
【選択図】図５Ｇ
【解決手段】実世界点５２９－１は、第１の実世界線５２７ａと第２の実世界線５２７ｂとの間の第１の仮想交差部として提供される。画像センサー点５５４－１は、第１の画像線と第２の画像線との間の第２の仮想交差部として提供される。撮像システムによる第１の画像は、第１の実世界線を撮像するキャプチャされた光を備え、撮像システムによる第２の画像は、第２の実世界線を撮像するキャプチャされた光を備える。第１の画像線５５２ａは、第１の画像内のキャプチャされた光の強度ピークの位置に対応し、第２の画像線５５２ｂは、第２の画像内のキャプチャされた光の強度ピークの位置に対応する。
【選択図】図５Ｇ
【特許請求の範囲】
【請求項1】
光三角測量に基づく3次元撮像のための撮像システム(405)の較正において使用するための実世界および画像センサー対応点のペアの提供のための、1つまたは複数のデバイス(405、430、434、900)によって実行される方法であって、前記撮像システムが、画像センサー(431)を有するカメラ(430、530)と、光平面(411、511)を提供するための光源(410、510)とを備え、前記光三角測量が、前記光平面(411、511)が表面と交差すること、およびそれによって表面からの反射を引き起こすことから生じる反射光の、前記カメラによる撮像を伴い、前記対応点が、前記光平面(411、511)内に位置する実世界点(514-1、529-1)と、前記実世界点(514-1、529-1)が前記撮像システム(405)によって前記画像センサー(431)上で撮像されるところに対応する、画像センサー点(544-1、554-1)とであり、前記方法が、
第1の実世界線(512a、527a)と第2の実世界線(512b、527b)との間の第1の仮想交差部として、前記実世界点(514-1、529-1)を提供するステップ(801)であって、
前記第1の実世界線(512a、527a)が、第1の実表面(521a、526a)と前記光平面(511)との間の第1の実交差部に対応し、前記第1の実交差部からの反射光が、第1の画像(540a、550a)内で前記撮像システム(405)によってキャプチャされ、
前記第2の実世界線(512b、527b)が、第2の実表面(521b、526b)と前記光平面(411、511)との間の第2の実交差部に対応し、前記第2の実交差部からの反射光が、別の第2の画像(540b、550b)内で前記撮像システム(405)によってキャプチャされる、ステップと、
前記第1の画像(540a、550a)内の前記キャプチャされた光の強度ピークの位置に対応する第1の画像線(542a、552a)と、前記第2の画像(540b、550b)内の前記キャプチャされた光の強度ピークの位置に対応する第2の画像線(542b、552b)との間の、第2の仮想交差部として、前記画像センサー点(544-1、554-1)を提供するステップ(802)と
を特徴とする方法。
第1の実世界線(512a、527a)と第2の実世界線(512b、527b)との間の第1の仮想交差部として、前記実世界点(514-1、529-1)を提供するステップ(801)であって、
前記第1の実世界線(512a、527a)が、第1の実表面(521a、526a)と前記光平面(511)との間の第1の実交差部に対応し、前記第1の実交差部からの反射光が、第1の画像(540a、550a)内で前記撮像システム(405)によってキャプチャされ、
前記第2の実世界線(512b、527b)が、第2の実表面(521b、526b)と前記光平面(411、511)との間の第2の実交差部に対応し、前記第2の実交差部からの反射光が、別の第2の画像(540b、550b)内で前記撮像システム(405)によってキャプチャされる、ステップと、
前記第1の画像(540a、550a)内の前記キャプチャされた光の強度ピークの位置に対応する第1の画像線(542a、552a)と、前記第2の画像(540b、550b)内の前記キャプチャされた光の強度ピークの位置に対応する第2の画像線(542b、552b)との間の、第2の仮想交差部として、前記画像センサー点(544-1、554-1)を提供するステップ(802)と
を特徴とする方法。
【請求項2】
前記第1の実表面(521a、526a)および前記第2の実表面(521b、526b)が、パラメトリック曲面である、請求項1に記載の方法。
【請求項3】
前記第2の実表面(521b、526b)が、前記第2の画像(540b、550b)内でキャプチャされた前記反射光を引き起こすとき、前記第1の実表面(521a、526a)が前記第1の画像(540a、550a)内でキャプチャされた前記反射光を引き起こしたときの、前記第1の実表面(521a、526a)の位置および向きに対して決定された位置および向きを有する、請求項1から2のいずれか一項に記載の方法。
【請求項4】
前記第1および第2の実表面(521a～b、526a～b)が、単一の較正物体(420、520、525)の表面である、請求項1から3のいずれか一項に記載の方法。
【請求項5】
前記第1の実表面(521a、526a)が前記第1の画像(540a、550a)内の前記撮像のために前記光平面(511)と交差するところから、前記第2の実表面(521b、526b)が前記第2の画像(540b、550b)内の前記撮像のために前記光平面(511)と交差する別の位置に、前記較正物体(520、525)が位置を変更するように、前記第1および第2の画像(540a～b、550a～b)の間の前記較正物体(420、520、525)の位置変更がある、請求項4に記載の方法。
【請求項6】
前記第1および第2の実表面(526a～b)が、前記単一の較正物体(525)の別個の表面である、請求項5に記載の方法。
【請求項7】
前記位置変更が、前記較正物体(525)が撮像されるときにその上に載っている支持表面に沿った、前記較正物体(525)の移動を備える、請求項6に記載の方法。
【請求項8】
前記第1および第2の実表面(521a～b)が、前記単一の較正物体(520)の1つのかつ同じ実表面であり、前記位置変更が、前記第1の実世界線(512a)が形成されるときの前記光平面(511)内の前記同じ実表面の向きとは異なる、前記第2の実世界線(512b)が形成されるときの前記光平面(511)内の向きを、前記同じ実表面が有するように、前記同じ実表面が前記第1および第2の画像(540a～b)の間で傾斜されることを備える、請求項5に記載の方法。
【請求項9】
光三角測量に基づく3次元撮像のための撮像システム(405)の較正において使用するための実世界および画像センサー対応点のペアの提供のための、1つまたは複数のデバイス(405、430、434、900)であって、前記撮像システムが、画像センサー(431)を有するカメラ(430、530)と、光平面(411、511)を提供するための光源(410、510)とを備え、前記光三角測量が、前記光平面(411、511)が表面と交差すること、およびそれによって表面からの反射を引き起こすことから生じる反射光の、前記カメラによる撮像を伴い、前記対応点が、前記光平面(411、511)内に位置する実世界点(514-1、529-1)と、前記実世界点(514-1、529-1)が前記撮像システム(405)によって前記画像センサー(431)上で撮像されるところに対応する、画像センサー点(544-1、554-1)とであり、前記1つまたは複数のデバイスが、
第1の実世界線(512a、527a)と第2の実世界線(512b、527b)との間の第1の仮想交差部として、前記実世界点(514-1、529-1)を提供することであって、
前記第1の実世界線(512a、527a)が、第1の実表面(521a、526a)と前記光平面(511)との間の第1の実交差部に対応し、前記第1の実交差部からの反射光が、第1の画像(540a、550a)内で前記撮像システム(405)によってキャプチャされ、
前記第2の実世界線(512b、527b)が、第2の実表面(521b、526b)と前記光平面(411、511)との間の第2の実交差部に対応し、前記第2の実交差部からの反射光が、別の第2の画像(540b、550b)内で前記撮像システム(405)によってキャプチャされる、前記提供することと、
前記第1の画像(540a、550a)内の前記キャプチャされた光の強度ピークの位置に対応する第1の画像線(542a、552a)と、前記第2の画像(540b、550b)内の前記キャプチャされた光の強度ピークの位置に対応する第2の画像線(542b、552b)との間の、第2の仮想交差部として、前記画像センサー点(544-1、554-1)を提供することと
を行うように構成される、1つまたは複数のデバイス(405、430、434、900)。
第1の実世界線(512a、527a)と第2の実世界線(512b、527b)との間の第1の仮想交差部として、前記実世界点(514-1、529-1)を提供することであって、
前記第1の実世界線(512a、527a)が、第1の実表面(521a、526a)と前記光平面(511)との間の第1の実交差部に対応し、前記第1の実交差部からの反射光が、第1の画像(540a、550a)内で前記撮像システム(405)によってキャプチャされ、
前記第2の実世界線(512b、527b)が、第2の実表面(521b、526b)と前記光平面(411、511)との間の第2の実交差部に対応し、前記第2の実交差部からの反射光が、別の第2の画像(540b、550b)内で前記撮像システム(405)によってキャプチャされる、前記提供することと、
前記第1の画像(540a、550a)内の前記キャプチャされた光の強度ピークの位置に対応する第1の画像線(542a、552a)と、前記第2の画像(540b、550b)内の前記キャプチャされた光の強度ピークの位置に対応する第2の画像線(542b、552b)との間の、第2の仮想交差部として、前記画像センサー点(544-1、554-1)を提供することと
を行うように構成される、1つまたは複数のデバイス(405、430、434、900)。
【請求項10】
1つまたは複数のプロセッサ(904)によって実行されるとき、1つまたは複数のデバイス(405、430、434、900)に、請求項1から8のいずれか一項に記載の方法を実行させる命令を備える、コンピュータプログラム(903)。
【請求項11】
請求項10に記載のコンピュータプログラム(903)を備える担体であって、前記担体が、電子信号、光信号、無線信号、またはコンピュータ可読記憶媒体(1001)のうちの1つである、担体。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書の実施形態は、光三角測量(light triangulation)に基づく3次元(3D)撮像のための撮像システムの較正において使用するための実世界および画像センサー対応点の提供に関する。
【背景技術】
【0002】
ファクトリーおよびロジスティックオートメーションのための産業用ビジョンカメラおよびシステムは、3次元(3D)マシンビジョンに基づくものであり得、そこで、シーンおよび/または物体の3D画像がキャプチャされる。3D画像という表現は、従来の画像の場合のような2次元(2D)のみにおけるピクセルに関する情報、たとえば、強度および/または色ではなく、または少なくともそれのみでなく、「高さ」または「深度」情報も備える画像のことを指す。すなわち、画像の各ピクセルは、ピクセルの位置に関連付けられ、かつ撮像されたもの、たとえば、物体の位置にマッピングする、情報を備え得る。次いで、3D画像から物体の特性、すなわち、物体の3D特性についての情報を抽出し、たとえば、様々な3D画像フォーマットに変換するために、処理が適用され得る。高さについてのそのような情報は、範囲データと呼ばれることがあり、そこで、範囲データは、したがって、撮像されている物体の高さ測定値からの、または言い換えれば、物体の範囲もしくは距離測定値からのデータに対応し得る。代替または追加として、ピクセルは、たとえば、撮像されるエリア内の光の散乱、または光の特定の波長の反射などに関する、材料特性についての情報を備え得る。
【0003】
したがって、ピクセル値は、たとえば、ピクセルの強度、および/または範囲データ、および/または材料特性に関し得る。
【0004】
たとえば、画像データを一度に1本のピクセル線ずつ検知および提供するように構成されたセンサーをもつカメラによって、画像の画像データが一度に1本の線ずつ走査または提供されるとき、ライン走査画像データが生じる。ライン走査画像の特殊な場合は、いわゆる「光のシート(sheet of light)」、たとえば、レーザー線、3D三角測量によって提供される画像データである。レーザーが好ましいことが多いが、「光のシート」、すなわち、光平面を提供することができる他の光源、たとえば、集束し続ける、あまり広がらない光、または言い換えれば、「構造化」される光、たとえば、レーザーもしくは発光ダイオード(LED)によって提供される光を提供することができる光源も使用され得る。
【0005】
3Dマシンビジョンシステムは、光三角測量に基づくことが多い。そのようなシステムでは、たとえば、物体上に光またはレーザー線を生じ、かつそれに沿って、物体の輪郭に対応する物体の線3D特性がキャプチャされ得る、特定の光パターンとしての光のシートなど、特定の光パターンを用いて物体を照明する光源がある。線および/または物体の移動を伴う、そのような線を用いて物体を走査すること、すなわち、ライン走査を実行することによって、物体全体の3D特性が、複数の輪郭に対応してキャプチャされ得る。
【0006】
三角測量のための光のシートを使用する3Dマシンビジョンシステムまたはデバイスは、光、もしくは光平面、三角測量、またはレーザー光が使用されるときは単にレーザー三角測量に基づく、3D撮像のためのシステムまたはデバイスと呼ばれることがある。
【0007】
典型的には、光三角測量に基づいて、3D画像を作り出すために、撮像されることになる物体からの反射光が、カメラの画像センサーによってキャプチャされ、強度ピークが画像データ内で検出される。ピークは、物体から反射された、たとえば、レーザー線に対応する、入射光がある、撮像された物体上のロケーションに対応する位置において発生する。検出されたピークの画像内の位置は、ピークを生じる光がそこから反射された物体上の位置にマッピングすることになる。
【0008】
レーザー三角測量カメラシステム、すなわち、光がレーザー光である光三角測量に基づく撮像システムは、物体上にレーザー線を投影して、対象物体の表面からの高さプロファイルを作成する。関与するカメラおよび光源に対して物体を移動させることによって、物体の異なる部分からの高さプロファイルについての情報が画像によってキャプチャされ、次いで、システムの関連するジオメトリの知識とともに組み合わせられ、使用されて、物体の3次元表現が作り出され得、すなわち、3D画像データが提供される。この技法は、光、典型的にはレーザー線が物体上に投影され、物体によって反射されるときの、光、典型的にはレーザー線の画像の獲得、および次いで、画像からの、反射されたレーザー線の位置の抽出として説明されることがある。このことは、たとえば、従来のピーク発見アルゴリズムを使用することによって、画像フレーム内で強度ピークの位置を特定することによって、正常に達成される。必要ではないが、典型的には、撮像システムは、反射光に関する強度ピークがセンサーの列ごとに発生し、予想されるべきであり、かつ列内の位置が高さまたは深度にマッピングするように、セットアップされる。
【0009】
従来、光平面内の、かつ、たとえば、レンズひずみおよび視点の効果を含む測定誤差を補正する、画像センサー較正が実行される。これらの誤りが補正されたとき、たとえば、光源の配置によってもたらされたスキューイングひずみも補正され得る。座標系もまた、典型的には、較正中に何らかの基準に整合される。
【0010】
光三角測量に基づく撮像システムの較正は、たとえば、画像センサー座標における画像センサーデータを実世界座標に変換可能にするために、関係を発見することを伴う。言い換えれば、較正は、画像センサー座標と実世界座標との間の関係を提供することに関する。
【0011】
較正からの関係は、典型的には、カメラおよび光源がセットアップまたは変更される、たとえば、互いに対する位置の変更、視野の変更などのたびに、確立される必要がある。言い換えれば、較正は、撮像システムのセットアップの後、またはセットアップとともに、および撮像システムが通常作動において使用される前に行われる。
【0012】
較正中に、ジオメトリおよび寸法など、あらかじめ決定された、かつ知られている特性をもつ較正物体が撮像され、前記関係を確立するために利用される。次いで、確立された関係は、たとえば、撮像システムを構成するために使用されるので、物体が、通常作動中に撮像システムによって撮像されるとき、物体の実際および現実の寸法などに従って、物体のより良い、より正しい3D表現が可能にされ、提供され得るようになる。言い換えれば、較正後、測定物体における撮像および測定中に、測定物体を撮像する画像内の画像センサー座標から、測定物体のための対応する世界座標を得ることが可能である。
【0013】
較正は、画像センサー座標における、光三角測量に基づく3D撮像システムからのひずんだ生の測定値を、補正された実世界座標に変換することができる、モデルまたはルックアップテーブルを提供、たとえば、算出するために使用され得る。別の言い方では、較正は、画像センサー座標と実世界座標との間のマッピングを発見すること、すなわち、画像センサー座標空間から実世界座標空間への変換を発見することに関するということである。一般に、そのような変換は、レンズひずみアーティファクトのために、およびライトフィールド、典型的には、レーザー場または平面のために線形ではなく、そのフィールド内のカメラ視野は、わずかにひずんだ多角形に対応する。
【0014】
レーザー三角測量などの光三角測量に基づく、正確に較正された3D撮像システムは、較正がそれに基づく基準測定値を必要とする。厳密な較正方法とは無関係に、較正の品質は、基準測定値を取得することができる際の正確さよりも精密であり得ず、これらは、較正物体、および基準測定がどのように実行されるかに依存する。従来の手法は、あらかじめ決定された、かつ知られている特性、たとえば、ジオメトリ、および寸法をもつ較正物体を撮像し、次いで、画像内で、知られている実世界座標を用いて、較正物体のいくつかの基準特徴の撮像から生じるいくつかの基準点を特定することである。そのような基準特徴の例は、基準物体上のドット、較正物体の表面の交差部、較正物体の頂点などである。基準特徴は、画像内で直接的に特定可能であり、かつ/または、たとえば、頂点を発見するために、画像内の線の外挿および/もしくは交差部から計算することが可能であり得る。画像内、およびしたがって画像センサー座標における基準特徴の特定とともに、その後、画像センサー座標における基準特徴と実世界座標における基準特徴との間のマッピングを提供することが可能であり、そのことが、上述のように、基本的に較正が関することである。
【0015】
従来技術の較正物体例は、鋸歯形の対象である。鋸歯の表面間の交差部、すなわち、谷および頂点が、画像内の線交差部として特定可能である。したがって、前記谷および頂点が基準特徴として使用され得、画像センサー座標と実世界座標との間のマッピングがこれから決定され得ることを了解されたい。別のタイプの従来技術の較正物体は、高さ変動を提供するために、くさび形を有し、くさび表面上の基準特徴としてドットを有する。
【0016】
D. Rydstrom、「Calibration of Laser Triangulating Cameras in Small Fields of View」、Dissertation、2013、ISRN: LiTH-ISY-EX-13/4669-SE、DiVA、id: diva2:630377は、レーザー三角測量のための較正に関する方法についての論文著作物であり、また、他の従来技術についての情報、たとえば、前記鋸歯較正物体を開示している。
【0017】
要約すれば、光三角測量システムのための従来技術の較正は、正確に製造された較正対象に依拠し、表面の交差部、頂点、ドットなどの基準特徴に対応する、画像センサー座標における基準点を特定するために、較正物体の基準特徴の撮像および正確な測定を必要とする。
【先行技術文献】
【非特許文献】
【0018】
【非特許文献1】D. Rydstrom、「Calibration of Laser Triangulating Cameras in Small Fields of View」、Dissertation、2013、ISRN: LiTH-ISY-EX-13/4669-SE、DiVA、id: diva2:630377
【発明の概要】
【発明が解決しようとする課題】
【0019】
上記に鑑みて、本発明の目的は、光三角測量に基づく3D撮像システムの較正に関する、1つまたは複数の改善または代替形態を提供することなど、従来技術の1つまたは複数の改善または代替形態を提供することである。
【課題を解決するための手段】
【0020】
本明細書の実施形態の第1の態様によれば、この目的は、光三角測量に基づく3次元撮像のための撮像システムの較正において使用するための実世界および画像センサー対応点のペアの提供のための、1つまたは複数のデバイスによって実行される方法によって達成される。前記撮像システムは、画像センサーをもつカメラと、光平面を提供するための光源とを備える。前記光三角測量は、前記光平面が表面と交差すること、およびそれによって表面から反射を引き起こすことから生じる反射光の、前記カメラによる撮像を伴う。前記対応点は、前記光平面内に位置する実世界点と、前記実世界点が撮像システムによって画像センサー上で撮像されるところに対応する、画像センサー点とである。
【0021】
前記実世界点は、第1の実世界線と第2の実世界線との間の第1の仮想交差部として提供される。前記第1の実世界線は、第1の実表面(real surface)と光平面との間の第1の実交差部(real intersection)に対応し、前記第1の実交差部からの反射光が、第1の画像内で撮像システムによってキャプチャされる。前記第2の実世界線は、第2の実表面と光平面との間の第2の実交差部に対応し、前記第2の実交差部からの反射光が、別の、第2の、画像内で撮像システムによってキャプチャされる。
【0022】
前記画像センサー点は、第1の画像内の前記キャプチャされた光の強度ピークの位置に対応する第1の画像線と、第2の画像内の前記キャプチャされた光の強度ピークの位置に対応する第2の画像線との間の、第2の仮想交差部として提供される。
【0023】
本明細書の実施形態の第2の態様によれば、この目的は、光三角測量に基づく3次元撮像のための撮像システムの較正において使用するための実世界および画像センサー対応点のペアの提供のための、1つまたは複数のデバイス、すなわち、デバイスによって達成される。前記撮像システムは、画像センサーをもつカメラと、光平面を提供するための光源とを備える。前記光三角測量は、前記光平面が表面と交差すること、およびそれによって表面から反射を引き起こすことから生じる反射光の、前記カメラによる撮像を伴う。前記対応点は、前記光平面内に位置する実世界点と、前記実世界点が撮像システムによって画像センサー上で撮像されるところに対応する、画像センサー点とである。
【0024】
前記デバイスは、第1の実世界線と第2の実世界線との間の第1の仮想交差部として、前記実世界点を提供するように構成される。前記第1の実世界線は、第1の実表面と光平面との間の第1の実交差部に対応し、前記第1の実交差部からの反射光が、第1の画像内で撮像システムによってキャプチャされる。前記第2の実世界線は、第2の実表面と光平面との間の第2の実交差部に対応し、前記第2の実交差部からの反射光が、別の、第2の、画像内で撮像システムによってキャプチャされる。
【0025】
前記デバイスは、第1の画像内の前記キャプチャされた光の強度ピークの位置に対応する第1の画像線と、第2の画像内の前記キャプチャされた光の強度ピークの位置に対応する第2の画像線との間の、第2の仮想交差部として、前記画像センサー点を提供するようにさらに構成される。
【0026】
本明細書の実施形態の第3の態様によれば、この目的は、1つまたは複数のプロセッサによって実行されるとき、1つまたは複数のデバイスに、第1の態様による方法を実行させる命令を備える、1つまたは複数のコンピュータプログラムによって達成される。
【0027】
本明細書の実施形態の第4の態様によれば、この目的は、第3の態様によるコンピュータプログラムを備える担体によって達成される。
【0028】
したがって、画像センサー点に対応する第2の仮想交差部は、別個の画像内の、すなわち、画像センサーの異なる露光からの画像センサー線の間にある。このことは、たとえば、物理的交差部および点からの物理的較正点が単一の画像によってキャプチャされる、光三角測量に基づく物体の3D撮像のための撮像システムの較正に関する従来技術と比較され得る。
【0029】
本明細書の実施形態の場合のように、表面および仮想交差部を使用する利点は、従来技術の較正が依拠する較正物体上の物理的交差部および点など、基準特徴に関連する悪影響が回避され得ることである。たとえば、背景技術において述べたものなど、従来技術における基準特徴は、画像収集手順から生じる様々な不要な再構成アーティファクトまたは他のバイアスに関連することが多い。たとえば、測定を妨げる、谷における反射に関する問題があり得る。また、製造の制限のために、物理的ピークなどの基準特徴は、望ましい程度に鋭いものとして提供されることが可能でないことがあり、たとえば、丸みを帯びて提供されることが可能であり得る。抽出問題とは別に、レンズひずみも存在することが多く、それによって、ピークおよび谷を正確に外挿することが難しくなる。基準特徴としてのドットの場合、強度情報の使用は、ドットにおける三角測量アーティファクトにつながることがあり、それによって、深度コンテンツが、ちょうど測定することが望ましいところで、特に不安定になり得る。このことは、平均化によって処理され得るが、平均化は、前記外挿と同様の問題を有する。
【0030】
したがって、この種類の問題は、本明細書の実施形態のおかげで回避され得る。また、製造することがより簡単かつより容易な較正物体が使用され得る。
【0031】
したがって、本明細書の実施形態は、従来技術に勝る改善を提供する。
【0032】
本明細書の実施形態の例については、以下で簡単に説明する添付の概略図を参照しながら、より詳細に説明する。
【図面の簡単な説明】
【0033】
【図1】従来技術タイプの撮像システムの一例を概略的に示す図である。
【図2】較正が対処する必要があり得る変換を概略的に示すための図である。
【図3A】従来技術の鋸歯形の較正物体に関する一例を概略的に示す図である。
【図3B】従来技術の鋸歯形の較正物体に関する一例を概略的に示す図である。
【図3C】従来技術の鋸歯形の較正物体に関する一例を概略的に示す図である。
【図4】本明細書の実施形態がそれとともに実行され得、かつ/または本明細書の実施形態を実行するように完全にもしくは部分的に構成され得る、撮像システムの一例を概略的に示す図である。
【図5A】2つの異なる光平面交差部を達成するために、単一の表面が使用される、本明細書の一実施形態を概略的に示し、例示するための図である。
【図5B】2つの異なる光平面交差部を達成するために、単一の表面が使用される、本明細書の一実施形態を概略的に示し、例示するための図である。
【図5C】2つの異なる光平面交差部を達成するために、単一の表面が使用される、本明細書の一実施形態を概略的に示し、例示するための図である。
【図5E】2つの異なる光平面交差部を達成するために、2つの異なる表面が使用される、本明細書の一実施形態を概略的に示し、例示するための図である。
【図5F】2つの異なる光平面交差部を達成するために、2つの異なる表面が使用される、本明細書の一実施形態を概略的に示し、例示するための図である。
【図5G】図5A～図5Bにおいて例示された実施形態の場合のように、図5E～図5Fにおいて例示された実施形態の場合に対応する方法において、仮想交差部および較正点が達成され得ることを概略的に示す図である。
【図6A】複数の較正点が本明細書の実施形態に基づいてどのように達成され得るかを概略的に示し、例示する図である。
【図6B】複数の較正点が本明細書の実施形態に基づいてどのように達成され得るかを概略的に示し、例示する図である。
【図6C】複数の較正点が本明細書の実施形態に基づいてどのように達成され得るかを概略的に示し、例示する図である。
【図7】本明細書のいくつかの実施形態による方法の実施形態を概略的に示すためのフローチャートである。
【図8】本明細書の実施形態による方法に関するフローチャートである。
【図10】コンピュータプログラムおよびその担体に関する、いくつかの実施形態を示す概略図である。
【発明を実施するための形態】
【0034】
本明細書の実施形態は、例示的な実施形態である。これらの実施形態は、必ずしも相互排他的であるとは限らないことに留意されたい。ある実施形態からの構成要素は、別の実施形態において存在することが暗に仮定されることがあり、それらの構成要素が他の例示的な実施形態においてどのように使用され得るかは、当業者には明らかになる。
【0035】
図1は、背景技術において述べたようなタイプの撮像システムの一例、すなわち、光三角測量、すなわち、測定物体の3D特性についての情報をキャプチャするための撮像に基づく、3Dマシンビジョン、または単に3D撮像のための撮像システム105を概略的に示す。システム105は、図では、通常作動の状況において、すなわち、典型的には較正が実行された後に示されており、したがって、システムが較正されている。システム105は、本明細書の実施形態がその較正において関与するなど、その較正に関して使用または適用され得る、システムの例である。システム105は、ここでは、背景技術において述べたように光のシート、すなわち、光平面を使用して、光三角測量を実行するように構成される。システム105は、図では光平面111として例示および図示された、特定の光パターンを用いて撮像されることになる測定物体を照明するための光源110、たとえば、レーザーをさらに備える。光はレーザー光であり得るが、そうである必要はない。示された例では、対象物体は、車の形態における第1の測定物体120、および歯車構造の形態における第2の測定物体121によって例示される。特定の光パターン、たとえば、光平面111が物体上に入射するとき、これは、特定の光パターン、たとえば、光平面111が物体と交差するときに見られ得る、物体上の特定の光パターンの投影に対応する。たとえば、示された例では、光平面111は、第1の測定物体120上の光線112を生じる。特定の光パターン、たとえば、光平面111は、物体によって、より詳細には、交差部における、すなわち、示された例では光線112における物体の部分によって反射される。システム105は、画像センサー(図1に図示せず)を備えるカメラ130をさらに備える。カメラおよび画像センサーは、特定の光パターンが物体によって反射されると、画像センサー上で入射光になるように、光源110および撮像されることになる物体に対して配置される。画像センサーは、典型的にはチップとして実装され、入射光を画像データに変換するためのものである。反射によって画像センサー上で前記入射光を引き起こす、物体の前記部分は、それによってカメラ130および画像センサーによってキャプチャされ得、対応する画像データが作り出され、さらなる使用のために提供され得る。たとえば、示された例では、光平面111は、第1の測定物体120の車の屋根の部分上の光線112において、カメラ130および画像センサーに向かって反射されるようになり、カメラ130および画像センサーは、それによって画像データを作り出し、車の屋根の前記部分についての情報とともに提供し得る。システム105の、ジオメトリを含むセットアップ、たとえば、画像センサー座標がどのように、撮像されている物体およびそのコンテキストに関連する座標系123の座標、たとえば、デカルトなどの実世界座標に関係するかの知識を用いて、画像データは、好適なフォーマットにおいて、撮像されている物体の3D特性、たとえば、3D形状または輪郭についての情報に変換され得る。前記3D特性、たとえば、前記3D形状または輪郭についての情報は、任意の好適なフォーマットにおいて3D特性を表すデータを備え得る。上記で説明したように、較正は、画像センサー座標がどのように実世界座標に関するかを見つけ出すことに関する。
【0036】
たとえば、物体の複数の部分が照明され、かつ実際には、典型的には物体を走査することによって、画像センサー上に反射光を引き起こすように、光源110、および/または第1の測定物体120もしくは第2の物体121など、撮像されることになる物体を移動させることによって、物体のより完全な3D形状を表す画像データが作り出され得、たとえば、第1の測定物体120の示されている輪郭画像141-1～141-Nなど、物体の複数の連続する輪郭に対応するものであり、そこで、それぞれの輪郭画像は、カメラ130の画像センサーが、それぞれの輪郭画像を生じる光を検知したとき、光平面111が反射されたところの、第1の物体120の外形を示す。図に示されているように、コンベヤベルト122または同様のものが、光平面111を通して、物体を移動させるために使用され得、光源110およびカメラユニット130が典型的には固定であるか、あるいは光平面111および/またはカメラ130が、物体上で移動され得るので、物体のすべての部分、または少なくとも光源110に面するすべての部分が照明されるようになり、カメラ130は、撮像することが望ましい物体の異なる部分から反射された光を受信することができるようになる。
【0037】
以上のことから理解されるように、たとえば、第1の測定物体120を撮像する、カメラ130およびその画像センサーによって提供された画像フレームは、輪郭画像141-1～141-Nのうちのいずれか1つを生じ得る。背景技術において述べたように、輪郭画像141-1～141-Nのうちのいずれかにおいて示された第1の物体の外形の各位置は、典型的には、画像センサーによってキャプチャされた画像データ内の強度ピークの特定、および、たとえば、1つまたは複数の強度ピーク発見アルゴリズムを用いて、これらの強度ピークの位置を発見することに基づいて決定される。システム105および従来のピーク発見アルゴリズムは、典型的には、各画像フレーム内で、ピクセル列ごとに強度ピークを探索するように構成される。センサー座標は、図に示されているようにu、vである。u軸は、画像センサー行に沿ったものであり得、uは、たとえば、画像センサー列に対応する、そのような行における位置を示すために使用され得る。対応して、v軸は、画像センサー列に沿ったものであり得、たとえば、画像センサー行に対応する、そのような列における位置を示すために使用され得る。
【0038】
画像フレームの各位置uについて、たとえば、上述のようにピーク発見アルゴリズムを用いて、vに沿ってピーク位置が探索され得、画像フレーム内の特定されたピークが、図に示されているような輪郭画像141-1～141-Nのうちの1つを生じ得る。輪郭画像は、u、v、tなどのセンサーベースの座標系143における画像点によって形成される。画像フレームおよび輪郭画像の全体が、第1の物体120の3D画像を作成するために使用され得る。
【0039】
本明細書の実施形態に向かう進展として、背景技術において示された状況について、最初にさらに詳述する。
【0040】
図2は、図1に関して上記で説明したものなど、光三角測量に基づく3D撮像システムに関連する状況を概略的に示すためのものであり、較正が対処する必要があり得る変換を示す。上記で説明した光平面111に対応し得る光平面211、典型的にはレーザー平面がある。それは、3D撮像システムによって撮像される物体との、この平面の交差部である。しかしながら、カメラ130など、3D撮像システムのカメラは、典型的には光平面内にあり、かつ光平面を部分的にのみカバーする、視野を有する。光平面およびカメラの視野の交差部、すなわち、光平面211上の視野は、画像センサーにマッピングする実世界座標を含んでいる。光平面211内のカメラ視野は、典型的には、図に概略的に示されているように、わずかにひずんだ多角形244に対応する。したがって、多角形244における実世界座標から画像センサー座標の間のマッピング、または変換は、それについての情報を得ること、および較正において使用することが望ましい。前記マッピングまたは変換が知られているとき、実世界座標が画像センサー座標から決定され得ることを了解されたい。
【0041】
【0042】
図3Aは、3Dにおける較正物体320を概略的に示す。
【0043】
図3Bは、較正物体が、たとえば、撮像システム105およびカメラ130によって撮像されているとき、カメラに比較的近い第1のあらかじめ決定された位置および向きにあったとき、較正物体の撮像から生じる第1の輪郭画像340aにおいて、鋸歯の谷およびピークがどのように見え得るかを概略的に示す。較正物体320をカメラの比較的より近くに配置するための理由は、画像センサーの上側部分にマッピングする点を較正可能にするためである。図は、カメラの画像センサーによってキャプチャされた較正物体320からの反射光の強度ピーク位置に対応する輪郭線342aを示す。輪郭線342aは、画像センサー座標における谷およびピークの位置についての情報を含んでいる。谷およびピークの位置は、輪郭画像340aから抽出され得、カメラに比較的近い前記第1のあらかじめ決定された位置において、較正物体320が撮像されたときに、対応するピークおよび谷が有した、あらかじめ決定された実世界座標にマッピングするようになることを了解されたい。
【0044】
図3Cは、較正物体320が、カメラから比較的さらに遠く離れている第2のあらかじめ決定された位置にあったとき、較正物体320の撮像から生じる第2の輪郭画像340bにおいて、鋸歯の谷およびピークがどのように見え得るかを概略的に示す。較正物体をカメラから比較的さらに遠く離れて配置するための理由は、画像センサーの下側部分にマッピングする点を較正可能にするためである。図では、カメラの画像センサーによってキャプチャされた較正物体320からの反射光の強度ピーク位置に対応する輪郭線342bが示されている。輪郭線342bは、画像センサー座標における谷およびピークの位置についての情報を含んでいる。谷およびピークの位置は、輪郭画像340bから抽出され得、カメラから比較的さらに遠く離れている第2のあらかじめ決定された位置において、較正物体が撮像されたときに、対応するピークおよび谷が有した、あらかじめ決定された実世界座標にマッピングするようになることを了解されたい。
【0045】
図3Bおよび図3Cを比較することによって、図3Cよりも図3Bにおいて、谷および頂点のためのセンサー座標をより正確に決定することが可能になり、その理由は、較正物体320の解像度がカメラまでの距離によって影響を受けるからであることを了解されたい。了解されるように、このことは、較正に悪影響を及ぼすことがあり、少なくとも示された例の場合のような従来の較正では、カメラからさらに遠く離れている光平面位置にマッピングする画像センサー座標のための望ましい較正を達成することが、より困難になり得る。
【0046】
一般に、より良い精度およびより正確な測定は、カメラのより近くで可能であるが、一方、較正物体のより少ない特徴がキャプチャされ得る。これは、図3A～図3Cに関して例示されたような三角測量セットアップの倍率および解像度問題のためであり、そこで、較正物体の基準特徴の倍率および解像度は、カメラまでの距離とともに変化する。
【0047】
また、使用される較正物体に応じて、使用されることになるいくつかのエリアおよび基準特徴は、画像収集手順から生じる様々な不要な再構成アーティファクトまたは他のバイアスに関連することが多い。たとえば、測定を妨げる、谷における反射に関する問題があり得る。
【0048】
また、製造の制限のために、ピークなどの基準特徴は、望ましい程度に鋭いものとして提供されることが可能でないことがあり、たとえば、丸みを帯びて提供されることが可能であり得る。したがって、それらの位置は、ピークにおいて収束する表面および線に基づいて外挿される必要があり得る。抽出問題とは別に、レンズひずみも存在し、それによって、ピークおよび谷を正確に外挿することが難しくなる。
【0049】
図3A～図3Cの例におけるもの以外に、他のタイプの較正物体では、上述したドットなどに関する他の問題があり得る。強度情報の使用は、ドットにおける三角測量アーティファクトにつながることがあり、それによって、深度コンテンツが、ちょうど測定することが望ましいところで、特に不安定になり得る。このことは、平均化によって処理され得るが、平均化は、前記外挿と同様の問題を有する。
【0050】
上述のものなど、光三角測量に基づく3D撮像システムのための従来の較正に基づく較正に関連する問題を回避するか、または少なくとも低減することができる較正が望ましくなる。
【0051】
要約すれば、従来技術では、較正物体上のピーク、谷、ドットなどの詳細な物理的基準特徴が、撮像されるとき、光平面内で知られている、典型的には、あらかじめ決定された実世界座標をもつ実世界較正点として使用される。1つまたは複数のそのような基準特徴についての情報は、それぞれの単一の画像内で撮像システムによってキャプチャされる。各そのような画像内で、実世界較正点、すなわち、撮像された基準特徴の位置が、画像センサー座標において特定される。画像センサー座標と実世界座標との間の改善されたマッピングが、その後、ライブ測定中に、すなわち、撮像システムによる撮像から実世界における物体についての情報を得ることが重要である測定中に可能であるように、そのような較正点の実世界座標と画像センサー座標との間のマッピングが、較正において使用される。ライブ測定中に、実世界における物体についての情報、たとえば、物体がどのように位置決めされるか、ならびに/またはその寸法および/もしくは形状を決定することが重要である。較正を通して、撮像システムからのそのような情報をより正確に決定することが可能である。
【0052】
本明細書の実施形態は、従来技術の場合のように、実世界較正点と画像センサー較正点との間のマッピングに基づく。しかしながら、従来技術の場合のように、単一の画像内の実世界較正点に対応する較正物体特徴をキャプチャするのではなく、本明細書の実施形態は、1つまたは複数の表面、典型的には較正物体表面をもつ、2つの異なる光平面交差部の少なくとも2つの画像であって、各画像がそのような交差部に対応する線をキャプチャするものを使用するアイデアに基づく。次いで、画像センサー較正点は、画像線の間の仮想交差部に対応する。実世界較正点は、実世界における表面をもつ前記光平面交差部に対応する実世界線の間の仮想交差部に対応する。
【0053】
このことは、1つまたは複数の物理的較正特徴が、たとえば、較正物体の物理的交差部から、単一の画像内の1つまたは複数の較正点としてキャプチャされる、従来技術と比較され得る。
【0054】
本明細書の実施形態の場合のように、表面および仮想交差部を較正点として使用する利点は、上記で説明したものなど、物理的交差部および点に関連する悪影響が回避され得ることである。また、製造することがより簡単かつより容易な較正物体が使用され得る。
【0055】
本明細書の実施形態について、以下で、テキストおよび図面における例を参照しながら詳細に説明する。しかしながら、最初に、本明細書の実施形態がそれとともに実行され得、かつ/または本明細書の実施形態を実行するように完全にもしくは部分的に構成され得る、撮像システムについて説明する。
【0056】
図4は、本明細書の実施形態がそれとともに実行され得、かつ/または本明細書の実施形態を実行するように完全にもしくは部分的に構成され得る撮像システム、すなわち、撮像システム405の一例を概略的に示す。
【0057】
したがって、示されているものは、本明細書の実施形態を行うように構成され得る、すなわち、本明細書の実施形態を実装するために関与し得る、簡略化された撮像システムである。
【0058】
撮像システム405は、光三角測量に基づく物体の3D撮像のための撮像システムである。撮像システム405は、1つまたは複数の測定物体の2Dおよび3D特性についての情報をキャプチャするために使用され得る。較正中に、1つまたは複数の測定物体を撮像するのではなく、少なくとも1つの較正物体420が撮像されるか、または本明細書の実施形態の場合のように、1つまたは複数の較正物体、たとえば、較正物体420の表面であり得る、1つまたは複数の表面が撮像される。
【0059】
撮像システムの較正において使用するための実世界および画像センサー対応点を用いるこの原理は、従来と異なるものではなく、本明細書の実施形態に基づく較正はまた、それぞれ、実世界較正点と画像センサー較正点との間のマッピングに基づく。違いは、上記で示し、以下でさらに詳細に説明するように、較正点がどのように提供されるか、およびそれによって、また、どのような較正物体が使用され得るかに関する。
【0060】
示された撮像システム405は、基本構成に対応すると見なされ得、基本構成は、以下を備える。3D撮像のための光三角測量の一部として、光平面に対応する光411、たとえば、レーザー光を用いて、測定物体および較正物体420を照明するための光源410。前記光三角測量の一部として、測定物体および較正物体420からの反射光を検知するために配置された、画像センサー431をもつカメラ430。
【0061】
カメラ430、画像センサー431、および光源410は、光三角測量のために互いに対して構成および位置決めされる。
【0062】
較正物体420は、図4において、少なくとも部分的にカメラ430の視野432内に位置するように示される。光源410は、較正物体420によって反射される光411を用いて、測定物体420を照明するように構成され、反射光が、カメラ430および画像センサー431によってキャプチャされる。使用され得る光平面に対応する光の別の例は、照明があるエリアまたは部分のエッジである。
【0063】
撮像システム405は、図1に関して説明したものなど、従来技術の撮像システムに実質的に対応し得るが、以下でさらに説明するように、本明細書の実施形態とともに、かつ/またはそれに従って実行するようにさらに構成され得るなど、較正の目的でやや異なるように構成および/または制御され得る。すでに述べたように、本明細書の実施形態はまた、従来技術におけるものとは異なる1つまたは複数の較正物体を使用することを可能にし、すなわち、較正物体420は、従来の較正物体、または異なる種類、典型的にはより単純な較正物体であり得、その理由は、以下でさらに説明するように、本明細書の実施形態では、1つまたは複数の表面を使用すれば十分であるからである。
【0064】
撮像システム405は、少なくともいくつかの実施形態では、較正物体位置決め構成436、すなわち、本明細書の実施形態とともに使用するための1つまたは複数の較正物体の位置変更のための、装置、デバイス、またはユニットなどの構成を備え得る。たとえば、いくつかの実施形態では、上述した、かつ前記仮想交差部を達成するために撮像される較正物体表面は、図4に概略的に例示されているような単一の較正物体420の表面である。したがって、較正物体位置決め構成436は、同じく以下でさらに説明するように、異なる傾斜をもつ表面が撮像され、仮想交差部が達成されるように、2つの画像の間で較正物体420を操作、たとえば、再位置決めするように配置され得る。異なる種類の較正物体、ならびに較正物体の再位置決めなどの操作が、異なる実施形態においてどのように達成され得るかについても、以下で例示および説明する。
【0065】
いくつかの実施形態では、撮像システム405は、1つまたは複数のコンピューティングデバイス434、たとえば、撮像システムの少なくともいくつかの部分を制御し、かつ/または較正のための計算を実行し、かつ/または較正を実行して、それによって、画像センサー431上の点がどのように光平面411内の点にマッピングするか、およびその逆も同様により正確に決定することを可能にするため、もしくは実際には、画像センサー座標がどのように光平面411内の実世界座標にマッピングするか、およびその逆も同様により良く知るための、同様の能力をもつコンピュータまたはデバイスを備える。
【0066】
コンピューティングデバイスによる計算は、較正点と呼ばれることもある、較正において使用するための実世界および画像センサー対応点の決定に関し得る。画像センサー対応点は、典型的には、撮像システム405に関する実世界座標系の実世界座標におけるもの、および典型的には、画像センサーピクセル分布に基づく、画像センサー431に関する画像センサー座標系の画像センサー座標におけるものである。
【0067】
計算は、較正物体420、および較正物体420が実世界座標系においてどのように配置されるか、およびカメラ430によって撮像されるとき、較正物体420が光平面411とどのように交差するかについての、典型的には、あらかじめ決定された情報に基づき得る。たとえば、計算は、光平面411と較正物体420との間の、実世界線に対応する、交差部の実世界座標、および/または、その仮想交差部が本明細書の実施形態に従って実世界較正点に対応する、そのような実世界線の間の仮想交差部についての情報を提供し得る。これについては、以下で詳細な例に関してさらに説明する。
【0068】
計算はまた、上述のように、および以下でさらに説明するように、較正物体420が光平面と交差しているとき、較正物体420のカメラによって撮影された画像に関する、カメラからの情報に基づき得る。たとえば、計算は、画像内の強度ピーク位置に対応する画像線の画像センサー座標についての情報を提供し得る。強度ピークは、画像が撮影されたとき、光平面411が較正物体420と交差したところの反射によって引き起こされる。追加として、計算は、その仮想交差部が本明細書の実施形態に従って画像センサー点に対応する、異なる画像からのそのような画像線の間の仮想交差部についての情報を提供し得る。
【0069】
1つまたは複数のコンピューティングデバイス434は、較正物体位置決め構成436をさらに制御し得る。
【0070】
いくつかの実施形態では、1つまたは複数のコンピューティングデバイス434、ならびに/あるいは対応する機能および/または能力は、カメラ430、または撮像システム405の何らかの他のデバイスと結合および/または統合される。
【0071】
照明は、示された例では垂直方向、すなわち、示されたz軸に平行であり、照明がz-x平面内であるようになる。しかしながら、当業者によって、および以下から了解されるように、たとえば、従来の光三角測量とともに使用されるような、照明の他の1つまたは複数の方向も、本明細書の実施形態とともに使用することが可能である。
【0072】
図5A～図5Cは、較正点、すなわち、光三角測量に基づく3次元撮像のための撮像システムの較正において使用するための実世界および画像センサー対応点のペアを形成するために、単一の物理的表面が使用される、本明細書のいくつかの実施形態を概略的に示し、例示するためのものである。
【0073】
図5Aでは、較正物体520は、第1の位置にあり、光源510によって照明され、より詳細には、光源510は、示された状況では、較正物体520が第1の位置にあるとき、較正物体520の第1の実表面521aと交差する、光平面511を提供する。交差部は、第1の実世界線512aに対応する第1の実交差部である。したがって、第1の実世界線512aは、光平面511内に位置する。また、較正物体520が光平面511と交差するところで、較正物体520を撮像するためのカメラ530も示されている。了解されるべきであるように、光源510およびカメラ530は、上記で説明した撮像システム405に対応し得るか、またはそれであり得る、光三角測量に基づく物体の3D撮像のための撮像システムの一部である。したがって、光源510およびカメラ530は、光源410およびカメラ430に対応し得る。光三角測量に基づく従来の撮像システムの場合のように、光平面511は、撮像システムに関連付けられた実世界座標系に対して、典型的には光平面に対してなど、撮像システムにおいて決定された位置を有する。示された例では、光平面511がz-x平面内であるように、実世界デカルト座標系x、y、zが描かれ、位置決めされている。
【0074】
したがって、第1の実世界線512aは、好適な座標系による実世界座標、たとえば、示された例の場合のようにz、x座標によって表され得る。
【0075】
示された実世界座標系は単なる一例であること、および当業者が了解するように、本明細書の実施形態は、特定の座標系、またはどのように座標系が配置されるかに限定されないことに留意されたい。
【0076】
図5Aでは、したがって、較正物体520は、第1の実表面521aが光平面511と交差する第1の位置にあり、この位置において、カメラ530によって撮像されるので、第1の画像540aが形成されるようになる。
【0077】
したがって、了解されるべきであるように、および上記で説明したような従来の原理に従ってそのようなものとして機能する光三角測量からの結果として、第1の実世界線512aは、第1の画像540a内の第1の画像線542aとして撮像され、したがって、図ではu、vと示された画像センサー座標におけるものである。第1の画像線542a、および本明細書で説明する同様のそのような線は、画像センサーによってキャプチャされた画像内の強度ピークの位置に対応し、上記で説明したように、3D撮像のための光三角測量がどのように機能するかに起因する。したがって、第1の画像線542aは、典型的には、カメラ530の画像センサーによって検知された画像データにおいて作動するピーク発見方法、たとえば、アルゴリズムからの結果である。強度ピークの位置を発見するためのピーク発見方法は、撮像システムの通常作動中、すなわち、較正後に、ピーク位置を発見するために使用されることになる同じ方法であり得、好ましくはその同じ方法であることを了解されたい。
【0078】
第1の実表面521a、および第1の画像線542aをもつ第1の画像540aのみでは、較正のためにあまり有用ではなく、その理由は、単一の位置または点が特定されず、それぞれの線に沿った位置のみが特定されるからであることをさらに了解されたい。このことは、従来の場合とは異なり、従来の場合では、較正のために使用された画像が、較正において使用するための較正物体の、かつ較正物体上の特徴位置にマッピングする、少なくとも1つの基準点を特定する。たとえば、図3B～図3Cにおける画像340a～b内のピークおよび谷の位置と比較されたい。
【0079】
代わりに、本明細書の実施形態によれば、また、別の画像が、較正において使用するための画像点を形成するために使用されることになる。
【0080】
図5Bでは、そのような別の画像、すなわち第2の画像540bが示されている。図5Bでは、較正物体520は、第2の位置にあり、光平面511を提供する光源510によって照明される。ここでは、光平面511は、較正物体520の第2の表面521bと交差し、較正物体520の第2の表面521bは、示された例では、第1の表面521aに対応するが、光平面511における向きが図5Aに示された状況とは異なる。すなわち、較正物体520は、再位置決めされており、それによって、光平面511と交差する物理的表面が、第1の画像540aと第2の画像540bとの間で光平面511における向きを変更している。この(新しい)光平面交差部は、光平面511内の第1の実世界線512aに仮想的に交差する第2の実世界線512bに対応する。第2の実世界線512bは、第2の画像540b内の第2の画像線542bとして撮像される。
【0081】
図5C、上側部分は、実世界線512a～bの仮想交差部を概略的に示す。この仮想交差部は、実世界点514-1に対応する。「仮想」が本明細書で使用され、その理由は、実世界線512a～bが光平面内に同時にはないが、線が同時に光平面511内にあるようになる場合、それらの線が光平面511内で交差することになるからである。
【0082】
光平面511の実世界座標、ならびにそれぞれの表面521a、bが第1の位置および第2の位置ではどのように光平面511に関係するか、たとえば、光平面511内で位置決めされるかの知識を用いて、すなわち、画像センサーが露光され、結果が第1および第2の画像540a～bであった時間において、実世界仮想交差部の、およびしたがって実世界点514-1の実世界座標が決定、たとえば、計算され得ることを了解されたい。それぞれの表面521a、bがどのように光平面511に関係するか、たとえば、光平面511内で位置決めされ、光平面511と交差するか、およびしたがって、実世界線512a～bがどのようなものになるかは、たとえば、較正物体520のジオメトリ、および較正物体520が第1および第2の位置において光平面511にどのように関係するかの知識から決定され得る。言い換えれば、典型的には、使用された光三角測量撮像システムのセットアップから知られるような、光平面511の実世界座標の知識と、較正物体520の、典型的にはあらかじめ決定された、ジオメトリ、ならびに較正物体520が第1および第2の位置において実世界座標系においてどのように配置されるかの知識とを用いて、実世界線512a～bが決定、たとえば、計算され得る。それによって、その仮想交差部が実世界点514-1に対応する、これらの実世界線の間の仮想交差部の実世界座標も決定され得る。実際は、了解されるべきであるように、実世界線512a～b、およびそれによって実世界較正点514-1である第1の仮想交差部の座標を決定、たとえば、計算することを可能にするために、第1および第2の位置における表面521a～bの座標、たとえば、光平面511と交差するとき、これらが座標系においてどのように数学的に表現されるかを知ることで十分である。
【0083】
図5C、下側部分では、撮像された第1および第2の実世界線、すなわち、第1および第2の画像540a～b内の第1および第2の画像線542a～bもまた、実世界点514-1にマッピングする画像センサー点544-1に対応する、別の、第2の、仮想交差部を形成することが概略的に示されている。
【0084】
したがって、互いにマッピングし、光三角測量3D撮像システムの較正のための従来技術の場合のように、較正がそれに基づくようにされ得る、実世界点および画像センサー点がある。したがって、従来技術と比較された違いは、較正のために使用される点を何が構成するかである。
【0085】
したがって、実世界点514-1および画像センサー点544-1は、光三角測量に基づく3次元撮像のための撮像システムの較正において使用するための実世界および画像センサー対応点のペアを形成する。
【0086】
図5Dは、上記で説明され、図5Cに示された原理が、さらなる較正点を形成するために、どのように容易に拡張され得るかを概略的に示す。たとえば、3つの追加の、すなわち、合計4つの画像センサー点および対応する実世界点(図5Dに図示せず)を形成するために、すなわち、実世界および画像センサー対応点の合計4つのペアを形成するために、2つの追加の画像線542c～dに対応する2つの追加の実世界線で十分である。
【0087】
追加の実世界線は、第1および第2の実世界線512a～bに平行にすることができ、したがって、光平面内の第1および第2の表面の単純な直線変位によって、たとえば、較正物体520のz軸に沿った移動によって形成され得る。示された原理は、較正のための画像センサーエリア対象にわたって分散された複数の較正点を形成するために使用され得る。n個の平行線がm個の他の平行線と交差することによって、したがって較正点として使用され得る、n*m個の交差部が生じる。もちろん、平行でない実世界線も、追加の実世界線ごとにさらに多くの可能な較正点を形成するために使用され得るが、平行な実世界線を達成することがより簡単であり得、平行な実世界線が使用される場合、仮想交差部を形成および決定することがより簡単であり得る。
【0088】
図5E～図5Gは、図5A～図5Cに関して上記で説明した実施形態と比較され得る、いくつかの他の実施形態を概略的に示し、例示するためのものである。ここでは、代わりに、2つの異なる物理的表面が使用される。光源510、光平面511、およびカメラ530は、図5A～図5Bに関する実施形態の場合のようなものであり、関与する撮像システムは同じであり得る。しかしながら、これは、比較を容易にするための単なる一例である。以下では、違いに焦点を合わせる。
【0089】
図5Eでは、較正物体525は、第1の位置にあり、ここでも光平面511を提供する光源510によって照明される。示された状況では、較正物体525が第1の位置にあるとき、光平面511は、較正物体525の第1の実表面526aと交差する。交差部は、カメラ530によって撮像される、ここでは光平面511内に位置する第1の実世界線527aに対応する第1の実交差部であり、第1の画像550aが形成される。撮像された第1の実世界線527aは、第1の画像線552aに対応する。
【0090】
ここで基礎をなす原理は、図5Aの例の場合と同じであることを了解されたい。
【0091】
図5Fでは、較正物体525は第2の位置にある。光平面511は、ここでは、示された例では、較正物体525の別の表面である、較正物体525の第2の表面526bと交差する。これを達成するために、較正物体525は、この例では、画像の間で第1の位置から第2の位置まで、距離dだけ移動されており、たとえば、較正物体がその上に載っている支持表面上で移動されている。この例に示されているように、較正物体の単純な直線の、たとえば、線形の移動で十分である。そのような移動は、極めて正確に達成され得る。この(新しい)光平面交差部は、光平面511内の第1の実世界線527aに仮想的に交差する第2の実世界線527bに対応する。第2の実世界線527bは、第2の画像550b内の第2の画像線552bとして撮像される。
【0092】
図5Gは、図5A～図5Bにおいて例示された実施形態の場合のように、図5E～図5Fにおいて例示された実施形態の場合に対応する方法において、仮想交差部、およびそれによって点が達成され得ることを概略的に示す。より詳細には、図5Gの上側部分では、実世界線527a～bの仮想交差部が概略的に示されている。この仮想交差部は、実世界点529-1に対応する。図5G、下側部分では、撮像された第1および第2の実世界線、すなわち、第1および第2の画像550a～b内の第1および第2の画像線552a～bもまた、実世界較正点529-1にマッピングする画像センサー点554-1に対応する、第2の仮想交差部を形成することが概略的に示されている。したがって、上記の他の例の場合と同様に、実世界点529-1および画像センサー点554-1は、光三角測量に基づく3次元撮像のための撮像システムの較正において使用するための実世界および画像センサー対応点のペアを形成する。
【0093】
図6A～図6Cは、複数の較正点が本明細書の実施形態に基づいてどのように達成され得るかを概略的に示し、例示するためのものである。関与する撮像システムは、撮像システム405に対応し得、状況は、図5E～図5Fにおける状況と比較され得るが、較正物体525の代わりに較正物体625を用いており、光平面611およびカメラ630に関して図5Eとはやや異なるように配置され得る。このことを除いて、光平面611およびカメラ630は、光平面511およびカメラ530に対応し、撮像システム405に対応し得る撮像システムの一部であり得る。
【0094】
図6Aは、示されたx-y平面に垂直に「上方に」延びるz軸(図示せず)をもつ上面図である。カメラ630は、実際にはz-x平面内の光平面611を撮像するためにzおよびx方向に下方に向いており、それによって、光平面611と較正物体625との間の交差部から発生することになる反射からの光をキャプチャする。カメラ630がその一部である撮像システムは、たとえば、光平面611を通して-y方向に、すなわち、図6Aにおいて大きい矢印によって示された方向に、較正物体625を移動させることによって、光平面611による較正物体625の走査を可能にするように配置され得る。較正物体625は、z-y平面内のみでなく、z-x平面内でも傾きを有している、第1および第2の平坦な表面627a～bを有する。後者は、図における各表面627a～bの上側部分および下側部分が、それぞれの表面が光平面611と交差するとき、x軸に沿って、異なる高さに、すなわち、異なるz座標になることを意味する。このことは、図においてHIGHおよびLOWによって示されている。したがって、図6Aを参照すると、同じy座標における第1の表面627aの場合、(テキストLOWにおける)図における部分「上」は、(zにおいて)より高い高さである(テキストHIGHにおける)図における部分「下」と比較して、(zにおいて)より低い高さを有する。図に示されているように、第2の表面627bでは、逆の関係が成り立つ。
【0095】
図6Bは、たとえば、光平面611を通した較正物体625の前記走査からの、光平面611との10個の交差部の例とともに、較正物体625を概略的に示す。したがって、交差部は、異なる時点t1～t10からのものである。示された例では、611@t1～611@t5と示された、時間t1～t5における光平面611と第1の表面627aとの間の5つの交差部、および611@t6～611@t10と示された、時間t6～t10における光平面611と第2の表面627bとの間の他の5つの交差部がある。各交差部は、ちょうど図5A～図5Gに関して上記で説明したように、実世界線に対応し、表面が平坦であるとき、実世界線は線形である。カメラ630が、前記時間t1～t10において光平面611と表面627a～bとの間の交差部からの反射光を撮像することによって、結果は、10個の画像IM1～IM10となり、各々が、光平面611と交差するところのそれぞれの表面627a～bによって反射された光から生じる強度ピークのロケーションに対応する画像線をもつことを了解されたい。したがって、画像線は、実世界線がz、xではなく、画像センサー座標、たとえば、u、vにおいてどのように撮像されるかに対応する。図6Aに示されたような実世界座標系x、y、zがあり、光平面611がz-x平面内にあるとき、光平面交差部に対応する実世界線は、z-x平面内であり、したがってz、x座標におけるものである。
【0096】
【0097】
図6Cは、それぞれの実世界線611@t1～611@t5(すなわち、第1の表面627aとの光平面交差部に対応する実世界線)を撮像するそれぞれの画像線をもつ画像IM1～IM5が、単一の画像内で合成される場合の結果を示す。わかるように、結果は、u、v座標における5つの平行な画像線である。単一の画像への対応する組合せはまた、第2の表面627bに関する実世界線611@t6～611@t10を撮像する画像線をもつ画像IM6～IM10についても示されている。ここでの結果は、他の5つの平行な画像線である。
【0098】
了解されるように、および図において「+」によって示されているように、画像線をもつすべての画像IM1～IM10が加算、すなわち、合成される場合、結果は、それぞれの表面627a、627bに関する平行な画像線のそれぞれのグループが、互いに交わっており、すなわち、互いに交差していることである。交差部は、図6Cに示されているように、合成された場合、単一の画像内で可視であり、存在し得るが、交差部は、仮想交差部と呼ばれる方がよく、その理由は、画像線が、実際には前記異なる時間t1～t10における画像センサーによる撮像から生じる異なる画像内にあるからである。実際には、各交差部のロケーションを決定するために、単一の画像に実際に合成することは必要ではなく、たとえば、交差部の画像を比較すること、および/または交差部のロケーションを計算することが可能である。交差部は、たとえば、図5A～図5Gに関して上記で説明したものと同様に、画像センサー点に対応する。了解されるように、および本明細書の他の場所で説明するような対応する方法において、たとえば、図5A～図5Gに関する、たとえば、上記のように、光平面内の、すなわち、z-x平面内の実世界線の間の仮想交差部もあり、これらの仮想交差部は、実世界点に対応する。単に、たとえば、仮想交差部のうちの1つに対応する、画像センサー点654が、図6Cに示されている。画像センサー点は、それぞれ、実世界点にマッピングしている。言い換えれば、実世界点および画像センサー点は、撮像システムの較正において使用するための実世界および画像センサー対応点のペアを形成する。
【0099】
図7は、本明細書のいくつかの実施形態による方法の実施形態を概略的に示すためのフローチャートである。方法を形成し得る、以下の動作は、光三角測量に基づく物体の3次元、3D撮像のための撮像システムの較正のために使用され得る。撮像システムは、物体によって反映された光が、前記光平面と交差するとき、画像センサー上で入射光になるように配置された、画像センサーをもつカメラ、および光平面内で光を提供するように構成された光源を備える。以下では、撮像システムは、撮像システム405によって例示され得、光源は、光源410、510のうちのいずれか1つによって例示され得、光平面は、光平面411、511、611のうちのいずれか1つによって例示され得、カメラは、カメラ430、530、630のうちのいずれか1つによって例示され得、画像センサーは、画像センサー431によって例示され得る。どの特定のデバイスが例として使用されるかは、何が例として文脈上好適であるかに依存する。
【0100】
図7に関する実施形態では、物体は較正物体であり、較正は、従来技術の場合のように、前記実世界点がどのように撮像システム405によって画像センサー431上で撮像されるかに対応する、光平面内の実世界点がどのように画像センサー点にマッピングするかに基づく。実際には、いくつかのそのような点ペアが、較正のために使用される。以下では、較正物体は、較正物体420によって、または較正物体520、525、625のうちのいずれかが例としてより文脈上好適である場合、これらのうちのいずれか1つによって例示され得る。
【0101】
以下の、図7に示されている方法および/または動作は、デバイス、すなわち、撮像システム405、カメラ430、および/もしくはコンピューティングデバイス434、ならびに/または他の好適なデバイスなど、1つまたは複数のデバイスによって実行され得る。方法およびその動作を実行するためのデバイスについても、以下である程度さらに詳細に説明する。
【0102】
以下の動作は、任意の好適な順序において取られ、かつ/またはこれが可能および好適である時間に、完全にもしくは部分的に重複して行われ得る。
【0103】
動作701
較正物体520の第1の表面、たとえば、第1の表面521aが光平面511と交差した、あらかじめ決定された第1の位置に、較正物体520があったとき、撮像システム405によって生成された、第1の画像、たとえば、第1の画像540aが取得される。第1の実世界線、たとえば、第1の実世界線512aに対応する交差部は、第1の位置における較正物体520についての知識から、あらかじめ決定されているか、または決定され得る。第1の画像540aは、撮像システム405がどのように第1の実世界線512aを撮像したか、から生じる、第1の画像線、たとえば、第1の画像線542aを備える。より詳細には、第1の画像線、またはここでは任意の画像線は、すでに上述したように、典型的には、撮像のために使用されているカメラの画像センサーの露光から生じる画像データにおける強度ピークのロケーションに対応する。
較正物体520の第1の表面、たとえば、第1の表面521aが光平面511と交差した、あらかじめ決定された第1の位置に、較正物体520があったとき、撮像システム405によって生成された、第1の画像、たとえば、第1の画像540aが取得される。第1の実世界線、たとえば、第1の実世界線512aに対応する交差部は、第1の位置における較正物体520についての知識から、あらかじめ決定されているか、または決定され得る。第1の画像540aは、撮像システム405がどのように第1の実世界線512aを撮像したか、から生じる、第1の画像線、たとえば、第1の画像線542aを備える。より詳細には、第1の画像線、またはここでは任意の画像線は、すでに上述したように、典型的には、撮像のために使用されているカメラの画像センサーの露光から生じる画像データにおける強度ピークのロケーションに対応する。
【0104】
動作702
図5A～図5Bに関して上記で説明したように、第2の実世界線512bおよび第1の実世界線512aが、前記光平面511内で互いに仮想的に交差することになるように、較正物体520の、その第1の位置から第2の位置へのものに関する位置変更、たとえば、あらかじめ決定された位置変更があり得る。第2の実世界線512bは、較正物体、その第1の位置、および位置変更の知識に基づいて、決定、たとえば、計算され得ることを了解されたい。
図5A～図5Bに関して上記で説明したように、第2の実世界線512bおよび第1の実世界線512aが、前記光平面511内で互いに仮想的に交差することになるように、較正物体520の、その第1の位置から第2の位置へのものに関する位置変更、たとえば、あらかじめ決定された位置変更があり得る。第2の実世界線512bは、較正物体、その第1の位置、および位置変更の知識に基づいて、決定、たとえば、計算され得ることを了解されたい。
【0105】
位置変更の代替形態は、第2の実世界線を提供するために、光平面内に配置された表面をもつ別の較正物体を使用することである。しかしながら、これには、2つの較正物体の正確な配置が必要であり、たとえば、図6A～図6Cに関して上記で説明したような走査を可能にする、較正物体を単に移動させることがより柔軟である。いずれの場合も、両方とも光平面内にある、2つの実世界線、およびそれらの交差部は、典型的には、撮像システムのセットアップ、較正物体、ならびにその第1および第2の位置に関する、あらかじめ決定された情報から、数学的に決定、たとえば、計算され得、ただし、後者の位置は、上述のように、位置変更から決定され得ることを了解されたい。
【0106】
実際には、較正において使用するための望ましい実世界点を達成するための、較正物体およびその配置に関するあらゆるものは、典型的には、事前に決定され、すなわち、あらかじめ決定される。
【0107】
動作703
較正物体520の第2の表面、たとえば、第2の表面521bが前記光平面511と交差した、前記第2の位置に、較正物体520があったとき、撮像システム405によって生成された、別の、第2の、画像、たとえば、第2の画像540bが取得される。第2の実世界線、たとえば、第2の実世界線512bに対応する交差部は、第2の実世界線512bおよび第1の実世界線512aが、望ましい方法で前記光平面511内で互いに仮想的に交差するような、較正物体520の、その第1の位置に関する動作702における位置変更、たとえば、あらかじめ決定された位置変更によって決定され得る。第2の画像540bは、撮像システム405がどのように第2の実世界線512bを撮像したかに対応する、第2の画像線、たとえば、第2の画像線542bを備える。
較正物体520の第2の表面、たとえば、第2の表面521bが前記光平面511と交差した、前記第2の位置に、較正物体520があったとき、撮像システム405によって生成された、別の、第2の、画像、たとえば、第2の画像540bが取得される。第2の実世界線、たとえば、第2の実世界線512bに対応する交差部は、第2の実世界線512bおよび第1の実世界線512aが、望ましい方法で前記光平面511内で互いに仮想的に交差するような、較正物体520の、その第1の位置に関する動作702における位置変更、たとえば、あらかじめ決定された位置変更によって決定され得る。第2の画像540bは、撮像システム405がどのように第2の実世界線512bを撮像したかに対応する、第2の画像線、たとえば、第2の画像線542bを備える。
【0108】
動作704
実世界点、たとえば、実世界点514-1が、第1および第2の実世界線の間、たとえば、実世界線512a～bの間の第1の仮想交差部として決定、たとえば、計算される。
実世界点、たとえば、実世界点514-1が、第1および第2の実世界線の間、たとえば、実世界線512a～bの間の第1の仮想交差部として決定、たとえば、計算される。
【0109】
動作705
画像センサー点、たとえば、画像センサー点544-1が、第1および第2の画像線542a～bの間の第2の仮想交差部として決定される。
画像センサー点、たとえば、画像センサー点544-1が、第1および第2の画像線542a～bの間の第2の仮想交差部として決定される。
【0110】
それぞれの第1および第2の画像540a～bについて、従来の光三角測量の場合のような計算が実行されて、強度ピークの位置に対応する、画像センサー列に沿った点の位置が発見され得る。次いで、画像線542a～bなどのための、それぞれの直線方程式(line equation)が、好ましくはより高次の、1次の線形ではなく、そのような2次もしくは3次、またはさらにより高次の、これらの位置に適合するように適応され得る。次いで、直線方程式による線の間の交差部が計算され得、したがって、画像センサー点544-1などの画像センサー点に対応するようになる。もちろん、画像を線と合成することに基づく、好適な画像処理などを実行するなど、2つの画像線の間の交差点を発見するための他の方法も、代替的に使用され得る。
【0111】
動作706
次いで、撮像システム405が、実世界点514-1などの実世界点と、画像センサー点544-1などの画像センサー点との間のマッピングに基づいて較正され得る。
次いで、撮像システム405が、実世界点514-1などの実世界点と、画像センサー点544-1などの画像センサー点との間のマッピングに基づいて較正され得る。
【0112】
上記で説明したように、較正は、実際には、典型的には、たとえば、画像センサーエリアおよび光平面のエリアにわたって分散された、いくつかの同様の点ペア、およびこれらの間のマッピングを伴うことになり、それらのエリアが、ライブ測定に、すなわち、通常作動中、較正後に関与することになる。
【0113】
本明細書の実施形態とともに使用される1つまたは複数の較正物体は、あらかじめ決定されたジオメトリおよび寸法を有し得、そのことは、従来、光三角測量ベースの3D撮像システムのための較正物体についても当てはまる。しかしながら、上記ですでに説明したように、本明細書の実施形態は、極めて単純な較正物体を可能にし、その理由は、好ましくは平坦な、1つまたは複数の表面のみが、光平面内で、望ましい、典型的には、あらかじめ決定された1つまたは複数の方法で使用および位置決めされる必要があるからである。
【0114】
上記で示したように、前記実世界線および仮想交差部は、第1の画像線として撮像される第1の実世界線を達成するために、光平面内の較正物体の最初のあらかじめ決定された位置決めによって達成され得、次いで、較正物体のあらかじめ決定された位置変更が、さらなる画像線として撮像されるさらなる実世界線を形成するために使用され得る。さらなる実世界線は、第1の実世界線、たとえば、第1の実世界線がどのように定義されるかから決定、たとえば、計算され、かつ/または較正物体がどのように位置変更されるかについての情報から、実世界座標において表され得る。
【0115】
【0116】
方法は、光三角測量に基づく物体の3次元、3D、撮像のための撮像システム、たとえば、撮像システム405の較正において使用するための、実世界および画像センサー対応点のペアの提供のためのものである。撮像システムは、画像センサー、たとえば、画像センサー431をもつカメラ430、530、または630などのカメラと、光平面、たとえば、光平面411、511、または611の提供のための光源410または510などの光源とを備える。前記光三角測量は、前記光平面が表面と交差すること、および表面から反射を引き起こすことから生じる反射光の、前記カメラによる撮像を伴う。前記対応点は、前記光平面内に位置する実世界点、たとえば、実世界点514-1または529-1と、前記実世界点が撮像システムによって画像センサー上で撮像されるところに対応する、画像センサー点、たとえば、画像センサー点544-1または554-1とである。
【0117】
以下の方法および/または動作は、デバイス、すなわち、撮像システム405、カメラ430、および/もしくはコンピューティングデバイス434、ならびに/または他の好適なデバイスなど、1つまたは複数のデバイスによって実行され得る。方法およびその動作を実行するためのデバイスについても、以下である程度さらに詳細に説明する。
【0118】
動作801
前記実世界点が、第1の実世界線512aまたは527aなどの第1の実世界線と、第2の実世界線512bまたは527bなどの第2の実世界線との間の第1の仮想交差部として提供される。第1の実世界線は、ちょうど上記のように、第1の実表面、たとえば、第1の実表面521aまたは526aと光平面との間の第1の実交差部に対応し、前記第1の実交差部からの反射光が、第1の画像540aまたは550aなどの第1の画像内で撮像システムによってキャプチャされる。言い換えれば、第1の実交差部からの反射光は、撮像システムおよびその画像センサーによって、第1の画像内でキャプチャされ、それによって撮像される。同様に、第2の実世界線は、第2の実表面521bまたは526bなどの第2の実表面と光平面との間の第2の実交差部に対応し、前記第2の実交差部からの反射光が、別の、第2の、画像、たとえば、第2の画像540bまたは550b内で撮像システムによってキャプチャされる。
前記実世界点が、第1の実世界線512aまたは527aなどの第1の実世界線と、第2の実世界線512bまたは527bなどの第2の実世界線との間の第1の仮想交差部として提供される。第1の実世界線は、ちょうど上記のように、第1の実表面、たとえば、第1の実表面521aまたは526aと光平面との間の第1の実交差部に対応し、前記第1の実交差部からの反射光が、第1の画像540aまたは550aなどの第1の画像内で撮像システムによってキャプチャされる。言い換えれば、第1の実交差部からの反射光は、撮像システムおよびその画像センサーによって、第1の画像内でキャプチャされ、それによって撮像される。同様に、第2の実世界線は、第2の実表面521bまたは526bなどの第2の実表面と光平面との間の第2の実交差部に対応し、前記第2の実交差部からの反射光が、別の、第2の、画像、たとえば、第2の画像540bまたは550b内で撮像システムによってキャプチャされる。
【0119】
前記実表面は、較正表面または較正物体表面と称されることがあり、1つまたは複数の較正物体の一部であり得る。本明細書で使用する較正物体は、撮像システムの較正において使用するために好適な、かつ前記第1および第2の実表面に対応する1つまたは複数の表面を有する、任意の物理的な物体を指す。較正物体は、ちょうど光三角測量に基づく3D撮像システムの較正のための従来の較正物体のように、典型的には、あらかじめ決定された形状およびサイズ、すなわち、ジオメトリおよび寸法を有する。
【0120】
しかしながら、以下で説明する、本明細書のいくつかの実施形態では、撮像されることになる物体のための支持表面が、実表面として使用され得、通常は較正表面または較正物体と呼ばれないことに留意されたい。
【0121】
いくつかの実施形態では、第1の実表面および第2の実表面は、パラメトリック曲面である。
【0122】
前記現実の、すなわち、物理的表面がパラメトリックである場合、それらの表面は、パラメトリック方程式によって表され、すなわち、数学的に表現され得、それによって、表面と光平面との間の交差部に対応する実世界線を決定すること、およびそれによって、実世界線の間の仮想交差部がどのようになるかを決定することが容易になる。
【0123】
さらに、表面は、好ましくは連続曲率(continuous curvature)を有するべきであり、すなわち、たとえば、頂点の場合のように急激な変化を有しておらず、たとえば、表面はC1連続であり得る。好ましい表面の例は、平坦な表面、円筒面、または放物面であり、これらの表面は、したがって、直線、円弧、または放物線である実世界線に対応するようになる、光平面と表面との間の実世界交差部をそれぞれ作り出す。円筒面または放物面の場合、凸面よりも凹面を有することが有利になることがあり、その理由は、次いで、より少ない光が漏れるようになり、より多い光が画像センサーによってキャプチャされるようになるからである。
【0124】
円筒形または放物的などの曲面は、単一の表面が使用される実施形態のために好ましいことがあり、その理由は、図5A～図5Bに関する例におけるものなど、表面の傾斜または回転が、それによって回避され得るからである。光平面内で仮想的に交差する実世界線は、代わりに、画像の間の表面の単純な変位、たとえば、線形移動によって達成され得る。
【0125】
一般に、表面は、もちろん、光三角測量に基づく撮像システムにおいて使用され、それによって撮像されるために好適であるようになるべきである。たとえば、曲面の場合、曲率が撮像システムによる表面の撮像を妨げるほど極端でないことが暗示される。
【0126】
曲面は、上記で示したようないくつかの利点を有するが、平坦な表面、すなわち、フラットな表面は、他の利点を有するので、多くの状況において依然として好ましくなり得る。たとえば、実世界線およびこれらの間の仮想交差部が、より決定、たとえば、計算しやすい。平坦な表面は、典型的には、単純なジオメトリおよび計算を生じる。また、曲がっている実表面よりも、平坦な実表面を正確に作り出すことがより容易である。さらに、平坦な実表面は、より単純な製作技法の使用を可能にし得る。平坦な表面は、図面の例において示されているように、画像センサー上で直線にマッピングするべきである。しかしながら、上記で示したように、本発明の基礎をなす原理は、必然的に平坦な実表面の使用を必要とするのではない。何らかの曲率、または曲がった実表面が、代わりに使用され得る。実世界線の間の仮想交差部が決定、たとえば、計算され得るように、曲率、および/または表面がどのように変化するかが知られているか、または決定、たとえば、数学的に表され得る限り、これで十分である。
【0127】
さらに、了解されるべきであるように、表面は、ちょうど従来の較正物体の表面の場合のように、平滑であるべきである。従来の較正物体の場合と比較して、本明細書の実施形態に関する表面平滑性における特殊な要件はない。したがって、本明細書の実施形態のために使用される表面は、従来技術の較正物体の表面のように平滑性を有することができ、すなわち、そのため、正確さへの悪影響がある粗さがない。実際には、ほとんどどんな製作方法でも、金属またはプラスチックなどの表面材料とは無関係に、十分に平滑な表面を作り出すために問題はない。当業者はまた、実際には、表面粗さに起因する問題があるようになる場合、容易に気づくようになり、次いで、代わりに、別の十分に平滑な表面に確実に切り替え、および使用するようになる。
【0128】
いくつかの実施形態では、前記第2の実表面、たとえば、第2の実表面521bまたは526bが、第2の画像、たとえば、第2の画像540bまたは550b内でキャプチャされた反射光を引き起こすとき、第1の実表面521aまたは526aなどの第1の実表面が第1の画像、たとえば、第1の画像540aまたは550a内でキャプチャされた反射光を引き起こすときの、第1の実表面の位置および向きに対して決定された位置および向きを有し、あるいはその逆も同様である。言い換えれば、いくつかの実施形態では、前記第2の実表面は、光平面と交差し、第2の画像内でキャプチャされた反射光を引き起こす場合、光平面と交差し、第1の画像内でキャプチャされた反射光を引き起こす場合の、第1の実表面に対して決定された位置および向きを有し、またはその逆も同様である。
【0129】
これによって、望ましい仮想交差部を達成することが容易になる。実表面のうちの1つ、たとえば、第1のものは、たとえば、生じた実世界線を実世界座標において表すことが簡単になり得るように、第1の画像のための光平面内で知られている、たとえば、あらかじめ決定された位置および向きで配置され得る。第1の実表面に対して決定された他の、たとえば、第2の、実表面、ならびにその知られている位置および/または向きを用いて、第1の実表面ならびにその位置および向きに対して、かつ/または第1の実表面ならびにその位置および向きの支援を受けて、第2の画像のための第2の実表面を位置決めおよび/または方向付けすることが可能にされる。これによって、第2の実表面の位置決めおよび方向付けを達成し、それによって望ましい仮想交差部および較正点を達成するための簡略化された手順が可能になる。たとえば、上記で図5A～図5Gに関して説明したものなど、1つのかつ同じ較正物体の実表面部分を用いる実施形態では、較正物体は、第2の画像のための望ましいおよび決定された第2の実表面を生じるために、第1の画像の後で、単に物理的に再位置決めおよび/または再方向付けされ得る。いくつかの実施形態では、第1の画像と第2の画像との間の較正物体のあらかじめ定義された、および/またはあらかじめ決定された再位置決めおよび/または再方向付けがある。
【0130】
代替形態は、たとえば、2つの画像のための光平面内のそれら自体の絶対的なあらかじめ決定された位置および向きを用いて、たとえば、実表面を互いにより無関係に位置決めおよび方向付けすることである。このことは、第1および第2の実表面のための別個の較正物体の場合、好ましくなり得る。
【0131】
いくつかの実施形態では、第1および第2の実表面、たとえば、実表面521a～bまたは526a～bは、たとえば、較正物体520および525の場合のように、単一の較正物体の表面である。このことは、単一の較正物体とともに上記で、および本明細書の他の場所で示した理由のために、典型的には有利である。代替的に、第1および第2の実表面は、別個の較正物体、すなわち、それぞれの較正表面を提供する別個の較正物体の表面である。
【0132】
これらの実施形態のうちのいくつかでは、前記第1および第2の画像、たとえば、画像540a～bまたは550a～bの間の較正物体、たとえば、較正物体520または525の位置変更がある。位置の変更、すなわち、再位置決めは、第1の実表面、たとえば、第1の実表面521aまたは526aが、第1の画像540aまたは550aなどの第1の画像内の撮像のために光平面511と交差するところから、第2の実表面、たとえば、第2の実表面521bまたは526bが、第2の画像540bまたは550bなどの第2の画像内の撮像のために光平面511と交差する別の位置に、較正物体が位置を変更するようなものであるべきである。
【0133】
すなわち、位置変更は、第1および第2の画像内の第1および第2の実表面の前記撮像を達成するためのものである。
【0134】
異なるタイプの位置変更が、本明細書で説明するように可能である。少なくとも理論上は、較正物体を移動させるための代替形態は、光平面、および場合によっては、カメラも移動させることであるが、これは、典型的には、あまり良好でなく、あまり柔軟でない解決策であり、その理由は、多数の撮像システムがこれをサポートせず、典型的には、この場合は較正物体などの測定物体の位置を変更することのみが、はるかにより単純で、より汎用性があり、簡単であるからである。
【0135】
位置変更は、好ましくは、上述のように、望ましい較正点を達成するために、あらかじめ定義されるか、またはあらかじめ決定、すなわち、事前に決定される。
【0136】
位置変更の正確さは、較正がどのくらい良好になり得るかに影響を及ぼすが、本明細書の実施形態のそのようなものとしての較正原理は、それにもかかわらず機能するようになることを了解されたい。実際には、機械的位置決めおよび位置変更のための今日利用可能なデバイス、たとえば、線形ユニットは、とても正確であるので、本明細書の実施形態は、単一の画像内で撮像された較正物体上の物理的特徴および交差部によって正確さが制限される、上述の従来技術の方法を通して典型的に可能であるものよりも、より正確な較正を達成することができることがわかっている。
【0137】
いくつかの実施形態では、位置変更は、たとえば、較正物体位置決め構成436に対応するか、またはその中に備えられ得る、たとえば、いわゆる線形ユニットによる、較正物体の機械制御された機械的再位置決めを用いて達成される。市販の線形ユニット、または同様の機器は、マイクロメートル(μm)の大きさにおける正確さおよび精度で再位置決めを実行することができ、たとえば、絶対的な精度における約1μmが可能であり、それは、典型的には、大部分の実際的適用例にとって十分である。
【0138】
了解されるべきであるように、較正において使用される再位置決めのために必要とされる厳密な正確さおよび精度は、適用例の要件、画像センサーの解像度、撮像システムのジオメトリなどに依存する。特定の場合では、当業者は、どのような正確さおよび精度が十分であるかについて見つけ出すために算出し、かつ/または日常的なテストおよび実験を実行することが可能である。今日利用可能な再位置決めの前記マイクロメートルの正確さおよび精度とともに、本明細書のいくつかの実施形態の場合のような再位置決めを利用する較正が、光三角測量に基づく3D撮像システムの較正において使用される従来の較正物体の実際的および有利な代替形態になることが予想される。場合によっては、産業用ロボットさえも、機械的再位置決めのための十分な正確さを提供し得、そのような場合、特に、3D撮像システムがインストールされているところで、たとえば、3D撮像システムによって特定および/または測定された物体を拾い上げるなどの操作をするために、そのようなロボットがそれにもかかわらず使用される場合、使用するために好ましくなり得ることに留意されたい。
【0139】
較正物体の位置変更は、較正物体の位置変更を伴う実施形態では、支持表面にわたる、および/または支持表面に沿った、および/または支持表面上の較正物体の移動を伴い得る。それは、特に較正のための支持表面、または測定物体支持表面、すなわち、「ライブ」で、すなわち、較正後に撮像されることになる測定物体のためのものと同じ支持表面であり得る。したがって、支持表面は、物体が撮像システムによって、撮像システムが較正された後など、通常作動において撮像されることを支持し得る。たとえば、較正物体525は、第1の表面526aではなく、第2の表面526bが撮像されるように、カメラ530の視野に対して移動され得る。図6A～図6Cに関して説明および図示された状況は、これを例示するためにさらに良いものであり得る。
【0140】
したがって、較正物体は、典型的には水平に方向付けされた、かつ較正物体が撮像されるときにその上に載り得る支持表面に沿って、および/またはそれにわたって移動され得る。たとえば、較正物体は、その移動によって、支持表面上の第1の位置から第2の位置に移動され得る。移動は、有利には線形であり得、その理由は、線形移動が、典型的には、上記ですでに示したように、高い正確さおよび精度で達成することがより容易であるからである。いくつかの実施形態では、移動は、たとえば、図5A～図5Bの例の場合のように、較正物体の回転もしくは傾斜を備えるか、またはそれである。
【0141】
上記の実施形態のうちのいくつかでは、第1および第2の実表面、たとえば、実表面526a～bは、単一の較正物体、たとえば、較正物体525の別個の表面である。位置変更は、この場合、較正物体の移動を備え、たとえば、その移動から生じ得、すなわち、第1の表面ではなく、第2の実表面が光平面と交差するようになる。たとえば、図5E～図5Fの例の場合のように、較正物体525の再位置決めは、第1の実表面526aが第1の画像550a内の撮像のために光平面511と交差するその第1の位置から、第2の実表面526bが第2の画像550b内の撮像のために光平面511と交差する他の、第2の、位置へのものであり得る。位置変更は、少なくとも撮像されるとき、較正物体がその上に載っている、かつ/または較正物体を支持する支持表面に沿った、較正物体、たとえば、較正物体525の移動を備え得る。たとえば、較正物体は、その移動によって、図5E～図5Fに関して上述したように、支持表面上の第1の位置から第2の位置に移動され得る。いくつかの実施形態では、移動は、制御することが比較的簡単な移動である、較正物体の線形移動を備えるか、またはそれであり、新しい実世界座標が、そのような移動、ならびに較正物体のジオメトリおよび寸法についての知識から、比較的簡単に計算され得る。
【0142】
較正物体が支持表面上で移動および/または再位置決めされる実施形態による別の利点は、たとえば、較正物体上および/または支持表面上で、ガイドおよび/またはロック手段および/または構造がもたらされて、較正物体が移動前、移動中、および/または移動後に十分な正確さおよび精度をもつべきであるところで位置決めされるようになることが保証され、それによって、そのようなものとしての移動における要件の緩和または除去を可能にすることができることである。
【0143】
いくつかの実施形態では、図5A～図5Bの例の場合などにおいて、第1および第2の実表面、たとえば、実表面521a～bは、単一の較正物体、たとえば、較正物体520の同じ実表面である。位置変更は、第1の実世界線が形成されるときの光平面内の前記同じ実表面の向きとは異なる、第2の実世界線が形成されるときの光平面内の向きを、前記同じ実表面が有するように、前記同じ実表面が前記第1および第2の画像の間で傾斜されることを備え得る。
【0144】
したがって、たとえば、較正物体の傾斜または回転によって達成された表面傾斜は、第1および第2の画像のための異なるように傾斜され撮像された表面を生じ、前記仮想交差部は、これらの実施形態では、較正物体の同じ、すなわち、単一の、現実の、または物理的な表面から生じている。たとえば、較正物体520の傾斜を伴う再位置決めは、第1の実表面521aが第1の画像540a内の撮像のために光平面511と交差するその第1の位置から、傾斜を伴う再位置決め後の第1の実表面521aである、第2の表面521bが第2の画像540b内の撮像のために光平面511と交差する別の位置へのものであり得る。これらの実施形態は、極めて単純な較正物体の使用を可能にし、単一の実表面のみ、たとえば、平坦な実表面が使用され得、したがって、較正物体が、たとえば、フラットなおよび/または矩形の物体であり得ることを了解されたい。たとえば、フラットな較正物体の、そのような単一の平坦な実表面は、位置決めデバイス、たとえば、較正物体位置決め構成436によって、第1の位置において保持され得、平坦な実表面が、第1の画像540a内の撮像のための第1の実表面に対応する、ある傾斜を有して光平面511と交差する。次いで、同じ実表面が、第2の画像540b内の撮像のための第2の実表面に対応する、別の傾斜を有して光平面511と交差するようにするために、較正物体および平坦な実表面が回転または傾斜される。その場合でも、線形移動が、傾斜を達成するために使用され得る。これらの実施形態のうちのいくつかでは、較正物体は、上述したそのような測定物体支持表面、すなわち、「ライブ」で、すなわち、較正後に撮像されることになる測定物体のためのものと同じであり、かつ傾斜可能である、支持表面に対応し得る。たとえば、可動の、たとえば、傾斜可能で高さ調整可能な、そのような支持表面が使用され得る。しかしながら、実際には、これを回避することが望ましいことがあり、その理由は、この種類の支持表面が、典型的には、そのようなものとして較正以外の長時間作動に関与し、そのことが、較正のために維持することが望ましい精度および正確さにとって有害であり得るからである。
【0145】
第1および第2の実世界線の交差部を達成するための上記で説明した移動による任意のそのような再位置決めとは別個に、いくつかの実施形態では、すでに説明したものと同様の理由のために、同じく好ましくは線形で、較正物体に垂直であり、それによって高さ変動を達成するための移動があり得、すなわち、第1の表面および第2の表面が、カメラにより近く、かつ/またはカメラからさらに遠く離れて線形に移動され得、これらの表面が、画像センサーから異なる距離において撮像され得ることに留意されたい。それによって、本明細書で別個に説明するように、それぞれ、異なる画像内の各表面からの複数の平行線が達成され得、線の複数の交差部が提供され得、交差部が画像センサーエリアにわたって分散される結果となる。追加または代替として、図6A～図6Cに関して例示されたものなど、傾斜された較正物体表面の、異なる高さプロファイルをもつ、異なる部分を撮像することによって、異なる高さにおける実世界線の複数の交差部が達成され得る。
【0146】
動作802
画像センサー点544-1または554-1などの前記画像センサー点が、第1の画像540aまたは550aなどの第1の画像内の前記キャプチャされた光の強度ピークの位置に対応する第1の画像線、たとえば、第1の画像線542aまたは552aと、第2の画像540bまたは550bなどの第2の画像内の前記キャプチャされた光の強度ピークの位置に対応する第2の画像線、たとえば、第2の画像線542bまたは552bとの間の、第2の仮想交差部として提供される。
画像センサー点544-1または554-1などの前記画像センサー点が、第1の画像540aまたは550aなどの第1の画像内の前記キャプチャされた光の強度ピークの位置に対応する第1の画像線、たとえば、第1の画像線542aまたは552aと、第2の画像540bまたは550bなどの第2の画像内の前記キャプチャされた光の強度ピークの位置に対応する第2の画像線、たとえば、第2の画像線542bまたは552bとの間の、第2の仮想交差部として提供される。
【0147】
したがって、画像センサー点に対応する第2の仮想交差部は、別個の画像から、すなわち、画像センサーの異なる露光からの画像線の間にある。このことは、たとえば、物理的交差部からの、較正点が、単一の画像によってキャプチャされる、従来技術と比較され得る。
【0148】
本明細書の実施形態の場合のように、表面および仮想交差部を使用する利点は、背景技術および上記で説明したものなど、物理的交差部および点に関連する悪影響が回避され得ることである。また、製造することがより簡単かつより容易な較正物体が使用され得る。
【0149】
したがって、手短に言えば、図8に関して上記で説明した方法は、光三角測量に基づく3次元撮像のための、撮像システム405などの撮像システムの較正において使用するための、実世界および画像センサー対応点のペアの提供のためのものである。実世界点、たとえば、実世界点514-1または529-1は、第1の実世界線512aまたは527aなどの第1の実世界線と、第2の実世界線、たとえば、第2の実世界線512bまたは527bとの間の第1の仮想交差部として提供される。前記画像センサー点、たとえば、画像センサー点544-1または554-1は、第1の画像線542aまたは552aなどの第1の画像線と、第2の画像線、たとえば、第2の画像線542bまたは552bとの間の第2の仮想交差部として提供される。撮像システムによる第1の画像、たとえば、第1の画像540aまたは550aは、第1の実世界線を撮像するキャプチャされた光を備える。撮像システムによる第2の画像、たとえば、第2の画像540bまたは550bは、第2の実世界線を撮像するキャプチャされた光を備える。第1の画像線は、第1の画像内の前記キャプチャされた光の強度ピークの位置に対応し、第2の画像線は、第2の画像内の前記キャプチャされた光の強度ピークの位置に対応する。
【0150】
図8に関して上記で説明した原理は、光平面との前記実交差部を通して、光平面内の実世界線の間の第1の仮想交差部を生じ、それによって、上記で説明したように、光三角測量システムにおける前記撮像を通して、画像線の間の第2の仮想交差部も生じる、任意の第1および第2の実表面に対して機能することを了解されたい。
【0151】
画像がキャプチャされるときの光平面との交差部における前記実表面の実世界座標についての知識を用いて、それぞれの交差部に対応する実世界線が、実世界座標系の実世界座標において決定、たとえば、数学的におよび/または数値的に表され得る。
【0152】
第2の実交差部の実世界座標は、上記で説明したものなど、第1および第2の実表面を備える較正物体の位置変更から決定、たとえば、計算され得る。実世界座標は、実世界線およびそれらの仮想交差部を決定することを容易にするために、たとえば、撮像システムおよび光平面、ならびに/または位置変更に関して好適に選択された、好適な実世界座標系におけるものであり得る。
【0153】
原理上は、前記実表面および実世界線は、たとえば、その実世界座標を数学的にまたは数値的に決定することによって、較正の一部として決定され得るが、好ましくは、あらかじめ定義されるか、またはあらかじめ決定され、すなわち、実世界線が、実世界座標系における知られている座標を有するようになる。このことは、あらかじめ決定されたジオメトリおよび寸法をもち、少なくとも1つの実表面を有する、較正物体の正確な位置決めおよび/または再位置決めを伴い得るので、実表面が、実世界および画像センサー対応点の望ましいペアを形成するために好適な方法で、光平面と交差するようになる。
【0154】
実際には、望ましい、したがって、同じくあらかじめ決定され得る実世界点を達成し、それによって、前記位置における較正物体表面の撮像を通して、対応する画像センサー点も達成するために、たとえば、あらかじめ決定された方法で、光平面と交差する新しい位置への較正物体の移動を通して変更された位置になるように、たとえば、初期位置を用いて、光平面内で位置決めするために、光平面と交差し、かつ撮像されることになる表面をもつ較正物体は、あらかじめ決定され、たとえば、あらかじめ決定された望ましい寸法および形状で形成され得る。言い換えれば、較正物体を配置および移動するための命令も、あらかじめ決定され、較正物体に関連付けられ得る。したがって、実際には、撮像システムの較正において使用するための実世界および画像センサー対応点のいくつかのペアを達成することは、撮像システムを使用して、およびあらかじめ決定された命令に従って、すなわち、あらかじめ決定された方法で、あらかじめ決定された較正物体を配置、移動、および撮像することであり得る。前記位置変更を達成するための較正物体の移動は、較正物体位置決め構成436など、この目的のための構成によって有利に実行される。このことから、対応点の提供、および較正は、実際には、ユーザにとって比較的簡単な手順であり得、大幅に自動化され得ることを了解されたい。
【0155】
実世界点、およびしたがって第1の仮想交差部が位置するべきであるところは、いずれも、撮像システムによる測定物体の後続の「ライブ」撮像および測定物体における測定のために、すなわち、通常作動中に適切であり、したがって、較正のためにも適切である、光平面内のあらかじめ決定された位置であり得る。次いで、さらなるそのような実世界較正点が、関与する実世界線に関して好適に決定され得るので、較正のために適切である光平面の部分、すなわち、典型的には、前記通常作動中に測定物体によって交差されることになる光平面の部分内で分散された、さらなる実世界点が存在するようになる。その後、これは、光平面と交差するとき、前記実世界線を生じる表面を、較正において確実に使用することである。このことは、本明細書の他の場所で説明するように、1つもしくは複数の表面を有する、ある1つもしくは複数の較正物体の提供、および/または画像の間のこの/これらの較正物体の好適な操作を伴い得る。それぞれの実世界線は、それぞれの画像線として撮像されることになり、光三角測量ベースの撮像がどのように機能するか、およびこのための撮像システムがどのように構成されるかに起因して、実世界線が光平面内で交差するとき、画像線が仮想的に交差することになる。
【0156】
較正が実行される前でも、光平面内の実世界座標から画像センサー座標への数学的な粗いマッピングがあり、その逆も同様に存在することに留意されたい。この粗いマッピングは、撮像システムの知られている関係およびジオメトリ、ならびに撮像システムがどのように光三角測量のためにセットアップされているかから得られ、三角法によって決定され得る。しかしながら、上記で説明したように、このマッピングは、典型的には、十分に正確ではなく、したがって、較正がそれにもかかわらず必要とされるので、本明細書の実施形態などに基づいて、実世界および画像センサー対応点の間のマッピングを発見することが、典型的には好ましい。
【0157】
上記の方法、ならびに図7に関して説明した方法は、代替的に、撮像システムの較正において使用するための実世界点と画像センサー点との間のマッピングの、またはマッピングを発見する方法および/または動作として説明され得る。
【0158】
図9は、たとえば、カメラ430および/またはコンピューティングデバイス434など、撮像システム405に対応するかまたはその中に含まれる1つまたは複数のデバイス900が、図7および図8に関して説明した方法および動作を実行するように、どのように構成され得るかの実施形態を示すための概略ブロック図である。したがって、デバイス900は、光三角測量に基づく3次元撮像のための前記撮像システム、たとえば、撮像システム405の較正において使用するための、前記実世界および画像センサー対応点のペアの前記提供のためのものである。
【0159】
デバイス900は、処理手段、たとえば、プロセッサなどの1つもしくは複数の処理回路、回路構成を含む、1つもしくは複数のハードウェアモジュール、ならびに/または前記方法および/もしくは動作を実行するための1つもしくは複数のソフトウェアモジュールなど、処理モジュール901を備え得る。
【0160】
デバイス900は、コンピュータプログラム903を含むかまたは記憶するなど、備え得る、メモリ902をさらに備え得る。コンピュータプログラム903は、前記方法および/または動作を実行するために、デバイス900によって直接または間接的に実行可能な「命令」または「コード」を備える。メモリ902は、1つまたは複数のメモリユニットを備え得、本明細書の実施形態の機能および動作を実行することに関与するか、またはそれらを実行するための構成、データ、および/または値など、データを記憶するためにさらに配置され得る。
【0161】
さらに、デバイス900は、例示するハードウェアモジュールとして、データを処理すること、および、たとえば、符号化することに関与する処理回路構成904を備え得、1つまたは複数のプロセッサまたは処理回路を備えるか、またはそれに対応し得る。処理モジュール901は、処理回路構成904を備え、たとえば、「その形態で具現化される」か、または「それによって実現され」得る。これらの実施形態では、メモリ902は、処理回路構成904によって実行可能なコンピュータプログラム903を備え得、それによって、デバイス900は、前記方法および/または動作を実行するために作動可能であるか、または構成される。
【0162】
デバイス900、たとえば、処理モジュール901は、他のデバイスに情報を送信すること、および/または他のデバイスから情報を受信することなど、他のユニットおよび/またはデバイスへおよび/またはそれからの任意の通信に、たとえば、それを実行することによって関与するように構成された、入力/出力(I/O)モジュール905を備え得る。I/Oモジュール905は、適用可能であるとき、取得、たとえば、受信モジュール、および/または提供、たとえば、送信モジュールによって例示され得る。
【0163】
さらに、いくつかの実施形態では、デバイス900、たとえば、処理モジュール901は、本明細書の実施形態の動作を行うための例示するハードウェアおよび/またはソフトウェアモジュールとして、提供または較正モジュールのうちの1つまたは複数を備える。これらのモジュールは、処理回路構成904によって完全にまたは部分的に実装され得る。
【0164】
したがって、以下のようになる。
【0165】
デバイス900、および/または処理モジュール901、および/または処理回路構成904、および/またはI/Oモジュール905、および/または提供もしくは較正モジュールは、第1の実世界線と第2の実世界線との間の前記仮想交差部として、前記実世界点を提供することであって、
前記第1の実世界線が、第1の実表面と光平面との間の前記第1の実交差部に対応し、前記第1の実交差部からの前記反射光が、前記第1の画像内で撮像システムによって撮像され、
前記第2の実世界線が、第2の実表面と光平面との間の前記第2の実交差部に対応し、前記第2の実交差部からの前記反射光が、前記別の、第2の、画像内で撮像システムによって撮像される、ことを行うように作動可能であるか、または構成される。
前記第1の実世界線が、第1の実表面と光平面との間の前記第1の実交差部に対応し、前記第1の実交差部からの前記反射光が、前記第1の画像内で撮像システムによって撮像され、
前記第2の実世界線が、第2の実表面と光平面との間の前記第2の実交差部に対応し、前記第2の実交差部からの前記反射光が、前記別の、第2の、画像内で撮像システムによって撮像される、ことを行うように作動可能であるか、または構成される。
【0166】
デバイス900、および/または処理モジュール901、および/または処理回路構成904、および/またはI/Oモジュール905、および/または提供もしくは較正モジュールは、第1の画像内の前記キャプチャされた光の強度ピークの位置に対応する第1の画像線と、第2の画像内の前記キャプチャされた光の強度ピークの位置に対応する前記第2の画像線との間の、前記第2の仮想交差部として、前記画像センサー較正点を提供するようにさらに作動可能であるか、または構成される。
【0167】
図10は、前記方法および動作を上記で説明した前記デバイス900に実行させるためのコンピュータプログラムおよびその担体に関する、いくつかの実施形態を示す概略図である。
【0168】
コンピュータプログラムは、コンピュータプログラム903であり得、処理回路構成904および/または処理モジュール901によって実行されるとき、上記で説明したようにデバイス900に実行させる命令を備える。いくつかの実施形態では、コンピュータプログラムを備える担体、またはより詳細にはデータの担体、たとえば、コンピュータプログラム製品が提供される。担体は、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体、たとえば、図に概略的に示されているようなコンピュータ可読記憶媒体1001のうちの1つであり得る。したがって、コンピュータプログラム903は、コンピュータ可読記憶媒体1001上に記憶され得る。担体によって、一時的な伝搬信号が除外されることがあり、データの担体は、対応して非一時的なデータの担体と称されることがある。コンピュータ可読記憶媒体であるデータの担体の非限定的な例は、メモリカードもしくはメモリスティック、ディスク記憶媒体、または典型的にはハードドライブもしくはソリッドステートドライブ(SSD)に基づく大容量記憶デバイスである。コンピュータ可読記憶媒体1001は、コンピュータネットワーク1002、たとえば、インターネットまたはローカルエリアネットワーク(LAN)上でアクセス可能なデータを記憶するために使用され得る。コンピュータプログラム903は、純粋なコンピュータプログラムとしてさらに提供されるか、または1つもしくは複数のファイル内に含まれ得る。1つまたは複数のファイルは、コンピュータ可読記憶媒体1001上で記憶され、たとえば、サーバを介して、たとえば、図に示されているようなコンピュータネットワーク1002上で、たとえば、ダウンロードを通して利用可能であり得る。サーバは、たとえば、ウェブもしくはファイル転送プロトコル(FTP)サーバ、または同様のものであり得る。1つまたは複数のファイルは、たとえば、処理回路構成904による実行によって、上記で説明したように前記デバイスに実行させるために、前記デバイスへの直接的または間接的なダウンロード、および前記デバイス上の実行のための、たとえば、実行可能ファイルであり得る。1つまたは複数のファイルはまた、または代替的に、同じまたは別のプロセッサが、さらなるダウンロードおよび実行前にファイルを実行可能にするために、上記で説明したように前記デバイス900に実行させることを伴う、中間ダウンロードおよびコンパイルのためのものであり得る。
【0169】
上記で述べた任意の処理モジュールおよび回路は、ソフトウェアおよび/もしくはハードウェアモジュールとして、たとえば、既存のハードウェアにおいて、ならびに/または特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)などとして実装され得ることに留意されたい。また、上記で述べた任意のハードウェアモジュールおよび/または回路は、たとえば、単一のASICもしくはFPGA中に含まれ得るか、または個々にパッケージ化されるか、システムオンチップ(SoC)にアセンブルされるかにかかわらず、いくつかの別個のハードウェア構成要素の間で分散され得ることにも留意されたい。
【0170】
本明細書で説明したモジュールおよび回路構成は、ハードウェアモジュール、ソフトウェアモジュール、アナログおよびデジタル回路、ならびに/または、1つもしくは複数のプロセッサによって実行されるとき、デバイス、センサーなどが上記で説明した方法および動作を実行するように構成されるように、および/もしくはそれを実行するようにさせ得る、たとえば、メモリ内に記憶された、ソフトウェアおよび/もしくはファームウェアとともに構成された、1つもしくは複数のプロセッサの組合せを指すことがあることも、当業者は諒解されよう。
【0171】
本明細書での任意の識別子による識別は、暗黙的または明示的であり得る。識別は、たとえば、あるコンピュータプログラムまたはプログラムプロバイダのための、あるコンテキストにおいて一意であり得る。
【0172】
本明細書で使用する「メモリ」という用語は、デジタル情報を記憶するためのデータメモリ、典型的には、ハードディスク、磁気ストレージ、媒体、ポータブルコンピュータディスケットまたはディスク、フラッシュメモリ、ランダムアクセスメモリ(RAM)などを指すことがある。さらに、メモリは、プロセッサの内部レジスタメモリであり得る。
【0173】
また、第1のデバイス、第2のデバイス、第1の表面、第2の表面などの任意の列挙する用語は、そのようなものとして非限定的であると見なされるべきであり、その用語は、そのようなものとして、ある階層的関係を暗示しないことにも留意されたい。反対に、いかなる明示的な情報もない場合、列挙による命名は、異なる名称を達成する方法にすぎないと見なされるべきである。
【0174】
本明細書で使用する「ように構成される」という表現は、処理回路が、ソフトウェアまたはハードウェア構成を用いて、本明細書で説明する動作のうちの1つまたは複数を実行するように構成または適応されることを意味し得る。
【0175】
本明細書で使用する「数」または「値」という用語は、2進数、実数、虚数、または有理数など、任意の種類の数字を指すことがある。さらに、「数」または「値」は、文字(letter)または文字列(string of letters)など、1つまたは複数の文字(character)であり得る。また、「数」または「値」は、ビット列によって表され得る。
【0176】
本明細書で使用する「あり得る(may)」および「いくつかの実施形態では」という表現は、典型的には、説明する特徴が、本明細書で開示する任意の他の実施形態と組み合わせられ得ることを示すために使用されている。
【0177】
図面では、いくつかの実施形態のみにおいて存在し得る特徴は、典型的には、点線または破線を使用して描かれている。
【0178】
「備える(comprise)」または「備える(comprising)」という語を使用するとき、その語は、非限定的である、すなわち、「少なくとも～からなる(consist at least of)」を意味するものと解釈されるべきである。
【0179】
本明細書の実施形態は、上記で説明した実施形態に限定されない。様々な代替形態、変更形態、および均等物が使用され得る。したがって、上記の実施形態は、添付の特許請求の範囲によって定義される、本開示の範囲を限定するものとして解釈されるべきではない。
【符号の説明】
【0180】
105 撮像システム、システム
110、410、510 光源
111、211、511、611 光平面
112 光線
120 第1の測定物体、第1の物体
121 第2の測定物体、第2の物体
122 コンベヤベルト
123 座標系
130 カメラ、カメラユニット
141-1～141-N 輪郭画像
143 センサーベースの座標系
244 わずかにひずんだ多角形、多角形
320 従来技術の鋸歯形の較正物体、較正物体
340a 第1の輪郭画像、輪郭画像、画像
340b 第2の輪郭画像、輪郭画像、画像
342a、342b 輪郭線
405 撮像システム、デバイス
411 光、光平面
420 較正物体、測定物体
430 カメラ、デバイス
431 画像センサー
432 視野
434 コンピューティングデバイス、デバイス
436 較正物体位置決め構成
512a、527a 第1の実世界線、実世界線
512b、527b 第2の実世界線、実世界線
514-1、529-1 実世界点、実世界較正点
520、525、625 較正物体
521a 第1の実表面、第1の表面、表面、実表面
521b 第2の表面、表面、第2の実表面、実表面
526a 第1の実表面、実表面、第1の表面
526b 第2の表面、第2の実表面、実表面
530、630 カメラ
540a、550a 第1の画像、画像
540b、550b 第2の画像、画像、別の、第2の、画像
542a 第1の画像線、画像線
542b 第2の画像線、画像線
542c～d 画像線
544-1、554-1、654 画像センサー点
552a 第1の画像線
552b 第2の画像線
611@t1～611@t5、611@t6～611@t10 実世界線
627a 第1の平坦な表面、表面、第1の表面
627b 第2の平坦な表面、表面、第2の表面
900 デバイス
901 処理モジュール
902 メモリ
903 コンピュータプログラム
904 処理回路構成、プロセッサ
905 入力/出力(I/O)モジュール、I/Oモジュール
1001 コンピュータ可読記憶媒体
1002 コンピュータネットワーク
110、410、510 光源
111、211、511、611 光平面
112 光線
120 第1の測定物体、第1の物体
121 第2の測定物体、第2の物体
122 コンベヤベルト
123 座標系
130 カメラ、カメラユニット
141-1～141-N 輪郭画像
143 センサーベースの座標系
244 わずかにひずんだ多角形、多角形
320 従来技術の鋸歯形の較正物体、較正物体
340a 第1の輪郭画像、輪郭画像、画像
340b 第2の輪郭画像、輪郭画像、画像
342a、342b 輪郭線
405 撮像システム、デバイス
411 光、光平面
420 較正物体、測定物体
430 カメラ、デバイス
431 画像センサー
432 視野
434 コンピューティングデバイス、デバイス
436 較正物体位置決め構成
512a、527a 第1の実世界線、実世界線
512b、527b 第2の実世界線、実世界線
514-1、529-1 実世界点、実世界較正点
520、525、625 較正物体
521a 第1の実表面、第1の表面、表面、実表面
521b 第2の表面、表面、第2の実表面、実表面
526a 第1の実表面、実表面、第1の表面
526b 第2の表面、第2の実表面、実表面
530、630 カメラ
540a、550a 第1の画像、画像
540b、550b 第2の画像、画像、別の、第2の、画像
542a 第1の画像線、画像線
542b 第2の画像線、画像線
542c～d 画像線
544-1、554-1、654 画像センサー点
552a 第1の画像線
552b 第2の画像線
611@t1～611@t5、611@t6～611@t10 実世界線
627a 第1の平坦な表面、表面、第1の表面
627b 第2の平坦な表面、表面、第2の表面
900 デバイス
901 処理モジュール
902 メモリ
903 コンピュータプログラム
904 処理回路構成、プロセッサ
905 入力/出力(I/O)モジュール、I/Oモジュール
1001 コンピュータ可読記憶媒体
1002 コンピュータネットワーク
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図5F】
【図5G】
【図6A】
【図6B】
【図6C】
【図7】
【図8】
【図9】
【図10】
【外国語明細書】