知財求人 - 知財ポータルサイト「IP Force」
特許7509856画像フレームの時空間ボリュームにおける強度のピークの位置に関する情報を決定するための方法および配列
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-24
(45)【発行日】2024-07-02
(54)【発明の名称】画像フレームの時空間ボリュームにおける強度のピークの位置に関する情報を決定するための方法および配列
(51)【国際特許分類】
G01B 11/25 20060101AFI20240625BHJP
【ＦＩ】
G01B11/25 H
【請求項の数】
14
【外国語出願】
(21)【出願番号】P 2022189321
(22)【出願日】2022-11-28
(65)【公開番号】P2023088858
(43)【公開日】2023-06-27
【審査請求日】2022-12-01
(31)【優先権主張番号】21214925
(32)【優先日】2021-12-15
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】504048696
【氏名又は名称】シック アイヴィピー エービー
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】マティアス・ヨハンネソン
(72)【発明者】
【氏名】イェンス・エドハマー
【審査官】眞岩 久恵
(56)【参考文献】
【文献】特表２０１１－５０３６０９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００－１１／３０
Ｇ０１Ｃ ３／０６
Ｇ０６Ｔ ７／５２１
(57)【特許請求の範囲】
【請求項1】
光三角測量の一部として測定物体(320)から反射された光の感知からイメージセンサー(331)によって生成された画像フレームによって形成される時空間ボリューム(360、361)における強度のピークの位置に関する情報を決定するための方法であって、前記光三角測量が、異なる連続する瞬間に、前記測定物体(320)の異なる連続した部分が光源(310)によって照らされ、前記測定物体(320)からの反射光が前記イメージセンサー(331)によって感知され、それによって、前記時空間ボリューム(360、361)の各画像フレームが、それぞれの前記瞬間と、前記イメージセンサー(331)がそれぞれの前記瞬間に光を感知した前記測定物体(320)のそれぞれの部分との両方に関連付けられるように、少なくとも前記光源(310)および/または前記測定物体(320)を互いに対して移動させることに基づき、前記時空間ボリューム(360、361)が、前記測定物体(320)の特徴点が前記時空間ボリューム(360、361)内の位置にどのようにマッピングされるかに関連する時空間軌道にさらに関連付けられ、前記方法が、- 前記時空間ボリューム(360、361)における第1の仮定の強度のピークの位置(551a、651a)を取得するステップ(701)と、
- 前記時空間軌道のうち、前記第1の仮定の強度のピークの位置(551a、651a)に関連付けられる時空間軌道である第1の時空間軌道に沿って、前記第1の仮定の強度のピークの位置(551a、651a)の周辺で局所的に実行される時空間分析に基づいて第1の時空間分析位置(552a、652a)を計算するステップ(702)と、
- 前記第1の仮定の強度のピークの位置(551a、651a)および前記計算された第1の時空間分析位置(552a、652a)に基づいて前記強度のピークの位置に関する前記情報を決定するステップ(703)とを含む、方法。
【請求項2】
前記第1の仮定の強度のピークの位置(551a、651a)が、前記時空間ボリューム(360、361)の一部である画像フレームのピクセルのライン内にある請求項1に記載の方法。
【請求項3】
前記強度のピークの位置に関する前記情報の前記決定(703)が、- 前記第1の仮定の強度のピークの位置(551a、651a)と前記計算された第1の時空間分析位置(552a、652a)との間の前記時空間ボリュームにおける第1の位置の差(553a、653a)を計算すること(705)と、
- 前記計算された第1の位置の差(553a、653a)が特定の閾値未満である場合、前記第1の仮定の強度のピークの位置(551a、651a)を決定された強度のピークの位置として提供すること(707)とを含む請求項1または2に記載の方法。
【請求項4】
前記強度のピークの位置に関する前記情報の前記決定が、前記計算された第1の位置の差(553a、653a)が前記特定の閾値を超えている場合、n=2から開始して、少なくとも1回、以下のアクション、
a)第n-1の時空間軌道に沿った、第n-1の仮定の強度のピークの位置(551a、551b、651a、651b)よりも計算された第n-1の時空間分析位置(552a、552b、652a、652b)に近い別の新しい第nの仮定の強度のピークの位置(551b、551c、651b、651c)を取得すること(708)と、
b)前記時空間軌道のうち、前記第nの仮定の強度のピークの位置(551b、551c、651b、651c)に関連付けられる時空間軌道である第nの時空間軌道に沿って、前記第nの仮定の強度のピークの位置(551b、551c、651b、651c)の周辺で局所的に実行される時空間分析に基づいて第nの時空間分析位置(552b、552c、652b、652c)を計算すること(709)と、
c)前記第nの仮定の強度のピークの位置(551b、551c、651b、651c)と前記計算された第nの時空間分析位置(552b、552c、652b、652c)との間の前記時空間ボリュームにおける第nの位置の差(553b、553c、653b、653c)を計算すること(710)と、
d)前記計算された第nの位置の差(553b、553c、653b、653c)が前記特定の閾値未満である場合、前記第nの仮定の強度のピークの位置(551b、551c、651b、651c)を前記決定された強度のピークの位置として提供すること(713)と、
e)前記計算された第nの位置の差(553b、553c、653b、653c)が前記特定の閾値を超えている場合、n=n+1としてアクションa～e)を再び実行することとを実行することをさらに含む請求項3に記載の方法。
【請求項5】
アクションe)が、nも予め定義された整数N>2未満である場合にのみ、アクションa～e)を再び実行することを含む請求項4に記載の方法。
【請求項6】
アクションe)が、nが前記予め定義された整数N以上である場合、前記第nの仮定の強度のピークの位置(551b、551c、651b、651c)を前記決定された強度のピークの位置として提供すること(713)と、前記第nの仮定の強度のピークの位置を低信頼性に関連付けることとをさらに含む請求項5に記載の方法。
【請求項7】
前記強度のピークの位置に関する前記情報の前記決定が、- 最後の計算された位置の差(553a、553b、553c、653a、653b、653c)を、前記決定された強度のピークの位置の信頼性のインジケータとして提供すること(707、714)をさらに含む請求項3に記載の方法。
【請求項8】
前記強度のピークの位置に関する前記情報の前記決定が、- 前記第1の仮定の強度のピークの位置(551a、651a)と前記計算された第1の時空間分析位置(552a、652a)との間の比較を、前記第1の仮定の強度のピークの位置(551a、651a)が強度のピークの位置としてどれだけ信頼できるかを示す信頼性のインジケータとして提供すること(704)を含む請求項1に記載の方法。
【請求項9】
1つまたは複数のプロセッサ(904)によって実行されるときに1つまたは複数のデバイス(900)に請求項1に記載の方法を実行させる命令を含むコンピュータプログラム(903)。
【請求項10】
光三角測量の一部として測定物体(320)から反射された光の感知からイメージセンサー(331)によって生成された画像フレームによって形成される時空間ボリューム(360、361)における強度のピークの位置に関する情報を決定するための1つまたは複数のデバイス(900、301、330、300)であって、前記光三角測量が、異なる連続する瞬間に、前記測定物体(320)の異なる連続した部分が光源(310)によって照らされ、前記測定物体(320)からの反射光が前記イメージセンサー(331)によって感知され、それによって、前記時空間ボリューム(360、361)のそれぞれの画像フレームが、それぞれの前記瞬間と、前記イメージセンサー(331)がそれぞれの前記瞬間に光を感知した前記測定物体(320)のそれぞれの部分との両方に関連付けられるように、少なくとも前記光源(310)および/または前記測定物体(320)を互いに対して移動させることに基づき、前記時空間ボリューム(360、361)が、前記測定物体(320)の特徴点が前記時空間ボリューム(360、361)内の位置にどのようにマッピングされるかに関連する時空間軌道にさらに関連付けられ、前記1つまたは複数のデバイスが、前記時空間ボリューム(360、361)における第1の仮定の強度のピークの位置(551a、651a)を取得し(701)、
前記時空間軌道のうち、前記第1の仮定の強度のピークの位置(551a、651a)に関連付けられる時空間軌道である第1の時空間軌道に沿って、前記第1の仮定の強度のピークの位置(551a、651a)の周辺で局所的に実行される時空間分析に基づいて第1の時空間分析位置(552a、652a)を計算し(702)、
前記第1の仮定の強度のピークの位置(551a、651a)および前記計算された第1の時空間分析位置(552a、652a)に基づいて前記強度のピークの位置に関する前記情報を決定する(703)ように構成される、1つまたは複数のデバイス(900、301、330、300)。
【請求項11】
前記第1の仮定の強度のピークの位置(551a、651a)が、前記時空間ボリューム(360、361)の一部である画像フレームのピクセルのライン内にある請求項10に記載の1つまたは複数のデバイス。
【請求項12】
前記1つまたは複数のデバイスが前記強度のピークの位置に関する前記情報を決定するように構成されることが、前記1つまたは複数のデバイスが前記第1の仮定の強度のピークの位置(551a、651a)と前記計算された第1の時空間分析位置(552a、652a)との間の前記時空間ボリュームにおける第1の位置の差(553a、653a)を計算し(705)、
前記計算された第1の位置の差(553a、653a)が特定の閾値未満である場合、前記第1の仮定の強度のピークの位置(551a、651a)を決定された強度のピークの位置として提供する(707)ように構成されることを含む請求項10または11に記載の1つまたは複数のデバイス。
【請求項13】
前記1つまたは複数のデバイスが前記強度のピークの位置に関する前記情報を決定するように構成されることが、前記1つまたは複数のデバイスが前記計算された第1の位置の差(553a、653a)が前記特定の閾値を超えている場合、n=2から開始して、少なくとも1回、
a)第n-1の時空間軌道に沿った、第n-1の仮定の強度のピークの位置(551a、551b、651a、651b)よりも計算された第n-1の時空間分析位置(552a、552b、652a、652b)に近い別の新しい第nの仮定の強度のピークの位置(551b、551c、651b、651c)を取得し(708)、
b)前記時空間軌道のうち、前記第nの仮定の強度のピークの位置(551b、551c、651b、651c)に関連付けられる時空間軌道である第nの時空間軌道に沿って、前記第nの仮定の強度のピークの位置(551b、551c、651b、651c)の周辺で局所的に実行される時空間分析に基づいて第nの時空間分析位置(552b、552c、652b、652c)を計算し(709)、
c)前記第nの仮定の強度のピークの位置(551b、551c、651b、651c)と前記計算された第nの時空間分析位置(552b、552c、652b、652c)との間の前記時空間ボリュームにおける第nの位置の差(553b、553c、653b、653c)を計算し(710)、
d)前記計算された第nの位置の差(553b、553c、653b、653c)が前記特定の閾値未満である場合、前記第nの仮定の強度のピークの位置(551b、551c、651b、651c)を前記決定された強度のピークの位置として提供し(713)、
e)前記計算された第nの位置の差(553b、553c、653b、653c)が前記特定の閾値を超えている場合、n=n+1としてa～e)を再び実行するように構成されることをさらに含む請求項12に記載の1つまたは複数のデバイス。
【請求項14】
前記1つまたは複数のデバイスが前記強度のピークの位置に関する前記情報を決定するように構成されることが、前記1つまたは複数のデバイスが前記第1の仮定の強度のピークの位置(551a、651a)と前記計算された第1の時空間分析位置(552a、652a)との間の比較を、前記第1の仮定の強度のピークの位置(551a、651a)が強度のピークの位置としてどれだけ信頼できるかを示す信頼性のインジケータとして提供する(704)ように構成されることを含む請求項10に記載の1つまたは複数のデバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書の実施形態は、撮像システムによって実行される光三角測量(light triangulation)から生成される画像フレームによって形成される時空間ボリュームにおける強度のピークの位置に関する情報を決定するための方法および配列に関するものであり、より詳細には、本明細書の実施形態は、時空間ボリュームにおける時空間分析(space time analysis)に基づく。
【背景技術】
【0002】
工場および物流の自動化のための産業用ビジョンカメラおよびシステムは、シーンおよび/または物体の3次元(3D)画像がキャプチャされる3Dマシンビジョンに基づく場合がある。3D画像によって言及されるのは、従来の画像のように2次元(2D)のみのピクセルに関する情報、たとえば、強度および/または色ではなく、または少なくともそのような情報だけでなく、「高さ」または「深さ」の情報も含む画像である。すなわち、画像の各ピクセルは、画像内のピクセルの位置に関連し、撮像されたもの、たとえば物体の位置にマッピングされるそのような情報を含む場合がある。そして、3D画像から物体の特徴、すなわち、物体の3Dの特徴に関する情報を抽出し、たとえば、様々な3D画像フォーマットに変換するための処理が適用されてよい。高さに関するそのような情報は、レンジデータと呼ばれることがあり、レンジデータは、したがって、撮像される物体の高さ測定、または言い換えると、物体のレンジもしくは距離測定からのデータに対応することがある。代替的または追加的に、ピクセルは、たとえば、撮像領域における光の散乱または光の特定の波長の反射に関連するような材料特性に関する情報を含む場合がある。
【0003】
したがって、ピクセル値は、たとえば、ピクセルの強度、および/またはレンジデータ、および/または材料特性に関連する場合がある。
【0004】
ラインスキャン画像データは、たとえば、一度にピクセルの1ラインずつ画像データを感知し、提供するように構成されたセンサーを有するカメラによって、画像の画像データが一度に1ラインずつスキャンまたは提供されるときに生じる。ラインスキャン画像の特別なケースは、いわゆる「光のシート(sheet of light)」、たとえば、レーザーライン3D三角測量によって提供される画像データである。多くの場合、レーザーが好ましいが、「光のシート」を提供することができるその他の光源、たとえば、集中し続け、広がりすぎない光、または言い換えると、「構造化された(structured)」光、たとえば、レーザーもしくは発光ダイオード(LED)によって提供される光を提供することができる光源も、使用され得る。
【0005】
3Dマシンビジョンシステムは、そのような光のシート三角測量に基づくことが多い。そのようなシステムには、たとえば、そのラインに沿って物体のプロファイルに対応する物体の3Dの特徴がキャプチャされ得る、物体上の光またはレーザーのラインをもたらす、特定の光のパターンとしての光のシートなどの、特定の光のパターンで物体を照らす光源が存在する。そのようなラインで物体をスキャンすること、つまり、ラインおよび/または物体の移動をともなうラインスキャンを実行することによって、複数のプロファイルに対応する、物体全体の3Dの特徴がキャプチャされ得る。
【0006】
三角測量のために光のシートを使用する3Dマシンビジョンシステムまたはデバイスは、光もしくは光のシート三角測量、またはレーザー光を使用するときには単にレーザー三角測量に基づく3D撮像用のシステムまたはデバイスと呼ばれることがある。
【0007】
概して、光三角測量に基づいて3D画像を生成するために、撮像される物体からの反射光が、カメラのイメージセンサーによってキャプチャされ、強度のピークが、画像データ内で検出される。ピークは、物体から反射された、たとえば、レーザーのラインに対応する入射光のある撮像された物体の場所に対応する位置で発生する。検出されたピークの画像内の位置は、ピークをもたらした光が反射された物体上の位置にマッピングされる。
【0008】
レーザー三角測量カメラシステム、すなわち、光三角測量に基づく撮像システムは、レーザーのラインを物体に投射して、目標の物体の表面から高さの曲線を生成する。関係するカメラおよび光源に対して物体を移動させることによって、目標の物体の様々な部分からの高さの曲線に関する情報が、画像によってキャプチャされ、それから、目標の物体の3次元表現を生成するために組み合わされ、使用され得る。
【0009】
この技術は、光、典型的にはレーザーのラインが物体に投射され、物体によって反射されるときのその光のラインの画像を取り込むこととして説明される場合があり、それから、画像内で、反射されたレーザーのラインの位置を抽出する場合がある。これは、通常、任意の通常のピーク発見アルゴリズムを使用して画像フレーム内で強度のピークを特定することによって達成され、概して、センサーの列ごとに実行される。しかし、箱の縁のような幾何学的な不連続か、または明暗の移り変わりによるチェス模様のような強度の不連続かのどちらかの不連続が存在するとき、通常の方法は、レーザーのラインが画像内の複数のピクセルを包含する幅を持つことが原因であるアーティファクトに悩まされる。
【0010】
そのようなアーティファクトを低減するための1つの解決策、および通常のピーク発見アルゴリズムを使用することに変わる代替策は、時空間三角測量(space time triangulation)または時空間分析と呼ばれる技術であり、たとえば、CURLESS Bら、「Better optical triangulation through spacetime analysis」、COMPUTER VISION、1995. PROCEEDINGS.、FIFTH INTERNATIONAL CONFERENCE ON CAMBRIDGE、MA、USA、1995年6月20～23日、LOS ALAMITOS、CA、USA、IEEE COMPUT. SOC、US、1995年6月20日(1995-06-20)、ページ987～994、XP010147003 ISBN: 978-0-8186-7042-8を参照されたい。着想は、構造化された、たとえば、レーザーの光の反射の時間発展を、レーザーのラインを通る点を追って分析するというものである。ガウス包絡線(Gaussian envelope)に対応するレーザーの幅またはプロファイルが、経時的にセンサー上に写し出されることが利用される。したがって、強度のピークの座標は、原理的には、物体の特徴点が経時的にセンサー座標にどのように映し出されるか、つまり、マッピングされるかに対応する軌道をたどるセンサー画像を通じた、言い換えると、時空間ボリュームにおけるガウス分布の平均を探索することによって見つけられ得る。ピークのセンサー位置は、深さを示し、時間は、レーザーの中心の横方向の位置を示す。論文は、原理を非常によく説明しており、また、通常のピーク発見アルゴリズムに関連する前記アーティファクトの説明もしている。論文で提示された技術は、少し簡略化すると、以下のアルゴリズムによって示され得る。
1)画像フレームがキャプチャされ、画像は、時空間画像の時空間ボリュームを形成する(各画像は通常の光三角測量と同様にしてキャプチャされ得る)。
2)時空間画像が、予め決定された時空間角度(space time angle)だけ傾けられる(skewed)。
3)光の強度のガウス分布の統計が、傾けられた座標において分析され、ピークの位置を表す平均または中心位置が、特定される。
4)元の座標に戻すように傾けることが実行され、つまり、行(row)と時間との両方の次元で、ピークの位置が元の座標に戻すように傾けられる。
1)画像フレームがキャプチャされ、画像は、時空間画像の時空間ボリュームを形成する(各画像は通常の光三角測量と同様にしてキャプチャされ得る)。
2)時空間画像が、予め決定された時空間角度(space time angle)だけ傾けられる(skewed)。
3)光の強度のガウス分布の統計が、傾けられた座標において分析され、ピークの位置を表す平均または中心位置が、特定される。
4)元の座標に戻すように傾けることが実行され、つまり、行(row)と時間との両方の次元で、ピークの位置が元の座標に戻すように傾けられる。
【0011】
その後、位置は、ピークの位置が通常通り特定されたときと同様にして、撮像された物体の3D画像またはモデルを生成するために使用され得る。
【0012】
時空間ボリュームにおけるピークの位置の発見は、時空間ボリュームにおける軌道に沿った光の強度の分布を分析することとして説明されることも可能であり、論文における軌道は、時空間角度だけ傾けられた直線であると仮定される。より一般化すると、時空間分析の手法は、時空間ボリュームにおけるそのような軌道に沿った光の強度の分布を見ることとして説明され得、強度だけを見る代わりにその中心位置を見つけ、画像フレームごとにピークを見つけることが可能である。そのような軌道は、撮像された物体の特徴点が、光源、すなわち、レーザーのラインなどの光を通して移動するときに画像内で可視であるとき、時空間ボリューム内をどのように移動するかに対応すると考えられ得ることが分かる。特徴点がレーザーのラインの中心を通過する、時空間ボリュームにおける位置を見つけることが望ましい。
【0013】
前記論文は、とりわけ、センサーと物体との間の幾何学的および光学的関係ならびに物体の動きを入力とする数式に基づいて、時空間角度と、ひいては軌道とが解析的に計算され得ること、およびどのように計算され得るかを教示する。しかし、論文においては、時空間角度に関する上述の数式を導出するために、いくつかの仮定、たとえば、センサーが直交している(orthographic)という仮定、および物体が光学的三角測量の実行中に測定システムに対して一定の速度で移動するという仮定がなされる。解析的に導出された時空間角度と、ひいては導出された軌道とは、標準的な撮像レンズを介した投影、センサーに接続された光学系の二次反射(secondary reflection)および/または不完全性などの二次的影響を考慮しておらず、測定システムに対する物体の速度が変化する、すなわち一定でない場合に適用するのに適さない。
【0014】
EP 2 063 220 B1は、元の時空間分析技術のいくつかの問題に対する解決策を開示し、測定画像の時空間ボリューム内の軌道が、システム設定などが測定物体(measure object)のために使用されるのと同じであるようにして、較正段階において使用するために、基準物体を用いた決定方法によってどのようにして確立されてよいかを示す。したがって、時空間角度または軌道を解析的に決定するための新しい数式を導出するのではなく、解決策は、基準物体からの記録された測定データから決定された軌道の延長に基づく。手法は、より高い柔軟性をもたらし、上記のそのような二次的影響などにも対処することができる。測定画像および時空間ボリュームの異なる領域に関して、異なる軌道が決定され得る。さらに、方法は、直線的でない軌道を決定するために使用され得る。EP 2 063 220 B1に提示された実施形態は、軌道の延長の仮定に基づいており、仮定を使用するときのアーティファクトの量を決定し、量が予め決定された閾値未満になるかまたは最小値に達するまで、新しい仮定などを用いて繰り返す。軌道または対応する時空間角度が決定されたとき、これらは、測定物体の測定画像の時空間ボリュームにおける光の強度の分布について調べ、その中心位置を特定するためにたどられ得る。主な原理は、前記論文において開示された元の方法と同じであるが、より実用的な軌道が決定され得るので、結果は、強度のピーク検出のための時空間分析の手法の向上した実用的適用性である。
【0015】
しかし、前記論文およびEP 2 063 220 B1のような時空間分析に基づく解決策は、いくつかの欠点および実用上の問題に関連付けられる。たとえば、それらの解決策は、完全な時空間ボリュームと、ひいてはそれを形成する測定画像の完全な集合とにアクセスすることができることに基づいている。それによって、解決策は、センサーの近くに実装することまたはセンサーと統合されることが難しい。また、それらの解決策は、通常のピーク発見アルゴリズムに比べて、非常に大量のデータを処理することを必要とし、メモリおよび計算の点で重い。速度が重要なとき、従来技術の手法は、適さない場合がある。
【先行技術文献】
【特許文献】
【0016】
【文献】EP 2 063 220 B1
【非特許文献】
【0017】
【文献】CURLESS Bら、「Better optical triangulation through spacetime analysis」、COMPUTER VISION、1995. PROCEEDINGS.、FIFTH INTERNATIONAL CONFERENCE ON CAMBRIDGE、MA、USA、1995年6月20～23日、LOS ALAMITOS、CA、USA、IEEE COMPUT. SOC、US、1995年6月20日(1995-06-20)、ページ987～994、XP010147003 ISBN: 978-0-8186-7042-8
【発明の概要】
【発明が解決しようとする課題】
【0018】
以上に鑑みて、目的は、実用的な実装により好適な、光三角測量および時空間分析に基づく方法を提供するなど、従来技術に対する1つまたは複数の改良または代替を提供することである。
【課題を解決するための手段】
【0019】
本明細書の実施形態の第1の態様によれば、目的は、光三角測量の一部として測定物体から反射された光の感知からイメージセンサーによって生成された画像フレームによって形成される時空間ボリュームにおける強度のピークの位置に関する情報を決定するための方法によって達成される。異なる連続した瞬間に、測定物体の異なる連続した部分が光源によって照らされ、測定物体からの反射光がイメージセンサーによって感知されるように、少なくとも光源および/または測定物体を互いに対して移動させることに基づく前記光三角測量。それによって、時空間ボリュームの各画像フレームは、それぞれのそのような瞬間と、イメージセンサーがそれぞれの瞬間に光を感知した測定物体のそれぞれの部分との両方に関連付けられる。前記時空間ボリュームは、測定物体の特徴点が時空間ボリューム内の位置にどのようにマッピングされるかに関連する時空間軌道にさらに関連付けられる。前記時空間ボリューム内の第1の仮定の強度のピークの位置(hypothetical intensity peak position)(HIPP1)が、取得される。そして、第1の時空間軌道に沿って、第1の仮定の強度のピークの位置の周辺で局所的に実行される時空間分析に基づいて、第1の時空間分析位置(space time analysis position)(STAP1)が計算される。前記時空間軌道のうち、第1の仮定の強度のピークの位置に関連付けられる、すなわち、第1の仮定の強度のピークの位置を通過する時空間軌道である第1の時空間軌道。強度のピークの位置に関する前記情報は、HIPP1および計算されたSTAP1に基づいて決定される。
【0020】
本明細書の実施形態の第2の態様によれば、目的は、1つまたは複数のプロセッサによって実行されるときに、1つまたは複数のデバイスに第1の態様による方法を実行させる命令を含むコンピュータプログラムによって達成される。
【0021】
本明細書の実施形態の第3の態様によれば、目的は、第2の態様によるコンピュータプログラムを含む担体(carrier)によって達成される。
【0022】
本明細書の実施形態の第4の態様によれば、目的は、光三角測量の一部として測定物体から反射された光の感知からイメージセンサーによって生成された画像フレームによって形成される時空間ボリュームにおける強度のピークの位置に関する情報を決定するため1つまたは複数のデバイスによって達成される。異なる連続した瞬間に、測定物体の異なる連続した部分が光源によって照らされ、測定物体からの反射光がイメージセンサーによって感知されるように、少なくとも光源および/または測定物体を互いに対して移動させることに基づく前記光三角測量。それによって、時空間ボリュームの各画像フレームは、それぞれのそのような瞬間と、イメージセンサーがそれぞれの瞬間に光を感知した測定物体のそれぞれの部分との両方に関連付けられる。前記時空間ボリュームは、測定物体の特徴点が時空間ボリューム内の位置にどのようにマッピングされるかに関連する時空間軌道にさらに関連付けられる。前記1つまたは複数のデバイスは、前記時空間ボリューム内の第1の仮定の強度のピークの位置(HIPP1)を取得するように構成される。前記1つまたは複数のデバイスは、第1の時空間軌道に沿って、HIPP1の周辺で局所的に実行される時空間分析に基づいて第1の時空間分析位置(STAP1)を計算するようにさらに構成される。前記時空間軌道のうち、HIPP1に関連付けられる時空間軌道である第1の時空間軌道。さらに、前記1つまたは複数のデバイスは、HIPP1および計算されたSTAP1に基づいて強度のピークの位置に関する前記情報を決定するように構成される。
【0023】
いくつかの実施形態において、強度のピークの位置に関する情報の決定は、HIPP1と計算されたSTAP1との間の時空間ボリュームにおける第1の位置の差PD1の計算を含む。計算されたPD1が予め決定されてよい特定の閾値以下である場合、決定された強度のピークの位置としてHIPP1が提供される。そうではなくPD1が前記閾値を超えている場合、STAP1により近い新しいHIPP2が取得され、たとえば、選択されてよい。1回または複数回の反復によって、いくつかの実施形態によれば、さらなるSTAPおよびPD、たとえば、HIPP2の局所的周辺の時空間分析に基づくSTAP2およびPD2が提供されることが可能であり、PD2が閾値と比較され得、以下同様である。このようにして、改善されたHIPPが、実現されることが可能であり、結果は、通常の時空間分析と同じぐらい良好であるかまたはより一層良好であることが可能である。同時に、本明細書の実施形態は、通常の時空間分析よりも効率的に、より少ないリソースで実施され得、リアルタイムまたはリアルタイムに近い実行のためにより良好に適応される。動作するために画像データの完全な時空間ボリュームにアクセスすることができる必要がなく、または各HIPPの局所的周辺の画像データがあれば十分である。これは、イメージセンサーによって提供される画像フレームの部分集合と、これらの画像フレームによって形成される部分的時空間ボリュームの画像データとで動作する実装をイメージセンサーと密接に関連して容易にする。
【0024】
いくつかの実施形態において、強度のピークの位置に関する情報の決定は、HIPP1が強度のピークの位置としてどれぐらい信頼できるかを示す信頼性のインジケータとして、HIPP1と計算されたSTAP1との間の比較を提供することを含む。これらの実施形態は、HIPP1が通常のピーク発見アルゴリズムによって決定されたときに特に有利である場合があり、それは、信頼できるピークを見つける際にアルゴリズムがどれだけ良好または不良であったかについての、ならびに/あるいは信頼できないピークの位置が、たとえば、除外され、使用されないか、または修正および/もしくは交換され得るように信頼できないピークの位置を特定するために使用され得る貴重な情報をそれが提供するからである。
【0025】
したがって、本明細書の実施形態は、実施形態が時空間分析に基づいているおかげで、通常のピーク発見アルゴリズムによって可能なよりも改善された、より正確なピークの位置を可能にするだけでなく、実用的な実装を容易にし、追加的または代替的に、通常のピーク発見アルゴリズムに従って決定された、または反復を用いる本明細書の実施形態に基づいて決定されたピークの位置の信頼性または品質について調べるために使用され得る。
【0026】
本明細書の実施形態の例は、以下で短く説明される添付の概略的な図面を参照してより詳細に説明される。
【図面の簡単な説明】
【0027】
【図1】本明細書の実施形態に関連する画像を提供するためにも使用され得る従来技術の撮像システムの例を概略的に示す図である。
【図2】画像フレームによって形成され、時空間分析のための時空間軌道を有する時空間ボリュームの従来技術の例を概略的に示す図である。
【図3】本明細書の実施形態を実施するように構成され得る撮像システムの簡略化された例を概略的に示す図である。
【図4】時空間分析および本明細書の実施形態の背後にある原理の理解を深めるための概略図である。
【図5A】本明細書のいくつかの実施形態に従って、仮定の強度のピークの位置(HIPP)および時空間分析位置(STAP)がどのようにして反復的に提供され、使用され得るかを概略的に示し、説明するために使用される第1の例の図である。
【図5B】本明細書のいくつかの実施形態に従って、仮定の強度のピークの位置(HIPP)および時空間分析位置(STAP)がどのようにして反復的に提供され、使用され得るかを概略的に示し、説明するために使用される第1の例の図である。
【図7A】上記に基づく、本明細書の実施形態による方法の実施形態を概略的に示す流れ図である。
【図7B】上記に基づく、本明細書の実施形態による方法の実施形態を概略的に示す流れ図である。
【図7C】上記に基づく、本明細書の実施形態による方法の実施形態を概略的に示す流れ図である。
【図8A】本明細書の実施形態が適用されたときの結果との定性的な比較のために通常のピーク発見アルゴリズムが使用されたときの光三角測量の結果を示す図である。
【図8B】本明細書の実施形態が適用されたときの結果との定性的な比較のために通常のピーク発見アルゴリズムが使用されたときの光三角測量の結果を示す図である。
【発明を実施するための形態】
【0028】
本明細書の実施形態は、例示的な実施形態である。これらの実施形態は、必ずしも相互に排他的でないことに留意されたい。ある実施形態からの構成要素は、別の実施形態に存在すると黙示的に仮定されてよく、それらの構成要素がその他の例示的な実施形態においてどのように使用されてよいかは、当業者に明らかであろう。
【0029】
図1は、背景技術において述べられたようなタイプの撮像システムの例、すなわち、目標の物体の3Dの特徴に関する情報をキャプチャするための光三角測量に基づく、3Dマシンビジョン用の撮像システム100を概略的に示す。システムは、下でさらに説明される本明細書の実施形態が動作可能な画像を提供するために使用され得る。システム100は、図において、正常な動作の、すなわち、典型的には、較正が実行され、したがって、システムが較正された後の状況で示されている。システム100は、ここでは、背景技術において述べられたように光のシート三角測量の形態で光三角測量を実行するように構成される。システム100は、図において光のシートとして例示され、図示される特定の光のパターン111で撮像されるオブジェクトを照らすための光源110、たとえば、レーザーをさらに含む。光は、レーザー光であってよいが、必ずしもレーザー光でなくてもよい。示された例において、目標の物体は、自動車の形の第1の測定物体120と、歯車構造物の形の第2の測定物体121とによって例示される。特定の光のパターン111が物体に入射するとき、これは、物体上の特定の光のパターン111の投射に対応し、これは、特定の光のパターン111が物体と交差するときに見られる場合がある。たとえば、示された例においては、光のシートとして例示される特定の光のパターン111が、第1の測定物体120上の光のライン112を生じる。特定の光のパターン111は、物体によって、より詳細には、交差において、すなわち、示された例では光のライン112において物体の部分によって反射される。測定システム100は、イメージセンサー(図1には示さず)を含むカメラ130をさらに含み、カメラおよびイメージセンサーは、特定の光のパターンが、物体によって反射されるときに、イメージセンサーへの入射光となるように、光源110および撮像される物体に対して配列される。イメージセンサーは、入射光を画像データに変換するための、通常はチップとして実装される配列である。反射によってイメージセンサーへの前記入射光を生じる物体の前記部分は、それによって、カメラ130およびイメージセンサーによってキャプチャされてよく、対応する画像データが生成され、さらなる使用のために提供されてよい。たとえば、示された例においては、特定の光のパターン111が、第1の測定物体120の自動車の屋根の一部上の光のライン112において、カメラ130およびイメージセンサーに向かって反射され、カメラ130およびイメージセンサーは、それによって、自動車の屋根の前記部分についての情報を有する画像データを生成し、提供してよい。測定システム100の動作条件および幾何学的配置、たとえば、イメージセンサーの座標が、撮像される物体およびそのコンテキスト(context)に関連する座標系123、たとえば、デカルト座標系の座標などのワールド座標にどのように関連するかの知識を用いて、画像データは、好適なフォーマットで撮像される物体の3Dの特徴、たとえば、3D形状またはプロファイルに関する情報に変換されてよい。前記3Dの特徴、たとえば、前記3D形状またはプロファイルに関する情報は、任意の好適なフォーマットで3Dの特徴を記述するデータを含んでよい。
【0030】
物体の複数の部分が照らされ、イメージセンサー上に反射光を生じるように、たとえば、光源110および/または第1の測定物体120もしくは第2の物体121などの撮像される物体を移動させることによって、実際には、概して、物体をスキャンすることによって、たとえば、第1の測定物体120の示されたプロファイル画像140-1～140-Nなどの物体の複数の連続したプロファイルに対応する物体のより完全な3D形状を記述する画像データが、生成されてよく、各プロファイル画像は、カメラユニット130のイメージセンサーがプロファイル画像をもたらす光を感知したときに特定の光のパターン111が反射された第1の物体120の輪郭を示す。図に示されるように、典型的には光源110およびカメラユニット130が静止した状態で、特定の光のパターン112を通して物体を移動させるために、コンベアベルト122などが使用されてよく、または物体のすべての部分、もしくは少なくとも光源110に面するすべての部分が照らされ、カメラが撮像するのに望ましい物体のすべての部分から反射された光を受けるように、特定の光のパターン111および/もしくはカメラ130が物体の上を移動させられてよい。
【0031】
以上から理解されるように、たとえば、第1の測定物体120の、カメラ130およびそのイメージセンサーによって提供される画像フレームは、プロファイル画像140-1～140-Nのいずれか1つに対応する場合がある。背景技術において述べられたように、プロファイル画像140-1～140-Nのいずれかに示される第1の物体の輪郭の各位置は、典型的には、イメージセンサーによってキャプチャされた画像データにおける強度のピークの特定、およびこれらの強度のピークの位置を見つけることに基づいて決定される。システム100および通常のピーク発見アルゴリズムは、典型的には、各画像フレームにおいて、ピクセル列ごとに強度のピークを探索するように構成される。センサー座標がu、vであり、たとえば、図に示されるように、uがイメージセンサーの行に沿ったピクセル位置に対応し、vが列に沿ったピクセル位置に対応する場合、画像フレームの各位置uに関して、vに沿った探索されるピークの位置が存在し、画像フレーム内の特定されたピークが、図に示されるように、1つのそのようなきれいなプロファイル画像をもたらす場合があり、画像フレームおよびプロファイル画像の全体が、第1の物体120の3D画像を生成するために使用され得る。
【0032】
図2は、たとえば、撮像システム100によって生成される画像フレームまたは測定画像の集合を概略的に示す。ここでは、例として、4つの瞬間、たとえば、t1～t4における4つの画像または画像フレームIM1～IM4がそれぞれ示される。各画像フレームは、カメラ130のイメージセンサーによって生成されてよい。画像フレームは、測定物体、たとえば、撮影物体120を映し出す場合があり、各画像フレームは、したがって、プロファイル画像140のうちの1つを生成するために使用され得る感知された光の形態の情報を含む場合がある。画像IM1～IM4は、積み重ねられ、画像フレームの時空間ボリューム(STV)360を形成する。各画像フレームIMは、画像の横方向の次元uおよび画像の縦方向の次元vを有し、したがって、時空間ボリューム360は、3つの次元を有し、時間の次元tが、第3の次元である。測定画像IM1～IM34の生成中に測定物体、たとえば、第1の測定物体120がカメラ130および光源110に対して移動するので、撮像された測定物体の例示的特徴点240は、(u, v, t)座標を有する時空間ボリューム360内の例示的時空間軌道262にマッピングされる。STV 360の一部の位置においては、例示的特徴点からの反射が、より高い強度を生じ、強度のピークを形成した。図2は、時空間分析において使用されるいくつかの関係を例示し、視覚化するためのものに過ぎないことに留意されたい。実際には、完全な測定物体の画像による時空間ボリュームは、数百の画像フレーム、および少なくとも、4つだけよりもずっと多くの画像フレームを含む場合がある。また、例において、軌道は、平行で直線的で、uが変化しない場合があり、それによって、各軌道は、図に例として示された軌道262と全く同じように、角度によって記述され得、これは、背景技術において述べられた元の時空間分析の論文において使用された状況である。しかし、上で示されたように、実際には、軌道は、uにおいても位置を変える場合があり、時空間ボリュームを直線的に通るとは限らない。そのような軌道は、たとえば、背景技術においてやはり検討されたように、基準物体を使用して較正段階で決定され得る。
【0033】
図3Aは、1つまたは複数の測定物体の3Dの特徴に関する情報をキャプチャするための光三角測量に基づく例示的な撮像システム300を概略的に示す。撮像システム300は、本明細書の実施形態を実装するために使用されてよい。示されたシステムは、それぞれ特定の位置に配列された1つの光源310および1つのカメラ330を有する基本構成に対応し、光三角測量、たとえば、レーザー三角測量に好適であり、および/またはそのような光三角測量のために構成される。したがって、システム300は、図1のシステム100に対応するが、本明細書の実施形態に従って作動するように構成されてよい。測定物体320が示されており、測定物体320は、第1の測定物体120に対応する場合があり、カメラ230の視野331内に少なくとも部分的に位置するところが示されている。光源210は、測定物体によって反射される特定の光のパターン、たとえば、光のシートおよび/またはレーザーのラインの形態の光311で測定物体を照らし、反射光が、カメラ330によってキャプチャされる。通常の光三角測量と同様に、測定物体320が照らされ、画像がキャプチャされてよい。システムは、たとえば、コンベアベルトによるなどして測定物体320を移動させるように構成されてよく、それによって、測定物体320が、光源310からの光によって完全に照らされるようになり、ならびに/またはシステムは、同じことを達成するために光源および/もしくはセンサーを有するカメラを移動させるように構成されてよい。光源310およびカメラ330は、通常、互いに対して固定された位置に配列される。
【0034】
カメラ330は、従来技術のカメラであり、たとえば、図1のシステム100のカメラ130に対応する場合があり、図1に関連して上で検討された同じまたは同様のイメージセンサーである場合があるイメージセンサー331を含んでよい。カメラ330およびイメージセンサー331によって提供される画像フレームおよび/または画像フレームから導出される情報は、カメラ330の外部、たとえば、コンピュータなどのコンピューティングデバイス301に、さらなる処理のために転送、たとえば、送信することが望ましい場合がある。そのようなさらなる処理は、追加的または代替的に、別個のコンピューティングユニットまたはデバイス(図示せず)、すなわち、画像プロセッサ131とは別であるが、カメラ330またはカメラ330を含むユニットにやはり含まれる、たとえば、統合されるコンピューティングユニットまたはデバイスによって実行されてよい。
【0035】
本明細書の実施形態を詳細に説明する前に、背景技術において示された従来技術および問題が詳しく説明され、本明細書の実施形態が基づくいくつかの原理が導入され、説明される。
【0036】
図3Bは、たとえば、測定物体320を撮像するときに撮像システム300によって生成される画像フレームの集合を概略的に示す。示された画像フレームは、測定物体320のフルスキャンからの画像フレームを含んでよい時空間ボリュームSTV 360を形成する。図においては、すべて含んだまたは完全なSTV 360の部分集合である部分的時空間ボリューム(pSTV)361の例も示されている。pSTVは、たとえば、完全な時空間ボリュームの予め決定された数の連続した画像フレーム、たとえば、STV 360を形成する画像フレームの完全なシーケンスの部分的シーケンス、たとえば、L=Kである状況に関して図示されたように、画像フレームの全体のうちの画像フレームIMiを中心とするような、画像フレームIMiの周辺の画像フレームIMi-K ... IMi+Lによって形成されてよい。たとえば、撮像された測定物体の完全な時空間ボリューム、たとえば、STV 360が500個の画像フレームIM1～IM500によって形成されると仮定される場合、第1のpSTVが、画像フレームIM1～IM15の部分的シーケンスから形成され得、第2のSTVが、画像フレームIM2～IM16の部分的シーケンスから形成され得、第3のpSTVが、IM3～IM17から形成され得、以下同様である。
【0037】
pSTV 361には、たとえば、IMi内に位置する例示的位置340と、また、このようにpSTV 361内の位置にマッピングされ、図ではIMi内の位置にマッピングされるところが示されている例示的特徴点340の軌道である部分的時空間軌道362とが示されている。それは、部分的STV 362の画像データにのみ関係するので、部分的軌道と命名されるが、STV 360、すなわち、STV全体の時空間軌道に基づき、その一部であること、たとえば、pSTV 361を通過するSTV 360の軌道の一部であるか、もしくはそのような軌道に基づいて形成され得る。
【0038】
背景技術において述べられた従来技術の教示では、センサーからの画像フレームの完全な積み重なり、たとえば、完全なSTV360が使用されるが、本明細書の実施形態は、積み重なりの一部、たとえば、pSTV 361に適用可能である。本明細書の実施形態は、完全な測定物体の画像フレームの完全な積み重なりをカバーするためにパイプライン式に有益なように実施され得る。
【0039】
たとえ本明細書の実施形態が従来技術の時空間分析の原理に基づくとしても、本明細書の実施形態に基づいて、pSTV内に位置する強度のピークの位置が決定され得る。本明細書の実施形態に従って第1のpSTVに関して強度のピークの位置および/または強度のピークの位置についての情報が決定されるのと同時に、第2の部分集合の画像フレームが、イメージセンサーによって感知され、提供され得る。したがって、より少ないデータが、同時に記憶および提供される必要があり、すべての画像フレームおよび完全な時空間ボリュームが利用可能になる前に、位置が特定され得る。
【0040】
図4は、時空間分析および本明細書の実施形態の背後にある原理および関係の理解を深めるための概略図である。図は、撮像システム300の動作および測定物体320の撮像から生じるような、レーザー三角測量からの画像フレームのシーケンスの時空間ボリュームの部分集合または部分的シーケンスを表すと考えられ得る。部分的シーケンスは、たとえば、STV 360の一部であってよく、ここでは、3つの画像フレームIMi-1 ... IMi+1を含む。この部分的シーケンスは、測定物体がレーザーのライン431またはレーザーの光のシートを通って移動したときの測定物体の特徴点440をキャプチャしたと仮定する。特徴点440は、時空間ボリューム内の軌道をたどり、照らされた場合、可視である。しかし、レーザーのライン431は図に示されるように幅があるので、1回の機会または時点に限らず、特徴点440を照らす。また、図においてレーザーのライン431の釣り鐘形状によって示されるよう試みられるように、強度は、幅にわたって変化する。光が測定物体から反射して戻ってくるとき、光の分布が、やはり影響を受け得る。
【0041】
したがって、特徴点440は、レーザーのライン431をその幅にわたってサンプリングしているとみなされ得、その結果、画像IM1～3内の特徴点440は、特徴点440を照らす光に応じて3つの異なる光の強度でサンプリングされることになる。強度サンプルは、図に概略的に示されるように、瞬間ti-1 ... ti+1、すなわち、画像フレームがキャプチャされたときにキャプチャされる。したがって、同じ特徴点440が、3つの異なる連続した画像フレームにおいて、異なる位置の3つの強度値を生じる場合がある。
【0042】
図中の「上」は強度レベルであり、画像フレームまたはセンサー平面における位置ではないが、ただし、これらの位置は、撮像された特徴点440が前記画像フレームを通る時空間ボリューム内の軌道をたどるときに概してやはり変化することに留意されたい。3つの画像フレームは、特徴点440のサンプルがこれらの画像フレームに属していることを示すためだけに示される。特徴点が移動する時空間軌道に関して、撮像システムは、特徴点が言うまでもなく時間的にも移動することに加えて、特徴点が実世界において、たとえば、図1に示されたように、たとえば、y方向にのみまたは実質的にy方向にのみ移動するように配列されてよい。概して、これは、センサー座標および時空間ボリューム内の特徴点が、時間tに加えて、uとvとの両方で移動する、すなわち、その時空間軌道がすべての座標(u, v, t)において変化する場合がある結果となる。
【0043】
図4からさらに分かるように、特徴点440がレーザーのラインの中心を通過するときの時間的な実際の位置は、画像フレームIMiおよびIMi+1にそれぞれ関連する瞬間tiとti+1との間にある。したがって、レーザーのラインの中心は、直接サンプリングされないが、それでも時空間ボリュームにおいて特定され得る。真の中心の通過が発生するときおよび場所の再現は、たとえこれがフレームの間であるときでも、複数のフレームを見ることによって実現され得る。中心点を中心に対照的にだけ見ることに限定されないが、これは、検出の精度を上げるために理にかなっている場合がある。信号、すなわち、時空間ボリュームにおける光の分布を再現することができるために、少なくとも3つの画像フレームからの実際のサンプルが典型的に必要とされることは、理解され得る。実際には、5または7つの画像フレームが最小として使用される場合があるが、画像データを有する9、11、15、または31個の画像フレームなどのより多くの画像フレームが、各pSTVを形成するために使用するのに望ましい場合がある。
【0044】
時空間ボリュームにおける時空間軌道の知識を用いて、光の分布がより知られており、光の分布が中心位置を特定するために利用され得る方向に光源をサンプリングする特徴点をたどるまたは追跡することが可能である。これは、たとえ実際の中心がいずれの画像フレームにおいても直接サンプリングされないとしても、光の分布の中心位置を見つけるために従来技術の時空間分析において利用される。本明細書の実施形態に関しては、仮定の強度のピークの位置の軌道についての情報を取得することが、光の分布を再現するため、および、たとえば、その中心位置を見つけるためにどのサンプルを使用すべきかについての情報を提供する。
【0045】
既に述べられたように、通常の時空間分析は、時空間ボリューム全体で実行され、時空間軌道に沿った光の分布の見つかった中心が、実際のピークの位置を表すと仮定され得る。
【0046】
しかし、本明細書の実施形態において、出発点は、第1の仮定の強度のピークの位置(HIPP)、すなわち、第1のHIPPまたはHIPP1であり、時空間分析は、完全な時空間ボリュームの一部を使用して、局所的にのみ実行される。時空間分析によって特定された中心位置、すなわち、時空間分析位置(STAP)は、特徴点の正しいピークの位置であると仮定されない。STAPは、むしろその代わりに、HIPPと比較するためおよびHIPPを評価するために使用される。それらの間の位置の差は、HIPPの品質の指標とみなされ得る。指標、たとえば、差が、HIPPが遠すぎることを示す場合、HIPPは破棄され得、および/または新しい改善されたHIPPが、以前のHIPPとそのSTAP、すなわち、時空間分析によって特定された位置とに基づいて提供され得る。これが、繰り返され、または反復され、次第に良くなる仮定のピークの位置を得ることができる。一部のSTAPは、たとえば、不良な第1の仮定の強度のピークの位置が原因であるアーティファクトに対応する。しかし、本明細書の実施形態は、そのような「望ましくない」または誤ったピークの位置を特定することを可能にし、したがって、それらのピークの位置は、使用されることを防止され得るか、または少なくとも、ピークの位置が測定物体の3D画像を形成するために使用されるときにより少ない影響を及ぼし得る。しかし、本当のピークの位置が、通常の時空間分析と同様の結果を用いる、すなわち、通常のピーク検出アルゴリズムのみによって可能であるよりも良いピークの位置を見つけるための前記反復および改善された仮定のピークの位置(改善された仮説)によって特定され得る。しかし、従来技術とは対照的に、本明細書の実施形態は、同時に、時空間分析が実行され、利用され得るようになるまで完全な時空間ボリュームが利用可能であることを必要としないという利点を有する。上述のように、部分的時空間ボリュームを形成する画像フレームの部分的シーケンスの局所的データが利用可能であり、そのような局所的データに対して動作すれば十分である。
【0047】
したがって、本明細書の実施形態は、たとえば、好ましくは通常の強度のピーク発見アルゴリズム、たとえば、画像フレームの列内のピークの位置を見つけるための通常の強度のピーク発見アルゴリズムによって特定されたピークの位置である第1の仮定の強度のピークの位置(HIPP)(HIPP1)から始まるHIPPを使用することに基づいて検討され得る。そして、上述のようにHIPP1の周辺で局所的に実行され得、したがって、画像フレームの前記部分集合からの、したがってHIPP1の局所的周辺からのデータのみを必要とする時空間分析の結果に基づいて、HIPP1が評価される。時空間分析のための時空間軌道は、従来技術と同様に決定され得、たとえば、本明細書の実施形態を適用する前の較正段階の間に基準物体を使用することによって決定または予め決定された、完全にまたは部分的に予め決定された時空間軌道が、使用され得る。
【0048】
時空間分析が、たとえば、仮定の強度の位置と時空間分析位置(STAP)との間の時空間における大きすぎる位置の差(PD)によって特定され得る、HIPPが十分に信頼できない、たとえば、十分に正確でないかまたは品質が低すぎることを示す場合。典型的には、HIPPを通過する軌道に沿って時空間分析によって見つかった光の分布の中心位置であるSTAP。そのとき、新しいより良い仮定の点が結果に基づいて選択されること、新しい時空間分析が実行されることなどが可能である。すなわち、局所的にのみ実行され得る時空間分析を使用する、たとえば、HIPPの周辺のウィンドウ(window)からの画像データを使用する反復的な改善によって、通常のピーク発見アルゴリズムと比較して改善されたピークの位置を決定し得、従来技術における時空間分析の適用と同様の利点がある。これらの利点は、レーザーのラインの強度のサンプリングがより一貫したものになる、および測定物体の強度の変化および/もしくは表面の不連続が原因であるアーティファクトに悩まされないもしくは比較的悩まされないように時間および空間内のサンプリング点を使用するという利点を含む。
【0049】
さらに、本明細書の実施形態は、通常のピーク発見アルゴリズムまたは本明細書のいくつかの実施形態による改善された仮定のピークの位置に基づいて提供される仮定のピークの位置、たとえば、HIPP1の信頼性および/または精度を示す指標を提供するために使用され得る。指標は、たとえば、信頼できない、不正確、および/または望ましくないものとして示される仮定のピークの位置をもたらすデータを破棄するために使用され得る品質の指標とみなし得、その品質の指標は、それらが光三角測量画像においてアーティファクトを引き起こすことが知られているノイズ、反射、またはその他の現象から生じそうであることを示し得る。たとえば、反射、ノイズなどの副次的効果に起因するアーティファクトが原因である望ましくないピークの位置は、たとえ本明細書のいくつかの実施形態において適用される多数の反復の後であっても、安定状態に達する可能性が低い。
【0050】
本明細書の実施形態は、たとえば、測定物体の完全な時空間ボリュームにおける位置ごとのそのような品質の指標を提供するために使用されてよく、この指標は、時空間不整合(space-time-inconsistent)位置を削除するために使用され、測定物体のより良い、より正確な3D画像を可能にすることができる。
【0051】
本明細書の実施形態による結果が通常の時空間分析と同様であることは、上で述べられた。少し意外なことに、実施形態による方法は、通常の時空間分析よりも改善された精度を有することさえあり得ることが分かった。改善は、本明細書の実施形態が、通常の時空間分析のように時空間ボリュームを傾け、それから元に戻すことを必要としないことに起因していると考えられる。
【0052】
図5A～図5Bは、たとえば、仮定の強度のピークの位置(HIPP)が決定された強度のピークの位置として使用されるのに十分なだけ良好になるまで、本明細書のいくつかの実施形態に従って、HIPPおよび時空間分析位置(STAP)がどのようにして反復的に提供され、使用され得るかを概略的に示し、説明するために使用される第1の例である。
【0053】
図5Aは、測定物体320または120などの測定物体からの反射されたレーザーのラインの一部をキャプチャした画像フレーム、たとえば、第iの画像フレームIMiの一部を示すビットマップピクチャである。画像フレームIMiは、時空間ボリューム(STV)の一部、より詳細には、上述のようにまるごとのまたは完全なSTVの一部である部分的STV(pSTV)を形成する画像フレームのシーケンスの一部である。画像フレームIMiは、ここでは、たとえば、IMiの前の7つの画像フレームおよび後の7つの画像フレームを含む部分的シーケンスの一部であってよい。言い換えると、使用される画像データは、画像フレームIMi-7からIMi+7までであってよい。
【0054】
キャプチャされたレーザーのラインは、図5Aにおいて可視であり、強度が変化する幅を有する。IMiの列において、最初のHIPP1 551aが、たとえば、通常のピーク発見アルゴリズムによって取得されており、図5Aに丸印として示され、図5Bの「開始」の図にも示されている。図5Aは、IMi内のHIPP1を通過する時空間軌道に沿ったサンプル位置である細いバツ印を付けられたサンプル点も概略的に示す。図5Aにおいて細いバツ印のラインによって表される軌道は、IMiおよびこの画像フレームに関連する瞬間における投射として示されているが、実際には、軌道は、pSTV内の軌道であり、時間的位置も変えることに留意されたい。表示された軌道は、軌道の原理を視覚化するためだけのものである。また、軌道に沿って移動するとき、および軌道が、たとえば、次の画像フレームIMi+1を通過するとき、上のピクチャに示されているものは、IMi+1からの画像データによって置き換えられ、可視化されるべきであり、すなわち、図5Aに示されているものは、時空間ボリュームにおける特定の瞬間に関するものであるに過ぎないことに留意されたい。
【0055】
図5Aには、本明細書の、以下で説明されるいくつかの実施形態に従って、2回の反復の後に十分に良好なHIPP、ここではHIPP3 551cが選択された、示された軌道に沿った位置に対応する星印も示されている。
【0056】
ここで考慮される時空間ボリュームは部分的であるので、HIPP1に関して取得される軌道も、たとえば、部分的時空間軌道362に対応する部分的軌道であることに留意されたい。上で既に述べられたように、軌道自体に関する情報は、従来技術と同様にして取得でき、したがって、この情報は、ここでの実施形態の適用の前に取得される場合がある。したがって、本明細書の実施形態に関連する軌道は、本明細書の実施形態が適用される時点で予め決定されており、部分的時空間ボリュームに適用されるときには部分的であると考えられ得る。
【0057】
時空間ボリュームにおけるサンプリングは、通常、補間によって行われることにさらに留意されたい。すなわち、生データ、すなわち、イメージセンサーによって提供される画像フレームの画像データは、「整数」の(u, v, t)位置に関するサンプルを有し、以下で説明される処理で使用され、本明細書の実施形態に関連する場合があるサブピクセル位置(u, v, t)の点を取得するために、再サンプリングが行われる。言い換えると、処理に使用される、時空間ボリューム内の位置および座標は、キャプチャされた画像フレームに関連する正確なセンサーピクセル位置および瞬間に対応するキャプチャされた画像フレームの瞬間および位置である必要はなく、これらの間に位置することも可能である。これは、従来技術における時空間分析と同様である。
【0058】
いずれにしても、HIPP1 551aに関連する時空間軌道は、IMi内のHIPP1 551aを通過し、画像フレームIMi-7からIMi+7も通過する。軌道に沿ったサンプリングされた強度がプロットされる場合、結果は、図5Bの「開始」の図であり、この図は、したがって、HIPP1 551aを通過する軌道に沿って光またはむしろ強度の分布を示す。HIPP1 551aは、たとえば、HIPP1を通る軌道が部分的時空間軌道362に対応する場合、例示的特徴点340に関して図3Bにプロットされた点に対応するとみなされ得る。図5Bの開始の図に示された光の分布の中心位置は、この図においてバツ印を付けられており、時空間分析による第1の位置、すなわち、第1の時空間分析位置STAP1 552aに対応する。この位置は、例においては、時間的にIMiとIMi+1との間に位置する。図からやはり分かるように、HIPP1とSTAP1との間に、位置の差(PD)、すなわち、第1の位置の差PD1 553aが存在する。差は、横軸に沿った時間差によって表される図5Aの最も下の図にある。HIPP1が実際の、つまり、正しいピークの位置である場合、時空間分析によれば、STAP1がHIPP1にあるはずであるので、ここで、差は、HIPP1が信頼できるまたは正確なピークの位置とみなされるためには大きすぎる。何が特定のシステムおよびセットアップなどのために大きすぎる差とみなされるのかは、試験およびありふれた実験から突き止められ得る。時間差および閾値が使用されるとき、閾値は、連続する2つの画像フレームの間の時間の何分の1かであってよい。最大の許容される差に対応する閾値は、本明細書の実施形態の適用前に取得され得る。したがって、本明細書の実施形態の動作原理に関して、特定の閾値が、本明細書の実施形態が適用される時点で仮定される、実際には、たとえば、予め決定されていることが可能である。
【0059】
完全な時空間ボリュームが分析されないか、またはまだ利用可能でさえない場合があるので、光の分布の発見された中心、すなわち、STAPがそのまま実際のピークの位置であると仮定され得ないことに留意されたい。そうではなく、HIPP1が十分に良好であるとみなされない場合、新しいHIPPが取得される。次のHIPP、示された例においてはHIPP2 551bを、HIPP1を通る前記軌道に沿って位置し、光の分布の特定された中心位置、すなわち、ここではSTAP1により近いが、ちょうどこの中心位置にはなくまたはこの中心位置ではない位置として選択することが、概してより効果的であることが判明している。たとえば、HIPP2 551bは、好ましくは、図に示されるように、HIPP1とSTAP1との間の位置として選択される。HIPP2が、図5Bの「開始」の図のHIPP1とSTAP1の位置との間の位置として選択されたとき。
【0060】
そして、最初の反復1では、HIPP2が、HIPP1の代わりに使用され、図5Bの「反復1」の図の中央に示されている。このため、例においては、画像データがHIPP2の周辺で、HIPP2を通る軌道に沿って再サンプリングされ、その後、基本的に、上述の対応する手順が、HIPP1の代わりにHIPP2に関して繰り返され得る。示された例においては、したがって、「開始」の図と比較して「反復1」の図では、画像データの再サンプリングされた値が使用され、これは、HIPP1に示される強度値が、2つの図で全く同じではないことを明らかにする。HIPP2を中心とした画像データからのサンプルによる第2の部分的軌道に対応するHIPP2の再サンプリングされた軌道は、図5Bの示された「反復1の図」をもたらす。
【0061】
したがって、結果は、図5Bの「反復1」の図に示されるように、HIPP2を通過する軌道に沿い、HIPP2 551bを中心とする新しい第2の光の分布である。
【0062】
前記2回目の反復において、HIPP2の周辺の光の分布の中心が特定され、すなわち、STAP2 552bが見つけられ、位置の差PD2 553bが取得され、閾値と比較され、すなわち、HIPP1に関して上述されたのと同様の方法である。今度の差はより小さいが、図においてまだ特定可能であることが分かる。閾値によればPD2も大きすぎるため、さらに別の同様の反復、反復2が実行され、「反復2」の図に示されるように、HIPP3 551cおよび第3の光の分布をもたらす。今回は、HIPP3の位置とSTAP3 552c、たとえば、第3の光の分布の中心との間にはほとんど何の差もないことが分かる。この差、すなわち、PD3 553cは、例においては十分に小さく、閾値未満である。したがって、HIPP3は、信頼できる強度のピークの位置または高品質のピークの位置、すなわち、正確な時空間座標に位置する測定物体の撮像された実際の特徴点に対応するはずの、さらに使用するためのピークの位置であるとみなされる。HIPP3によるピークの位置、すなわち、図5の上のピクチャ内の星印は、したがって、最初のHIPP1、すなわち、丸印よりもずっと高い品質を有する。
【0063】
また、示された光の分布は、時空間分析が軌道に沿って実行されるときに予想されるように、ガウス分布に似た形状を有することも分かる。
【0064】
上で述べられたように、時空間ボリュームにおいて補間が使用され、したがって、使用される位置は、必ずしも時空間ボリュームを形成する特定の画像フレーム内の位置であるとは限らない。したがって、図5Bの図の横軸にある印は、印の間の距離が画像フレームの間の時間に対応するが、必ずしも画像フレーム内の位置を示す印であるとは限らない。HIPP1が画像フレーム内の位置である場合、HIPP1が図5Bの「開始」の図において中心位置、たとえば、0の位置にあるので、「開始」の図の印は、画像フレームが位置する時間的な時空間ボリュームの位置に対応する。しかし、HIPP2およびHIPP3を中心とした「反復1」および「反復2」の図においては、通常、印は、画像フレームの位置を示さない。
【0065】
上で既に述べられたように、図5Bの図の光の分布は、それぞれのHIPPを時間的中心として示されている。これは、各HIPPが部分的時空間ボリュームにおいて時間的中心に位置しているとみなされ得る。別の見方は、HIPPの周辺の、すなわち、HIPPを中心においた時間ウィンドウが適用されていると考えることであり得る。時間ウィンドウは、HIPPとともに使用されるpSTVおよび画像データを決定するために検討され得る。そして、時空間ボリュームが、HIPPを通る軌道に沿って、このウィンドウ内、または決定されたpSTV内でサンプリングされる。
【0066】
図6A～図6Bは、図5A～図5Bおよび第1の例と同様の図を示すが、第1のHIPP、ここではHIPP1 651aが不良な出発点であり、たとえば、いずれの実質的な強度のピークの位置からも遠いときに、それがどのように見える場合があるかを示すための第2の例である。図6に関連して上で説明された主な原理は、同じである。最初のHIPP1は、ここでもまた、画像フレームIMiに対応する場合がある上のビットマップピクチャにおいて丸印によって表される。下でさらに説明される最後のHIPP、ここではHIPP3 651cが、上のピクチャにおいて星印として示されている。
【0067】
第1の例と同様に、HIPP1の周辺の画像フレームのシーケンスからの画像データが使用され、画像フレームは完全なSTVのpSTVを形成し、好ましくはHIPP1がpSTVを形成する画像フレームの真ん中にある。たとえば、IMiが上のビットマップピクチャに示された画像フレームであり、HIPP1がこの画像フレーム内に位置していると仮定される場合、pSTVは、画像フレームIMi-7～IMi+7によって形成される場合がある。上の図のHIPP3に到達するための反復の原理は、図5A～図5Bの第1例と同じである。したがって、HIPP1 651aとSTAP1 652aとの間にPD1 653aがあり、HIPP2 651bとSTAP2 652bとの間にPD2 653bがあり、HIPP3 651cとSTAP3 652cとの間にPD3 653aがある。
【0068】
図6A～図6Bにおいては、「開始」の図の最初の位置の差PD1 653aが「反復2」の図の後の位置の差PD3 653cより大きかったが、それでも、PD3がHIPP3に関する大きな差に対応することが分かる。さらなる反復は、差をさらに小さくする可能性があるが、十分な改善が達せられ得るかどうかは定かではなく、すなわち、さらなるHIPPは、上述のように選択された場合、閾値に達するかまたは閾値を下回る差をもたらさない場合がある。多数の反復によってピークの位置を「追いかける」ことに時間を費やす代わりに、存在せず、見つけられない場合さえある、および/または信頼できるとみなされないピークの位置、たとえ閾値を超える差にしか到達していなくても、何度か反復した後に停止する方が概して良い。したがって、この数は最大反復回数であってよく、予め決定されていてよい。したがって、第2の例の最大反復回数が2回である場合、図6の最初のHIPP、ここではHIPP1から開始するとき、HIPP3の後にそれ以上の反復は実行されず、したがって、HIPP3が反復的に提供された最後のHIPPとなる。
【0069】
最後のHIPP、たとえば、HIPP3がその差に関連付けられる場合、差は、最後のHIPPに関する品質の指標、または信頼性および/もしくは低信頼性のインジケータとして使用され得る。
【0070】
既に、HIPP1に関する差は、そのような信頼性のインジケータまたは品質の指標として使用される可能性があり、そして、それは、通常のピーク発見アルゴリズムによって検出されたピークの位置に関するものである場合があることが分かる。したがって、本明細書の実施形態は、通常のピーク発見アルゴリズムによって可能なよりも改善された、より正確なピークの位置を実現するために使用され得るだけでなく、追加的または代替的に、通常のピーク発見アルゴリズムに従って決定された、または反復を用いる本明細書の実施形態に基づいて決定されたピークの位置の信頼性または品質について調べるために使用され得る。そのような品質の指標は、測定物体の3D画像またはモデルを提供するために、決定されたピークの位置を使用すべきか否か、または決定されたピークの位置がどの程度使用されるかを評価するために使用され得る。
【0071】
たとえば、完全な測定物体および完全な時空間ボリュームに関して、通常のピーク発見アルゴリズムおよび/または上述のような反復によって決定されるような、いくつかの決定されたピークの位置が存在するとき、上述の差のような指標が提供され、それぞれの決定された位置に関連付けられることが可能であり、したがって、それぞれの決定されたピークの位置に関する品質の指標または信頼性のインジケータが存在することになる。そして、これらの指標またはインジケータは、決定された位置が測定物体の3D画像またはモデルを提供するために使用されることになるときに、たとえば、重み付けによって、どの決定されたピークの位置を使用すべきか、またはどの程度使用すべきかを決定するために使用され得る。
【0072】
図7A～図7Cは、上記に基づく、本明細書の実施形態による方法の実施形態を概略的に示す流れ図である。方法を形成してよい以下のアクションは、画像フレームによって形成される時空間ボリューム(STV)において強度のピークの位置に関する情報を決定するためのものである。画像フレームは、光三角測量の一部として、測定物体、たとえば、測定物体320から反射された光の感知から、イメージセンサー、たとえば、イメージセンサー331によって生成される。時空間ボリュームおよび画像フレームは、上の例と同様であってよく、たとえば、STV 360またはpSTV 361に対応する場合がある。実際には、上で述べられたように、ここでの時空間ボリュームおよび画像フレームは、概して、より大きな時空間ボリュームの一部であり、より大きな時空間ボリュームの一部分であり、たとえば、完全な測定物体を撮像するより多くの画像フレームによって形成されるSTV 360のpSTV 361の部分である。たとえば、画像フレームIM1 ... IMiのより大きなシーケンスの一部、ここで、i=1 ... Mであり、Mは百以上の大きさの整数である。光三角測量は、従来技術および通常の光三角測量と同様に、知られている動作条件の下で実行されるべきである。そのような前記光三角測量自体は、従来技術と同様であってよく、したがって、異なる連続する瞬間に、測定物体の異なる連続する部分が光源によって照らされるように、少なくとも光源、たとえば、光源310および/または測定物体320を互いに対して移動させることを含む。測定物体からの反射光が、イメージセンサーによって感知される。光源からの光は、通常の光三角測量と同様に、たとえば、光のラインおよび/またはレーザー光などの構造化された光であってよい。光三角測量においては、必ずではないが概して、カメラ330および光源310が互いに対して固定され、測定物体がこれらに対して移動する。たとえば、カメラをともなってまたはカメラをともなわずに光源を移動させることも、たとえば可能である。イメージセンサー331による前記感知によって、STVのそれぞれの画像フレームIMiは、それぞれのそのような瞬間、たとえば、tiと、イメージセンサー331がそれぞれの瞬間tiに光を感知した測定物体320のそれぞれの部分との両方に関連付けられる。STVは、測定物体の特徴点が時空間ボリューム内の位置にどのようにマッピングされるかに関連する、たとえば262および362に対応する時空間軌道にさらに関連付けられる。したがって、時空間軌道は、従来技術の時空間分析で定義され、使用されるのと同じ種類の軌道であり、たとえば、それらを特定することについての情報は、従来技術と同じようにまたは同様にして取得され得る。これは、背景技術においても言及された元の時空間分析の論文のように、前記知られている動作条件によって与えられる情報を含む測定システム300の幾何学的配置に基づいて分析的にそれらを取得すること、または背景技術においてやはり言及されたEP 2 063 220 B1に記載されているように基準物体の較正および使用によってそれらを取得することを含む。
【0073】
下のおよび図5A～図5Cに示された方法および/またはアクションは、デバイス、すなわち、カメラ330および/またはコンピューティングデバイス301などの1つまたは複数のデバイスによって、あるいは撮像システム300および/またはそのもしくはそれに接続された好適なデバイスによって実行されてよい。方法およびそのアクションを実行するためのデバイスは、下でさらに説明される。
【0074】
以下のアクションは、任意の好適な順序で行われてよく、および/または、可能であり、好適であるときには、時間的に完全にまたは部分的に重なり合って実行されてよいことに留意されたい。
【0075】
アクション701
前記STV内の第1の仮定の強度のピークの位置(HIPP1)が、取得される。HIPP1は、ここでおよび以下で、HIPP1 551aまたはHIPP1 651aによって例示される場合がある。いくつかの実施形態において、HIPP1は、前記STVの画像フレームの部分のピクセルのライン内にある。すなわち、HIPP1は、(u, v, t)座標などの3次元の点に対応し、この点は、特定の画像フレーム内の位置と、画像データをもたらす光がイメージセンサーによって感知されたときに対応する、この位置の画像データがキャプチャされたときに関連する瞬間とに属する。通常、同じ画像フレームのすべての位置の部分に関連する1つの同じ瞬間が存在する。たとえば、上述のように、画像フレームIMiが、時間tiに関連付けられるなどである。有利なことに、HIPP1は、ピクセルのラインにおいて、好ましくは、実際の、すなわち、本当の強度のピークの位置であるかまたはそれに近い位置である確率が高いか、または少なくともライン内のその他の位置よりも高い位置として選択される。好ましくは、HIPP1は、通常のピーク発見アルゴリズムによって、および/または通常のピーク発見アルゴリズムに基づいて選択される。
前記STV内の第1の仮定の強度のピークの位置(HIPP1)が、取得される。HIPP1は、ここでおよび以下で、HIPP1 551aまたはHIPP1 651aによって例示される場合がある。いくつかの実施形態において、HIPP1は、前記STVの画像フレームの部分のピクセルのライン内にある。すなわち、HIPP1は、(u, v, t)座標などの3次元の点に対応し、この点は、特定の画像フレーム内の位置と、画像データをもたらす光がイメージセンサーによって感知されたときに対応する、この位置の画像データがキャプチャされたときに関連する瞬間とに属する。通常、同じ画像フレームのすべての位置の部分に関連する1つの同じ瞬間が存在する。たとえば、上述のように、画像フレームIMiが、時間tiに関連付けられるなどである。有利なことに、HIPP1は、ピクセルのラインにおいて、好ましくは、実際の、すなわち、本当の強度のピークの位置であるかまたはそれに近い位置である確率が高いか、または少なくともライン内のその他の位置よりも高い位置として選択される。好ましくは、HIPP1は、通常のピーク発見アルゴリズムによって、および/または通常のピーク発見アルゴリズムに基づいて選択される。
【0076】
アクション702
第1の時空間分析位置(STAP1)が、前記時空間軌道のうちHIPP1に関連する時空間軌道である第1の時空間軌道に沿って、HIPP1の周辺で局所的に実行される時空間分析に基づいて計算される。STAP1は、ここでおよび以下で、STAP1 552aまたはSTAP1 652aによって例示される場合がある。
第1の時空間分析位置(STAP1)が、前記時空間軌道のうちHIPP1に関連する時空間軌道である第1の時空間軌道に沿って、HIPP1の周辺で局所的に実行される時空間分析に基づいて計算される。STAP1は、ここでおよび以下で、STAP1 552aまたはSTAP1 652aによって例示される場合がある。
【0077】
本明細書において使用されるとき、仮定の強度のピークの位置の周辺での局所的な実行は、時空間分析が部分的時空間ボリューム、すなわち、pSTVにおいて、その中の部分的時空間軌道に沿って実行されることを指す。pSTVは、ここでおよび以下で、pSTV 361によって例示される場合があり、部分的時空間軌道は、部分的時空間軌道362によって例示される場合がある。したがって、完全な測定物体、たとえば、測定物体320を撮像するより大きな時空間ボリューム、たとえば、STV 360に含まれる前記pSTV。したがって、時空間分析は、より大きなSTVを形成する画像フレームの一部または部分的シーケンスに過ぎないpSTVを形成する画像フレームからの画像データを使用して、pSTVにおいて実行されると理解され得る。概して、これは、時空間分析が、必ずではないがたとえば、仮定のピークの位置の周りに対称的にHIPPの前後両方からのいくつかの画像フレームを包含する、より大きな時空間ボリューム内の時間間隔に関連する画像フレームの部分的シーケンスからの画像データを使用することを意味する。
【0078】
本明細書において使用されるとき、本明細書の説明および例から分かるに違いないように、時空間分析位置(STAP)は、その時空間ボリューム内の時空間軌道に沿った時空間ボリューム内の強度などの光の分布の中心位置を指す。したがって、STAPは、背景技術において言及された従来技術におけるように、時空間ボリューム内の時空間軌道に沿った時空間分析、すなわち、時空間における分析に基づく計算によって発見または特定されるなど、決定され得る。時空間ボリュームおよびその時空間ボリューム内の時空間軌道が与えられると、時空間ボリューム内の時空間軌道に沿った任意のSTAPが、背景技術において述べられたような同様の時空間分析に関する従来技術と同じ原理および/または方法に基づいて計算される、すなわち、計算によって決定され得る。したがって、STAPは、たとえば、与えられた時空間ボリューム内の与えられた時空間軌道に沿った強度などの光の分布の中心位置を見つけること、たとえば、特定することに基づいて計算されてよい。分かるに違いないように、時空間ボリュームにおける光の分布は、時空間ボリュームを形成する画像フレームの画像データおよび補間から利用可能である場合があり、また、光の分布の予想されるもしくは知られている種類、たとえば、ガウス分布、および/または光の分布の予想されるもしくは知られている形状の知識に基づき得る。
【0079】
アクション703
強度のピークの位置に関する前記情報が、HIPP1および計算されたSTAP1に基づいて決定される。
強度のピークの位置に関する前記情報が、HIPP1および計算されたSTAP1に基づいて決定される。
【0080】
アクション704
いくつかの実施形態において、アクション703、すなわち、強度のピークの位置に関する情報の決定は、HIPP1が強度のピークの位置としてどれぐらい信頼できるかを示す信頼性のインジケータとして、HIPP1と計算されたSTAP1との間の比較を提供することを含む。比較は、本明細書の他の場所で言及されたそのような位置の差PDであってよいが、たとえば、単に、STVにおけるHIPP1とSTAP1との両方の座標の集合、異なるすべてのまたは一部の座標、1つまたは多くの座標のそれぞれごとの差、HIPP1の座標とSTAP1の座標との間の1つまたは複数の比などのその他の比較も、使用または提供され得ることが分かる。
いくつかの実施形態において、アクション703、すなわち、強度のピークの位置に関する情報の決定は、HIPP1が強度のピークの位置としてどれぐらい信頼できるかを示す信頼性のインジケータとして、HIPP1と計算されたSTAP1との間の比較を提供することを含む。比較は、本明細書の他の場所で言及されたそのような位置の差PDであってよいが、たとえば、単に、STVにおけるHIPP1とSTAP1との両方の座標の集合、異なるすべてのまたは一部の座標、1つまたは多くの座標のそれぞれごとの差、HIPP1の座標とSTAP1の座標との間の1つまたは複数の比などのその他の比較も、使用または提供され得ることが分かる。
【0081】
これらの実施形態は、上で説明されたようにHIPP1が通常のピーク発見アルゴリズムによって決定されたときに特に有利である場合があり、それは、アルゴリズムが、信頼できるピークの位置を見つける際に、ならびに/あるいは問題のあるピークの位置が、たとえば、除外され、使用されないか、または修正および/もしくは交換され得るように問題のあるピークの位置を特定するためにどれだけ良好または不良であったかについての貴重な情報をそれが提供するからである。比較によって示される差が大きいほど、ピークの位置の信頼性は低くなり、一方、示される差が小さいほど、または実質的に差がないことが示されると、ピークの位置の信頼性は高くなる。
【0082】
アクション705
いくつかの実施形態において、アクション703、すなわち、強度のピークの位置に関する情報の決定は、HIPP1と計算されたSTAP1との間の時空間ボリュームにおける第1の位置の差(PD1)、たとえば、PD1 553aまたはPD1 653aを計算することを含む。
いくつかの実施形態において、アクション703、すなわち、強度のピークの位置に関する情報の決定は、HIPP1と計算されたSTAP1との間の時空間ボリュームにおける第1の位置の差(PD1)、たとえば、PD1 553aまたはPD1 653aを計算することを含む。
【0083】
アクション706
いくつかの実施形態においては、計算されたPD1が特定の閾値を上回っているのか、または下回っているのかがチェックされる。
いくつかの実施形態においては、計算されたPD1が特定の閾値を上回っているのか、または下回っているのかがチェックされる。
【0084】
コンピュータのPD1が閾値に等しい場合、行われるべきアクションが、コンピュータのPD1が閾値を下回っているまたは上回っている場合と同じであるべきかどうかは、定義および実装の問題である。
【0085】
アクション707
いくつかの実施形態においては、計算されたPD1が閾値以下であり、たとえば、閾値未満である場合、HIPP1が、決定された強度のピークの位置として提供される。
いくつかの実施形態においては、計算されたPD1が閾値以下であり、たとえば、閾値未満である場合、HIPP1が、決定された強度のピークの位置として提供される。
【0086】
言い換えると、アクション706～707は、計算されたPD1が特定の閾値未満である場合、HIPP1が決定された強度のピークの位置として提供されてよいとまとめられ得る。
【0087】
さらに、いくつかの実施形態においては、計算されたPD1が前記特定の閾値を超えている場合、アクション708～714の一部またはすべてが、n=2から開始して少なくとも1回実行されてよい。
【0088】
アクション708
いくつかの実施形態においては、第n-1の時空間軌道に沿った、第n-1のHIPPよりも計算された第n-1のSTAPに近い別の新しい第nのHIPPが、取得される。
いくつかの実施形態においては、第n-1の時空間軌道に沿った、第n-1のHIPPよりも計算された第n-1のSTAPに近い別の新しい第nのHIPPが、取得される。
【0089】
したがって、たとえば
n=2である最初の反復においては、第1の時空間軌道、すなわち、アクション702で使用された時空間軌道に沿った、HIPP1、たとえば、HIPP1 551aまたはHIPP1 651aよりも計算されたSTAP1、たとえば、STAP1 552aまたはSTAP1 652aに近いHIPP2、たとえば、HIPP2 551bまたはHIPP2 651bが、取得される。
n=2である最初の反復においては、第1の時空間軌道、すなわち、アクション702で使用された時空間軌道に沿った、HIPP1、たとえば、HIPP1 551aまたはHIPP1 651aよりも計算されたSTAP1、たとえば、STAP1 552aまたはSTAP1 652aに近いHIPP2、たとえば、HIPP2 551bまたはHIPP2 651bが、取得される。
【0090】
n=3である2回目の反復において、したがって、アクション708～711が最初にn=2に関して実行された後、第2の時空間軌道、すなわち、前記時空間軌道のうち、HIPP2に関連付けられ、最初の反復中にアクション809においてSTAP2を計算するために使用された時空間軌道に沿ったHIPP3、たとえば、HIPP3 551cまたはHIPP3 651cが、取得される。HIPP2、たとえば、HIPP2 551bまたはHIPP2 651bよりも計算されたSTAP2に近いHIPP3が、取得され、たとえば、選択される。
など
など
【0091】
アクション709
いくつかの実施形態においては、第nのSTAPが、第nの時空間軌道に沿って、第nのHIPPの周辺で局所的に実行される時空間分析に基づいて計算される。第nの時空間軌道は、前記時空間軌道のうち、第nの仮定の強度のピークの位置に関連付けられる時空間軌道である。
いくつかの実施形態においては、第nのSTAPが、第nの時空間軌道に沿って、第nのHIPPの周辺で局所的に実行される時空間分析に基づいて計算される。第nの時空間軌道は、前記時空間軌道のうち、第nの仮定の強度のピークの位置に関連付けられる時空間軌道である。
【0092】
したがって、たとえば
n=2である最初の反復において、STAP2、たとえば、STAP2 552bまたはSTAP2 652bが、第2の時空間軌道に沿って、HIPP2、たとえば、HIPP2 551bまたはHIPP2 651bの周辺で局所的に実行される時空間分析に基づいて計算される。前記時空間軌道のうち、HIPP2に関連付けられる時空間軌道である第2の時空間軌道。
n=2である最初の反復において、STAP2、たとえば、STAP2 552bまたはSTAP2 652bが、第2の時空間軌道に沿って、HIPP2、たとえば、HIPP2 551bまたはHIPP2 651bの周辺で局所的に実行される時空間分析に基づいて計算される。前記時空間軌道のうち、HIPP2に関連付けられる時空間軌道である第2の時空間軌道。
【0093】
n=3である2回目の反復において、したがって、アクション708～711が最初にn=2に関して実行された後、STAP3、たとえば、STAP3 552cまたはSTAP3 652cが、第3の時空間軌道に沿って、HIPP3、たとえば、HIPP3 551cまたはHIPP3 651cの周辺で局所的に実行される時空間分析に基づいて計算される。前記時空間軌道のうち、HIPP3に関連付けられる時空間軌道である第3の時空間軌道。
など
など
【0094】
アクション710
いくつかの実施形態においては、第nのPDが計算される。第nのPDは、第nの仮定の強度のピークの位置と計算された第nの時空間ピーク位置との間の差である。
いくつかの実施形態においては、第nのPDが計算される。第nのPDは、第nの仮定の強度のピークの位置と計算された第nの時空間ピーク位置との間の差である。
【0095】
したがって、たとえば
n=2である最初の反復において、PD2、たとえば、PD2 553bまたはPD2 653bが計算される。HIPP2、たとえば、HIPP2 551bまたはHIPP2 651bと計算されたSTAP2、たとえば、552bまたは652bとの間の差であるPD2。
n=2である最初の反復において、PD2、たとえば、PD2 553bまたはPD2 653bが計算される。HIPP2、たとえば、HIPP2 551bまたはHIPP2 651bと計算されたSTAP2、たとえば、552bまたは652bとの間の差であるPD2。
【0096】
n=3である2回目の反復において(したがって、アクション708～711が最初にn=2に関して実行された後)、PD3、たとえば、PD3 553cまたはPD3 653bが計算される。HIPP3、たとえば、HIPP3 551cまたはHIPP3 651cと計算されたSTAP3、たとえば、552cまたは652cとの間の差であるPD3。
など
など
【0097】
アクション711
いくつかの実施形態においては、計算された第nのPDが前記特定の閾値、すなわち、アクション706において使用されたのと同じ閾値を上回っているのかまたは下回っているのかがチェックされる。
いくつかの実施形態においては、計算された第nのPDが前記特定の閾値、すなわち、アクション706において使用されたのと同じ閾値を上回っているのかまたは下回っているのかがチェックされる。
【0098】
計算された第nのPDが閾値に等しい場合、行われるべきアクションが計算されたPD1が閾値を下回っている、または上回っている場合と同じであるべきかどうかは定義および実装の問題である。
【0099】
いくつかの実施形態においては、計算された第nのPDが前記特定の閾値を上回っているか、またはこれらの実施形態の一部においては、前記特定の閾値に等しい場合、アクション708から始まる別の反復が、今度はn=n+1として行われてよく、またはアクション712が、最初に実行されてよい。
【0100】
いくつかの実施形態においては、そうではなく、計算された第nのPDが前記特定の閾値を下回っているか、またはこれらの実施形態の一部においては、および/または前記特定の閾値に等しい場合、アクション713および/またはアクション714が実行される。
【0101】
アクション712
いくつかの実施形態においては、nが予め定義されたまたは予め決定された整数N未満であるかどうかがチェックされるか、またはnがN以下であることがチェックされる。nがNに等しい場合、行われるべきアクションがnがNを下回っているまたは上回っている場合と同じであるべきかどうかは定義および実装の問題であることに留意されたい。
いくつかの実施形態においては、nが予め定義されたまたは予め決定された整数N未満であるかどうかがチェックされるか、またはnがN以下であることがチェックされる。nがNに等しい場合、行われるべきアクションがnがNを下回っているまたは上回っている場合と同じであるべきかどうかは定義および実装の問題であることに留意されたい。
【0102】
たとえば、N=3であるとすると、nがN未満であるかどうかがチェックされ、それが最初の反復、すなわち、反復1であり、n=2である。したがって、これは、nがN未満という結果となるが、n=3である反復2に関して、これはもはや当てはまらない。
【0103】
いくつかの実施形態においては、nがN未満であるか、またはこれらの実施形態の一部においては、Nに等しい場合、アクション708から始まる別の反復が、今度はn=n+1として行われてよい。
【0104】
いくつかの実施形態においては、そうではなく、nがNを超えているか、またはこれらの実施形態の一部においては、Nに等しい場合、アクション713および/またはアクション714が実行される。
【0105】
図に示されるように、最初に閾値と突き合わせることが有益である場合があるが、いくつかの実施形態においては、図によって示されていないが、アクション712および711は、逆順であり、たとえば、互いに場所が入れ替わっていることに留意されたい。
【0106】
アクション713
最後に取得されたものに対応する第nのHIPPが、決定された強度のピークの位置として提供され、すなわち、アクション707と同様であるが、今度は、1回または複数回の改善の反復の後の別のHIPPに関してである。
最後に取得されたものに対応する第nのHIPPが、決定された強度のピークの位置として提供され、すなわち、アクション707と同様であるが、今度は、1回または複数回の改善の反復の後の別のHIPPに関してである。
【0107】
たとえば、
これがn=2である最初の反復で発生する場合、HIPP2が、決定された強度のピークの位置として提供される。
これがn=2である最初の反復で発生する場合、HIPP2が、決定された強度のピークの位置として提供される。
【0108】
そうではなく、これがn=3である2回目の反復で発生する場合、HIPP3が、決定された強度のピークの位置として提供される。
【0109】
いくつかの実施形態においては、アクション712においてチェックされるときに、nが予め定義された整数N以上である場合、最後のHIPP、すなわち、第nのHIPPは、低信頼性に関連付けられる。すなわち、たとえ第nのPDが閾値を超えているとしても、第nのHIPPは、1回または複数回の反復の後に決定された強度のピークの位置として提供される場合があるが、そのとき、低信頼性に関連付けられ、すなわち、第nのPDが1回または複数回の反復の後でさえも閾値未満であったので、第nのHIPPは、信頼できず、たとえば、第nのHIPPは、実際のもしくは正確なピークの位置ではないか、または実際のもしくは正確なピークの位置ではない可能性が高い。
【0110】
アクション714
いくつかの実施形態においては、最後の計算されたPD、すなわち反復が停止したときの第1のまたは第nのPDが、決定された強度のピークの位置、すなわち、アクション707またはアクション713において決定された強度のピークの位置として提供されたHIPPの信頼性のインジケータとして提供される。
いくつかの実施形態においては、最後の計算されたPD、すなわち反復が停止したときの第1のまたは第nのPDが、決定された強度のピークの位置、すなわち、アクション707またはアクション713において決定された強度のピークの位置として提供されたHIPPの信頼性のインジケータとして提供される。
【0111】
アクション711～714に関連して上で開示された内容の一部は、以下のように要約され得る。
【0112】
計算された第nのPDが前記特定の閾値未満である、および/または前記特定の閾値に等しい場合、第nのHIPPが、決定された強度のピークの位置として提供されてよい。その場合、それ以上の反復は、実行されない。
【0113】
そうではなく、計算された第nのPDが前記特定の閾値を超えている場合、別の反復が、n=n+1として実行されてよい、すなわち、アクション708～712の一部または全部が、再び、ただし今度はn=n+1として実行されてよい。したがって、n=2での最初の反復1の後、2回目の反復2が、n=3として実行される場合がある。これが起こる、すなわち、別の反復を実行するためのいくつかの実施形態においては、nが予め定義された整数N>2未満であるか、または以下であることも、すなわち、アクション712においてチェックされるように要求される。
【0114】
効率および単純化された実装のために、上述の例における位置の差、すなわち、PDは、時間座標に関してのみ計算されてよく、すなわち、時空間ボリューム内の位置の間の時間的な位置の差、すなわち、時間の差のみであってよいことに留意されたい。その他の実施形態においては、すべての座標、または時間以外のその他の座標を含む差が、計算され、使用される。
【0115】
図8A～図8Bは、本明細書の実施形態が適用されたときの結果との定性的な比較のために通常のピーク発見アルゴリズムが使用されたときの光三角測量の結果を示す。上述の光三角測量撮像システムからの出力に対応する同じ画像シーケンスが、どちらの場合にも使用された。
【0116】
図8Aは、通常のピーク発見アルゴリズムによって見つけられたピークの位置が示された画像を形成するために使用されたときの結果である。示された画像において、強度は、高さまたは深さに比例している。撮像されたピラミッドは、通常のピーク発見アルゴリズムが傾斜面上の市松模様を処理することに問題があったことが原因で、これらの傾斜面の一部にいくつかの変化を有することが分かる。
【0117】
図8Bの上のピクチャは、本明細書の実施形態に従って時空間分析を反復的および局所的に適用することによってピークの位置が決定され、それから、示された図が決定された位置に基づいて生成されたときの結果である。図8Aのような傾斜面の特定可能で望ましくない変化はなく、少なくとも図8Aよりもはるかに低い程度である。したがって、本明細書の実施形態は、通常のアルゴリズムよりも優れた結果および3D画像を提供することができる。
【0118】
図8Bの下部は、最後のHIPP、すなわち、図8Aの上の画像が基づいているピークの位置を決定するために使用されたHIPPに関する、結果として得られた時間的な位置の差(PD)を示す。これは、アクション714に対応する例である。示された画像において、強度は、差の大きさに比例している。強度の変化の少ないいくつかの領域が、特定され得、したがって、HIPPとSTAPとの間のいくらかの、しかし比較的小さな位置の差を有する、本明細書の実施形態による決定されたピークの位置に対応し得る。変化および差は、特に、通常のピーク発見アルゴリズムがより一層大きな問題を抱えていた面にあり、これは、予想される。
【0119】
図8Aの通常のピーク発見の結果による図8Aと、本明細書の実施形態に基づく結果による図8Bの上のピクチャとの両方において、ピラミッドの右側にエラーがあることに留意されたい。これは、たとえば、使用された画像がキャプチャされたときの何らかの望ましくない反射が原因である可能性がある。これは、図8Bの下の位置の差のピクチャにおける問題のはっきりしたインジケーションも引き起こす。したがって、結果として得られた位置の差が決定されたピークの位置の信頼性のインジケーションとして使用される場合、このエラーを有する位置は、図8Bの上の3D画像において容易に特定され得、そのデータは、3D画像が何に使用されることになるのかに応じた望ましいおよび好適なことに応じて、3D画像において除外されるか、印を付けられるか、または周囲の位置から補間された値で置換し得る。
【0120】
図9は、図7A～図7Cに関連して上で説明された方法および/またはアクションを実行するためなど、本明細書の実施形態を実行するための上で既に言及されたデバイスに対応する場合がある1つまたは複数のデバイス900、すなわち、デバイス900の実施形態を示すための概略的なブロック図である。デバイスは、たとえば、コンピューティングデバイス301および/もしくはカメラ330、または撮像システム300を形成するデバイスに対応する場合がある。
【0121】
概略的なブロック図は、デバイス900が図7A～図7Cに関連して上で検討された方法およびアクションを実行するためにどのようにして構成される場合があるかに関する実施形態を示すためのものである。したがって、デバイス900は、前記画像フレームによって形成される前記時空間ボリュームにおける前記強度のピークの位置に関する情報を決定するためのものである。光三角測量の一部として前記測定物体から反射された光の感知から前記イメージセンサー331によって生成された画像フレーム。すなわち、図7A～図7Cに関して既に上で説明されたように、光三角測量は、異なる連続した瞬間に、測定物体320の異なる連続した部分が光源310によって照らされ、測定物体320からの反射光がイメージセンサーによって感知されるように、前記少なくとも光源310および/または前記測定物体320を互いに対して移動させることを含む。イメージセンサー331による前記感知によって、時空間ボリュームのそれぞれの画像フレームは、それぞれのそのような瞬間、たとえば、tiと、イメージセンサー331がそれぞれの瞬間に光を感知した測定物体320のそれぞれの部分との両方に関連付けられる。前記時空間ボリュームは、測定物体の特徴点が時空間ボリューム内の位置にどのようにマッピングされるかに関連する前記時空間軌道にさらに関連付けられる。
【0122】
デバイス900は、処理手段などの処理モジュール901、たとえば、1つもしくは複数の処理回路、プロセッサなどの回路を含む1つもしくは複数のハードウェアモジュール、ならびに/または前記方法および/もしくはアクションを実行するための1つもしくは複数のソフトウェアモジュールを含んでよい。
【0123】
デバイス900は、コンピュータプログラム903を含むまたは記憶するなど、コンピュータプログラム903を含んでよいメモリ902をさらに含んでよい。コンピュータプログラム903は、前記方法および/またはアクションを実行するためにデバイス900によって直接的または間接的に実行可能な「命令」または「コード」を含む。メモリ902は、1つまたは複数のメモリユニットを含んでよく、本明細書の実施形態の機能およびアクションを実行することに含まれるまたは実行するための構成、データ、および/または値などのデータを記憶するようにさらに配置されてよい。
【0124】
さらに、デバイス900は、ハードウェアモジュールを例示するものとして、データを処理することおよびたとえば符号化することに関与する処理回路904を含んでよく、1つもしくは複数のプロセッサもしくは処理回路を含むか、または1つもしくは複数のプロセッサもしくは処理回路に対応する場合がある。処理モジュール901は、処理回路904を含む場合があり、たとえば、処理回路904「の形態で具現化される」または処理回路904「によって実現される」場合がある。これらの実施形態において、メモリ902は、処理回路1204によって実行可能なコンピュータプログラム903を含んでよく、それによって、デバイス900は、前記方法および/またはそのアクションを実行するように動作可能であるかまたは構成される。
【0125】
概して、デバイス900、たとえば、処理モジュール901は、その他のデバイスへのおよび/またはからの情報の送信および/または受信などの、その他のユニットおよび/またはデバイスへのおよび/またはからの任意の通信に、たとえば実行することによって関与するように構成された入力/出力(I/O)モジュール905を含む。I/Oモジュール905は、該当する場合、取得、たとえば、受信モジュール、および/または提供、たとえば、送信モジュールによって例示される場合がある。
【0126】
さらに、いくつかの実施形態において、デバイス900、たとえば、処理モジュール901は、本明細書の実施形態のアクションを実行するためのハードウェアおよび/またはソフトウェアモジュールを例示するものとして、取得モジュール、計算モジュール、決定モジュール、実行モジュール、関連付けモジュール、および提供モジュールのうちの1つまたは複数を含む。これらのモジュールは、処理回路904によって完全にまたは部分的に実装されてよい。
【0127】
したがって
デバイス900、および/または処理モジュール901、および/または処理回路904、および/またはI/Oモジュール905、および/または取得モジュールは、前記時空間ボリューム(STV)における前記第1の仮定の強度のピークの位置HIPP1を取得するように動作可能であるかまたは構成されてよい。
デバイス900、および/または処理モジュール901、および/または処理回路904、および/またはI/Oモジュール905、および/または取得モジュールは、前記時空間ボリューム(STV)における前記第1の仮定の強度のピークの位置HIPP1を取得するように動作可能であるかまたは構成されてよい。
【0128】
デバイス900、および/または処理モジュール901、および/または処理回路904、および/または計算モジュールは、前記第1の時空間軌道に沿って、前記第1の仮定の強度のピークの位置HIPP1の周辺で局所的に実行される時空間分析に基づいて前記第1の時空間分析位置STAP1を計算するように動作可能であるか、または構成されてよい。
【0129】
デバイス900、および/または処理モジュール901、および/または処理回路904、および/または決定モジュールは、第1の仮定の強度のピークの位置HIPP1および計算された第1の時空間分析位置STAP1に基づいて強度のピークの位置に関する前記情報を決定するように動作可能であるか、または構成されてよい。
【0130】
いくつかの実施形態において、デバイス900、および/または処理モジュール901、および/または処理回路904、および/または計算モジュールは、前記第1位置の差PD1を計算するように動作可能であるか、または構成される。
【0131】
いくつかの実施形態において、デバイス900、および/または処理モジュール901、および/または処理回路904、および/またはI/Oモジュール905、および/または提供モジュールは、前記計算されたPD1が前記特定の閾値未満である場合に、HIPP1を決定された強度のピークの位置として提供するように動作可能であるか、または構成される。
【0132】
いくつかの実施形態において、デバイス900、および/または処理モジュール901、および/または処理回路904、および/またはI/Oモジュール905、および/または取得モジュール、および/または計算モジュール、および/または提供モジュールは、計算されたPD1が前記特定の閾値を超えている場合、少なくともn=2に関して、および/またはn=2から開始して、
前記別の新しい第nのHIPPを取得し、
前記第nの時空間分析位置STAPを計算し、
前記第nの位置の差PDを計算し、
計算された第nのPDが前記特定の閾値未満である場合、前記第nのHIPPを決定された強度のピークの位置として提供するように動作可能であるか、または構成される。
前記別の新しい第nのHIPPを取得し、
前記第nの時空間分析位置STAPを計算し、
前記第nの位置の差PDを計算し、
計算された第nのPDが前記特定の閾値未満である場合、前記第nのHIPPを決定された強度のピークの位置として提供するように動作可能であるか、または構成される。
【0133】
いくつかの実施形態において、デバイス900、および/または処理モジュール901、および/または処理回路904、および/または提供モジュール、および/または関連付けモジュールは、nが予め定義された整数N以上である場合、第nのHIPPを決定された強度のピークの位置として提供し、決定された強度のピークの位置を前記低信頼性に関連付けるように動作可能であるか、または構成される。
【0134】
いくつかの実施形態において、デバイス900、および/または処理モジュール901、および/または処理回路904、提供モジュール、および/またはI/Oモジュール905は、前記最後の計算されたPDを決定された強度のピークの位置の信頼性のインジケータとして提供するように動作可能であるか、または構成される。
【0135】
さらに、いくつかの実施形態において、デバイス900、および/または処理モジュール901、および/または処理回路904、提供モジュール、および/またはI/Oモジュール905は、HIPP1と計算されたSTAP1との間の比較を前記信頼性のインジケータとして提供するように動作可能であるか、または構成される。
【0136】
図10は、上で検討された前記デバイス900に前記方法およびアクションを実行させるためのコンピュータプログラムおよびその担体に関するいくつかの実施形態を示す概略図である。
【0137】
コンピュータプログラムは、コンピュータプログラム903であってよく、処理回路904および/または処理モジュール901によって実行されるとき、デバイス900を上述のように作動させる命令を含む。いくつかの実施形態においては、コンピュータプログラムを含む担体、より詳細にはデータ担体、たとえば、コンピュータプログラム製品が提供される。担体は、電子信号、光信号、無線信号、およびコンピュータ可読ストレージ媒体、たとえば、図に概略的に示されるコンピュータ可読ストレージ媒体1001のうちの1つであってよい。したがって、コンピュータプログラム903は、コンピュータ可読ストレージ媒体1001に記憶される場合がある。担体によって、一時的な伝搬信号は除外される場合があり、それに対応して、データ担体は、非一時的データ担体と呼ばれる場合がある。データ担体がコンピュータ可読ストレージ媒体である非限定的な例は、メモリカードもしくはメモリスティック、CDもしくはDVDなどのディスクストレージ媒体、または概してハードドライブもしくはソリッドステートドライブ(SSD)に基づく大容量ストレージデバイスである。コンピュータ可読ストレージ媒体1001は、コンピュータネットワーク1002、たとえば、インターネットまたはローカルエリアネットワーク(LAN)を介してアクセス可能なデータを記憶するために使用されてよい。コンピュータプログラム903は、さらに、純粋なコンピュータプログラムとして提供されてよく、または1つのファイルもしくは複数のファイルに含まれてよい。1つのファイルまたは複数のファイルは、コンピュータ可読ストレージ媒体1001に記憶され、たとえば、図に示されるようにコンピュータネットワーク1002を介して、たとえば、サーバを介して、たとえば、ダウンロードによって利用可能であってよい。サーバは、たとえば、ウェブサーバまたはファイル転送プロトコル(FTP)サーバであってよい。1つのファイルまたは複数のファイルは、たとえば、処理回路904による実行によって前記デバイスを上述のように作動させるために、前記デバイスに直接的または間接的にダウンロードし、実行するための実行可能ファイルであってよい。1つのファイルまたは複数のファイルは、さらにまたは代替的に、前記デバイス900を上述のように作動させるさらなるダウンロードおよび実行の前にそれらのファイルを実行可能にするための、同じまたは別のプロセッサを含む中間ダウンロードおよびコンパイルのためのものである場合がある。
【0138】
前述の任意の処理モジュールおよび回路は、ソフトウェアおよび/またはハードウェアモジュールとして、たとえば、既存のハードウェアおよび/または特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)などに実装されてよいことに留意されたい。上述の任意のハードウェアモジュールおよび/または回路は、たとえば、単一のASICもしくはFPGAに含まれるか、または個別にパッケージングされるのかもしくはシステムオンチップ(SoC)へと組み立てられるのかにかかわらず、いくつかの別々のハードウェアコンポーネントに分散されてよいことにも留意されたい。
【0139】
また、当業者は、本明細書において検討されたモジュールおよび回路が、ハードウェアモジュール、ソフトウェアモジュール、アナログおよびデジタル回路、ならびに/または1つもしくは複数のプロセッサによって実行されるときに、デバイス、センサーなどを、上述の方法およびアクションを実行するように構成させるおよび/もしくは実行させる可能性がある、たとえばメモリに記憶されたソフトウェアおよび/もしくはファームウェアを用いて構成された1つもしくは複数のプロセッサの組合せを指す場合があることを理解するであろう。
【0140】
本明細書における任意の識別子による特定は、暗黙的または明示的である場合がある。特定は、たとえば、特定のコンピュータプログラムまたはプログラムのプロバイダに関する特定の文脈において一意である場合がある。
【0141】
本明細書において使用されるとき、用語「メモリ」は、デジタル情報を記憶するためのデータメモリ、典型的には、ハードディスク、磁気ストレージ、媒体、ポータブルコンピュータディスケットまたはディスク、フラッシュメモリ、ランダムアクセスメモリ(RAM)などを指す場合がある。さらに、メモリは、プロセッサの内部レジスタメモリであってよい。
【0142】
第1のデバイス、第2のデバイス、第1の面、第2の面などのいずれの列挙する用語も、したがって、非限定的であるとみなされるべきであり、用語それ自体は、特定の階層的な関係を示唆しないことにも留意されたい。反対に、何らかの明示的な情報がない限り、列挙による命名は、単に異なる名前を実現するための方法であるとみなされるべきである。
【0143】
本明細書において使用されるとき、表現「～するように構成された」は、処理回路が、ソフトウェアまたはハードウェア構成によって、本明細書に記載のアクションの1つまたは複数を実行するように構成されるか、または適応されることを意味する場合がある。
【0144】
本明細書において使用するとき、用語「数」または「値」は、2進数、実数、虚数、または有理数などの任意の種類の数字を指す場合がある。さらに、「数」または「値」は、文字または文字列などの1つまたは複数の文字である場合がある。また、「数」または「値」は、ビット列によって表現される場合がある。
【0145】
本明細書において使用されるとき、表現「～してよい(may)」および「いくつかの実施形態において」は、概して、説明された特徴が本明細書において開示された任意のその他の実施形態と組み合わされる場合があることを示すために使用された。
【0146】
図面において、一部の実施形態にのみ存在する場合がある特徴は、通常、点線または破線を使用して描かれている。
【0147】
単語「含む(comprise)」または「含んでいる(comprising)」を使用するとき、それは、非限定的、すなわち、「少なくとも～からなる(consist at least of)」を意味するものと解釈される。
【0148】
本明細書の実施形態は、上述の実施形態に限定されない。様々な代替、修正、および均等物が、使用されてよい。したがって、上述の実施形態は、添付の特許請求の範囲によって定義される本開示の範囲を限定するものと解釈されるべきでない。
【符号の説明】
【0149】
100 撮像システム
110 光源
111 特定の光のパターン
112 光のライン
120 第1の測定物体
121 第2の測定物体
122 コンベアベルト
123 座標系
130 カメラ
131 画像プロセッサ
140-1～140-N プロファイル画像
240 特徴点
262 時空間軌道
300 撮像システム
301 コンピューティングデバイス
310 光源
311 光
320 測定物体
330 カメラ
331 視野、イメージセンサー
340 位置、特徴点
360 時空間ボリューム(STV)
361 部分的時空間ボリューム(pSTV)
362 部分的時空間軌道
431 レーザーのライン
440 特徴点
551a 第1のHIPP1
551b HIPP2
551c HIPP3
552a 第1の時空間分析位置STAP1
552b STAP2
552c STAP3
553a 第1の位置の差PD1
553b 位置の差PD2
553c PD3
651a HIPP1
651b HIPP2
651c HIPP3
652a STAP1
652b STAP2
652c STAP3
653a PD1
653b PD2
653a PD3
900 デバイス
901 処理モジュール
902 メモリ
903 コンピュータプログラム
904 処理回路
905 入力/出力(I/O)モジュール
1001 コンピュータ可読ストレージ媒体
1002 コンピュータネットワーク
110 光源
111 特定の光のパターン
112 光のライン
120 第1の測定物体
121 第2の測定物体
122 コンベアベルト
123 座標系
130 カメラ
131 画像プロセッサ
140-1～140-N プロファイル画像
240 特徴点
262 時空間軌道
300 撮像システム
301 コンピューティングデバイス
310 光源
311 光
320 測定物体
330 カメラ
331 視野、イメージセンサー
340 位置、特徴点
360 時空間ボリューム(STV)
361 部分的時空間ボリューム(pSTV)
362 部分的時空間軌道
431 レーザーのライン
440 特徴点
551a 第1のHIPP1
551b HIPP2
551c HIPP3
552a 第1の時空間分析位置STAP1
552b STAP2
552c STAP3
553a 第1の位置の差PD1
553b 位置の差PD2
553c PD3
651a HIPP1
651b HIPP2
651c HIPP3
652a STAP1
652b STAP2
652c STAP3
653a PD1
653b PD2
653a PD3
900 デバイス
901 処理モジュール
902 メモリ
903 コンピュータプログラム
904 処理回路
905 入力/出力(I/O)モジュール
1001 コンピュータ可読ストレージ媒体
1002 コンピュータネットワーク
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【図9】
【図10】
