知財求人 - 知財ポータルサイト「IP Force」
特開2025-21431マルチスペクトル２Ｄ画像データを取得し、光三角測量からの３Ｄ画像データに関連付けるための方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025021431
(43)【公開日】2025-02-13
(54)【発明の名称】マルチスペクトル２Ｄ画像データを取得し、光三角測量からの３Ｄ画像データに関連付けるための方法および装置
(51)【国際特許分類】
G06T 7/55 20170101AFI20250205BHJP
G06T 7/30 20170101ALI20250205BHJP
H04N 23/60 20230101ALI20250205BHJP
【ＦＩ】
G06T7/55
G06T7/30
H04N23/60 500
【審査請求】有
【請求項の数】14
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024110251
(22)【出願日】2024-07-09
(31)【優先権主張番号】23188738
(32)【優先日】2023-07-31
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】504048696
【氏名又は名称】シック アイヴィピー エービー
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】アンデシュ・ムルヘド
【テーマコード（参考）】
5C122
5L096
【Ｆターム（参考）】
5C122DA13
5C122DA16
5C122DA30
5C122EA61
5C122FA06
5C122FG14
5C122FH07
5C122FH11
5C122GA01
5C122GG03
5C122GG04
5C122GG19
5C122GG26
5C122HA13
5C122HA35
5C122HB01
5C122HB05
5C122HB06
5L096AA06
5L096AA09
5L096CA04
5L096DA02
5L096EA13
5L096EA14
5L096FA66
5L096FA67
5L096FA69
(57)【要約】 （修正有）
【課題】マルチスペクトル２Ｄ画像データを取得し、光三角測量からの３Ｄ画像データに関連付ける方法及び装置を提供する。
【解決手段】方法は、３Ｄ画像データを、光三角測量の一部として、物体からの反射された第１の光の強度ピークの位置に対応する、第１の画像（ＩＭ１）の第１のセンサー位置（ＳＰ１）として取得すること６０１と、マルチスペクトルである２つ以上の第２の光を用いて、２つ以上の第２の画像（ＩＭ２）を取得すること６０２と、それぞれのＩＭ２内で、それぞれのＳＰ１について、それぞれの第２のセンサー位置（ＳＰ２）を選択すること６０３と、選択したＳＰ２の強度値を、ＳＰ１に関連付けること６０４と、を含み、それによって、反射されたマルチスペクトルの第２の光からのＳＰ２内の強度値に対応するマルチスペクトル２Ｄデータが、ＳＰ１に対応する３Ｄデータに関連付けられるようになる。
【選択図】図６
【解決手段】方法は、３Ｄ画像データを、光三角測量の一部として、物体からの反射された第１の光の強度ピークの位置に対応する、第１の画像（ＩＭ１）の第１のセンサー位置（ＳＰ１）として取得すること６０１と、マルチスペクトルである２つ以上の第２の光を用いて、２つ以上の第２の画像（ＩＭ２）を取得すること６０２と、それぞれのＩＭ２内で、それぞれのＳＰ１について、それぞれの第２のセンサー位置（ＳＰ２）を選択すること６０３と、選択したＳＰ２の強度値を、ＳＰ１に関連付けること６０４と、を含み、それによって、反射されたマルチスペクトルの第２の光からのＳＰ２内の強度値に対応するマルチスペクトル２Ｄデータが、ＳＰ１に対応する３Ｄデータに関連付けられるようになる。
【選択図】図６
【特許請求の範囲】
【請求項1】
マルチスペクトル2D画像データを、物体(520)の3D撮像のための撮像システム(500)によって実行された光三角測量から生成された3D画像データに関連付けるための方法であって、前記撮像システム(500)は、第1の光(511)を用いて、前記物体(520)を照明するための第1の光源(510)と、画像センサー(531)をもつカメラ(530)と、異なる光波長を備えることによって互いに異なることによってマルチスペクトルである、2つ以上の第2の光(551)を用いて、前記物体(520)を照明するための、1つまたは複数の第2の光源(550)とを備え、前記光三角測量は、前記第1の光(511)を用いて、前記物体(520)の異なる連続する部分を照明することと、それぞれの第1の画像「IM1」(741)内で、前記画像センサー(531)によって、それぞれの部分からの反射された第1の光を検知することとを含み、前記方法は、
前記カメラ(530)および画像センサー(531)によって生成されたIM1(741)の第1のセンサー位置「SP1」(771)として、3Dデータを取得するステップ(601)であって、前記SP1は、前記光三角測量の一部として、前記物体(520)からの反射された第1の光の強度ピークの位置に対応する、ステップと、
それぞれ、前記カメラ(530)および画像センサー(531)によって生成され、前記2つ以上の第2の光(551)による照明中に前記物体を撮像している、2つ以上の第2の画像「IM2」(742)を取得するステップ(602)であって、それぞれのIM2は、前記IM1(741)のうちのそれぞれのIM1であり、それに関連付けられるか、または前記IM1(741)のうちの2つの間で生成され、それらのうちのいずれかに関連付けられるかのいずれかである、ステップと、
それぞれのIM2(742)内で、前記それぞれのIM2(742)が関連付けられるそれぞれのIM1(741)のそれぞれのSP1(771)について、およびそれに関して、前記物体(520)からの反射された第2の光(551)が前記物体(520)からの前記反射された第1の光よりも高い強度を有するそれぞれの第2のセンサー位置「SP2」(772)を選択するステップ(603)と、
前記選択されたSP2(772)の強度値を、それぞれ、前記SP1(771)に関連付けるステップ(604)であって、前記SP2(772)が前記SP1(771)について選択され、それによって、前記反射されたマルチスペクトルの第2の光(551)からの前記SP2(772)内の前記強度値に対応するマルチスペクトル2Dデータが、前記SP1(771)に対応する前記3Dデータに関連付けられるようになり、前記SP2(772)が前記SP1(771)について選択された、ステップと
を含む、方法。
前記カメラ(530)および画像センサー(531)によって生成されたIM1(741)の第1のセンサー位置「SP1」(771)として、3Dデータを取得するステップ(601)であって、前記SP1は、前記光三角測量の一部として、前記物体(520)からの反射された第1の光の強度ピークの位置に対応する、ステップと、
それぞれ、前記カメラ(530)および画像センサー(531)によって生成され、前記2つ以上の第2の光(551)による照明中に前記物体を撮像している、2つ以上の第2の画像「IM2」(742)を取得するステップ(602)であって、それぞれのIM2は、前記IM1(741)のうちのそれぞれのIM1であり、それに関連付けられるか、または前記IM1(741)のうちの2つの間で生成され、それらのうちのいずれかに関連付けられるかのいずれかである、ステップと、
それぞれのIM2(742)内で、前記それぞれのIM2(742)が関連付けられるそれぞれのIM1(741)のそれぞれのSP1(771)について、およびそれに関して、前記物体(520)からの反射された第2の光(551)が前記物体(520)からの前記反射された第1の光よりも高い強度を有するそれぞれの第2のセンサー位置「SP2」(772)を選択するステップ(603)と、
前記選択されたSP2(772)の強度値を、それぞれ、前記SP1(771)に関連付けるステップ(604)であって、前記SP2(772)が前記SP1(771)について選択され、それによって、前記反射されたマルチスペクトルの第2の光(551)からの前記SP2(772)内の前記強度値に対応するマルチスペクトル2Dデータが、前記SP1(771)に対応する前記3Dデータに関連付けられるようになり、前記SP2(772)が前記SP1(771)について選択された、ステップと
を含む、方法。
【請求項2】
前記方法は、
前記3D画像データおよび2D画像データを、同じ解像度において提供するステップ(605)と、
前記同じ解像度における前記3D画像データおよび前記2D画像データを、合成された画像に合成するステップ(606)であって、それによって、前記画像のそれぞれの3D画像データ点が、異なる波長を備える、前記反射された前記2つ以上の第2の光から生じる強度値に対応する、マルチスペクトル2D画像データに関連付けられるようになる、ステップと
をさらに含む、請求項1に記載の方法。
前記3D画像データおよび2D画像データを、同じ解像度において提供するステップ(605)と、
前記同じ解像度における前記3D画像データおよび前記2D画像データを、合成された画像に合成するステップ(606)であって、それによって、前記画像のそれぞれの3D画像データ点が、異なる波長を備える、前記反射された前記2つ以上の第2の光から生じる強度値に対応する、マルチスペクトル2D画像データに関連付けられるようになる、ステップと
をさらに含む、請求項1に記載の方法。
【請求項3】
前記3D画像データおよび前記2D画像データの解像度が異なる場合、同じ解像度における前記提供は、前記3D画像データおよび/または前記2D画像データのアップリサンプリングおよび/またはダウンリサンプリングによって達成される、請求項2に記載の方法。
【請求項4】
前記第2の光は、赤色光「R」、緑色光「G」、および青色光「B」のうちの1つまたは複数を備える、請求項1から3のいずれか一項に記載の方法。
【請求項5】
前記第2の光は、R、G、Bを備え、R、G、Bによる照明持続時間における差は、ホワイトバランシングのために前記撮像中に使用される、請求項4に記載の方法。
【請求項6】
前記第2の光は、赤外「IR」光または近赤外「NIR」光に対応する第2の光を備える、請求項1から5のいずれか一項に記載の方法。
【請求項7】
前記2つ以上の第2の光による前記照明は、前記2つ以上の第2の光のシーケンスに従って、順次提供され、前記第2の画像は、対応するシーケンスにおいて生成される、請求項1から6のいずれか一項に記載の方法。
【請求項8】
前記第2の光のうちの1つまたは複数は、前記シーケンスにおいて、前記第2の光のうちの1つまたは複数の他のものよりも頻繁に発生している、請求項7に記載の方法。
【請求項9】
前記第2の光のシーケンスは、赤色光「R」、緑色光「G」、および青色光「B」を備え、Gは、前記シーケンスにおいてRおよびBよりも頻繁に発生している、請求項8に記載の方法。
【請求項10】
前記物体は有機的である、請求項1から9のいずれか一項に記載の方法。
【請求項11】
前記物体は、以下のタイプおよび/または種類の物体、すなわち、植物、木、丸太、木材、肉、野菜、食品、廃棄物のうちの1つであるか、またはそれに対応する、請求項10に記載の方法。
【請求項12】
マルチスペクトル2D画像データを3D画像データに関連付けるための、1つまたは複数のデバイス(500、530、533、1000)であって、前記3D画像データは、物体(520)の3D撮像のための撮像システム(500)によって実行された光三角測量から生成され、前記撮像システム(500)は、第1の光(511)を用いて、測定物体(520)を照明するための第1の光源(510)と、画像センサー(531)をもつカメラ(530)と、前記測定物体(220、520)からの反射された第1の光(211、511)を検知するための異なる光波長を備えることによって、互いに異なることによってマルチスペクトルである、2つ以上の第2の光(551)を用いて、前記物体(520)を照明するための、1つまたは複数の第2の光源(550)とを備え、前記光三角測量は、前記第1の光(511)を用いて、前記測定物体(520)の第1の異なる連続する部分を照明することと、それぞれの第1の画像「IM1」(741)内で、前記画像センサー(531)によって、それぞれの部分からの反射された第1の光を検知することとを含み、前記1つまたは複数のデバイスは、
前記カメラ(530)および画像センサー(531)によって生成されたIM1(741)の第1のセンサー位置「SP1」(771)として、3Dデータを取得すること(601)であって、前記SP1は、前記光三角測量の一部として、前記物体(520)からの反射された第1の光の強度ピークの位置に対応する、前記取得すること(601)と、
それぞれ、前記カメラ(530)および画像センサー(531)によって生成され、前記2つ以上の第2の光(551)による照明中に前記物体を撮像している、2つ以上の第2の画像「IM2」(742)を取得すること(602)であって、それぞれのIM2は、前記IM1(741)のうちのそれぞれのIM1であり、それに関連付けられるか、または前記IM1(741)のうちの2つの間で生成され、それらのうちのいずれかに関連付けられるかのいずれかである、前記取得すること(602)と、
それぞれのIM2(742)内で、前記それぞれのIM2(742)が関連付けられるそれぞれのIM1(741)のそれぞれのSP1(771)について、およびそれに関して、前記物体(520)からの反射された第2の光(551)が前記物体(520)からの前記反射された第1の光よりも高い強度を有するそれぞれの第2のセンサー位置「SP2」(772)を選択すること(603)と、
前記選択されたSP2(772)の強度値を、それぞれ、前記SP1(771)に関連付けること(604)であって、前記SP2(772)が前記SP1(771)について選択され、それによって、前記反射されたマルチスペクトルの第2の光(551)からの前記SP2(772)内の前記強度値に対応するマルチスペクトル2Dデータが、前記SP1(771)に対応する前記3Dデータに関連付けられるようになり、前記SP2(772)が前記SP1(771)について選択された、前記関連付けること(604)と
を行うように構成される、1つまたは複数のデバイス(500、530、533、1000)。
前記カメラ(530)および画像センサー(531)によって生成されたIM1(741)の第1のセンサー位置「SP1」(771)として、3Dデータを取得すること(601)であって、前記SP1は、前記光三角測量の一部として、前記物体(520)からの反射された第1の光の強度ピークの位置に対応する、前記取得すること(601)と、
それぞれ、前記カメラ(530)および画像センサー(531)によって生成され、前記2つ以上の第2の光(551)による照明中に前記物体を撮像している、2つ以上の第2の画像「IM2」(742)を取得すること(602)であって、それぞれのIM2は、前記IM1(741)のうちのそれぞれのIM1であり、それに関連付けられるか、または前記IM1(741)のうちの2つの間で生成され、それらのうちのいずれかに関連付けられるかのいずれかである、前記取得すること(602)と、
それぞれのIM2(742)内で、前記それぞれのIM2(742)が関連付けられるそれぞれのIM1(741)のそれぞれのSP1(771)について、およびそれに関して、前記物体(520)からの反射された第2の光(551)が前記物体(520)からの前記反射された第1の光よりも高い強度を有するそれぞれの第2のセンサー位置「SP2」(772)を選択すること(603)と、
前記選択されたSP2(772)の強度値を、それぞれ、前記SP1(771)に関連付けること(604)であって、前記SP2(772)が前記SP1(771)について選択され、それによって、前記反射されたマルチスペクトルの第2の光(551)からの前記SP2(772)内の前記強度値に対応するマルチスペクトル2Dデータが、前記SP1(771)に対応する前記3Dデータに関連付けられるようになり、前記SP2(772)が前記SP1(771)について選択された、前記関連付けること(604)と
を行うように構成される、1つまたは複数のデバイス(500、530、533、1000)。
【請求項13】
1つまたは複数のプロセッサ(1004)によって実行されると、請求項12に記載の1つまたは複数のデバイスに、請求項1から11のいずれか一項に記載の方法を実行させる命令を備える、1つまたは複数のコンピュータプログラム(1003)。
【請求項14】
請求項13に記載の1つまたは複数のコンピュータプログラム(1003)を備える、1つまたは複数の担体であって、前記1つまたは複数の担体は、以下のもの、すなわち、電子信号、光信号、無線信号、またはコンピュータ可読記憶媒体(1101)のうちの1つまたは複数である、1つまたは複数の担体。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書の実施形態は、マルチスペクトル2D画像データを取得し、光三角測量(light triangulation)からの3D画像データに関連付けるための方法および装置(arrangement)に関する。
【背景技術】
【0002】
ファクトリーおよびロジスティックオートメーションのための産業用視覚カメラおよびシステムは、シーンおよび/または物体の3D画像がキャプチャされる3次元(3D)機械視覚に基づくものであることが多い。3D画像によって、従来の画像の場合のような2次元(2D)のみにおけるピクセルに関する情報、たとえば、強度および/または色ではなく、または少なくともそれのみでなく、「高さ」または「深度」情報も備える画像のことが指される。すなわち、画像の各ピクセルは、画像内のピクセルの位置に関連付けられ、かつ撮像されたもの、たとえば、物体の位置にマッピングする、そのような情報を備え得る。次いで、3D画像から物体の特性、すなわち、物体の3D特性についての情報を抽出し、たとえば、様々な3D画像フォーマットに変換するために、処理が適用され得る。高さについてのそのような情報は、範囲データと呼ばれることがあり、そこで、範囲データは、したがって、撮像されている物体の高さ測定値からの、または言い換えれば、物体の範囲もしくは距離測定値からのデータに対応し得る。代替または追加として、ピクセルは、たとえば、撮像されるエリア内の光の散乱、または光の特定の波長の反射などに関する、材料特性についての情報を備え得る。
【0003】
したがって、ピクセル値は、たとえば、ピクセルの強度、および/または範囲データ、および/または材料特性に関し得る。
【0004】
たとえば、画像データを一度に1本のピクセル線ずつ検知および提供するように構成されたセンサーをもつカメラによって、画像の画像データが一度に1本の線ずつ走査または提供されるとき、ライン走査画像データが生じる。
【0005】
ライン走査画像の特殊な場合は、いわゆる「光のシート(sheet of light)」、または光平面、三角測量によって提供される画像データである。レーザーは、好ましいことが多いが、他の光源、たとえば、集束し続け、あまり広がらない光、すなわち、「構造化」される光、たとえば、レーザーもしくは発光ダイオード(LED)によって提供される光を提供することができる光源も使用され得る。
【0006】
3D機械視覚システムは、そのような光三角測量に基づくことが多い。そのようなシステムでは、物体上に光線またはレーザー線を生じ、かつそれに沿って、物体の輪郭に対応する物体の3D特性がキャプチャされる、光平面など、特定の光パターンに対応する構造化光(structured light)を用いて物体を照明する光源がある。線および/または物体の移動を伴う、そのような線を用いて物体を走査すること、すなわち、ライン走査を実行することによって、物体全体の3D特性が、複数の輪郭に対応してキャプチャされ得る。
【0007】
光三角測量に基づく、かつ、たとえば、光三角測量のための光のシートを使用する、3D機械視覚システムまたはデバイスは、光もしくは光のシート、三角測量、またはレーザー光が使用されるときは単にレーザー三角測量に基づく、3D撮像のためのシステムまたはデバイスと呼ばれることがある。
【0008】
典型的には、光三角測量に基づいて、3D画像を作り出すために、撮像されることになる物体からの反射光が、カメラの画像センサーによってキャプチャされ、強度ピークが画像データ内で検出される。ピークは、物体から反射された、たとえば、レーザー線に対応する、入射光がある、撮像された物体上の位置に対応する位置において発生する。検出されたピークの画像内の位置は、ピークを生じる光がそこから反射された物体上の位置にマッピングすることになる。
【0009】
光三角測量またはレーザー三角測量システム、すなわち、光三角測量に基づく3D撮像システムは、典型的には、物体上に光線またはレーザー線を投影して、物体の表面からの高さ曲線を作成する。関与するカメラおよび光源に対して物体を移動させることによって、物体の異なる部分からの高さ曲線についての情報が画像によってキャプチャされ、次いで、システムの関連するジオメトリの知識とともに組み合わせられ、使用されて、物体の3次元表現が作り出され得、すなわち、3D画像データが提供される。この技法は、光、典型的にはレーザー線が物体上に投影され、物体によって反射されるときの、光、典型的にはレーザー線の画像の獲得、および次いで、画像内の、反射された光線の位置の抽出として説明されることがある。このことは、たとえば、従来のピーク発見アルゴリズムを使用して、画像フレーム内で強度ピークの位置を特定することによって、正常に達成される。必要ではないが、典型的には、撮像システムは、強度ピークがセンサーの列ごとに探索され得、かつ列内の位置が高さまたは深度にマッピングするように、セットアップされる。
【0010】
多数の適用例では、たとえば、モデルが実世界の物体のさらにより良い表現のように見え、かつ/またはそうであるようにされ得るように、3D画像データから形成された物体の3Dモデルにテクスチャを提供するために、物体の高さおよび深度などの3D画像データのみでなく、物体の従来の2D画像データも得ることが望ましい。追加または代替として、たとえば、品質保証の理由のために、物体の表面からの特定の2D情報を得ることが重要である。3D画像データと同じ位置のためのそのような情報を得ること、すなわち、2D画像データが、3D画像データと2D画像データの両方がそこからキャプチャされた物体上の実際の位置に対応する3D位置のためのものであり、かつ/またはそれと整合されるようにすることが、特に重要であり得る。光三角測量の場合、したがって、強度ピーク位置に関連付けられた2D画像データを得ることが重要である。3D画像データ位置に関連付けられた2D画像データを用いて、たとえば、物体の3Dモデルの2D画像表面を分析して、たとえば、テキスト、すり傷、マーク、および/または色変化などを特定すること、ならびにそれらが高さ変化などにも関連付けられる場合、実際の物体上のどこにこれらが位置するかを特定可能であることが可能である。
【0011】
反射率および強度からのグレースケール2D画像データは、たとえば、3D画像データを提供するために光三角測量において使用されるものと同じ光、たとえば、レーザーを使用して取得され得る。しかしながら、レーザーの場合、レーザー光の特殊な特性のために、いわゆるスペックル雑音が発生し、次いで、2D画像内に発生することが多い。また、物体の表面からこのようにして取得され得る2D情報は、かなり限定されることが了解され得る。
【発明の概要】
【課題を解決するための手段】
【0012】
上記に鑑みて、目的は、光三角測量から生じる3D画像データに2D画像データがどのように関連付けられ得るかの改善された方法を提供することなど、従来技術の1つまたは複数の改善または代替物を提供することである。
【0013】
本明細書の実施形態の第1の態様によれば、この目的は、マルチスペクトル2D画像データを、物体の3D撮像のための撮像システムによって実行された光三角測量から生成された3D画像データに関連付けるための方法によって達成される。前記撮像システムは、第1の光を用いて、物体を照明するための第1の光源と、画像センサーをもつカメラと、異なる光波長を備えることによって互いに異なることによってマルチスペクトルである、2つ以上の第2の光を用いて、物体を照明するための、1つまたは複数の第2の光源とを備える。前記光三角測量は、第1の光を用いて、物体の連続する部分を照明することと、それぞれの第1の画像(IM1)内で、画像センサーによって、それぞれの部分からの反射された第1の光を検知することとを含む。
【0014】
方法は、前記カメラおよび画像センサーによって生成されたIM1の第1のセンサー位置(SP1)として、前記3Dデータを取得することであって、SP1は、前記光三角測量の一部として、物体からの反射された第1の光の強度ピークの位置に対応する、ことを含む。
【0015】
さらに、方法は、それぞれ、前記カメラおよび画像センサーによって生成され、前記2つ以上の第2の光による照明中に物体を撮像している、2つ以上の第2の画像(IM2)を取得することを含む。それぞれのIM2は、前記IM1のうちのそれぞれのIM1であり、それに関連付けられるか、または前記IM1のうちの2つの間で生成され、それらのうちのいずれかに関連付けられるかのいずれかである。
【0016】
方法は、それぞれのIM2内で、それぞれのIM2が関連付けられるそれぞれのIM1のそれぞれのSP1のために、およびそれに対して、物体からの反射された第2の光が物体からの反射された第1の光よりも高い強度を有するところのそれぞれの第2のセンサー位置(SP2)を選択することをさらに含む。
【0017】
さらに、方法は、選択されたSP2の強度値を、それぞれ、選択されたSP2がそのために選択されたSP1に関連付けることであって、それによって、反射されたマルチスペクトルの第2の光からのSP2内の強度値に対応するマルチスペクトル2Dデータが、SP2がそのために選択されたSP1に対応する3Dデータに関連付けられるようになる、ことを含む。
【0018】
本明細書の実施形態の第2の態様によれば、この目的は、マルチスペクトル2D画像データを、物体の3D撮像のための撮像システムによって実行された光三角測量から生成された3D画像データに関連付けるための、1つまたは複数のデバイスによって達成される。前記撮像システムは、第1の光を用いて、物体を照明するための第1の光源と、画像センサーをもつカメラと、異なる光波長を備えることによって互いに異なることによってマルチスペクトルである、2つ以上の第2の光を用いて、物体を照明するための、1つまたは複数の第2の光源とを備える。前記光三角測量は、第1の光を用いて、物体の連続する部分を照明することと、それぞれの第1の画像(IM1)内で、画像センサーによって、それぞれの部分からの反射された第1の光を検知することとを含む。前記1つまたは複数のデバイスは、以下を行うように構成される。
【0019】
前記カメラおよび画像センサーによって生成されたIM1の第1のセンサー位置(SP1)として、前記3Dデータを取得することであって、SP1は、前記光三角測量の一部として、物体からの反射された第1の光の強度ピークの位置に対応する、こと。さらに、前記1つまたは複数のデバイスは、以下を行うように構成される。
【0020】
それぞれ、前記カメラおよび画像センサーによって生成され、前記2つ以上の第2の光による照明中に物体を撮像している、2つ以上の第2の画像(IM2)を取得すること。それぞれのIM2は、前記IM1のうちのそれぞれのIM1であり、それに関連付けられるか、または前記IM1のうちの2つの間で生成され、それらのうちのいずれかに関連付けられるかのいずれかである。
【0021】
それぞれのIM2内で、それぞれのIM2が関連付けられるそれぞれのIM1のそれぞれのSP1のために、およびそれに対して、物体からの反射された第2の光が物体からの反射された第1の光よりも高い強度を有するところのそれぞれの第2のセンサー位置(SP2)を選択すること。
【0022】
選択されたSP2の強度値を、それぞれ、選択されたSP2がそのために選択されたSP1に関連付けることであって、反射されたマルチスペクトルの第2の光からのSP2内の強度値に対応するマルチスペクトル2Dデータが、SP2がそのために選択されたSP1に対応する3Dデータに関連付けられるようになるようにする、こと。
【0023】
本明細書の実施形態の第3の態様によれば、この目的は、1つまたは複数のプロセッサによって実行されると、第2の態様による前記1つまたは複数のデバイスに、第1の態様による方法を実行させる命令を備える、1つまたは複数のコンピュータプログラムによって達成される。
【0024】
本明細書の実施形態の第4の態様によれば、この目的は、第3の態様による1つまたは複数のコンピュータプログラムを備える、1つまたは複数の担体によって達成され、1つまたは複数の担体は、以下のもの、すなわち、電子信号、光信号、無線信号、またはコンピュータ可読記憶媒体のうちの1つまたは複数である。
【0025】
本明細書の実施形態は、光三角測量に基づく従来の3D撮像において使用される従来の、典型的にはモノクロームのカメラであり得る、1つの同じカメラを使用して、光三角測量からの3D画像データに関連付けられ、光三角測量からの3D画像データとセンサー位置またはピクセルのレベルで整合された、マルチスペクトル2D画像データを提供する。さらに、2D画像データはまた、3D画像データと焦点を共有することになり、たとえば、撮像システムによって、第1の光の照明が典型的には光平面内で存在するところの焦点、および、したがって、3D画像データが生成されるところの物体上の焦点を与えるために、シャインプルーフが利用されるとき、マルチスペクトル2D画像データも、この焦点から利得を得ることになる。このことは、3D画像データを取得するために使用された第1の光のみによる照明から2D画像データを取得することに限定されることはない。
【0026】
結果として、たとえば、3D撮像から生じる3D物体のフルカラーなどのテクスチャ表面の形態の、焦点が合っており、良好に整合されたマルチスペクトル2D画像データを伴う、光三角測量に基づく物体の3D撮像が可能にされる。さらに、多種多様な2D画像データが、いくつかの異なる波長の第2の光の異なる組合せから、かつ/または異なる位置および方向からの照明を含む、異なる種類の光源および/もしくは照明を使用して取得され得る。
【0027】
2D画像データは、関連付けられた3D画像データがそこから取得される同じ画像(IM1)であり得る、IM2から取得され、かつ/または2D画像データは、それによって2D画像データが3D画像データに関連し、それに関連付けられるように、IM1とは別個であるが、IM1の間で生成された、IM2からのものであり得る。後者の場合、IM2は、光三角測量からの3D画像データとともに、2つの連続するIM1の間の時間期間内で生成される。IM1=IM2である前記実施形態は、より少ないデータ処理を可能にし、既存のシステムを用いる実装を容易にするが、IM1とは別個のIM2を用いる前記実施形態は、第2の光のために使用するためのSP2および露光期間の選択、ならびに光三角測量によって使用される、レーザーなどの第1の光に対して、第2の光の照明がどのように提供され得るかにおける、より大きい自由を可能にする。
【0028】
また、本明細書の実施形態は、光三角測量からの3D画像データと組み合わせられ、整合された、マルチスペクトル2D画像データのおかげで、欠陥などの物体表面詳細の改善された検出可能性を可能にする。
【0029】
本明細書の実施形態の例については、以下で簡単に説明される添付の概略図を参照しながら、より詳細に説明される。
【図面の簡単な説明】
【0030】
【図1】本明細書の実施形態も使用することができ、かつ/またはそれに基づき得る、従来技術の撮像システムの一例を概略的に示す図である。
【図2A】光三角測量および先の出願の実施形態を行うように構成され得る撮像システムの簡略化された第1の例を概略的に示す図である。
【図2B】前記先の出願で開示された方法を概略的に示すためのフローチャートである。
【図4A】前記主要グループのうちの第1のものに関する一例を概略的に示す図である。
【図4B】前記主要グループのうちの第2のものに関する一例の図である。
【図4C】前記主要グループのうちの第2のものに関する一例の図である。
【図5A】光三角測量および本明細書の実施形態を行うように構成され得る撮像システムの簡略化された例を概略的に示す図である。
【図5C】第2の光が波長において重複しないものであり得ることを概略的に示す図である。
【図5D】第2の光が波長において部分的に重複し得ることを概略的に示す図である。
【図6】本明細書の実施形態による方法を概略的に示すためのフローチャートである。
【図7A】図3Aに関して説明されたようであるが、マルチスペクトルの第2の光の場合において、かつ図6に関して説明されたような本明細書の実施形態による方法に関して、対応する主要グループのための状況を概略的に示す図である。
【図7B】図3Bに関して説明されたようであるが、マルチスペクトルの第2の光の場合において、かつ図6に関して説明されたような本明細書の実施形態による方法に関して、対応する主要グループのための状況を概略的に示す図である。
【図8A】第2の光の異なるシーケンスを伴う一例を概略的に示す図である。
【図8B】第2の光の異なるシーケンスを伴う一例を概略的に示す図である。
【図8C】第2の光の異なるシーケンスを伴う一例を概略的に示す図である。
【図8D】第2の光の異なるシーケンスを伴う一例を概略的に示す図である。
【図8E】第2の光の異なるシーケンスを伴う一例を概略的に示す図である。
【図9A】本明細書の実施形態の現実のおよび実際的な適用例からの例示的な画像および結果の図である。
【図9B】本明細書の実施形態の現実のおよび実際的な適用例からの例示的な画像および結果の図である。
【図9C】本明細書の実施形態の現実のおよび実際的な適用例からの例示的な画像および結果の図である。
【図9D】本明細書の実施形態の現実のおよび実際的な適用例からの例示的な画像および結果の図である。
【図10】本明細書の実施形態を実行するためのデバイスの実施形態を示すための概略ブロック図である。
【発明を実施するための形態】
【0031】
本明細書の実施形態は、例示的な実施形態である。これらの実施形態は、必ずしも相互排他的であるとは限らないことに留意されたい。ある実施形態からの構成要素は、他の実施形態において存在することが暗に仮定されることがあり、それらの構成要素が他の例示的な実施形態においてどのように使用され得るかは、当業者には明らかになる。
【0032】
光三角測量光源、典型的にはレーザーが、反射率画像、すなわち、物体の2D画像データをもつ画像を取得するために使用されるとき、欠点は、画像内のスペックル雑音、および光三角測量において使用される光から可能であるもの以外に代替表面情報を収集可能でないことを含む。
【0033】
一方、物体の画像が、光三角測量とは別個に取得される場合、光三角測量から生じるような測定物体の3D画像との望ましい整合を得ることは、すべての適用例において可能であるとしても極めて困難である。
【0034】
「マルチ走査」手法が使用されることがあり、そこで、たとえば、使用されるイメージャ、すなわち、画像センサーの別個の1つまたは複数の行が、2D画像データを収集するために使用され得るが、これには、依然として3D画像データとのいかなる良好な整合もない。さらに、イメージャの大部分がそのために使用される光三角測量と、別個の2D画像データ読出しの両方のために、良好な焦点を作成することは困難である。光三角測量セットアップは、典型的には、シャインプルーフフォーカシング(Scheimpflug focusing)を使用して達成される、光三角測量のために使用される光平面、典型的にはレーザー平面の周囲のみの最大焦点、ならびにより多くの光がイメージャに到達することを可能にするために、大きいアパーチャ開口(aperture opening)を使用するための能力および要望を有するようになる。
【0035】
光三角測量において使用される光をそのようなものとして使用することに限定されず、同時に、有用であり、光三角測量からの3D画像データと良好に整合される2D画像データを得ることが可能である、2D画像データを取得するための方法があることが望ましい。
【0036】
出願人による先の出願、EP22154020.6は、上記に関する解決策に関する。本出願および本明細書の実施形態は、前記先の出願の解決策に基づくが、具体的には、マルチスペクトル2D画像データを伴う実施形態、すなわち、関連付けられた3D画像データとともに、2D画像データ、たとえば、フルカラー画像データを作り出すために、異なる波長をもつさらなる光がどのように使用され得るかを対象とする。前記先の出願で開示された情報の一部が、いくつかの基礎を(再)導入するために、および本明細書の実施形態の理解を容易にするために、以下で繰り返される。ただし、いくつかの参照番号および命名は、本出願の文脈により良く好適であるように変更されている。
【0037】
図1は、本明細書の実施形態が基づき得る、光三角測量に基づく3D撮像のための従来技術の撮像システム100の一例を概略的に示す。撮像システム100は、代替的に、たとえば、物体の3D特性についての情報をキャプチャするために光三角測量に基づく、3D機械視覚のための撮像システムと称されることがある。撮像システム100は、図では、通常動作の状況において、すなわち、典型的には較正が実行された後に示されており、したがって、システムが較正されている。撮像システム100は、ここでは、光三角測量のシートの形態の、光三角測量、すなわち、光平面である構造化光が使用される光三角測量を実行するように構成される。撮像システム100は、構造化光、典型的には、特定の光パターンを用いて撮像されることになる物体の照明のための、レーザーなどの光源110をさらに備える。この例および図では、光平面の形態の構造化光111がある。光はレーザー光であり得るが、そうである必要はないことがあり、代替的に、たとえば、1つまたは複数の発光ダイオード(LED)からの光であり得る。構造化光の他の例は、従来の光平面であるものと似ているが違う、しかし同様の効果をもつ、光エッジ、すなわち、照明があるエリアのエッジである。生成された光および照明は、たとえば、光を集束させるために、典型的には、1つまたは複数のレンズを通して提供される。さらに、カメラは、典型的には、いわゆるシャインプルーフの原理またはシャインプルーフフォーカシングに基づいて、構造化光111、典型的には光平面と同位置に配置された、言い換えれば、整合された、焦点面を有することになるように構成および配置される。このようにして、光平面において発生する物体反射は、画像センサーにおいて焦点が合っているようになる。示された例では、撮像を受ける物体は、車の形態である第1の物体120、および歯車構造の形態である第2の物体121によって例示される。撮像される物体は、測定物体と呼ばれることがある。構造化光111が物体上に入射するとき、これは、構造化光111が物体と交差するときに見られ得る、物体上の構造化光111の投影に対応する。たとえば、示された例では、光平面の形態である構造化光111は、第1の測定物体120上の光線112を生じる。構造化光111は、物体によって、より具体的には、交差部における、すなわち、示された例では光線112における物体の部分によって反射される。撮像システム100は、画像センサー(図1には示されていない)を備えるカメラ130をさらに備える。カメラおよび画像センサーは、構造化光111が物体によって反射されると、画像センサー上で入射するように、光源110および撮像されることになる物体に対して配置される。画像センサーは、入射光を画像データに変換するための、典型的にはチップとして実装される、装置である。反射によって画像センサー上で前記入射光を引き起こす、物体の前記部分は、それによってカメラ130および画像センサーによってキャプチャされ得、対応する画像データが作り出され、さらなる使用のために提供され得る。たとえば、示された例では、構造化光111は、第1の物体120の車の屋根の部分上の光線112において、カメラ130および画像センサーに向かって反射されるようになり、カメラ130および画像センサーは、それによって画像データを作り出し、車の屋根の前記部分についての情報とともに提供し得る。光三角測量の原理によれば、撮像システム100のジオメトリについての知識、たとえば、画像センサー座標がどのように、撮像されている物体に関連する、デカルト座標などの座標系123の座標など、世界座標に関係するかについての知識を用いて、画像データは、好適なフォーマットにおいて撮像されている物体の、たとえば、3D形状または輪郭の形態における、3D特性についての情報に変換され得る。前記3D特性についての情報は、任意の好適なフォーマットにおいて3D特性を表すデータを備え得る。
【0038】
物体の複数の部分が照明され、かつ実際には、典型的には、構造化光111を用いて物体を走査することによって、画像センサーによって画像内で反射光が検知されることを引き起こすように、光源110、および/または第1の物体120もしくは第2の物体121など、撮像されることになる物体を移動させることによって、それぞれの物体のより完全な3D形状を記述する画像データが作り出され得、たとえば、第1の物体120の示されている輪郭画像141-1～141-Nなど、それぞれの物体の複数の連続する輪郭に対応するものである。各輪郭画像は、カメラユニット130の画像センサーが、輪郭画像を生じる光を検知したとき、構造化光111が反射されたところの、第1の物体120の外形を示す。図に示されているように、コンベヤベルトまたは同様のものなど、可動物体支持構造122が、構造化光111を通して、物体を移動させ、かつそれによって走査するために使用され得、光源110およびカメラユニット130が典型的には固定である。あるいは構造化光111が、物体上で移動され得るので、物体のすべての部分、または少なくとも光源110に面するすべての部分が照明されるようになり、カメラは、撮像することが望ましい物体のすべての部分から反射された光を受信するようになる。
【0039】
以上のことから理解されるように、たとえば、第1の物体120の撮像中に、カメラ130およびその画像センサーによって提供された、画像フレームに対応するそれぞれの画像は、輪郭画像141-1～141-Nのうちのいずれか1つに対応し得るか、または輪郭画像141-1～141-Nのうちのいずれか1つを提供するために使用され得る。輪郭画像141-1～141-Nのうちのいずれかにおいて示された第1の物体の外形の各位置は、典型的には、画像センサーによってキャプチャされた画像データ内の強度ピークの特定、およびこれらの強度ピークの位置を発見することに基づいて決定される。撮像システム100および従来のピーク発見アルゴリズムは、典型的には、各画像フレーム内で、ピクセル列ごとに強度ピークを探索するように構成される。センサー座標がu、vであり、たとえば、uが、図に示されているように、画像センサー内の行に沿ったピクセル位置に対応し、vが、列に沿ったピクセル位置に対応する場合、各位置について、vに沿ってピーク位置について探索された画像フレームのuがあり、画像フレーム内の特定されたピークが、図に示されているような1つの「クリーンな」輪郭画像を生じ得、画像フレームおよび輪郭画像の全体が、第1の物体120の3D画像を作成するために使用され得る。
【0040】
図2Aは、光三角測量および前記先の出願の実施形態を行うように構成され得る撮像システム200の簡略化された第1の例を概略的に示す。撮像システム200は、測定物体と呼ばれることがある、1つまたは複数の物体の2Dおよび3D特性についての情報をキャプチャするために、光三角測量に基づく。示されたシステムは、基本構成に対応し、以下を備える。測定物体220の3D撮像のための光三角測量の一部として、第1の光211、典型的にはレーザー光を用いて、ここでは図において物体220によって例示された、前記1つまたは複数の物体を照明するための第1の光源210。測定物体220の2D撮像のために、第2の光251を用いて、物体220を照明するための第2の光源250。3D撮像のための前記光三角測量の一部として、物体220からの反射された第1の光を検知するために、および前記2D撮像のために、物体220からの反射された第2の光を検知するために配置された、画像センサー231をもつカメラ230。
【0041】
カメラ230、画像センサー231、および第1の光源210は、光三角測量のために互いに対して構成および配置され、したがって、従来の光三角測量において使用されるようなものであり得るか、または従来の光三角測量において使用されるようなものに基づき得る。システム200は、光三角測量の目的のために、すなわち、第1の光源210、カメラ230、画像センサー231が、どのように互いにおよび測定物体220などに対して配置されるか、さらに以下で説明されるように実行するように構成されるかに関して、図1におけるシステム100に対応し得る。画像センサー231は、もちろん、使用されている第2の光にも反応するべきである。
【0042】
したがって、物体220は、第1の物体120に対応し得、少なくとも部分的にカメラ230の視野232内に配置されるように示される。第1の光源210は、光三角測量のために使用される光である第1の光211、したがって、典型的には、たとえば、レーザーによって提供される、特定の光パターン、たとえば、光のシートまたは光平面などの構造化光を用いて、測定物体220を照明するように構成される。第1の光211が、物体220によって反射され、反射された第1の光が、光三角測量の一部として、カメラ230および画像センサー231によってキャプチャされる。第1の光として使用され得る構造化光の他の例は、光エッジ、すなわち、照明があるエリアまたは部分のエッジである。
【0043】
物体220は、このようにして照明され得、画像は、従来の光三角測量の場合のようにキャプチャされ得る。そのようなものとしての前記光三角測量は、したがって、従来技術の場合のようであり、互いに対する第1の光源210および/または物体220の移動を伴い得るので、異なる連続する時刻において、物体220の異なる連続する部分が、第1の光源210および第1の光211によって照明されるようになり、物体220からの反射された第1の光211は、画像センサー231によって検知される。従来の光三角測量の場合のように、典型的には、必要ではないが、カメラ230および第1の光源210は、互いに対して固定され、物体220は、これらに対して移動する。画像センサー231による前記検知を通して、それぞれの画像フレームは、画像フレームが検知された、すなわち、キャプチャされたときのそれぞれの時刻に、およびそこから画像センサー231がそれぞれの時刻において反射された第1の光211を検知した、測定物体220のそれぞれの部分に、関連付けられる。
【0044】
カメラ230は、従来技術カメラであり、たとえば、図1のシステム100におけるカメラ130に対応し得、画像センサー231は、図1に関して上記で説明された、同じまたは同様の画像センサーであり得る。カメラ230および画像センサー231によって提供された画像フレーム、および/または画像フレームから導出された情報は、カメラ230の外部のさらなる処理のために、たとえば、コンピュータまたは同様のものなどのコンピューティングデバイス233に転送すること、たとえば、送信することが望ましくなり得る。そのようなさらなる処理は、追加または代替として、別個のコンピューティングユニットまたはデバイス(図示されていない)、すなわち、画像プロセッサ231とは別個であるが、依然としてカメラ230、またはカメラ230を備えるユニット内に含まれる、たとえば、それと統合されるものによって実行され得る。コンピューティングデバイス233、たとえば、コンピュータまたは他のデバイス(図示されていない)は、光三角測量に関与する、かつ/または本明細書の実施形態に関与するデバイスを制御するように構成され得るので、光三角測量および/または本明細書の実施形態に関する他の動作が実行されるようになる。
【0045】
光三角測量による従来の3D撮像の場合のように、第1の光源210およびカメラ230は、典型的には、あらかじめ決定された固定された位置において、光三角測量のための互いとの既知の関係を用いて配置される。前記撮像システム200は、第2の光源250も備え、第2の光源250もまた、カメラ230および第1の光源210に対して固定位置にあり得るが、正確な位置、ならびにカメラ230および画像センサー231との関係は、本明細書の実施形態では光三角測量の場合のように利用されず、したがって、第2の光源は、第2の光による照明を提供するための目的で、より自由に配置され得る。
【0046】
図2Bは、前記先の出願で開示された方法を概略的に示すためのフローチャートである。方法を形成し得る、以下の動作は、2D画像データを取得し、3D画像データに関連付けるためのものである。3D画像データは、以下で撮像システム200によって例示される、撮像システムによって実行される光三角測量から生じる第1の強度ピーク位置に基づく。第1の強度ピーク位置は、したがって、従来の光三角測量において決定されるような強度ピーク位置であり得る。それらについては、以下でさらに本明細書の実施形態に関して、ならびに別個の図面および例において説明および例示される。したがって、この方法を実行し得る撮像システムは、第1の光を用いて、物体を照明するための第1の光源と、物体からの反射された第1の光を検知するための画像センサーとを備える。以下では、第1の光源および第1の光は、第1の光源210および第1の光211によって例示され、物体および画像センサーは、物体220および画像センサー231によって例示される。
【0047】
従来の光三角測量の場合のように、光三角測量は以下を備える。
【0048】
第1の光211を用いて、物体220の第1の部分を照明し、第1の露光期間(EXP1-1)中に画像センサー231によって、第1の部分からの反射された第1の光を検知し、第1のセンサー位置(SP1-1)において発生する第1の強度ピークをもつ第1の画像(IM1-1)を生じること。
【0049】
第1の光211を用いて、前記第1の部分に隣接する物体220の他の第2の部分を照明し、他の第1の露光期間(EXP1-2)中に画像センサー231によって、第2の部分からの反射された第1の光を検知し、さらなる第1のセンサー位置(SP1-2)において発生する強度ピークをもつさらなる第1の画像(IM1-2)を生じること。
【0050】
したがって、第1の画像(IM1)は、SP1において第1の強度ピークをもつ、連続する画像フレームに対応し、光三角測量の一部である。
【0051】
前記露光期間、画像、センサー位置SP1-1およびSP1-2については、以下でさらに、別個の図面および例において説明および例示される。
【0052】
さらに、撮像システム200などの撮像システムは、前記第1の光とは異なる1つまたは複数の第2の光を用いて、物体220を照明するための、1つまたは複数の追加の第2の光源をさらに備える。以下では、第2の光源および第2の光は、第2の光源250および第2の光251によって例示される。
【0053】
以下の、図2Bに示されている方法および/または動作は、デバイス、すなわち、カメラ230および/またはコンピューティングデバイス233などの1つまたは複数のデバイスによって、あるいは撮像システム205、および/またはその、もしくはそれに接続された好適なデバイスによって実行され得る。
【0054】
以下の動作は、任意の好適な順序において取られ、かつ/またはこれが可能および好適である時間に、完全にもしくは部分的に重複して行われ得ることに留意されたい。
【0055】
動作201
物体220が、前記1つまたは複数の第2の光251を用いて照明され、1つまたは複数の第2の露光期間(EXP2)中に画像センサー231によって、物体220からの反射された第2の光が検知され、1つまたは複数の第2の画像(IM2)がそれぞれ生じる。
物体220が、前記1つまたは複数の第2の光251を用いて照明され、1つまたは複数の第2の露光期間(EXP2)中に画像センサー231によって、物体220からの反射された第2の光が検知され、1つまたは複数の第2の画像(IM2)がそれぞれ生じる。
【0056】
照明は、いずれの第1の露光期間(EXP1)中にも、いずれかの反射された第2の光が、第1のセンサー位置(SP1)において、反射された第1の光からの強度よりも低い強度を生じることになるように、提供されるべきである。このことは、第1の光強度ピークの第2の光干渉が低いことを確実にする。このことは、図4A～図4Cに関して以下でさらに説明および例示される。
【0057】
【0058】
動作202
第1の画像内のそれぞれの第1のセンサー位置(SP1)について、前記1つまたは複数の第2の画像(IM2)内のそれぞれの第2のセンサー位置(SP2)が選択される。1つまたは複数の第2の光251を用いる前記照明は、前記1つまたは複数の第2の露光期間(EXP2)中に、物体220からのいずれかの反射された第2の光が、選択された第2のセンサー位置(SP2)において、反射された第1の光211よりも高い強度を生じることになるように、提供されるべきである。このことは、反射された第2の光が不明瞭にされず、かつ/または第2のセンサー位置(SP2)において反射された第1の光によって望ましくない干渉を受けないことを確実にする。このことはまた、必要とされるとき、以下で説明されるように、SP1に対するSP2の好適な選択によって達成され得る。以下の図4A～図4Cに関するさらなる説明および例を参照されたい。
第1の画像内のそれぞれの第1のセンサー位置(SP1)について、前記1つまたは複数の第2の画像(IM2)内のそれぞれの第2のセンサー位置(SP2)が選択される。1つまたは複数の第2の光251を用いる前記照明は、前記1つまたは複数の第2の露光期間(EXP2)中に、物体220からのいずれかの反射された第2の光が、選択された第2のセンサー位置(SP2)において、反射された第1の光211よりも高い強度を生じることになるように、提供されるべきである。このことは、反射された第2の光が不明瞭にされず、かつ/または第2のセンサー位置(SP2)において反射された第1の光によって望ましくない干渉を受けないことを確実にする。このことはまた、必要とされるとき、以下で説明されるように、SP1に対するSP2の好適な選択によって達成され得る。以下の図4A～図4Cに関するさらなる説明および例を参照されたい。
【0059】
第2のセンサー位置(SP2)は、光三角測量から生じる第1のセンサー位置(SP1)とのあらかじめ定義されたまたはあらかじめ決定された関係を用いて選択され得る。たとえば、それぞれのSP2が、それぞれのSP1からあらかじめ定義されたまたはあらかじめ決定された距離にある、および/あるいはあらかじめ定義されたまたはあらかじめ決定された方向にあるなど、それぞれのSP1とのあらかじめ定義されたまたはあらかじめ決定された関係を用いて選択されるべきであることが、あらかじめ決定され得る。実際には、典型的には、好適な方向は、典型的には画像センサーの列に沿った、すなわち、本明細書の例では、本明細書の例において使用される座標系において実世界座標におけるzにマッピングする、センサー座標におけるvに沿った、「高さ」にマッピングする画像センサー上の方向である。より一般的には、それに沿ってSP1が探索される方向は、それに沿って光三角測量からの1つの強度ピークが予想され、第1の光がカメラに向けて物体によって直接反射された物体点に対応する、センサー方向であり得る。この方向における光分布は、光平面またはレーザー平面に対応するなどの構造化された第1の光、およびそれがどのように物体上で線として投影するかによって与えられるので、光強度がこの方向においてどのように減少するかは、知られているか、または必要とされる場合、容易に見つけ出され得る。それによって、以下で述べられる第1の主要グループの場合のように、第1の光と第2の光の両方が同じ画像内でキャプチャされる場合に、第2の光強度が第1の光強度よりも高くなる、あらかじめ決定された距離として使用され得る、たとえば、ピクセル単位の距離が、事前に発見され得る。第2のセンサー位置SP2の選択、および2つの主要グループ間で何が異なるかを含む、センサー位置SPについては、以下で図4A～図4Cに関してさらに説明および例示される。
【0060】
動作203
前記1つまたは複数の第2の画像(IM2)内のそれぞれの第2のセンサー位置(SP2)、すなわち、動作202において選択された第2のセンサー位置からの2D画像データが取得され、取得された画像データが、それぞれの第2のセンサー位置(SP2)がそのために選択された第1のセンサー位置(SP1)に関連付けられる。結果として、光三角測量からの3D画像データが、第1のセンサー位置(SP1)における第1の強度ピーク位置に基づくか、またはそれに対応するので、取得された2D画像データは、3D画像データに関連付けられるようになる。
前記1つまたは複数の第2の画像(IM2)内のそれぞれの第2のセンサー位置(SP2)、すなわち、動作202において選択された第2のセンサー位置からの2D画像データが取得され、取得された画像データが、それぞれの第2のセンサー位置(SP2)がそのために選択された第1のセンサー位置(SP1)に関連付けられる。結果として、光三角測量からの3D画像データが、第1のセンサー位置(SP1)における第1の強度ピーク位置に基づくか、またはそれに対応するので、取得された2D画像データは、3D画像データに関連付けられるようになる。
【0061】
本明細書で使用されるとき、「2D画像データ」は、光への露光から生じる、画像センサー、たとえば、画像センサー231の位置もしくはピクセルにおける、または画像センサーによって生成された画像内の対応する位置における、画像データを指し得る。2D画像データは、典型的には、光強度および/または色に対応しており、たとえば、キャプチャされた光の強度を示すかまたは特定する強度値の形態である。本明細書の実施形態では、ある位置またはピクセルの2D画像データは、第2の光を反射した物体上の対応する位置についての情報を備え、すなわち、ある位置の2D画像データは、撮像された物体の対応する位置がどのように第2の光を反射するかについての情報をもつ画像データに対応する。
【0062】
本明細書で使用されるとき、「光三角測量から生じる強度ピーク位置に基づく3D画像データ」は、前記強度ピーク位置を生じる第1の光を反射した測定物体上の対応する位置についての、少なくとも深度および/または高さ情報を備えるデータとして理解され得る。たとえば、図1に関して示された輪郭画像141-1～141-Nでは、特定された強度ピーク位置が(SP1として)センサー座標u、vにおいて示されており、各位置uのためのvにおける強度ピーク位置は、撮像された物体120の深度についての情報、より具体的には、vにおける強度ピーク位置を生じる光112を反射した物体120上の位置についての深度情報を備える。言い換えれば、強度ピーク位置の、サブピクセル解像度におけるものであり得る、センサー座標は、3D画像データに対応し、それによって3D画像データを備える。このことは、その座標によって特定されるものなど、それぞれの第1のセンサー位置が、3D画像データに対応し、したがって3D画像データを含んでいることとして表され得る。
【0063】
実際には、第1の光を反射した物体上の位置に関する3D画像データは、物体上のx、y、zにおける位置にマッピングするu、v、tにおける強度ピーク位置の3D位置であり得るか、またはそれは、物体の3Dモデルの座標x'、y'、z'における対応する3D位置であり得、そのモデルは、u、v、tならびに光三角測量において使用される既知の動作状態および関係に基づく計算から提供されたものである。
【0064】
したがって、この方法および動作は、光三角測量からの3D画像データに関連付けられた2D画像データの提供に関する。2D画像データは、3D画像データがそこから来る測定物体上の同じ位置に関連し、その理由は、2D画像データは、上記で説明され、以下でさらに説明および例示されるように、光三角測量のために使用される第1の強度ピーク(SP1)をもつ画像フレーム、すなわち前記第1の画像(IM1)の取得に関して、および好ましくはそれとともに、ならびに同じカメラおよび画像センサーを使用することによって取得されるが、3D画像データを取得するために使用されるものと同じ光源による照明から2D画像データを取得することに限定されないからである。結果として、3D画像データに関連付けられた多種多様な2D画像データが、たとえば、異なる方向および位置からの照明を含む、異なる種類の光および/または照明を使用することに基づいて取得され得る。
【0065】
第2の光251、または、たとえば、いくつかの第2の光源がある場合には、複数の第2の光は、有利に拡散し、かつ/または、したがって、第2の光源250がそれに基づき得る1つまたは複数の発光ダイオード(LED)によって提供され得る。第2の光源のうちの少なくとも1つは、拡散する第2の光を提供し得る。拡散光は、レーザー光など、典型的には極めて指向性のある第1の光211とは対照的である。拡散光は、レーザースペックルなしの反射率を可能にする。拡散する第2の光による他の利点は、SP2において、および同じくSP1において好適な強度を達成することがより容易な、より簡単なシステムセットアップである。拡散光はまた、正常に発生する照明により近いものであり、したがって、測定物体についての所望の2D画像データをキャプチャするためにより良好であり得る。いくつかの実施形態はまた、拡散する第2の光を用いて実装することがより簡単になり得る。
【0066】
図3A～図3Bは、先の出願で開示され、図2Bに関して上記で説明された実施形態の2つの主要グループのための状況を概略的に示す。要するに、図3Aは、前記第2の画像(IM2)が第1の画像(IM1)と同じである、第1の主要グループについてのものであり、したがって、また、第2の露光期間(EXP2)が第1の露光期間(EXP1)と同じであることについてのものである。図3Bは、代わりに、第2の画像(IM2)が第1の画像(IM1)とは別個である、第2の主要グループについてのものであり、それによって、第2の画像(IM2)もまた、第1の画像IM1-1、IM1-2の第1の露光期間の間、ここでは、EXP1-1とEXP1-2との間に位置するそれ自体の別個の露光期間(EXP2)を有する。第2の画像IM2-1およびその第2の露光期間EXP2-1は、このグループでは、IM1-1とIM1-2との間、すなわち、光三角測量のために使用される画像の間でこのようにして生成される。
【0067】
前記第1の主要サブグループに関する図3Aは、IM2-1に対応し、かつ、この例では、IM1-1に対応する第1の画像341a-1と同じ画像である、第2の画像342a-1をより具体的に、および概略的に示す。第2の画像342a-1は、EXP2-1に対応し、かつ、このグループでは、EXP1-1および第1の露光期間361a-1と同じである、第2の露光期間362a-1を使用して生成される。また、EXP2に対応する第1の露光期間361a-2とともに、IM1-2に対応するさらなる第1の画像341a-2も示されている。したがって、示された画像IM1-1およびIM1-2は、光三角測量のために使用される画像に対応する。第1の画像IM1-1 341a-1は、キャプチャ時間t1に関連付けられ、第2の画像341a-2は、キャプチャ時間t2に関連付けられる。t2とt1との間の差T3D、すなわち、T3D=t2-t1は、典型的には走査レートに対応する、3D画像データの提供のための光三角測量の一部としての、後続の画像間の時間期間に対応する時間期間363aである。露光期間の時間における示された長さは、単に、光三角測量による従来の3D撮像の場合のように、関与する時間における延長もあることを示すためのものであり、示されているものは概略的であり、光三角測量において使用される後続の画像フレーム間のいかなる実際の時間期間T3Dとの望ましい関係も示していないことに留意されたい。露光期間、および後続の画像間の時間期間は、従来の光三角測量の場合のようであり得るが、いくつかの場合、同じ画像内の反射された第1の光211と反射された第2の光251の両方の好適な検知を達成するために、露光期間を調整することが重要であり得る。
【0068】
第1の主要グループの場合、それぞれの第2のセンサー位置(SP2)は、図2Bにおける方法の動作202の場合のように、第1の画像341a-1内で、すなわち、IM1-1内で、それぞれの第1のセンサー位置(SP1)までのセンサー座標におけるそれぞれの差(d)を用いて選択される。
【0069】
前記第2の主要グループに関する図3Bは、IM2-1に対応し、かつ、この例では、IM1-1に対応する第1の画像341b-1とは別個の画像である、第2の画像342b-1をより具体的に、および概略的に示す。第2の画像342b-1は、EXP2-1に対応し、したがって、新しいおよび/または別個の露光期間である、第2の露光期間362b-1を使用して生成され、また、そのようなものとして光三角測量のために使用されないが、そのような画像間、ここでは、EXP1-1に対応する第1の露光期間361b-1と、EXP1-2に対応する第1のさらなる露光期間361b-2との間の時間期間における、画像に関係する。第2の露光期間362b-1は、IM2-1に対応する第2の画像342b-1の露光期間である。図は、前記1つまたは複数の第2の露光期間(EXP2)および1つまたは複数の第2の画像(IM2)がただ1つである、一例を示すことを了解されたい。しかしながら、実際には、典型的には、EXP2-1をもつIM2-1に続く、EXP2-2をもつIM2-2など、第2の露光期間をもつさらなる後続のIM2がある。
【0070】
示されている第1の画像IM1-1、IM1-2、および第1の露光期間EXP1-1、EXP1-2、および時間期間T3Dは、図3Aにおけるそれらの相対物のようであり得、かつ/または従来の光三角測量の場合のようであり得、第1の画像のための第1の露光期間は、典型的には同じ長さのものである。
【0071】
図3A～図3Bの両方において、および両方の主要グループでは、第1の画像IM1-1およびIM1-2は、第1の光をキャプチャする、かつ、したがって、図2Bに関して上記で説明された光三角測量において、およびそのために使用される画像に対応し、第2の画像IM2-1は、反射された第2の光251、およびそれによって2D画像データをキャプチャするためのものである。
【0072】
第1の主要グループと比較して、違いは、第2の主要グループでは、第1の光211が、たとえば、362b-1中など、1つまたは複数の第2の露光期間(EXP2)中に、オフに切り替えられるか、減衰されるか、または他の場所に向けられることによって、物体220を照明することを防止され得、かつ有利に防止されることである。このことは、第2の画像IM2が第1の画像IM1とは別個であること、すなわち、反射された第2の光251をキャプチャするための別個の第2の画像のおかげで可能である。このことは、IM2内の第1の光、たとえば、レーザーからの光妨害(light disturbance)のリスクを取り除くために、およびまた、それによってSP2を選択する際の自由度をより大きくするために使用され得る。
【0073】
【0074】
前記第1の主要グループに関する図4Aは、前記第1の露光期間(EXP1)のうちのいずれかの間に画像センサー231によって検知され、たとえば、前記第1の画像(IM1)のうちの1つの中に含まれるものなど、物体、たとえば、物体220からの反射光に対応する、画像センサー座標vに沿った光強度を示す。上述のように、第1の主要グループによる実施形態では、IM2=IM1およびEXP2=EXP1である。反射された第1の光211および反射された第2の光251からの寄与は、説明の理由のために、図において分離されるように示されている。反射された第1の光、たとえば、物体220から反射され、画像センサー231によって検知された第1の光211からの寄与は、図において第1の光強度分布413aに対応する。反射された第2の光、すなわち、物体220から反射され、画像センサー231によって検知された第2の光251からの寄与は、図において第2の光強度分布453aに対応する。言い換えれば、第1の光強度分布413aは、反射された第1の光211、すなわち、反射された第1の光の一例であり、第2の光強度分布453aは、反射された第2の光251、すなわち、反射された第2の光の一例である。実際には、光強度分布413aおよび453aは、示された分布を追加することに対応して重ね合わせられ、それによって、画像センサーによって検知されるものに対応する単一の光強度分布が形成される。
【0075】
第1の光強度分布413aは、典型的には、照明が、物体上のレーザー線などの光線を生じる構造化光、たとえば、光平面であるときの場合のように、かなり狭く、SP1に対応する強度ピーク位置471aを有する。第2の光強度分布453aは、典型的には、第2の光が物体を照明する拡散光として提供されるときの場合のように、実質的に一定のレベルである。
【0076】
動作202を参照しながら、図3Aに関連して、それぞれの第2のセンサー位置SP2が、第1の画像IM1内で、それぞれの第1のセンサー位置(SP1)までのセンサー座標におけるそれぞれの差(d)を用いて選択されることが上述された。SP2に対応する、第2のセンサー位置473aが、図4Aに示されている。前記差dは、図において差475aとして示されている。
【0077】
さらに、動作202の下で、1つまたは複数の第2の光251を用いる前記照明は、前記1つまたは複数の第2の露光期間(EXP2)中に、第2の光強度分布453aなどによる、物体からのいずれかの反射された第2の光が、選択された第2のセンサー位置(SP2)において、反射された第1の光211よりも高い強度を生じるように、提供されるべきであることが上述された。第1の主要グループの場合のように、IM2=IM1かつEXP2=EXP1であるとき、それがどのように見え得るかの一例が図4Aに示されており、そこで、第2の光強度分布453aは、第2のセンサー位置473aにおいて、すなわち、SP2において第1の光強度分布413aを上回る。したがって、SP2における第1の光および第2の光からの光強度寄与における差、すなわち、IDIFF(SP2)があり、図において光強度差479aとして示されている。
【0078】
対照的に、第2の光強度分布453aは、第1のセンサー位置471aにおいて、すなわち、SP1において第1の光強度分布413aを下回る。このことはまた、図3Aおよび動作201に関連して上記で示されたこと、すなわち、照明は、第1の露光期間(EXP1)中に、いずれかの反射された第2の光が、第1のセンサー位置(SP1)において、反射された第1の光からの強度よりも低い強度を生じるべきであるように、提供され得ることにも一致している。したがって、SP1における第1の光および第2の光からの光強度における差、すなわち、IDIFF(SP1)もあり、図において光強度差477aとして示されている。
【0079】
図から、なぜSP2が、第1の主要グループ、すなわち、第1の光および第2の光が同じ画像内で検知される、すなわち、IM1およびIM2が同じである場合についてのSP1からの差dを用いて選択されるべきであるかを了解されたい。その理由は、第2の光がSP2において優勢であるべきであり、好ましくは第1の光から受ける影響ができるだけ小さくなるべきであるが、IM2=IM1であるとき、これを完全に回避することが困難であり得、反射された第1の光と第2の光の両方が、同時に撮像されることである。もちろん、SP2はまた、SP2における2D画像データがSP1に基づく3D画像データに関連すると見なされるように、SP1に十分近い位置であるべきである。
【0080】
同様に、反射された第1の光は、有益には、強度ピーク、およびそれによって光三角測量が悪影響を受けないように、SP1において優勢であるべきである。強度ピーク位置は、第2の光のいかなる存在にもかかわらず、たとえば、従来のように、特定可能であるべきである。第1の光強度ピークは、好ましくは、第2の光から受ける影響ができるだけ小さくなるべきである。
【0081】
実際には、当業者は、図において例示されたものなど、好適な強度レベルおよび/または光分布を伴う第2の光を容易に提供することができる。たとえば、拡散光、および第2の光の分布さえもある場合では、所与のSP2について、増加されたIDIFF(SP1)は、減少されたIDIFF(SP2)を意味する。次いで、それは、これらの間の好適なバランスを発見すること、および/またはSP2を好適に選択することについてのことである。最も実際的な状況では、たとえば、第2の光分布さえもある場合、このことは問題にならず、その理由は、第2の光強度レベルが、典型的にはいかなる問題もなしに、SP1から離れるときに同じく急速に低下する第1の光ピーク強度レベルを十分に下回るように保たれ得、すなわち、ピークが極めて狭いからである。特定の適用例のために必要とされる場合、当業者は、たとえば、日常的な検査および実験を通して、好適なSP2およびSP2のための第2の光強度レベルを選択することが可能になる。
【0082】
図4B～図4Cは、前記第2の主要グループに関し、画像センサー231によって検知された、物体、たとえば、物体220からの反射光に対応する、画像センサー座標vに沿った光強度を示す。図4Bは、EXP1中に、およびたとえば、IM1内に含まれる、検知された反射された第1の光211を示し、図4Cは、EXP2中に、およびたとえば、第2の主要グループでは、上記で説明されたように、IM1とは別個であるIM2内に含まれる、検知された反射された第2の光251を示す。図4Bは、第1の光強度分布413aに対応し、かつそれと同じであり得る、第1の光強度分布413bを示す。図4Cは、第2の光強度分布453aに対応し、かつそれと同じであり得る、第2の光強度分布453bを示す。この状況では、図には示されていないが、IM2-2など、さらなる第2の画像IM2の場合、図4Cのようなまた他の図が、前記さらなるIM2、すなわち、IM2-2を生じる、EXP2-2などのさらなるEXP2中に反射された第2の光の検知から生じる、また他の第2の光強度分布とともに提供され得る。
【0083】
【0084】
図3Bに関連して、第1の光211が、1つまたは複数の露光期間(EXP2)、たとえば、第2の露光期間362b-1中に、物体220を照明することを防止され得、かつ有利に防止されることが上述された。それによって、いかなる第1の光もIM2内でキャプチャされ得ず、このことは、明確に図4Cの場合である。同様に、同じく上述されたように、第2の光251は、第1の露光期間361b-1中、すなわち、EXP1-1中に物体220を照明することを防止され得、したがって、図4Bでわかるように、IM1内でキャプチャされないことがある。図4B～図4Cを図4Aと比較することから了解されるように、このことは、反射された第1の光および第2の光が、SP2がSP1に対してどこで選択されるかに無関係に、互いに干渉しないことを意味する。したがって、反射された第1の光または第2の光のみが画像内で同時に存在するので、図4Aの場合のように、SP1からの距離dにSP2を配置する必要はなく、代わりに、SP2は、図4B～図4Cに示されているように、たとえば、SP1と同じセンサー位置であり得るので、SP2を選択することが極めて簡単になる。言い換えれば、前記1つまたは複数の第2の画像(IM2)、たとえば、342b-1内のそれぞれの第2のセンサー位置SP2は、第1の画像(IM1)、たとえば、340-1内の強度ピークと同じそれぞれの第1のセンサー位置SP1、たとえば、471bにおいて選択され得る。もちろん、dに対応する、センサー位置vにおける距離は、典型的には、これらの実施形態でも受け入れ可能である。
【0085】
光三角測量は、典型的には、互いに対する測定物体および/またはカメラ/光源の連続移動とともに実行されるので、IM1以外の他の時間における、たとえば、時間t2においてIM1よりも後である時間t2におけるIM2は、それにもかかわらず、1つの同じセンサー位置にマッピングする、物体位置におけるある変化があったことを意味することに留意されたい。言い換えれば、SP2は、SP1と同じセンサー位置においても、依然として、強度ピーク位置SP1において生じる光を反射した測定物体上の実際の物体位置に、あるオフセットとともにマッピングし得る。しかしながら、概して、原理上はすべての従来のおよび実際的な光三角測量システムでは、IM1-1とIM1-2との間など、光三角測量において、およびそのために使用された2つの連続する画像間の物体位置における差は、典型的には、図4Aに関して説明されたようにいかなるdよりも小さくなる。しかしながら、依然として、同じセンサー位置にあるとき、たとえば、同じu、vについて、SP2内の2D画像データをSP1にできるだけ関連するようにさせるために、IM2は、できるだけIM1の直後に提供され、t1とt2との間のいかなる移動によって引き起こされる距離も最小化され得る。たとえば、前記1つまたは複数の第2の露光期間(EXP2)は、第1の露光期間(EXP1)に隣接し、たとえば、EXP1の前または後のできるだけ近い、露光期間であり得る。EXP2がいくつかの露光期間である場合では、これらは、連続し、できるだけ互いの直後に、かつできるだけEXP1の近くで後続し得る。
【0086】
もちろん、SP2はまた、t1とt2との間の測定物体位置における移動および変化を補償するために、センサー位置においてあるオフセットとともに選択され得るが、これは、典型的には必要とされないようになる。第2の主要グループと比較して、第1の主要グループによる実施形態では、より大きいオフセットが、SP1にマッピングする物体位置と、SP2にマッピングする物体位置との間で受け入れられる必要があり得る。
【0087】
いかなるオフセットも完全に除去する解決策は、IM1とIM2との間で、物体220と画像センサー231との間の相対移動がないことを確実にすることであり、光三角測量において使用される相対移動を一時的に停止すること、たとえば、t1において停止し、t2において再度開始することによるものである。しかしながら、このことは、典型的には、実際的な理由のために望ましくなく、また、実装が既存の光三角測量システムの適合によるものである場合、光三角測量システムスループットの低減も引き起こし得る。
【0088】
図5Aは、光三角測量および本明細書の実施形態を行うように構成され得る撮像システム500の簡略化された例を概略的に示す。したがって、撮像システム500は、光三角測量に基づく3D撮像のため、および1つまたは複数の物体の2D特性と3D特性の両方についての情報をキャプチャするためのものである。そのような物体は、図において物体520によって例示され、撮像システム500のカメラ530の視野532内に示されている。示されたシステムは、基本構成に対応し、以下を備える。
【0089】
光三角測量において使用される第1の光511、したがって、光平面またはレーザー平面などの構造化光を用いて、測定物体に対応する物体520を照明するための第1の光源510。
【0090】
図において第2の光551-1および551-2によって例示された、2つ以上の第2の光551を用いて、物体520を照明するための第2の1つまたは複数の光源。これらの光は、物体520の2D撮像のためのものである。
【0091】
画像センサー531をもつ前記カメラ530は、光三角測量による前記3D撮像の一部として、物体520からの反射された第1の光を検知するために、および前記2D撮像のために、物体520からの反射された第2の光を検知するために配置される。
【0092】
カメラ530、画像センサー531、および第1の光源510は、光三角測量のために互いに対して構成および配置され、したがって、従来の光三角測量の場合のようであり得る。システム500は、光三角測量の目的のために、すなわち、第1の光源510、カメラ530、画像センサー531が、どのように互いにおよび物体520などに対して配置されるか、しかし、本明細書の実施形態に従って実行するようにさらに構成されるかに関して、図1におけるシステム100または図2Aにおけるシステム200に対応し得る。画像センサー531は、もちろん、使用されている第2の光にも反応するべきである。このことは、典型的には、少なくとも人間の可視光に関して、光三角測量のために使用されるすべての従来の画像センサーについて当てはまることになるが、少なくとも隣接する波長に関して、たとえば、赤外光に関して、可視スペクトルの外側においても光の感度がある場合も多い。必要とされる場合、光三角測量に基づく従来の3D撮像システムは、光三角測量のために使用される第1の光に加えて、本明細書の実施形態において使用される第2の光に対しても検知可能なカメラおよび/または画像センサーに切り替えることによって適合され得る。
【0093】
撮像システム500は、前記先の出願の動作および方法を行うための、上記で説明された撮像システム200に対応し得るが、異なる光波長内容をもつ、すなわち、マルチスペクトルの内容をもつ、少なくとも2つの第2の光による照明を提供するように構成された、前記1つまたは複数の光源があるという違いがある。撮像システム500はまた、撮像システム200を参照しながら上記で説明された動作とは異なる、本明細書の実施形態による動作を行うために、異なるように動作および/または構成されるべきである。したがって、情報の繰返しを避けるために、以下では、主に、撮像システム200およびその対応する構成要素について、ならびにそれらに関して上記ですでに説明されたものと比較した違いに焦点を合わせる。したがって、概して、以下で異なるように説明されないものは、撮像システム200について、およびそれにおける対応する構成要素について上記で説明されたようであると仮定され得る。
【0094】
カメラ530および画像センサー531によって提供された画像フレーム、および/または画像フレームから導出された情報は、ちょうど撮像システム200の場合のように、カメラ530の外部のさらなる処理のために、たとえば、コンピューティングデバイス233に対応し得る、かつ、したがって、撮像システム500の一部またはその外部であり得る、コンピュータまたは同様のものなどのコンピューティングデバイス533に転送すること、たとえば、送信することが望ましくなり得る。そのようなさらなる処理は、追加として、たとえば、分散的な方法で、または代替的に、いくつかのリモートおよび/または別個のコンピューティングユニットまたはデバイス(図示されていない)、たとえば、リモートサーバおよび/またはコンピュータクラウドのコンピュータ部分によって実行され得る。前記さらなる処理は、以下で説明されるものなど、本明細書の実施形態の1つまたは複数の動作を行うことを伴い得る。
【0095】
図に示されていないが、撮像システム200の場合と同様である、いくつかの実施形態では、コンピューティングデバイス533は、画像プロセッサ531とは別個であるが、依然としてカメラ530、またはカメラ530を備えるユニット内に含まれる、たとえば、それと統合される。コンピューティングデバイス533、または述べられたような(図示されていない)他の同様のデバイスは、光三角測量に関与する、かつ/または本明細書の実施形態に関与するデバイスを制御するように構成され得るので、たとえば、2D撮像と3D撮像の両方を含む、本明細書の実施形態に関する動作が実行されるようになる。このことは、図に示されているようなコンピューティングデバイス533、または同様のデバイスが、たとえば、第2の光による照明を提供する、第2の光源550など、前記1つまたは複数の光源を制御することによって、第2の光による照明を制御するように構成されることを含み得る。このことは、いつ、どの第2の光をオン/オフに切り替えるか、どのくらいの時間の間か、それぞれの第2の光のための持続時間における照明などを制御することを伴い得る。
【0096】
第2の光源550は、カメラ530および第1の光源510に対して固定位置にあり得るが、正確な位置、ならびにカメラ530および画像センサー531との関係は、光三角測量の場合のように利用されず、したがって、第2の光源は、本明細書の様々な実施形態に従って、第2の光および照明を提供するための目的で、より自由に配置され得る。しかしながら、本明細書の実施形態では、典型的には、異なる波長をもつ第2の光の照明が、同じまたは実質的に同じ照明方向とともに、同じまたは実質的に同じ位置から来るように、異なる波長の第2の光を一緒に提供する光源を保つことは、利点である。これは、典型的には、マルチスペクトルの第2の光がすべて同じ物体位置を照明することが重要であるからである。このことは、同じ位置からの、および同じ方向における第2の光の照明によって容易にされ、その理由は、それによって、何らかの第2の光が他の第2の光と同じ物体位置の照明に成功しないリスクを低減するからである。この理由のために、第1の光源に近い1つもしくは複数の位置に、および/または照明の主要な部分が第1の光の照明方向に近い方向において提供されるように、第2の光源を配置することも有利であり得る。そのような状況が、図に示されている。
【0097】
第2の光が、典型的には上述のように望ましい、拡散する照明として提供される場合、次いで、正確な方向はあまり関連しないようになるので、同じまたはほぼ同じ位置であれば十分であるべきである。ほぼ同じ位置からの、および同様の様式における、マルチスペクトルの第2の光による拡散光照明は、たとえば、次に説明されるように、光源550としての単一の照明ユニットの使用によって達成され得る。
【0098】
同じ位置および/または方向は、ここでは、1つの同じ照明ユニットにおける、異なる波長のマルチスペクトル光、たとえば、第2の光に関係することに留意されたい。次いで、それは、いくつかの第2の光源に関して前記先の出願で開示されたような同様の様式における、撮像システムにおける異なる位置における、および/または異なる照明方向を伴う、第2の光の追加の1つまたは複数さらなるそのような照明ユニット、または他の第2の光であり得る。
【0099】
図5Bは、複数の第2の光源、ここでは、それぞれ、第2の光551-1、551-2の提供のための2つ以上の(サブ)光源550-1、550-2を備える、単一の照明ユニット552として実装された第2の光源550の概略的な例である。また、第3の第2の光551-3を提供するための第3の第2の光源550-3によって図において例示された、同様の様式におけるさらなる第2の光の提供のためのさらなる1つまたは複数の第2の光源を、そのようなユニットがどのように備えることができるかも示されている。
【0100】
第2の光源からのそれぞれの第2の光は、照明ユニット552から出た第2の光の提供された照明が、波長における差を除いて、互いにより同様になるように、照明ユニットの共通レンズおよび/または散光器を通過し得る。
【0101】
図5Bに示されているものの代替形態の第1の例として、たとえば、第2の光の提供のために並べておよび/または一緒にグループ化されて撮像システム500内に配置された、別個の照明ユニット内など、複数であるが別個に提供された第2の光源がある。
【0102】
図5Bに示されているものの代替形態の第2の例として、異なる波長の第2の光を通過させる、1つまたは複数の光学フィルタ、たとえば、電気的におよび/または機械的に制御されたフィルタをもつ装置を介して、マルチスペクトルの第2の光の照明を提供する、単一の第2の光源がある。したがって、第2の光源は、すべての波長、たとえば、範囲を提供し得、次いで、それぞれのフィルタが、それぞれの第2の光として、これらから波長のうちの1つまたは複数、典型的には、それぞれの部分範囲を選び出す。
【0103】
図5Cは、概して、第2の光、または第2の光551-1、551-2など、それらのうちの2つ以上が波長において重複しないものであり得ること、たとえば、重複しない波長範囲をもつ第2の光を概略的に示す。重複しない波長は、多数の適用例において好ましいものであり、また、単に、たとえば、異なるタイプのLEDに基づく、異なる光源を使用することによって達成され得る。
【0104】
図5Dは、第2の光551-1、551-2の代替形態を例示するものとして、第2の光551-1'および551-2'によって図に示された、概して、第2の光、またはそれらのうちの2つ以上が、重複しない波長を有することの代替または追加として、部分的に重複し得ることを概略的に示す。部分的重複は、第2の光のうちの他のものにおいても存在する、第2の光のすべてではないがいくつかの波長があることを意味する。この場合であるとき、これが相互であることが好ましいが、その必要はないことがあり、それは、第2の光のうちの1つが、第2の光のうちの他のもの(図に示されていない)の波長の部分範囲によって形成される場合、当てはまらない。このことは、いくつかの適用例では重要であり得るが、概して、重複がないか、または部分的重複のみがあり、それによって、第2の光の間の波長内容におけるより大きい分離があることが、より有用である。
【0105】
図6は、本明細書の実施形態による、したがって、マルチスペクトルの第2の光を伴う方法を概略的に示すためのフローチャートである。ここで開示されるものは、図2Bに関して上記で説明された、および前記先の出願で開示されたような、またはそれにおいて開示された同じ原理に少なくとも基づく方法の特殊な場合と見なされ得る。
【0106】
方法を形成し得る、以下の動作は、2D画像データを、物体、たとえば、物体520の3D撮像のための、撮像システム500によって本明細書で例示された撮像システムによって実行された光三角測量から生成された3D画像データに関連付けるためのものである。したがって、撮像システムは、第1の光511によって例示された第1の光を用いて、物体を照明するための、第1の光源510によって例示された第1の光源と、画像センサー531によって例示された画像センサーをもつ、カメラ530によって例示されたカメラとを備える。撮像システムはまた、異なる光波長を備えることによって互いに異なることによってマルチスペクトルである、第2の光551によって例示された2つ以上の第2の光を用いて、物体520を照明するための、第2の光源550によって例示された1つまたは複数の第2の光源を備える。そのようなものとしての光三角測量は、光三角測量に基づく従来の3D撮像の場合のようであり得、したがって、第1の光511を用いて、物体520の異なる連続する部分を照明することと、それぞれの第1の画像(IM1)内で、画像センサー531によって、それぞれの部分からの反射された第1の光を検知することとを含む。IM1は、図2Bの方法に関して上記で説明されたようなIM1に対応し得る。それらについては、本明細書の実施形態に関する図7～図8に関して、以下でさらに説明および例示される。
【0107】
以下の、図6に示されている方法および/または動作は、デバイス、すなわち、カメラ530および/またはコンピューティングデバイス533などの1つまたは複数のデバイスによって、あるいは撮像システム500、および/またはその、もしくはそれに接続された好適なデバイスによって実行され得る。方法およびその動作を実行するためのデバイスについては、以下でさらに説明される。
【0108】
以下の動作は、任意の好適な順序において行われ、かつ/またはこれが可能および好適である時間に、完全にもしくは部分的に重複して行われ得ることに留意されたい。
【0109】
動作601
前記3Dデータが、カメラ530および画像センサー531によって生成されたIM1の第1のセンサー位置(SP1)として取得される。SP1は、前記光三角測量の一部として、物体520からの反射された第1の光の強度ピークの位置に対応している。SP1は、ここでは、図2Bの方法に関して上記で説明されたようなSP1に対応し得、本明細書の実施形態に関する図7～図8に関して、以下でさらに説明および例示される。
前記3Dデータが、カメラ530および画像センサー531によって生成されたIM1の第1のセンサー位置(SP1)として取得される。SP1は、前記光三角測量の一部として、物体520からの反射された第1の光の強度ピークの位置に対応している。SP1は、ここでは、図2Bの方法に関して上記で説明されたようなSP1に対応し得、本明細書の実施形態に関する図7～図8に関して、以下でさらに説明および例示される。
【0110】
動作602
カメラ530および画像センサー531によって生成された、2つ以上の第2の画像(IM2)が取得される。IM2は、それぞれ、前記2つ以上の第2の光551による照明中に、物体を撮像している。それぞれのIM2は、前記IM1のうちのそれぞれのIM1に関連付けられる。それぞれのIM2は、前記IM1のうちのそれぞれのIM1であり、それに関連付けられるか、または前記IM1のうちの2つの間で生成され、それらのうちのいずれかに関連付けられるかのいずれかであり得る。したがって、IM2はIM1であり得、言い換えれば、IM2およびIM1は同じ画像であり得、かつ/またはIM2はIM1とは別個であり、より具体的には、IM1の間で、好ましくは連続するIM1の間で生成され得る。IM2=IM1である前者の場合、IM2に関連付けられたIM1は、IM2と同じ画像であるべきであり、後者の場合、IM2に関連付けられたIM1は、それぞれのIM2の前または後で生成されたIM1、典型的には、IM2の前または後で時間的に最も近く生成されたIM1であるべきである。
カメラ530および画像センサー531によって生成された、2つ以上の第2の画像(IM2)が取得される。IM2は、それぞれ、前記2つ以上の第2の光551による照明中に、物体を撮像している。それぞれのIM2は、前記IM1のうちのそれぞれのIM1に関連付けられる。それぞれのIM2は、前記IM1のうちのそれぞれのIM1であり、それに関連付けられるか、または前記IM1のうちの2つの間で生成され、それらのうちのいずれかに関連付けられるかのいずれかであり得る。したがって、IM2はIM1であり得、言い換えれば、IM2およびIM1は同じ画像であり得、かつ/またはIM2はIM1とは別個であり、より具体的には、IM1の間で、好ましくは連続するIM1の間で生成され得る。IM2=IM1である前者の場合、IM2に関連付けられたIM1は、IM2と同じ画像であるべきであり、後者の場合、IM2に関連付けられたIM1は、それぞれのIM2の前または後で生成されたIM1、典型的には、IM2の前または後で時間的に最も近く生成されたIM1であるべきである。
【0111】
単一のIM2は、ここでは、図2Bの方法に関して上記で説明されたようなIM2に対応し得る。本明細書の実施形態による、シーケンスにおけるものなど、グループとしてのIM2については、図7～図8に関して以下でさらに説明および例示される。
【0112】
動作603
それぞれのIM2内で、それぞれのIM2が関連付けられるそれぞれのIM1のそれぞれのSP1について、およびそれに関して、それぞれの第2のセンサー位置(SP2)が選択される。それぞれのSP2は、物体520からの反射された第2の光が物体520からの反射された第1の光よりも高い強度を有する、それぞれのIM2内の位置である。
それぞれのIM2内で、それぞれのIM2が関連付けられるそれぞれのIM1のそれぞれのSP1について、およびそれに関して、それぞれの第2のセンサー位置(SP2)が選択される。それぞれのSP2は、物体520からの反射された第2の光が物体520からの反射された第1の光よりも高い強度を有する、それぞれのIM2内の位置である。
【0113】
SP2は、図2Bの方法に関して上記で説明されたようなSP2に対応し、かつ/またはそれとして対応して選択され得る。本明細書の実施形態によるSP2については、図7～図8に関して以下でさらに説明および例示される。
【0114】
動作604
選択されたSP2の強度値が、それぞれ、選択されたSP2がそのために選択されたSP1に関連付けられる。結果として、反射されたマルチスペクトルの第2の光からのSP2内の強度値に対応するマルチスペクトル2Dデータは、SP2がそのために選択されたSP1に対応する3Dデータに関連付けられるようになる。
選択されたSP2の強度値が、それぞれ、選択されたSP2がそのために選択されたSP1に関連付けられる。結果として、反射されたマルチスペクトルの第2の光からのSP2内の強度値に対応するマルチスペクトル2Dデータは、SP2がそのために選択されたSP1に対応する3Dデータに関連付けられるようになる。
【0115】
したがって、光三角測量に従って物体上の2つの連続する部分をマッピングする2つ以上のIM1の3Dデータに対応するSP1があることになり、SP1は、物体から反射された、検知された第2の光からの強度値に対応する2D画像データをもつSP2に関連付けられる。強度値は、異なる波長の第2の光の前記照明から生じるので、マルチスペクトル2D画像データに対応する。
【0116】
上記から、IM2が、IM1の間で生成され、同じIM1に関連付けられる場合、この画像内のそれぞれのSP1は、異なる波長の第2の光が存在するのと同数の強度値に関連付けられるようになることがさらに了解され得る。したがって、3D画像データと同じ解像度のマルチスペクトル2D画像データがあることになる。しかしながら、それぞれのIM2がそれぞれのIM1であり、たとえば、すべての画像についてIM2=IM1であり、たとえば、連続するIM1のうちのそれぞれの1つもIM2である場合、2D画像データの解像度はより低くなり、その理由は、レーザー三角測量における「時間次元」が、3D画像データの第3の次元に、本明細書で示された例では、「y次元」にマッピングするからである。たとえば、2つの異なる第2の光があり、それぞれのIM2がそれぞれのIM1である場合、マルチスペクトル画像データを形成するために、第2の光ごとに1つずつ、2つのIM1が必要とされる。したがって、2D画像データの解像度は、3D画像データの半分である。実際には、それは、典型的には、2D画像データ解像度が3Dデータ解像度よりも低いか、または等しいが、その逆は重要である可能性が低いようになる。
【0117】
同じ解像度の3D画像データおよび2D画像データをもつ、合成された画像データを得るために、画像データをもつ画像が、「光ごとに」、たとえば、3D画像データをもつ1つ、および2D画像データをもつ第2の光ごとに1つ、形成され得る。2つの第2の光、および3D画像データと比較して半分の解像度の2D画像データの例では、次いで、2D画像データが、係数2によってアップサンプリングされ得る。次いで、同じ解像度をもつ、生じた画像データが、単一の合成された画像に容易に合成され得、そこで、3D画像データによる、およびしたがって、光三角測量による物体点に対応する、各ピクセルまたはボクセルは、第2の光ごとに1つずつ、2つの強度値、およびしたがって、マルチスペクトル2D画像データに関連付けられることになる。この原理の実際的な例については、図9A～図9Dに関して説明される。概して、理解されるべきであるように、本明細書の実施形態の基礎をなす原理は、それぞれの画像データのために同じ解像度に到達し、次いで合成するために、アップサンプリングおよび/またはダウンサンプリングを利用することによって、どのデータが他のデータよりも低いまたは高い解像度を有するかに無関係に使用され得る。もちろん、関連する情報は、また、すべての画像データが同じ解像度のものであることを最初に確実にすることなしに、3D画像データに関連付けられた2D画像データから抽出され得る。
【0118】
動作605
上記の説明を参照すると、いくつかの実施形態では、3D画像データおよび2D画像データが、同じ解像度において提供される。
上記の説明を参照すると、いくつかの実施形態では、3D画像データおよび2D画像データが、同じ解像度において提供される。
【0119】
3D画像データおよび2D画像データの解像度が、上記のような動作の実行後に異なる場合、本明細書のいくつかの実施形態の場合のように、同じ解像度への画像データの提供は、3D画像データおよび/または2D画像データのアップリサンプリングおよび/またはダウンリサンプリングによって達成され得る。すなわち、当業者によって認識されるような様々な方法で達成され得る、好適なアップリサンプリングおよび/またはダウンリサンプリングによる。
【0120】
動作606
同じ解像度における3D画像データおよび2D画像データが、合成された画像に合成され得る。結果として、画像のそれぞれの3D画像データ点は、異なる波長を備える、反射された前記2つ以上の第2の光から生じる強度値に対応する、マルチスペクトル2D画像データに関連付けられるようになる。
同じ解像度における3D画像データおよび2D画像データが、合成された画像に合成され得る。結果として、画像のそれぞれの3D画像データ点は、異なる波長を備える、反射された前記2つ以上の第2の光から生じる強度値に対応する、マルチスペクトル2D画像データに関連付けられるようになる。
【0121】
上記で、および本明細書の他の場所で説明されたように、3D画像データおよび2D画像データの解像度における差は、典型的には、異なる第2の光に関するIM1およびIM2が異なるレートにおいて生成されるときの結果である。たとえば、異なる第2の光、たとえば、第1の光をもつ3つのIM1と同じ時間中に生成された「赤色」、「緑色」、「青色」(R、G、B)の色に対応する第2の光をもつ、3つの連続するIM2のシーケンスがある、または言い換えれば、それぞれのIM2がそれぞれのIM1である場合、「色ごとのIM2」のレートは、IM1のレートの1/3になり、したがって、R、G、Bの色ごとの第2の画像データは、3D画像データの1/3の解像度のものになる。低減された解像度は、本明細書の例ではyに対応する次元である、レーザー三角測量による時間に対応する次元におけるものである。(本明細書の例におけるz、xなどの他の次元では、それぞれのSP2がSP1ごとに、したがって、それらの間の1:1関係を有して選択されることからも了解され得るように、解像度は同じである。)前記次元において係数3によって、R、G、Bに対応する前記それぞれの第2の画像データをアップサンプリングすることによって、3D画像データおよび2D画像データは、同じ解像度のものになる。この例における代替形態は、3D画像データを1/3だけダウンサンプリングすることであり得るが、これは、典型的には好ましいものではなく、その理由は、解像度がこのように低くされるとき、3D情報が失われるからである。
【0122】
上記ですでに示されたように、いくつかの実施形態では、前記第2の光は、赤色光(R)、緑色光(G)、および青色光(B)のうちの1つまたは複数を備える。3つをすべて用いて、フルカラー2D画像データが達成され得る。本明細書で使用されるとき、Rの典型的な定義は、典型的な波長として625nmを有し、赤色LEDによって提供され得る、620～750nmの範囲内の1つまたは複数の波長をもつ光である。本明細書で使用されるとき、Gの典型的な定義は、典型的な波長として525nmを有し、緑色LEDによって提供され得る、495～570nmの範囲内の1つまたは複数の波長をもつ光である。本明細書で使用されるとき、Bの典型的な定義は、典型的な波長として460nmを有し、青色LEDによって提供され得る、450～495nmの範囲内の1つまたは複数の波長をもつ光である。いくつかの実施形態では、第2の光は、R、G、Bを備え、R、G、Bによる照明持続時間における差は、ホワイトバランシングのために撮像中に使用され得る。すなわち、生じた2D画像データにおいて望ましいホワイトバランスを直接達成可能にするために、それぞれの第2の光のためのオンおよび/またはオフ時間は、別個に制御され、たとえば、異なり得る好適なオン持続時間に設定され得る。これについては、以下で図8Eに関してさらに説明および例示される。
【0123】
いくつかの実施形態では、第2の光は、赤外光(IR)または近赤外光(NIR)に対応する第2の光を備える。本明細書で使用されるとき、NIRの定義は、850～1000nmの波長範囲内の光であり、IRの定義は、より長い波長、すなわち、1000nmを上回る任意の波長または波長の範囲をもつ光である。
【0124】
たとえば、紫外光を含む、一部の光は、上記で明示的に述べられていないが、本明細書の原理は、もちろん、従来の定義による、そのような光、または概して異なる光にも適用可能であることに留意されたい。
【0125】
いくつかの実施形態では、前記2つ以上の第2の光による照明は、前記2つ以上の第2の光のシーケンスに従って、順次提供され、前記第2の画像は、対応するシーケンスにおいて生成される。前記シーケンスは、適用例に固有であり得る、特定のシーケンスであり得る。シーケンスは、1回または複数回反復され得、各反復において、さらなるIM2、およびそれらの関連付けられた1つまたは複数のIM1の生成を伴う。言い換えれば、反復中に、上記のようなIM2、すなわち、IM1に対応するか、またはIM1の間で生成されるIM2などとともに、光三角測量に従って、さらなるIM1が生成される。このことは、物体の全体がカバーされ、たとえば、走査されるようになり、かつ物体全体に関する関連付けられた2D画像データとともに、3D画像データが生成されているように、継続し得る。したがって、シーケンス反復によれば、各シーケンス反復において、1つまたは複数の関与するIM1および異なるIM1があることになる。したがって、IM1は、異なる物体部分の3D撮像に関係するので、各反復において、物体の異なる部分へのマッピングがあることになる。たとえば、前記光三角測量の一部としての第1の光による物体の走査中に、前記シーケンスは、このようにして反復され得、3D画像データが、走査中に光三角測量およびSP1に従ってキャプチャされ得ると同時に、マルチスペクトル2D画像も、SP1に対してSP2においてキャプチャされる。
【0126】
いくつかの実施形態では、前記第2の光のうちの1つまたは複数は、前記シーケンスにおいて、前記第2の光のうちの1つまたは複数の他のものよりも頻繁に発生している。すなわち、第2の光のうちの1つまたは複数は、第2の光によるすべての照明、および対応するIM2の生成が行われる前に、ならびに/またはシーケンスが反復される前に、2回以上発生し得る。たとえば、第2の光のシーケンスがR、G、およびBを備えるとき、Gは、シーケンスにおいてRおよびBよりも頻繁に、たとえば、2倍の頻度で発生し得る。したがって、シーケンスは、RGBGまたは同様のものであり得るか、またはそれを含み得る。Gのより多数の発生は、カラー画像の知覚されるシャープネスを向上させることが知られている。このようにして、生じた2D画像データは、合成された2D画像データをもつ画像内でよりシャープとして知覚され得る。もちろん、いくつかの第2の光を他のものよりも頻繁に発生させるための他の理由もあり得る。
【0127】
【0128】
いくつかの実施形態では、物体は有機的である。すなわち、撮像されている物体は有機的であり得、かつ/または方法は、物体が有機的な物体である適用例において適用され得る。3D外観において異なることが多いが、2Dにおいてもそうである、たとえば、2D表面変化も伴う有機的な物体では、両方についての、および組合せにおける詳細が重要であることが多い。したがって、本明細書の実施形態は、有機的な物体を伴う適用例において、たとえば、物体が以下のタイプおよび/または種類、すなわち、植物、木、丸太、木材、肉、野菜、パン、食品、廃棄物のうちの1つである適用例において、適用するために特に重要であり得る。
【0129】
たとえば、本明細書の実施形態は、有益には、以下の適用分野において適用され得る。
- 農業であり、そこで、第1の光は、緑色の葉から良好なデータを得るための緑色レーザーであり得、3D画像データを通して、たとえば、植物のサイズおよび高さを測定し、同時に、R、GおよびNIRをもつ第2の光の使用によって、2D画像データから植物の状態および健康についての情報を得ることが可能であり得る。このことは、植物のための栄養および水分の使用を最適化するために利用され得る。
- 食品分類であり、たとえば3D画像データを使用して食料品を獲得することによって、管理および分類することを可能にし、また、2D画像データを使用することによって、異物を検出することを可能にするためのものであり、かつ/または品質保証の理由のためのものであり、そこで、異なる分類は、2Dデータに基づいて適用することが望ましくなり得る。
- 廃棄物分類であり、たとえば3D画像データを使用して食料品の廃棄物/残飯を獲得することによって、管理および分類することを可能にし、材料、色、および形状に応じて区別する方法でそのように行うことを可能にするためのものであり、そこで、マルチスペクトル2D画像データは、極めて有用な情報を提供し得る。
- 木材検査であり、そこで、3D画像データからの情報は重要であるが、たとえば、心材と(表面における)辺材との間でより良く区別することを可能にするために、マルチスペクトル2D画像データも重要である。
- 農業であり、そこで、第1の光は、緑色の葉から良好なデータを得るための緑色レーザーであり得、3D画像データを通して、たとえば、植物のサイズおよび高さを測定し、同時に、R、GおよびNIRをもつ第2の光の使用によって、2D画像データから植物の状態および健康についての情報を得ることが可能であり得る。このことは、植物のための栄養および水分の使用を最適化するために利用され得る。
- 食品分類であり、たとえば3D画像データを使用して食料品を獲得することによって、管理および分類することを可能にし、また、2D画像データを使用することによって、異物を検出することを可能にするためのものであり、かつ/または品質保証の理由のためのものであり、そこで、異なる分類は、2Dデータに基づいて適用することが望ましくなり得る。
- 廃棄物分類であり、たとえば3D画像データを使用して食料品の廃棄物/残飯を獲得することによって、管理および分類することを可能にし、材料、色、および形状に応じて区別する方法でそのように行うことを可能にするためのものであり、そこで、マルチスペクトル2D画像データは、極めて有用な情報を提供し得る。
- 木材検査であり、そこで、3D画像データからの情報は重要であるが、たとえば、心材と(表面における)辺材との間でより良く区別することを可能にするために、マルチスペクトル2D画像データも重要である。
【0130】
したがって、いくつかの実施形態では、物体は、以下のタイプおよび/または種類、すなわち、植物、木、丸太、木材、肉、野菜、食品、廃棄物のうちの1つである。
【0131】
図7A～図7Bは、それぞれ、図3A～図3Bに関して、および前記先の出願において上記で説明された主要グループと同様であるが、ここでは、マルチスペクトルの第2の光の場合において、かつ図6に関して上記で説明されたような本明細書の実施形態による方法に関して、本明細書の実施形態の対応する2つの主要な例示的なグループのための状況を概略的に示す。図は、比較および違いの理解を容易にするために、図3A～図3Bと同様の様式で示される。本明細書の実施形態の場合のような、マルチスペクトルの第2の光を伴う場合は、拡張または特殊な場合と見なされ得る。これらの例に関与するより多くの画像があるので、図3A～図3Bに示された露光期間は、図7A～図7Bではスペースを節約するために除去されているが、露光期間は、もちろん、実際には存在する。
【0132】
図7Aは、IM2がIM1と同じである、すなわち、光三角測量のために使用される画像と同じであり、したがって、また、画像センサーの同じ露光期間をもつ、実施形態の第1の主要な例示的なグループについてのものである。
【0133】
図7Bは、代わりに、IM2がIM1とは別個であり、IM1の間、すなわち、光三角測量のために使用される画像の間にあり、したがって、IM2が別個の露光期間も有する、実施形態の第2の主要な例示的なグループについてのものである。
【0134】
両方の図において、連続するIM1の間の期間T3D763は、光三角測量の連続するIM1部分の間の時間期間を示し、それに対応し、したがって、3D画像データの提供に関係する。時間期間T3D763は、典型的には、光三角測量において使用される走査レートに対応する。
【0135】
さらに、理解を容易にするために、それぞれの画像のための関与する光のタイプが、図において、およびそれを生成するためにそれぞれの光が使用される画像データの種類において示されている。したがって、第1の光は、「3Dのための光1」として示され、その理由は、第1の光が、3D画像データの生成のために光三角測量において使用されるからであり、2つ以上の第2の光は、「2Dのための光2」として示され、その理由は、第2の光が、2D画像データの生成のために使用されるからである。第2の光のうちの第1のものは、「2Dのための光2-1」と称され、第2の光のうちの第2のものは、「2Dのための光2-2」と称され、その理由は、前記2つ以上の第2の光が、上記で説明されたように、波長内容において異なるので、これらが異なるからである。
【0136】
さらに、両方の図において、期間TSEQ765が示されており、その期間によって、上記で説明されたようなシーケンス、すなわち、IM2のシーケンスを示し、それぞれのIM2は、2つ以上の第2の光のすべてが、その後に反復され得、かつ典型的には反復されるシーケンスに従って使用されるまで、第2の光のうちの1つに露光される。
【0137】
図7A～図7Bの両方は、TSEQ765ごとに、およびしたがって、シーケンスにおいて、2つのIM2がある例を示すが、この原理は、上記で説明され、以下でもさらに例示されるように、3つ以上のIM2に容易に拡張され得る。
【0138】
本明細書の実施形態の前記第1の主要な例示的なグループに関する図7Aは、IM1でもある2つのIM2、すなわち、IM1-1 741a-1と同じであるIM2-1 742a-1と、IM1-2 741a-2と同じであるIM2-2 742a-2とを備える、TSEQ765aをより具体的に、および概略的に示す。この場合、TSEQ765aはT3D763aの2倍であることがわかる。シーケンスにおける3つ以上の第2の光および/または3つ以上のIM2の場合、TSEQは、もちろん、T3D763aに対してさらに増加するようになる。
【0139】
さらに、図では、各画像内のそれぞれのSP1およびSP2、すなわち、IM2-1 742a-1と同じであるIM1-1 741a-1内のSP1-1 771a-1およびSP2-1 772a-1と、IM2-2 742a-2と同じであるIM1-2 741a-2内のSP1-2 771a-2およびSP2-2 772a-2とが、概略的に例示されている。図に概略的に示されているように、および上記の説明によれば、ここでは、IM2=IM1であるので、SP2においてキャプチャされた反射された第2の光が、キャプチャされた反射された第1の光よりも優勢であるが、第1の光が、SP1において第2の光よりも優勢であるべきであるように、すなわち、図2Bに関して説明された方法および例の場合と同様に、SP2は、SP1までのセンサー座標におけるオフセットを伴う。言い換えれば、および概して本明細書の実施形態に関して、物体からのキャプチャされた反射された第2の光は、SP2において、物体からの反射された第1の光よりも高い強度を有するべきである。SP1は、光三角測量から生じるので、第1の光がそこで優勢であること、および、したがって、物体からのキャプチャされた反射された第2の光が、SP1において、物体からの反射された第1の光よりも低い強度を有すること、または、少なくとも、第2の光の光強度が、SP1における第1の光の検出可能性に悪影響を及ぼさないために、SP1において十分に低いことが暗示される。
【0140】
図はまた、示されているものが典型的には反復されることを単に示すために、シーケンスの反復に属する、2つのさらなるIM1およびIM2も示しており、たとえば、物体全体が光三角測量によって3D走査されるようになり、かつ、マルチスペクトル2D画像データが、これに関連して、および3D画像データに関してキャプチャされるようになる。
【0141】
本明細書の実施形態の前記第2の主要な例示的なグループに関する図7Bは、IM1とは別個である2つのIM2、すなわち、第1の画像IM1-1 741b-1とさらなる第1の画像IM1-2 741b-2との間にある、IM2-1 742b-1およびIM2-2 742b-2を備える、TSEQ765bをより具体的に、および概略的に示す。この場合、TSEQ765bはT3D763bと同じであるが、図ではオフセットとともに示されていることがわかる。IM2がIM1とは別個であり、IM1の間で生成されるとき、IM2は、典型的には、必要ではないが、IM1の間で均等に離間しているので、すなわち、画像センサーがそれとともに動作する画像フレームレートが、すべての画像について同じ、すなわち、IM1およびIM2について同じであり得るようになる。
【0142】
図では、SP2がSP1と同じであることが概略的に例示されており、その理由は、この場合、すでに上述されたように、第1の光がIM2内に存在しない場合/とき、すなわち、たとえば、第1の光をIM1の露光中にのみ「オン」に保ち、IM2の露光中にオフに保つことによって、IM2がキャプチャされるときに、第1の光が物体を照明していないとき/場合、SP2がSP1に対してより自由に選択され得るからである。
【0143】
SP1-1 771b-1は、IM1-1 741b-1内に示されている。SP1-1と同じセンサー位置であるSP2-1 772b-1は、IM2-1 742b-1内に示されており、SP1-1と同じセンサー位置であるSP2-2 772b-2は、IM2-2 742b-2内に示されている。
【0144】
図はまた、TSEQによって示されたシーケンスが典型的には反復されることを単に示すために、2つのさらなる画像、シーケンスの反復のIM1-2およびIM2-1部分も示しており、たとえば、物体全体が光三角測量によって3D走査されるようになり、かつ、マルチスペクトル2D画像データが、これに関連して、および3D画像データに関してキャプチャされるようになる。
【0145】
本明細書の実施形態は、2つ以上の第2の光、および、したがって、各シーケンスにおける2つ以上のIM2があるので、実施形態の第1の主要グループと第2の主要グループとの間の組合せとして実装され得るが、このことは図に示されていないことに留意されたい。すなわち、たとえば、2つ以上のIM2および関連付けられた1つまたは複数のIM1のシーケンスにおいて、IM2のうちの1つまたは複数は、それぞれ、シーケンスの1つまたは複数のIM1と同じであり得、シーケンスの1つまたは複数の他のIM2は、IM1とは別個であり、IM1の間で生成され得る。したがって、たとえば、図7Bの場合のような対応する例において、1つのみの別個のIM2を伴うことが可能になり、たとえば、IM2-1=IM1-1であって、IM2-2は、IM1-1、および次いで、シーケンスの反復の次のさらなるIM1-2部分とは別個であり、それらの間であると言える。
【0146】
図8A～図8Eは、第2の光の異なるシーケンスを伴う例を概略的に示す。これらの例は、第1の主要な例示的なグループに対応する、すなわち、IM2=IM1である実施形態について示されているが、上記に基づいて、対応するシーケンスが、他の第2の主要な例示的なグループに対して、および2つの主要な例示的なグループの間の組合せに対しても適用可能であることが了解される。
【0147】
図8Aは、図7Aにおける例に対応するが、上述のような3つの第2の光R、G、B(赤色、緑色、青色)、および期間TSEQ865aをもつシーケンスにおける3つのIM2=IM1がある、概略的な例である。したがって、シーケンスは、R、G、Bとして説明され得る。IM1-1 841a-1と同じであるIM2-1 842a-1、IM1-2 841a-2と同じであるIM2-2 842a-2、およびIM1-3 841a-3と同じであるIM2-3 842a-3がある。したがって、以下のようになる。IM2-1の生成を生じる画像センサー531の露光中に、物体520を照明する第2の光は、赤色光である。IM2-2の生成を生じる画像センサー531の露光中に、物体520を照明する第2の光は、緑色光である。IM2-3の生成を生じる画像センサー531の露光中に、物体520を照明する第2の光は、青色光である。
【0148】
図8Bは、上記で説明されたようなシーケンスの他の概略的な例であるが、シーケンスの各画像フレームのための第2の光の種類を単に示す、より包括的な図におけるものである。したがって、この例では、シーケンスは、R、G、B、IR、および、したがって、4つのIM2(および、上述のようにIM2=IM1であるので、4つのIM1)である。シーケンスは、シーケンス期間TSEQ865bによって図に示されている。
【0149】
図8Cは、上記で説明されたようなシーケンスのまた他の概略的な例であり、図8Bの場合と同じタイプの包括的な図において示されている。ここでも、シーケンスの各画像フレームのための第2の光の種類が示されている。したがって、この例では、シーケンスは、R、G、NIRであり、したがって、シーケンスにおける3つのIM2(および、上述のようにIM2=IM1であるので、3つのIM1)を伴う。シーケンスは、シーケンス期間TSEQ865cによって図に示されている。
【0150】
図8Dは、上記で説明されたようなシーケンスのまた他の概略的な例であり、図8B～図8Cの場合のような包括的な図において示されている。ここでも、シーケンスの各画像フレームのための第2の光の種類が示されている。したがって、この例では、シーケンスは、R、G、B、Gであり、したがって、上述のように、緑色光が、赤色および青色よりも頻繁に発生している。この例では、3つの異なる第2の光のみがあるが、シーケンスは、4つのIM2(および、ここでは上述のようにIM2=IM1であるので、4つのIM1)を含んでいる。シーケンスは、シーケンス期間TSEQ865dによって図に示されている。
【0151】
図8Eは、それぞれの第2の光の「オン時間」、すなわち、照明持続時間が、ここではIM2ごとに異なることを除いて、図8Aの例に対応する。したがって、IM2(および、この例ではIM2=IM1であるので、IM1)を生じる露光期間中のそれぞれの第2の光のオン持続時間は(および、したがって、対応するオフ持続時間も)、いくつかの実施形態では、たとえば、上述のようなホワイトバランシングの目的のために異なる。これらの実施形態では、それぞれの第2の光のオン/オフ持続時間は、典型的には、撮像システム500によって、たとえば、そのコンピューティングデバイス533によって制御され得るので、第2の光照明の好適な持続時間が、露光期間中に達成されるようになる。したがって、図8Eでは、以下が示されている。
露光期間EXPである、IM1-1 841e-1と同じであるIM2-1 842e-1、
露光期間EXPである、IM1-2 841e-2と同じであるIM2-2 842e-2、および
露光期間EXPである、IM1-3 841e-3と同じであるIM2-3 842e-3。
この例に示されているような露光期間EXPは、典型的には、必ずしもそうではないが、すべての画像について、少なくともIM2=IM1である第1のグループについて同じであることに留意されたい。
露光期間EXPである、IM1-1 841e-1と同じであるIM2-1 842e-1、
露光期間EXPである、IM1-2 841e-2と同じであるIM2-2 842e-2、および
露光期間EXPである、IM1-3 841e-3と同じであるIM2-3 842e-3。
この例に示されているような露光期間EXPは、典型的には、必ずしもそうではないが、すべての画像について、少なくともIM2=IM1である第1のグループについて同じであることに留意されたい。
【0152】
IM2-1 842e-1の生成を生じる画像センサー531の露光期間EXP中に、物体520を照明する第2の光は、EXP未満であり得る赤色光オン期間866e-1の間に赤色光(R)である。IM2-2 842e-2の生成を生じる画像センサー531の露光期間EXP中に、物体520を照明する第2の光は、EXP未満であり得る緑色光オン期間866e-2の間に緑色光(G)である。IM2-3 842e-3の生成を生じる画像センサー531の露光期間EXP中に、物体520を照明する第2の光は、EXP未満であり得る青色光オン期間866e-3の間に青色光(B)である。
【0153】
IM1とは別個のIM2を伴う第2の主要な例示的なグループの場合、第2の光による有効な照明は、代わりに、IM2の露光期間EXPを制御することによって達成され得、次いで、それぞれの第2の光は、露光期間をカバーする同じオン持続時間を有し得ることに留意されたい。このことは、IM2=IM1である図8Eの例の場合のような第1の主要な例示的なグループにとって可能でないか、または少なくともあまり好適でないことがあり、その理由は、それが、異なる露光期間が第1の光および光三角測量に対しても使用されること、ならびに、したがって、異なるIM1内の第1の光への異なる露光を意味することになり、それは、典型的には望ましくないからである。しかしながら、第1の光の同じ露光期間も、その場合、各露光期間中に1つの同じ時間期間の間に依然として「オン」であるように、第1の光のオン/オフ持続時間を制御することによって達成されることが可能であり得る。
【0154】
上記は一例にすぎず、この原理は、もちろん、RGBのみでなく、異なる波長の任意のタイプの第2の光に適用可能である。
【0155】
上記で説明されたことから、第2の光を提供することは、たとえば、第2の光を提供する照明ユニットおよび/または光源を制御することによって、どの第2の光が、およびどのくらいの時間の間に、および撮像中の何のシーケンスにおいて、オン/オフに切り替えられるかを制御する問題であり得ることが理解され得る。実際には、このことは、使用されるシーケンスに従って、各「明滅」において異なる第2の光を用いた、第2の光の「明滅」に対応し得、次いで、シーケンスが、たとえば、物体の走査が継続する限り、反復され得る。第1の光、たとえば、レーザーは、この時間中に永続的に、および/またはシステムが実行する光三角測量に従って、オンに切り替えられ得る。そのようなものとしての光三角測量は、少なくともこの原理では、第2の光による影響を受ける必要がないことに留意されたい。しかしながら、いくつかの実施形態では、第1の光、たとえば、レーザーも同様に、第1の光が第2の画像のうちの1つまたは複数内に存在するべきでない場合/とき、「明滅」され、すなわち、オフに切り替えられ得る。また、いくつかの実施形態では、たとえば、前記先の出願で開示されたように、いくつかの異なる方向からの第2の光の照明を提供するための、いくつかの単一の第2の光源および/または照明ユニットがある。このようにして、異なる方向からの、および/または異なる方法における照明による、前記先の出願で説明されたものと同様の、および/またはそれに対応する利点は、本明細書の実施形態の場合のような3D画像データに関連付けられたマルチスペクトル2D画像データを用いても取得され得る。また、たとえば、前記単一の照明ユニットにおける、第2の光は、たとえば、第2の光の提供に関して前記先の出願で開示されたように、様々な方法において照明を提供し得ることに留意されたい。
【0156】
図9A～図9Dは、本明細書の実施形態の現実のおよび実際的な適用例からの例示的な画像および結果を示す。画像を生じる実施形態は、IM2=IM1である前記第1の主要な例示的なグループに基づいており、マルチスペクトルの第2の光のシーケンスは、NIR、R、G、B、すなわち、4つの異なる第2の光、および、したがって、上記の説明によれば、3D画像データの解像度の1/4であるそれぞれの2D画像データ解像度である。撮像されている検査物体は、多数の異なる色、構造、および材料を伴う撮像のための複合検査物体を形成するために、その上に異なる色のいくつかのキャンディが配置された、1つの木材から形成されたものである。物体は、光三角測量によって、ここでは、第1および第2の光を通した走査を介して3D撮像された。走査は、光三角測量に従って3D輪郭を生じる、各々内にSP1がある、5000を超えるIM1、したがって、第1の画像の生成を伴ったものである。約5120のIM1が、図に示された例において使用されており、したがって、物体の5120の輪郭画像、および、したがって、これらの例では、y'方向における、走査方向に対応する次元における対応する3D画像データ解像度に対応する。
【0157】
図9Aは、本明細書の実施形態による、関連付けられたマルチスペクトル2D画像データをもつ、3Dにおけるピクセル、したがって、ボクセルに対応する、3D画像点の形態の3D画像データの合成された画像を示す。真の3Dをここで示すことはできないので、示されているものは、物体がx'-y'平面において示されるような「上方から」の3D画像点の2Dビューである。関連付けられた2D画像データは、3D画像点によって形成された物体上のテクスチャとして明確に可視である。
【0158】
図9Bは、図9Aに示された画像の一部の拡大であり、そこで、y'方向において、3D画像データの4線ごとに、すなわち、3D画像点の4線ごとに異なる2D画像データがあることがわかる。したがって、予想されるように、それぞれ、4つのIM2および4つの異なる第2の光とともに使用されたシーケンスによる。したがって、2D画像データ解像度は、y'方向における3D画像データ解像度の1/4、したがって、5120/4=1280である。
【0159】
図9Cは、y'方向における1280の解像度を各々もつ、4つの画像に分けられた2D画像データを示す。示されているそれぞれの画像が、それぞれの第2の光の照明を通して、物体についての異なる2D情報をキャプチャしたことが、明確にわかる。上記で説明されたように、各画像の2D画像データは、物体からの検知された反射された第2の光からの結果としての強度値を備え、露光中に物体を照明する第2の光は、そこから2D画像データが(SP2位置から)取得されたIM2を生じる。したがって、それぞれの2D画像データは、モノクローム、たとえば、グレースケールの画像としてのビューであり得るが、各々が、別個のモノクローム色、たとえば、RGB、およびNIRのための何らかの好適なカラースケールによって表される場合、すべての色の混合をもつフルカラー画像が達成され得ることが了解される。もちろん、分離における、および互いと混合または合成されない2D画像データを使用し、かつ/または見ることも可能であり、あるいは、ときには十分である、かつ/または望ましい。たとえば、図9Cの場合のように、たとえば、比較のために並んでいる、別個の画像内で、3D画像データに関連付けられた2D画像データを見ることである。他の場合には、2D画像データを実際に見る必要なしに、測定が、3D画像データに関連付けられた2D画像データにおいて実行され得る。
【0160】
いずれの場合も、1つの同じ解像度においてすべての画像データを有することが望ましいことが多いことが了解され得る。このようにして、図9Bにおいて見られるものなど、線の影響および関係するひずみが回避され得る。したがって、すでに上述されたように、それぞれの2D画像データは、1つの同じ解像度として提供され、たとえば、1つの同じ解像度に変換され得る。2D画像データがより低い解像度である場合、たとえば、図9Cの場合のような画像の形態における、2D画像データを、3D画像データと同じ解像度に変換することが好適であり得る。変換は、リサンプリング、したがって、この例では、アップサンプリングによって実行され得る。
【0161】
図9Dは、後者が最初に3D画像データと同じ解像度にアップサンプリングされた後の、3Dデータおよび2D画像データをもつ合成された画像を示す。結果として、3D画像データ点ごとに4つの強度値、および使用される第2の光ごとに1つの強度値によって表された、マルチスペクトル2D画像データが存在することになる。したがって、3Dにおける物体上のフルカラー画像およびテクスチャが、図9Dに示されているように達成され得る。画像はカラーであるが、特許図面および図は、典型的には、白黒および/またはグレースケールで複写されるので、図9Dの画像は、それにもかかわらず、図面においてグレースケールで見えることがあることに留意されたい。
【0162】
図10は、図6に関して上記で説明された方法および/または動作を実行するためなど、本明細書の実施形態を実行するためにすでに上述されたデバイスに対応し得る、1つまたは複数のデバイス1000、すなわち、デバイス1000の実施形態を示すための概略ブロック図である。デバイス1000は、たとえば、コンピューティングデバイス533および/もしくはカメラ530、または撮像システム500内に含まれる、かつ/もしくはそれを形成する好適なデバイス、または関与する撮像システムからリモートおよび別個の1つもしくは複数のコンピューティングデバイスに対応し得る。たとえば、撮像システム500からの出力において動作するコンピューティングデバイスである。したがって、方法を実行するデバイス1000は、撮像システム500が動作され、IM1、IM2などを提供したときよりも、何らかの後の機会において、それを行い得る。したがって、方法は、撮像システム、および、したがって撮像から、時間および空間においてリモートであるデバイスによって実行され得る。方法によって必要とされるような撮像システムからの出力は、たとえば、方法を実行するように構成されたコンピューティングデバイスを備える、サーバまたはコンピュータクラウドにアップロードされ得る。しかしながら、関与する撮像システムおよび撮像の一部として、および/またはそれに関連して方法を実行するように構成されたデバイスが、典型的には好ましく、その理由は、これによって、より高速な実行、および一時的に記憶され、かつ/またはより長い距離で転送される必要のある画像データがより少ないことが可能になるからである。したがって、デバイス1000がカメラ530および/もしくはコンピューティングデバイス533であること、または、言い換えれば、カメラ530および/もしくはコンピューティングデバイス533が方法を行うように構成されることが好ましくなり得る。
【0163】
概略ブロック図は、デバイス1000が、図6に関して上記で説明された方法および動作を実行するように、どのように構成され得るかに関する実施形態を示すためのものである。したがって、デバイス1000は、マルチスペクトル2D画像データを、物体の3D撮像のための、撮像システム500などの撮像システムによって実行された光三角測量から生成された3D画像データに関連付けるためのものである。
【0164】
デバイス1000は、処理手段、たとえば、プロセッサなどの1つもしくは複数の処理回路、回路を含む、1つもしくは複数のハードウェアモジュール、ならびに/または前記方法および/もしくは動作を実行するための1つもしくは複数のソフトウェアモジュールなど、処理モジュール1001を備え得る。
【0165】
デバイス1000は、コンピュータプログラム1003を含むかまたは記憶するなど、備え得る、メモリ1002をさらに備え得る。コンピュータプログラム1003は、前記方法および/または動作を実行するために、それぞれデバイス900によって直接または間接的に実行可能な「命令」または「コード」を備える。メモリ1002は、1つまたは複数のメモリユニットを備え得、本明細書の実施形態の機能および動作を実行することに関与するか、またはそれらを実行するための構成、データ、および/または値など、データを記憶するためにさらに配置され得る。
【0166】
さらに、それぞれのデバイス1000は、例示するハードウェアモジュールとして、データを処理すること、および、たとえば、符号化することに関与する処理回路1004を備え得、1つまたは複数のプロセッサまたは処理回路を備えるか、またはそれに対応し得る。処理モジュール1001は、そのような処理回路1004を備え、たとえば、「その形態で具現化される」か、または「それによって実現され」得る。これらの実施形態では、メモリ1002は、処理回路904によってそれぞれ実行可能なコンピュータプログラム1003を備え得、それによって、それぞれのデバイス1000は、前記方法および/またはその動作を実行するために動作可能であるか、または構成される。
【0167】
典型的には、デバイス1000、たとえば、処理モジュール1001は、他のデバイスに情報を送信すること、および/または他のデバイスから情報を受信することなど、他のユニットおよび/またはデバイスへおよび/またはそれからの任意の通信に、たとえば、それを実行することによって関与するように構成された、入力/出力(I/O)モジュール1005を備える。I/Oモジュール1005は、適用可能であるとき、取得モジュール、たとえば、受信モジュール、および/または提供モジュール、たとえば、送信モジュールによって例示され得る。
【0168】
さらに、いくつかの実施形態では、デバイス1000、たとえば、処理モジュール901は、本明細書の実施形態の動作を行うための例示するハードウェアおよび/またはソフトウェアモジュールとして、選択モジュール、関連付けモジュール、選択モジュール、合成モジュールのうちの1つまたは複数を備える。これらのモジュールは、処理回路1004によって完全にまたは部分的に実装され得る。
【0169】
したがって、以下のようになる。
【0170】
デバイス1000、および/または処理モジュール1001、および/または処理回路1004、および/またはI/Oモジュール1005、および/または取得モジュールは、前記カメラおよび画像センサーによって生成されたIM1の前記SP1として、前記3Dデータを取得することを行うように動作可能であるか、または構成される。
【0171】
デバイス1000、および/または処理モジュール1001、および/または処理回路1004、および/またはI/Oモジュール1005、および/または取得モジュールは、それぞれ、前記カメラおよび画像センサーによって生成され、前記2つ以上の第2の光による照明中に物体を撮像している、前記2つ以上のIM2を取得することであって、それぞれのIM2は、前記IM1のうちのそれぞれのIM1であり、それに関連付けられるか、または前記IM1のうちの2つの間で生成され、それらのうちのいずれかに関連付けられるかのいずれかである、ことを行うように動作可能であるか、または構成される。
【0172】
デバイス1000、および/または処理モジュール1001、および/または処理回路1004、および/またはI/Oモジュール1005、および/または選択モジュールは、それぞれのIM2内で、それぞれのIM2が関連付けられるそれぞれのIM1のそれぞれのSP1のために、およびそれに対して、物体からの反射された第2の光が物体からの反射された第1の光よりも高い強度を有するところの前記それぞれのSP2を選択することを行うように動作可能であるか、または構成される。
【0173】
デバイス1000、および/または処理モジュール1001、および/または処理回路1004、および/またはI/Oモジュール1005、および/または関連付けモジュールは、選択されたSP2の強度値を、それぞれ、選択されたSP2がそのために選択されたSP1に関連付けることであって、反射されたマルチスペクトルの第2の光からのSP2内の強度値に対応する前記マルチスペクトル2Dデータが、SP2がそのために選択されたSP1に対応する3Dデータに関連付けられるようになるようにする、ことを行うように動作可能であるか、または構成される。
【0174】
デバイス1000、および/または処理モジュール1001、および/または処理回路1004、および/またはI/Oモジュール1005、および/または提供モジュールは、3D画像データおよび2D画像データを、同じ解像度において提供することを行うように動作可能であるか、または構成され得る。
【0175】
デバイス1000、および/または処理モジュール1001、および/または処理回路1004、および/またはI/Oモジュール1005、および/または合成モジュールは、同じ解像度における3D画像データおよび2D画像データを、前記合成された画像に合成することであって、画像のそれぞれの3D画像データ点が、異なる波長を備える、反射された前記2つ以上の第2の光から生じる強度値に対応する、マルチスペクトル2D画像データに関連付けられるようになるようにする、ことを行うように動作可能であるか、または構成され得る。
【0176】
図11は、前記方法および動作を上記で説明された前記デバイス1000に実行させるためのコンピュータプログラム1003およびその担体に関する、いくつかの実施形態を示す概略図である。
【0177】
コンピュータプログラム1003は、処理回路1004および/または処理モジュール1001によって実行されると、上記で説明されたようにデバイス1000に実行させる命令を備える。いくつかの実施形態では、コンピュータプログラムを備える、コンピュータプログラム製品などの担体、またはより具体的にはデータキャリアである、1つまたは複数の担体が提供される。それぞれの担体は、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体、たとえば、図に概略的に示されているようなコンピュータ可読記憶媒体1101のうちの1つであり得る。したがって、コンピュータプログラム1003は、コンピュータ可読記憶媒体1101上に記憶され得る。担体によって、一時的な伝搬信号が除外されることがあり、データキャリアは、対応して非一時的データキャリアと称されることがある。コンピュータ可読記憶媒体であるデータキャリアの非限定的な例は、メモリカードもしくはメモリスティック、ディスク記憶媒体、または典型的にはハードドライブもしくはソリッドステートドライブ(SSD)に基づく大容量記憶デバイスである。コンピュータ可読記憶媒体1101は、コンピュータネットワーク1102、たとえば、インターネットまたはローカルエリアネットワーク(LAN)上でアクセス可能なデータを記憶するために使用され得る。コンピュータプログラム1003は、純粋なコンピュータプログラムとしてさらに提供されるか、または1つもしくは複数のファイル内に含まれ得る。1つまたは複数のファイルは、コンピュータ可読記憶媒体1101上で記憶され、サーバを介してなど、たとえば、図に示されているようなコンピュータネットワーク1102上で、たとえば、ダウンロードを通して利用可能であり得る。サーバは、ウェブまたはファイル転送プロトコル(FTP)サーバ、または同様のものであり得る。1つまたは複数のファイルは、たとえば、処理回路1004による実行によって、上記で説明されたように前記デバイスに実行させるために、前記デバイスへの直接的または間接的なダウンロード、および前記デバイス上の実行のための実行可能ファイルであり得る。1つまたは複数のファイルはまた、または代替的に、同じまたは他のプロセッサが、さらなるダウンロードおよび実行前にファイルを実行可能にするために、上記で説明されたように前記デバイス1000に実行させることを伴う、中間ダウンロードおよびコンパイルのためのものであり得る。
【0178】
上記で述べられた任意の処理モジュールおよび回路は、ソフトウェアおよび/もしくはハードウェアモジュールとして、たとえば、既存のハードウェアにおいて、ならびに/または特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)などとして実装され得ることに留意されたい。また、上記で述べられた任意のハードウェアモジュールおよび/または回路は、たとえば、単一のASICもしくはFPGA中に含まれ得るか、または個々にパッケージ化されるか、システムオンチップ(SoC)にアセンブルされるかにかかわらず、いくつかの別個のハードウェア構成要素の間で分散され得ることにも留意されたい。
【0179】
本明細書で説明されたモジュールおよび回路は、ハードウェアモジュール、ソフトウェアモジュール、アナログおよびデジタル回路、ならびに/または、1つもしくは複数のプロセッサによって実行されると、デバイス、センサーなどが上記で説明された方法および動作を実行するように構成されるように、および/もしくはそれを実行するようにさせ得る、たとえば、メモリ内に記憶された、ソフトウェアおよび/もしくはファームウェアとともに構成された、1つもしくは複数のプロセッサの組合せを指すことがあることも、当業者は諒解されよう。
【0180】
本明細書での任意の識別子による識別は、暗黙的または明示的であり得る。識別は、たとえば、あるコンピュータプログラムまたはプログラムプロバイダのための、あるコンテキストにおいて一意であり得る。
【0181】
本明細書で使用されるとき、「メモリ」という用語は、デジタル情報を記憶するためのデータメモリ、典型的には、ハードディスク、磁気記憶装置、メディア、ポータブルコンピュータディスケットまたはディスク、フラッシュメモリ、ランダムアクセスメモリ(RAM)などを指すことがある。さらに、メモリは、プロセッサの内部レジスタメモリであり得る。
【0182】
また、第1のデバイス、第2のデバイス、第1の表面、第2の表面などの任意の列挙する用語は、そのようなものとして非限定的であると見なされるべきであり、その用語は、そのようなものとして、ある階層的関係を暗示しないことにも留意されたい。反対に、いかなる明示的な情報もない場合、列挙による命名は、異なる名称を達成する方法にすぎないと見なされるべきである。
【0183】
本明細書で使用されるとき、「するように構成される」という表現は、処理回路が、ソフトウェアまたはハードウェア構成を用いて、本明細書で説明される動作のうちの1つまたは複数を実行するように構成または適合されることを意味し得る。
【0184】
本明細書で使用されるとき、「数」または「値」という用語は、2進数、実数、虚数、または有理数など、任意の種類の数字を指すことがある。さらに、「数」または「値」は、文字(letter)または文字列(string of letters)など、1つまたは複数の文字(character)であり得る。また、「数」または「値」は、ビット列によって表され得る。
【0185】
本明細書で使用されるとき、「あり得る(may)」および「いくつかの実施形態では」という表現は、典型的には、説明される特徴が、本明細書で開示される任意の他の実施形態と組み合わせられ得ることを示すために使用されている。
【0186】
図面では、いくつかの実施形態のみにおいて存在し得る特徴は、典型的には、点線または破線を使用して描かれている。
【0187】
「備える(comprise)」または「備える(comprising)」という語を使用するとき、その語は、非限定的である、すなわち、「少なくとも～からなる(consist at least of)」を意味するものと解釈されるべきである。
【0188】
本明細書の実施形態は、上記で説明された実施形態に限定されない。様々な代替形態、変更形態、および均等物が使用され得る。したがって、上記の実施形態は、添付の特許請求の範囲によって定義される、本開示の範囲を限定するものとして解釈されるべきではない。
【符号の説明】
【0189】
100 従来技術の撮像システム、撮像システム、システム
110 光源
111 構造化光
112 光線、光
120 第1の物体、第1の測定物体、物体
121 第2の物体
122 可動物体支持構造
123 座標系
130 カメラ、カメラユニット
141-1～141-N 輪郭画像
200 撮像システム、システム
205 撮像システム
210、510 第1の光源
211 第1の光、反射された第1の光、検知された第1の光
220、520 測定物体、物体
230 カメラ
231 画像センサー、画像プロセッサ
232 視野
233 コンピューティングデバイス
250 第2の光源
251 第2の光、反射された第2の光、検知された第2の光
340-1、340-1a、340-1b 第1の画像
340-2、340-2a、340-2b 第2の画像
340-3、340-3a、340-3b 第3の画像
341a-1、341b-1 第1の画像
341a-2 さらなる第1の画像
342a-1、342b-1 第2の画像
361a-1、361a-2、361b-1 第1の露光期間
361b-2 第1のさらなる露光期間
362a-1、362b-1 第2の露光期間
363a 時間期間
413a 第1の光強度分布、光強度分布
413b 第1の光強度分布
453a 第2の光強度分布、光強度分布
453b 第2の光強度分布
471a 第1のセンサー位置、強度ピーク位置
471b 第1のセンサー位置
473a、473b 第2のセンサー位置
475a 差
477a 光強度差、IDIFF(SP1)
479a 光強度差、IDIFF(SP2)
500 撮像システム、システム、デバイス
511 第1の光
530 カメラ、デバイス
531 画像センサー、画像プロセッサ
532 視野
533 コンピューティングデバイス、デバイス
550 第2の光源、光源
550-1、550-2 (サブ)光源
550-3 第3の第2の光源
551 第2の光、マルチスペクトルの第2の光
551-1、551-2、551-1'、551-2' 第2の光
551-3 第3の第2の光
552 照明ユニット
741 第1の画像「IM1」、IM1
741a-1、841a-1、841e-1 IM1-1
741a-2、841a-2、841e-2 IM1-2
741b-1 第1の画像IM1-1、IM1-1
741b-2 さらなる第1の画像IM1-2
742 第2の画像「IM2」、IM2
742a-1、742b-1、842a-1、842e-1 IM2-1
742a-2、742b-2、842a-2、842e-2 IM2-2
763 期間T3D、時間期間T3D
763a、763b T3D
765 期間TSEQ、TSEQ
765a、765b TSEQ
771 第1のセンサー位置「SP1」、SP1
771a-1、771b-1 SP1-1
771a-2 SP1-2
772 第2のセンサー位置「SP2」、SP2
772a-1、772b-1 SP2-1
772a-2、772b-2 SP2-2
841a-3、841e-3 IM1-3
842a-3、842e-3 IM2-3
865a 期間TSEQ
865b、865c、865d シーケンス期間TSEQ
866e-1 赤色光オン期間
866e-2 緑色光オン期間
866e-3 青色光オン期間
1000 デバイス
1001 処理モジュール
1002 メモリ
1003 コンピュータプログラム
1004 処理回路、プロセッサ
1005 入力/出力(I/O)モジュール、I/Oモジュール
1101 コンピュータ可読記憶媒体
1102 コンピュータネットワーク
110 光源
111 構造化光
112 光線、光
120 第1の物体、第1の測定物体、物体
121 第2の物体
122 可動物体支持構造
123 座標系
130 カメラ、カメラユニット
141-1～141-N 輪郭画像
200 撮像システム、システム
205 撮像システム
210、510 第1の光源
211 第1の光、反射された第1の光、検知された第1の光
220、520 測定物体、物体
230 カメラ
231 画像センサー、画像プロセッサ
232 視野
233 コンピューティングデバイス
250 第2の光源
251 第2の光、反射された第2の光、検知された第2の光
340-1、340-1a、340-1b 第1の画像
340-2、340-2a、340-2b 第2の画像
340-3、340-3a、340-3b 第3の画像
341a-1、341b-1 第1の画像
341a-2 さらなる第1の画像
342a-1、342b-1 第2の画像
361a-1、361a-2、361b-1 第1の露光期間
361b-2 第1のさらなる露光期間
362a-1、362b-1 第2の露光期間
363a 時間期間
413a 第1の光強度分布、光強度分布
413b 第1の光強度分布
453a 第2の光強度分布、光強度分布
453b 第2の光強度分布
471a 第1のセンサー位置、強度ピーク位置
471b 第1のセンサー位置
473a、473b 第2のセンサー位置
475a 差
477a 光強度差、IDIFF(SP1)
479a 光強度差、IDIFF(SP2)
500 撮像システム、システム、デバイス
511 第1の光
530 カメラ、デバイス
531 画像センサー、画像プロセッサ
532 視野
533 コンピューティングデバイス、デバイス
550 第2の光源、光源
550-1、550-2 (サブ)光源
550-3 第3の第2の光源
551 第2の光、マルチスペクトルの第2の光
551-1、551-2、551-1'、551-2' 第2の光
551-3 第3の第2の光
552 照明ユニット
741 第1の画像「IM1」、IM1
741a-1、841a-1、841e-1 IM1-1
741a-2、841a-2、841e-2 IM1-2
741b-1 第1の画像IM1-1、IM1-1
741b-2 さらなる第1の画像IM1-2
742 第2の画像「IM2」、IM2
742a-1、742b-1、842a-1、842e-1 IM2-1
742a-2、742b-2、842a-2、842e-2 IM2-2
763 期間T3D、時間期間T3D
763a、763b T3D
765 期間TSEQ、TSEQ
765a、765b TSEQ
771 第1のセンサー位置「SP1」、SP1
771a-1、771b-1 SP1-1
771a-2 SP1-2
772 第2のセンサー位置「SP2」、SP2
772a-1、772b-1 SP2-1
772a-2、772b-2 SP2-2
841a-3、841e-3 IM1-3
842a-3、842e-3 IM2-3
865a 期間TSEQ
865b、865c、865d シーケンス期間TSEQ
866e-1 赤色光オン期間
866e-2 緑色光オン期間
866e-3 青色光オン期間
1000 デバイス
1001 処理モジュール
1002 メモリ
1003 コンピュータプログラム
1004 処理回路、プロセッサ
1005 入力/出力(I/O)モジュール、I/Oモジュール
1101 コンピュータ可読記憶媒体
1102 コンピュータネットワーク
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図5D】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図8C】
【図8D】
【図8E】
【図9A】
【図9B】
【図9C】
【図9D】
【図10】
【図11】
【外国語明細書】