IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ シック アイヴィピー エービーの特許一覧

特開2025-9910光三角測量に基づく3次元イメージングに関するイメージングシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025009910
(43)【公開日】2025-01-20
(54)【発明の名称】光三角測量に基づく3次元イメージングに関するイメージングシステムおよび方法
(51)【国際特許分類】
   G01B 11/25 20060101AFI20250109BHJP
【FI】
G01B11/25 H
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2024095910
(22)【出願日】2024-06-13
(31)【優先権主張番号】23184017
(32)【優先日】2023-07-06
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】504048696
【氏名又は名称】シック アイヴィピー エービー
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】アンデシュ・ムルヘド
【テーマコード(参考)】
2F065
【Fターム(参考)】
2F065AA53
2F065BB05
2F065DD12
2F065FF09
2F065GG04
2F065GG07
2F065HH07
2F065HH13
2F065JJ03
2F065JJ08
2F065JJ26
2F065QQ31
2F065UU07
(57)【要約】      (修正有)
【課題】光三角測量に基づく3次元イメージングのためのイメージングシステムにおける歪みの低減をサポートするための方法を提供する。
【解決手段】イメージングシステム500は、カメラ530および構造化光511を含む物体520の照射を提供する光源510を備える。構造化光511は、物体520を含む仮想ボリューム524であって、イメージングシステムが撮像するように構成される、物体520がイメージング中に存在するボリュームに相当する、仮想ボリューム524と交差する。少なくともカメラ530によるイメージング中に、光源510からの迷光がカメラ530の視野532内で仮想ボリューム524に達するのを防止される。イメージングシステム500において、光源510と仮想ボリューム524との間で構造化光511の外側に配置される遮光体550a、550bによって達成される。
【選択図】図5A
【特許請求の範囲】
【請求項1】
光三角測量に基づく物体(520)の3次元イメージングのための、イメージングシステム(500;700;800)であって、カメラ(530)と、構造化光(511)を含む前記物体(520)の照射を提供するように構成される光源(510)とを備え、前記カメラ(530)が、前記カメラ(530)が前記光三角測量の一部として前記物体(520)から反射された構造化光(511)を画像に取得することができるように、前記提供される構造化光(511)に対して配置され、それによって前記光三角測量に従って、前記画像に取得された反射された構造化光の位置が、前記構造化光(511)が前記物体(520)によって反射された実世界位置にマッピングし、前記構造化光(511)が、前記物体(520)を含む仮想ボリューム(524)であって、前記イメージングシステムが撮像するように構成される、前記物体(520)を含む、1つまたは複数の物体が前記イメージング中に存在するボリュームに相当する、仮想ボリューム(524)と交差し、
前記イメージングシステム(500;700;800)が、前記光源(510)と前記仮想ボリューム(524)との間で前記構造化光(511)の外側に配置される遮光体(550;750;850)であって、前記遮光体(550;750;850)が前記光源(510)からの迷光(415)を遮断し、それによってそれが前記カメラ(530)の視野(532)内で前記仮想ボリューム(524)に達するのを防止するように配置される、遮光体(550;750;850)を更に備える、イメージングシステム。
【請求項2】
前記遮光体(550;750;850)が、前記構造化光(511)の照射方向に直交する1つまたは複数の方向に延在を有する1つまたは複数の遮光主要表面を有する、請求項1に記載のイメージングシステム。
【請求項3】
前記遮光体(550;750;850)が、前記光源(510)と前記仮想ボリューム(524)との間で、前記構造化光(511)までの距離が前記仮想ボリューム(524:724;824)の方向に減少して前記構造化光(511)の外側に延在する、請求項1または2に記載のイメージングシステム。
【請求項4】
前記遮光体(550;750;850)が、前記照射がその最大強度の5%に低下したところよりも前記構造化光(511)に近い前記照射の光を前記遮光体(550;750;850)が遮断することをそれによって回避するように、前記構造化光(511)までの距離を保って前記構造化光(511)の外側に配置される、請求項1から3のいずれか一項に記載のイメージングシステム。
【請求項5】
前記遮光体(550;750;850)が、前記構造化光(511)までの距離を保つが、前記照射がその最大強度の1%に低下したところの前記照射の光を前記遮光体(550;750;850)が少なくとも遮断するほどの近さで、前記構造化光(511)の外側に配置される、請求項1から4のいずれか一項に記載のイメージングシステム。
【請求項6】
前記遮光体が、
前記カメラ(530)の方向に前記構造化光(511)の第1の側に配置される第1の遮光体部(550a;750a;850a)および/または、
前記カメラ(530)の反対方向に前記構造化光(511)の第2の側に配置される第2の遮光体部(550b;750b;850b)を備える、請求項1から5のいずれか一項に記載のイメージングシステム。
【請求項7】
前記第1の遮光体部(550a;750a;850a)が、前記仮想ボリューム(524)において前記構造化光(511)をカバーしている前記カメラ(530)の視野(532;732;832)の少なくとも一部(532’;732’;832’)の外側に配置される、請求項6に記載のイメージングシステム。
【請求項8】
前記遮光体(550;750;850)が、前記遮光体(550;750;850)が前記仮想ボリューム(524)に最も近いところで、および/または前記遮光体(550;750;850)が、前記照射が焦点を有するところに最も近いところで、前記構造化光に最も近い、請求項1から7のいずれか一項に記載のイメージングシステム。
【請求項9】
光三角測量に基づく3次元イメージングにおける歪みの低減をサポートするための方法であって、前記3次元イメージングが、カメラ(530)と、撮像されることになる物体(520)の照射を提供するための光源(510)とを備えるイメージングシステム(500;700;800)によって行われ、前記照射が、前記光三角測量に使用される構造化光(511)を含み、前記カメラ(530)が、イメージング中の前記カメラ(530)が前記光三角測量の一部として前記物体(520)から反射された構造化光(511)を画像に取得するように前記提供される構造化光(511)に対して配置され、それによって前記光三角測量に従って、前記画像に取得された反射された構造化光の位置が、前記構造化光(511)が前記物体(520)によって反射された実世界位置にマッピングし、前記構造化光(511)が、前記物体(520)を含む仮想ボリューム(524)であって、前記イメージングシステムが撮像するように構成される、前記物体(520)を含む、1つまたは複数の物体が前記イメージング中に存在するボリュームに相当する、仮想ボリューム(524)と交差し、前記方法が、
少なくとも前記カメラ(530)による前記イメージング中に、前記光源(510)からの迷光(415)が前記カメラ(530)の視野(532)内で前記仮想ボリューム(524)に達するのを防止するステップを含む、方法。
【請求項10】
前記迷光を防止するステップが、前記光源(510)と前記仮想ボリューム(524)との間で前記構造化光(511)の外側に配置される遮光体(550;750;850)によって前記迷光を遮断することによって達成される、請求項9に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書における実施形態は、光三角測量に基づく3次元イメージングのためのイメージングシステムに関する。
【背景技術】
【0002】
ファクトリおよびロジスティックオートメーションのための産業用ビジョンカメラおよびシステムは3次元(3D)マシンビジョンに基づいてもよく、場面および/または物体の3D画像が取得される。3D画像によって、従来の画像におけるように2次元(2D)だけに画素に関する、強度および/または色のような、情報を備えるのではなく、または少なくともそれだけを備えるのではなく、「高さ」または「深さ」情報も備える画像が示される。すなわち、画像の各画素が、画素の位置と関連付けられかつ撮像されたもの、例えば物体の位置にマッピングする情報を備えてもよい。次いで、3D画像から物体の特性、すなわち物体の3D特性に関する情報を抽出し、例えば様々な3D画像フォーマットに変換するために処理が加えられてもよい。そのような高さに関する情報はレンジデータと称されてもよく、レンジデータは、したがって撮像されている物体の高さ測定からの、または言い換えれば物体のレンジもしくは距離測定からのデータに相当し得る。代替的または追加的に、画素は、例えば撮像領域における光の散乱または特定の光の波長の反射に関するような材料性質に関する情報を備えてもよい。
【0003】
それ故、画素値は、例えば画素の強度におよび/またはレンジデータにおよび/または材料性質に関してもよい。
【0004】
例えば画像データを一度に1ラインの画素ずつ感知および提供するように構成されたセンサを備えるカメラによって、画像の画像データが一度に1ラインずつスキャンまたは提供されると、ラインスキャン画像データが生じる。ラインスキャン画像の特例が、スキャンされる物体を光によって照射する「光のシート」を使用する光三角測量によって提供される画像データである。物体と交差した光のシートは、物体に投射されて反射される光ラインに至る。典型的にはレーザが使用されて、物体上でそれによってカメラに向けて反射されるレーザラインに至る。レーザがしばしば好まれ、そのため光三角測量は時にレーザ三角測量と称されるが、「光のシート」、すなわち光平面を提供することができる他の光源、または他の構造化光も使用できる。すなわち、焦束されたままであり、あまり発散しない光、または言い換えれば、「構造化」されている光、例えばレーザもしくは発光ダイオード(LED)によって提供される光を提供することができる光源である。それ故、一般に、上述したような光三角測量は、照射のために構造化光を使用することに基づく。
【0005】
構造化光は、光三角測量の一部として物体に照射するための光の定義された、典型的には既定の、パターンに相当する。しばしば、上に示したように、物体表面に照射すると、物体表面に投射されて反射されてカメラによって撮像される光ラインに至る、光平面の形態の構造化光である。構造化光の他の例には、より大きな領域にわたって提供される照射の光エッジを含み、物体に照射する厚い光ラインに相当すると考えることができ、物体に投射された光エッジは光平面の場合における光ラインに対応し、それとして対応して使用されてもよい。また光三角測量において物体の照射のために、例えば物体表面に投射されて反射されるライン、ドット、グリッド、バー等に至る、他の構造化光が使用されてもよい。
【0006】
いずれの場合も、構造化光の構造は、例えば構造化光が光平面に相当すれば光平面において、物体表面上の反射が発生した実世界位置を識別し、これらの位置を、光、例えば反射光ラインが取得される、イメージセンサに、および画像にマッピングすることを可能にする。認識されるべきであるように、これが光三角測量ベースの3Dイメージングの根本原則である。
【0007】
3Dマシンビジョンシステムは、しばしば以上のように光三角測量に基づく。そのようなシステムでは物体に、物体上で光ラインに至る光平面のような、構造化光を照射する光源があり、そのラインに沿って、物体のプロファイルに対応して、物体の3D特性を取得できる。そのようなラインで物体をスキャンし、物体のラインスキャンを行うことによって、ラインおよび/または物体の移動を伴えば、複数プロファイルに対応して、物体全体の3D特性を取得できる。
【0008】
典型的には、光三角測量に基づいて3D画像を生成するために、撮像されることになる物体からの反射光がカメラのイメージセンサによって取得されて、例えば物体に投射される光ラインのイメージングに至る。結果的な画像データにおいて次いで強度ピークが検出される。ピークは、イメージセンサによって取得された構造化光を反射した物体上の場所に対応する、センサ座標における、位置に発生する。構造化光が提供される実世界座標と反射された構造化光が取得されるイメージセンサ座標との間の、典型的にはイメージングシステムのセットアップ時の校正手順から既知の、マッピングにより、画像データは、反射が発生したところの物体についての上記高さ情報を含む。典型的であるが、必然ではなく、イメージングシステムは、反射光に関する強度ピークがセンサの列ごとに発生しかつ期待されるべきであり、列内の位置が高さにマッピングするようにセットアップされる。
【0009】
以上から、光三角測量それ自体から生じる強度ピーク以外の画像データにおける強度ピークが問題を引き起こすことがあり、それらが発生すれば、少なくとも光三角測量それ自体に属する強度ピークとしては検出および/または使用されないべきであることが認められる。また、イメージセンサ画素を飽和させる強すぎる強度ピークが問題を引き起こし、望ましい解像度でピークを検出することを困難にすることがある。上述したような不要な強度ピークからの結果が、結果的なプロファイル画像における更には複数プロファイル画像から形成される結果的な完全な3D画像におけるアーチファクト、例えば3D画像における「スパイク」の形態のアーチファクトになり得る。
【0010】
不要な強度ピークは、例えば構造化光による2次反射および/または非常に強い鏡面反射によって引き起こされることがあり、それらは、先行技術では典型的には解決策「画像感知後」によって、すなわち、例えば強度ピーク検出アルゴリズムの前にまたはその一部として結果的な画像データを処理することによって、緩和される。課題は、構造化光による物体表面上の正反射から生じる、光三角測量のために「必要な」強度ピークだけを発見および/もしくは識別する、ならびに/または構造化光による2次反射によって引き起こされる強度ピークのような、光三角測量のために不要な強度ピークを使用しないこともしくは使用することを回避することである。不要な強度ピークが必要なものとして、すなわち「あたかもそれが光三角測量のために必要なものであるかのように」使用されれば、物体の正しい3Dイメージングに至ることはできないことが認められる。
【0011】
光三角測量によって構造化光それ自体が必要とされて使用されるので、必要な強度ピークを識別するために「画像感知後」策に重点を置くことは自然である。不正な反射がしばしば「スパイク」、すなわち3D画像において極めて狭いピークの形態の上記種類の歪みを引き起こし、したがってスパイク「画像感知後」に関する問題を軽減するために先行技術ではメディアンフィルタリングまたは同類がしばしば使用される。
【0012】
別の、「画像感知前」先行技術策は、偏光を使用することによって構造化光の鏡面反射からの問題を軽減するように向けられている。例えば、これが鏡面反射を低減させる一方で、それは、なお光三角測量のために使用可能な拡散反射を提供できる。これに関する欠点は、偏光を達成する偏光フィルタが大量の生成された光の除去を引き起こし、エネルギー効率が下がることである。
【0013】
光三角測量に基づく3Dイメージング中に鏡面反射からのマイナス効果を緩和するように向けられている以上のような既存の解決策にもかかわらず、特に撮像されている物体が高反射表面を有するときに、上記「スパイク」のような、歪みに関する問題がまだある。
【発明の概要】
【発明が解決しようとする課題】
【0014】
以上に鑑みて、目的は、光三角測量に基づく3Dイメージングシステムからの3D画像における、「スパイク」のような、歪みの除去および/または低減を容易にすることのような、先行技術の1つまたは複数の改善または代替を提供することである。
【課題を解決するための手段】
【0015】
本明細書における実施形態の第1の態様によれば、目的は、光三角測量に基づく物体の3次元イメージングのためのイメージングシステムによって達成される。システムは、カメラと、構造化光を含む物体の照射を提供するように構成される光源とを備える。カメラは、カメラが上記光三角測量の一部として物体から反射された構造化光(511)を画像に取得することができるように、提供される構造化光に対して配置され、それによって光三角測量に従って、画像に取得された反射された構造化光の位置が、構造化光が物体によって反射された実世界位置にマッピングする。構造化光は、物体を含む仮想ボリュームであって、イメージングシステムが撮像するように構成される、上記物体を含む、1つまたは複数の物体がイメージング中に存在するボリュームに相当する、仮想ボリュームと交差する。イメージングシステムは、光源と上記仮想ボリュームとの間で構造化光の外側に配置される遮光体であって、遮光体が光源からの迷光を遮断し、それによってそれがカメラの視野内で仮想ボリュームに達するのを防止するように配置される、遮光体を更に備える。
【0016】
一部の実施形態において、遮光体は、構造化光の照射方向に直交する1つまたは複数の方向に延在を有する1つまたは複数の遮光主要表面を有する。
【0017】
一部の実施形態において、遮光体は、光源と仮想ボリュームとの間で、構造化光までの距離が仮想ボリュームの方向に減少して構造化光の外側に延在する。
【0018】
一部の実施形態において、遮光体は、照射がその最大強度の5%に低下したところよりも構造化光に近い照射の光を遮光体が遮断することをそれによって回避するように、構造化光までの距離を保って構造化光の外側に配置される。
【0019】
一部の実施形態において、遮光体は、構造化光までの距離を保つが、照射がその最大強度の1%に低下したところの照射の光を遮光体が少なくとも遮断するほどの近さで、構造化光の外側に配置される。
【0020】
一部の実施形態において、遮光体は、
カメラの方向に構造化光の第1の側に配置される第1の遮光体部および/または、
カメラの反対方向に構造化光の第2の側に配置される第2の遮光体部を備える。
【0021】
一部の実施形態において、第1の遮光体部は、仮想ボリュームにおいて構造化光をカバーしているカメラの視野の少なくとも一部の外側に配置される。
【0022】
一部の実施形態において、遮光体は、遮光体が仮想ボリュームに最も近いところで、および/または遮光体が、照射が焦点を有するところに最も近いところで、構造化光に最も近い。
【0023】
本明細書における実施形態の第2の態様によれば、目的は、光三角測量に基づく3次元イメージングにおける歪みの低減をサポートするための方法であって、上記3次元イメージングがイメージングシステムによって行われる、方法によって達成される。イメージングシステムは、カメラと、撮像されることになる物体の照射を提供するための光源とを備える。上記照射は、光三角測量に使用される構造化光を含む。カメラは、イメージング中のカメラが上記光三角測量の一部として物体から反射された構造化光を画像に取得するように、提供される構造化光に対して配置され、それによって光三角測量に従って、画像に取得された反射された構造化光の位置が、構造化光が物体によって反射された実世界位置にマッピングする。構造化光は、物体を含む仮想ボリュームであって、イメージングシステムが撮像するように構成される、上記物体を含む、1つまたは複数の物体がイメージング中に存在するボリュームに相当する、仮想ボリュームと交差する。方法は、少なくともカメラによる上記イメージング中に、光源からの迷光がカメラの視野内で仮想ボリュームに達するのを防止するステップを含む。
【0024】
一部の実施形態において、上記迷光の防止は、光源と上記仮想ボリュームとの間で構造化光の外側に配置される遮光体によって迷光を遮断することによって達成される。遮光体は、上記したようであってもよい。
【発明の効果】
【0025】
本明細書における実施形態は、迷光による反射が、光三角測量に使用される構造化光に対して非常に弱くかつ表面上および典型的には無視できるほどであるが、にもかかわらず迷光が仮想ボリューム内でカメラの視野に鏡面反射、例えば撮像されている物体上であるが構造化光の外側のまたは、次に撮像されることになるもしくは撮像されている物体の直前に撮像された物体のような、仮想ボリュームにおいて隣接する物体上の反射を引き起こす場合、問題を含むことがあることが見出されたことに基づく。たとえ迷光それ自体がカメラに向けて物体から反射された構造化光に対して非常に弱いとしても、カメラに向かう迷光の上記鏡面反射、主に正反射であるが時には2次鏡面反射も、光三角測量に従って必要な強度ピークと区別するのが困難である、上記構造化光によって引き起こされた不要な強度ピークを引き起こすと見出されている。光三角測量のための、すなわち物体からの正反射に対応する必要な強度ピークを発見するためのポストイメージング方法は、典型的には、上記構造化光の2次反射からのまたは他の現象によって引き起こされるような、鏡面迷光反射から以外の不要な強度ピークを排除することに重点を置く。本明細書における実施形態におけるように、例えば迷光を遮断することによって、迷光が仮想ボリューム内の視野に入るのを防止することによって、さもなければ例えば3D画像における、「スパイク」のような、歪みに至る、問題を含む鏡面迷光反射が発生するリスクを低減させるであろう。それ故、本明細書における実施形態は、これの低減およびそれによって改善された3Dイメージングも可能にする、または少なくともサポートする。
【0026】
本明細書における実施形態の例が、以下に簡単に説明される添付の略図を参照しつつ、より詳細に記載される。
【図面の簡単な説明】
【0027】
図1】本明細書における実施形態が基づき得る光三角測量に基づく3Dイメージングのための先行技術のイメージングシステムの一例を概略的に例示する。
図2A図1におけるような先行技術のイメージングシステムに対して存在する状況および一部の関係を概略的に例示する。
図2B図1におけるような先行技術のイメージングシステムに対して存在する状況および一部の関係を概略的に例示する。
図3A】迷光による問題に至り得る先行技術のイメージングシステムに対する例および状況を概略的に例示する。
図3B】迷光による問題に至り得る先行技術のイメージングシステムに対する例および状況を概略的に例示する。
図3C】迷光による問題に至り得る先行技術のイメージングシステムに対する例および状況を概略的に例示する。
図3D】迷光による問題に至り得る先行技術のイメージングシステムに対する例および状況を概略的に例示する。
図4A】光三角測量に使用される構造化光を含む照射がどのようにして迷光も含むか、およびそれがどのようにして構造化光に関し得るかを概略的に例示する。
図4B】光三角測量に使用される構造化光を含む照射がどのようにして迷光も含むか、およびそれがどのようにして構造化光に関し得るかを概略的に例示する。
図4C】光三角測量に使用される構造化光を含む照射がどのようにして迷光も含むか、およびそれがどのように構造化光に関し得るかを概略的に例示する。
図5A】遮光体が第1の例の本明細書における実施形態に係るイメージングシステムを概略的に例示する。
図5B】遮光体が第1の例の本明細書における実施形態に係るイメージングシステムを概略的に例示する。
図5C】遮光体が第1の例の本明細書における実施形態に係るイメージングシステムを概略的に例示する。
図6A】先行技術のイメージングシステムを使用する光三角測量に基づく高鏡面反射金属箔の3Dイメージングからの結果を例示する画像である。
図6B】本明細書における実施形態に基づくイメージングシステムを使用する光三角測量に基づく高鏡面反射金属箔の3Dイメージングからの結果を例示する画像である。
図7】遮光体が第2の例の本明細書における実施形態に係るイメージングシステムを概略的に例示する。
図8】遮光体が第3の例の本明細書における実施形態に係るイメージングシステムを概略的に例示する。
図9】本明細書における実施形態に係る方法の実施形態を概略的に例示するためのフローチャートである。
【発明を実施するための形態】
【0028】
本明細書における実施形態は例証的な実施形態である。これらの実施形態が必ずしも相互に排他的であるわけではないことが留意されるべきである。一実施形態からの構成要素が別の実施形態に存在すると黙示的に想定され得るが、それらの構成要素がその他の例証的な実施形態においてどのように使用され得るかは当業者にとって明らかであろう。
【0029】
本明細書における実施形態に向けた発展の一部として、背景で述べた状況を最初に更に詳しく説明し述べることになる。
【0030】
たとえ光源からの光の大部分が光三角測量におよびそれによって使用される構造化光であるとしても、実際には光源による照射が構造化光の外側の一部の迷光にも至ることを完全に回避することは典型的には不可能である。全迷光は、定義上原則として、構造化光と比較して非常に少なく、比較すると無視できるほどであり、しばしばそうであることがある。迷光は、拡散反射を提供するだけである物体表面の場合には通常は問題を引き起こさない。
【0031】
光三角測量に使用される構造化光と比較して迷光の総量が非常に少なく、一見して些細に見えるので、迷光は光三角測量の文脈では従来は無視される。背景に述べたように、鏡面反射に関する問題は、構造化光に起因するとされており、それからも生じており、これに対して種々の解決策が存在する。
【0032】
迷光が構造化光に対して一見して些細に見え、しばしばそうであることに加えて、以下が、光三角測量による3Dイメージングが長い間存在していたことにもかかわらず、光三角測量における迷光に関する問題が先行技術では認識されていない、または少なくとも十分にはされていないことを説明し得る。背景に言及した、画像データに作用するそのような「画像感知後」策は、迷光によって引き起こされる不要な強度ピークにも関する少なくとも一部の問題も解決する。いかなる迷光誘発強度ピークも、典型的には、2次構造化光反射によって引き起こされるような、他の不要な強度ピークと混ざるであろう。迷光反射は、原則として、光三角測量に基づいて3D撮像されている1つまたは複数の物体が高反射表面を有するときに問題となるだけであり、その場合、構造化光の2次および高次反射によって引き起こされる不要な強度ピークも増加する。
【0033】
本明細書における実施形態は、迷光が、たとえそれの総量が構造化光に対して些細に見えるとしても、やはり画像データに問題を含む不要な強度ピークを引き起こし得る上に、その一部が、光三角測量のために必要な強度ピークを発見するために画像データに作用する上記「画像感知後」方法によって取り除くのが特に困難であり得るという発見および認識に基づく。それ故、本明細書における実施形態は、まず第1に迷光が不要な強度ピークに至る反射を引き起こすのを防止できれば光三角測量に基づく3Dイメージングを改善することが可能であるという認識に更に基づく。このように、例えば従来のまたは他の「画像感知後」方法によって、扱われることになる画像データにおける不要な強度ピークが少なくなるであろう。
【0034】
本明細書における実施形態を更に詳細に述べて説明する前に、光三角測量に基づく先行技術の3Dイメージングシステムについての一部の基本、およびそのようなシステム全般と共に、上述したように迷光が問題を引き起こし得る状況の詳細な例が述べられることになる。これは、本明細書における実施形態ならびに光三角測量に基づく先行技術および従来の3Dイメージングシステムと比較した差の理解を容易にするために行われる。
【0035】
図1は、本明細書における実施形態が基づき得る光三角測量に基づく3Dイメージングのための先行技術のイメージングシステム100の一例を概略的に例示する。イメージングシステム100は、代替的に、例えば対象物体の3D特性に関する情報を取得するための光三角測量に基づく3Dマシンビジョンのためのイメージングシステムと命名されてもよい。イメージングシステム100は、図では通常動作の状況に、すなわち典型的には校正が行われた後で、したがってシステムが校正されている状況に図示される。イメージングシステム100は、ここでは光のシート三角測量、すなわち光平面である構造化光が使用される光三角測量の形態で、光三角測量を行うように構成される。イメージングシステム100は、構造化光、典型的には特定の光パターンで撮像されることになる物体の照射のための、レーザのような、光源110を更に備える。例および図では光平面の形態の構造化光111がある。光はレーザ光であってもよいが、必ずしもそうである必要はなく、それは、代替的に例えば1つまたは複数の発光ダイオード(LED)からの光であってもよい。同様の効果の光平面である従来のものではないが、同様である構造化光の別の例が、光エッジ、すなわち照射の領域のエッジである。生成された光および照射は、典型的には、例えば光を集束させるために、1つ以上のレンズを通して提供される。その上、カメラは、典型的には、それが、いわゆるシャインプルーフの原理に基づいて、構造化光111、典型的には光平面と同じ位置に設けられる、言い換えれば整列される焦点平面を有するように構成されて設けられる。このように、光平面において発生する物体反射がイメージセンサにおいて焦点が合うことになる。図示の例では、イメージングを受ける物体は、車の形態の第1の物体120および歯車構造の形態の第2の物体121によって例証される。撮像される物体は、測定物体と称されてもよい。構造化光111が物体に入射すると、これは、物体への構造化光111の投射に相当しており、構造化光111が物体と交差するように観察され得る。例えば、図示の例では、光平面の形態の構造化光111は、第1の測定物体120上で光ライン112に至る。構造化光111は、交差部において、すなわち図示の例では光ライン112において物体によって、より詳細には物体の部分によって反射される。イメージングシステム100は、イメージセンサ(図1に図示せず)を備えるカメラ130を更に備える。カメラおよびイメージセンサは、構造化光111が、物体によって反射されると、イメージセンサに入射するようになるように、光源110および撮像されることになる物体に対して配置される。イメージセンサは、入射光を画像データに変換するための、典型的にチップとして実装される、装置である。物体の上記部分は、反射によってイメージセンサへの上記入射光を引き起こすが、それによってカメラ130およびイメージセンサによって取得されてもよく、対応する画像データが生成されて更なる使用のために提供されてもよい。例えば、図示の例では、構造化光111は、第1の物体120の車の屋根の一部分上の光ライン112において、カメラ130およびイメージセンサに向けて反射されることになり、それによって車の屋根の上記一部分についての情報を持つ画像データを生成および提供し得る。光三角測量の原理に従って、イメージングシステム100の幾何形状についての、例えばイメージセンサ座標がどのようにして、撮像されている物体に関連する、デカルト座標のような、座標系123の座標のような、世界座標に関係するかについての知識により、画像データは、適切なフォーマットで撮像されている物体の、例えば3D形状またはプロファイルの形態の、3D特性に関する情報に変換され得る。上記3D特性に関する情報は、任意の適切なフォーマットで3D特性を描くデータを含んでもよい。
【0036】
光源110および/または、第1の物体120もしくは第2の物体121のような、撮像されることになる物体を、物体の複数部分が照射されて、イメージセンサによって画像に感知される反射光を引き起こすように、移動させることによって、実際には典型的には物体を構造化光111でスキャンすることによって、例えば、第1の物体120の図示されるプロファイル画像140-1~140-Nのような、それぞれの物体の複数の連続したプロファイルに対応して、それぞれの物体のより完全な3D形状を描く画像データが生成されてもよい。各プロファイル画像は、カメラユニット130のイメージセンサがプロファイル画像に至る光を感知したときに構造化光111が反射された第1の物体120の輪郭を示す。図に示されるように、光源110およびカメラユニット130を典型的には静止させたまま、構造化光111を通して物体を移動させ、それによってスキャンするために、コンベヤベルトまたは同類のような、可動物体支持構造122が使用されてもよい。代替的に、物体の全ての部分、または少なくとも光源110に向く全ての部分が照射され、カメラが撮像が望まれる物体の全ての部分から反射される光を受けるように、構造化光111が物体にわたって移動されてもよい。
【0037】
以上から理解されるように、例えば第1の物体120のイメージング中に、カメラ130およびそのイメージセンサによって提供される、それぞれの画像または画像フレームは、プロファイル画像140-1~140-Nのいずれか1つに対応しても、またはそれを提供するために使用されてもよい。プロファイル画像140-1~140-Nのいずれかに示される第1の物体の輪郭の各位置は、典型的には、イメージセンサによって取得された画像データにおける強度ピークの識別に、およびこれらの強度ピークの位置を発見することに基づいて決定される。イメージングシステム100および従来のピーク発見アルゴリズムは、典型的には、各画像フレームにおいて、画素列ごとに強度ピークを探すように構成される。センサ座標がu,vであり、かつ例えばuが、図に示されるように、イメージセンサにおける行に沿った画素位置に対応しvが列に沿った画素位置に対応すれば、検索される画像フレームの各位置uに対してvに沿ったピーク位置があり、画像フレームにおいて識別されたピークが、図に示されるような1つの「きれいな」プロファイル画像に至ってもよく、総数の画像フレームおよびプロファイル画像を使用して第1の物体120の3D画像を作成できる。
【0038】
図2A図2Bは、図1におけるような先行技術のイメージングシステムに対して存在する状況および一部の関係を概略的に例示しており、図2Aは3D図であり、図2Bは、図2Aに図示されるものの2D側面図である。図示されるシステムは、イメージングシステム100に相当してもよいが、一層概略かつ単純な図に、そのようなシステムと関連付けられた一部の詳細に注意を引きそれらを説明するために示される。図に示される詳細は、更に以下に提示される本明細書における実施形態の理解を容易にし、それらの実施形態との後での比較のためのものである。図示されたイメージングシステム200は、基本構成に相当するとみなすことができ、物体220の3Dイメージングのための光三角測量の一部として物体220に構造化光211を照射するための第1の光源210を備える。構造化光211も、ここでは光平面の形態で提供され、構造化光111に相当してもよい。3Dイメージングのための上記光三角測量の一部として物体220から反射された第1の光を感知するために配置され、すなわち、光三角測量のために互いに対して構成および配設されるイメージセンサ231を持つカメラ230。これは、典型的には、第1の光源210およびカメラ230が所定の定位置にかつ光三角測量のために互いに既知の関係で配置されることを要する。カメラ230は、光平面を少なくとも部分的に、特にシステムが撮像するように構成される物体220および他の物体が光平面と交差し得る、その一部分をカバーする視野232を有する。
【0039】
図におけるようなシステムにおいて、更には図1に図示されるような、光三角測量に基づく3Dイメージングのための先行技術のイメージングシステム一般において、仮想ボリュームがあり、図2A図2Bにおいて概略的に例証されかつ仮想ボリューム224として図中の1点鎖線によって明示的に示される。本明細書で使用される場合、仮想ボリューム224のような、仮想ボリュームは、イメージングシステム200が撮像するように構成される1つまたは複数の物体、例えば図に示される物体220a~bがイメージング中に存在するボリュームに相当する。仮想ボリュームは、イメージング中に構造化光が物体の照射のために存在し、そのためそれと交差するところを含む。更に、仮想ボリュームは、共にカメラに向かっておよびそれから離れて、構造化光の両側に延在する。構造化光211は、そのため図に示されるように、それが仮想ボリュームと交差するように提供される。図中、構造化光211は、それが仮想ボリューム224および物体220aと交差して、物体220aにおよび、例えば図1の例におけるコンベヤベルトの表面に相当する、仮想ボリューム224の「底」における物体支持構造222に光ライン212が投射されることに至る状況に図示される。イメージングシステムによってサポートされる最大物体高さが典型的には仮想ボリュームの高さ、そのため構造化光が最初に仮想ボリュームに達するところを決定する。
【0040】
図中、参考のために、例証的な実世界デカルト座標系xyzおよびxyも示される。
【0041】
図3A図3Dは、迷光による問題に至ると識別された先行技術のイメージングシステムに対する例および状況を概略的に例示する。図示されるイメージングシステム300は、そのため撮像されることになる物体が、光三角測量を使用して3D撮像するのが非常に困難な種類の物体である、鏡面で、鏡状の、球状表面を有する以外、イメージングシステム100、200のいずれか1つに相当してもよい。物体は、図中、第1の物体320-1および第2の物体320-2として概略的に例示される。以下における図および例は、迷光も、弱いにもかかわらず、どのようにこれらおよび同様の状況において問題を引き起こすことがあるかを説明および図示するためである。
【0042】
言及したように、イメージングシステム300がイメージングシステム100、200のいずれか1つに相当してもよいので、対応してカメラ130、230、視野132、232および光源110、210に相当してもよい視野332を持つカメラ330および光源310がある。光源310は、光平面の形態の、かつ構造化光111、211に相当してもよい構造化光311を含む照射を提供する。物体支持構造122または222に相当してもよい物体支持構造322もある。仮想ボリューム324も示され、仮想ボリューム224に相当してもよい。
【0043】
図3Aは、第1の物体320-1が構造化光311の外側で、例えばそのために光がまだ物体に達していない、第1の例証的な状況を図示する。光三角測量によれば、これは、図示された状況で撮られる画像においていかなる物体関連強度ピークにも一切至るはずはない。強度ピークがあるとしても、単に物体支持構造322における拡散反射からであるはずである。しかしながら、構造化光311に対して非常に弱いにもかかわらず、光源310による照射からの、そのため光三角測量の目的で使用される構造化光311それ自体の外側の迷光315aが、図に概略的に図示されるように、第1の物体320-1の表面に達して鏡面反射を引き起こし、カメラ330に向けて反射された迷光316aがそれによって撮像され得る。これは、あたかも図に示される点322aにおいて物体上で構造化光311による拡散反射があったかのように強度ピークとして画像に現れるであろう。それ故、構造化光311による2次または高次の反射によって引き起こされた場合にあり得るほど強くないかもしれないが、依然として構造化光311の必要な拡散反射からの強度ピークと同等またはより強いかもしれない不要な強度ピークが画像にあるであろう。結果として、例えば必要な強度ピークを発見するための従来のポストイメージング処理を使用することによってこの場合の不要な強度ピークを必要な強度ピークと区別することは困難である。
【0044】
図3Bは、第1の物体320-1が構造化光311によって照射される第2の例証的な状況を図示する。第1の物体320-1は、物体スキャニングの一部として図3Aに図示される状況における位置からこの位置に移動したかもしれない。光三角測量によれば、これは、第1の物体320-1の表面に構造化光の反射によって引き起こされる必要な強度ピークに至るはずである。しかしながら、光源310による照射からの、そのため光三角測量の目的で使用される構造化光311それ自体の外側の迷光315bも、図に概略的に図示されるように、第1の物体320-1の表面に達して鏡面反射を引き起こしてもよく、カメラ330に向けて反射された迷光316bがそれによって撮像される。これは、あたかも図に示される点322bにおいて物体表面に構造化光311による拡散反射があったかのように強度ピークとして画像に現れるであろう。それ故、物体上の構造化光311の必要な拡散反射と同等またはより強いかもしれない不要な強度ピークが画像にあるであろう。結果として、例えば第1の物体320-1がカメラに向けて構造化光311を拡散反射すれば、単一の、必要なものだけが期待され、例えば必要な強度ピークを発見するための従来のポストイメージング処理によって、互いに区別するのが困難である、少なくとも2つの強度ピークがあるであろう。
【0045】
図3Cは、第1の物体320-1が構造化光311によって照射され、第1の物体が図3Bに図示される状況後に更に左に移動したかもしれない第3の例証的な状況を図示する。光三角測量によれば、ここでも第1の物体320-1の表面の構造化光の反射によって引き起こされる必要な強度ピークがあるはずである。しかしながら、光源310による照射からの、そのため構造化光311の外側の迷光315cが、図に概略的に図示されるように、構造化光311の外側で、第1の物体320-1の表面に達して鏡面反射を引き起こしてもよい。第1の物体のこの部分が、例に想定されるように、鏡状のような、高反射性であれば、それは、図に例示されるように、第2の物体320-2に向けて、第1の反射された迷光316cの形態で、鏡面反射を引き起こしてもよい。第2の物体320-2も、少なくとも第1の反射された迷光316cが第2の物体によって反射されるところが、同様に高反射性であれば、図に図示されるように、カメラ330に向かってそれによって撮像される2次反射された迷光317cがあってもよい。これは、あたかも図に示される点322cにおいて物体表面に構造化光311による拡散反射があったかのように強度ピークとして画像に現れるであろう。それ故、構造化光311の必要な拡散反射と同等に強いまたはより強いかもしれない不要な強度ピークが画像にあるであろう。結果として、例えば第1の物体320-1がカメラに向けて構造化光311を拡散反射すれば、1つの必要なものだけが期待され、例えば必要な強度ピークを発見するための従来のポストイメージング処理によって、互いに区別するのが困難である、少なくとも2つの強度ピークがあるであろう。
【0046】
図3Dは、厚い1点鎖線によって、上述のような迷光の問題を含む鏡面反射が発生する、仮想ボリューム324の一部分またはサブボリューム326を明示的に示すためである。サブボリューム326は、仮想ボリューム324内の視野332に対応する。これは、そのため、特に迷光が入ることを回避または低減させることが望ましいところである。
【0047】
光三角測量に基づくイメージングシステムに対して一般に、特に撮像されることになる物体が高反射表面を有するまたはそれと近接していれば、構造化光を含む照射から生じた迷光の、仮想ボリューム内のカメラの視野への侵入を回避または低減させるのが有利であることが見出されており、仮想ボリュームは、イメージングシステムが撮像するように構成される1つまたは複数の物体がイメージング中に存在するボリュームに相当する。
【0048】
本明細書における実施形態は、以下に多少詳細に例証および記載されるように、仮想ボリューム内の視野への迷光の低減が、好ましくは迷光を遮断することによって達成される、という以上の発見および洞察に基づいており、それによってそれが仮想ボリューム内の視野へ入るのを防止する。
【0049】
図4A図4Cは、光三角測量に使用される構造化光を含む照射がどのようにして迷光も含むかを概略的に例示し、迷光および構造化光を互いに関して述べるために以下に使用される。
【0050】
図4Aは、例えば図3A図3Dにおける構造化光311に相当する、構造化光411の一部分を概略的に図示しており、すなわち、図示されるものは、光平面の横断面の厚さに相当してもよい。図は、光強度が等しく分布されるのではなく、もちろん構造化光411の一部であり、ここでは構造化光411の中央にある照射の最大強度から離れる方向に低下していることも例示しようとしている。構造化光411は、厚さ412を有するとして図示される。しかしながら、認められるように、実際には図4Aにおいて1点鎖線があるところに光が一切ない急停止はなく、代わりに、適用される或る光分布、典型的にはガウスに従って中心から離れて移動すると光の連続的低下がある。厚さ412は、光平面(もしくは直交表面上の光平面の投射に対応する結果的なライン)がどれくらい厚いもしくは薄いかを示すためにならびに/または照射および光源に関する性質を特定するために使用される或る尺度に相当してもよい。これがいわゆる半値全幅(FWHM)、すなわち、ピークに相当する、最大強度が半分に低下したときの8つの分布の全幅であることを示すために時に使用される尺度である。厚さのための他の尺度も使用されてもよいが、この例のためには、図4Aに示される厚さがFWHMに相当することが想定されてもよい。
【0051】
図4Bは、図4Aと関連して上述したような光分布、ここでは光分布440がどのように見え得るかを概略的に例示する。FWHM厚さ412が図に示される。光分布440の最大強度441も示され、線442が、最大強度が光分布440の左側でどこから低下し始めるかを示す。更に、光分布440の光強度が最大値の5%に低下した線444による場所が示され、図中「最大光強度の5%」線445によって示される。5%の理由は、以下に述べられて説明される。図に見て取れるように、線444は、線442および444間の距離446を示す。
【0052】
光三角測量に使用される構造化光は、少なくとも、光分布の最大強度および、ある程度まで最大強度よりも低下した光も含め、照射の大部分を含む。例えば、構造化光は、典型的には少なくともFWHMまでまたは或る同様の尺度に従って光を含む。しかしながら、より実際的な手法が、構造化光を、例えばFWHM以内の光であるだけでなく、光三角測量によって効果的に使用されかつそれのために有用な光として定義することである。光分布は、典型的には光源、光源がどのようにして照射を提供するように構成されるか等に応じて異なる。光三角測量のための構造化光として使用される光分布のどんな厳密な部分であるかは、用途ごとに異なってもよい(もちろん常に最大強度値を含む部分であるが)。それ故、構造化光が厳密にどこで終わるかは、常に同じではない。しかしながら、実際には、或る光三角測量用途のためのシステムセットアップのために、構造化光のための限界を単純な実験から見つけ出すことができる。遮光要素を、例えば本明細書における実施形態におけるようにかつ下記のように、照射方向に直交して、構造化光に向けて移動させてもよく、そして光三角測量からの結果およびその結果にマイナス効果が現れ始めると、ならびに/または光の視覚障害、例えば物体もしくは物体支持表面に投射された光の視覚障害および/もしくは干渉が現れ始めると、構造化光に最も近い遮光要素の部分が、光三角測量に使用されかつそれのために有用である構造化光がどこで始まるかを示す。
【0053】
迷光は、光三角測量の文脈ではおよび本明細書で使用される場合、光三角測量それ自体のために有用でない光として定義されて、そのため照射の一部であるが、光三角測量のための構造化光とみなされて使用されるものの外側の光であってもよく、または言い換えれば、迷光は、光三角測量それ自体におよびそれによって使用されない光である。
【0054】
構造化光およびその光分布が、例えばFWHMに従って定められる、構造化光411の場合のように、例えば構造化光を厚さが包含する光平面の場合に、中心を有すれば、迷光は、少なくとも、この厚さの外側の、例えば厚さ412の外側の、またはこの厚さの外側に或る距離をおいた光を指す。
【0055】
迷光は、光分布に関して定義または予め定義されてもよく、例えば万一最大強度からの或る強度の低下がある場合、光三角測量のために使用される構造化光が少なくとも含まれないように定義されるべきである。例えば、光が迷光とみなされるために光分布の最大強度からの或る距離が定められてもよい。好ましくは、光分布が、最大強度値の少なくともx%に低下したように、その最大および/または中央位置に対してある程度まで低下したところに対して、そのような距離が定められる。一般的に、または経験則として、本明細書における実施形態に関連する光三角測量に使用されかつそれのために有用なその構造化光が、光分布がその最大値の少なくとも5%に低下すると、もはや存在せず、それ故その迷光が典型的には、これより最大強度に近くないことが上記したような実験を通じて見出された。これが、図4Bにおける線444および「最大光強度の5%」線445の理由である。
【0056】
図4Cは、構造化光および迷光を同時に例示する代替概略図である。構造化光411の他に、ここでは最大強度が低下し始めるところを示す線442からの距離446に対応する、線444、すなわち光強度がその最大強度の5%に低下したところから始まるとみなされる迷光415が図に示される。図に例示されるように、光分布440によれば、構造化光412に近いほど、更に離れるよりも多くの光、そのため多くの迷光もある。光分布が、異なる高さでのような、照射に沿った異なる場所では同じでないことが図から理解できる。構造化光411を含む厚さ412が図に例示されないが実際には照射に沿って厚さも変動することに留意されたい。
【0057】
図5A図5Cは、迷光の遮断のための遮光体の第1の例、すなわち第1の遮光体550を含む本明細書における実施形態に係るイメージングシステム500を概略的に例示する。
【0058】
図5Aは、比較を容易にするために上の例におけるような同様の側面図でイメージングシステム500を概略的に図示する。側面図は、遮光体550の横断面に対応する。
【0059】
図5Bは、イメージングシステム500を、それが横寸法においてもどのように見えるかの理解を改善するために上面図から概略的に図示する。
【0060】
イメージングシステム500は、イメージングシステム100、200、300のいずれか1つに相当してもよく、そのため光三角測量に基づく3Dイメージングのためのイメージングシステムでもあるが、それが遮光体550も備えることが追加である。それ故、イメージングシステム500は、視野132、232、332を持つカメラ130、230、330のいずれか1つに相当してもよい視野532を持つカメラ530を備える。光源110、210、310のいずれか1つに相当してもよく、かつ構造化光111、211、311のいずれか1つに相当してもよい光平面の形態の構造化光511を含む照射を提供する光源510もある。物体支持構造122、222、322のいずれか1つに相当してもよい物体支持構造522もある。仮想ボリューム524も示され、仮想ボリューム324または224に相当してもよく、サブボリューム326に相当してもよいサブボリューム526が示される。サブボリューム526は、仮想ボリューム524内の視野532に相当する。一例として、仮想ボリューム524に撮像されることになる物体520も概略的に図示される。物体520は、上の例および図面に図示されて述べられたような撮像されることになる物体のいずれかに相当してもよく、例えば上述した迷光に関する種類の問題を引き起こし得る、高反射性、例えば鏡状である1つまたは幾つかの表面または表面部分を有してもよい。
【0061】
遮光体550は、光源510と仮想ボリューム524との間に延在し、カメラ530の方向に構造化光511の第1の側に配置される第1の遮光体部550aおよびカメラ530の反対方向に構造化光511の第2の側に配置される第2の遮光体部550bを備える。より多くの迷光の遮断を可能にするので構造化光のそれぞれの側で光を遮断するように向けられる少なくとも2つの部で遮光体を提供することが有利である。
【0062】
見て取れるように、遮光体550は、遮光体550の第1および第2の遮光体部550a,bが光源510と仮想ボリューム524との間で、構造化光511への距離が仮想ボリューム524の方向に減少して延在することによるファンネル形状を有する。ファンネル形状は、比較的小さい全遮光体で効率的かつ実用的な迷光遮断を可能にする。比較的小さい遮光表面が迷光の大部分をカバーおよび遮断できる一方で、それはなお、構造化光に沿った、仮想ボリュームの近くのような、しばしば最も効率的であるところに設けられた単一の場所において構造化光への最小距離を有することができる。
【0063】
遮光体550が光源510からの迷光、すなわち少なくとも一部の迷光、または言い換えれば提供される照射の、さもなければサブボリューム526に達するであろう迷光を遮断する効果を有することが図から認められる。
【0064】
本明細書で使用される場合、遮光体全般は、遮光体に入射する少なくとも一部の光が遮光体を通過して、さもなければ、遮光体なしで、遮断される光によって達されるであろう、サブボリューム526のような、領域またはボリュームに達するのを防止する遮光体550のような、或る構造または配置を指す。典型的には、本明細書における実施形態におけるように光三角測量による3Dイメージングに使用するために、構造化光511のような、構造化光で照射を達成するために、遮光体に入射する光の全てもしくは大部分、または或る波長内の少なくとも全ての光、例えば光源510のような、光源によって提供される全ての波長の光が、通過するのを防止されるべきである。
【0065】
図5Aに見て取れるように、遮光体は、視野532に配設されるが、それが仮想ボリューム524において構造化光511をカバーする視野の一部を妨げないように、すなわち、それが仮想ボリューム524における構造化光511のイメージングに悪影響を及ぼさないように配設され、これは、イメージング中に物体が発生し、カメラ530に向けて構造化光511を反射するところであるからである。一般に、本明細書における実施形態における遮光体が視野の一部および仮想ボリュームにおける構造化光のイメージングを遮ってもよいが、これが低減された有効視野の代償であるので、それは通常は望ましくない。典型的には視野は、図5Aにおけるその上限がサポートされる最大物体高さをちょうどカバーしているように提供され、すなわちそれが仮想ボリュームにおいて構造化光をカバーするが、これの外側の構造化光は一切またはごく僅かしかカバーしないように仮想ボリュームの高さと揃えられており、撮像されることになる物体がそこに発生するべきでなく、結果がしたがって物体イメージングのためのカメラのイメージセンサの低下された活用であるからである。しかしながら、図中の視野例532として、仮想ボリュームの外側の一部の構造化光もカバーする視野の場合には、遮光体550が、図に図示されるように、視野532にあるが、仮想ボリューム524において構造化光511をカバーする視野532の一部の外側であれば、物体イメージングに対する更なるペナルティはないことが認められる。言い換えれば、そのような場合、遮光体550は、図5Aに図示されるように、構造化光511が仮想ボリューム524と交差するところから、カメラ530から視野が始まるところに向けて延びる仮想線533の外側にあるべきである。このような場合における仮想線533は、物体イメージングのための有効視野532’の限界でありそれを表しており、実視野532と比較して減少される。
【0066】
図5Cは、図5Aにおける遮光体550の横断面図の拡大を概略的に図示する。図は、構造化光511が通過するための、ギャップに相当する、最小距離552を示す。試験および実験に使用された図5A図5Cに図示されるように対応する「ファンネル」設計の遮光体の実装例において、最小距離552に相当する距離は0.9mmであった。いずれの場合も、構造化光511のそれぞれの側のそれぞれの遮光体部は、光三角測量に使用される構造化光を遮断しないように、図4A図4Cと関連した上の考察に基づいて構造化光への最小距離で配置されてもよい。これは、図5A図5Cにおけるように、2つの遮光体部を持つ実施形態にとって、第1の遮光体部550aと構造化光511との間の第1の最小距離552aの他に、第2の遮光体部550bとの間の第2の最小距離552bが、それぞれ同様に構造化光を遮断しないように十分である距離であるべきことを意味する。これが実際にはどのように達成できるかは、図4A図4Cと関連して上に開示されたが、例えば同じ種類の実験によって決定される。すなわち、構造化光に対する視覚影響、例えば物体または物体支持表面への構造化光、例えば光平面の投射への干渉に対するような視覚影響があるほど遮光体が構造化光に近ければ、遮光体は構造化光に近すぎであり、構造化光を不所望な程度までも遮断するかつ/またはそれに影響を及ぼす。光三角測量に使用される大抵の従来の光源および、光平面のような、構造化光に関しては、これは、遮光体が好ましくは、構造化光がその最大値の少なくとも5%に低下した場合ほど近くない構造化光への距離で配置されることを意味する。または言い換えれば、構造化光を含む照射がその最大値の少なくとも5%に低下した場合、或る距離をおいている。すなわち、遮光体は、典型的には少なくともこれに従ってより構造化光に近く配置されるべきでない。遮光体は、そのため構造化光の最大強度からこの距離でまたは更に離れて迷光を遮断するだけであってもよい。例えば、これは、一部の実施形態におけるそれぞれの最小距離552a、552bが、照射の光分布の強度が最大強度の5%に低下した場合よりも構造化光511の最大強度に近くないことを意味する。しかしながら、一部の場合には、それでも、上にも示した理由で、より大きい最小距離が、すなわち構造化光から一層離れて、例えば光分布の強度が最大強度の4%、3%、2%または1%に低下した場合よりも近くないように、遮光体部を配置することが好ましくてもよい。
【0067】
例えば狭レーザによって提供される、非常に狭い光分布の用途および場合では、偶然によるまたは動作中の遮光体の偶発的な移動によるような、非常に小さい変化により、それが近すぎれば、それが構造化光を遮断して悪影響を及ぼし得る。そのような状況では、構造化光への或るより大きい余裕を持たせて遮光体を配設することが好ましくてもよい。
【0068】
しかしながら、一般に、遮光体を光三角測量に使用される構造化光に可能な限り近くするが、構造化光およびそれによって光三角測量それ自体に悪影響を及ぼさない、すなわちそれによって光三角測量による物体イメージングへの悪影響にならないことが好ましくてもよい。
【0069】
更に、光三角測量に使用される構造化光に影響を及ぼすことなくかつ物体イメージングを遮らずかつ/または妨げずに、構造化光への最小距離が可能な限り仮想ボリュームに近いことが好ましくてもよい。それが仮想ボリュームに近いので、これにより、効率的な迷光遮断効果を達成することがより容易であってもよい。
【0070】
遮光体の配置および特に構造化光への最小距離がどこに置かれ得るかに対して、光源が典型的には構造化光が提供されるレンズを有することが考慮されるべきである。仮想ボリュームにおいて光分布が狭すぎないことを保証するために(ピーク位置を副画素解像度で識別することができるために構造化光の或る十分な「幅」を活用するのが望ましいため)、レンズの焦点は、しばしば仮想ボリュームの外側、すなわち「前または後」である。焦点が仮想ボリュームの「前」である場合、構造化光に悪影響を及ぼすことなくそれにより近いことが可能であるので、構造化光への最小距離が焦点の場所にまたは近くにある遮光体を使用することが有益であってもよい。
【0071】
例えば上のように、遮光体がさもなければカメラの視野と上記仮想ボリュームとの間の「結合」に達する、すなわち仮想ボリューム内の視野に達するであろう少なくとも一部の迷光を遮断することを確実にすることによって、遮光体が遠く離れすぎである迷光を遮断するだけでない効果を有するであろうことが確実にされる。しかしながら、上述したように、遮光体が構造化光に影響を及ぼすのに近すぎるべきでないのと同時に、構造化光に近い多すぎない迷光が逃げるので、遮光体と構造化光との間の小さい、または少なくとも大きすぎないギャップが有益であってもよい。それ故、遮光体は、好ましくは光分布がその最大値の1%に低下したところにそれが少なくとも存在するような最大強度(ピーク値)からの距離で配置される。これは、構造化光に近い多すぎる迷光を遮光体から逃れさせないために、それによって本明細書における実施形態からの効果を低減させる。
【0072】
要約すると、以上を考慮して、遮光体が好ましくは、構造化光がその最大値の少なくとも5%に低下した場合ほど近くない光分布の最大強度(ピーク値)からの距離で配置されることが見出され、同時に遮光体が、光分布がその最大値の1%に低下したところに存在すること、例えばそれが5%と1%との間に延びる領域の少なくとも一部に存在しかつカバーすることが好ましくてもよい。多くの用途ではこれは、遮光体が構造化光、例えば光平面の周りに、かつ/またはその最大強度からごく僅か、または約1もしくは半ミリメートルもしくは数ミリメートルから約1センチメートルまでであるギャップで存在することに相当する。遮光体、例えばその遮光体部は、照射方向に直交して遮光体が広がり、仮想ボリューム上方少なくとも数センチメートルを、用途に応じて長くても短くても適切に、カバーするように、構造化光から離れてそこから延在してもよい。
【0073】
更に、当業者によって認められるように、本明細書における実施形態におけるようなおよび上述したような遮光体、ならびに遮光に関与するそのいかなる部分も、広範囲の種々の材料のいずれか1つまたは複数によって作られてもよい。厳密にどの材料かは、それが遮光性質を有する限り重要でない。しかしながら、一部の不透明なプラスチック材料を使用すること、および/または遮光性質を達成もしくは向上させるために基板もしくはコア材料上に表面材料を伴うコーティングもしくはカバーが好ましくてもよい。例えば遮光体をより光吸収性かつ/または非反射性にする。遮光体自体からの反射が発生することを回避するまたは最小限に抑えるためにマットかつ好ましくは暗表面が好ましくてもよい。最後に一部の実施形態において、表面554a-1、554b-1のような、仮想ボリュームに向く1つもしくは複数の表面が、それらを特別に光吸収性にするようなことによって、非反射性であることを確実にすること、および/またはこれらの表面がマットかつ/もしくは暗いことを確実にすることが好ましくてもよいが、この理由は、反射性のそのような表面では、仮想ボリュームから来る反射光の二次反射を引き起こし、それを仮想ボリュームに反射し返すことがあり、それにより画像に不要な強度ピークを引き起こすことがあるからである。光源、例えば光源510に向く、表面554a-2、554b-2のような、1つまたは複数の遮光体表面が多少の反射を引き起こしても、まだ遮断効果があり、その側で反射された光は、最後にサブボリューム526に入って問題を引き起こしそうにないので、あまり重要でなくてもよい。しかしながら、もちろん典型的にはそのような表面が高反射性であるという意味はなく、実際には全ての遮光表面を同じ材料から作ることおよび/または同じコーティング、例えばマットかつ好ましくは暗色のような、低反射かつ光吸収を有することが最も単純であってもよい。
【0074】
図6A図6Bは、先行技術のイメージングシステムを使用した場合と、本明細書における実施形態におけるのと同じであるが迷光に対する遮光体を持つシステムを使用した場合の光三角測量に基づく高鏡面反射金属箔の3Dイメージングからの結果を例示する画像である。より詳細には、図示された画像は、遮光体500としての遮光体がないおよびある図5A図5Cにおけるようなイメージングシステム500から生じている。撮像されている物体は、2つの画像において1つかつ同じであり、通常は光三角測量に基づいて3D撮像するのが非常に困難である種類の物体、多くの高低差があるランダムな高さプロファイルが与えられた高反射金属箔に対応する。実装例において、構造化光511に相当する、構造化光を含む照射は、構造化光がレーザ平面に相当する光源510に相当する、光源としてのレーザによって提供された。遮光体部間の最小距離552に相当する距離は0.9mmであり、遮光体が遮光体のこの場所においてレーザによる照射の最大強度の5%よりも構造化光に近くないように配置された。構造化光、そのためここではレーザ平面は、0.9mm距離によって形成されるギャップに心出しされた。遮光体部550a,bに相当する、2つの遮光体部は、そのため0.9mmの距離の半分未満、すなわち0.45mm未満だったそれぞれの遮光体部と構造化光との間の、それぞれの距離552a,bに相当する、それぞれの最小距離を有した。遮光体が用途のためにいかなる仕方でも微調整されなかったが、実装例および試験が「概念実証」以上のものであったので、遮光体の存在によるイメージングに基づく3D画像の改善を明らかに見ることができる。遮光体が存在すると、画像における、歪みに相当する、多くの「スパイク」は発生しない。上の序文に示されるように、この種類の「スパイク」は、典型的には不要な強度ピーク、例えばこの場合におけるように迷光の鏡面反射によって引き起こされる強度ピークによって引き起こされる。図におけるような3D画像におけるそれらの存在は、しばしば「画像感知後」処理が必要な強度ピークと不要なものとの間を区別する問題を有し、したがって時に実際に必要な強度ピークの代わりに不要なものを選択することによるものであり、必要なものが構造化光による物体上の正反射によって引き起こされた強度ピークである。
【0075】
図7は、遮光体が第2の例、すなわち遮光体750の本明細書における実施形態に係るイメージングシステム700を概略的に例示する。異なる遮光体を除けば、イメージングシステム700の残りは、図5A図5Cにおけるイメージングシステム500と同じである。これは比較を容易にするためである。しかしながら、当業者によって認められるように、本明細書における実施形態におけるような遮光体がもちろん光三角測量一般に基づく3Dイメージングシステムと適合しており、それに使用でき、厳密に本明細書における例に概略的に例示されるように使用されるだけではない。以下において焦点は、そのためイメージングシステム700における遮光体750およびイメージングシステム500における遮光体550と比較して異なることにある。述べていないことは、図5A図5Cと関連して上述したのと同じまたは同様であると想定されてもよい。
【0076】
イメージングシステム700は、図5Aにおけるものと同様の側面図で図示される。側面図は、遮光体750の横断面に対応する。図5Bにおけるように対応する上面図が示されないが、遮光体750は、仮想ボリューム524の横方向延在にわたって同様に、すなわち本明細書で使用される座標例においてy方向に延在すると想定できる。本明細書における実施形態におけるような遮光体が仮想ボリュームの全体の横方向範囲にわたって延在する必要はなく、但し典型的にはこれが好しいが、一部の実施形態においては仮想ボリュームの横方向範囲にわたって部分的に延在するだけであってもよいことに留意されたい。
【0077】
また、遮光体750は、光源510と仮想ボリューム524との間に延在して存在し、カメラ530の方向に構造化光511の第1の側に配置される第1の遮光体部750aおよびカメラ530の反対方向に構造化光511の第2の側に配置される第2の遮光体部750bを備える。全ての実施形態において構造化光の両側に遮光体部がある必要はなく、但し典型的にはこれが好ましいことに留意されたい。
【0078】
第1の遮光体部750a、およびそのため遮光体750も、同様にここでは光源510と仮想ボリューム524との間で構造化光511への距離が仮想ボリューム524の方向に減少して延在する。
【0079】
本明細書における実施形態における遮光体は、そのため仮想ボリューム、例えば仮想ボリュームに向けてテーパまたはファンネル状の延在を有してもよく、構造化光への最小距離が仮想ボリュームに向かってもよく、かつ仮想ボリュームに最も近い遮光体の部分であってもよい。
【0080】
また遮光体750が光源510からの、さもなければサブボリューム526に達するであろう迷光、すなわち少なくとも一部の迷光を遮断する効果を有することが図から認められる。
【0081】
図示の例に見て取れるように、両遮光体部750a,bは、仮想ボリュームに非常に近く配置され、その上縁に沿ってもよく、但し仮想ボリューム524において構造化光511をカバーする視野532を遮らないためにこれが可能でないところを除き、これが理由で第1の遮光体部750aが図中の仮想線533に沿う。
【0082】
図7における遮光体750の代替の遮光体が、例えば第2の遮光体部750bが光源510と同レベルに示される線まで図中上方に並進されることに対応する、代わりに光源に非常に近く配置される遮光体である。そのような実施形態において、第2の遮光体部と同様であるが、構造化光511の他方の側で、そのため第1の遮光体部750aとして傾斜がなく、例えば第2の遮光体部と同じレベルかつ平行で、構造化光511の外側から、カメラ530における仮想線533が視野532の上限と合わさるところに向けて延在する、第1の遮光体部があってもよい。
【0083】
図8は、遮光体が第3の例、すなわち遮光体850の本明細書における実施形態に係るイメージングシステム800を概略的に例示する。異なる遮光体を除けば、イメージングシステム800の残りは、図5A図5Cにおけるイメージングシステム500または図7におけるイメージングシステム700と同じである。これは比較を容易にするためである。以下において焦点は、そのためイメージングシステム800における遮光体850および遮光体550、750と比較して異なることにある。述べていないことは、可能な場合、上記イメージングシステム500、700および遮光体550、750に対して上述したのと同じまたは同様であると想定されてもよい。
【0084】
イメージングシステム800は、図5A図7におけるものと同様の側面図で図示される。側面図は、遮光体850の横断面に対応する。図5Bにおけるように対応する上面図が示されないが、遮光体850は、仮想ボリューム524の横方向延在にわたって同様に、すなわち本明細書で使用される座標例においてy方向に延在すると想定できる。
【0085】
また、遮光体850は、光源510と仮想ボリューム524との間に延在して存在し、カメラ530の方向に構造化光511の第1の側に配置される第1の遮光体部850aおよびカメラ530の反対方向に構造化光511の第2の側に配置される第2の遮光体部850bを備える。また遮光体850が光源510からの、さもなければサブボリューム526に達するであろう迷光、すなわち少なくとも一部の迷光を遮断する効果を有することが図から認められる。
【0086】
遮光体850は、機能はするが、遮光体550、750が構造化光511の照射方向に直交して延在する遮光主要表面を有することにより、遮光体550、750より効果的でなくかつ/または有利でないと予想される、代替の遮光体の一例である。これは、遮光体850には当てはまらないが、その主要遮光表面が専ら垂直に、すなわち構造化光511の照射方向と平行して延在するからである。構造化光511の照射方向に直交して延在する遮光主要表面が、仮想ボリュームの効率的な遮光および有効範囲のために有益であると同時に、遮光体が光源から距離をおいてかつ仮想ボリュームに近く配置される一方で、それでも仮想ボリュームの良好な遮蔽を提供することを可能にする。これは、遮光体が光源から距離をおいて配置されかつそれでも効率的であることができることも促進する。
【0087】
上では、本明細書における実施形態における遮光体がどのようにしてそのイメージングシステムおよびその他のユニット内に、および/またはそれらに対して支持および/または搭載されてもよいかは図示されてまたは述べられていない。それぞれの遮光体は、光源、物体支持構造、またはイメージングシステムにおけるもしくは近くの何らかの他の適切な安定した部品に装着および/または搭載されてもよい。物体のイメージングおよびスキャニング中に遮光体を望ましい、好ましくは固定位置に、保持する等、配置するために、フレームまたは同様の構造が使用されてもよい。物体の3Dスキャニングの特定の用途のためにセットアップされたイメージングシステムに関して、本明細書に記載されるように迷光の遮断を達成するように遮光体がセットアップに適合されてもよく、遮光体は、その後は遮光体に影響を及ぼす変化が何もない限りイメージングシステムにおいてそのまま、例えば1つかつ同じ定位置のままであってもよい。しかしながら、このこと、ならびに構造化光に対する遮光体および遮光体部の距離および配置に関する上の説明等から認められるように、遮光体およびその部分の場所および配置は、各具体的な用途およびイメージングシステムの残りに対する重大な変化に対して(再)適合される必要があり得る。
【0088】
以上に鑑みて、例えば遮光体が構造化光と視覚的に干渉する、または動作中に視覚的に干渉するリスクを冒すことなく可能な限り光平面に近いように、遮光体が光三角測量それ自体に関してセットアップされた後に、イメージングシステムのセットアップ時にイメージングシステムに対してそれをセットアップおよび/もしくは調節すること、または使用されている光源に対して構成されかつ或る光三角測量使用法と関連付けられた固定遮光体を使用することが好ましくてもよい。
【0089】
更に、したがって調節可能な遮光体、例えばその遮光体部、例えば遮光体それ自体で動作する調節手段を備える遮光体装置が有利であってもよい。これは、異なってセットアップされたイメージングシステムに1つかつ同じ遮光体装置を使用して、具体的なイメージングシステムセットアップおよび用途のために適合された遮光体を達成することを可能におよび/または容易にする。イメージングシステムそれ自体のセットアップは、従来通りであってもよい。
【0090】
そのため調節可能である遮光体が有益であってもよく、2つの遮光体部の場合には、それらは独立して調節可能であってもよい。調節は、イメージングシステムのセットアップ中に手動でおよび/または機械的におよび/または或る電気制御調節手段もしくは装置によって行われてもよい。調節は、好ましくは構造化光への/からの上記距離を調節できるように少なくとも構造化光に直交方向である。その上、遮光体および/またはそれぞれの遮光体部が仮想ボリュームへの/からの方向に、例えば仮想ボリュームと光源との間で上/下に調節可能であれば有利であってもよい。遮光体がどのように仮想ボリュームをカバーして迷光を遮断することができるかに影響を及ぼす遮光体および/または遮光体部の延在も同様に、例えば仮想ボリュームに望ましい仕方で適合してカバーすることができるために調節できれば同じく有利であってもよい。更に、傾斜のある遮光体または遮光体部の場合には、例えば仮想ボリュームに向けて構造化光への減少する距離を達成するために、傾斜角も好ましくは調節可能である。これは、カメラに向く第1の遮光体部に対して特に有利であってもよいが、それなら仮想ボリュームおよびカメラの視野を考慮してそれを調節できるからである。
【0091】
図9は、本明細書における実施形態に係る方法の実施形態を概略的に例示するためのフローチャートである。方法は、特に1つまたは複数の撮像されることになる物体が、鏡面反射を引き起こす、鏡状のような、1つまたは複数の高反射表面を備えるときに、光三角測量に基づく3次元イメージングにおける、上記「スパイク」のような、歪みの低減をサポートするためである。上記3次元イメージングは、イメージングシステム、例えばイメージングシステム500、700、800のいずれか1つによって行われる。また方法は、本イメージングシステムによって行われてもよい。それ故、イメージングシステムは、カメラ、例えばカメラ530と、撮像されることになる物体、例えば物体520の照射を提供するための光源、例えば光源510とを備える。照射は、光三角測量に使用される構造化光、例えば構造化光511を含む。カメラは、イメージング中のカメラが上記光三角測量の一部として物体から反射された構造化光を画像に取得するように、提供される構造化光に対して配置され、それによって光三角測量に従って、画像に取得された反射された構造化光の位置が、構造化光が物体によって反射された実世界位置にマッピングする。構造化光は、物体を含み、かつイメージングシステムが撮像するように構成される、上記物体を含む、1つまたは複数の物体がイメージング中に存在するボリュームに相当する、仮想ボリューム、例えば仮想ボリューム524と交差する。
【0092】
方法は、以下の動作を含む。
【0093】
動作901
光源からの照射の、迷光415のような、迷光が、少なくともカメラによる上記イメージング中に、カメラの視野内で上記仮想ボリュームに達するのを、例えば視野532内で仮想ボリューム524に達するのを防止される。
【0094】
防止は、好ましくは迷光を遮断することによって行われ、遮断は、遮光体、例えば遮光体550、750、850のいずれか1つのような、上述したような遮光体によって行われてもよい。
【0095】
第1のデバイス、第2のデバイス、第1の表面、第2の表面等のような、いかなる列挙用語も、それ自体は非限定的とみなされるべきであり、用語それ自体は、特定の階層関係を暗示しないことに留意されたい。反対の明示的な情報がなければ、列挙による指定は、単に異なる名前を与える手段とみなされるべきである。
【0096】
本明細書で使用される場合、表現「ように構成される」は、処理回路が、本明細書に記載される動作の1つまたは複数を行うように、ソフトウェアまたはハードウェア構成を用いて構成されるまたは適合されることを意味し得る。
【0097】
本明細書で使用される場合、用語「数」または「値」は、2進数、実数、虚数または有理数等のような、任意の種類の数字を指し得る。その上、「数」または「値」は、文字または文字列のような、1つまたは複数の記号であり得る。また、「数」または「値」は、ビット列によって表現され得る。
【0098】
本明細書で使用される場合、表現「してもよい」および「一部の実施形態において」は、典型的には、記載される特徴が、本明細書に開示される任意の他の実施形態と組み合わされ得ることを示すために使用された。
【0099】
図面において、一部の実施形態だけに存在し得る特徴は、典型的には点線または破線を使用して描かれるが、必ずではない。
【0100】
単語「備える」または「備えている」を使用するとき、それは、非限定的、すなわち「から少なくとも成る」を意味すると解釈されるものとする。
【0101】
本明細書における実施形態は、上記した実施形態に限定されない。様々な代替例、変更例および均等例が使用され得る。したがって、以上の実施形態は、添付の請求項によって定められる、本開示の範囲を限定するととられるべきではない。
【符号の説明】
【0102】
411 構造化光
412 厚さ
415 迷光
440 光分布
441 最大強度
442 線
444 線
445 「最大光強度の5%」線
446 距離
500 イメージングシステム
510 光源
511 構造化光
520 物体
522 物体支持構造
524 仮想ボリューム
526 サブボリューム
530 カメラ
532 視野
532’ 有効視野
533 仮想線
550 遮光体
550a 第1の遮光体部
550b 第2の遮光体部
552 最小距離
552a 第1の最小距離
552b 第2の最小距離
554a-1、554a-2、554b-1、554b-2 表面
700 イメージングシステム
750 遮光体
750a 第1の遮光体部
750b 第2の遮光体部
800 イメージングシステム
850 遮光体
850a 第1の遮光体部
850b 第2の遮光体部
図1
図2A
図2B
図3A
図3B
図3C
図3D
図4A
図4B
図4C
図5A
図5B
図5C
図6A
図6B
図7
図8
図9