特許 6347789 周囲環境内を光学的に走査及び計測するシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6347789

(24)【登録日】2018年6月8日

(45)【発行日】2018年6月27日

(54)【発明の名称】周囲環境内を光学的に走査及び計測するシステム

(51)【国際特許分類】

   G01B 11/25 20060101AFI20180618BHJP

【ＦＩ】

   G01B11/25 H

【請求項の数】21

【全頁数】14

(21)【出願番号】特願2015-547161(P2015-547161)

(86)(22)【出願日】2013年11月27日

(65)【公表番号】特表2015-537228(P2015-537228A)

(43)【公表日】2015年12月24日

(86)【国際出願番号】IB2013003072

(87)【国際公開番号】WO2014091306

(87)【国際公開日】20140619

【審査請求日】2016年11月24日

(31)【優先権主張番号】102012112321.7

(32)【優先日】2012年12月14日

(33)【優先権主張国】DE

(31)【優先権主張番号】61/740,681

(32)【優先日】2012年12月21日

(33)【優先権主張国】US

(31)【優先権主張番号】13/767,154

(32)【優先日】2013年2月14日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】598064510

【氏名又は名称】ファロ テクノロジーズ インコーポレーテッド

(74)【代理人】

【識別番号】110001210

【氏名又は名称】特許業務法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】ハイデマン ロルフ

(72)【発明者】

【氏名】オシッヒ マルティン

(72)【発明者】

【氏名】ベッカー ラインハルト

【審査官】 櫻井 仁

(56)【参考文献】

【文献】 特表２０１１−５３００７１（ＪＰ，Ａ）

【文献】 特開２０１０−０９１４９１（ＪＰ，Ａ）

【文献】 国際公開第２００８／１５３１２７（ＷＯ，Ａ１）

【文献】 特開２００８−１６４４９１（ＪＰ，Ａ）

【文献】 特開平１１−１８３１３６（ＪＰ，Ａ）

【文献】 特開２００８−２１６１９９（ＪＰ，Ａ）

【文献】 特開平０４−２２０５１０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００−１１／３０

２１／００−２１／３２

Ｇ０１Ｃ ３／０６

９／００− ９／１０

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

周囲環境内の物体を光学的に走査及び計測するシステムにおいて、
プロジェクタと、第１カメラと、第２カメラとを含むスキャナ装置であって、
前記プロジェクタは、プロジェクタ面から第１の光パターンを投射するように構成され、前記第１の光パターンは、非符号化されて構造化された第１の多値性光パターンであり、照明点の集合を含み、前記プロジェクタがプロジェクタ光軸を有し、前記集合の各照明点が同一形状を有する、プロジェクタであり、
前記第１カメラは、第１時間インスタンスにおいて当該第１カメラの第１像面上に、前記物体に投射された前記第１の多値性光パターンの第１像を記録するように構成され、且つ、第１カメラ光軸を有する第１カメラであり、
前記第２カメラは、前記第１時間インスタンスにおいて当該第２カメラの第２像面上に、前記物体に投射された前記第１の多値性光パターンの第２像を記録するように構成され、且つ、第２カメラ光軸を有する第２カメラであり、
前記プロジェクタ光軸、前記第１カメラ光軸、及び前記第２カメラ光軸が非共線状の三角形配置で方向決めされ、
前記プロジェクタ面、前記第１像面、及び前記第２像面の上の各照明点が、前記プロジェクタ面、前記第１像面、及び前記第２像面のうちの他の２つの面それぞれのエピポーラ線に対応し、且つ、前記エピポーラ線上に存在し、３つの前記面のエピポーラ線と前記第１の光パターンの照明点の対応関係が、前記プロジェクタ面、前記第１像面、及び前記第２像面の幾何学的エピポーラ関係によって特定される、スキャナ装置と、
前記プロジェクタ面、前記第１像面、及び前記第２像面の上の各照明点の対応関係を特定するように構成されたプロセッサであって、前記対応関係が、３つの前記面の幾何学的エピポーラ関係によって少なくとも部分的に特定され、前記第１の多値性光パターンの前記照明点と、前記物体上の前記第１の多値性光パターンの前記第１像と、前記物体上の前記第１の多値性光パターンの前記第２像と、前記三角形の幾何形状とに少なくとも部分的に基づいて、前記第１時間インスタンスにおける前記物体上の前記照明点それぞれの三次元座標を特定するように更に構成されたプロセッサと、
を備えるシステム。

【請求項2】

請求項１に記載のシステムであって、前記照明点の集合が少なくとも３つの照明スポットを含み、前記照明スポットのうちの各照明スポットは、暗領域に囲まれた明領域を含み、且つ、他の照明スポットのいずれとも接触しない照明スポットである、システム。

【請求項3】

請求項２に記載のシステムであって、前記照明点の集合が、連続した線状の照明領域を有する照明線を更に含む、システム。

【請求項4】

請求項１に記載のシステムであって、前記照明点の集合が、前記プロジェクタ面内に規則的なグリッドパターンを構成する照明スポットの集合を含む、システム。

【請求項5】

請求項１に記載のシステムであって、
前記プロジェクタが、前記第１の光パターンを生成する第１波長で発光するレーザを含み、
前記第１カメラ及び前記第２カメラが、前記第１波長を透過する帯域フィルタを有する、システム。

【請求項6】

請求項１に記載のシステムであって、前記スキャナ装置が第３カメラを更に含み、前記第３カメラは、可視波長域における前記物体の像を記録するカラーカメラであり、前記スキャナ装置に固定されている、システム。

【請求項7】

請求項１に記載のシステムであって、前記スキャナ装置が第２の光パターンを生成し、前記第２の光パターンは、前記第１の光パターンとは異なるものであり、且つ、非符号化されて構造化された第２の多値性光パターンである、システム。

【請求項8】

請求項１に記載のシステムであって、前記プロジェクタが、回折性光学素子、マイクロレンズの集まり、複数個の単体レーザ、及び投射マスク(projected mask)のなかから選定された素子を含む、システム。

【請求項9】

請求項１に記載のシステムであって、前記プロセッサが、複数個の光パターンのなかから前記第１の光パターンを選択するように構成される、システム。

【請求項10】

請求項９に記載のシステムであって、
前記スキャナ装置が第２の光パターンを投射するように更に構成され、前記第２の光パターンが前記第１の光パターンに対して時間的にオフセットし、前記第２の光パターンが非符号化された第２のパターンである、システム。

【請求項11】

請求項１に記載のシステムであって、前記第１の光パターンが第２の光パターンを更に含み、前記第１の光パターンが第１光波長を有し、前記第２の光パターンが、前記第１光波長とは異なる第２光波長を有し、前記第２の光パターンは非符号化された第２のパターンである、システム。

【請求項12】

請求項１に記載のシステムであって、
前記スキャナ装置が第２プロジェクタを更に含み、
第２プロジェクタが、前記第１の光パターンとは異なる第２の光パターンを投射するように構成され、前記第２の光パターンは、非符号化されて構造化された第２の多値性光パターンである、システム。

【請求項13】

請求項１に記載のシステムであって、前記スキャナ装置がハンドヘルド装置である、システム。

【請求項14】

請求項１に記載のシステムであって、前記スキャナ装置が、更に、
前記プロジェクタがその内部に配置されているベース部材(base member)と、
前記ベース部材から突出しているグリップ部材(grip member)と、
前記グリップ部材上に配設されたトリガスイッチと、
前記グリップ部材の、前記ベース部材とは逆側の端部に位置し、前記第１カメラ及び前記第２カメラが配置されるヘッドエンドと、
を含む、システム。

【請求項15】

請求項１に記載のシステムであって、前記プロセッサが前記スキャナ装置と一体の部品である、システム。

【請求項16】

請求項１に記載のシステムであって、前記照明点の集合が、第１強度を持つ第１光点群と、前記第１強度とは異なる第２強度を持つ第２光点群を有する第２の光パターンとを含み、前記第１光点群及び前記第２光点群が、非符号化されて構造化された多値性光パターンをそれぞれ規定する、システム。

【請求項17】

周囲環境内の物体を光学的に走査及び計測するシステムにおいて、
プロジェクタと、第１カメラと、第２カメラとを含むスキャナ装置であって、
前記プロジェクタは、プロジェクタ面から第１の光パターンを投射するように構成され、前記第１の光パターンは、非符号化されて構造化された第１の多値性光パターンであり、照明点の集合を含み、前記プロジェクタがプロジェクタ光軸を有するプロジェクタであり、
前記第１カメラは、第１時間インスタンスにおいて当該第１カメラの第１像面上に、前記物体に投射された前記第１の多値性光パターンの第１像を記録するように構成され、且つ、第１カメラ光軸を有する第１カメラであり、
前記第２カメラは、前記第１時間インスタンスにおいて当該第２カメラの第２像面上に、前記物体に投射された前記第１の多値性光パターンの第２像を記録するように構成され、且つ、第２カメラ光軸を有する第２カメラであり、
前記プロジェクタ光軸、前記第１カメラ光軸、及び前記第２カメラ光軸が非共線状の三角形配置で方向決めされ、
前記プロジェクタ面、前記第１像面、及び前記第２像面の上の各照明点が、前記プロジェクタ面、前記第１像面、及び前記第２像面のうちの他の２つの面それぞれのエピポーラ線に対応し、且つ、前記エピポーラ線上に存在し、３つの前記面のエピポーラ線と前記第１の光パターンの照明点の対応関係が、前記プロジェクタ面、前記第１像面、及び前記第２像面の幾何学的エピポーラ関係によって特定される、スキャナ装置と、
前記プロジェクタ面、前記第１像面、及び前記第２像面の上の各照明点の対応関係を特定するように構成されたプロセッサであって、前記対応関係が、３つの前記面の幾何学的エピポーラ関係によって少なくとも部分的に特定され、前記第１の多値性光パターンの前記照明点と、前記物体上の前記第１の多値性光パターンの前記第１像と、前記物体上の前記第１の多値性光パターンの前記第２像と、前記三角形の幾何形状とに少なくとも部分的に基づいて、前記第１時間インスタンスにおける前記物体上の前記照明点それぞれの三次元座標を特定するように更に構成されたプロセッサと、
前記スキャナ装置から離れて配置される独立した第２プロジェクタであって、前記物体に静的光パターンを投射するように構成された第２プロジェクタと、を含み、
前記第１カメラは、前記スキャナ装置が前記第２プロジェクタに対して移動したときに、複数の第１像を記録するように構成され、
前記第２カメラは、前記スキャナ装置が前記第２プロジェクタに対して移動したときに、複数の第２像を記録するように構成され、
前記プロセッサは、前記静的光パターンに少なくとも部分的に基づいて、前記複数の第１像内の各像を互いに位置合わせすると共に、前記複数の第２像内の各像を互いに位置合わせするように更に構成される、システム。

【請求項18】

請求項１７に記載のシステムであって、前記第２プロジェクタが、赤外域又は紫外域の波長で前記静的光パターンを生成するように構成される、システム。

【請求項19】

請求項１７に記載のシステムであって、前記静的光パターンは、前記第１の光パターンとは異なるパターンである、システム。

【請求項20】

請求項１７に記載のシステムであって、前記静的光パターンが、光点パターン、線パターン、及び点・線パターンのなかから選択される、システム。

【請求項21】

請求項１７に記載のシステムであって、前記静的光パターンの構成要素が、幾何又は時間又はスペクトラムの面でそれぞれ異なり得る、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、請求項１の総論部分の諸構成を有する装置に関する。

【背景技術】

【0002】

この種の装置は特許文献１によって既知とされている。走査対象物体の表面上にはプロジェクタにより光パターン群が投射される。プロジェクタのポジションは被投射符号化パターンによって特定される。その相対ポジション及び配置が既知又は特定済である２個（又はより多数）のカメラによって、別のパターンたる非符号化パターンで表面像を記録することができる。（パターンを構成する諸点の）三次元座標は、本質的に既知の数学的手法、例えばエピポーラ幾何によって特定することができる。

【0003】

ゲームセクタではスキャナがトラッキング（追跡）装置として知られている；この装置では、プロジェクタが符号化光パターンを追跡対象標的上、好ましくはプレイ中のユーザ上に投射し、次いでその符号化光パターンをカメラで記録してそのユーザの座標を特定する。

【0004】

特許文献２には、距離計測を伴うシーン走査システムが示されている。このシステムは、最も単純な形態では、標的領域を立体的に位置合わせすべくカメラ例えばフィルタ付のカメラを２個有するカメラユニットと、その標的領域内のパターンを好ましくは回折性光学素子により生成する照明ユニットと、照明ユニットとカメラユニットを同期させる同期ユニットと、を備える。カメラユニット及び照明ユニットの相対ポジションは可選択的に設定できる。場合によっては、カメラユニットや照明ユニットを２個用いることができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許第６８２６２９９号明細書（Ｂ２）

【特許文献2】米国特許第８２３８６１１号明細書（Ｂ２）

【特許文献3】独国特許第１０ ２００９ ０１０ ４６５号明細書（Ｂ３）

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の基本的な目的は、背景技術の欄で言及したタイプの装置を改良することにある。本発明によれば、この目的が、請求項１の諸特徴を有する装置によって達成される。従属形式請求項は有益な構成に関する。

【課題を解決するための手段】

【0007】

非符号化パターンは、符号化パターンと比べ容易に生成すること、例えば規則的な光点パターンとして生成することができる。更に、そのパターンによってもたらされる物体像を記録するため、並びにそのパターンを構成する光点間の対応関係を曖昧さなく求めるため、２個（又はより多数）のカメラが使用される。それら２個のカメラ及びプロジェクタは、共線状(co-linear)にではなく三角形配置に従い配置される。従って、３個のエピポーラ幾何関係を使用しカメラ像内パターン間の対応関係を特定することができる。それら対応関係が判明すれば、点クラウド即ち３Ｄスキャンの三次元座標を特定することができる。

【0008】

そのパターンは、可視波長域内ではなく赤外域（７００ｎｍ〜１ｍｍ）内で生成するのが望ましい。前記２個のカメラはこの波長域内でそれなりの感度を呈するものであり、また散乱光その他の干渉光は可視波長域内でフィルタアウト（阻止）することができる。色情報用の第３カメラとしてカラーカメラを準備すれば、そのカメラでも走査対象物体の像を記録することができる。３Ｄスキャンは、こうして得られた色情報に従い着色することができる。

【0009】

ハンドヘルドスキャナは、様々なポジションから同一シーンの３Ｄスキャンを都合複数通り生成する。それら様々な３Ｄスキャン同士の共通座標系内位置合わせは、どの３Ｄスキャンでも捕捉可能な静的パターンによって実現される。この静的パターンは、ハンドヘルドスキャナが動かされそのポジションが変わっても前記物体に対し動かない。物体表面の自然テキスチャ及びその他の構造例えば縁を静的パターンとして使用することができる；そうしたテキスチャは第３カメラたるカラーカメラで捕捉することができる；或いは別（外部）のプロジェクタによって生成された投射パターンが（それに加え又は代え）使用される。こうした静的パターンは、幾何的、時間的又はスペクトラム的に、ハンドヘルドスキャナによって生成されたパターンから区別することができる。

【0010】

３個（又はより多数）のカメラ及び複数個のプロジェクタを伴う多モジュール構成であって、その点密度及び横解像度が異なる複数通りのパターンを投射すること及びその像を記録することによって用途依存諸条件が充足されるものは、考慮に値する。

【0011】

パターン生成は、回折性光学素子若しくはマイクロレンズ（又は単体レーザ）による生成をはじめとする偏向法によって、或いはシャッタ、（スライドプロジェクタで使用されるような）トランスパレンシ（陽画）及びその他のマスクによる生成等のシェーディング法によって、実現することができる。偏向法には、あまり光が失われないので強めの強度が手に入るという長所がある。

【0012】

本発明では、ハンドヘルドスキャナが可搬型スキャナとして、即ち高速で稼働し軽量なスキャナとして構成される。但し、そうしたハンドヘルドスキャナを三脚（又はその他のスタンド）上、マニュアル可動トロリ（又はその他のカート）上、或いは自律移動ロボット上に搭載すること、即ちユーザによって…付加的には更に別のハウジング例えばグリップ部のないものを用いることによって…運搬されないようにすることも可能である。従って、「ハンドヘルドスキャナ」の語は、コンパクトなユニットとして構成されたスキャナ全般が包含されるよう、広義に解釈すべきものである。

【0013】

ビデオ又は一連のフレームにおけるハンドヘルドスキャナの動作、特に物体Ｏの周りを巡る際のそれはリングクロージャを伴いうる。好ましくは、このリングクロージャを自動認識して潜在的計測誤差の補正に使用する。そのためには、複数個あるフレームのうち任意のものに関し１個ずつ円錐台を形成するのが望ましい；即ち、三次元点クラウドを構成する諸点のうち、そのフレームから特定されそれに割り当てられる３Ｄスキャンを表す幾ばくかの部分が含まれる円錐台である。最新フレームの円錐台と複数個ある過去フレームの円錐台との間の交差を形成し、大きな交差を呈する過去円錐台を選択する。リングクロージャは、図形を探索、比較及び識別することで認識することができる。

【0014】

ハンドヘルドスキャナによって保存及び／又は転送されるデータの量を減らすため、隣接フレームに対し（後処理にて）平均化を施すのが望ましい；これは、データの二次元構造化量を、幾つかのフレームを含む複数個のグループへと分割し、そのグループを構成するフレームで平均化することにより行うのが望ましい。

【0015】

以下、別紙図面に記載の例示的実施形態をもとに本発明をより詳細に説明する。

【図面の簡単な説明】

【0016】

【図1】本装置の模式図である。

【図2】回折性光学素子によるパターン生成の模式図である。

【図3】パターン及びそれとは別のパターンを示す図である。

【図4】プロジェクタ面、像面及びエピポーラ線の模式図である。

【図5】平均化の模式図である。

【図6】リングクロージャの模式図である。

【発明を実施するための形態】

【0017】

ハンドヘルドスキャナ１００は、そのハンドヘルドスキャナ１００の周囲環境を光学的に走査及び計測する装置の可搬部分として提供されている。このハンドヘルドスキャナ１００は、ベース部(base part)１０４と、適切に使用されたときに上を指すようベース部１０４から突出しているグリップ部(grip part)１０６と、適切に使用されたときにグリップ部上端に来るようグリップ部１０６上に設けられたヘッドエンド１０８とを有している。ハンドヘルドスキャナ１００のユーザは、グリップ部１０６にてそのハンドヘルドスキャナ１００を手に取ることができる；グリップ部は、ハンドヘルドスキャナ１００を周囲環境内で存分に動かすことで、そのハンドヘルドスキャナ１００を周囲環境内物体Ｏに対し整列させうるように、構成されている。

【0018】

ヘッドエンド１０８内には、互いに所定の距離を隔て第１カメラ１１１及び第２カメラ１１２が配置されている。第１カメラ１１１及び第２カメラ１１２相互の位置関係（アライメント）は、それらの視野が重なり物体Ｏの立体像が見えるよう調整済又は調整可能である。その位置関係が固定なら用途次第で最適な重複範囲がある。精度面では、プロジェクタ・カメラ間距離に似通った重複範囲が望ましかろう。典型的な環境状況次第では数ｄｍ又は数ｍの範囲も好まれよう。或いは、カメラ１１１及び１１２をグリップ部１０６に対し平行な回動軸周りで逆向きに枢動させること等によって、ユーザが位置関係を調整するようにしてもよい。ハンドスキャナ１００側ではいつでも位置関係を知ることができる；ユーザによる調整プロセスを追跡してもよいし、初期的にはランダム（且つ未知）な位置関係を校正によりハンドヘルドスキャナ１００に知らせてもよい。

【0019】

第１カメラ１１１及び第２カメラ１１２は単色性であること、即ちある狭い波長域に対し有感(sensitive)なことが望ましい；例えば、相応なフィルタと共に設け、それらのフィルタにより散乱光を含めその他の波長域がフィルタアウトされるようにすればよい。当該狭い波長域は赤外域内とするのが望ましい。それでもなお物体Ｏに関する色情報が得られるようにするには、ヘッドエンド１０８内にカラーカメラ１１３を配置すればよい；このカラーカメラは、第１カメラ１１１及び第２カメラ１１２に対し対称的に整列させ、それらの中央に配置するのが望ましい。更に、このカラーカメラ１１３は可視波長域内で有感とする。

【0020】

ハンドヘルドスキャナ１００は表示及び制御ユニット１１５、好ましくはタッチスクリーンとして構成されたものを有している。この表示及び制御ユニット１１５は、カメラ１１１，１１２又は更に１１３に対しそっぽを向くようヘッドエンド１０８に配置するのが望ましい。表示及び制御ユニット１１５は、取り外せるよう構成可能である。カメラ１１１，１１２又は更に１１３並びに表示及び制御ユニット１１５は制御及び評価ユニット１１８、好ましくはヘッドエンド１０８内に配置されたそれに接続されている。制御及び評価ユニット１１８では、好適にも、カメラ１１１，１１２又は更に１１３のデータを前処理することができる；場合によっては、３Ｄスキャンをも生成し、表示及び制御ユニット１１５上に好適なビュー（眺望）を発現させることができる。或いは、表示及び制御ユニット１１５を全く設けずに、リモートコントロールによってハンドヘルドスキャナ１００を操作するようにしてもよい；例えば、制御及び評価ユニット１１８と（有線又は無線により）常時接続された据置型又は可搬型コンピュータ（ＰＣ、タブレット、スマートホン等）からのリモートコントロールである。

【0021】

制御及び評価ユニット１１８が無線通信（例えば据置型コンピュータにつながるＷＬＡＮ）によって３Ｄスキャン又はカメラ１１１，１１２又は更に１１３のデータを転送する場合を除き、ハンドヘルドスキャナ１００にはデータ接続手段が付設される；これは、ベース部１０４上に設けるのが望ましい（或いはこれに代えハンドヘルドスキャナ１００の他の点に設けてもよい）。このデータ接続手段は、例えば、ＬＡＮ、ＵＳＢ等向けの汎用インタフェースであってもよいし、或いは専用インタフェースであってもよい；特許文献３に記載の通りである。差し支えないなら、可搬型ストレージ媒体（ＳＤカード、ＵＳＢスティック等）を差し込めるようデータ接続手段を構成してもよい。電源供給のため、ベース部１０４内に蓄電器を設けるのが望ましい。これを充電できるよう、更に電源アウトレットを例えばベース部１０４上に設けるのが望ましい。或いは、蓄電池を可換型としてもよい。

【0022】

総じて、第１カメラ１１１により記録された像及び第２カメラ１１２により記録された像からは、既に三次元となっているデータを（制御及び評価ユニット１１８内で）特定することが可能である；即ち、例えば写真測量によって物体Ｏの３Ｄスキャンを得ることができる。しかしながら、物体Ｏにほとんど構造がなくその表面の多くが滑らかであることが多いので、物体Ｏの散乱光から３Ｄスキャンを生成するのは難しい。

【0023】

そこで、（第１）プロジェクタ１２１が設けられている：これは、ベース部１０４内（或いはそれに代えヘッドエンド１０８内）に配置するのが望ましいものであり、２個のカメラ１１１及び１１２に照応して整列される。その相対距離及び相対配列は、予め設定しても、ユーザが設定可能としてもよい。（第１）プロジェクタ１２１は走査対象物体Ｏ上にパターンＸを投射する。このパターンＸは、符号化されている（即ち単値である）必要はない；逆に、いわば多値となるよう例えば周期的に非符号化されているのが望ましい。この多値性は２個のカメラ１１１及び１１２の使用によって解決される。

【0024】

この非符号化パターンＸは、グリッド形態で規則的に配置された諸点を含む点パターンであるのが望ましい。本発明では、例えば、約０．５ｍ〜５ｍの距離まで約５０°の角度で、１００×１００個の点が投射される。パターンＸは、また、その配置が密な光点群により形成された線パターンであってもよいし、同じく密配置光点群により形成された点・線結合パターンであってもよい。２個あるカメラ１１１及び１１２は、このパターンＸを、パターンＸを記録すべく各１個のホトセンサ（例えばＣＭＯＳ又はＣＣＤ）が配置されている像面Ｂ₁₁₁及びＢ₁₁₂のうち自身に対応するものに投射する。

【0025】

点密度と、（第１）プロジェクタ１２１・物体間距離と、生成されたパターンＸで得ることができる解像度と、の間には関係がある。像を１個しか利用できない場合、点密度が高めなら物体Ｏの微構造を調べうるものの、低めならば粗構造しか調べることができない。従って、パターンＸに加え少なくとも１個の他のパターンＸ’を生成できることが、有用であることが窺える。パターンＸ，Ｘ’の生成次第では、それらパターン及び／又は空間的混在の間での動的遷移が可能であり、それにより点密度を物体Ｏの構造に適合させることができる。

【0026】

そのため、特殊調査向けの実施形態では、（第１）プロジェクタ１２１に加え、相応に整列しており且つ前記他のパターンＸ’を生成可能な第２プロジェクタ１２２が設けられる。或いは、（第１）プロジェクタ１２１にて、パターンＸに加え前記他のパターンＸ’を発生させてもよい；例えば、互いに時間的にずれており及び／又は別の波長域内にあるパターンとする。前記他のパターンＸ’は、本発明では非符号化パターンであるところのパターンＸから乖離したパターンとするのが望ましい；本発明では、互いに別の距離（グリッド長）を以て諸点が規則的に配置された点パターンとする。

【0027】

また、前記他のパターンＸ’をパターンＸと例えば異なる強度で絶えず干渉させることも考慮に値する。その場合、生成されるパターンＸは、例えば、高強度・大距離の光点群と、その間にあり低強度・小距離の光点群と、を有するものとなる。異なる強度を有するパターンＸによれば、カメラダイナミクス（露出時間が所与なら光点群はある限られた距離・反射率組合せ域内でのみ露出過剰／露出不足無しで可視である）の限界を克服することができ、また深さ及び強度に関し広めのダイナミックレンジをカバーすることができる。前記パターンＸの周期性がより高いことは確かであるが、それでもなお本発明の意味では非符号化されている。

【0028】

更に、２個以上のパターンＸ，Ｘ’を使用すること、例えば時間的に引き続いて生成された複数個のパターンからなる所定のシーケンス等を使用することも考慮に値する。

【0029】

この…好ましくは単色的な…パターンＸ（及びＸ’）は、２個のカメラ１１１及び１１２の波長域（赤外）にてレーザにより生成された光ビームをパターンＸに応じ且つ強度を失うこと無しに分割する回折性光学素子１２４によって、生成するのが望ましい。この場合、横解像度はビーム直径即ち諸点のサイズによってのみ制限される。パターンＸ（及びＸ’）が赤外域内で生成されるので、カラーカメラ１１３の像を干渉無しで記録すること並びに目等を保護する安全化手段を省くことが、いずれも可能である。同じ目的で、パターンＸ（及びＸ’）を紫外域内で生成してもよい。

【0030】

２個のパターンＸ及びＸ’は２個の回折性光学素子で生成することができる；それらは別々の時点又は別々の波長でスクリーニングされる。時変性の回折性光学素子によれば、パターンＸ及びＸ’間で迅速に（即ちほぼフレーム毎に）又は緩慢に（例えばマニュアル制御で）変化させることが可能である；或いは、（光点密度及び被投射パターンＸのリーチに関し）変化する事実に対し、パターンＸを動的に適合させることができる。パターンＸ及びＸ’間の緩慢遷移も同様に考慮に値する（フェードオーバ）。回折性光学素子に代え、マイクロレンズのアレイや単体レーザのアレイを使用することもできる。必須ではないが、マスク特にトランスパレンシによる古典的イメージングも可能である。

【0031】

（第１）プロジェクタ１２１は、エネルギ効率及び眼安全性（アイセーフティ）に鑑み物体Ｏ上のみにパターンＸを発生させる；このとき、カメラ１１１及び１１２（又は更に１１３）は、パターンＸを伴う物体Ｏの像を記録する。これがため、２個のカメラ１１１，１１２及びプロジェクタ１２１（又は更に第２プロジェクタ１２２）が同期される；即ち、時間及び被使用パターンＸ（又は更にＸ’）の双方に関し互いに内部的に協調する。個々の記録プロセスは、写真におけるフラッシュに倣い（第１）プロジェクタ１２１がパターンＸを生成することにより始まり、カメラ１１１及び１１２（又は更に１１３）による記録、より厳密には各レコード（フレーム）対の記録が続く；レコード（フレーム）とは、２個のカメラ１１１，１１２それぞれから得られた画像それぞれのことである。記録プロセスは、ある単一のフレーム（ショット）で構成されることもあるし、一連になった複数個のフレーム（ビデオ）で構成されることもある。トリガスイッチ１２６は、そうしたショット又はそうしたビデオをトリガできるものであり、グリップ部１０６に設けるのが望ましい。データの処理後には、それらフレームそれぞれにより、ハンドヘルドスキャナ１００の相対座標内で３Ｄスキャン、即ち三次元空間内点クラウドが形成される。トリガスイッチ１２６に代え、ハンドヘルドスキャナ１００の前述したリモートコントロールにより記録プロセスをトリガしてもよい。

【0032】

（第１）プロジェクタ１２１、並びに付加的に利用可能であるところの第２プロジェクタ１２２は、２個のカメラ１２１及び１２２に対し共線状に配置されるのではなく、三角形配置で配置される。２個のカメラ１１１及び１１２並びに（第１）プロジェクタ１２１（又は更に第２プロジェクタ１２２）がこうした配置であるので、本質的に既知な数学的光学手法の使用、特にエピポーラ幾何の使用が可能である；この手法によれば、第２カメラ１１２の像面Ｂ₁₁₂内の１点を第１カメラ１１１の像面Ｂ₁₁₁内の（既知）線即ちエピポーラ線ｅ上で観測でき、その逆も然りであり、及び／又は、プロジェクタレベルＰ₁₂₁から（第１）プロジェクタ１２１により生成された１点を２個のカメラ１１１及び１１２の像面Ｂ₁₁₁，Ｂ₁₁₂内でそれぞれ１個のエピポーラ線ｅ上で観測できる。

【0033】

本発明では、（少なくとも）３個のユニット（プロジェクタ１２１並びに２個のカメラ１１１及び１１２）が関与する；即ち、それらユニットそれぞれから延び、（それぞれ多数のエピポーラ線ｅを伴う）２個の立体幾何それぞれが、他の２個のユニットで規定されうる。従って、そこから２個の画像レベルＢ₁₁₁，Ｂ₁₁₂におけるパターンＸ（又は更にＸ’）の投射の対応関係を特定できるような、点及びエピポーラ線ｅの非曖昧な三角形関係が、現在の配置に関し求まることとなる。（カメラが一対である場合に比べ）立体幾何の個数が多いので、そうでなければ弁別できないはずの、非常に多くのパターン構成点をエピポーラ線ｅ上で識別することができる。従って、諸図形の密度を同時に高くすることができ、且つその図形のサイズを非常に小さく保つことができる。（例えば複数個の点から構成される諸図形を有する）符号化パターンを伴う別の手法では、図形のサイズに下限があり、それにより横解像度が制約される。前述の対応関係が特定されたなら、物体Ｏの表面上の諸点の三次元座標が、三角測量によりその３Ｄスキャンに関し特定される。

【0034】

そのカメラポジションが異なる幾つかのフレーム、例えばカラーカメラ１１３で得られるもの或いはカメラ１１１及び１１２の信号のうち環境光に由来しひいては周囲環境の自然テキスチャに由来する部分から得られるものに基づく写真測量によって、更なる三次元データを得ることができる。これもまた有益なことに、ハンドヘルドスキャナ１００又は他のユニットで物体Ｏ或いは更に背景を例えば白色光又は赤外光で照明することができるなら、物体ＯのうちパターンＯによって照明される諸部分或いは更にその背景が可視となるほか、それらの間の領域も可視となる。こうした照明がとりわけふさわしいのは、カラーカメラ１１３のデータが、（その着色だけでなく）３Ｄスキャンの作成向け及びカメラ１１１及び１１２の校正向けにやがて使用されることとなる場合であって、ある限られたスペクトル域のみがフィルタを透過しうる場合である。

【0035】

その走査プロセスは時間の側面も呈する。固定デバイスでパターンのシーケンス全体を投射すること及び像を記録して単一の３Ｄスキャンを特定することも可能であるが、本発明のハンドヘルドスキャナ１００では各ショットで１個の３Ｄスキャンが生成される。第２プロジェクタ１２２か、更なる回折性光学素子１２４か、或いはパターンＸに加え少なくとも１個の第２パターンＸ’か、が特別な調査向けに提供されるのであれば、相応な切替によって、異なるパターンＸ及びＸ’での像を１ショットで連続的に記録することも可能となり、その場合、３Ｄスキャンの解像度がより高いものとなろう。

【0036】

シーン全体を捉えるには、そのショットで生成される３Ｄスキャン同士を位置合わせすること、即ち各フレームの三次元点クラウドを共通座標系内に挿入することが必要である。位置合わせは、例えばビデオグラメトリ、即ちＳＦＭ(structure from motion)又はＳＬＡＭ(simultaneous localisation and mapping)等によって行うことができる。物体Ｏの自然テキスチャを共通の基準点代わりに使用してもよいし、或いは静的パターンＹを生成してもよい。その自然テキスチャはカラーカメラ１１３によって捉えることができ、それによって（色情報取得に加え）第２の関数が得られる。とはいえ、ハンドヘルドスキャナ１００の周囲環境を光学的に走査及び計測するための装置の付加的な部分として、少なくとも１個の別のプロジェクタ１３０を設けるのが望ましい。

【0037】

当該別のプロジェクタ１３０は、静的パターンＹ、即ちパターンＸ（又は更にＸ’）に似ているが弁別可能であり且つ好ましくは同様の手法で生成されたパターンを、走査対象物体上に投射する。パターンＸ又は更にＸ’がハンドヘルドスキャナ１００と共に動いている間、その静的パターンＹは共通座標系内で静止している；ハンドヘルドスキャナ１００が動いている場合及び複数のショットが別々のポジションから生成されている場合もそうである。この場合、カメラ１１１及び１１２の複数個の像（フレーム）内で静的パターンＹが可視となるので、その特定済３Ｄスキャンを静的パターンＹによって互いに関連付けることができる。静的パターンＹは、幾何又は時間又はスペクトラム（或いはそれらの組合せ）の面でパターンＸ又は更にＸ’と異なる。時間に関し異なる場合、静的パターンＹは、少なくとも、パターンＸ又は更にＸ’が生成されない（交番する又は重複する）期間に生成される。スペクトラムに関し異なる場合、静的パターンＹはパターンＸ又は更にＸ’と異なる波長域内にあるので、カメラ１１１及び１１２がその波長域についても有感でなければならない；即ち、それらカメラが相応なフィルタと共に設けられねばならない。当該別のプロジェクタ１３０をハンドヘルドスキャナ１００と同期させること、即ち被投射静的パターンＹの種類及び時間をハンドヘルドスキャナ１００にとり既知にすることもできる。

【0038】

走査対象物体Ｏ次第では、複数の３Ｄスキャンが生成された後に、その表面上に静的パターンＹを投射すべく当該別のプロジェクタ１３０を物体Ｏの別の側に持ってくることが適切となろう。これによりシェーディングを排除することができる。当該別のプロジェクタ１３０は、従って、可搬又は可動であること、並びに例えば三脚又はトロリ（又はその他のカート）上に相応に搭載されること又はそこに搭載可能であることが望ましい。或いは、別のプロジェクタ１３０を複数個使用してもシェーディングが排除される。対応するビルディングブロックシステムが考えられる。

【0039】

基本的には自動化も可能である：即ち、ハンドヘルドスキャナ１００をマニュアル可動トロリ（若しくはその他のカート）上又は自律移動ロボット上に搭載してもよいし、或いはその上に搭載可能にしてもよい。もはやユーザによって運搬されていないこのハンドヘルドスキャナ１００は、その周囲環境を所定の手法で、好ましくは一連のショットを生成することによってではなくビデオを生成することによって走査する。カメラ及びプロジェクタは共線状の形態では配置されない。

【0040】

ハンドヘルドスキャナ１００は、ビデオを高フレーム密度例えば７０フレーム毎秒で生成することができる。しかしながら、ヘルドスキャナ１００は２個のフレーム間でほとんど動かないので、ビデオには非常に多くの冗長情報が含まれる：時間的に隣り合っている２個のフレーム間にはごく僅かな相違しかない。保存及び／又は転送されるデータの量を減らすためには、従って、後処理時の相応な平均化がお奨めである（図５）。まず第１に、第１平均化ステップでは、各１個のキーフレームＦｉを挟む複数個のフレームが各グループ［Ｆ］ｉに属することとなるよう、幾つかのフレームＦが幾つかのグループ［Ｆ］ｉに分けられる。

【0041】

３Ｄコンピュータグラフィクスの分野では、その集合により空間が完全に満たされる個別体積要素即ちボクセルが知られている。こうした構造は、しばしば、１個の点クラウド内で様々なパースペクティブから三次元データを統合する目的で使用される。表面データを記録する際の難点は数多くの空白ボクセルが残ること、ひいては何らかの手法でそれらをデータ処理することが必要なことである。

【0042】

本発明では、この問題向けに順応及び最適化されたデータ構造を使用する。フレームＦ間に多大な重複があるグループ［Ｆ］ｉ内では、それでも、個別計測点群を共通の二次元データ構造（グリッド構造）内で非常に申し分なく且つ効率的に概括することができる；即ち、表面データ向けに最適化すること及び二次元像に非常によく似たものにすることができる。必要なストレージ容量が小さめであるので、捉えた計測値全てを二次元データ構造内ベクトルとして、即ちグループ［Ｆ］ｉを構成するフレームＦのピクセル毎のハンドヘルドスキャナ１００までの距離及びグレイトーン値／色として初期保存することができる。

【0043】

第２平均化ステップでは、誤った計測結果を極簡便に排除すべく各グループ［Ｆ］ｉ内で平均化が実行される。（グレイトーン／色及び／又は距離に関する）そうした平均化には、ソートされた計測値の中心領域内にあるベクトルの所定部分のみが使用される。当該中心領域はしきい値により弁別することができる。こうした平均化は、計測値が平均化されたキーフレームＦｉによるグループ［Ｆ］ｉの置き換えに対応するものであり、それらキーフレームＦｉはなおかなりの重複を呈する。そうした手法で得られた個々の計測点は、その後、三次元点クラウド全体の（三次元ベクトルに対応する）点として扱われる。

【0044】

付加的な第３ステップでは、平均化により得られた計測点が、別のグループ［Ｆ］ｉからのデータと例えばデカルト平均化によりまとめられうる。

【0045】

ハンドヘルドスキャナ１００の動作、特に物体Ｏの周りを巡らせる際の動作では、リングクロージャが発生する余地がある；即ち、かなり多数のフレームを経た後に、室内を見たビデオ（又は一連のショット）のビューが元と同じものに、或いは少なくとも非常によく似たものになる。仮に、利用可能なデータ全てを見ることができるなら、点クラウド全体の生成中の任意時点で、リングクロージャを即座に認識することもできよう。しかしながら、データ量及びその帰結たる情報処理時間からしてこれは不可能である。先行するシーケンスに発するデータのうちどれがまたリングクロージャにより見られるに違いないかを、極迅速に察知できる手法が必要である。仮に、どの計測にも全く失敗がない（且つハンドヘルドスキャナ１００の動きが十分に規則的である）なら、共通座標系における３Ｄスキャンの位置合わせにより直ちに、リングクロージャがもたらされるであろう。しかしながら、現実には、失敗が累積していき、２個のよく似たフレームＦ及びもたらされる３Ｄスキャンの間のオフセットにつながる。とはいえ、次に述べるように、リングクロージャを自動認識（及び失敗を補正）することは可能である（図６）。

【0046】

円錐台（より厳密には視認円錐台）は、通常、像面から視認方向に沿い無限遠まで延びる先端切り落としピラミッド状空間領域である。本発明では、第１ステップにてフレーム毎に、三次元点クラウドから捉えられた点のうち（少なくともおよそ）８０％を含む円錐台Ｖ、即ち被割当３Ｄスキャンを構成する前記空間領域の有限部分であってフレームＦから特定されるものを含む円錐台が形成される。最新円錐台Ｖｎは、最後に記録されたフレームである最新フレームＦｎに割り当てられる。第２ステップでは、次いで、その最新円錐台Ｖｎが交差形成により過去円錐台Ｖと比較される。それら過去円錐台Ｖｊのうち最大の交差を呈する円錐台が、より厳密な解析を実行すべく選択される。

【0047】

第３ステップでは、最新円錐台Ｖｎ及び選択された円錐台Ｖｊそれぞれのなかで、例えば縁及び隅といった図形が本質的に既知の手法で探される。第４ステップでは、検出された図形が例えばその埋込先幾何に関し相互比較され、一致した諸図形が識別される。その一致度に応じ、第５ステップでは、リングクロージャが存在するか否かが判定される。

【0048】

一致と識別された諸図形からは、リングクロージャについての知見を役立てるべく共通図形が生成される。第６ステップでは、「バンドル調整」なる名称で知られる手法により前記計測誤差を補正することができる；これは、所定の空間内浸透深さに至るまで３Ｄスキャンが補正されるということである；即ち、三次元点クラウドを幾つかの場所で且つある程度まで変位させることで、本質的に同一な円錐台、３Ｄスキャン及びフレームにおける前掲のオフセットを排除することができる。補正に不完全さがある場合、即ち（「バンドル調整」を伴う）第６ステップの後も幾ばくかのデータ偏差ひいては幾ばくかの補正不能計測誤差が残っている場合、当該幾ばくかの偏差（即ち補正不能誤差）が好ましくも計測及びデータ全体の質を示す指標となる。

【0049】

ハンドヘルドスキャナ１００の動き及び生成されたフレームの処理は、追跡としても扱うことができる；即ち、ハンドヘルドスキャナ１００は、その周囲環境の相対運動を、追跡中に使用された手法と共に追跡する。追跡に失敗した場合、例えばハンドヘルドスキャナ１００が速く動きすぎた場合には、単に追跡を再開すればよい。その目論見で、カラーカメラ１１３によってもたらされた最新ビデオ画像と、それによる追跡で得られた最新ビデオスチル画像とを、ユーザ用の表示及び制御ユニット１１５上に横並びに（或いは縦並びに）表示させる。その後、ユーザは、それら２個のビデオ画像が一致するまでハンドヘルドスキャナ１００を動かす必要がある。それらビデオ画像の処理及びその比較による例えば音響的又は光学的なサポートは、有用であるのでこれを組み込むのが望ましい。

【符号の説明】

【0050】

１００ ハンドヘルドスキャナ、１０４ ベース部、１０６ グリップ部、１０８ ヘッドエンド、１１１ 第１カメラ、１１２ 第２カメラ、１１３ カラーカメラ、１１５ 表示及び制御ユニット、１１８ 制御及び評価ユニット、１２１ （第１）プロジェクタ、１２２ 第２プロジェクタ、１２４ 回折性光学素子、１２６ トリガスイッチ、１３０ 別のプロジェクタ、Ｂ₁₁₁ 第１カメラの像面、Ｂ₁₁₂ 第２カメラの像面、ｅ エピポーラ線、Ｆ，Ｆｎ フレーム、Ｆｉ キーフレーム、［Ｆ］ｉ グループ、Ｏ 物体、Ｐ₁₂₁ プロジェクタ面、Ｖ，Ｖｊ，Ｖｎ 円錐台、Ｘ，Ｘ’ パターン、Ｙ 静的パターン。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】