特許 6169096 深さが制限された物体の３次元測定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6169096

(24)【登録日】2017年7月7日

(45)【発行日】2017年8月2日

(54)【発明の名称】深さが制限された物体の３次元測定方法

(51)【国際特許分類】

   G01B 11/25 20060101AFI20170724BHJP

   G01B 11/245 20060101ALI20170724BHJP

【ＦＩ】

   G01B11/25 H

   G01B11/245 H

【請求項の数】6

【全頁数】8

(21)【出願番号】特願2014-546317(P2014-546317)

(86)(22)【出願日】2012年12月11日

(65)【公表番号】特表2015-501938(P2015-501938A)

(43)【公表日】2015年1月19日

(86)【国際出願番号】DE2012001210

(87)【国際公開番号】WO2013087065

(87)【国際公開日】20130620

【審査請求日】2015年8月20日

(31)【優先権主張番号】102011121696.4

(32)【優先日】2011年12月16日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】503093420

【氏名又は名称】フリードリヒ−シラー−ユニバーシタット イエナ

(74)【代理人】

【識別番号】110002169

【氏名又は名称】彩雲国際特許業務法人

(74)【代理人】

【識別番号】100088052

【弁理士】

【氏名又は名称】伊藤 文彦

(74)【代理人】

【識別番号】100189968

【弁理士】

【氏名又は名称】山下 浩司

(72)【発明者】

【氏名】コワルスチック，リチャード

(72)【発明者】

【氏名】グロッセ，マーカス

(72)【発明者】

【氏名】シャフィール，マーティン

(72)【発明者】

【氏名】ハレンド，バスティアン

【審査官】 梶田 真也

(56)【参考文献】

【文献】 特開２００６−１１３８３２（ＪＰ，Ａ）

【文献】 特表２００９−５３１６５５（ＪＰ，Ａ）

【文献】 特表２０１１−５０４５８６（ＪＰ，Ａ）

【文献】 特開昭６２−２２８１０７（ＪＰ，Ａ）

【文献】 特開２００８−２４１６４３（ＪＰ，Ａ）

【文献】 特開２００４−０７７２６２（ＪＰ，Ａ）

【文献】 特開２００７−１９８８４１（ＪＰ，Ａ）

【文献】 独国特許出願公開第１９８１０４９５（ＤＥ，Ａ１）

【文献】 Christian Brauer-Burchardt, Andreas Breitbarth, Peter Kuhmstedt, Ingo Schmidt, Matthias Heinze, Gunther Notni，Fringe Projection Based High Sspeed 3D Sensor for Real-Time Measurements，Proc. of SPIE Vol. 8082，２０１１年 ５月２６日

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００ − １１／３０

(57)【特許請求の範囲】

【請求項1】

深さが制限された物体の３次元測定方法であって、少なくとも１個の光学パターンが、異なる位置での検出と３次元的評価のために物体上に結像され、位置及び／又は形状が任意に変更され、少なくとも１個の光学パターンが変化する間に、該物体の、異なる位置での互いに同期された少なくとも２個の画像シーケンスが撮影され、更に、異なる位置での互いに同期された少なくとも２個の画像シーケンスの対応付けが、物体の深さ制限に合わせて限定された探査範囲内における短い測定シーケンスのために決定される、３次元測定方法。

【請求項2】

光学パターンとしてストライプパターンが物体に投影され、該物体上で任意に移動されることを特徴とする、請求項１に記載の方法。

【請求項3】

光学パターンとして統計的パターンが使用され、該統計的パターンは物体上を回転運動で移動されることを特徴とする、請求項１に記載の方法。

【請求項4】

請求項１〜３の１項以上に記載の方法を実施するための装置であって、異なる位置で検出される少なくとも１個の光学パターンを形成するために、少なくとも１個の光源が設けられており、物体に向かう該光源の光線経路に光線を変更する少なくとも１個の素子が配置されていることを特徴とする、装置。

【請求項5】

前記光線を変更する少なくとも１個の素子として、回転するミラー又は振動するミラーが設けられており、該ミラーが、モータの軸とほぼ直角に交わっており、ミラー面垂線が該軸に対して傾いていることを特徴とする、請求項４に記載の装置。

【請求項6】

前記光線を変更する少なくとも１個の素子として、可変な光屈曲素子又は光屈折素子が設けられていることを特徴とする、請求項４に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、深さが制限された物体を可能な限り速く高い精度で３次元測定するための方法に関する。本明細書において、物体又は物体の領域の「制限された深さ」とは、基準物体に対する許容最大誤差として理解されたい。本発明の方法においては、深さが制限された被測定物体に、位置の異なる像視野から物体の対応する画像パターンとして、例えばカメラによって検出されるパターンが投影される。これら種々の画像パターンの比較から、物体の３次元的再構成のための空間情報が得られる。

【背景技術】

【0002】

高速で測定する光学的３Ｄ測定システムは、多くの分野で必要とされる。例えば、エアバッグの展開の分析や、事故に対する損害分析、車両衝突における分析に光学的方法が既に採用されている。しかしこれらの場面においては、ごく僅かなターゲットマーク、即ち３Ｄ点しか追跡されない。また、高密度の測定方法においては不正確な３Ｄデータしか得ることができない。

【0003】

ベルトコンベヤ運転における工業製品の品質管理には速い測定速度と、物体の運動に対する許容範囲が重要となる。従来これら測定課題に対して高精度の３Ｄ測定方法は、要求を満たすような短い測定時間が技術的に実現できなかったため、利用されてこなかった。
医療分野では、運動する身体部分を測定することが問題部位の診断に有用である。スポーツ科学の分野では、身体の一連の動きを最適化する目的で身体の一部及び／又はヒトの運動の分析が行われているが、これまでターゲットマークしか利用されていないため、単純化したモデルにデータを供給できるのみであった。
同様の問題はマルチメディア利用の目的で、俳優又は動く対象の運動を問わず、動く光景をデジタル化する場合にもある。特に、３Ｄテレビの普及に伴って３Ｄデジタル化は近い将来重要となり、３Ｄ撮影の品質に対する要求が増すであろう。

【0004】

更に、今後数年間で高解像度の高速度カメラの利用が実現するであろう。これは、最新世代のインターフェース（例えばＵＳＢ３．０、ＬｉｇｈｔＰｅａｋ、ＣｏａｘＥｐｒｅｓｓ、カメラ・リンク）がより速い撮影速度を可能にし（ＶＧＡ解像度で最大２０００Ｈｚ）、それにより従来高価なカメラシステムコストが著しく低下するためである。従って、このような状況で速く高い精度で測定可能なシステムの開発が多くの応用分野で望まれている。

【0005】

構造化された照明を使用した物体の高精度（相対測定不安定性＜１０^-4）且つ高密度の３Ｄ測定の方法が知られている。この方法の例としては、ストライプ投影方法（Ｗ．シュライバー及びＧ．ノトニー：縞投影技術を用いる自己校正全身３Ｄシステムの理論と構成、オプティカル・エンジニアリング３９、２０００年、１５９〜１６９ページ；Ｊ．ギューリンク、市販部品、ビデオメトリクス及び３Ｄ形状測定のための光学的方法を用いる構造光による密な３Ｄ面の取得４３０９、２００１年、２２０〜２３１ページ）、及び統計的パターンを使用する方法（ＤＥ１９６２３１７２Ｃｌ；Ａ．ウィークマン、Ｈ．ワーグナー、Ｒ．コワルシク：帯域制限されたランダムパターンを投影することによるヒトの顔の測定、オプティクス・エクスプレス１４、２００６年、７６９２〜７６９８ページ）が挙げられる。最大の精度要求を満たす方法は任意の、即ち不連続に分離された物体に対する測定精度を実現するための長い画像シーケンス（カメラ１台当り１０ないし５０画像）を必要とする。文献によれば、１５Ｈｚ超の撮影速度及び投影速度で運転でき、高精度且つ高密度で測定する方法は知られておらず、制限的要因によって投影技術が規定される（Ｍ．シャッファー、Ｍ．グローセ及びＲ．コワルシク：レーザースペックルを用いる３Ｄ形状測定のための高速パターン投影、アプライド・オプティクス４９（１８）、２０１０年、３６２２〜３６２９ページ；Ｓ．ツァン：デジタル縞投影技術を用いるリアルタイム３Ｄ形状測定の最近の進歩、オプティクス・アンド・レーザース・イン・エンジニアリング４８、２０１０年、１４９〜１５８ページ）。

【0006】

５〜２０画像のシーケンス長で高密度の再構成を可能ならしめる、正確な３Ｄ測定（相対測定不安定性１０^-3〜１０^-4）のための方法も知られている。この方法においては、特別に適合するハードウェアによって最大１８０Ｈｚの投影速度が実現された（Ｓ．ケーニヒ及びＳ．ガムホールド：動的表面の構造化光スキャニングのための画像ベースの動き補償、動的３Ｄイメージングに関するＥＧワークショップ、２００７年；Ｚ．ワン、Ｈ．デュー、Ｓ．パーク及びＨ．シェ：高速で正確なアプローチによる３次元形状測定、Ａｐｐｌ．Ｏｐｔ．４８（６）、２００９年、１０５２〜１０６１ページ）。上述の相対不安定性においてパターン構造の品質の低下は許容される。

【0007】

更に、高速度測定に関する最近の研究も知られている（Ｙ．ゴン及びＳ．ツァン：市販ＤＬＰプロジェクタによる超高速３Ｄ形状測定、オプティクス・エクスプレス１８（１９）、２０１０年、１９７４３〜１９７５４ページ；Ｙ．ワン及びＳ．ツァン：最適なパルス幅変調による超高速多周波位相シフト技術、オプティクス・エクスプレス１９、２０１１年、５１４９〜５１５５ページ；Ｓ．Ｓ．ゴーティ及びＰ．ラストギ：縞投影技術：「我々の行く先は？」、オプティクス・アンド・レーザース・イン・エンジニアリング４８、２０１０年、１３３〜１４０ページ；Ｊ．サルヴィ、Ｓ．フェルナンデス、Ｔ．プリバニク、及びＸ．リャド：面形状測定のための最先端の構造光パターン、パターン・リコグニション４３（８）、２０１０年、２６６６〜２６８０ページ）。これらは特殊な制御ソフトウェア及び／又はパターン形成ユニットを使用することによって最大１０，０００Ｈｚの投影速度を可能とする。この技術を採用した場合、これらの投影速度ではバイナリ画像しか表示できないため、従来の方法を適合させるか、或は構造化された照明のための完全に新しい方法が開発されなければならない。しかしながら、これまでに実現された相対測定精度（１０^-2〜１０^-3）は多くの応用に関しあまりにも不正確であり、不連続物体は完全形状として測定できないことはしばしばあった。

【0008】

上述の全ての方法は、複雑な物体においては物体表面の信号化のために種々のパターン構造を必要とするため、ＤＭＤ又はＬＣＤプロジェクタ等のデジタルプロジェクタの採用が不可避である。従って最大投影速度は、高い測定精度としては技術的に２５５Ｈｚに限られ、バイナリ画像の投影による精度の劣る測定精度としては１０，０００Ｈｚに限られている。工業的測定の諸課題としては、測定対象の光景の深さとジオメトリが知られており、小さい誤差のみ検査及び把握される。これら測定課題に対して、グレイコードを使用せずにシーケンス長６〜１２パターンのエピポーラジオメトリを利用して高密度で正確な再構成を実現するストライプ投影法が知られている（ブロイアー・ブルヒャルトら：リアルタイム測定のための高速３Ｄセンサに基づく縞投影、ＳＰＩＥ紀要２０１１）。従来、ストライプの投影には常にＤＬＰ−プロジェクタ又はＬＣＤビームが採用されているため、上述した投影速度の制限が影響する。更に位相評価システムはストライプの非離散的シフトに対して敏感であり、ＤＬＰシステム又はＬＣＤシステムによる正確なシフトが必要とされる。これは、不正確にシフトした場合には位相対応付けが不良な結果となるからである。
更に、統計的パターンの翻訳によって任意の撮影速度を可能とし、その際に複雑な３Ｄ光景を測定１回当り約１５画像のシーケンス長で高密度に行い、正確に測定できるようにすることが提案された（ＤＥ１０２０１１１０１４７６．８）。しかし、画像シーケンスがこれより短いと（例えば測定１回当り６画像）、測定ノイズ値が上昇して、これら測定結果は評価のために使用できなくなる。従って、高速且つ高精度な評価という利点を実現するこの方法において特殊な物体は、（特に測定の速度を更に高めるために）短い画像シーケンスによっては測定できない。これは、評価を可能とする程度に上述の高いノイズ量を低減できないからである。

【0009】

従って、特定の測定課題のために、精度を保ちながらシーケンス長を更に短くできて、遅い撮影速度で極めて高い測定速度（特に３Ｄ速度＞５００Ｈｚ、即ち１秒当たり５００回を超える３次元撮影）が実現されることが望ましい。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】ＤＥ１９６２３１７２Ｃｌ

【特許文献2】ＤＥ１０２０１１１０１４７６．８

【非特許文献】

【0011】

【非特許文献1】Ｗ．シュライバー及びＧ．ノトニー：縞投影技術を用いる自己校正全身３Ｄシステムの理論と構成、オプティカル・エンジニアリング３９、２０００年、１５９〜１６９ページ

【非特許文献2】Ｊ．ギューリンク、市販部品、ビデオメトリクス及び３Ｄ形状測定のための光学的方法を用いる構造光による密な３Ｄ面の取得４３０９、２００１年、２２０〜２３１ページ

【非特許文献3】Ａ．ウィークマン、Ｈ．ワーグナー、Ｒ．コワルシク：帯域制限されたランダムパターンを投影することによるヒトの顔の測定、オプティクス・エクスプレス１４、２００６年、７６９２〜７６９８ページ

【非特許文献4】Ｍ．シャッファー、Ｍ．グローセ及びＲ．コワルシク：レーザースペックルを用いる３Ｄ形状測定のための高速パターン投影、アプライド・オプティクス４９（１８）、２０１０年、３６２２〜３６２９ページ

【非特許文献5】Ｓ．ツァン：デジタル縞投影技術を用いるリアルタイム３Ｄ形状測定の最近の進歩、オプティクス・アンド・レーザース・イン・エンジニアリング４８、２０１０年、１４９〜１５８ページ

【非特許文献6】Ｓ．ケーニヒ及びＳ．ガムホールド：動的表面の構造化光スキャニングのための画像ベースの動き補償、動的３Ｄイメージングに関するＥＧワークショップ、２００７年

【非特許文献7】Ｚ．ワン、Ｈ．デュー、Ｓ．パーク及びＨ．シェ：高速で正確なアプローチによる３次元形状測定、Ａｐｐｌ．Ｏｐｔ．４８（６）、２００９年、１０５２〜１０６１ページ

【非特許文献8】Ｙ．ゴン及びＳ．ツァン：市販ＤＬＰプロジェクタによる超高速３Ｄ形状測定、オプティクス・エクスプレス１８（１９）、２０１０年、１９７４３〜１９７５４ページ

【非特許文献9】Ｙ．ワン及びＳ．ツァン：最適なパルス幅変調による超高速多周波位相シフト技術、オプティクス・エクスプレス１９、２０１１年、５１４９〜５１５５ページ

【非特許文献10】Ｓ．Ｓ．ゴーティ及びＰ．ラストギ：縞投影技術：「我々の行く先は？」、オプティクス・アンド・レーザース・イン・エンジニアリング４８、２０１０年、１３３〜１４０ページ

【非特許文献11】Ｊ．サルヴィ、Ｓ．フェルナンデス、Ｔ．プリバニク、及びＸ．リャド：面形状測定のための最先端の構造光パターン、パターン・リコグニション４３（８）、２０１０年、２６６６〜２６８０ページ

【非特許文献12】ブロイアー・ブルヒャルトら：リアルタイム測定のための高速３Ｄセンサに基づく縞投影、ＳＰＩＥ紀要２０１１

【発明の概要】

【発明が解決しようとする課題】

【0012】

本発明の目的は、特に深さが制限された測定目的のために、３次元的物体評価を少ない労力と非常に高い測定速度で、且つ測定精度を損なうことなく可能にすることである。

【0013】

その際に、高い測定精度（１．０×１０^-4を超える相対測定精度）で５００Ｈｚを超える極めて高い３Ｄ撮影速度を達成可能とする。

【課題を解決するための手段】

【0014】

この課題は、次の３次元測定方法によって解決される。即ち、異なる位置での検出と３次元的評価のために、少なくとも１個の光学パターンを物体に結像し、位置及び／又は形状は任意に変更され、少なくとも１個の光学パターンが変化する間に、物体の、異なる位置での互いに同期された少なくとも２個の画像シーケンスが撮影され、互いに同期された少なくとも２個の画像シーケンスの対応付けが、物体の深さ制限に合わせて限定される探査範囲内で決定される、深さが制限された物体の３次元測定方法である。本発明において、深さ制限は、基準物体に対する物体の形状誤差に関係する。点対応付けのために、グレイ値の時間的推移のピクセルに関する類似性分析を利用することができる。

【0015】

本発明の方法を実施するための装置では、異なる位置で検出される少なくとも１個の光学パターン、特にストライプパターンを形成するために、少なくとも１個の投影ユニットが設けられており、物体に向かう光源の光線経路に光線経路を変更する少なくとも１個の素子が配置されている。これにより、この光学パターンは被測定物体上で位置及び／又は形状が任意に変更される。評価に際しては、このパターンとその変化が異なる位置にある検出装置、特にカメラによって把握される。本発明の方法において測定精度は、物体上で形状及び／又は位置が連続的に変更される唯一の光学パターンを使用して実現されている。しかし、前述のＤＥ１０２０１１１０１４７６．８に記載の方法とは異なり、統計的パターンではなく光学パターン、特に自体公知のストライプパターンが物体に投影される。更に、異なる位置での互いに同期された少なくとも２個の画像シーケンスの対応付けが、物体の深さ制限に適合した前記の探査範囲内における短い測定シーケンスのために決定される。

【0016】

このように探査空間を限定することにより、それぞれの点対応付けのコード化に対する要求が軽減されて、シーケンス長が短くても正確で高密度な対応付けが実現できる（Ｎ≧２画像）。本発明によれば、統計的パターンは使用されず、前記の別途コード化された光学パターンが使用されるため、前述の短いシーケンスにおける問題点（誤対応付けが増え、それにより点対応付けにおけるノイズレベルが高くなる）は存在しない。統計的パターンの代わりにストライプパターンを変化させることにより、局所的な誤対応付けが生じないので、非常に短いシーケンスに対する点対応付けの品質が著しく向上する。ストライプ画像シーケンス間の点対応付けで生じる曖昧さは、物体の深さ制限によって克服される。更にストライプパターンの離散的シフトが前提とされず、ストライプパターンを任意にシフトさせることができる。従って、この方法により短い測定時間にて高密度で正確な点対応付けを実現できる。測定−シーケンスが短縮されることにより、深さが制限された物体なしにシフトされた統計的パターンを用いる方法と比較して評価時間も短縮されている。

【発明を実施するための形態】

【0017】

以下、図面に基づいて、基準物体に対して深さ誤差が制限された物体の高速で高精度な３次元測定のための本発明の装置の実施例を詳細に説明する。この基準物体（見易さのために図示せず）は、自体公知の方法（例えばグレイコードを伴うストライプ投影、或は統計的パターンの投影）により３次元的に測定されて、調査しようとする物体１の３Ｄ測定のために、画像撮影の予想される対応点の画像座標が近似的に把握される。これらの基準対応点はコンピュータに保存される。
基準物体の測定はこれで終了し、保存された基準対応点は、図示された、前述の基準物体に対して深さ誤差が制限されている物体１の３次元測定のための比較対象として用いられる。

【0018】

物体１の表面２を３次元的に測定して再構成する。この目的のために写真３のストライプパターンがプロジェクタ４で偏向ミラー５を介して表面２に投影される。偏向ミラー５はモータ６に固定されており、軸７が偏向ミラー５の面とほぼ（完全ではなく）直角に交わるように固定されている。モータ６の回転により偏向ミラー５が動かされ、ミラー面垂線をモータ６の軸７に対してやや傾けることによって、偏向ミラー５の揺動が引き起こされる。偏向ミラー５のこの揺動に基づき写真３の投影された画像も同様に物体１の被測定表面２上で揺動的に動く。このときミラーが完全に１回転する間に常に照明されている領域が測定容積の境界をなす。

【0019】

ステレオシステムの内部及び外部パラメータに関して事前に校正済みの２台の互いに同期されたカメラ８、９によって、異なる位置から複数枚、例えば３枚の画像が撮影される。
このステレオ画像シーケンスがコンピュータ（見易さのため図示せず）に伝送される。このステレオ画像シーケンスをコンピュータで評価する際に、確立された時間相関の方法を利用して相同点が公知の方法で互いに対応付けられ、その際に探査空間は事前に求めて保存された基準対応点の周囲に制限される。この探査空間が制限された対応付け過程から生じる対応点が、同様に公知の校正パラメータを用いて空間内の３Ｄ点として規定される。次にこれらの対応点は、具体的な応用に応じて更に加工され得る。

【0020】

偏向ミラー５をモータ制御して動かすことにより、被測定表面２に投影されたストライプパターンの非常に高速な変化が、即ち表面２の非常に高速で高解像度の再構成が達成される。パターン変化のためにモータ制御されたミラーの代わりに、例えば自動ズームレンズやスライドシフト機構、光を変化させる素子（例えば光屈曲素子又は光屈折素子）が利用できる。特に光屈曲素子としては回折光学素子（ＤＯＥ）を使用できる。これはデジタルスイッチング可能な空間光変調器を使用するか、或は最も単純な場合にはＤＯＥのシフトによるかは問わないが、それぞれコヒーレント光源が使用されるべきである。光屈折素子による光線偏向を実現するために、例えば回転楔を使用できる。

【符号の説明】

【0021】

１ 物体
２ 物体１の表面
３ 写真
４ プロジェクタ
５ 偏向ミラー
６ モータ
７ モータ６の軸
８ カメラ
９ カメラ

【図1】