(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-25
(45)【発行日】2024-12-03
(54)【発明の名称】投影装置、検出装置、ランダム・ドット・パターンの設計方法
(51)【国際特許分類】
G01B 11/25 20060101AFI20241126BHJP
【FI】
G01B11/25 H
(21)【出願番号】P 2021008071
(22)【出願日】2021-01-21
【審査請求日】2023-11-28
(73)【特許権者】
【識別番号】000002897
【氏名又は名称】大日本印刷株式会社
(74)【代理人】
【識別番号】100106002
【氏名又は名称】正林 真之
(74)【代理人】
【識別番号】100165157
【氏名又は名称】芝 哲央
(74)【代理人】
【識別番号】100120891
【氏名又は名称】林 一好
(72)【発明者】
【氏名】稲月 友一
(72)【発明者】
【氏名】佐藤 真史
(72)【発明者】
【氏名】登山 伸人
(72)【発明者】
【氏名】吉岡 英範
(72)【発明者】
【氏名】宮崎 祐一
(72)【発明者】
【氏名】大八木 康之
(72)【発明者】
【氏名】上田 智章
【審査官】信田 昌男
(56)【参考文献】
【文献】特開2012-058729(JP,A)
【文献】特開2011-007576(JP,A)
【文献】国際公開第2018/061816(WO,A1)
【文献】特開2015-222220(JP,A)
【文献】特表2020-531849(JP,A)
【文献】特開2014-002033(JP,A)
【文献】特表2010-504522(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00-11/30
(57)【特許請求の範囲】
【請求項1】
ランダムなドットパターンを投影する投影装置であって、
前記ランダムなドットパターンは、間隔nで等間隔に
正方配列された
再配置前のドットを中心とする所定の大きさの配置領域のそれぞれに1つのドットをランダムに
再配置したパターンであって、
各ドット間の最短距離は、所定の干渉距離d以上となるように配置されて
おり、
前記配置領域は、距離を示す所定値をmとして、前記再配置前のドット位置を中心とする2・m×2・mの正方領域であって、
前記間隔nと前記所定値mとの関係は、
m<n/2
を満たすこと、
を特徴とする投影装置。
【請求項2】
請求項
1に記載の投影装置において、
前記ランダムなドットパターンは、隣接する各ドットを三角形の頂点位置として連続的に直線により接続可能に配置されており、前記三角形の辺となる前記直線が辺の途中で交差することなく、かつ、前記三角形が密着配列可能であること、
を特徴とする投影装置。
【請求項3】
請求項1
又は請求項2に記載の投影装置と、
前記投影装置が投影したランダムなドットパターンを撮影する撮影部と、
を備える検出装置。
【請求項4】
請求項
3に記載の検出装置において、
間隔nで等間隔に正方配列された前記再配置前のドットの位置を三角形の頂点位置として構成したポリゴンメッシュデータのインデックスリストを前記ランダムなドットパターンの各ドットのインデックスリストとして用いる演算部を備えること、
を特徴とする検出装置。
【請求項5】
投影装置を用いて対象物に対して投影されるランダムなドットパターンの設計方法であって、
間隔nで等間隔に
正方配列された
再配置前のドットを中心とする所定の大きさの配置領域のそれぞれに1つのドットをランダムに配置する配置工程と、
前記配置工程で配置されたドット間の最短距離が所定の干渉距離d以上離れているか否かを確認する確認工程と、
前記確認工程の結果によりドット間の最短距離が所定の干渉距離d以上離れていないドットの位置を移動させる再配置工程と、
を備えるランダムなドットパターンの設計方法
であって、
前記配置領域は、距離を示す所定値をmとして、再配置前のドット位置を中心とする2・m×2・mの正方領域であって、
前記間隔nと前記所定値mとの関係は、
m<n/2
を満たすこと、
を特徴とするランダムなドットパターンの設計方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、投影装置、検出装置、ランダム・ドット・パターンの設計方法に関するものである。
【背景技術】
【0002】
対象物に検出光を投光して撮影を行なって、得られた画像データから対象物の各位置までの距離情報を求めて形状情報や3次元マップ等とも呼ばれる距離分布データを作成する技術が知られている(特許文献1参照)。
特許文献1に開示されている方法では、投光部から予め決められたパターンの検出光を投光して、そのパターンの対象物上での位置や形状の変化から距離を検出するストラクチャード・ライト(Structured Light)方式が用いられている。
【0003】
ストラクチャード・ライト方式では、例えば、ランダムなドット状のパターン(ランダムなドットパターン)を投影し、各ドットの位置ずれ量を用いて距離分布データの演算を行なう。ここで、このランダムなドットは、ランダムな配置であることから位置の特定が難しいかのようにも思われるが、ランダムドットの位置は、自己相関値を求めることにより、高精度に位置の特定が可能である。
【0004】
しかし、ランダムなドットパターンといっても、どのようなドットパターンであっても高精度に位置の特定が可能となるものではない。例えば、特定のランダム配置のドットパターンが繰り返し配置されていたりすると、自己相関値が同じように得られてしまう位置が複数存在することとなり、正確な位置の特定ができなくなってしまう。
【0005】
また、ランダムなドットパターンのドット数が多くなると、その演算負荷が過大となり高速な処理が困難になる恐れがある。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の課題は、正確な位置の特定が可能であり、かつ、演算負荷を軽減できる投影装置、検出装置、ランダム・ドット・パターンの設計方法を提供することである。
【課題を解決するための手段】
【0008】
本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
【0009】
第1の発明は、ランダムなドットパターンを投影する投影装置(10)であって、前記ランダムなドットパターンは、間隔nで等間隔に配列された正方格子の交点位置を中心とする所定の大きさの配置領域のそれぞれに1つのドットをランダムに配置したパターンであって、各ドット間の最短距離は、所定の干渉距離d以上となるように配置されていること、を特徴とする投影装置(10)である。
【0010】
第2の発明は、第1の発明に記載の投影装置(10)において、前記配置領域は、距離を示す所定値をmとして、前記交点位置を中心とする2・m×2・mの正方領域であって、前記間隔nと前記所定値mとの関係は、m<n/2を満たすこと、を特徴とする投影装置(10)である。
【0011】
第3の発明は、第1の発明又は第2の発明に記載の投影装置(10)において、前記ランダムなドットパターンは、隣接する各ドットを三角形の頂点位置として連続的に直線により接続可能に配置されており、前記三角形の辺となる前記直線が辺の途中で交差することなく、かつ、前記三角形が密着配列可能であること、を特徴とする投影装置(10)である。
【0012】
第4の発明は、第1の発明から第3の発明までのいずれかに記載の投影装置(10)と、前記投影装置(10)が投影したランダムなドットパターンを撮影する撮影部(20)と、を備える検出装置(1)である。
【0013】
第5の発明は、第4の発明に記載の検出装置(1)において、前記正方格子の交点位置を三角形の頂点位置として構成したポリゴンメッシュデータのインデックスリストを前記ランダムなドットパターンの各ドットのインデックスリストとして用いる演算部を備えること、を特徴とする検出装置(1)である。
【0014】
第6の発明は、投影装置(10)を用いて対象物に対して投影されるランダムなドットパターンの設計方法であって、間隔nで等間隔に配列された正方格子の交点位置を中心とする所定の大きさの配置領域のそれぞれに1つのドットをランダムに配置する配置工程と、前記配置工程で配置されたドット間の最短距離が所定の干渉距離d以上離れているか否かを確認する確認工程と、前記確認工程の結果によりドット間の最短距離が所定の干渉距離d以上離れていないドットの位置を移動させる再配置工程と、を備えるランダムなドットパターンの設計方法である。
【0015】
第7の発明は、第6の発明に記載のランダムなドットパターンの設計方法において、前記配置領域は、距離を示す所定値をmとして、前記交点位置を中心とする2・m×2・mの正方領域であって、前記間隔nと前記所定値mとの関係は、m<n/2を満たすこと、を特徴とするランダムなドットパターンの設計方法である。
【発明の効果】
【0016】
本発明によれば、正確な位置の特定が可能な投影装置、検出装置、ランダム・ドット・パターンの設計方法を提供することができる。
【図面の簡単な説明】
【0017】
【
図1】本発明による3次元計測装置1の実施形態の構成と距離演算の概要を説明する図である。
【
図3】特定の矩形領域にあるドットパターンと一致する領域を検出する手法を説明する図である。
【
図4】ドットパターンの生成方法を説明する図である。
【
図5】ランダム配置とする前のドットパターンにおいて三角形ポリゴンメッシュを設定した図である。
【
図6】
図5のドットパターンを再配置してランダムなドットパターンとした場合において三角形ポリゴンメッシュを設定した図である。
【
図7】本発明のランダムな配置のドットパターンを手に投影した場合における三角形ポリゴンメッシュを視覚的に確認できるようにした図である。
【発明を実施するための形態】
【0018】
以下、本発明を実施するための最良の形態について図面等を参照して説明する。
【0019】
(実施形態)
図1は、本発明による3次元計測装置1の実施形態の構成と距離演算の概要を説明する図である。
なお、
図1を含め、以下に示す各図は、模式的に示した図であり、各部の大きさ、形状は、理解を容易にするために、適宜誇張したり、省略したりして示している。
また、以下の説明では、具体的な数値、形状、材料等を示して説明を行なうが、これらは、適宜変更することができる。
本実施形態の3次元計測装置1は、投光部(投影装置)10と、カメラ20と、不図示の演算部とを備えている。カメラ20は、イメージセンサ部21と、撮影レンズ22と、を備えている。本実施形態の3次元計測装置1は、紫外線、可視光、近赤外光、遠赤外光のいずれかの帯域において単波長のレーザー光源を有し、光パルスを円形状又は長方形状に投影するパターン光を投影し、対象物に投影されたパターン光を光学的に観測し、パターン光の観測視差から三角法を用いて距離を求めるStructured Light(ストラクチャード・ライト)方式を採用している。
【0020】
投光部10は、投光レンズ10aを備え、上述のように、単波長のレーザー光源と、ドットパターンを投影するためのパターン発生部とを備え、ランダムに配置されたドットパターン(検出光)を投光する。パターン発生部は、例えば、回折光学素子(DOE)を用いることができる。
イメージセンサ部21は、投光部10が検出対象に投光したドットパターンを受光する撮像素子を備えたカメラである。
【0021】
図1に示す状態において、三角形の相似の性質から、以下の関係がある。
ここで、投光レンズ10aと撮影レンズ22との距離を基線長d、投光レンズ10aから被写体までの距離をZ、受光レンズの焦点距離をf、イメージセンサ部上に投影された被写体の位置をxとする。
Z=d・f/x
Z
min=d・f/x
max
また、イメージセンサ部の水平画素数をn
x、カメラの水平方向FoV(field of View)を、θ
xであるとすると、以下関係となる。
x
max=n
x/2
tan(θ
x/2)=x
max/f
以上のように、距離演算部34は、光三角法によって距離演算を行なうことができる。
【0022】
ランダム・ドット・パターンを投光する投光部としてはパターン・プロジェクタ等を用いることができる。パターン・プロジェクタと、撮像用のカメラを
図1のように水平方向にずらした位置に配置することで、測定対象に投影されたランダム・ドット・パターンは三角形の相似関係により常に距離に応じて水平方向にずれた位置に観測される。
【0023】
図2は、ドットパターンの一例を示す図である。
図2に示すドットパターン上には、特定の矩形領域にあるドットパターンと一致する領域は、複数存在しておらず、1領域のみ存在している。ドットパターンの作成方法については、後述する。本実施形態のランダムなドットパターンの自己相関特性は鋭敏であり、自分自身に重なるのは0シフトの場合だけで、1画素でもずらせば相関値は激減する性質を有している。ドットパターンの部分パターンと元のパターンの相互相関に関しても、鋭敏な相関を有し、0シフトの場合のみ重なるが、それ以外では相互相関値は低い値を示す。
測定対象に投影されたドットパターンは三角形の相似関係により常に距離に応じて水平方向にずれた位置に観測される。
【0024】
図3は、特定の矩形領域にあるドットパターンと一致する領域を検出する手法を説明する図である。
特定の矩形領域にあるドットパターンと一致する領域を検出するためには、先ず、ドットパターンのドット部を+1とし、非ドット部を-1として量子化を行なう。そして、特定の矩形領域内の画素値を以下の数式により積和演算する。
ここで、類似度を表す相関値をφ
jとする。
抽出したい特定の矩形領域のテンプレート画像の画素を、ドットパターンの有無により量子化し、ベクトル値Q
iとする。
特定の矩形領域と、比較し相関関係を判定したい矩形領域の画像の画素を、ドットパターンの有無により量子化し、ベクトル値P
i+jとする。nは、矩形領域の画素数である。
【0025】
【0026】
特定の矩形領域のパターンと、撮像された水平方向のドットパターンの相互相関を演算すれば相関値のピーク位置により、
図1に示す光三角法による測距のための画素位相位置を得ることができる。
【0027】
次に、本実施形態の3次元計測装置1の投光部10が投影するドットパターンについてより詳しく説明する。
本実施形態の投光部10が投影するドットパターンは、乱数を用いてランダムなスクリーン座標を発生させ、既に配置済みのドットと一定距離内に重ならなかった場合はそのままドットを配置し、また、既に配置されたドットと重なった場合はドットを配置せずに、次の乱数を求めてドットの配置を繰り返すことにより生成されている。
【0028】
図4は、ドットパターンの生成方法を説明する図である。
図4の例では、ドットD1~D9の9個のドットのみを示しているが、実際にはより多くのドットが配列されている。
先ず、図示するように、ドットD1~D9をピッチnで正方配列する。
次に、個々のドットを順次再配置(移動)させるが、ここでは、ドットD5を移動させる場合を例にして説明する。ドットD5は、間隔nで等間隔に配列された正方格子の交点位置にある。
【0029】
移動前のドットD5の位置を中心として、移動後後の位置を乱数により決定する。このとき、移動させることができる領域を配置領域と呼ぶこととする。
図4中でハッチングを付した配置領域PAがドットD5の配置領域である。配置領域PAは、ドットD5(正方格子の交点位置)を中心とする所定の大きさとなっている。具体的には、配置領域PAは、距離を示す所定値をmとして、ドットD5(交点位置)を中心とする2・m×2・mの正方領域であって、間隔nと所定値mとの関係は、m<n/2を満たしている。
【0030】
この配置領域PA内での移動という制限の元、移動先(再配置先)を乱数で決定して、移動先を仮決定する(配置工程)。例えば、
図4中のドットD5をドットD5Bの位置へ再配置する。再配置されたドットD5Bについて、他のドットとの最短距離が、所定の干渉距離d以上となっているか否かについて判定(確認)が行われる(確認工程)。仮に他のドット(
図4の例では、ドットD4が最も近い)と再配置後のドットD5Bとの距離が干渉距離dよりも小さい場合には、ドットD5Bの再配置位置は不適切であると判断して、これをキャンセルし、新たに配置領域PA内での移動という制限の元、移動先(再配置先)を乱数で決定する動作(再配置工程)を行う。また、他のドット(
図4の例では、ドットD4が最も近い)と再配置後のドットD5Bとの距離が干渉距離d以上である場合には、再配置後のドットD5Bを適切であると判断して、この位置を確定し、次のドットの再配置動作を、上記と同様にして行う。以上のような動作を繰り返して、最終的にすべてのドット間の最短距離が、干渉距離d以上となれば、本実施形態におけるランダムな配置のドットパターンが完成する。
なお、ドットパターンの投影に回折光学素子を用いる場合には、0次光によるドット位置については、移動できないので、これは固定とするとよい。
【0031】
図5は、ランダム配置とする前のドットパターンにおいて三角形ポリゴンメッシュを設定した図である。
図6は、
図5のドットパターンを再配置してランダムなドットパターンとした場合において三角形ポリゴンメッシュを設定した図である。
上述の光点位置配置方法であれば、すべて配置し終えても、
図6に示すように頂点番号とメッシュを構成する三角形ポリゴンの頂点関係には変化はない。頂点のx,y座標のみを修正すればよい。よって、本実施形態では、正方格子上にドットを配置した状態で
図5のように三角形ポリゴンメッシュを構成しておき、ドットの再配置を行った後には、頂点の座標修正を行うことにより、簡単、かつ、確実に、三角形の辺となる直線が辺の途中で交差することなく、かつ、三角形が密着配列可能なドット配置を得ることができ、抜けや重複のない三角形ポリゴンメッシュをランダムな配置のドットパターンに構成することができる。
よって、本実施形態の演算部30では、正方格子の交点位置を三角形の頂点位置として構成したポリゴンメッシュデータのインデックスリストを、再配置して作成したランダムなドットパターンの各ドットのインデックスリストとして用いる。
【0032】
図7は、本発明のランダムな配置のドットパターンを手に投影した場合における三角形ポリゴンメッシュを視覚的に確認できるようにした図である。
本実施形態の投光部10が投影するドットパターンでは、
図7に示すようなメッシュパターンは投影されないが、ドットパターンを撮影した後の処理においては、各ドットがメッシュで関係づけられていることから、データ処理上は、
図7に示すようなメッシュモデルとして扱うことが可能となる。
【0033】
図7に示すように、対象物に投影されたランダムなドットパターンの各光点のデプス値(距離)は、周囲光点群を含む矩形小領域である部分パターンと元のパターンとの相互相関処理により三角法を用いて求めることができる。
また、各三角形内のデプス値は、ドット毎にスクリーン座標(x,y)とデプス値zに基づいて、3次元ワールド座標系に変換を行い、メッシュ・データとして3次元グラフィックスのポリゴン・フィル(三角形の塗りつぶし処理)機能を用いて三角形内の全ての画素に対応するデプス値を高速演算することができる。三角形ポリゴンメッシュのデータとなっていることから、3次元グラフィックス・パイプラインを用いることができるので演算負荷は非常に軽い。
メッシュ・データをスクリーン座標(x,y)に深度値zを加えて、各頂点データを(x,y,z)とし、ポリゴン・フィルでメッシュ・データを塗りつぶせば、デプス・データが得られる。
【0034】
以上説明したように、本実施形態によれば、スクリーンを構成する総画素数に対して、ランダムなドットパターンの光点数の比率だけ、相互相関演算に伴う演算負荷を軽減することができる。
また、3次元メッシュ・データ、ポイント・クラウド・データ、デプス値が同時に取得できる。
さらに、3次元メッシュ・データの塗りつぶし処理は、3次元グラフィックス・パイプラインにおいて実行させることができ、例えば、スマートフォンに内蔵のGPUを用いて高速に実行することができる。
なお、本発明は以上説明した実施形態によって限定されることはない。
【符号の説明】
【0035】
1 3次元計測装置
10 投光部
10a 投光レンズ
20 カメラ
21 イメージセンサ部
22 撮影レンズ
30 演算部