特開 2023-158825 ３次元形状計測システム、３次元形状計測方法、及び３次元形状計測プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023158825

(43)【公開日】2023-10-31

(54)【発明の名称】３次元形状計測システム、３次元形状計測方法、及び３次元形状計測プログラム

(51)【国際特許分類】

   G06T 7/521 20170101AFI20231024BHJP

   G01B 11/25 20060101ALI20231024BHJP

   G06T 7/55 20170101ALI20231024BHJP

【ＦＩ】

G06T7/521

G01B11/25 H

G06T7/55

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022068842

(22)【出願日】2022-04-19

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 〔掲載年月日〕 令和３年９月２４日 〔掲載アドレス〕 ｈｔｔｐｓ：／／ｅｐｒｉｎｔｓ．ｌｉｂ．ｈｏｋｕｄａｉ．ａｃ．ｊｐ／ｄｓｐａｃｅ／ｈａｎｄｌｅ／２１１５／８３２７６

(71)【出願人】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(72)【発明者】

【氏名】住吉 信一

(72)【発明者】

【氏名】日浦 慎作

【テーマコード（参考）】

2F065

5L096

【Ｆターム（参考）】

2F065AA09

2F065AA53

2F065BB15

2F065DD03

2F065DD11

2F065FF06

2F065HH06

2F065HH07

2F065HH12

2F065JJ03

2F065JJ08

2F065JJ26

2F065PP15

2F065PP25

2F065QQ31

2F065QQ42

5L096AA06

5L096AA09

5L096BA03

5L096BA05

5L096CA04

5L096EA11

5L096EA33

5L096FA32

5L096FA34

5L096FA66

5L096FA69

5L096GA51

(57)【要約】

【課題】 撮像画像の枚数が少なくても対象物の３次元画像を正確に得ることができ、また、光反射による影響を抑制することができる画像処理システムを提供する。
【解決手段】 既知の移動をする物体の３次元形状を計測する３次元形状計測システムは、既知の移動をしている物体に符号化パターンを有する１つの投影画像１０１を投影する投影部１と、１つの投影画像１０１が投影された物体を連続的に撮影して複数のカメラ画像２０１を生成する撮影部２と、カメラ画像の任意の点ｐ０について、カメラ視線上に複数の仮説点ｍ１～ｍ４を設定するとともに、複数の仮説点ｍ１～ｍ４のうち、既知の動きに基づく動き制約を満たす仮説点を、当該任意の点の復元点として決定する復元部４４とを備える。
【選択図】 図３

【特許請求の範囲】

【請求項1】

既知の移動をする物体の３次元形状を計測する３次元形状計測システムであって、
前記既知の移動をしている前記物体に符号化パターンを有する１つの投影画像を投影する投影部と、
前記１つの投影画像が投影された前記既知の移動をしている前記物体を連続的に撮影して複数のカメラ画像を生成する撮影部と、
前記カメラ画像の任意の点について、カメラ視線上に複数の仮説点を設定するとともに、前記複数の仮説点のうち、前記既知の動きに基づく動き制約を満たす仮説点を、当該任意の点の復元点として決定する復元部と、
を備えた、３次元形状計測システム。

【請求項2】

前記符号化パターンは、複数のスリットがランダムに配置されたランダムスリットパターンである、請求項１に記載の３次元形状計測システム。

【請求項3】

前記スリットの伸長方向は、前記既知の動きに直交する方向である、請求項２に記載の３次元形状計測システム。

【請求項4】

前記ランダムパターンは、複数のドットが２次元状にランダムに配置されたランダムドットパターンである、請求項１に記載の３次元形状計測システム。

【請求項5】

前記復元部は、前記既知の移動を表す動きパラメタで前記複数の仮説点を移動させて、
移動させた前記複数の仮説点を前記カメラ画像及び前記投影画像にそれぞれ透視投影することで得られる輝度変化パターンの組の相関が最大となる前記仮説点を前記動き制約を満たすと判断して、当該仮説点を前記復元点として決定する、請求項１に記載の３次元形状計測システム。

【請求項6】

前記復元部で設定された初期の前記仮説点及び移動された前記仮説点がエピポーラ拘束及び／又は奥行き拘束を満たさない場合に、当該仮説点を前記復元点の候補から除外する幾何拘束処理部をさらに備えた、請求項１又は２に記載の３次元形状計測システム。

【請求項7】

前記物体の代わりに校正パターンを用いて、前記投影部、前記撮影部、及び前記復元部によって得られた前記校正パターン上の点の復元点の移動フローを求めることで、前記動きパラメタを求める動きパラメタ取得部をさらに備えた、請求項５に記載の３次元計測システム。

【請求項8】

既知の移動をする物体の３次元形状を計測する３次元形状計測方法であって、
前記既知の移動をしている前記物体に符号化パターンを有する１つの投影画像を投影する投影ステップと、
前記１つの投影画像が投影された前記既知の移動をしている前記物体を連続的に撮影して複数のカメラ画像を生成する撮影ステップと、
前記カメラ画像の任意の点について、カメラ視線上に複数の仮説点を設定するとともに、前記複数の仮説点のうち、前記既知の動きに基づく動き制約を満たす仮説点を、当該任意の点の復元点として決定する復元ステップと、
を含む、３次元形状計測方法。

【請求項9】

既知の移動をする物体の３次元形状を計測する３次元形状計測プログラムであって、プロジェクタ及びカメラに接続された情報処理装置にて実行されることで、
前記プロジェクタに、前記既知の移動をしている前記物体に符号化パターンを有する１つの投影画像を投影させ、
前記カメラに、前記１つの投影画像が投影された前記既知の移動をしている前記物体を連続的に撮影して複数のカメラ画像を生成させ、
前記カメラ画像の任意の点について、カメラ視線上に複数の仮説点を設定するとともに、前記複数の仮説点のうち、前記既知の動きに基づく動き制約を満たす仮説点を、当該任意の点の復元点として決定する、
３次元形状計測プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体に符号化パターン画像を投影して、符号化パターン画像が投影された物体を撮影することで当該物体の３次元形状を計測する３次元形状計測システム、３次元形状計測方法、３次元形状計測プログラムに関する。

【背景技術】

【0002】

物体にパターン画像を投影して物体の３次元形状を計測する手法は、多くの工夫がなされている。パターン画像の種類として、スポット光投影法やスリット光投影法等が使用されていた。スポット光投影法は、レーザービームを対象物に投影し、スリット光投影法は光切断法とも呼ばれ、スリット光を対象物に投影することで、対象物の３次元位置を求める手法である。スリット光投影法は、工業計測などで広く用いられている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Brenner, C., Boehm, J. and Guehring, J.: Photogrammetric calibration and accuracy evaluation of a crosspattern stripe projector, Videometrics VI, Vol. 3641, International Society for Optics and Photonics, pp. 164-173 (1998).

【非特許文献2】Sato, K. and Inokuchi, S.: Three-dimensional surface measurement by space encoding range imaging, Journal of Robotic Systems, Vol. 2, pp. 27-39 (1985).

【非特許文献3】Sagawa, R., Furukawa, R. and Kawasaki, H.: Dense 3D reconstruction from high frame-rate video using a static grid pattern, IEEE transactionson pattern analysis and machine intelligence, Vol. 36, No. 9, pp. 1733-1747 (2014).

【非特許文献4】T. Weise, B. Leibe, and L. V. Gool. : Fast 3D scanning withautomatic motion compensation, In Proc. IEEE Conference on Computer Vision and Pattern Recognition, pages 1-8, 2007.

【非特許文献5】Shiba, Y., Ono, S., Furukawa, R., Hiura, S., & Kawasaki, H.: Temporal Shape Super-Resolution by Intra-frame Motion Encoding Using High-fpsStructured Light, In Proceedings - 2017 IEEE International Conference on Computer Vision, ICCV 2017 (pp. 115-123).

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の投影法では、対象物の画像を復元するのに、撮像画像枚数が多く必要であり、また、対象物や周辺物の光反射により、画像の復元に影響が出ることが少なくない。

【0005】

そこで、本発明は、撮像画像の枚数が少なくても対象物の３次元画像を正確に得ることができ、また、光反射による影響を抑制することができる画像処理システム、画像処理装置、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本願発明の一態様の３次元形状計測システムは、既知の移動をする物体の３次元形状を計測する３次元形状計測システムであって、前記既知の移動をしている前記物体に符号化パターンを有する１つの投影画像を投影する投影部と、前記１つの投影画像が投影された前記既知の移動をしている前記物体を連続的に撮影して複数のカメラ画像を生成する撮影部と、前記カメラ画像の任意の点について、カメラ視線上に複数の仮説点を設定するとともに、前記複数の仮説点のうち、前記既知の動きに基づく動き制約を満たす仮説点を、当該任意の点の復元点として決定する復元部とを備えた構成を有する。

【0007】

この構成により、スリット光投影法のような投影画像１枚で１次元的なラインのみを投影するタイプの計測システムの場合と比較して、上記のように符号化パターンを有する１つの投影画像を投影する場合には計測に必要な撮影画像の枚数が比較的少なくても密に物体の３次元形状を計測できる。また、ランダムパターンのもつ直交性の特性によって、相互反射などに頑健な３次元形状の計測が可能となる。すなわち、スリット光投影法のような１次元的なラインのみを投影するタイプの計測システムの場合は、相互反射、ハレーションなどの光学現象に頑健にできない一方で、上記のように符号化パターンの投影画像を用いることで相互反射、ハレーションなどの光学現象への頑健性を向上できる。

【0008】

上記の３次元形状計測システムにおいて、前記符号化パターンは、複数のスリットがランダムに配置されたランダムスリットパターンであってよい。

【0009】

ランダムスリットパターンは、ライン間の境界部が少なく隣のラインの影響を受けにくいため、この構成により、光学現象が強く起きていないシーンにおいて特によく物体の３次元形状を計測できる。

【0010】

上記の３次元形状計測システムにおいて、前記スリットの伸長方向は、前記既知の動きに直交する方向であってよい。

【0011】

この構成により、物体が既知の移動を行う間に撮影した複数の撮影画像において十分な輝度変化パターンが得られる。

【0012】

上記の３次元形状計測システムにおいて、前記ランダムパターンは、複数のドットが２次元状にランダムに配置されたランダムドットパターンであってよい。

【0013】

この構成により、特に、相互反射に対する頑健性は高かく、ノイズ点が復元されにくいという利点が得られる。

【0014】

上記の３次元形状計測システムにおいて、前記復元部は、前記既知の移動を表す動きパラメタで前記複数の仮説点を移動させてよく、移動させた前記複数の仮説点を前記カメラ画像及び前記投影画像にそれぞれ透視投影することで得られる輝度変化パターンの組の相関が最大となる前記仮説点を前記動き制約を満たすと判断して、当該仮説点を前記復元点として決定してよい。

【0015】

この構成により、移動する物体上の奥行き点を複数の仮説点の中から探索する際に、既知の動きパラメタで物体が移動することを制約として用いて、正しい奥行き値の仮説点で得た投影座標と撮影座標の輝度変化パターンの組が最大の相関を得ることを利用して形状復元をすることができる。

【0016】

上記の３次元形状計測システムは、前記復元部で設定された初期の前記仮説点及び移動された前記仮説点がエピポーラ拘束及び／又は奥行き拘束を満たさない場合に、当該仮説点を前記復元点の候補から除外する幾何拘束処理部をさらに備えていてよい。

【0017】

この構成により、カメラ視線上に複数の仮説点を設定すると仮説数が爆発してしまい、計算効率が非常に悪くなるほか、正しい復元点が得られる確率が減ってしまうところ、エピポーラ拘束及び／又は奥行き拘束によって仮説点の数を制限して復元点の探索を行うことができる。

【0018】

上記の３次元計測システムは、前記物体の代わりに校正パターンを用いて、前記投影部、前記撮影部、及び前記復元部によって得られた前記校正パターン上の点の復元点の移動フローを求めることで、前記動きパラメタを求める動きパラメタ取得部をさらに備えていてよい。

【0019】

この構成により、実際に動く物体について３次元形状計測を行うときと同じ既知の移動を用いて動きパラメタを推定することができる。

【0020】

本発明の一態様の３次元形状計測方法は、既知の移動をする物体の３次元形状を計測する３次元形状計測方法であって、前記既知の移動をしている前記物体に符号化パターンを有する投影画像を投影する投影ステップと、前記１つの投影画像が投影された前記既知の移動をしている前記物体を連続的に撮影して複数のカメラ画像を生成する撮影ステップと、前記カメラ画像の任意の点について、カメラ視線上に複数の仮説点を設定するとともに、前記複数の仮説点のうち、前記既知の動きに基づく動き制約を満たす仮説点を、当該任意の点の復元点として決定する復元ステップとを含む構成を有している。

【0021】

この構成によっても、撮影画像の枚数が比較的少なくても密に物体の３次元形状を計測でき、かつ、相互反射、ハレーションなどの光学現象に頑健な３次元形状の計測が可能となる。

【0022】

本発明の一態様の３次元形状計測プログラムは、既知の移動をする物体の３次元形状を計測する３次元形状計測プログラムであって、プロジェクタ及びカメラに接続された情報処理装置にて実行されることで、前記プロジェクタに、前記既知の移動をしている前記物体に符号化パターンを有する１つの投影画像を投影させ、前記カメラに、前記１つの投影画像が投影された前記既知の移動をしている前記物体を連続的に撮影して複数のカメラ画像を生成させ、前記カメラ画像の任意の点について、カメラ視線上に複数の仮説点を設定するとともに、前記複数の仮説点のうち、前記既知の動きに基づく動き制約を満たす仮説点を、当該任意の点の復元点として決定する構成を有している。

【0023】

この構成によっても、撮影画像の枚数が比較的少なくても密に物体の３次元形状を計測でき、かつ、相互反射、ハレーションなどの光学現象に頑健な３次元形状の計測が可能となる。

【図面の簡単な説明】

【0024】

【図1】図１は、本発明の実施の形態の３次元形状計測システムの応用シーンを示す図である。

【図2】図２は、本発明の実施の形態の３次元形状計測システムによる３次元形状計測の原理を説明する図である。

【図3】図３は、本発明の実施の形態の動き制約を用いた復号化及び仮説点決定のアルゴリズムの処理工程を説明するための図である。

【図4】図４は、本発明の実施の形態の３次元形状計測システムにおける機能構成を示すブロック図である。

【図5】図５は、本発明の実施の形態の３次元形状計測方法のフローチャートである。

【図6】図６は、本発明の実施の形態の動きパラメタ推定のフローチャートである。

【図7】図７は、本発明の実施の形態の動きパラメタを推定するための装置を示す図である。

【図8A】図８Ａは、本発明の実施の形態の投影画像の例を示す図である。

【図8B】図８Ｂは、本発明の実施の形態の投影画像の例を示す図である。

【図8C】図８Ｃは、従来法で用いられるシングルスリットの投影画像を示す図である。

【図9】図９は、本発明の実施の形態の符号化パターンの生成過程を示すフローチャートである。

【図10】図１０は、本発明の実施の形態の復元のフローチャートである。

【図11】図１１は、本発明の実施の形態の幾何拘束処理のフローチャートである。

【図12】図１２は、実施例の３次元形状計測の結果を示す図である。

【図13】図１３は、実施例の撮影枚数と復元率との関係を示すグラフである。

【図14A】図１４Ａは、白飛びが生じる状況での実験及びその結果を示す図である。

【図14B】図１４Ｂは、相互反射が生じる状況での実験及びその結果を示す図である。

【図14C】図１４Ｃは、鏡面反射物体を含む複数の材質の物体についての実験及びその結果を示す図である。

【発明を実施するための形態】

【0025】

以下、図面を参照して本発明の実施の形態を説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。

【0026】

図１は、本発明の実施の形態の３次元形状計測システムの応用シーンを示す図である。３次元形状計測システム１００は、プロジェクタ１０と、カメラ２０と、３次元形状計測装置３０とを含んで構成される。プロジェクタ１０は、符号化パターンを有する投影画像（以下、「符号化パターン画像」ともいう。）を投影する。カメラ２０は、３次元形状計測の対象物であるワークＷを撮影するように設置される。カメラ２０は、プロジェクタ１０によって投影されて移動するワークＷで反射した符号化パターン画像を所定のフレームレートで撮影して、カメラ画像を生成する。

【0027】

プロジェクタ１０とカメラ２０との幾何的関係、即ち位置及び姿勢の関係は、運用時には固定されており、この幾何的関係は３次元形状計測装置３０において既知である。また、プロジェクタ１０及びカメラ２０は、いずれも３次元形状計測装置３０に有線又は無線で通信可能に接続されている。なお、図１では、プロジェクタ１０とカメラ２０とが一体的に構成される例を示しているが、プロジェクタ１０とカメラ２０とが別体で構成されてもよい。

【0028】

３次元形状計測装置３０は、プロジェクタ１０が投影した符号化パターン画像と、カメラ２０が撮影したカメラ画像とに基づいて、ワークＷの位置情報を含む３次元形状を計測する。３次元形状計測装置３０は、例えば、汎用のコンピュータが本実施の形態の３次元形状計測プログラムを実行することで実現されてよい。

【0029】

図１の例では、ベルトコンベアＣ上に複数のワークＷが載せられて、ベルトコンベアＣの回転によってワークＷが一定の方向に一定の速度で移動している。３次元形状計測装置３０は、アームロボット４０に接続されている。アームロボット４０は、複数の関節を有するアームを備え、移動しているワークＷに対して、ワークＷを把持するという仕事をする。３次元形状計測装置３０にて得られたワークＷの３次元形状計測の結果は、アームロボット４０に与えられる。アームロボット４０は、ワークＷの位置情報及び３次元形状情報に基づいて動作する。これにより、アームロボット４０は、目的とするワークＷに対して適切に仕事をすることができ、例えばワークＷを適切にピッキングすることが可能となる。このようなシステムをロボットピッキングシステムという。

【0030】

以下では、まず本実施の形態の３次元形状計測システム１００による３次元形状計測の原理を説明し、その後に、そのような３次元形状計測を行うための構成を説明する。

【0031】

図２は、本発明の実施の形態の３次元形状計測システムによる３次元形状計測の原理を説明する図である。本実施の形態の３次元形状計測システム１００は、物体がベルトコンベアＣによって運ばれることによる既知の移動を動き制約という幾何制約として利用して物体の３次元形状を計測する。ベルトコンベアＣは、一方向に等速で動くものとし、その上に載っている物体及び物体上の点Ｐも同じ動きをするものとする。この点Ｐの動きベクトルをオブジェクトフローという。プロジェクタ１０によって投影画像１０１を投影しながら物体がベルトコンベアＣ上を動いていくシーンをカメラ２０で撮影してカメラ画像２１０を得る。

【0032】

本実施の形態のように物体の移動ないしオブジェクトフローを厳密に設定できるという環境では、カメラ２０によって撮影されたカメラ画像２０１及びプロジェクタ１０が投影する投影画像１０１において、物体上の点Ｐは、エピポーラ線外で動くことになる。すなわち、エピポーラ拘束以外の新しい制約軸が与えられる。３次元形状計測システム１００は、この制約を幾何制約として用いる。この幾何制約を動き制約という。

【0033】

図３は、本発明の実施の形態の動き制約を用いた復号化及び仮説点決定のアルゴリズムの処理工程を説明するための図である。動き制約を用いた計測アルゴリズムの概要は以下のとおりである。まず、カメラ画像２０１中の任意の点ｐ０について、カメラ視線Ｌ上で奥行方向に幾何拘束条件を満たす複数の仮説点ｍ１～ｍ４を設定する。ここで、カメラ視線Ｌは、カメラ２０の焦点とカメラの撮像面における当該任意の点Ｐ０とを結ぶ線である。

【0034】

そして、複数の仮説点ｍ１～ｍ４をカメラ画像２０１と投影画像１０１に透視投影をする。この透視投影を、各仮説点ｍ１～ｍ４をオブジェクトフロー方向Ｆに動かしながら行う。このとき、投影するプロジェクト画像の符号化パターンは動きに同期して変化させる。また、この段階で、幾何拘束条件を満たさない仮説点は排除する。そして、複数の仮説点ｍ１～ｍ４の、カメラ画像に透視投影された輝度変化パターン（以下、「復号化信号」ともいう。）２０２とプロジェクタ画像に透視投影された輝度変化パターン（以下、「符号化信号」ともいう。）１０２との組（ペア）が得られ、これらの全ての組の符号化信号と復号化信号との相関値を計算し、相関値が最大となる仮説点を復元点とする。図３の例では、仮説点ｍ２の相関が最も大きいので、仮説点ｍ２が復元点とされる。

【0035】

図４は、本発明の実施の形態の３次元形状計測システムにおける機能構成を示すブロック図である。３次元形状計測システム１００は、投影部１と、撮影部２と、情報処理部４と、３次元情報出力部５とを備えている。

【0036】

投影部１は、プロジェクタ１０で構成される。撮影部２は、カメラ２０で構成される。情報処理部４、及び３次元情報出力部５は、３次元形状計測装置３０に備えられてもよく、あるいは、その一部のみが３次元形状計測装置３０に備えられ、他の一部はプロジェクタ１０若しくはカメラ２０、又は３次元形状計測装置３０に接続された他の装置に備えられてもよい。

【0037】

投影部１は、符号化パターンに基づいて符号化パターン画像を投影する。投影部１は、ベルトコンベアＣによって移動する物体に対して符号化パターン画像を投影する。なお、投影部１としては、プロジェクタ１０のように任意の投影画像を投影できる装置を用いてもよいし、ＯＨＰのように、用意された版に対応した投影画像を投影する装置であってもよい。

【0038】

撮影部２は、撮影を行ってカメラ画像を得る。撮影部２は、連続する複数のカメラ画像からなるカメラ画像列を得る。本実施の形態では、撮影部２は、入射する光の輝度値のみを検出して、カメラ画像としてモノクロ画像を生成する。また、本実施の形態では、撮影部２は、１０２４×７６８ピクセルの解像度の撮像素子を用いてカメラ画像を得る。

【0039】

情報処理部４は、幾何キャリブレーションパラメタ取得部４１、動きパラメタ取得部４２、復元部４４、及び幾何拘束処理部４５を備えている。幾何キャリブレーションパラメタ取得部４１は、投影部１及び撮影部２とオブジェクトフローとの幾何的なキャリブレーションを実施する。投影部１と撮影部２とオブジェクトフローとの関係が固定されている場合には、幾何キャリブレーションパラメタは一定である。動きパラメタ取得部４２は、所定の移動をする物体のオブジェクトフローを推定によって取得する。復元部４４は、カメラ画像列、幾何キャリブレーションパラメタ、及び動きパラメタを用いて、複数の奥行き仮説点の中から動き制約を満たす点を復号化することで奥行き（復元点）の推定を行う。幾何拘束処理部４５は、復元部４４が奥行きの推定を行う際に、幾何学的制約を満たさない仮説点を候補から除外する。

【0040】

３次元情報出力部５は、復元部４４で得られた復元点の集合を物体の３次元形状の計測結果として出力する。

【0041】

図５は、本発明の実施の形態の３次元形状計測方法のフローチャートである。まず、幾何キャリブレーションパラメタ取得部４１は、あらかじめ得ていた幾何的なキャリブレーションパラメタを取得する（ステップＳ４１）。また、動きパラメタ取得部４２は、投影部１及び撮影部２と移動する対象物との相対的な動きパラメタ、即ちオブジェクトフローを取得する（ステップＳ４２）。

【0042】

投影部１は、動きパラメタ取得部４２で取得した動きパラメタに従って移動する物体に投影画像を投影する（ステップＳ４３）。撮影部２は、投影画像が投影された物体をＮ枚撮影し、それらのカメラ画像列を入力データとして情報処理部４に入力する（ステップＳ４４）。

【0043】

復元部４４は、撮影部２からの入力データを用いて、幾何拘束処理部４５で定義される幾何拘束条件を満たす奥行き仮説点をＭ個生成し、符号化信号１０２と復号化信号２０２との組のスコアが最大となる奥行き仮説点を復元点として採用する（ステップＳ４５）。最後に、３Ｄ情報出力部５は、最終的に得られた３次元復元結果を出力する（ステップＳ４６）。

【0044】

図６は、本発明の実施の形態の動きパラメタ推定のフローチャートである。図７は、本発明の実施の形態の動きパラメタを推定するための装置を示す図である。まず、計測対象の物体の動きと同じ動きをする装置に、チェスパターンを有する校正ボード６１を設置する（ステップＳ６１）。撮影フレームｎでの計測対象の物体と同じ位置で校正ボードを撮影し、次の位置へ移動して撮影するという処理を繰り返す（ステップＳ６２）。

【0045】

動きパラメタ取得部４２は、校正ボード６１のカメラ画像列を用いてフレームｎ－１からフレームｎへの動きパラメタ（Ｒ，Ｔ）ｎを推定する（ステップＳ６３）。このとき、動きパラメタ取得部４２は、校正ボード６１のチェスパターンのコーナーの３次元的な平均動きフローから、動きパラメタを推定する。

【0046】

具体的には、例えば、特定の傾きをした校正ボードを１０ｍｍずつ動かしながら７回撮影した場合、あるコーナーに注目するとｎフレームのコーナーの３次元点とｎ－１フレームのコーナーの３次元点との差から６個のベクトルが得られ、これらの平均を求めることで、そのコーナーの平均動きフローを求めることができる。この処理を全コーナーに対して行い、それぞれの平均動きフローを求め、さらにそれらを平均化することで、全体の平均動きフローを求めることができる。動きパラメタ取得部４２は、この全体の平均動きフローをオブジェクトフロー、即ち動きパラメタとする。

【0047】

なお、より複雑な動きをするロボットアームのような装置でも、同様の方法で各コーナーの［Ｒｔ］を求めることができる。コーナーをより密にとるために複数の校正器を用いてもよく、コーナーがない領域は周囲のコーナーの動きフローを線形補間などで補間してもよい。

【0048】

図８Ａ及び図８Ｂは、本発明の実施の形態の投影画像の例を示す図である。図８Ａは、投影画像が、複数のドットが２次元状にランダムに配置されたランダムドットパターンを有する例を示しており、図８Ｂは、投影画像が、縦方向に伸長する複数のスリットがランダムに配置されたランダムスリットパターンを有する例を示している。図８Ａの例では、投影画像は１２８０×８００画素の画素数を有し、ドットサイズは１０×１０画素である。図８Ｂの例では、投影画像は１２８０×８００画素の画素数を有し、スリット幅は１０画素である。

【0049】

図８Ｃは、従来法で用いられるシングルスリットの投影画像を示す図である。符号化パターンであるランダムドットパターン（図８Ａ）及びランダムスリットパターン（図８Ｂ）は、各ドット又はスリットに独立な符号化情報が埋め込まれているため、光学現象に頑健な計測が期待できる。一方、シングルスリットパターン（図８Ｃ）の場合は、投影した光が相互反射などにより複数反射すると、直接反射を同定することが困難と予想され、正しい３次元点の計測が困難である。

【0050】

ランダムドットパターン及びランダムスリットパターンは、シングルスリットと比較すると、符号化情報を含むものであり、よって、ランダムドットパターン及びランダムスリットパターンは、シングルスリットとの対比において、符号化パターンということができる。ランダムドットパターンは、縦方向及び横方向の２次元状に符号化情報を有するパターンであり、ランダムスリットパターンは、縦方向又は横方向のいずれか一方にのみ（図８Ｂの場合は横方向にのみ）符号化情報を有するパターンである。

【0051】

図９は、図８Ａや図８Ｂに示した符号化パターンの生成過程を示すフローチャートである。まず、符号化パターンの各ドット（ランダムドットの場合）又はスリット（ランダムスリットの場合）について、適当なシードを基にして、０～２５５のランダム数が生成される（ステップＳ８１）。本実施の形態では、メルセンヌツイスタ又はＭ系列を用いてランダム数が生成される。そして、各ドット／スリットについて、生成されたランダム数が閾値１２８以上であれば、当該ドット／スリットの画素値を２５５とし、生成されたランダム数が１２８未満であれば、当該ドット／スリットの画素値を０とする（ステップＳ８２）。

【0052】

図１０は、本発明の実施の形態の復元のフローチャートである。復元部４４は、まず、符号化パターン画像が投影された移動する物体を撮影してカメラ画像を取得する（ステップＳ１０１）。次に、復元部４４は、カメラ画像の画素ｐで幾何拘束条件であるエピポーラ拘束と奥行き拘束の２つの満たす奥行き仮説点をＭ＿ｐ個設定する（ステップＳ１０２）。

【0053】

復元部４４は、仮説点ｍを各フレームの動きパラメタ（Ｒ，Ｔ）＿ｎで３次元座標変換する（ステップＳ１０３）。移動された仮説点ｍ＿ｐをカメラ画像と投影画像に透視投影する処理をＮフレーム分繰り返し、符号化信号１０２と復号化信号２０２との組（ペア）を得る（ステップＳ１０４）（図３参照）。復元部４４は、次に、仮説点ｍ＿ｐについての符号化信号１０２と復号化信号２０２の相関をゼロ平均正規化相互相関で求め、得られた相関値を保存する（ステップＳ１０５）。

【0054】

復元部４４は、Ｍ＿ｐ個の仮説点で相関を得る処理が終了したか否かを判断し（ステップＳ１０６）、終了していない場合は（ステップＳ１０６でＮＯ）、ステップＳ１０３に戻って処理を繰り返す。Ｍ＿ｐ個の仮説点について相関値が得られた場合には（ステップＳ１０６でＹＥＳ）、Ｍ＿ｐ個の相関値のなかで最大を得た仮説点ｍ＿ｐを当該画素ｐについての復元点として採用する（ステップＳ１０７）。復元部４４は、上記の処理をカメラ画像の全画素について行う（ステップＳ１０８）。

【0055】

図１１は、本発明の実施の形態の幾何拘束処理のフローチャートである。幾何拘束処理部４５は、初期位置から移動したフレームｎ時点の奥行き仮説点ｍ＿ｐを取得する（ステップＳ１１１）。幾何拘束処理部４５は、仮説点ｍ＿ｐの奥行き値が復元範囲内であるか否か（奥行き拘束）を判断する（ステップＳ１１２）。ここで、計測対象物とカメラ２０及びプロジェクタ１０との位置関係から事前に復元範囲をヒューリスティックに設定することが一般的に行われているが、奥行き拘束は、その奥行き方向に着目した拘束である。

【0056】

仮説点ｍ＿ｐの奥行き値が復元範囲内である場合は（ステップＳ１１２でＹＥＳ）、幾何拘束処理部４５は、仮説点ｍ＿ｐをカメラ画像と投影画像に透視投影し（ステップＳ１１３）、透視投影された点がエピポーラ線上にあるか否か（エピポーラ拘束）を判断する（ステップＳ１１４）。エピポーラ拘束は、事前に幾何キャリブレーションで得られたパラメタ（Ｆ行列）から求められる。幾何拘束処理部４５は、カメラ画像及び投影画像の双方のエピポーラ線上に仮説点の透視投影点が乗るか否かを判断する。

【0057】

エピポーラ線からある程度の距離を許す閾値を用いて、キャリブレーション誤差の影響を低減させてよい。例えば、カメラ２０の画素数が１０２４×７６８画素であり、プロジェクタ１０の画素数が１２８０×８００画素である場合は、カメラ２０側では閾値ｔｈ＿Ｃを１０～２０画素程度としてよく、プロジェクタ１０側ではそれに画素サイズの比を賭けた誤差（閾値ｔｈ＿Ｐ＝ｔｈ＿Ｃ×（１２８０／１０２４））を許容してよい。

【0058】

幾何拘束処理部４５は、透視投影された点がエピポーラ線上にある場合（ステップＳ１１４でＹＥＳ）、すなわち、奥行き拘束もエピポーラ拘束も満たす場合には、その奥行き仮説点ｍ＿ｐは幾何制約を満たす仮説点であると判断する（ステップＳ１１５）。奥行き拘束又はエピポーラ拘束のいずれかを満たさない場合は（ステップＳ１１２でＮＯ、又はステップＳ１１４でＮＯ）、幾何拘束処理部４５は、その奥行き仮説点ｍ＿ｐは幾何制約を満たさない仮説点であると判断する（ステップＳ１１６）。

【0059】

（実施例）
３次元形状計測の実施例について以下に説明する。図２に示した３次元計測システム１００を用いて、計測対象の物体としてスタンフォードバニーのランバートな模型（１０×１０×１０ｃｍ^３程度のサイズ）を移動させながらＮ枚撮影して３次元毛状を計測する実験を行った。カメラ画像と投影画像とを用いて、動き制約を用いた計測アルゴリズム（図１０参照）にて、上述の既知の動き（オブジェクトフロー）で移動するバニーの３次元形状計測（形状復元）をした。

【0060】

図１２は、実施例の３次元形状計測の結果を示す図である。図１２において、上段はランダムドットパターンを用いた場合の結果を示しており、中段はランダムスリットを用いた場合の結果を示しており、下段はシングルスリットパターンを用いた場合の結果を示している。また、図１２において、各段の左側は撮影枚数をＮ＝９（６ｍｍ移動するごとに撮影）とした場合の結果を示しており、各段の右側は撮影枚数をＮ＝５４（１ｍｍ移動するごとに撮影）とした場合の結果を示している。

【0061】

図１２に示すように、ランバートな物体では、十分な撮影枚数を取得すれば（格段の右側）、シングルスリットの場合にも正しい形状が得られることがわかる。ただし、シングルスリットの場合には、ランダムドットパターンやランダムスリットパターンと比較してノイズが多い。

【0062】

図１３は、実施例の撮影枚数と復元率との関係を示すグラフである。図１３は、ランダムドットパターン、ランダムスリットパターン、及びシングルスリットのそれぞれについて、撮影枚数Ｎ＝２７、１８、９の各場合の復元率を示している。なお、撮影枚数Ｎが大きいことは、物体の移動速度が小さいこと、及び／又はカメラ２０の撮影のフレームレートが小さいことを意味し、撮影枚数Ｎが小さいことはその逆を意味する。したがって、撮影枚数Ｎを小さくしても復元率を高く維持できるということは、物体の移動速度を大きくでき、及び／又は低フレームレートのカメラ２０で足りることを意味する。

【0063】

図１３に示すように、ランダムドットパターン及びランダムスリットパターンの場合には、いずれもシングルスリットと比較して高い復元率（高密度）を達成できており、かつ、撮影枚数Ｎを小さくしても、シングルスリットの場合と比較して復元率（密度）の低下が小さく抑えられている。このことは、図１２の左列と右列とを比較しても明らかである。

【0064】

さらに、多様な反射特性を持つ物体を配備し光学現象に対する頑健（ロバスト）性について調べる実験を行った。図１４Ａは、白飛びが生じる状況での実験及びその結果を示しており、図１４Ｂは、相互反射が生じる状況での実験及びその結果を示しており、図１４Ｃは、鏡面反射物体を含む複数の材質の物体についての実験及びその結果を示している。

【0065】

図１４Ａに示すように、カメラ画像にハレーション（白飛び）が生じている状況では、ランダムドットパターン及びランダムスリットパターンの場合には、白飛びによる欠測の影響を抑制できることが確認できた。また、図１４Ｂに示すように、相互反射が生じている状況では、ランダムスリットパターンの場合には矢印部分で誤った形状が得られてしまっている。また、シングルスリットも同様に矢印部分にて誤った形状が得られてしまっている。一方、相互反射に頑健である考えられるランダムドットパターンについては全体に良好に形状復元ができた。

【0066】

図１４Ｃにおいて、上段は正面から見た復元結果であり、下段は上から見た復元結果である。図１４の例では、ステンレス、発泡スチロール、木製のボールをこの順で並べて置いて３次元形状計測を行った。図１４Ｃに示すように、ランダムスリットパターンを用いた場合には矢印部分にて相互反射により誤った形状が計測されており、また、シングルスリットにおいてもステンレスと発泡スチロールとの間で相互反射の影響により形状計測が正しくできなかった。ランダムドットパターンについては全体に相互反射の影響を抑制して形状復元ができた。

【0067】

以上の実験から、以下の知見が得られた。すなわち、ランダムスリットパターンは、ライン間の境界部が少なく隣のラインの影響を受けづらく、光学現象が強く起きていないシーンにおいて特に良い形状復元の傾向が見られた。ただし、相互反射によるエピポーラ線外の影響を受けやすく相互反射が発生するシーンでは誤計測してやや大きなノイズ塊が生まれやすい傾向が見られた。

【0068】

また、ランダムドットパターンは、座標復号化時に隣接ドットの影響を受けやすく点が復元されづらい傾向はあるものの、相互反射に対する頑健性は高かったため、ノイズ点が復元されにくい利点があることが分かった。ランダムスリットパターン及びランダムドットパターンのいずれの符号化パターンにおいても、その光学現象に対する頑健性の高さは、ランダム符号をスリットかドットで配置しているためにエピポーラ線の内外の影響を抑制できたために得られたものであると考えられる。

【0069】

以上のように、本実施の形態では、既知のオブジェクトフローに沿って移動する物体に対して、プロジェクタ１０からランダムパターンを有する投影画像を照射してカメラ２０で撮影し、カメラ画像における任意の点にカメラ視線上に複数の奥行き仮説点を設定して、仮説点をオブジェクトフローに沿って移動しながらカメラ画像及び投影画像に透視投影することで、カメラ画像における当該仮説点の輝度変化と投影画像の時系列変化とを比較し、それらの相関が最も高い仮説点を復元点として決定する。これにより、プロジェクタ１０及びカメラ２０として高速（高フレームレート）のものを用いなくても、移動する物体の移動を止めることなく、当該物体の３次元形状を計測できる。

【0070】

なお、上記の実施の形態では、計測対象の物体がランバートに近い反射特性を持つことを想定しているが、物体がランバート反射物でない場合に本実施の形態を適用してもよい。相対的に静止した状態での計測では、鏡面反射光の影響で復元が欠損する領域が発生してしまうが、本実施の形態によって動きながら対象物の情報を得ることで、欠損を低減できる。

【0071】

また、上記の実施の形態では、複数のカメラ画像を得るために投影画像における符号化パターンを変化させることなく、一定としたが、これに代えて、複数のカメラ画像について、異なる符号化パターンを有する投影画像を投影してもよい。この場合には、３次元形状計測システム１００は、投影部１による投影画像の符号化パターンの変化レートと、撮影部２による撮影のフレームレートとを同期させる同期制御部を備えてもよい。また、この場合には、３次元形状計測システム１００が、変化する符号化パターンを生成するための符号化パターン生成部を備えていてもよい。

【0072】

また、上記の符号化パターン生成部４３において生成するモノクロの符号化パターンのドットは、大きい方が幾何キャリブレーション及び動き推定の誤差を吸収できるので望ましい。また、復元部４４で仮説点を設定してオブジェクトフローに沿って仮説点を移動させていくときに、仮説点が符号化パターンにおけるドットとドットの境界（境界画素）に相当する場合がある。

【0073】

この場合には、そのような仮説点は白と黒の中間の値の画素値を持つことになる。よって、境界画素となることが多い仮説点については、復元点の候補から除外するようにしてもよい。例えば、仮説点を５０フレームに亘って移動させる場合に、そのうちの２０枚（４０％）以上が境界画素となる場合にはそのような仮説点を復元点の候補から除外してよい。

【0074】

また、上記の実施の形態では、１つのプロジェクタ１０と１つのカメラ２０を用いたが、これらを複数台用いてもよい。例えば、プロジェクタ１台とカメラ２台、あるいはプロジェクタ３台とカメラ３台などを組み合わせでも、プロジェクタそれぞれで独自の符号化パターン画像列を生成し、かつ、各々が発生させる符号化信号のＺＮＣＣが相対的に低い場合は、符号化情報の分離が可能である。

【0075】

また、上記の実施の形態では、ベルトコンベア、即ち水平移動するスライドステージを用いて既知の移動を実現していたが、これに加えて、又はこれに代えて、既知の動作をするデバイス、例えばロボットアームやＡＧＶなどを用いて既知の移動を実現してもよい。ロボットアームやＡＧＶは人によってパラメタ制御されているため、それらの制御信号を回転、並進情報に変換することで、スライドステージによる仮説点の並進移動と同等の計算が可能である。複雑な動きをするロボットアームのような装置でも校正時の各コーナーの［Ｒｔ］を求めることができる。コーナーをより密にとるために複数の校正器を用いたり、コーナーがない領域は周囲のコーナーのフローの線形補間などで補間したりする工夫をしてもよい。

【符号の説明】

【0076】

１ 投影部
２ 撮影部
４ 情報処理部
４１ 幾何キャリブレーションパラメタ取得部
４２ 動きパラメタ取得部
４４ 復元部
４５ 幾何拘束処理部
５ ３次元情報出力部
１０ プロジェクタ
２０ カメラ
３０ ３次元形状計測装置
４０ アームロボット
１００ ３次元形状計測システム
１０１ 投影画像
１０２ 投影画像に透視投影された仮説点の輝度変化パターン（符号化信号）
２０１ カメラ画像
２０２ カメラ画像に透視投影された仮説点の輝度変化パターン（復号化信号）
Ｗ ワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図8C】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14A】

【図14B】

【図14C】