特許 7584917 計測装置、撮像装置、計測システム、制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-08

(45)【発行日】2024-11-18

(54)【発明の名称】計測装置、撮像装置、計測システム、制御方法及びプログラム

(51)【国際特許分類】

   G01C 3/06 20060101AFI20241111BHJP

   G01B 11/00 20060101ALI20241111BHJP

   G01B 11/25 20060101ALI20241111BHJP

   G06T 7/521 20170101ALI20241111BHJP

【ＦＩ】

G01C3/06 110W

G01B11/00 B

G01B11/25 H

G01C3/06 140

G06T7/521

【請求項の数】 16

(21)【出願番号】P 2020106407

(22)【出願日】2020-06-19

(65)【公開番号】P2021009140

(43)【公開日】2021-01-28

【審査請求日】2023-06-16

(31)【優先権主張番号】P 2019122099

(32)【優先日】2019-06-28

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】高木 章成

【審査官】三笠 雄司

(56)【参考文献】

【文献】特許第６４５０９８２（ＪＰ，Ｂ２）

【文献】特開２０１２－０５８０７６（ＪＰ，Ａ）

【文献】特開平０９－０４２９４０（ＪＰ，Ａ）

【文献】特開２０１７－０２０９７１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ３／０６

Ｇ０１Ｂ １１／００

Ｇ０１Ｂ １１／２４５

Ｇ０１Ｂ １１／２５

Ｇ０６Ｔ ７／５２９

Ｇ０６Ｔ ７／５９３

(57)【特許請求の範囲】

【請求項1】

被写体に所定のパターンを投影する投影装置と、少なくとも２つの異なる複数の視点からの画像群を撮像する撮像システムとを有する計測装置において、
前記視点間の距離は、前記投影装置と前記視点の距離よりも短く、
前記画像群上のパターン像位置および前記視点間の位置関係から、少なくともひとつの前記視点に対する前記投影装置の相対位置を求める相対位置算出手段を有し、
該相対位置と前記視点での画像上のパターン像位置から前記被写体の距離情報を取得することを特徴とする計測装置。

【請求項2】

前記投影装置は、位置と姿勢が可変であることを特徴とする請求項１に記載の計測装置。

【請求項3】

前記投影装置が、２つの前記視点を結ぶ直線の延長線上の位置に配置されていることを特徴とする請求項１または２に記載の計測装置。

【請求項4】

前記相対位置を求めるときに用いるパターンと前記距離情報を取得するときに用いるパターンが異なることを特徴とする請求項１から３のいずれか１項に記載の計測装置。

【請求項5】

前記パターンは２つの前記視点を結ぶ直線に垂直な方向に延びた線分が該直線の方向に略周期的に並んだ縞状のパターンであることを特徴とする請求項１から４のいずれか１項に記載の計測装置。

【請求項6】

前記縞状のパターンのうち、少なくともひとつの線分は、それ以外の線分と色及び／または形状が異なることを特徴とする請求項５に記載の計測装置。

【請求項7】

前記縞状のパターンの前記画像上のパターン像の局所的な縞間隔を用いて、前記被写体の局所位置での面法線情報を取得することを特徴とする請求項５または６に記載の計測装置。

【請求項8】

前記面法線情報と、前記相対位置と前記視点での画像上のパターン像位置から前記被写体の距離情報を取得することを特徴とする請求項７に記載の計測装置。

【請求項9】

前記面法線情報と、前記相対位置と前記視点での画像上のパターン像位置と、前記視点間の距離と前記各視点に対する画像上のパターン像位置から、前記被写体の距離情報を取得することを特徴とする請求項７または８に記載の計測装置。

【請求項10】

前記面法線情報を取得するときに用いるパターンと前記パターン像位置を取得するときに用いるパターンが異なり、前記面法線情報を取得するときに用いるパターンの方がパターンの縞間隔が狭いことを特徴とする請求項７から９のいずれか１項に記載の計測装置。

【請求項11】

前記パターンは線分を含むパターンであり、
前記画像上の前記線分のパターン像の形状をもとに被写体の境界領域を抽出し、該境界領域の情報を用いて、前記被写体の距離情報を取得することを特徴とする請求項１から１０のいずれか１項に記載の計測装置。

【請求項12】

前記撮像システムは、ひとつの光学系の瞳を分割して複数の視点からの画像群を撮像することを特徴とする請求項１から１１のいずれか１項に記載の計測装置。

【請求項13】

請求項１から１２のいずれか１項に記載の計測装置を含み、
前記撮像システムは、前記パターンを投影しないで撮像した画像も取得することを特徴とする撮像装置。

【請求項14】

被写体に所定のパターンを投影する投影装置と、少なくとも２つの異なる複数の視点からの画像群を撮像する撮像システムと、該投影装置及び該撮像システムと接続された計測装置と、を含んで構成される計測システムであって、
前記視点間の距離は、前記投影装置と前記視点の距離よりも短く、
前記計測装置は、
前記画像群上のパターン像位置および前記視点間の位置関係から、少なくともひとつの前記視点に対する前記投影装置の相対位置を求める相対位置算出手段を有し、
該相対位置と前記視点での画像上のパターン像位置から前記被写体の距離情報を取得することを特徴とする計測システム。

【請求項15】

被写体に所定のパターンを投影する投影装置と、少なくとも２つの異なる複数の視点からの画像群を撮像する撮像システムとを有する計測装置の制御方法であって、
前記視点間の距離は、前記投影装置と前記視点の距離よりも短く、
前記画像群上のパターン像位置および前記視点間の位置関係から、少なくともひとつの前記視点に対する前記投影装置の相対位置を求める相対位置算出工程を有し、
該相対位置と前記視点での画像上のパターン像位置から前記被写体の距離情報を取得することを特徴とする制御方法。

【請求項16】

コンピュータを、請求項１から１２のいずれか１項に記載の計測装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、計測装置、撮像装置、計測システム、制御方法及びプログラムに関し、特にステレオ法を含む複数の方式の距離計測を併用する計測技術に関する。

【背景技術】

【0002】

従来、撮像によって得られた画像から三角測量の原理を用いて、被写体の距離情報や形状情報を取得する技術、所謂ステレオ法が提案されている。例えば、同一被写体を異なる位置に置いた２つの撮像装置で撮像することにより取得した視差画像対を用いて、三角測量の原理で被写体の形状計測を行うパッシブステレオ法がある。また、テクスチャの少ない物体や、暗所での形状計測を行う方法として、パターン投影ステレオ法がある。パターン投影ステレオ法は、投影装置により被写体に既定のパターンを投影して投影装置とは異なる位置に置いた撮像装置により撮像し、投影装置および撮像装置の位置関係と、撮像で得られた画像上のパターンの位置関係とから、三角測量の原理を用いて被写体の距離情報や形状情報を取得するものである。さらに、精度向上などを目的とし、パターン投影ステレオ法とパッシブステレオ法を併用するハイブリッド型も提案されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００２－２８６４１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１にはパッシブステレオ法とパターン投影ステレオ法とを併用するハイブリッド型が提案されているが、その具体的な構成および手法については開示されていない。

【0005】

ステレオ法は三角測量の原理を用いるため、視差を発生させる２つの要素の位置関係が既定（既知）かつ安定していることが、高い計測精度を得るために重要である。ここで、２つの要素とは、パッシブステレオ法では２つの撮像装置であり、パターン投影ステレオ法では投影装置と撮像装置である。従って、パッシブステレオ法とパターン投影ステレオ法とを併用する場合には、２つの撮像装置間の位置関係と、１つの撮像装置と投影装置との位置関係のそれぞれが既知であり、かつ、安定していることが高い計測精度を得るために重要である。

【0006】

また、三角測量の原理上、視差を発生させる２つの要素間の距離（基線長）が長いほど高い計測精度を得る上で有利である。

【0007】

しかしながら、温度環境や振動などの存在下で、２つの要素の位置関係を既知かつ安定させるためには、頑丈に２つの要素を固定する必要があり、計測システムの構成が複雑かつ大型化するという課題がある。さらに、高精度に計測するために２つの要素の間隔である基線長を長くすると、機械的な安定性が低下するため、２つの要素を保持する機構のさらなる大型化の要因になるという課題があった。

【0008】

一方で、投影装置と撮像装置の位置関係を固定とすると、例えば影を生じさせないように被写体の形状に応じてパターンを投影する等、投影の位置や向きを調整可能な範囲が制限されるため、使い勝手が低下するという課題も生じる。

【0009】

また、投影装置を用いてパターンを投影させることで被写体上にテクスチャを形成できるため、テクスチャの少ない物体や暗所でもパッシブステレオ法での形状計測が可能となる。しかしながら、この場合、パターン投影はあくまでパッシブステレオ法の改善を目的としたものであり、パターン投影ステレオ法が併用される構成とは異なる。従って、ハイブリッド型の場合に比べ、計測の安定性や精度が低いという課題があった。

【0010】

本発明は、このような従来技術の課題の少なくともいずれかを軽減することを目的としたものであり、装置規模の増大や使い勝手の低下を抑制しつつ、良好な計測精度を実現する計測装置、撮像装置、計測システム、制御方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

被写体に所定のパターンを投影する投影装置と、少なくとも２つの異なる複数の視点からの画像群を撮像する撮像システムとを有する計測装置において、
前記視点間の距離は、前記投影装置と前記視点の距離よりも短く、
前記画像群上のパターン像位置および前記視点間の位置関係から、少なくともひとつの前記視点に対する前記投影装置の相対位置を求める相対位置算出手段を有し、
該相対位置と前記視点での画像上のパターン像位置から前記被写体の距離情報を取得することを特徴とする計測装置。

【発明の効果】

【0012】

本発明によれば、装置規模の増大や使い勝手の低下を抑制しつつ、良好な計測精度を実現できる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施形態に係る計測システムの機能構成を示したブロック図

【図2A】第１の実施形態に係る計測装置１５０で実行される距離計測処理を例示したフローチャート

【図2B】第１の実施形態におけるパターンの投影態様を説明するための図

【図3A】第１の実施形態に係る計測装置１５０で実行される距離計測処理の変形例を示したフローチャート

【図3B】第１の実施形態に係る計測装置１５０で実行される距離計測の処理の別の変形例を示したフローチャート

【図4】第１の実施形態に係る投影装置１１０の位置および姿勢を算出する方法を例示した図

【図5A】第２の実施形態に係る計測システムの機能構成を示したブロック図

【図5B】第２の実施形態に係る撮像システム１２０の詳細構成を説明するための図

【図6A】第３の実施形態に係る計測装置１５０で実行される距離計測処理を例示したフローチャート

【図6B】第３の実施形態に係るパターン投影がなされた状態で得られる撮像画像を例示した図

【図7A】第３の実施形態に係る計測装置１５０で実行される距離計測処理の変形例を示したフローチャート

【図7B】第３の実施形態に係る計測装置１５０で実行される距離計測の処理の別の変形例を示したフローチャート

【図8A】第４の実施形態に係る計測装置１５０で実行される距離計測処理を例示したフローチャート

【図8B】第４の実施形態に係るパターン投影がなされた状態で得られる撮像画像を例示した図

【発明を実施するための形態】

【0014】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0015】

以下に説明する一実施形態は、計測システムの一例としての、２つの撮像装置（カメラ）及び１つの投影装置と、これらが接続された計測装置とを含み、撮像装置から被写体までの距離を計測可能な計測システムに、本発明を適用した例を説明する。しかし、本発明は、パターン投影を行った状態でのパッシブステレオ法を用いた奥行方向の距離計測が可能な任意の機器に適用可能である。

【0016】

［第１の実施形態］
本発明における計測システム１００の構成例を図１に示す。

【0017】

図１において、計測システム１００は、被写体にパターンを投影する投影装置１１０、被写体からの光束に基づき視差画像を取得する撮像システム１２０、計測装置１５０から構成される。

【0018】

投影装置１１０は、投影光学系１１１、空間変調器やレチクルおよびLED等の照明部を有するパターン部１１２で構成される。１１３は投影光学系１１１の射出瞳であり、１１４は投影装置１１０の投影方向を表す投影軸である。投影装置１１０は、投影装置１１０の各ブロックの制御プログラムを記録したＲＯＭ及び制御プログラムの展開領域として用いられるＲＡＭを含んだ、マイクロコンピュータ等の制御部（不図示）を有し、パターン部１１２を制御して被写体にパターン（光）を投影する。

【0019】

撮像システム１２０は第１のカメラ１３０と第２のカメラ１４０で構成され、２つの異なる視点からの画像群を撮像する。第１のカメラ１３０は、第１の撮像光学系１３１とＣＣＤやＣＭＯＳセンサ等の第１の撮像素子１３２を有し、第１の撮像光学系１３１の第１の入射瞳１３３を視点とし、第１の撮像軸１３４を撮像方向とする画像を撮像する。第２のカメラ１４０は、第２の撮像光学系１４１とＣＣＤやＣＭＯＳセンサ等の第２の撮像素子１４２を有し、第２の撮像光学系１４１の第２の入射瞳１４３を視点とし、第２の撮像軸１４４を撮像方向とする画像を撮像する。なお、第１の入射瞳１３３と第２の入射瞳１４３の間の距離は、投影装置の射出瞳１１３と撮像システム１２０の第１の入射瞳１３３の間の距離よりも短くなるように構成している。また、第１のカメラ１３０と第２のカメラ１４０はそれぞれ、ＣＰＵ・ＲＯＭ・ＲＡＭからなる制御部、撮像素子から出力される画像信号に現像、補正等の画像処理を施しデジタルデータの撮像画像を生成する画像処理部等、デジタルカメラに一般的に備わる構成を備える。

【0020】

計測装置１５０は、ＣＰＵからなる制御部１５１、メモリ１５２、相対位置算出部１５４および距離形状算出部１５３を有している。制御部１５１は、メモリ１５２の不揮発性部分（以下、便宜上ＲＯＭと呼ぶ）に記憶されている各ブロックの動作プログラムを読み出し、メモリ１５２の別領域に展開して実行することにより各ブロックの動作を制御する。また、計測装置１５０は、外部装置である撮像システム１２０及び投影装置１１０と接続し、各装置との間でのデータの送受信を可能とする。

【0021】

次に、計測システム１００が行う距離形状の算出フローについて、図２Ａを用いて説明する。本フローの各処理は、計測装置１５０の制御部１５１が対応する制御プログラムを実行することで、制御部１５１によって、あるいは、制御部１５１の制御に従って各ブロックが動作することによって実施される。

【0022】

ステップＳ１５０１では、制御部１５１が、通信部を介して投影装置１１０にパターンの投影指示を行い、また通信部を介して撮像システム１２０にパターンが投影された状態で撮像を指示し、撮像システム１２０から撮像により得られる一対の視差画像を取得する。図２Ｂに示すように、投影装置１１０は上記計測装置１５０からの指示を受けて、パターン部１１２および投影光学系１１１により投影軸１１４の方向に、被写体にパターン２００を投影する。撮像システム１２０は上記計測装置１５０からの指示を受けて、第１のカメラ１３０および第２のカメラ１４０で、被写体およびパターン２００の視差画像を撮像する。

【0023】

ステップ１５０２で、距離形状算出部１５３が、撮像した視差画像上の被写体およびパターン像の位置と各視点の位置関係から、パッシブステレオ法の公知の方法で、被写体の一次距離情報を算出する。

【0024】

次にステップＳ１５０３で、相対位置算出部１５４が、被写体の一次距離情報と視差画像上のパターン像の位置から、撮像システム１２０の第１の入射瞳１３３の位置に対する投影装置１１０の位置および姿勢である射出瞳１１３の位置および投影軸１１４を算出する。なお、本実施形態では投影装置１１０の位置姿勢が、第１のカメラ１３０の位置姿勢を基準とした相対的な位置姿勢であるものとして説明する。しかし第２のカメラ１４０の位置姿勢を基準とした相対的な位置姿勢でもよい。

【0025】

次にステップＳ１５０４で、距離形状算出部１５３が、算出した投影装置１１０の位置姿勢と、撮像システム１２０の位置姿勢と視差画像上のパターン像の位置から、パターン投影ステレオ法の公知の方法で、被写体の二次距離情報を算出する。

【0026】

そしてステップＳ１５０５で、制御部１５１は、算出した二次距離情報を、図示しない記憶部に記憶、あるいは記録部や通信部等を介して外部装置に出力する。このとき、投影装置１１０の射出瞳１１３と撮像システム１２０の第１の入射瞳１３３の間の距離（基線長）は、撮像システム１２０の第１の入射瞳１３３と第２の入射瞳１４３の間の距離（基線長）より長い。このため、撮像システム１２０によるパッシブステレオ法で求めた一次距離情報より、投影装置１１０および撮像システム１２０によるパターン投影ステレオ法で求めた二次距離情報のほうが、距離精度が高い。よって、撮像システム１２０の第１のカメラ１３０と第２のカメラについては、所望の計測精度を得るために必要な基線長よりも、短い基線長での位置関係を保持するだけで良いことになり、より簡易な構成で高い測距精度を得ることができる。

【0027】

また図３Ａに示すように、制御部１５１は、図２Ａで行う処理に加えてパッシブステレオ法で求めた一次距離情報と、パターン投影ステレオ法で求めた二次距離情報を統合して、被写体の距離情報を求めるステップＳ１５０６を行っても良い。なお、図３Ａのフローの各処理も、計測装置１５０の制御部１５１によって、あるいは制御部１５１の制御に従って各ブロックが動作することによって実施される。例えば、投影装置１１０の位置と被写体の形状の関係によっては、被写体の影となってパターンが投影されない領域が発生する場合がある。このとき被写体の持つ模様を手掛かりに、パッシブステレオ法では一次距離情報を取得できる場合があり、一次距離情報と二次距離情報を統合することで、欠損の無い距離情報を得ることができる。

【0028】

次に、ステップＳ１５０３に係る、制御部１５１が被写体の一次距離情報と視差画像上のパターン像の位置から、投影装置１１０の位置および姿勢である射出瞳１１３の位置および投影軸１１４を算出する方法を、図４を用いて説明する。図４は、被写体３００にパターンを投影して距離を計測する場合を示している。投影装置１１０の射出瞳１１３から投影軸１１４の方向にパターンを投影し、第１のカメラ１３０の第１の入射瞳１３３および第２のカメラ１４０の第２の入射瞳１４３について視差画像が取得される。まず、被写体３００の表面上に形成されたパターンのうち、任意の２か所（パターン２０１、パターン２０２）の一次距離情報を算出し、第１のカメラ１３０の第１の入射瞳１３３の位置に対する各パターンの相対位置座標を求める。第１の入射瞳１３３に対する相対位置座標とは、例えば、第１の入射瞳１３３を原点とし、第１の入射瞳１３３と第２の入射瞳１４３を結んだ直線を一つの軸として、それと直交する方向に他の軸を設定した直交座標系における位置座標である。次に、パターン２０１とパターン２０２の投影角度をθ１としたとき、パターン２０１とパターン２０２の２点を通り、θ１が円周角となる円３１０を求める。この時、投影装置の射出瞳１１３は、円３１０の円周上のいずれかの位置に存在することになる。なお、投影角度θ１は投影装置１１０について既知の情報であり、例えば、パターン部１１２および投影光学系１１１の幾何関係から決定されるものである。次に、被写体３００の表面上に形成されたパターンのうち、別の１か所（パターン２０３）の一次距離情報を算出し、第一のカメラの第１の入射瞳１３３の位置に対するパターンの相対位置座標を求める。パターン２０２とパターン２０３の投影角度をθ２としたとき、パターン２０２とパターン２０３の２点を通り、θ２が円周角となる円３１１を求める。この時、投影装置の射出瞳１１３は、円３１１の円周上のいずれかの位置に存在することになる。つまり、円３１０と円３１１の交点のうち、パターン２０２ではないほうの交点が射出瞳１１３の位置となる。本実施形態では、パターン２０２として、投影軸上のパターンを選択している。この時、射出瞳１１３の位置とパターン２０２の位置を結んだ線分を含む直線が投影軸１１４となる。このように、被写体の一次距離情報と視差画像上のパターン像の位置から、投影装置１１０の位置および姿勢である射出瞳１１３の位置および投影軸１１４を算出することができる。

【0029】

なお、本実施形態では、被写体表面上の３か所の相対位置情報を用いたが、４か所以上の情報を用いて、平均化処理等を用いて、より高い精度で射出瞳１１３の位置および投影軸１１４を求めても良い。また、射出瞳１１３の位置の座標や投影軸１１４の方向に関する事前情報が有る場合は、２か所の相対位置情報でも、射出瞳１１３の位置および投影軸１１４を求めることができる。例えば、第１の入射瞳１３３を原点とする座標系に対する投影軸１１４の傾きがわかっている場合、２か所の相対位置情報で求めた円３１０と、パターン２０２の位置を通る投影軸１１４との交点が射出瞳１１３の位置となる。なお、図４に示すような幾何関係を用いて、投影装置１１０の射出瞳１１３の位置や投影軸１１４を求める方法は、本実施形態に示した工程に限られるものではない。撮像システム１２０で取得した視差画像上のパターン像位置および視点間の位置関係を入力情報として、少なくともひとつの視点に対する投影装置の相対位置を求める方法であれば良く、一次距離情報などの中間データを用いない方法でも良い。

【0030】

本実施形態では、投影装置１１０の位置姿勢を、図４を用いて、撮像システム１２０の第１の入射瞳１３３および第２の入射瞳１４３を結んだ線分を含む二次元平面内で作図的に求める方法を説明した。投影装置１１０の射出瞳１１３の位置が、この二次元平面内に無い場合は、第１のカメラ１３０の第１の入射瞳１３３を含み、図４に示す平面と直交する平面内でも幾何関係を用いて投影装置１１０の位置姿勢を求める。各平面内で求めた位置姿勢を合成して、三次元的な位置姿勢を求めることができる。なお、投影装置１１０が、撮像システム１２０の第１の入射瞳１３３および第２の入射瞳１４３を結んだ直線の延長線上の位置に配置されていることが好ましい。これにより、投影装置１１０の位置姿勢を二次元平面内でのみ求めればよく、計算量を減らせるため、高速化や消費電力を抑制できる。

【0031】

以上の構成により、本実施形態では、所望の計測精度を得るために必要な基線長よりも短い基線長での位置関係を保持するだけで良く、より簡易な構成で安定して高い測距精度を得ることができる。

【0032】

また、必要なときに投影装置１１０の位置姿勢を求めることができるため、投影装置１１０の位置姿勢を既定の状態に固定せずに、可変にすることができる。これにより、被写体の形状による遮蔽が生じないようにパターンを投影する方向や位置を決めることができ、計測可能な被写体の条件を大幅に拡張することができる。なお、投影装置１１０の位置姿勢は、計測の度に常に求めなくても良い。例えば、投影装置１１０の位置姿勢を能動的に変えたときや、環境温度変化や振動などの外乱による位置関係の変化が懸念される場合に、投影装置１１０の位置姿勢を求めるようにしても良い。

【0033】

なお、投影するパターンは、撮像システム１２０の第１の入射瞳１３３および第２の入射瞳１４３を結んだ直線と垂直な方向に延びた線分が、該直線の方向（一対の視差画像にて視差が生じる方向）に略周期的に並んだ縞状のパターンであることが好ましい。このように構成することで、撮像システム１２０の視差方向にコントラストの高い視差画像が取得でき、パッシブステレオ法による一次距離情報の計測精度を高くすることができる。このような好適なパターンの投影は、テストパターンの投影後、撮像システム１２０において該テストパターンを撮像した撮像画像に基づいて動的にパターンを構成する態様とすることでも実現できる。

【0034】

さらに、縞状のパターンのうち、少なくともひとつの線分（縞）は、それ以外の線分と色や形状を異ならせことが望ましい。これにより視差画像間の対応を取るときに誤対応を抑制でき、計測エラーを軽減できる。特に、投影軸１１４上のパターンの色や形状を他の線分と異なるものにすることにより、投影軸１１４の算出を容易にすることができる。また、一次距離情報を測定するために投影するパターン２００は、投影された各パターン像を撮像システム１２０が認識したとき、該パターン間の相対的な位置関係がわかるように、予め撮像システム側にもパターン（間の位置関係）に関する情報が記憶されていることが好ましい。撮像システム１２０はこれにより、各パターンが投影された位置にある被写体の瞳分割方向の位置関係を、パターン同士の位置関係（例えば縞状パターンでは縞間の位置関係）から容易に推定することが出来る。

【0035】

また、パッシブステレオ法を用いて投影装置の相対位置を求めるときに用いるパターンと、パターン投影ステレオ法で距離情報を取得するときに用いるパターンとが異なるようにしても良い。また、計測システム１００は、図２Ａに示す処理に加えて図３Ｂに示すフローで計測を行ってもよい。なお、図３Ｂのフローの各処理も、計測装置１５０の制御部１５１により、あるいは制御部１５１の制御に従って各ブロックが動作することにより実施される。ステップＳ１５０３の後にステップＳ１５０７として投影装置１１０はランダムドットやグレードなど、一般的にパターン投影ステレオで用いられるパターンを投影し、当該パターンが投影された被写体が撮像システム１２０によって撮像されて一対の視差画像が取得される。このように構成することで、各手法に適したパターンを用いることができ、より高い精度での位置算出および距離計測が可能となる。また、パターン投影ステレオ法で用いるパターンを、一次距離情報を用いて、パターンの細かさを変えるなど、被写体の形状に適したパターンにして投影すると、より高い精度で距離情報を取得することができる。

【0036】

［第２の実施形態］
次に、第２の実施形態を、図５Ａおよび図５Ｂを用いて説明する。図５Ａに示すように、第１の実施形態に対して、撮像システム１２０が、カメラ４００で構成されている点が異なる。処理フローは図２Ａに示す例を含み、第１の実施形態のものと同じである。

【0037】

カメラ４００は、撮像光学系４０１、撮像素子４０２で構成されている。撮像素子４０２は、ひとつの画素に２つの光電変換部を有している。図５Ｂに示すように、撮像素子４０２の画素は、マイクロレンズ４０３と第一の光電変換部４０４および第二の光電変換部４０５で構成されている。マイクロレンズ４０３を介して、光電変換部と撮像光学系４０１の瞳が、光学的に共役な関係になっており、撮像光学系の瞳を分割して、異なる視点からの視差画像を取得している。第一の光電変換部４０４からの画像信号を用いて得られる画像は、撮像光学系４０１の瞳領域の一部に対応する、第１の実施形態における第２の入射瞳１４３を視点とする画像に相当する画像である。また、各画素の第二の光電変換部４０５からの画像信号を用いて得られる画像は、撮像光学系４０１の瞳領域の他の一部に対応する、第１の実施形態における第１の入射瞳１３３を視点とする画像になる。さらに、各画素の各画素の第一の光電変換部４０４からの画像信号と第二の光電変換部４０５からの画像信号を加算した信号を用いて得られる画像は、入射瞳４０６を視点とする画像になる。

【0038】

以上の通り、本実施形態では、ひとつの撮像光学系４０１とひとつの撮像素子４０２で一対の視差画像を取得することができるため、複数台のカメラを用いた第１の実施形態とは違ってより機械的に安定した基線長の短い撮像システムを構成することができ、より簡易な構成で安定して高い測距精度を得ることができる。

【0039】

さらに、パターンを投影せずに撮像した通常画像も取得することで、通常画像と同一視点での計測値を取得でき、メタ情報として画像に付加したり、認識に用いることで認識精度を向上させたりする撮像装置として用いることができる。

【0040】

［第３の実施形態］
次に、第３の実施形態を、図６Ａおよび図６Ｂを用いて、説明する。なお、図６Ａのフローの各処理も、計測装置１５０の制御部１５１により、あるいは制御部１５１の制御に従って各ブロックが動作することにより実施される。図６Ａは処理フローであり、ステップＳ１５１１でパターンを投影し撮像する。図６Ｂは、図５Ａに示す計測システム１００を用い、投影装置１１０でパターンを投影し、撮像システム１２０で取得した第１の入射瞳１３３の視点での画像の例である。投影するパターンは、撮像システム１２０の第１の入射瞳１３３および第２の入射瞳１４３を結んだ直線と垂直な方向に延びた線分が、直線の方向に略周期的に並んだ縞状のパターンである。被写体は、平面と、平面上に置かれた半球状の物体である。

【0041】

ステップＳ１５１２で、距離形状算出部１５３が、パッシブステレオ法で、撮像した視差画像から被写体の一次距離情報を算出する。

【0042】

次にステップＳ１５１３で、距離形状算出部１５３が、いずれかの視差画像における縞状パターン像の縞間隔から面法線情報を生成する。縞状パターン像の縞間隔は、縞の周期方向の面の傾きを表し、観察方向に面が正対している場合は投影パターンの縞間隔と同じになり、面法線が傾くと縞間隔が狭くなる。図６Ｂに示されるように、例えば平面である領域２１０における縞は直線で等間隔になる。一方、曲面である領域２１１における縞は曲線状になり、縞間隔は場所により変化する。

【0043】

ステップＳ１５１３で、距離形状算出部１５３は、画像中の場所ごとの局所的な縞間隔を求め、これにより、被写体の局所位置での面法線情報を取得することができる。さらにステップＳ１５１４で、距離形状算出部１５３は、一次距離情報と面法線情報を統合して、高精度な距離形状情報を生成する。

【0044】

そしてステップＳ１５１５で、制御部１５１は、算出した高精度な距離形状情報を、図示しない記憶部に記憶、あるいは記録部や通信部等を介して外部装置に出力する。

【0045】

パッシブステレオ法で求めた一次距離情報と、縞間隔を用いた面法線情報は、微分・積分の関係にある。つまり、面法線の積分と距離情報、または面法線と距離情報の微分は本来同じものになる。従って、距離形状算出部１５３は、これらを比較し、明らかなエラー値の除去や平均化によりばらつきを低減することができる。あるいは、平面部は面法線を積分した情報を用い、段差部における段差量は距離情報を用いることで、ばらつきを抑えることができる。このように、一次距離情報と面法線情報を統合することで、単一の計測方法で求めた距離形状情報より高精度な距離形状情報を取得することができる。なお、ステップＳ１５１２とステップＳ１５１３の順番は入れ替わっても良い。

【0046】

またこのとき、図７Ａに示すようにステップＳ１５１６の処理を追加で行うことにより、パッシブステレオ法を用いて一次距離情報を求めるときに用いるパターンと、縞間隔から面法線情報を取得するときに用いるパターンとが異なるようにしてもよい。なお、図７Ａのフローの各処理も、計測装置１５０の制御部１５１により、あるいは制御部１５１の制御に従って各ブロックが動作することにより実施される。ステップＳ１５１６では、制御部１５１が、通信部を介して投影装置１１０にパターンの投影指示を行い、また通信部を介して撮像システム１２０にパターンが投影された状態で撮像を指示し、撮像システム１２０から撮像により得られる一対の視差画像を新たに取得する。ここで、ステップＳ１５１６において面法線情報を取得するときの方が、Ｓ１５１１において一次距離情報を求めるときに用いるパターンよりも縞間隔が狭いことが望ましい。これにより、空間的に密な面法線情報を取得することができる。面法線情報を求めるときは、直交する縞状パターンを切り替えて投影したり、直交する縞状パターンを合成した井桁パターンまたは点線パターンを投影したりしてもよい。このように構成することで、直交する軸方向の法線を求めることができるため、より高い精度で被写体の面法線情報を取得できる。

【0047】

また、一次距離情報をもとに面法線情報取得時のパターンを選択しても良い。例えば、投影装置からの距離が遠いと投影パターン像は粗く、近いと投影パターン像は細かくなるため、距離に応じて、面法線情報取得に必要な縞間隔になるようにパターンサイズを制御する。また、一次距離情報から面の傾いている方向が概略わかるので、傾いている方向に直交する方向の縞状パターンを選択して投影したり、細かいパターンを投影したりすると、面の傾き量（面法線の傾き量）を高精度に取得することができる。

【0048】

また、面法線情報をもとにパッシブステレオ法で用いるパターンを選択しても良い。面法線が傾いていると縞状パターン像が粗くなり過ぎて、視差画像間の対応が取れず、測距精度が低下するため、傾いている面では投影パターンを細かくする。これにより、高精度に距離情報を取得できる。 これにより、被写体の形状に適したパターンにして投影できるため、より高い精度で距離情報を取得することができる。

【0049】

また、面法線情報を取得するときに用いるパターンは、投影装置１１０と撮像システム１２０の視点を結ぶ直線に垂直な方向に延びた線分が、直線の方向に略周期的に並んだ縞状のパターンであることが望ましい。このように構成することで、面法線に対する縞間隔の変化が大きくなり、面法線を高い精度で検出することができる。

【0050】

さらに、図７Ｂに示す例のように、パターン投影ステレオ法で取得した距離情報を用いても良い。なお、図７Ｂのフローの各処理も、計測装置１５０の制御部１５１により、あるいは制御部１５１の制御に従って各ブロックが動作することにより実施される。

【0051】

ステップＳ１５１７で、相対位置算出部１５４は、被写体の一次距離情報と視差画像上のパターン像の位置から、撮像システム１２０の位置に対する投影装置１１０の位置および姿勢を算出する。

【0052】

次にステップＳ１５１８で、距離形状算出部１５３は、算出した投影装置１１０の位置姿勢と、撮像システム１２０の位置姿勢と視差画像上のパターン像の位置から、パターン投影ステレオ法で、被写体の二次距離情報を算出する。

【0053】

ステップＳ１５１４で、距離形状算出部１５３は、一次距離情報、二次距離情報、面法線情報を比較し、エラー値の除去や平均化を行うことにより、より安定した高精度な距離形状情報を取得することができる。以上の通り本実施形態では、パッシブステレオ法で求めた一次距離情報と、縞間隔を用いた面法線情報を統合して１つの距離形状情報を算出することでより高精度な距離形状情報を生成することができる。

【0054】

［第４の実施形態］
本実施形態では、投影装置１１０により投影される縞状パターンに基づく画像中の縞の連続性を解析することで、被写体の境界領域を抽出し、その情報を用いて、高精度に距離形状情報を取得する。本実施形態に係る処理フローを図８Ａを用いて説明する。なお、図８Ａのフローの各処理も、計測装置１５０の制御部１５１により、あるいは制御部１５１の制御に従って各ブロックが動作することにより実施される。

【0055】

ステップＳ１５２１で、制御部１５１が、通信部を介して投影装置１１０に縞状パターンの投影指示を行い、また通信部を介して撮像システム１２０に縞状パターンが投影された状態で撮像を指示し、撮像システム１２０から撮像により得られる一対の視差画像を取得する。

【0056】

次にステップＳ１５２２で、距離形状算出部１５３が、被写体の境界部情報を生成する。図６Ｂにおいて、平面である領域２１０の縞は、線の方向が一定であり、曲面である領域２１１の縞は、線の方向は変化しているが、その変化は緩やかである。一方、距離の変化が大きい領域（境界部）２１２では線の方向が急激に変化している。図８Ｂでは、平面と手前側に奥行方向に離れた位置に置かれた平面の物体で構成された被写体の画像の例であり、奥行方向に段差がある被写体の境界部２２２では、縞の線が途切れて不連続になる。このように、縞の連続性を解析することで、距離の変化が大きい領域、つまり被写体の境界部を抽出することができる。

【0057】

ステップＳ１５２３で、距離形状算出部１５３が、パッシブステレオ法で、撮像した視差画像から被写体の一次距離情報を算出する。

【0058】

次にステップＳ１５２４で、距離形状算出部１５３が、被写体の境界部情報を用いて、一次距離情報から高精度な距離形状情報を生成する。距離変化が大きい境界領域では、原理的にステレオ法は精度が低下する。そこで、抽出した境界領域については、距離をステレオ法で求めた一次距離情報は用いず、境界領域を挟むそれぞれの領域での一次距離情報を境界部まで延長するようにして、距離形状情報を作成する。例えば、図８Ｂに示す例においては、境界部２２２を挟んで領域２２１側では領域２２１の一次距離情報を用い、領域２２０側では領域２２０の一次距離情報を用いる。図６Ｂに示す例においては、境界部２１２を挟んで領域２１０側では領域２１０の一次距離情報を用い、領域２１１側では領域２１１内の面法線の変化が連続的になるように一次距離情報を生成する。このように、縞の形状をもとに被写体の境界領域を抽出し、それに基づいて距離情報を求めることで、距離変化の大きい境界部でも、精度良く距離形状情報を求めることができる。このとき、パターン投影ステレオ法で求めた二次距離情報や縞間隔から求めた面法線情報を用いることにより、さらに高精度に被写体の距離形状情報を求めることができる。

【0059】

そしてステップＳ１５２５で、制御部１５１は、算出した高精度な距離形状情報を、図示しない記憶部に記憶、あるいは記録部や通信部等を介して外部装置に出力する。

【0060】

以上の通り、本実施形態では、投影装置１１０により縞状のパターン光を投影させ、被写体とパターン光を含む画像中の縞の連続性を解析することで、被写体の境界領域を抽出し、その境界領域の情報を用いてより高精度に距離形状情報を取得することができる。

【0061】

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0062】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0063】

１００ 計測システム
１１０ 投影装置
１２０ 撮像システム
１３０ 第１のカメラ
１４０ 第２のカメラ
１５０ 計測装置

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7A】

【図7B】

【図8A】

【図8B】