(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-31
(45)【発行日】2022-11-09
(54)【発明の名称】３次元計測システム及び３次元計測方法
(51)【国際特許分類】
G01B 11/25 20060101AFI20221101BHJP
【ＦＩ】
G01B11/25 H
【請求項の数】
11
(21)【出願番号】P 2021519994
(86)(22)【出願日】2019-05-22
(86)【国際出願番号】 JP2019020355
(87)【国際公開番号】W WO2020235067
(87)【国際公開日】2020-11-26
【審査請求日】2021-11-08
(73)【特許権者】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】太田 潤
(72)【発明者】
【氏名】松本 慎也
(72)【発明者】
【氏名】木口 哲也
【審査官】大森 努
(56)【参考文献】
【文献】特開２０１７－０３７１８９（ＪＰ，Ａ）
【文献】特開２０１３－２２４８９５（ＪＰ，Ａ）
【文献】特開２０１５－１３５２９３（ＪＰ，Ａ）
【文献】特開２０１７－０３２３３５（ＪＰ，Ａ）
【文献】特表２００６－５２８７７０（ＪＰ，Ａ）
【文献】特表２０１９－５１９８３９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／００７８２６４（ＵＳ，Ａ１）
【文献】国際公開第２０１１／０３３１８６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００－１１／３０，
Ｇ０１Ｃ ３／００，
Ｇ０６Ｔ ７／５０
(57)【特許請求の範囲】
【請求項1】
対象物にパターン光を投影する投光装置と、前記対象物を撮影する第１カメラと、
前記第１カメラとは異なる視点で前記対象物を撮影する第２カメラと、
前記第１カメラから得られる第１画像及び前記第２カメラから得られる第２画像を処理することによって、前記対象物の３次元情報を取得する画像処理装置と、を備え、
前記画像処理装置は、
前記第１画像を用い、空間符号化パターン方式により、第１のデプス情報を取得する第１計測手段と、
前記第１のデプス情報から予測される前記第１画像と前記第２画像の間の視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段と、
前記第１画像と前記第２画像を用い、前記設定された探索範囲に限定したステレオマッチングを行うことにより、前記第１のデプス情報よりも空間分解能の高い第２のデプス情報を取得する第２計測手段と、を有し、
前記パターン光は、１つのデプス値に対応する領域である単位要素が規則的に配置された空間符号化パターンと、複数のランダム片が不規則に配置されたランダムパターンと、が合成された合成パターンを有する
ことを特徴とする３次元計測システム。
【請求項2】
前記単位要素の面積をＳ１、前記単位要素の領域内に付加されたランダム片の合計面積をＳ２、
としたときに、
前記合成パターンは、
０．０２＜Ｓ２／Ｓ１＜０．１２
を満たす
ことを特徴とする請求項１に記載の３次元計測システム。
【請求項3】
前記合成パターンは、０．０４＜Ｓ２／Ｓ１＜０．１
を満たす
ことを特徴とする請求項２に記載の３次元計測システム。
【請求項4】
前記単位要素は、当該単位要素の値を表す構造を１つ以上含み、前記ランダム片は、前記単位要素のうち前記構造が配置されている領域以外の領域に付加される
ことを特徴とする請求項１～３のうちいずれか一項に記載の３次元計測システム。
【請求項5】
前記単位要素は、当該単位要素の値を表す構造を１つ以上含み、前記ランダム片は、前記単位要素のうち前記構造が配置されている領域に、前記構造と区別可能な輝度又は色で、付加される
ことを特徴とする請求項１～３にうちいずれか一項に記載の３次元計測システム。
【請求項6】
前記構造の最小面積をＳ３、前記ランダム片の最大面積をＳ４、
としたときに、
前記合成パターンは、
Ｓ４＜Ｓ３／２
を満たす
ことを特徴とする請求項４又は５に記載の３次元計測システム。
【請求項7】
前記投光装置及び前記第１カメラは、前記単位要素が前記第１カメラの撮像素子上で３画素×３画素以上のサイズに結像するように設定されることを特徴とする請求項１～６のうちいずれか一項に記載の３次元計測システム。
【請求項8】
前記投光装置、前記第１カメラ、及び前記第２カメラは、前記構造が前記第１カメラ及び前記第２カメラそれぞれの撮像素子上で３／２画素×３／２画素以上のサイズに結像するように設定されることを特徴とする請求項４～６のうちいずれか一項に記載の３次元計測システム。
【請求項9】
前記投光装置、前記第１カメラ、及び前記第２カメラは、前記ランダム片が前記第１カメラ及び前記第２カメラそれぞれの撮像素子上で１／４画素×１／４画素以上のサイズに結像するように設定されることを特徴とする請求項１～８のうちいずれか一項に記載の３次元計測システム。
【請求項10】
対象物にパターン光を投影するステップと、前記対象物を異なる視点から撮影して、第１画像と第２画像を取得するステップと、
前記第１画像を用い、空間符号化パターン方式により、第１のデプス情報を取得するステップと、
前記第１のデプス情報から予測される前記第１画像と前記第２画像の間の視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定するステップと、
前記第１画像と前記第２画像を用い、前記設定された探索範囲に限定したステレオマッチングを行うことにより、前記第１のデプス情報よりも空間分解能の高い第２のデプス情報を取得するステップと、を有し、
前記パターン光は、１つのデプス値に対応する領域である単位要素が規則的に配置された空間符号化パターンと、複数のランダム片が不規則に配置されたランダムパターンと、が合成された合成パターンを有する
ことを特徴とする３次元計測方法。
【請求項11】
３次元計測システムが有する１つ以上のプロセッサに、請求項１０に記載の３次元計測方法の各ステップを実行させるためのプログラム。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を用いた３次元計測に関する。
【背景技術】
【0002】
画像を用いて対象物の３次元計測を行う手法として、アクティブ計測が知られている。アクティブ計測では、対象物にパターン光を投影した状態で撮影を行い、得られた画像上のパターンの位置から、三角測量の原理を用いて対象物の３次元情報（例えば各画素のデプス情報）を求める。
【0003】
非特許文献１には、空間的な符号化がなされたパターン（「空間符号化パターン」と呼ぶ）を対象物表面に投影して撮像を行い、画像に現れるパターンを復号することでデプス情報を求める手法が開示されている。この手法は高速かつ高精度な計測が可能であるが、複数画素を利用してデプス値を算出することに起因して、空間分解能が低いという課題がある。
【0004】
一方、空間分解能が高い手法として、異なる視点から撮影された２つの画像を用いて対象物の３次元形状を計測する、いわゆるステレオマッチング（ステレオカメラ方式とも呼ばれる）が知られている。図２３にステレオマッチングの原理を示す。ステレオマッチングでは、例えば左右に配置した２台のカメラで対象物Ｏを同時に撮影し、２枚の画像を得る。一方を基準画像Ｉ１、他方を比較画像Ｉ２とし、基準画像Ｉ１中の画素（基準点Ｐ１）と画像特徴が最も近い画素（対応点Ｐ２）を、比較画像Ｉ２中のエピポーラ線Ｅに沿って探索し、基準点Ｐ１と対応点Ｐ２の間の座標の差（視差）を求める。各カメラの幾何学的な位置は既知であるので、三角測量の原理により、視差から奥行方向の距離Ｄ（デプス）を算出でき、対象物Ｏの３次元形状を復元することができる。
【先行技術文献】
【非特許文献】
【0005】
【文献】P. Vuylsteke and A. Oosterlinck, Range Image Acquisition with a Single Binary-Encoded Light Pattern, IEEE PAMI 12(2), pp. 148-164, 1990.
【発明の概要】
【発明が解決しようとする課題】
【0006】
ステレオマッチングは、高解像のカメラを用いることによって、計測精度の向上を図ることができるとともに、計測点（対応点が見つかり、距離情報の取得に成功した画素）の数及び空間分解能を高めることができる、という特性をもつ。しかしその反面、カメラから取り込まれる入力画像の画素数が多くなるほど、対応点の探索に時間を要し、計測時間が著しく増大するというデメリットがある。
【0007】
本発明は、上記実情に鑑みてなされたものであり、ステレオマッチングによる計測において、高い精度と高速な処理を両立するための技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一側面は、対象物にパターン光を投影する投光装置と、前記対象物を撮影する第１カメラと、前記第１カメラとは異なる視点で前記対象物を撮影する第２カメラと、前記第１カメラから得られる第１画像及び前記第２カメラから得られる第２画像を処理することによって、前記対象物の３次元情報を取得する画像処理装置と、を備え、前記画像処理装置は、前記第１画像を用い、空間符号化パターン方式により、第１のデプス情報を取得する第１計測手段と、前記第１のデプス情報から予測される前記第１画像と前記第２画像の間の視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段と、前記第１画像と前記第２画像を用い、前記設定された探索範囲に限定したステレオマッチングを行うことにより、前記第１のデプス情報よりも空間分解能の高い第２のデプス情報を取得する第２計測手段と、を有し、前記パターン光は、１つのデプス値に対応する領域である単位要素が規則的に配置された空間符号化パターンと、複数のランダム片が不規則に配置されたランダムパターンと、が合成された合成パターンを有することを特徴とする３次元計測システムを提供する。
【0009】
従来の一般的なステレオマッチングでは、比較画像の全体から対応点の探索を行うため、高解像度の画像を用いると不可避的に処理時間が長くなってしまう。これに対し、上記構成では、予測された視差に基づき対応点の探索範囲が限定される。これにより、探索範囲を格段に狭くできるため、対応点の探索に要する時間を大幅に短縮することができる。また、ランダムパターンを合成したパターン光を用いたので、対象物表面の明暗分布の複雑さ（画像特徴の多様さ）が増す。これにより、ステレオマッチング、つまり対応点探索の成功率及び精度を向上することができる。したがって、本システムによれば、空間分解能の高い３次元計測を、高速かつ高精度に行うことができる。
【0010】
前記単位要素の面積をＳ１、前記単位要素の領域内に付加されたランダム片の合計面積をＳ２、としたときに、前記合成パターンは、
０．０２＜Ｓ２／Ｓ１＜０．１２
を満たしてもよい。この範囲に設定することで、ステレオマッチングの成功率と処理時間のバランスがとれた処理が可能となる。
０．０２＜Ｓ２／Ｓ１＜０．１２
を満たしてもよい。この範囲に設定することで、ステレオマッチングの成功率と処理時間のバランスがとれた処理が可能となる。
【0011】
前記合成パターンは、
０．０４＜Ｓ２／Ｓ１＜０．１
を満たしてもよい。この範囲に設定することで、ステレオマッチングの精度と速度を実質的に最大化することができると期待できる。
０．０４＜Ｓ２／Ｓ１＜０．１
を満たしてもよい。この範囲に設定することで、ステレオマッチングの精度と速度を実質的に最大化することができると期待できる。
【0012】
前記単位要素は、当該単位要素の値を表す構造を１つ以上含み、前記ランダム片は、前記単位要素のうち前記構造が配置されている領域以外の領域に付加されてもよい。このような配置によれば、ランダム片がパターン復号に悪影響を与える可能性を小さくできる。
【0013】
前記単位要素は、当該単位要素の値を表す構造を１つ以上含み、前記ランダム片は、前記単位要素のうち前記構造が配置されている領域に、前記構造と区別可能な輝度又は色で、付加されてもよい。輝度又は色で区別可能な態様でランダム片を付加することにより、構造の上にランダム片を重ねることも可能となる。これにより、ランダム片を付加できる位置の自由度が増すので、さまざまな方式の空間符号化パターンとの組み合わせが可能となる。
【0014】
前記構造の最小面積をＳ３、前記ランダム片の最大面積をＳ４、としたときに、前記合成パターンは、
Ｓ４＜Ｓ３／２
を満たしてもよい。ランダム片のサイズが構造のサイズの半分より小さければ、構造の上にランダム片が重なったとしても、空間符号化パターンの構造を変化させないので、パターンの復号率を維持することができる。
Ｓ４＜Ｓ３／２
を満たしてもよい。ランダム片のサイズが構造のサイズの半分より小さければ、構造の上にランダム片が重なったとしても、空間符号化パターンの構造を変化させないので、パターンの復号率を維持することができる。
【0015】
前記投光装置及び前記第１カメラは、前記単位要素が前記第１カメラの撮像素子上で３画素×３画素以上のサイズに結像するように設定されてもよい。単位要素の一辺が３画素より小さくなると、単位要素内の構造が解像されず、パターンの復号率が低下するおそれがあるからである。
【0016】
前記投光装置、前記第１カメラ、及び前記第２カメラは、前記構造が前記第１カメラ及び前記第２カメラそれぞれの撮像素子上で３／２画素×３／２画素以上のサイズに結像するように設定されてもよい。構造の一辺が３／２画素より小さくなると、構造がうまく解像されず、パターンの復号率が低下するおそれがあるからである。
【0017】
前記投光装置、前記第１カメラ、及び前記第２カメラは、前記ランダム片が前記第１カメラ及び前記第２カメラそれぞれの撮像素子上で１／４画素×１／４画素以上のサイズに結像するように設定されてもよい。ランダム片の最小サイズをこのように設定することにより、ランダムパターンの効果を担保することができる。
【0018】
本発明の一側面は、対象物にパターン光を投影するステップと、前記対象物を異なる視点から撮影して、第１画像と第２画像を取得するステップと、前記第１画像を用い、空間符号化パターン方式により、第１のデプス情報を取得するステップと、前記第１のデプス情報から予測される前記第１画像と前記第２画像の間の視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定するステップと、前記第１画像と前記第２画像を用い、前記設定された探索範囲に限定したステレオマッチングを行うことにより、前記第１のデプス情報よりも空間分解能の高い第２のデプス情報を取得するステップと、を有し、前記パターン光は、１つのデプス値に対応する領域である単位要素が規則的に配置された空間符号化パターンと、複数のランダム片が不規則に配置されたランダムパターンと、が合成された合成パターンを有することを特徴とする３次元計測方法を提供する。
【0019】
本発明は、上記手段の少なくとも一部を有する画像処理装置又は３次元計測システムとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む画像処理方法、３次元計測方法、測距方法、画像処理装置の制御方法、３次元計測システムの制御方法などとして捉えてもよく、または、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えてもよい。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【0020】
本発明によれば、ステレオマッチングによる計測において、高い精度と高速な処理を両立することが可能である。
【図面の簡単な説明】
【0021】
【発明を実施するための形態】
【0022】
＜適用例＞
図１は、本発明の適用例の一つである３次元計測システムの構成例を模式的に示す図である。３次元計測システム１は、画像センシングによって対象物１２の３次元形状を計測するためのシステムであり、概略、センサユニット１０と画像処理装置１１から構成される。センサユニット１０は、少なくとも、パターン光を投影する投光装置と１つ以上のカメラ（イメージセンサや撮像装置とも呼ばれる）を備えており、必要に応じて他のセンサや照明を備える場合もある。センサユニット１０の出力は画像処理装置１１に取り込まれる。画像処理装置１１は、センサユニット１０から取り込まれたデータを用いて各種の処理を行うデバイスである。画像処理装置１１の処理としては、例えば、距離計測（測距）、３次元形状認識、物体認識、シーン認識などが含まれてもよい。画像処理装置１１の処理結果は、例えば、ディスプレイなどの出力装置に出力されたり、外部に転送されて検査や他の装置の制御等に利用される。このような３次元計測システム１は、例えば、コンピュータビジョン、ロボットビジョン、マシンビジョンをはじめとして、幅広い分野に適用される。
図１は、本発明の適用例の一つである３次元計測システムの構成例を模式的に示す図である。３次元計測システム１は、画像センシングによって対象物１２の３次元形状を計測するためのシステムであり、概略、センサユニット１０と画像処理装置１１から構成される。センサユニット１０は、少なくとも、パターン光を投影する投光装置と１つ以上のカメラ（イメージセンサや撮像装置とも呼ばれる）を備えており、必要に応じて他のセンサや照明を備える場合もある。センサユニット１０の出力は画像処理装置１１に取り込まれる。画像処理装置１１は、センサユニット１０から取り込まれたデータを用いて各種の処理を行うデバイスである。画像処理装置１１の処理としては、例えば、距離計測（測距）、３次元形状認識、物体認識、シーン認識などが含まれてもよい。画像処理装置１１の処理結果は、例えば、ディスプレイなどの出力装置に出力されたり、外部に転送されて検査や他の装置の制御等に利用される。このような３次元計測システム１は、例えば、コンピュータビジョン、ロボットビジョン、マシンビジョンをはじめとして、幅広い分野に適用される。
【0023】
図１の構成はあくまで一例であり、３次元計測システム１の用途に応じてそのハードウェア構成は適宜設計すればよい。例えば、センサユニット１０と画像処理装置１１は無線で接続されてもよいし、センサユニット１０と画像処理装置１１が一体の装置で構成されていてもよい。また、センサユニット１０と画像処理装置１１をＬＡＮ又はインターネット等の広域ネットワークを介して接続してもよい。また、１つの画像処理装置１１に対し複数のセンサユニット１０を設けてもよいし、逆に、１つのセンサユニット１０の出力を複数の画像処理装置１１に提供してもよい。さらに、センサユニット１０をロボットや移動体に取り付けるなどしてセンサユニット１０の視点を移動可能にしてもよい。
【0024】
図２は、３次元計測システム１の機能及び処理の概要を模式的に示す図である。３次元計測システム１は、対象物１２の距離を計測するための計測系として、第１の計測系２１と第２の計測系２２の２つを備えている。各計測系２１、２２の機能及び処理は、センサユニット１０と画像処理装置１１とが協働して実現されるものである。
【0025】
第１の計測系２１は、空間符号化パターン方式によって対象物１２までの奥行距離（デプス）を計測する、第１の測距手段である。第２の計測系２２は、ステレオマッチング（ステレオカメラ方式とも呼ばれる）によって対象物１２までの奥行距離（デプス）を計測する、第２の測距手段である。第１の計測系２１と第２の計測系２２で同じカメラ（つまり、同じ解像度の画像）を用いる場合、空間符号化パターン方式により得られる距離情報（第１のデプス情報）に比べて、ステレオマッチングで得られる距離情報（第２のデプス情報）の方が空間分解能が高い。したがって、本システム１は、第１の計測系２１で得られる距離情報を、第２の計測系２２で観測される視差を大まかに予測しステレオマッチングにおける探索範囲を絞り込む目的で補助的に利用し、第２の計測系２２によって生成される距離情報を最終的な出力とする。
【0026】
【0027】
（１）センサユニット１０が、投光装置から対象物１２にパターン光を投影する。図３に示すように、本システム１では、空間符号化パターン３０とランダムパターン３１とが合成された合成パターン３２が用いられる。空間符号化パターン３０は、空間符号化パターン方式による距離計測のためのパターンであり、所定サイズの単位要素３００が規則的に配置されたものである。単位要素３００は、１つのデプス値に対応する最小領域である。ランダムパターン３１は、複数の小片（ランダム片と呼ぶ）が不規則に配置されたパターンである。
【0028】
（２）センサユニット１０が、パターン光が投影された対象物１２を撮影し、２枚の画像（第１画像、第２画像と呼ぶ）からなるステレオ画像ペアを取得する。この２枚の画像は、対象物１２に対する視差が生ずるように、対象物１２を異なる視点（視線方向）から撮影したものである。センサユニット１０が複数のカメラを備えている場合には、２台のカメラで第１画像と第２画像を同時に撮影してもよい。あるいは、カメラを移動させながら連続的に撮影することで、単一のカメラで第１画像と第２画像を取得してもよい。
【0029】
（３）第１の計測系２１が、第１画像を用い、空間符号化パターン方式により、対象物１２の第１のデプス情報を取得する。第１の計測系２１は、第１のデプス情報に基づき第１画像と第２画像の間の視差を予測し、その予測した視差の２次元空間分布を視差マップとして出力する。本明細書では、第２の計測系２２のステレオマッチングで生成される視差マップと区別するため、第１の計測系２１で生成される視差マップを「参考視差マップ」と呼ぶ。第１のデプス情報及び参考視差マップの空間分解能は、空間符号化パターン３０の単位要素３００のサイズに依存して決まる。例えば、単位要素３００が第１画像において４画素×４画素のサイズとなる場合、第１のデプス情報及び参考視差マップの空間分解能は、第１画像の解像度の１／４となる。
【0030】
（４）第２の計測系２２が、第１の計測系２１から取得した参考視差マップを用いて、ステレオマッチングにおける対応点の探索範囲を設定する。予測視差がある程度の誤差を含むことは避けられないため、対応点の探索範囲は、その誤差範囲を包含するように設定するとよい。例えば、予測視差の値がｄ［画素］であり、誤差が±ｄｅｒｒ［画素］である場合には、探索範囲をｄ－ｄｅｒｒ－ｃ～ｄ＋ｄｅｒｒ＋ｃのように設定してもよい。ｃはマージンである。なお、画像内のすべての画素に対し個別に探索範囲を設定してもよいし、画像内での局所的な視差の変化が大きくない場合などは、画像を複数のエリアに分割してエリア単位で探索範囲を設定してもよい。
【0031】
（５）第２の計測系２２が、設定された探索範囲の中から、第１画像と第２画像の間の各画素の対応点を探索する。例えば、第１画像を基準画像、第２画像を比較画像とした場合、第１画像中の画素（基準点）に画像特徴が最も近い第２画像中の画素が対応点として選ばれ、基準点と対応点の座標の差が、当該基準点における視差として求まる。第１画像中のすべての画素について対応点の探索が行われ、その探索結果から視差マップが生成される。視差マップは、各画素の座標に視差情報が関連付けられたデータである。
【0032】
（６）第２の計測系２２は、三角測量の原理を用いて、視差マップの視差情報を距離情報に変換し、デプスマップ（第２のデプス情報）を生成する。第２の計測系２２により得られる第２のデプス情報の空間分解能は、第１画像及び第２画像の解像度により決まる。したがって、第１の計測系２１に比べて、空間分解能が高いデプス情報を得ることができる。
【0033】
従来の一般的なステレオマッチングでは、比較画像の全体から対応点の探索を行うため、高解像度の画像を用いると不可避的に処理時間が長くなってしまう。これに対し、上記構成では、予測された視差に基づき対応点の探索範囲が限定される。これにより、探索範囲を格段に狭くできるため、対応点の探索に要する時間を大幅に短縮することができる。また、ランダムパターンを合成したパターン光を用いたので、対象物表面の明暗分布の複雑さ（画像特徴の多様さ）が増す。これにより、ステレオマッチング、つまり対応点探索の成功率及び精度を向上することができる。したがって、本システム１によれば、空間分解能の高い３次元計測を、高速かつ高精度に行うことができる。
【0034】
＜パターン光の説明＞
次に、図３の合成パターン３２について詳しく説明する。合成パターン３２は、ベースとなる空間符号化パターン３０に対しランダムパターン３１が重畳（合成）されたものである。１つの投光装置から合成パターン３２を投影してもよいし、２つの投光装置から空間符号化パターン３０とランダムパターン３１を個別に投影し、対象物表面上で２つのパターン３０、３１を重ね合せてもよい。図３等においてパターンを白黒で描いているが、白色の部分が明部（光が照射される領域）、黒色の部分が暗部（光が照射されない領域）を表すものとする。なお、パターンは白黒（明暗）の二値である必要はなく、多値のパターンでもよい。
次に、図３の合成パターン３２について詳しく説明する。合成パターン３２は、ベースとなる空間符号化パターン３０に対しランダムパターン３１が重畳（合成）されたものである。１つの投光装置から合成パターン３２を投影してもよいし、２つの投光装置から空間符号化パターン３０とランダムパターン３１を個別に投影し、対象物表面上で２つのパターン３０、３１を重ね合せてもよい。図３等においてパターンを白黒で描いているが、白色の部分が明部（光が照射される領域）、黒色の部分が暗部（光が照射されない領域）を表すものとする。なお、パターンは白黒（明暗）の二値である必要はなく、多値のパターンでもよい。
【0035】
（空間符号化パターン）
図４は、空間符号化パターン３０を構成する単位要素３００の例を示している。単位要素３００は、１つのデプス値に対応する最小領域であり、「プリミティブ」とも呼ばれる。図４に示す単位要素３００は、「グリッド」と呼ばれる２×２の格子の中央に、「ビット」と呼ばれる矩形が配置された構造を有している。グリッドの種類が２つ、ビットの種類が２つであるため、グリッドとビットの組合せにより、単位要素３００は４種類の値をとることができる。
図４は、空間符号化パターン３０を構成する単位要素３００の例を示している。単位要素３００は、１つのデプス値に対応する最小領域であり、「プリミティブ」とも呼ばれる。図４に示す単位要素３００は、「グリッド」と呼ばれる２×２の格子の中央に、「ビット」と呼ばれる矩形が配置された構造を有している。グリッドの種類が２つ、ビットの種類が２つであるため、グリッドとビットの組合せにより、単位要素３００は４種類の値をとることができる。
【0036】
（ランダムパターン）
ランダムパターン３１は、複数のランダム片が不規則に配置されたパターンである。「不規則に配置」とは、全く規則性も再現性も無い完全にランダムな配置であってもよいし、擬似乱数を用いて決定した配置であってもよい。各ランダム片は、１つのドット（画素）又は連続する複数のドット（画素）から構成され、その形状及びサイズは固定でも可変でもよく、また１種類でも複数種類でもよい。単位要素３００の領域内に、１つ以上のランダム片が付加されるとよく、各ランダム片は単位要素３００内の構造（ビット、グリッド）と区別可能な輝度又は色をもつとよい。図３の例では、ランダム片と単位要素３００内の構造との明暗（白黒）が反転するように、各ランダム片の輝度が設定されている。
ランダムパターン３１は、複数のランダム片が不規則に配置されたパターンである。「不規則に配置」とは、全く規則性も再現性も無い完全にランダムな配置であってもよいし、擬似乱数を用いて決定した配置であってもよい。各ランダム片は、１つのドット（画素）又は連続する複数のドット（画素）から構成され、その形状及びサイズは固定でも可変でもよく、また１種類でも複数種類でもよい。単位要素３００の領域内に、１つ以上のランダム片が付加されるとよく、各ランダム片は単位要素３００内の構造（ビット、グリッド）と区別可能な輝度又は色をもつとよい。図３の例では、ランダム片と単位要素３００内の構造との明暗（白黒）が反転するように、各ランダム片の輝度が設定されている。
【0037】
ランダムパターン３１を付加することによって、空間符号化パターン３０のみを投影した場合に比べ、ステレオマッチングの成功率及び精度の向上が期待できる。空間符号化パターン３０のみでは対象物表面上に現れる明暗分布が規則性をもつため、対応点探索において不正解の対応点を選んでしまうおそれが高いのに対し、ランダムパターン３１の付加により明暗分布の複雑さ（画像特徴の多様さ）が増すと、正解の対応点を検出することが容易になるからである。特に、対象物表面の画像特徴が不明りょうとなる低コントラスト条件下で、その効果が顕著となる。
【0038】
（ランダムパターンの付加量）
図５は、ランダムパターンの付加量を変えた場合の、低コントラスト条件下でのステレオマッチングの成功率の変化を示している。横軸が、空間符号化パターン３０に対するランダムパターン３１の割合であり、縦軸が、ステレオマッチングの成功率（対応点探索の成功率）である。
図５は、ランダムパターンの付加量を変えた場合の、低コントラスト条件下でのステレオマッチングの成功率の変化を示している。横軸が、空間符号化パターン３０に対するランダムパターン３１の割合であり、縦軸が、ステレオマッチングの成功率（対応点探索の成功率）である。
【0039】
本明細書では、空間符号化パターン３０に対するランダムパターン３１の割合を指標Ｓ２／Ｓ１で表す。ここで、Ｓ１は、空間符号化パターン３０の単位要素３００の面積であり、Ｓ２は、単位要素３００の領域内に付加されているランダム片の合計面積である。図６の例であれば、単位要素３００が６４画素（８画素×８画素）の正方形からなり、その中に、４つのランダム片６０（１画素のランダム片が３つと、３画素のランダム片が１つ。）が付加されているので、Ｓ１＝６４、Ｓ２＝６であり、Ｓ２／Ｓ１＝０．０９３７５となる。
【0040】
図５のグラフ５０は、単位要素３００がカメラの撮像素子上で４画素×４画素のサイズに結像するように設定した場合の実験結果であり、グラフ５１は、単位要素３００が撮像素子上で１０画素×１０画素のサイズに結像するように設定した場合の実験結果である。単位要素３００の結像サイズは、投光装置の投影倍率、カメラのレンズ倍率、投光装置やカメラの配置（対象物からの距離）などを調整することで任意に設定することができる。図７Ａ及び図７Ｂは、図６の単位要素３００を対象物に投影し、低コントラスト条件下で撮影した場合に得られる画像のシミュレーションである。図７Ａが４画素×４画素の結像サイズの画像であり、図７Ｂが１０画素×１０画素の結像サイズの画像である。
【0041】
図５のグラフ５０、５１からわかるように、ランダムパターンが付加されていない場合（Ｓ２／Ｓ１＝０）にステレオマッチングの成功率は最も低く、ランダムパターンの付加量が増加するほどステレオマッチングの成功率が上昇する。本発明者らの実験によると、ランダムパターンの付加量Ｓ２／Ｓ１は、０．０２より大きいとよく、０．０４より大きいとさらに好ましい。
【0042】
図８は、ランダムパターンの付加量を変えた場合の、低コントラスト条件下での空間符号化パターン方式のパターン復号の成功率の変化を示している。横軸が、空間符号化パターン３０に対するランダムパターン３１の割合であり、縦軸が、パターン復号の成功率である。図８のグラフ８０は、単位要素３００がカメラの撮像素子上で４画素×４画素のサイズに結像するように設定した場合の実験結果であり、グラフ８１は、単位要素３００が撮像素子上で１０画素×１０画素のサイズに結像するように設定した場合の実験結果である。
【0043】
図８のグラフ８０、８１からわかるように、ランダムパターンが付加されていない場合（Ｓ２／Ｓ１＝０）にパターン復号の成功率が最も高く、ランダムパターンの付加量がある閾値を超えるとパターン復号の成功率が急激に低下する。パターン復号の成功率が低いと、デプスを計算できる点、すなわち視差を予測できる点の数が少なくなる。そうなると、ステレオマッチングにおいて、対応点探索の範囲を限定できる箇所が少なくなり、その結果として、ステレオマッチングの処理時間が増大してしまう。本発明者らの実験によると、ランダムパターンの付加量Ｓ２／Ｓ１は、０．１２より小さいとよく、０．１より小さいとさらに好ましい。
【0044】
以上のことから、ランダムパターンの付加量Ｓ２／Ｓ１は、少なくとも、
０．０２＜Ｓ２／Ｓ１＜０．１２
を満足することが好ましい。この範囲に設定することで、ステレオマッチングの成功率と処理時間のバランスがとれた処理が可能となる。
０．０２＜Ｓ２／Ｓ１＜０．１２
を満足することが好ましい。この範囲に設定することで、ステレオマッチングの成功率と処理時間のバランスがとれた処理が可能となる。
【0045】
さらに、ランダムパターンの付加量Ｓ２／Ｓ１は、
０．０４＜Ｓ２／Ｓ１＜０．１
であることがより好ましい。この範囲に設定することで、ステレオマッチングの成功率とパターン復号の成功率の両方を実質的に最大化できる。すなわち、ステレオマッチングの精度と速度を実質的に最大化することができる。
０．０４＜Ｓ２／Ｓ１＜０．１
であることがより好ましい。この範囲に設定することで、ステレオマッチングの成功率とパターン復号の成功率の両方を実質的に最大化できる。すなわち、ステレオマッチングの精度と速度を実質的に最大化することができる。
【0046】
（ランダムパターンのサイズ）
ランダムパターンのサイズは、空間符号化パターンの構造を変化させない程度の大きさに設定するとよい。「構造を変化させる」とは、カメラで撮影した画像からパターンを復号したときに間違った値が得られてしまうこと、又は、復号そのものに失敗すること、を意味する。
ランダムパターンのサイズは、空間符号化パターンの構造を変化させない程度の大きさに設定するとよい。「構造を変化させる」とは、カメラで撮影した画像からパターンを復号したときに間違った値が得られてしまうこと、又は、復号そのものに失敗すること、を意味する。
【0047】
例えば、本実施形態のような白黒の二値のパターンの場合において、単位要素３００の値を表す構造（ビット、グリッドなど）のうち最も小さいものの面積をＳ３、単位要素３００内に付加されたランダム片のうち最も大きいものの面積をＳ４としたときに、
Ｓ４＜Ｓ３／２
を満足するように、ランダムパターンのサイズを設定するとよい。
Ｓ４＜Ｓ３／２
を満足するように、ランダムパターンのサイズを設定するとよい。
【0048】
図９Ａ～図９Ｃに、黒色の構造９０に白色のランダム片９１が重なる例を示す。図９Ａは構造９０の例である。図９Ｂのように、もしランダム片９１が構造９０の面積の半分以上（Ｓ４≧Ｓ３／２）を占めると、白色の面積の方が広くなるため、「黒」と解釈されるべき構造９０が「白」と誤って解釈されてしまう。これに対し、図９Ｃのように、ランダム片９１のサイズが構造９０のサイズの半分より小さければ（Ｓ４＜Ｓ３／２）、構造９０にランダム片９１が重なったとしても、依然として黒色の面積の方が広いため、この構造９０は「黒」と正しく判定される。
【0049】
（結像サイズ）
本発明者らの実験によると、単位要素３００の結像サイズは３画素×３画素以上であることが好ましい。単位要素３００の一辺が３画素より小さくなると、単位要素３００内の構造（ビット、グリッド）が解像されず、構造の明暗（白黒）が正確に判別できなくなり、パターンの復号率が著しく低下するからである。パターンの復号率の観点では、単位要素３００の結像サイズはできるだけ大きい方がよい。ただし、結像サイズが大きくなるほど、空間符号化パターン方式で得られるデプス情報の空間解像度が低下するため、実用上は、３画素×３画素～１０画素×１０画素程度が好ましい。
本発明者らの実験によると、単位要素３００の結像サイズは３画素×３画素以上であることが好ましい。単位要素３００の一辺が３画素より小さくなると、単位要素３００内の構造（ビット、グリッド）が解像されず、構造の明暗（白黒）が正確に判別できなくなり、パターンの復号率が著しく低下するからである。パターンの復号率の観点では、単位要素３００の結像サイズはできるだけ大きい方がよい。ただし、結像サイズが大きくなるほど、空間符号化パターン方式で得られるデプス情報の空間解像度が低下するため、実用上は、３画素×３画素～１０画素×１０画素程度が好ましい。
【0050】
また、単位要素３００内の構造の結像サイズは３／２画素×３／２画素以上であることが好ましい。構造の一辺が３／２画素より小さくなると、（例えば、構造がちょうど２つの画素にまたがる位置に結像した場合などに）構造がうまく解像されず、構造の明暗（白黒）が正確に判別できなくなり、パターンの復号率が低下するからである。なお、構造のサイズの上限は、単位要素３００のサイズとの関係で決まる。例えば、単位要素３００の面積をＳ１、構造の面積をＳ３としたとき、Ｓ３≦Ｓ１／４に設定するとよい。
【0051】
一方で、ランダム片の結像サイズは１／４画素×１／４画素以上であることが好ましい。ランダムパターンを画像上で認識できる信号値で撮像するには、ランダム片とその周辺の画素との信号値の差を少なくとも２ｄｉｇｉｔ以上にするとよい。図１０のようにランダム片９５が撮像素子９６の画素にまたがる場合が最もパターンのコントラストが小さくなる（つまり、パターンの効果が失われる）場合である。例えば、信号値を８ｂｉｔ（＝２５６ｄｉｇｉｔ）で出力するカメラの場合、白画素の信号値を１２８ｄｉｇｉｔとすると、画素９７に含まれるランダム片９５の面積は１／６４画素相当かそれより大きくする必要がある。そのためには、撮像素子９６上で１／１６画素（＝１／４画素×１／４画素）以上にする必要がある。なお、ここでは８ｂｉｔ出力のカメラにおける結像サイズを例示したが、好ましい結像サイズは、カメラ（撮像素子）の仕様や性能に応じ、ランダム片とその周辺画素との信号値の差が認識可能となるように適宜設定すればよい。
【0052】
（他のパターン）
合成パターンの他の例を説明する。図１１Ａは、ビットの形状を円形にした例であり、図１１Ｂは、ビットの形状をひし形にした例である（グリッドの形状は図３の例と同じ）。いずれの場合も、これまで説明したものと同じランダムパターンを付すとよい。なお、ビットの形状は、正方形、円形、ひし形以外の任意の形状を用いてもよい。
合成パターンの他の例を説明する。図１１Ａは、ビットの形状を円形にした例であり、図１１Ｂは、ビットの形状をひし形にした例である（グリッドの形状は図３の例と同じ）。いずれの場合も、これまで説明したものと同じランダムパターンを付すとよい。なお、ビットの形状は、正方形、円形、ひし形以外の任意の形状を用いてもよい。
【0053】
図１２Ａ～図１２Ｄは、単位要素３００内に存在する構造の数の違いを示している。図１２Ａが１個の例、図１２Ｂが２個の例、図１２Ｃが３個の例、図１２Ｄが４個の例である。各図において左側が空間符号化パターンの単位要素３００を示し、右側がランダムパターンが付加された合成パターンを示している。ランダムパターンの付加方法は、これまで説明したものと同じでよい。
【0054】
図１３Ａ～図１３Ｄは、ライン（破線、ドットラインなど）を利用したパターンの例である。図１３Ａは、ラインが１本の例、図１３Ｂは、ラインが２本の例、図１３Ｃは、ラインが３本の例、図１３Ｄは、ラインが４本の例である。各図において左側が空間符号化パターンの単位要素３００を示し、右側がランダムパターンが付加された合成パターンを示している。ランダムパターンの付加方法は、これまで説明したものと同じでよい。
【0055】
図１４Ａ～図１４Ｄは、グリッドを利用したパターンの例である。図１４Ａは、グリッドラインが１本の例、図１４Ｂは、グリッドラインが２本の例、図１４Ｃは、グリッドラインが３本の例、図１４Ｄは、グリッドラインが４本の例である。各図において左側が空間符号化パターンの単位要素３００を示し、右側がランダムパターンが付加された合成パターンを示している。ランダムパターンの付加方法は、これまで説明したものと同じでよい。
【0056】
図１２Ａ～図１２Ｄ、図１３Ａ～図１３Ｄ、図１４Ａ～図１４Ｄでは、構造が配置されている領域以外の領域（背景領域とも呼ぶ）にランダム片が付加されている。このような配置によれば、ランダム片がパターン復号に悪影響を与える可能性を小さくできるという利点がある。もちろん、前述の例と同様、構造の上にランダム片が重なるように配置してもよい。
【0057】
図１５Ａは、濃淡を利用したパターンの例である。このパターンは、１周期の輝度変化からなり、輝度変化の位相によって値を表している。ランダム片は単位要素内の任意の位置に付加してよい。ただし、カメラで撮影した画像において、ランダム片が周囲の輝度変化パターンから区別可能である必要がある。そこで、例えば、ランダム片とその周囲との明暗差が２ｄｉｇｉｔ以上になるように、ランダム片の輝度を設定するとよい。
【0058】
図１５Ｂは、波長（色）を利用したパターンの例である。図示の関係で図１５Ｂは白黒で描画しているが、実際には、カラフルなパターンである。このパターンは、１周期の波長変化からなり、波長変化の位相によって値を表している。ランダム片は単位要素内の任意の位置に付加してよい。ただし、カメラで撮影した画像において、ランダム片が周囲の波長変化パターンから区別可能である必要がある。そこで、例えば、ランダム片とその周囲との明暗差が２ｄｉｇｉｔ以上になるように、ランダム片の輝度を設定するとよい。あるいは、所定の波長差がつくように、ランダム片の波長（色）を設定してもよい。
【0059】
図１６Ａは、偏光を利用したパターンの例である。このパターンは、明暗（白黒）の代わりに、縦方向の直線偏光１６０と横方向の直線偏光１６１とを組み合わせたものである。例えば、縦方向の直線偏光を透過する偏光子１６２をもったカメラで図１６Ａのパターンを撮影すると、図１６Ｂのような画像が得られる。すなわち、縦方向の偏光成分は透過され画像上は白画素になり、横方向の偏光成分はカットされ画像上は黒画素になる。ランダムパターンを付加する場合には、ランダム片とその周囲との偏光方向が相違するように、ランダム片の偏光方向を設定するとよい。
【0060】
【0061】
（センサユニット）
センサユニット１０は、第１カメラ１０１、第２カメラ１０２、パターン投光部１０３、照明部１０４、画像転送部１０５、駆動制御部１０６を有する。
センサユニット１０は、第１カメラ１０１、第２カメラ１０２、パターン投光部１０３、照明部１０４、画像転送部１０５、駆動制御部１０６を有する。
【0062】
第１カメラ１０１と第２カメラ１０２は、いわゆるステレオカメラを構成するカメラ対であり、所定の距離だけ離れて配置されている。２つのカメラ１０１、１０２で同時に撮影を行うことで、異なる視点から撮影した画像ペアを得ることができる（第１カメラ１０１の画像を第１画像、第２カメラ１０２の画像を第２画像と呼ぶ）。２つのカメラ１０１、１０２は、互いの光軸が交差し、且つ、水平ライン（又は垂直ライン）が同一平面上にくるように、配置されるとよい。このような配置をとることで、エピポーラ線が画像の水平ライン（又は垂直ライン）と平行になるため、ステレオマッチングにおける対応点を同じ位置の水平ライン（又は垂直ライン）内から探索すればよく、探索処理の簡易化が図れるからである。なお、カメラ１０１、１０２としては、モノクロのカメラを用いてもよいし、カラーのカメラを用いてもよい。
【0063】
パターン投光部１０３は、空間符号化パターン方式の測距で用いるパターン光を対象物１２に投影するための投光装置であり、プロジェクタとも呼ばれる。図１８にパターン投光部１０３の構成例を模式的に示す。パターン投光部１０３は、例えば、光源部１８０、導光レンズ１８１、パターン生成部１８２、投写レンズ１８３などから構成される。光源部１８０としては、ＬＥＤ、レーザー、ＶＣＳＥＬ（Vertical cavity Surface-emitting Laser）などを用いることができる。導光レンズ１８１は光源部１８０からパターン生成部１８２に光を導くための光学素子であり、レンズ又はガラスロッドなどを用いることができる。パターン生成部１８２は、合成パターンを生成する部材ないし装置であり、フォトマスク、回折光学素子（例えばＤＯＥ（Diffractive Optical Element））、光変調素子（例えば、ＤＬＰ（Digital Light Processing）、ＬＣＤ（Liquid Crystal Display）、ＬＣｏＳ（Liquid Crystal on Silicon）、ＭＥＭＳ（Micro Electro Mechanical Systems））などを用いることができる。投写レンズ１８３は生成されたパターンを拡大し投写する光学素子である。
【0064】
照明部１０４は、一般的な可視光画像を撮影するために用いられる均一照明である。例えば白色ＬＥＤ照明などが用いられる。もしくはアクティブ投光と同じ波長帯の照明でもよい。
【0065】
画像転送部１０５は、第１カメラ１０１で撮影された第１画像のデータ、及び、第２カメラ１０２で撮影された第２画像のデータを、画像処理装置１１へ転送する。画像転送部１０５は、第１画像と第２画像を別々の画像データとして転送してもよいし、第１画像と第２画像を繋ぎ合わせてサイドバイサイド画像を生成し単一の画像データとして転送してもよい。駆動制御部１０６は、第１カメラ１０１、第２カメラ１０２、パターン投光部１０３、及び、照明部１０４を制御するユニットである。なお、画像転送部１０５と駆動制御部１０６は、センサユニット１０側ではなく、画像処理装置１１側に設けてもよい。
【0066】
（画像処理装置）
画像処理装置１１は、画像取得部１１０、パターン復号部１１１、視差予測部１１２、前処理部１１３、探索範囲設定部１１５、対応点探索部１１６、視差マップ後処理部１１７、デプスマップ生成部１１８を有する。
画像処理装置１１は、画像取得部１１０、パターン復号部１１１、視差予測部１１２、前処理部１１３、探索範囲設定部１１５、対応点探索部１１６、視差マップ後処理部１１７、デプスマップ生成部１１８を有する。
【0067】
画像取得部１１０は、センサユニット１０から必要な画像データを取り込む機能を有する。画像取得部１１０は、パターン復号部１１１に第１画像を送り、前処理部１１３に第１画像と第２画像からなるステレオ画像ペアを送る。
【0068】
パターン復号部１１１は、空間符号化パターン方式によって、第１画像から距離情報（第１のデプス情報）を取得する機能をもつ。空間符号化パターン方式は、用いる単位要素のサイズに依存して空間分解能が決まる。例えば、５画素×５画素の単位要素を用いる場合、距離情報の空間分解能は入力画像の１／２５となる。視差予測部１１２は、パターン復号部１１１で得られた距離情報に基づき第１画像と第２画像の間の視差を予測し参考視差マップを出力する機能を有する。
【0069】
前処理部１１３は、第１画像と第２画像に対して、必要な前処理を行う機能を有する。探索範囲設定部１１５は、予測視差に基づいて対応点の探索範囲を設定する機能を有する。対応点探索部１１６は、第１画像と第２画像の間の対応点を探索し、その探索結果に基づき視差マップ（第２のデプス情報）を生成する機能を有する。視差マップ後処理部１１７は、視差マップに対して必要な後処理を行う機能を有する。デプスマップ生成部１１８は、視差マップの視差情報を距離情報に変換し、デプスマップを生成する機能を有する。
【0070】
画像処理装置１１は、例えば、ＣＰＵ（プロセッサ）、ＲＡＭ（メモリ）、不揮発性記憶装置（ハードディスク、ＳＳＤなど）、入力装置、出力装置などを備えるコンピュータにより構成される。この場合、ＣＰＵが、不揮発性記憶装置に格納されたプログラムをＲＡＭに展開し、当該プログラムを実行することによって、上述した各種の機能が実現される。ただし、画像処理装置１１の構成はこれに限られず、上述した機能のうちの全部又は一部を、ＦＰＧＡやＡＳＩＣなどの専用回路で実現してもよいし、クラウドコンピューティングや分散コンピューティングにより実現してもよい。
【0071】
本例では、第１カメラ１０１、パターン投光部１０３、画像転送部１０５、画像取得部１１０、駆動制御部１０６、パターン復号部１１１、視差予測部１１２によって、図２の第１の計測系２１が構成されており、第１カメラ１０１、第２カメラ１０２、パターン投光部１０３、画像転送部１０５、駆動制御部１０６、前処理部１１３、探索範囲設定部１１５、対応点探索部１１６、視差マップ後処理部１１７、デプスマップ生成部１１８によって、図２の第２の計測系２２が構成されている。
【0072】
【0073】
ステップＳ４００、Ｓ４０１において、画像取得部１１０が、センサユニット１０から第１画像と第２画像を取得する。第１画像及び第２画像はそれぞれ、パターン投光部１０３から対象物１２にパターン光を投影した状態で、第１カメラ１０１及び第２カメラ１０２で撮影された画像である。なお、センサユニット１０からサイドバイサイド画像形式のデータが取り込まれた場合は、画像取得部１１０がサイドバイサイド画像を第１画像と第２画像に分割する。画像取得部１１０は、パターン復号部１１１に第１画像を送り、前処理部１１３に第１画像と第２画像を送る。
【0074】
ステップＳ４０２において、前処理部１１３が、第１画像及び第２画像に対し平行化処理（レクティフィケーション）を行う。平行化処理とは、２つの画像の間の対応点が画像中の同じ水平ライン（又は垂直ライン）上に存在するように、一方又は両方の画像を幾何変換する処理である。平行化処理によりエピポーラ線が画像の水平ライン（又は垂直ライン）と平行になるため、後段の対応点探索の処理が簡単になる。なお、センサユニット１０から取り込まれる画像の平行度が十分高い場合には、ステップＳ４０２の平行化処理は省略してもよい。
【0075】
ステップＳ４０３において、前処理部１１３が、平行化された第１画像及び第２画像の各画素についてハッシュ特徴量を計算し、各画素の値をハッシュ特徴量に置き換える。ハッシュ特徴量は、注目画素を中心とする局所領域の輝度特徴を表すものであり、ここでは、８要素のビット列からなるハッシュ特徴量を用いる。このように、各画像の輝度値をハッシュ特徴量に変換しておくことで、後段の対応点探索における局所的な輝度特徴の類似度計算が極めて効率化される。
【0076】
ステップＳ４０４において、パターン復号部１１１が、第１画像を解析しパターンを復号することによって、第１画像上の複数の点における奥行方向の距離情報を取得する。
【0077】
ステップＳ４０５において、視差予測部１１２が、ステップＳ４０５で得られた各点の距離情報に基づき、各点を平行化された第１画像の画像座標系に射影したときの２次元座標と、同じ点を平行化された第２画像の画像座標系に射影したときの２次元座標とを計算し、２つの画像の間での座標の差を計算する。この差が予測視差である。視差予測部１１２は、ステップＳ４０４で距離情報が得られたすべての点についての予測視差を求め、そのデータを参考視差マップとして出力する。
【0078】
ステップＳ４０６において、探索範囲設定部１１５が、予測視差に基づいて、第１画像及び第２画像に対し、対応点の探索範囲を設定する。探索範囲の大きさは、予測の誤差を考慮して決定される。例えば、予測の誤差が±１０画素である場合には、マージンを含めても、予測視差を中心とした±２０画素程度を探索範囲に設定すれば十分と考えられる。仮に水平ラインが６４０画素である場合に、探索範囲を±２０画素（つまり４０画素）に絞り込むことができれば、水平ライン全体を探索するのに比べて探索処理を単純に１／１６に削減することができる。
【0079】
ステップＳ４０７において、対応点探索部１１６が、画素削減後の第１画像と第２画像の間で対応点の探索を行い、各画素の視差を求める。対応点探索部１１６は、対応点の検出に成功した点（画素の座標）に視差情報を関連付けた視差データを生成する。この情報が視差マップである。
【0080】
ステップＳ４０８において、視差マップ後処理部１１７が、視差マップの修正を行う。対応点探索によって推定された視差マップには誤計測点や計測抜けなどが含まれるため、周囲の画素の視差情報に基づき誤計測点の修正や計測抜けの補完を行う。
【0081】
ステップＳ４０９において、デプスマップ生成部１１８が、視差マップの各画素の視差情報を３次元情報（奥行方向の距離情報）に変換し、デプスマップを生成する。このデプスマップ（３次元点群データ）は、例えば、対象物１２の形状認識、物体認識などに利用される。
【0082】
＜変形例＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
【0083】
図２０は、パターン投光部の他の構成例を示している。図２０の構成では、空間符号化パターン３０を投射するための空間符号化パターン投光部２００と、ランダムパターン３１を投射するためのランダムパターン投光部２０１の２種類の投光部が設けられている。各投光部２００、２０１から投射された２つのパターン３０、３１が対象物表面上で重ね合わされ、合成パターン３２が形成される。このような構成でも上述した実施形態と同様の作用効果を得ることができる。
【0084】
図２１は、パターン投光部の他の構成例を示している。図２１の構成では、空間符号化パターン３０用の光源２１０、導光レンズ２１１、パターン生成部２１２と、ランダムパターン３１用の光源２１３、導光レンズ２１４、パターン生成部２１５とが設けられる。そして、ビームコンバイナー２１６によって２つのパターン光が合成され、投写レンズ２１７から合成パターン３２が投影される。このような構成でも上述した実施形態と同様の作用効果を得ることができる。
【0085】
図２２は、パターン投光部の他の構成例を示している。図２２の構成では、第１の光源２２０及び第１の導光レンズ２２１と、第２の光源２２２及び第２の導光レンズ２２３とが設けられる。そして、ビームコンバイナー２２４によって２種類の光が合成され、パターン生成部２２５を介して投写レンズ２２６から合成パターン３２が投影される。２種類の光源２２０、２２２としては、例えば、波長の異なる光源、偏光方向の異なる光源などを用いることができる。
【0086】
上記実施形態では、第１カメラと第２カメラの２つのカメラを用いたが、センサユニットに３つ以上のカメラを設けてもよい。ペアリングするカメラの組合せを変えて、ステレオマッチングを行い、各組合せで得られた複数の計測結果を用いて計測結果の信頼性を向上させてもよい。その結果、精度を向上させることができる。
【0087】
上記実施形態では、ステレオマッチングにハッシュ特徴量を利用したが、対応点の類似度評価には他の手法を用いてもよい。例えば、類似度の評価指標としてはＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）、ＮＣ（Normalized Correlation）などによる左右画像の画素の類似度計算法がある。また、上記実施形態では、参考デプスマップの生成（視差の予測）とステレオマッチングとで共通するカメラの画像を用いたが、それぞれ異なる三次元計測用のカメラ画像を用いてもよい。
【0088】
＜付記＞
（１）対象物（１２）にパターン光を投影する投光装置（１０３）と、
前記対象物（１２）を撮影する第１カメラ（１０１）と、
前記第１カメラ（１０１）とは異なる視点で前記対象物（１２）を撮影する第２カメラ（１０２）と、
前記第１カメラ（１０１）から得られる第１画像及び前記第２カメラ（１０２）から得られる第２画像を処理することによって、前記対象物（１２）の３次元情報を取得する画像処理装置（１１）と、を備え、
前記画像処理装置（１１）は、
前記第１画像を用い、空間符号化パターン方式により、第１のデプス情報を取得する第１計測手段（２１、１１１）と、
前記第１のデプス情報から予測される前記第１画像と前記第２画像の間の視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段（１１５）と、
前記第１画像と前記第２画像を用い、前記設定された探索範囲に限定したステレオマッチングを行うことにより、前記第１のデプス情報よりも空間分解能の高い第２のデプス情報を取得する第２計測手段（２２、１１６）と、を有し、
前記パターン光は、１つのデプス値に対応する領域である単位要素が規則的に配置された空間符号化パターン（３０）と、複数のランダム片が不規則に配置されたランダムパターン（３１）と、が合成された合成パターン（３２）を有する
ことを特徴とする３次元計測システム（１）。
（１）対象物（１２）にパターン光を投影する投光装置（１０３）と、
前記対象物（１２）を撮影する第１カメラ（１０１）と、
前記第１カメラ（１０１）とは異なる視点で前記対象物（１２）を撮影する第２カメラ（１０２）と、
前記第１カメラ（１０１）から得られる第１画像及び前記第２カメラ（１０２）から得られる第２画像を処理することによって、前記対象物（１２）の３次元情報を取得する画像処理装置（１１）と、を備え、
前記画像処理装置（１１）は、
前記第１画像を用い、空間符号化パターン方式により、第１のデプス情報を取得する第１計測手段（２１、１１１）と、
前記第１のデプス情報から予測される前記第１画像と前記第２画像の間の視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段（１１５）と、
前記第１画像と前記第２画像を用い、前記設定された探索範囲に限定したステレオマッチングを行うことにより、前記第１のデプス情報よりも空間分解能の高い第２のデプス情報を取得する第２計測手段（２２、１１６）と、を有し、
前記パターン光は、１つのデプス値に対応する領域である単位要素が規則的に配置された空間符号化パターン（３０）と、複数のランダム片が不規則に配置されたランダムパターン（３１）と、が合成された合成パターン（３２）を有する
ことを特徴とする３次元計測システム（１）。
【符号の説明】
【0089】
１：３次元計測システム
１０：センサユニット
１１：画像処理装置
１２：対象物
２１：第１の計測系
２２：第２の計測系
１０：センサユニット
１１：画像処理装置
１２：対象物
２１：第１の計測系
２２：第２の計測系
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】