特開 2022-191058 測距装置、及び測距方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022191058

(43)【公開日】2022-12-27

(54)【発明の名称】測距装置、及び測距方法

(51)【国際特許分類】

   G01C 3/06 20060101AFI20221220BHJP

   G01B 11/25 20060101ALI20221220BHJP

   G01B 11/00 20060101ALI20221220BHJP

【ＦＩ】

G01C3/06 110A

G01B11/25 H

G01B11/00 H

【審査請求】未請求

【請求項の数】21

【出願形態】ＯＬ

(21)【出願番号】P 2021099680

(22)【出願日】2021-06-15

(71)【出願人】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(72)【発明者】

【氏名】村岡 和彦

【テーマコード（参考）】

2F065

2F112

【Ｆターム（参考）】

2F065AA04

2F065AA06

2F065AA12

2F065AA53

2F065DD03

2F065FF04

2F065FF09

2F065GG23

2F065GG24

2F065HH05

2F065JJ03

2F065JJ18

2F065JJ26

2F065LL04

2F065LL22

2F065LL53

2F065QQ03

2F065QQ04

2F065QQ13

2F065QQ14

2F065QQ24

2F065QQ31

2F065QQ34

2F065SS13

2F112AA09

2F112CA12

2F112DA04

2F112DA19

2F112DA24

2F112DA28

2F112EA01

2F112FA07

2F112FA08

2F112FA14

2F112FA19

2F112FA29

2F112FA33

2F112FA35

2F112GA01

(57)【要約】

【課題】、測定対象の有する色の影響を抑制可能な測距装置、及び測距方法を提供する。
【解決手段】本開示によれば、測距装置は、所定の第１カラーパタンと、所定の第２カラーパタンとを順に測定対象に投影する投影部と、第１カラーパタンと、第２カラーパタンとに基づき、測定対象までの距離を測定する情報処理部と、を備え、第１カラーパタンと、第２カラーパタンとの同一投影領域に投影される光は、異なる波長帯域の光である。
【選択図】図３

【特許請求の範囲】

【請求項1】

所定の第１カラーパタンと、所定の第２カラーパタンとを順に測定対象に投影する投影部と、
前記第１カラーパタンと、前記第２カラーパタンとに基づき、前記測定対象までの距離を測定する情報処理部と、
を備え、
前記第１カラーパタンと、前記第２カラーパタンとの同一投影領域に投影される光は、異なる波長帯域の光である、測距装置。

【請求項2】

前記第１カラーパタンと、前記第２カラーパタンとの同一投影領域に投影される光は、３つの波長帯域の光の組合せで構成され、前記同一投影領域に対し、前記第１カラーパタンでは前記３つの波長帯域の光の少なくとも１波長帯域の光を投影し、前記第２カラーパタンでは前記３つの波長帯域の光のなかの残りの波長帯域の光を投影する、請求項１に記載の測距装置。

【請求項3】

前記３つの波長帯域の光のそれぞれは、赤色帯域、緑色帯域、及び青色帯域の光のいずれかである、請求項１に記載の測距装置。

【請求項4】

前記第１カラーパタンと、前記第２カラーパタンとを投影された前記測定対象を順に撮像する撮像部を、
更に備える、請求項１に記載の測距装置。

【請求項5】

前記撮像部は、
前記投影部における前記第１カラーパタンと、前記第２カラーパタンとの投影タイミングと、前記撮像部の撮像タイミングとを制御するタイミング制御部を有する、請求項４に記載の測距装置。

【請求項6】

前記撮像部は、
赤色帯域の光に感度を有し、緑色帯域、及び青色帯域への感度が赤色帯域の光より抑制された赤色画素と、緑色帯域の光に感度を有し、赤色帯域、及び青色帯域への感度が緑色帯域の光より抑制された緑色画素と、青色帯域の光に感度を有し、赤色帯域、及び緑色帯域への感度が青色帯域の光より抑制された青色画素と、で構成される撮像画素が２次元状に配置された画素アレイを有する、請求項５に記載の測距装置。

【請求項7】

前記撮像画素内の前記赤色画素、前記緑色画素、及び前記青色画素のそれぞれは、前記第１カラーパタン、及び前記第２カラーパタンのいずれかに対してより多くの画素信号を生成する、請求項６に記載の測距装置。

【請求項8】

前記撮像部は、
前記撮像画素内の前記赤色画素、前記緑色画素、及び前記青色画素のそれぞれに対して、前記第１カラーパタンに応じて蓄積された第１蓄積電荷量に応じた電圧と、前記第２カラーパタンに応じて蓄積された第２蓄積電荷量に応じた電圧と、の差分に応じたデジタル画素信号に変換する、請求項７に記載の測距装置。

【請求項9】

前記タイミング制御部が生成する制御信号に基づき、
前記撮像画素内の前記赤色画素、前記緑色画素、及び前記青色画素のそれぞれは、前記第１カラーパタンに対する撮像時間と、前記第２カラーパタンに対する撮像時間とが、等しくなるように制御される、請求項６に記載の測距装置。

【請求項10】

前記情報処理部は、
前記第１カラーパタンに対する前記撮像画素の出力信号と、前記第２カラーパタンに対する前記撮像画素の出力信号と、に基づき、前記測定対象のカラー画像を生成する画像生成部を有する、請求項６に記載の測距装置。

【請求項11】

前記情報処理部は、
前記デジタル画素信号に基づき、前記第１カラーパタン及び前記第２カラーパタンを撮像したデジタル画像から順にパタンを検出し、前記検出したパタンと前記投影部が投影した前記第１カラーパタン、及前記第２カラーパタンの少なくともいずれかを対応させ、前記測定対象の各部分までの距離を生成する計測部を有する、請求項８に記載の測距装置。

【請求項12】

前記第１カラーパタン、及び前記第２カラーパタンは、複数の区画領域で構成され、各区画領域のそれぞれの光の色は、前記赤色帯域、前記緑色帯域、及び前記青色帯域の光のいずれか、又は、前記赤色帯域、前記緑色帯域、及び前記青色帯域の光の中の２つに組み合わせのいずれかである、請求項３に記載の測距装置。

【請求項13】

前記複数の区画領域は、グループ化されており、グループ内の区画領域ごとの光の色は全て異なる、請求項１２に記載の測距装置。

【請求項14】

前記複数の区画領域において、隣接した２つの色の組み合わせは全て異なる、請求項１２に記載の測距装置。

【請求項15】

前記複数の区画領域の色は、ド・ブラウン列による循環パタンである、請求項１４に記載の測距装置。

【請求項16】

前記複数の区画領域は、行列状に２次元配置されたタイルパタンである、請求項１２に記載の測距装置。

【請求項17】

前記撮像部は、
前記撮像画素内の前記赤色画素、前記緑色画素、及び前記青色画素のそれぞれに対して、前記第１カラーパタンに応じて蓄積された第１蓄積電荷量に応じた電圧を第１デジタル信号に変換し、前記第２カラーパタンに応じて蓄積された第２蓄積電荷量に応じた電圧を第２デジタル信号に変換し、それぞれの差分をデジタル画素信号とする、請求項６に記載の測距装置。

【請求項18】

前記情報処理部は、
前記第１カラーパタン、及び前記第２カラーパタンを生成するパタン生成部を有し、前記第１カラーパタン、及び前記第２カラーパタンの情報を有する信号を前記投影部に供給する、請求項１に記載の測距装置。

【請求項19】

前記撮像部は、
赤外域の波長帯を３つの波長帯に分け、それぞれの波長帯のみに感度を有する画素で構成され、
前記第１カラーパタン、及び前記第２カラーパタンは、前記赤外域の前記３つの波長帯のそれぞれで構成される、請求項１に記載の測距装置。

【請求項20】

前記撮像部は、
少なくとも波長帯域を２つの波長帯域に分け、それぞれの波長帯域のみに感度を有する画素で構成される、請求項１に記載の測距装置。

【請求項21】

所定の第１カラーパタンと、所定の第２カラーパタンとを順に測定対象に投影する投影工程と、
前記第１カラーパタンと、前記第２カラーパタンとに基づき、前記測定対象までの距離を測定する情報処理工程と、
を備え、
前記第１カラーパタンと、前記第２カラーパタンとの同一投影領域に投影される光は、前記第１カラーパタンと、前記第２カラーパタンとの同一投影領域に投影される光は、異なる波長帯域の光である、測距方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は測距装置、及び測距方法に関する。

【背景技術】

【0002】

三角測量の原理を応用したアクティブ法として、一方の視点としての光源から被写体表面に投影された光源像をもう一方の視点に設定したカメラで観察し形状計測する方法が一般に知られている。このようなアクティブ法では、ストライプパタンのような２次元的なカラーパタンが投影される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２－１９１０５８号公報

【特許文献2】特開２０１９－１５３８２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、カラーパタンを撮像するためには、カラーパタンそれぞれの色の波長に対する反射を必要とする。このため、色のついた被写体の測定は困難となる恐れがある。また、物体表面に特定の色の光を当てているため、物体の本来の色を観測する精度が低下する恐れがある。
そこで、本開示では、測定対象の有する色の影響を抑制可能な測距装置、及び測距方法を提供するものである。

【課題を解決するための手段】

【0005】

上記の課題を解決するために、本開示によれば、所定の第１カラーパタンと、所定の第２カラーパタンとを順に測定対象に投影する投影部と、
前記第１カラーパタンと、前記第２カラーパタンとに基づき、前記測定対象までの距離を測定する情報処理部と、
を備え、
前記第１カラーパタンと、前記第２カラーパタンとの同一投影領域に投影される光は、異なる波長帯域の光である、測距装置。

【0006】

前記第１カラーパタンと、前記第２カラーパタンとの同一投影領域に投影される光は、３つの波長帯域の光の組合せで構成され、前記同一投影領域に対し、前記第１カラーパタンでは前記３つの波長帯域の光の少なくとも１波長帯域の光を投影し、前記第２カラーパタンでは前記３つの波長帯域の光のなかの残りの波長帯域の光を投影してもよい。

【0007】

前記３つの波長帯域の光のそれぞれは、赤色帯域、緑色帯域、及び青色帯域の光のいずれかであってもよい。

【0008】

前記第１カラーパタンと、前記第２カラーパタンとを投影された前記測定対象を順に撮像する撮像部を、
更に備えてもよい。

【0009】

前記撮像部は、
前記投影部における前記第１カラーパタンと、前記第２カラーパタンとの投影タイミングと、前記撮像部の撮像タイミングを制御する制御信号を生成するタイミング生成部を有してもよい。

【0010】

前記撮像部は、
赤色帯域の光に感度を有し、緑色帯域、及び青色帯域への感度が赤色帯域の光より抑制された赤色画素と、緑色帯域の光に感度を有し、赤色帯域、及び青色帯域への感度が緑色帯域の光より抑制された緑色画素と、青色帯域の光に感度を有し、赤色帯域、及び緑色帯域への感度が青色帯域の光より抑制された青色画素と、で構成される撮像画素が２次元状に配置された画素アレイを有してもよい。

【0011】

前記撮像画素内の前記赤色画素、前記緑色画素、及び前記青色画素のそれぞれは、前記第１カラーパタン、及び前記第２カラーパタンのいずれかに対してより多くの画素信号を生成してもよい。

【0012】

前記撮像部は、
前記撮像画素内の前記赤色画素、前記緑色画素、及び前記青色画素のそれぞれに対して、前記第１カラーパタンに応じて蓄積された第１蓄積電荷量と、前記第２カラーパタンに応じて蓄積された蓄積電荷量と、の差分に応じた電圧をデジタル画素信号に変換してもよい。

【0013】

前記タイミング生成部が生成する制御信号に基づき、
前記撮像画素内の前記赤色画素、前記緑色画素、及び前記青色画素のそれぞれは、前記第１カラーパタンに対する撮像時間と、前記第２カラーパタンに対する撮像時間とが、等しくなるように制御されてもよい。

【0014】

前記情報処理部は、
前記第１カラーパタンに対する前記撮像画素の出力信号と、前記第２カラーパタンに対する前記撮像画素の出力信号と、に基づき、前記測定対象のカラー画像を生成する画像生成部を有してもよい。

【0015】

前記情報処理部は、
前記デジタル画素信号に基づき、前記第１カラーパタン及び前記第２カラーパタンを撮像したデジタル画像から順にパタンを検出し、前記検出したパタンと前記投影部が投影した前記第１カラーパタン、及前記第２カラーパタンの少なくともいずれかを対応させ、前記測定対象の各部分までの距離を生成する計測部を有してもよい。

【0016】

前記第１カラーパタン、及び前記第２カラーパタンは、複数の区画領域で構成され、各区画領域のそれぞれの光の色は、前記赤色帯域、前記緑色帯域、及び前記青色帯域の光のいずれか、又は、前記赤色帯域、前記緑色帯域、及び前記青色帯域の光の中の２つに組み合わせのいずれかであってもよい。

【0017】

前記複数の区画領域は、グループ化されており、グループ内の区画領域ごとの光の色は全て異なってもよい。

【0018】

前記複数の区画領域において、隣接した２つの色の組み合わせは全て異なってもよい。

【0019】

前記複数の区画領域の色は、ド・ブラウン列による循環パタンであってもよい。

【0020】

前記複数の区画領域は、行列状に２次元配置されたタイルパタンであってもよい。

【0021】

前記撮像部は、
前記撮像画素内の前記赤色画素、前記緑色画素、及び前記青色画素のそれぞれに対して、前記第１カラーパタンに応じて蓄積された第１蓄積電荷量に応じた電圧を第１デジタル信号に変換し、前記第２カラーパタンに応じて蓄積された蓄積電荷量に応じた電圧を第２デジタル信号に変換し、それぞれの差分をデジタル画素信号としてもよい。

【0022】

前記情報処理部は、
前記第１カラーパタン、及び前記第２カラーパタンを生成するパタン生成部を有し、前記第１カラーパタン、及び前記第２カラーパタンの情報を有する信号を前記投影部に供給してもよい。

【0023】

前記撮像部は、
赤外域の波長帯域を３つの波長帯域に分け、それぞれの波長帯のみに感度を有する画素で構成され、
前記第１カラーパタン、及び前記第２カラーパタンは、前記赤外域の前記３つの波長帯のそれぞれで構成されてもよい。

【0024】

前記撮像部は、
少なくとも波長帯域を２つの波長帯域に分け、それぞれの波長帯域のみに感度を有する画素で構成されてもよい。

【0025】

上記の課題を解決するために、本開示によれば、所定の第１カラーパタンと、所定の第２カラーパタンとを順に測定対象に投影する投影工程と、
前記第１カラーパタンと、前記第２カラーパタンとに基づき、前記測定対象までの距離を測定する情報処理工程と、
を備え、
前記第１カラーパタンと、前記第２カラーパタンとの同一投影領域に投影される光は、前記第１カラーパタンと、前記第２カラーパタンとの同一投影領域に投影される光は、異なる波長帯域の光である、測距方法が提供される。

【図面の簡単な説明】

【0026】

【図1】実施形態に係る測距装置の構成例を示す図。

【図2】測定対象までの測定原理を説明するための図。

【図3】本実施形態に係る測距装置のより詳細な構成例を示すブロック図。

【図4】画素アレイの構成例を示す模式図。

【図5】第１カラーパタン、及び第２カラーパタンの色配置例を模式的に示す図。

【図6A】カラーパタンの赤色光と、緑色光と、青色光と、の組合せを示す表。

【図6B】カラーコード例を示す表。

【図7】第１カラーパタンの投影例を模式的に示す図。

【図8】反射の無い領域への投映例を示す図。

【図9】図６Aで示した表に、各画素の反応を撮像Ｒ／Ｇ／Ｂで更に示した表。

【図10】第１カラーパタンしか投影しない場合の表。

【図11】撮像画素の構成例を示す図。

【図12】ＡＤ変換部を構成するＡＤＣ回路の一例を示すブロック図。

【図13】差分露光処理の概略図。

【図14】シャッターのタイミングチャート例を示す図。

【図15】フローティングディフュージョンの転送タイミングチャート例を示す図。

【図16】読み出し（ｒｅａｄ）のタイミングチャート例を示す図。

【図17】第１カラーパタンに画素が感度を有する場合を示す図。

【図18】第２カラーパタンに画素が感度を有する場合を示す図。

【図19】パタンを反射率の物体に投映した場合の輝度を示す表。

【図20】反射率（Ｒ：５０％、Ｇ：１００％、Ｂ：７５％）の物体に投映し差分ＡＤ変換をした結果を示す表。

【図21】有意なカラー成分に変換した結果を示す表。

【図22】図６Aで示したパタンを本実施形態に係る差分ＡＤ変換を通した場合の結果を示す表。

【図23】青色光を反射しない物体を測定した結果を示す表。

【図24】ド・ブラウンにより生成したカラーストライプパタンを示す表。

【図25】ド・ブラウン列のアルゴリズムによる循環パタンの拡張の例を示す図。

【図26】縦列方向に色の変化を拡張したカラータイルパタンを示す表。

【図27】図２６のカラータイルパタン例の配置を示す図。

【図28】カウンタ差分、デジタル差分の読み出しのタイミングチャートを示す図。

【図29】ＡＤＣのコンパレータ入力の波形を示す図。

【図30】特定画素が第２カラーパタンに感度を有する場合を示す図。

【発明を実施するための形態】

【0027】

以下、図面を参照して、測距装置、及び測距方法の実施形態について説明する。以下では、測距装置、及び測距方法の主要な構成部分を中心に説明するが、測距装置、及び測距方法には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。

【0028】

（一実施形態）
図１は、本実施形態に係る測距装置１の構成例を示す図である。図１に示すように、測距装置１は、投影部１００と、撮像部２００と、情報処理部３００とを備える。本実施形態に係る投影部１００は、例えばプロジェクタであり、複数種類のカラーパタンを順に測定対象Ｔ１００に投影する。なお、領域Ｔ１００ａは、測定対象Ｔ１００の凸領域を示している。

【0029】

情報処理部３００は、例えばＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｏｒ）を含んで構成され、記憶部に記憶されるプログラムを実行することにより各処理部を構成する。この情報処理部３００は、投影部１００から投影する複数種類のカラーパタンを生成し、投影部１００に供給する。また、情報処理部３００は、撮像部２００が撮影した、複数種類のカラーパタンの画像を処理し、距離情報と測定対象Ｔ１００のカラー情報とを生成する。なお、情報処理部３００が用いるプログラムは、記憶部に記憶に記憶されていてもよいし、あるいは、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）などの記憶媒体やクラウドコンピュータ等に記憶されていてもよい。また、そのプログラムは、情報処理部３００において、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｏｒ）によってＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等を作業領域として実行されてもよいし、あるいは、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）やＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の集積回路により実行されてもよい。

【0030】

撮像部２００は、例えばカメラであり、測定対象Ｔ１００に投影に投影された複数種類のカラーパタンを撮像する。

【0031】

図２は、測定対象Ｔ１００までの測定原理を説明するための図である。図２に示すように、情報処理部３００は、三角測量の原理に基づき、距離情報を生成する。投影部１００の視点をＡ、撮像部２００の視点をＢ、ＡとＢとを繋いだ線分ＡＢの長さをＬとする。この場合、距離Ｌと、線分ＡＢに対する投影部１００と、撮像部２００の角度は予め情報処理部３００に設定する。

【0032】

これにより、測定対象Ｔ１００の点Ｐまでの距離は、（１）式で算出される。撮像部２００からの角度αは、後述するカラーパタンの投影角度毎に設定されている。また、角度βは、撮像部２００により撮像された画像上のカラーパターの位置情報を用いることにより算出される。すなわち、測定対象Ｔ１００の表面全域において各カラーパタンのエッジにおける各点Ｐの角度α、βを計算することにより、測定対象Ｔ１００の距離、及び表面形状が測定される。

【数1】

【0033】

図３は、本実施形態に係る測距装置１のより詳細な構成例を示すブロック図である。上述のように、投影部１００は、例えばプロジェクタである。このプロジェクタは、例えば光源、液晶パネル、レンズで構成される。投影部１００は、撮像部２００で生成される同期信号に従い、測定物Ｔ１００に対して第１カラーパタン（ｐａｔｔｅｒｎ１）と、第２カラーパタン（ｐａｔｔｅｒｎ２）とを順に投映する。

【0034】

液晶パネルは透過性を持ち、光源から発光された光を透過、若しくは遮断する素子を有する。この素子をマトリクス状に配置してプロジェクタに入力された画像を生成する。液晶パネルは赤（Ｒ）／緑（Ｇ）／青（Ｂ）の各色の画素がマトリックスに並んでおり、プロジェクタに入力された画像、すなわち第１カラーパタンと、第２カラーパタンとで順に駆動される。光源から発光した光は液晶パネルを通過し、レンズによりスクリーンに投映される。このように、本実施形態では、撮像部２００で生成される同期信号に従い、測定物Ｔ１００に対して第１カラーパタンと、第２カラーパタンとを順に投映する。なお、本実施形態では、赤、緑、青を単にＲ、Ｇ、Ｂと記す場合がある。

【0035】

また、このプロジェクタでは、光源を点灯することにより、撮像部２００の画素アレイ２０６と投影部１００のスキャン速度の差異を抑制し、画素アレイ２０６と投影部１００との同期動作を可能とする。例えば、本実施形態に係るプロジェクタは、光源の制御機能に加え、液晶パネルの第１カラーパタンと、第２カラーパタンとの更新を発光タイミングの前に行うことが可能である。なお、更新タイミングの詳細は後述する。また、プロジェクタに用いる画像生成素子は液晶パネルに代えてデジタルライトプロセッシング（ＤＬＰ）等を用いてもよい。この場合、光源から発光した光はデジタルライトプロセッシング（ＤＬＰ）に反射させ、レンズを通してスクリーンに投映させる。光源の発光によりプロジェクタの投映が制御可能であり、本実施形態に係る投影部１００に用いることも可能である。

【0036】

撮像部２００は、レンズ２０２と、イメージセンサ２０４とを有する。測定対象Ｔ１００の像はレンズ２０２を介してイメーイメージセンサ２０４に結像し、光電変換の原理により撮像される。すなわち、このイメージセンサ２０４は、画素アレイ２０６と、ＡＤ変換部２０８と、信号処理部２１０と、画像出力インターフェース２１２と、タイミング制御部２１４と、画素制御部２１６と、タイミング出力インターフェース２１８とを、有する。

【0037】

図４は、画素アレイ２０６の構成例を示す模式図である。図４に示すように、画素アレイ２０６は、複数の撮像画素Ｐ２０６を行列状に配置して構成される。また、各撮像画素Ｐ２０６はＲＧＢ画素を有する。例えば、撮像画素Ｐ２０６は、赤色フィルタを介して光電変換する赤（Ｒ）色画素と、緑色フィルタを介して光電変換する緑（Ｇ）色画素と、青色フィルタを介して光電変換する青（Ｂ）色画素とを有する。

【0038】

例えば、各画素は、フォトダイオードＰＤの光電変換によって蓄積された蓄積電荷（ここでは、光電子）をフローティングディフュージョンＦＤに転送し、蓄積するタイプを用いる（特許文献２参照）。このような、フォトトランジスタ（ＰＤ）とフローティングディフュージョンＦＤとが対となるタイプの画素を用いることにより、１番目の第１カラーパタンに対応する第１蓄積電荷量に応じた電圧と、２番目の第２カラーパタンに対応する第２蓄積電荷量に応じた電圧と、の差分を、一度にＡＤ変換し、デジタル画素値を生成することが可能となる。画素アレイ２０６の画素及びＡＤ変換の動作の詳細は後述する。

【0039】

後述するように、本実施形態に係るカラーパタンは、赤色フィルタの透過帯域に対応する赤（ｒｅｄ）光と、緑色フィルタの透過帯域に対応する緑（ｇｒｅｅｎ）光と、青色フィルタの透過帯域に対応する青（ｂｌｕｅ）光と、の組み合わせで構成される。このため、赤（Ｒ）色画素は、カラーパタン中の青（ｂｌｕｅ）光と、緑（ｇｒｅｅｎ）光とには、感度が抑制され、反応しないように構成されている。同様に、緑（Ｇ）色画素は、カラーパタン中の赤（ｒｅｄ）光と、青（ｂｌｕｅ）光とには、感度が抑制され、反応しないように構成されている。同様に、青（Ｂ）色画素は、カラーパタン中の赤（ｒｅｄ）光と、緑（ｇｒｅｅｎ）光とには、感度が抑制され、反応しないように構成されている。すなわち、各撮像画素Ｐ２０６は、赤色帯域の光に感度を有し、緑色帯域、及び青色帯域への感度が赤色帯域の光より抑制された赤（Ｒ）色画素と、緑色帯域の光に感度を有し、赤色帯域、及び青色帯域への感度が緑色帯域の光より抑制された緑（Ｇ）色画素と、青色帯域の光に感度を有し、赤色帯域、及び緑色帯域への感度が青色帯域の光より抑制された青（Ｂ）色画素と、で構成される。

【0040】

なお、本実施形態では、処理の省電力化と高速化のために、トランジスタ（ＰＤ）とローティングディフュージョンＦＤとが対となるタイプの画素を用いるが、これに限定されない。例えば、第１カラーパタンと、第２カラーパタンとに対する画像信号を順に、逐次的なＡＤ変換を行う場合には、光電変換素子で構成される一般的な画素を用いてもよい。

【0041】

また、本実施形態では、赤（Ｒ）色画素と、緑（Ｇ）色画素と、青（Ｇ）色画素と、で構成されるが、これに限定されない。例えば、赤外域の波長帯を３つの、分離した波長帯に分け、それぞれの波長帯のみに感度を有する画素を構成してもよい。この場合、カラーパタンは、３つの、分離した波長帯のそれぞれで構成される。この場合、人の目には視覚感度のない波長帯を測距に用いるので、人の視覚に感知されずに測距が可能となる。なお、本実施形態では、赤（Ｒ）色画素、緑（Ｇ）色画素、青（Ｇ）色画素を単にそれぞれ、Ｒ画素、Ｇ画素、Ｂ画素と称する場合がある。

【0042】

再び図４に示すように、画素制御部２１６は、横方向に配線された制御線（ｃｏｎｔｒｏｌ ｗｉｒｅｓ）により各撮像画素Ｐ２０６を構成するＲ／Ｇ／Ｂ画素毎のシャッター（ｓｈｕｔｔｅｒ）／ローティングディフュージョン（ＦＤ）転送／読み出し（ｒｅａｄ）などの制御を行う。制御用の制御線（ｃｏｎｔｒｏｌ ｗｉｒｅｓ８～１）は横方向に共通化されており、上から下に行アドレス（ｖｅｒｔｉｃａｌ ａｄｄｒｅｓｓ８～１）が割り当てられている。

【0043】

縦方向に配線された配線ＶＳＬ１～ＶＳＬｎはＲ／Ｇ／Ｂ画素のデータをＡＤ変換部２０８（図３参照）に供給する信号線であり、制御線（ｃｏｎｔｒｏｌ ｗｉｒｅｓ）によって選択された画素から蓄積信号電荷がＡＤ変換部２０８に入力される。

【0044】

ＡＤ変換部２０８には、画素アレイ２０６の各画素に蓄積された蓄積信号電荷に応じた電圧が、配線ＶＳＬ１～ＶＳＬｎを介して供給される。ＡＤ変換部２０８は、蓄積信号電荷に応じた電圧をＡＤ変換し、デジタルデータであるデジタル画素信号に変換する。このＡＤ変換部２０８は、例えば差分ＡＤ変換を行う。このＡＤ変換部２０８は、露光により蓄積された各画素の蓄積信号電荷（光電荷）に応じた電圧をリニアに変換し、第１カラーパタンの撮像に対応する第１フレームの第１蓄積電荷量と、第２カラーパタンの撮像に対応する第２フレームの第２蓄積電荷量と、の差分をＡＤ変換する制御を行うことが可能である。なお、ＡＤ変換部２０８の動作例の詳細も後述する。

【0045】

信号処理部２１０は、ＡＤ変換部２０８で生成されたデジタルの画像データを画像出力インターフェース２１２に供給する。この場合、信号処理部２１０は、ノイズ低減処理やしきい値処理などの各種の信号処理を行うことが可能である。

【0046】

画像出力インターフェース２１２は、信号線へのレベル変換などを行う。そして、画像出力インターフェース２１２は、ＡＤ変換部２０８で生成された画像データを情報処理部３００に供給する。

【0047】

タイミング制御部２１４は、投影部１００から投影させる第１カラーパタン、及び第２カラーパタンのタイミングと、画素アレイ２０６の各画素における第１カラーパタン、及び第２カラーパタンの撮像タイミングと、ＡＤ変換部２０８のＡＤ変換タイミングとを同期させる制御行う。より具体的には、タイミング制御部２１４は、ＡＤ変換部２０８に対しては差分ＡＤ変換の駆動タイミングを制御する。タイミング制御部２１４は、画素制御部２１６に対しては、画素アレイ２０６の各画素における第１カラーパタン、及び第２カラーパタンの撮像タイミングを制御する。

【0048】

画素制御部２１６は、上述のように、タイミング制御部２１４のタイミング制御に従い、画素アレイ２０６の各画素における第１カラーパタン、及び第２カラーパタンの撮像タイミングを制御する。より詳細には、画素アレイ２０６の各画素の初期化、フォトトランジスタ（ＰＤ）での光電変換、フォトトランジスタ（ＰＤ）からローティングディフュージョンＦＤへの転送などの制御タイミングを制御する。

【0049】

タイミング出力インターフェース２１８は、タイミング制御部２１４で生成された同期タイミングの情報を含む制御信号を信号線へのレベル変換などを行う。そして、タイミング出力インターフェース２１８は、同期タイミングの情報を含む制御信号を情報処理部３００に供給する。

【0050】

情報処理部３００は、タイミング入力インターフェース３０２と、パタン生成部３０４と、プロジェクタ出力インターフェース３０６と、発光制御部３０８と、画像入力インターフェース３１０と、第２信号処理部３１２、画像生成部３１４と、３次元計測演算部３１６と、データ出力インターフェース３１８とを、有する。タイミング入力インターフェース３０２は、タイミング制御部２１４の生成する同期タイミングの情報を含む制御信号を入力する。

【0051】

パタン生成部３０４は、タイミング制御部２１４の生成する同期タイミングに応じて、第１カラーパタン、及び第２カラーパタンを生成する。

【0052】

プロジェクタ出力インターフェース３０６は、パタン生成部３０４が生成した第１カラーパタン、及び第２カラーパタンの情報を含む画像信号を投影部１００に供給する。発光制御部３０８は、タイミング制御部２１４の生成する同期タイミングに応じて、第１カラーパタン、及び第２カラーパタンの投影タイミングに対応させて、投影部１００の光源の発光制御を行う。すなわち、発光制御部３０８は、発光タイミングの情報を含む発光制御信号を、プロジェクタ出力インターフェース３０６を介して投影部１００に供給する。

【0053】

画像入力インターフェース３１０は、撮像部２００が撮像した画像データを入力し、第２信号処理部３１２に供給する。第２信号処理部３１２は、撮像部２００が撮像した画像データのＲＧＢ正規化、２値化処理を行う。これらの処理の詳細は後述する。

【0054】

画像生成部３１４は、ＲＧＢ正規化した画像データに基づき、通常のＲＧＢカラーの撮像画像データを生成する。そして、画像生成部３１４は、撮像画像データをデータ出力インターフェース３１８に供給する。この場合、画像生成部３１４は、ガンマ変換、周波数処理、ノイズ低減処理などを撮像画像データに施すことも可能である。

【0055】

３次元計測演算部３１６は、２値化した画像データを用いて、第１カラーパタン、及び第２カラーパタンの投影角αと撮像部２００が撮像した画像した画像における対応箇所におけるβとを取得する。そして、３次元計測演算部３１６は、（１）式に基づき、各点の距離ｄを演算し、３次元計測データを生成して、データ出力インターフェース３１８に供給する。このように３次元計測演算部３１６は、第１カラーパタン及び第２カラーパタンを撮像したデジタル画像からパタンを検出し、検出したパタンと投影部１００が投影した第１カラーパタン、及第２カラーパタンの少なくともいずれかを対応させ、測定対象Ｔ１００の各部分までの距離を生成する。なお、本実施形態に係る３次元計測演算部が計測部に対応する。

【0056】

データ出力インターフェース３１８は、画像生成部３１４から供給された撮像画像データ、３次元計測データを記憶部（ストレージ）、スクリーンなどに供給する。なお、３次元計測データは、測定対象Ｔ１００の各部分までの距離を意味する。

【0057】

ここで、図５、図６A及び図６Bに基づき、パタン生成部３０４が生成する第１カラーパタン、及び第２カラーパタンの例を詳細に説明する。図５は、第１カラーパタン、及び第２カラーパタンの色配置例を模式的に示す図である。上述のように、第１カラーパタン、及び第２カラーパタンは、順に繰り返し、投影部１００により測定対象Ｔ１００に投影される。図５では、第１カラーパタン、及び第２カラーパタンは、別行に図示しているが、第１カラーパタンと第２カラーパタンとは順に同じ位置に投影される。例えば、第１カラーパタン内においてC１で示すストライプの投影後には、ストライプC１と同じ位置に、第２カラーパタン内においてC６で示すストライプが投影される。C１～C6は後述するカラーコード（図６B参照）に対応する。

【0058】

図６Aは、第１カラーパタン（ｐａｔｔｅｒ１）、及び第２カラーパタン（ｐａｔｔｅｒ２）の赤色（Ｒ：ｒｅｄ）光と、緑色（Ｇ：ｇｒｅｅｎ）光と、青色（Ｂ：ｂｌｕｅ）光と、の組合せを示す表である。図６Bは、カラーコード例を示す表である。例えばカラー番号C１には、赤色（ｒｅｄ）、カラー番号C２には、ピンク色（ｐｉｎｋ）、カラー番号C３には、緑色（ｇｒｅｅｎ）、カラー番号C４には、黄色（ｙｅｌｌｏｗ）、カラー番号C５には、青色（ｂｌｕｅ）、カラー番号C６には、スカイブルー色（ｓｋｙ ｂｌｕｅ）が対応する。

【0059】

再び図６Aに示すように、図６Aのストライプ番号（Ｃｏｌｏｒ ｂａｒ Ｎｏ．）は、図５の各ストライプの位置に対応する。投影色（ｃｏｌｏｒ）は、図６Bのカラーコード（C１～C6）に対応する色を示す。

【0060】

また、Ｒ／Ｇ／Ｂは、赤色（Ｒ：ｒｅｄ）光と、緑色（Ｇ：ｇｒｅｅｎ）光と、青色（Ｂ：ｂｌｕｅ）光と、の組合せを示す。例えば、赤色（ｒｅｄ）光は、１／０／０で示され、赤色（Ｒ：ｒｅｄ）光で構成される。同様に、ピンク色（ｐｉｎｋ）光は、１／０／１で示され、赤色（Ｒ：ｒｅｄ）光と、青色（Ｂ：ｂｌｕｅ）光で構成される。同様に、緑色（ｇｒｅｅｎ）光は、０／１／０で示され、緑色（Ｇ：ｇｒｅｅｎ）光で構成される。同様に、黄色（ｙｅｌｌｏｗ）光は、１／１／０で示され、赤色（Ｒ：ｒｅｄ）光と、緑色（Ｇ：ｇｒｅｅｎ）光で構成される。同様に、青色（ｂｌｕｅ）光は、０／０／１で示され、青色（Ｂ：ｂｌｕｅ）光で構成される。同様に、スカイブルー色（ｓｋｙ ｂｌｕｅ）光は、０／１／１で示され、緑色（Ｇ：ｇｒｅｅｎ）光と、青色（Ｂ：ｂｌｕｅ）光とで構成される。

【0061】

すなわち、第１カラーパタンにおけるＲ／Ｇ／Ｂが１／０／０で示されるカラー番号C１の赤色（ｒｅｄ）光の後に、第２カラーパタンにおけるＲ／Ｇ／Ｂが０／１／１で示されるカラー番号C６のスカイブルー色（ｓｋｙ ｂｌｕｅ）が照射される。このように、第１カラーパタンと、第２カラーパタンとの同一投影領域に投影される光は、３つの波長帯域の光（赤色（Ｒ：ｒｅｄ）光と、緑色（Ｇ：ｇｒｅｅｎ）光と、青色（Ｂ：ｂｌｕｅ）光）の組合せで構成され、同一投影領域に対し、第１カラーパタンでは３つの波長帯域の光（赤色（Ｒ：ｒｅｄ）光と、緑色（Ｇ：ｇｒｅｅｎ）光と、青色（Ｂ：ｂｌｕｅ）光）の少なくとも１波長帯域（例えば赤色（ｒｅｄ））の光を投影し、第２カラーパタンでは３つの波長帯域の光（赤色（Ｒ：ｒｅｄ）光と、緑色（Ｇ：ｇｒｅｅｎ）光と、青色（Ｂ：ｂｌｕｅ）光）のなかの残りの波長帯域の光（例えば、緑色（Ｇ：ｇｒｅｅｎ）光と、青色（Ｂ：ｂｌｕｅ）光と）を投影する。換言すると、１／０／０［Ｒ／Ｇ／Ｂ］で構成される光と、排他的な０／１／１［Ｒ／Ｇ／Ｂ］で構成される光とが順に投影される。ここで排他的とは、第１カラーパタンでの１／０／０［Ｒ／Ｇ／Ｂ］の構成色と、第２カラーパタンでの０／１／１［Ｒ／Ｇ／Ｂ］の構成色とを加算すると１／１／１［Ｒ／Ｇ／Ｂ］となる関係を、本実施形態では排他的、或いは補完的と称することとする。

【0062】

ここで排他的な組み合わせについてより具体的に説明する。図４に示すように撮像画素Ｐ２０６に示すＲＧＢ画素において、Ｒ画素は、第１カラーパタンにおいて、１／０／０［Ｒ／Ｇ／Ｂ］で構成されるカラー番号C１の赤色（ｒｅｄ）光が投影されると反応、すなわち光電変換するが、第２カラーパタンにおいて、０／１／１［Ｒ／Ｇ／Ｂ］で構成されるカラー番号C６のスカイブルー色（ｓｋｙ ｂｌｕｅ）光が投影されると光電変換しない。

【0063】

一方で、Ｇ画素は、第１カラーパタンにおいて、１／０／０［Ｒ／Ｇ／Ｂ］で構成されるカラー番号C１の赤色（ｒｅｄ）光が投影されると光電変換しないが、第２カラーパタンにおいて、０／１／１［Ｒ／Ｇ／Ｂ］で構成されるカラー番号C６のスカイブルー色（ｓｋｙ ｂｌｕｅ）光が投影されると光電変換する。同様に、Ｂ画素は、第１カラーパタンにおいて、１／０／０［Ｒ／Ｇ／Ｂ］で構成されるカラー番号C１の赤色（ｒｅｄ）光が投影されると光電変換しないが、第２カラーパタンにおいて、０／１／１［Ｒ／Ｇ／Ｂ］で構成されるカラー番号C６のスカイブルー色（ｓｋｙ ｂｌｕｅ）光が投影されると光電変換する。

【0064】

すなわち、第１カラーパタンにおいて、Ｒ画素は光電変換するが、残りのＧ、Ｂ画素は光電変換しない。一方で、第２カラーパタンにおいて、Ｒ画素は光電変換しないが、残りのＧ、Ｂ画素は光電変換する。このように、排他的な関係では、第１カラーパタンと、第２カラーパタンとで光電変換するＲ／Ｇ／Ｂ画素が排他的に入れ替わる。これから分かるように、撮像画素Ｐ２０６（図４参照）内の赤色画素、緑色画素、及び青色画素のそれぞれは、第１カラーパタン、及び第２カラーパタンのいずれかに対してより多くの画素信号を生成する。

【0065】

同様に、撮像画素Ｐ２０６に示すＲＧＢ画素において、Ｒ画素は、第１カラーパタンにおいて、１／０／１［Ｒ／Ｇ／Ｂ］で構成されるカラー番号C２のピンク色（ｐｉｎｋ）光が投影されると光電変換するが、第２カラーパタンにおいて、０／１／０［Ｒ／Ｇ／Ｂ］で構成されるカラー番号C３の緑色（ｇｒｅｅｎ）光が投影されると光電変換しない。一方で、Ｇ画素は、１／０／１［Ｒ／Ｇ／Ｂ］で構成されるカラー番号C２のピンク色（ｐｉｎｋ）光が投影されると光電変換しないが、第２カラーパタンにおいて、０／１／０［Ｒ／Ｇ／Ｂ］で構成されるカラー番号C３の緑色（ｇｒｅｅｎ）光が投影されると光電変換する。
一方で、Ｂ画素は、１／０／１［Ｒ／Ｇ／Ｂ］で構成されるカラー番号C２のピンク色（ｐｉｎｋ）光が投影されると光電変換するが、第２カラーパタンにおいて、０／１／０［Ｒ／Ｇ／Ｂ］で構成されるカラー番号C３の緑色（ｇｒｅｅｎ）光が投影されると光電変換しない。

【0066】

このように、ストライプ番号（Ｃｏｌｏｒ ｂａｒ Ｎｏ．）１～６に対応する各投影領域には、第１カラーパタンと、第２カラーパタンとで、（Ｃｏｌｏｒ Ｎｏ．C１、Ｃｏｌｏｒ Ｎｏ．C６）、（Ｃｏｌｏｒ Ｎｏ．C２、Ｃｏｌｏｒ Ｎｏ．C３）、（Ｃｏｌｏｒ Ｎｏ．C３、Ｃｏｌｏｒ Ｎｏ．C２）、（Ｃｏｌｏｒ Ｎｏ．C４、Ｃｏｌｏｒ Ｎｏ．C５）、（Ｃｏｌｏｒ Ｎｏ．C５、Ｃｏｌｏｒ Ｎｏ．C４）、（Ｃｏｌｏｒ Ｎｏ．C６、Ｃｏｌｏｒ Ｎｏ．C１）となるように、排他的に組み合わされる投影光が投影される。なお、組合せは排他的であればよく、これらの組み合わせに限定されない。

【0067】

図７は、第１カラーパタンの投影例を模式的に示す図である。観測点Ｐは色の変わり目の部分となる。図７に示すように、パタン生成部３０４では、カラー番号C１の赤色（ｒｅｄ）光に左端から順にＲ１、Ｒ２、Ｒ３、Ｒ４、、、ＲｎとＩＤ付けをする。同様に、パタン生成部３０４では、カラー番号C２からC６に対して、ｐｉ１～ｐｉｎ、Ｇ１～Ｇｎ、Ｙ１～Ｙｎ、Ｂ１～Ｂｎ、ｓｂ１～ｓｂｎ、などとＩＤ付けをする。

【0068】

図７に示すように、物体上の着目ラインは、Ｒ３よりもＲ４に近いため、撮像部２００から撮像しても着目ラインを容易に特定可能となる。上からの投影図Ｔ１００ｃでもＲ４で正しいことがわかる。一方で、従来から一般的に用いられる白黒ストライプでは、着目ラインが、どのラインかを識別するのが困難となる。このようにカラーストライプを用いると、凸領域Ｔ１００ａ等での測定精度をより向上させることが可能となる。

【0069】

ここで、図８、及び図９に基づき、特定光に対して反射のない色調を有する領域Ｔ１００ａに対する処理効果を説明する。図８は、特定光に対して反射の無い領域Ｔ１００ａへの投映例を示す図である。図８のＡ図は、測定対象Ｔ１００の凸領域Ｔ１００ａの正面図と、上面図を示す。凸領域Ｔ１００ａは、黄色を有する。このため、青色（Ｂ：ｂｌｕｅ）光は、凸領域Ｔ１００ａの黄色で吸収され、ほとんど反射されない。

【0070】

図８のＢ図は、測定対象Ｔ１００の凸領域Ｔ１００ａに第１カラーパタンが投影されている状態を示す図である。図８のＣ図は、測定対象Ｔ１００の凸領域Ｔ１００ａに第２カラーパタンが投影されている状態を示す図である。また、凸領域Ｔ１００ａにおいて黒色として撮像される領域Ｂ１、Ｂ２を示している。

【0071】

図９は、図６Aで示した表に、各画素ＲＧＢの反応を撮像Ｒ／Ｇ／Ｂとして更に示した表である。図９で示すように青色（Ｂ：ｂｌｕｅ）光は、凸領域Ｔ１００ａの黄色で吸収され、ほとんど反射されない。このため、撮像Ｒ／Ｇ／Ｂで示すＢ画素の反応が０として示される。特に、投影０／０／１［Ｒ／Ｇ／Ｂ］で構成されるカラー番号C５（Ｃｏｌｏｒ Ｎｏ．５）の青色（Ｂ：ｂｌｕｅ）光では、撮像０／０／０［Ｒ／Ｇ／Ｂ］となり、各ＲＧＢ画素で光信号がほぼ取得されない状態となる。このため、撮像０／０／０［Ｒ／Ｇ／Ｂ］で示される撮像画素Ｐ２０６（図４参照）においては黒色領域Ｂ１（図８参照）として撮像される。

【0072】

一方で、上述のように、第１カラーパタンと、第２カラーパタンとで、（Ｃｏｌｏｒ Ｎｏ．C４、Ｃｏｌｏｒ Ｎｏ．C５）、（Ｃｏｌｏｒ Ｎｏ．C５、Ｃｏｌｏｒｒ Ｎｏ．C４）となるように、排他的（或いは補完的）に組み合わされる。このため、１／１／０［Ｒ／Ｇ／Ｂ］で構成されるカラー番号C４（Ｃｏｌｏｒ Ｎｏ．C４）の黄色（ｙｅｌｌｏｗ）光は、反射成分を有することとなる。

【0073】

図１０は、比較例として、第１カラーパタンしか投影しない場合の表である。図１０に示すように、第１カラーパタンしか投影しない場合には、投影０／０／１［Ｒ／Ｇ／Ｂ］で構成されるストライプ番号５（Ｃｏｌｏｒ ｂａｒ Ｎｏ．５）の青色（Ｂ：ｂｌｕｅ）光では、撮像０／０／０［Ｒ／Ｇ／Ｂ］となり、各ＲＧＢ画素で光信号がほぼ取得されない状態となる。このため、ストライプ番号５の青色（Ｂ：ｂｌｕｅ）光が投影された領域は、対象物が黒色領域か、黄色領域かの判別ができなくなってしまう。これに対して、図９に示す様に、排他的に組み合わせた第１カラーパタンと、第２カラーパタンとを投影する場合には、凸領域Ｔ１００ａが着色されていても、第１カラーパタンと、第２カラーパタンとのいずれかで、反射光を撮像可能となる。このため、排他的に組み合わせた第１カラーパタンと、第２カラーパタンとを投影する場合には、対象物が黒色領域（或いは対象物が無限遠にある）か、黄色領域（特定色が吸収される領域）かの判別が可能となる。

【0074】

このように、第１カラーパタンと、第２カラーパタンとの同一投影領域に投影される光は、異なる波長帯域の光である。これにより、測定対象Ｔ１００により、一方の波長帯域の光が吸収されても、他方の波長帯域の光が反射さるようにカラーパタンを構成可能となる。なお、本実施形態では、投影光を赤色（Ｒ：ｒｅｄ）光と、緑色（Ｇ：ｇｒｅｅｎ）光と、青色（Ｂ：ｂｌｕｅ）光と、の組合せとしたがこれに限定されない。例えば、第１カラーパタンと、第２カラーパタンとの同一投影領域に投影される光は、異なる波長帯域の光であればよい。すなわち、第１カラーパタンと、第２カラーパタンとの同一投影領域に投影される光は、一方の波長帯域の光が吸収されても、他方の波長帯域の光が反射さるように、補完的に構成すればよい。この場合、少なくとも波長帯を２つの波長帯域に分け、撮像部２００（図２参照）を構成する画素をそれぞれの波長帯域のみに感度を有するように構成してもよい。

【0075】

図１１は、撮像画素Ｐ２０６の構成例を示す図である。図１１に示すように、撮像画素Ｐ２０６を構成する各画素は、フォトダイオードＰＤと、トランジスタＳＷ１、ＳＷ２、ＳＷ３、ＡＭＰとを有する。制御線（ｃｏｎｔｏｒｏｌ ｗｉｒｅｓ）は、３本の制御線ＲＳＴ、ＴＲＧ、ＳＥＬで構成される。

【0076】

フォトダイオードＰＤは、一端がグランドＧＮＤに接続され、他端がトランジスタＳＷ１の一端に接続される。このトランジスタＳＷ１の他端は、フローティングディフュージョンＦＤに接続される。また、トランジスタＳＷ２の一端はフローティングディフュージョンＦＤに接続され、他端は、トランジスタＡＭＰの一端端に接続される。トランジスタＡＭＰの一端端はＶＳＳ線に接続され、他端は、トランジスタＳＷ３の一端に接続される。トランジスタＳＷ３の他端は、ＶＳＬ線に接続される。トランジスタＳＷ１のゲートは制御線ＴＲＧに接続され、トランジスタＳＷ２のゲートは制御線ＲＳＴに接続され、トランジスタＳＷ３のゲートは制御線ＳＥＬに接続され、トランジスタＡＭＰのゲートはフローティングディフュージョンＦＤに接続される。なお、以下ではフォトダイオードＰＤを単にＰＤと記し、フローティングディフュージョンＦＤを単にＦＤと記す場合がある。

【0077】

図１２は、ＡＤ変換部２０８を構成するＡＤＣ回路の一例を示すブロック図である。図１２に示すように、ＡＤＣ回路（図４参照）は、複数のＡＺ回路と、コンパレータと、カウンタを有する。ＤＡＣ回路は、内部にカウンタ（図示なし）を有し、問えばデクリメントしながらカウンタ値に応じた電圧値を出力する。

【0078】

ＡＺ回路は、オートゼロの回路機構で指示された期間（図示なし）で入力された信号の電圧をＡＺ基準電圧に合わせ、入力と出力との間の電圧オフセットを保持する。このＡＺ回路は、指示された期間を過ぎても電圧オフセットを維持することが可能である。このＡＤＣ回路は、ＤＡＣ回路からの入力と、ＶＳＬ線からの入力とに対する２つのＡＺ回路を有する、これらのＡＺ回路は、コンパレータに電圧オフセットを出力する。

【0079】

図１３は、差分露光処理の概略図である。図１３に基づき、差分露光処理例を説明する。図１３に示すように、画像Ｉｍ１３０は、イメージセンサ２０４の駆動タイミングを示す。横軸は時間を示し、縦軸は画素アレイ２０６の縦アドレス（Ｖｉｒｔｉｃａｌ ａｄｄｒｅｓｓ）（図４参照）を示す。このイメージセンサ２０４では、縦アドレスごとに順に処理される。すなわち、縦アドレスをインクリメントして処理する様子を斜めのグラフで示している。

【0080】

画像Ｉｍ１３２は、プロジェクタ発光タイミングの制御信号であるフラッシュ発光（Ｆｌａｓｈ ｓｔｒｏｂｅ）信号を示している。画像Ｉｍ１３４は、第１カラーパタン、及び第２カラーパタンの生成、更新タイミングをそれぞれ示している。画像Ｉｍ１３６は、プロジェクタ発光タイミングを示している。画像Ｉｍ１３８は、第１カラーパタン、及び第２カラーパタンの投影タイミングを示している。

【0081】

画像Ｉｍ１３０に示すように画素アレイ２０６（図４参照）では、行毎に画素リセット（ｓｈｕｔｔｅｒ）、ＦＤ転送、読み出し「ｒｅａｄ」およびＡＤ変換が順に行われる。左のラインＬ１３０が画素リセット「ｓｈｕｔｔｅｒ」のタイミングを示し、中央のラインＬ１３２が「ＦＤ転送」のタイミングを示し、右のラインＬ１３４が「ｒｅａｄ」のタイミングを示す。以下では、画素リセットをシャッターと記す場合がある。

【0082】

ＦＤ転送は画素リセット（ｓｈｕｔｔｅｒ）と読み出し「ｒｅａｄ」の時間的に中央のタイミングで行われる。これにより、画素リセット（ｓｈｕｔｔｅｒ）からＦＤ転送、ＦＤ転送から読み出し「ｒｅａｄ」は合同な並行四辺形となる。これは、画素リセット（ｓｈｕｔｔｅｒ）からＦＤ転送までの露光時間と、ＦＤ転送から読み出し「ｒｅａｄ」までの露光時間が等しいことを示す。また、画素リセット（ｓｈｕｔｔｅｒ）からＦＤ転送までの露光を第１フレーム、ＦＤ転送から読み出し「ｒｅａｄ」までの露光を第２フレームとする。すなわち、第１フレームが第１カラーパタンの撮像に対応し、第２フレームが第２カラーパタンの撮像に対応する。

【0083】

イメージセンサ２０４内のタイミング生成部２１４（図３参照）は、画素リセット（ｓｈｕｔｔｅｒ）の起動タイミング、ＦＤ転送起動タイミング、ｒｅａｄ起動タイミング、およびプロジェクタ発光タイミングであるフラッシュ発光（Ｆｌａｓｈ ｓｔｒｏｂｅ）タイミングを生成する。画素リセット（ｓｈｕｔｔｅｒ）の起動タイミング、ＦＤ転送起動タイミング、ｒｅａｄ起動タイミング、およびプロジェクタ発光タイミングの情報を含む制御信号は、画素制御部２１６に供給され、画素制御のトリガとして、制御される。プロジェクタ発光タイミングの制御信号であるフラッシュ発光（Ｆｌａｓｈ ｓｔｒｏｂｅ）信号は、イメージセンサ２０４内のイメージセンサのタイミング出力Ｉ／Ｆ２１２から、情報処理部３００のタイミング入力Ｉ／Ｆ３０２を経て、パタン生成部３０４と発光制御部３０８に供給される。

【0084】

投影部１００から投映される第１カラーパタン、及び第２カラーパタンは、イメージセンサ２０４の撮影動作と同期させるため、イメージセンサ２０４内からプロジェクタ発光タイミングの制御信号であるフラッシュ発光（Ｆｌａｓｈ ｓｔｒｏｂｅ）信号を発行する。フラッシュ発光期間は、２つの露光のそれぞれで画素リセット（ｓｈｕｔｔｅｒ）、ＦＤ転送、読み出し「ｒｅａｄ」の動作が停止したタイミングであり、２つのフラッシュ発光（Ｆｌａｓｈ ｓｔｒｏｂｅ）期間の長さを等しくする。

【0085】

投影部１００では、画面更新に時間がかかるため、光源発光しない期間に第１カラーパタン、及び第２カラーパタンの更新をそれぞれ行う。撮像部２００から受け取ったフラッシュ発光（Ｆｌａｓｈ ｓｔｒｏｂｅ）信号がハイ（Ｈｉｇｈ）からロウ（Ｌｏｗ）に変化したタイミングをトリガに画面更新を行う。予め、第１カラーパタン（Ｐａｔｔｅｒｎ１）の画面を映し、１度目のフラッシュ発光（Ｆｌａｓｈ ｓｔｒｏｂｅ）信号のハイ（Ｈｉｇｈ）からロウ（Ｌｏｗ）の変化点で第２カラーパタン（Ｐａｔｔｅｒｎ２）の画面更新を行う。２度目のフラッシュ発光（Ｆｌａｓｈ ｓｔｒｏｂｅ）信号のハイ（Ｈｉｇｈ）からロウ（Ｌｏｗ）の変化点で第１カラーパタン（Ｐａｔｔｅｒｎ １）の画面更新を行い、以降、これを繰り返す。こように、投影部１００の発光は、投影部１００の光源を制御することにより行なわれる。光源には発光ダイオード（ＬＥＤ）、ハロゲンランプ、キセノンフラッシュ等を使うことが可能である。

【0086】

再び図１１にもどり、撮像画素Ｐ２０６の各画素は、第１カラーパタンに対応する信号電荷と、第２カラーパタンに対応する信号電荷を順に蓄積し、ＶＳＬ線に供給する。すなわち、これらの画素は、シャッター「ｓｈｕｔｔｅｒ」、「ＦＤ転送」、読み出し「ｒｅａｄ」の駆動を順に行う。

【0087】

ここで、図４を参照にしつつ、図１４に基づき、シャッター「ｓｈｕｔｔｅｒ」のタイミングを説明する。図１４は、シャッターのタイミングチャート例を示す図である。上から順に制御線ＲＳＴ、ＴＲＧ、ＳＥＬの信号レベルを示している。制御線ＴＲＧがハイ（Ｈｉｇｈ）になると、トランジスタＳＷ１が導通状態となり、フォトダイオードＰＤの電荷がＦＤに伝導される。この際に、制御線ＲＳＴをハイ（Ｈｉｇｈ）にすることによりトランジスタＳＷ２が導通状態となり、フローティングディフュージョンＦＤの電荷がＶＳＳ線に伝導する。この制御によってフォトダイオードＰＤとフローティングディフュージョンＦＤの電荷がＶＳＳ線に流れ電荷がクリアされる。そして、制御線ＴＲＧ、ＲＳＴを再びロウ（Ｌｏｗ）にすることによりトランジスタＳＷ１、ＳＷ２が遮断しフォトダイオードＰＤの電荷が流れない状態となり、シャッター「ｓｈｕｔｔｅｒ」が終了して、露光蓄積が開始される。以下では遮断を非導通状態と記す場合がある。

【0088】

図１５は、フローティングディフュージョンＦＤの転送タイミングチャート例を示す図である。上から順に制御線ＲＳＴ、ＴＲＧ、ＳＥＬの信号レベルを示している。制御線ＴＲＧをハイ（Ｈｉｇｈ）にすることより、トランジスタＳＷ１が導通状態となり、フォトダイオードＰＤの電荷がフローティングディフュージョンＦＤに転送保持される。この後、制御線ＴＲＧをロウ（Ｌｏｗ）にし、ランジスタＳＷ１を遮断し、フォトダイオードＰＤの露光により蓄積される電荷が、それ以上ＦＤに転送されない状態にする。これにより、第１カラーパタンに対応する第１フレームの露光の電荷を蓄えたフォトダイオードＰＤの電荷をフローティングディフュージョンＦＤに移動し保持する。

【0089】

図１６は、読み出し（ｒｅａｄ）のタイミングチャート例を示す図である。上から順に制御線ＲＳＴ、ＴＲＧ、ＳＥＬの信号レベルを示している。図１４に示すように、読み出し（ｒｅａｄ）の制御では、オートゼロ「Ａｕｔｏ ｚｅｒｏ」、ＦＤリセット、ＦＤ転送、ＡＤ変換を連続的に行う。

【0090】

オートゼロでは、制御線ＳＥＬをハイ（Ｈｉｇｈ）にすることより、トランジスタＳＷ３を導通状態にする。これにより、ＦＤの電圧がトランジスタＡＭＰの増幅作用により増幅され、ＶＳＬに伝導される。これによりＦＤに蓄積された第１フレームの露光蓄積の電荷量に応じた電圧がＶＳＬ線に伝導される。

【0091】

続けて、ＡＤ変換器２０８では、ＡＺ回路の機構によりＶＳＬ線の電位とＡＺ基準電圧とのオフセットを記録、保持する。制御ＳＥＬを再びロウ（Ｌｏｗ）にすることによりトランジスタＳＷ３を非導通状態にし、ＦＤの電荷量の変化がＶＳＬ線に伝導しないように制御する。

【0092】

続けて、ＦＤリセットは制御線ＲＳＴをハイ（Ｈｉｇｈ）にすることにより、トランジスタＳＷ２を導通状態にする。これによりＦＤの電荷をＶｓｓ線に導通してリセットする。ＦＤをリセットし、制御線ＲＳＴを再びロウ（Ｌｏｗ）とすることにより、トランジスタＳＷ２を非導通状態にする。

【0093】

続けて、ＦＤ転送では、制御線ＴＲＧをハイ（Ｈｉｇｈ）にすることにより、トランジスタＳＷ１を導通状態にする。これにより、フォトダイオードＰＤの電荷をＦＤに転送する。次に、第２フレーム、つまり第２カラーパタンにおいて露光蓄積されたフォトダイオードＰＤの電荷をＦＤに転送、保持する。

【0094】

続けて、ＡＤ変換では、制御線ＳＥＬをＨｉｇｈハイ（Ｈｉｇｈ）にすることにより、トランジスタＳＷ３を導通状態にする。これにより、ＦＤの電圧をトランジスタＡＭＰの増幅作用により増幅して、ＶＳＬ線に電圧を伝導する。このように、第２フレームの露光蓄積の電荷量の情報を、ＶＳＬ線を介して供給可能となる。ＡＤ変換器２０８では、このＶＳＬ線に伝導された電圧値をＡＤ変換する。これにより、第１カラーパタンに対応する第１フレームにおける露光蓄積の電荷量に比例する電圧と、第２カラーパタンに対応する第２フレームにおける露光蓄積の電荷量に比例する電圧と、の差分がＡＤ変換される。
そして、ＡＤ変換の終了後ＳＥＬをロウ（Ｌｏｗ）にして、トランジスタＳＷ３を非導通状態にする。

【0095】

図１７、及び図１８は、第１カラーパタン提示時のコンパレータ（図１２）入力のＶＳＬ（ＡＺ通過後）Ｌ１７０、ＤＡＣ（ＡＺ通過後）の波形を示す図である。図１７は、第１カラーパタンに画素が感度を有する場合、すなわち光電変換する場合を示す図である。

【0096】

上述のように、第１カラーパタン、第２カラーパタンは排他的に構成されるので、特定の１画素では第１カラーパタン、第２カラーパタンのいずれか片方でしか光電変換が行われない。図１７のＶＳＬ（ＡＺ通過後）Ｌ１７０に示すように、電荷は負のエネルギーを持つので、電荷が多いほど負の電圧が大きくなる。図１７では下方向が電圧では負になりエネルギーは大きくなる。

【0097】

第１カラーパタンに有効な光が存在するＡＤ変換は、読み出し「ｒｅａｄ」（図１３参照）の制御のときに行われる。図１７の制御ステートは、図１６における読み出し「ｒｅａｄ」のタイミングチャートに対応する。オートゼロ（ＡＺ）ステートではＦＤに蓄積された電荷の電圧がＶＳＬ（ＡＺ通過後）Ｌ１７０に現れる。そのため、第１フレームで撮像された第１カラーパタンにおける蓄積電荷に応じた値があるため、ＶＳＬ（ＡＺ通過後）Ｌ１７０の電圧は大きく下に振れる。ＶＳＬ（ＡＺ通過後）Ｌ１７０の電圧が安定したところでオートゼロのＡＺ回路（図１２）を有効にし、ＶＳＬ（ＡＺ通過後）Ｌ１７０の電圧と、ＤＡＣ（ＡＺ通過後）の電圧とをＡＺ基準電圧に揃え、ここを基準点にする。ＡＺ回路（図１２）はその後、このオフセット値を維持しオフセット値を加算した出力をＶＳＬ（ＡＺ通過後）Ｌ１７０、およびＤＡＣ（ＡＺ通過後）に出力し続ける。なお、ＦＤ ｒｅｓｅｔ、ＦＤ転送ステートでは、ＶＳＬは高インピーダンス（Ｈｉ－Ｚ）になっているので大きくは変化しない状態で維持される。

【0098】

続くＡＤ変換ステートでは第２フレームの値が読み出される。第２フレームは第２カラーパタンに対応する光は撮像さえず、環境光の反射に起因する露光が行われる。このため、ＶＳＬ（ＡＺ通過後）電圧Ｌ１８０は、第１フレームのＶＳＬ線の電圧に対して小さくなり、大きく上に振れる。ＶＳＬ（ＡＺ通過後）電圧Ｌ１７０が安定した後に、ＡＤ変換が実行される。ＤＡＣ回路（図１２参照）の出力を電圧の高い方から低い方へリニアに変化させるシングルスロープＡＤ変換を示している。ＡＤＣカウンタはＤＡＣのスロープスタートで０から一定間隔でインクリメント（ｉｎｃｒｅｍｅｎｔ）する。ＶＳＬ（ＡＺ通過後）電圧Ｌ１７０とＤＡＣ電圧とが交差するところでコンパレータが反転し、カウンタのカウントを止める。このカウンタの値がデジタルデータ（Ｄｉｇｉｔａｌ ｄａｔａ）となり信号処理部２１０に供給される。カウンタとＤＡＣ回路のスロープは同期しており、ＡＺ基準電圧のカウント値は一定であり予め設定されている。このため、コンパレータが反転したときのカウント値からＡＺ基準電圧のカウンタ値を引くことによって、ＡＤコンバータの結果を正負の値として取得可能となる。図１７に示すように、画素が第１カラーパタン（ｐａｔｔｅｒｎ １）に感度がある場合には、負の値が結果になる

【0099】

図１８は、第２カラーパタンに画素が感度を有する場合、すなわち光電変換する場合を示す図である。ＡＤ変換の方法は、前述した図１７と同等の手順である。特定画素の光電変換素子への透過光量は、第１フレームが多く（暗く）、第２フレームが少ない（明るい）ためＡＺステートのＶＳＬ（ＡＺ通過後）電圧Ｌ１８０の振幅は小さく、ＡＤ変換ステートでは下の方向に振れるＡＤ変換の結果は正の値となる。このように、特定の画素において、第１カラーパタン（ｐａｔｔｅｒｎ１）に感度がある場合は負の値となり、第２カラーパタン（ｐａｔｔｅｒｎ２）に感度がある場合は正の値になる。

【0100】

これらから分かるように、Ｒ／Ｇ／Ｂの画素（図４参照）の結果を総合的に用いることにより、第１カラーパタン（ｐａｔｔｅｒｎ１）と第２カラーパタン（ｐａｔｔｅｒｎ２）とのそれぞれのカラーコードを１度のＡＤ変換により判別することが可能となる。また第１カラーパタン（ｐａｔｔｅｒｎ１）と第２カラーパタン（ｐａｔｔｅｒｎ２）との配色の組み合わせと、差分ＡＤ変換を行うイメージセンサ２０４とにより、ノイズとなる環境光の影響の軽減をしつつ、２つのカラーパタンを同時に取得することが可能となる。

【0101】

再び図１３を参照すると、第１カラーパタン（ｐａｔｔｅｒｎ１）を含む第１フレーム、第２カラーパタン（ｐａｔｔｅｒｎ ２）を含む第２フレームの期間は、同時に環境光による反射光を露光している。これらは測定の際にはノイズとなる。このため、測距の測定の際にノイズとなる光を抑えるため暗室のような環境を作るのだが、本発明では影響光の影響が軽減されるため、必ずしも暗室を構築しなくて済むため、測定環境の自由度が増加する。

【0102】

以下に、より詳細に、本実施形態による環境光反射の抑制について説明する。ここで、第１フレーム期間の環境光反射の露光をＮ１（ノイズ）、第２フレーム期間の環境光反射の露光をＮ２（ノイズ）とする。また、第１カラーパタン（ｐａｔｔｅｒｎ １）の色をＰ１Ｃ、第２カラーパタンの色をＰ２Ｃとすると、（２）式に示す様に、第１フレームではＰ１Ｃ＋Ｎ１、第２フレームではＰ２Ｃ＋Ｎ２が露光される。

【0103】

ここで測定シーンは静止物体で環境光の変化が無いことを仮定できるため、Ｎ１＝Ｎ２となるので、差分ＡＤ変換を行うことにより、第２フレームの露光から第１フレームの露光の減算を行うことが可能となる。

【数2】

【0104】

このように、環境光反射の露光成分Ｎ１、Ｎ２が消え、カラーパタンＰ１Ｃ、Ｐ２Ｃの露光成分の情報だけが抽出される。また、本実施形態のカラーパタンでは色成分に分離すると、各色に於いて第１カラーパタン（ｐａｔｔｅｒｎ １）、第２カラーパタン（ｐａｔｔｅｒｎ ２）のいずれかは、発光しない０となる。このため、本実施形態に係るイメージセンサ２０４は、上述したようにＲ／Ｇ／Ｂのいずれかを通すカラーフィルターを用いて色を分離しているため、Ｒ／Ｇ／Ｂの色ごとでは、第１カラーパタン（ｐａｔｔｅｒｎ １）、又は、第２カラーパタン（ｐａｔｔｅｒｎ ２）のいずれかの発光に対応する値しか存在しなくなる。例えば、上述のように、Ｃｏｌｏｒ ｂａｒ Ｎｏが１番の場合、Ｐ１Ｃの色成分（Ｒ、Ｇ、Ｂ）は（１、０、０）で、Ｐ２Ｃの色成分（Ｒ、Ｇ、Ｂ）は（０、１、１）になる。これを色成分ごとに式２で解くと、（－１、１、１）となる。ここで、Ｐ１Ｃは負の値であるので－１を１とし、正の値を０に置き換えると、（１、０、０）となり、Ｐ２Ｃは正の値であるので１を１とし負の値を０に置き換えると、（０、１、１）となり、Ｃｏｌｏｒ ｂａｒ Ｎｏの２つの色を判別することが可能となる。

【0105】

また、通常動作であれば、第１期間と第２期間との２回のＡＤ変換を行い、算術的に減算処理することも可能となる。しかし、ＡＤ変換には多くの電力を消費し、データ量が多く、算術処理にも電力を消費してしまう。一方で、本実施形態では、ＡＤ変換を１度に行うことにより消費電力およびデータ量、算術処理を削減可能としている。なお、本実施形態では、アナログ回路により差分を取得しているが、対応する処理をデジタル演算によって行っても良い。

【0106】

図１９は、図６Aで示したカラーパタンを反射率（Ｒ：５０％、Ｇ：１００％、Ｂ：７５％）の物体に投映した場合の輝度を示す表である。すなわち、物体の反射率がＲ（赤）５０％、Ｇ（緑）１００％、Ｂ（青）７５％の物体に投影したときの表面の明るさを示す。ここでは、値を、０～２５５の分解能としている。

【0107】

図２０は、図６Aで示したカラーパタンを反射率（Ｒ：５０％、Ｇ：１００％、Ｂ：７５％）の物体に投映し差分ＡＤ変換をした結果を示す表である。ここでは、値を、－２５５～２５５の分解能としている。第１カラーパタン（ｐａｔｔｅｒｎ １）は負の数値、第２カラーパタン（ｐａｔｔｅｒｎ ２）は正の数値になる。この－２５５～２５５の範囲を分解能とした（Ｒ、Ｇ、Ｂ）の値が画像信号として、第２信号処理部３１２に供給される。

【0108】

第２信号処理部３１２は、差分ＡＤ変換後の値ＡＤが、しきい値ＴＨ（正の数とする）より大きいとき、すなわち、ＡＤ＞ＴＨのときは結果を１とし、しきい値ＴＨに－１をかけたときより小さいとき、すなわち、ＡＤ＜－ＴＨのときは結果を－１とする。また、値ＡＤが、－ＴＨ≦ＡＤ≦ＴＨのときには結果を０とする。しきい値ＴＨはノイズを考慮した数値に設定することによりノイズの影響を除外することができる。デバイスの能力にもよるがここではＴＨ＝１０とした結果を図２１に示す。すなわち、通常の撮影状態では、反射率、物体への距離は未知の値であり、距離による減衰、その他のノイズを考慮し、０値周辺にしきい値を用意し、しきい値以上の絶対値のある部分を有意な光と判別することとする。

【0109】

図２１は、有意なカラー成分に変換した結果を示す表である。すなわち、第２信号処理部３１２が分ＡＤ変換後の値に基づき、有意なカラー成分に変換した結果例を示す表である。

【0110】

また、図２２は、図６Aで示したパタンを本実施形態に係る差分ＡＤ変換を通した場合の結果を示す表である。理論差分ＡＤ変換後は（２）式にしたがい、第２カラーパタン（ｐａｔｔｅｒｎ２）から第１カラーパタン（ｐａｔｔｅｒｎ１）を引いた計算結果を示している。図２１、２２の結果から分かるように、理論差分ＡＤ変換後の行の値は、第２信号処理部３１２が生成した値と一致する。このように、反射率を考慮したイメージセンサによる測定により、パタンの測定が可能となる。

【0111】

図２３は、青色光を反射しない物体を測定した結果を示す表である。図２３に示すように、０が含まれたときは、測定物体の反射が無い色を特定し、これによりカラーストライプの番号（Ｃｏｌｏｒ ｂａｒ No）の範囲を絞ることが可能となる。例えば、測定結果が、｛Ｒ、Ｇ、Ｂ｝＝｛－１、１、０｝を示す場合、Ｂ（青）の反射がない物体であり、これは投影された光のカラーストライプの組み合わせ（Ｃｏｌｏｒ ｂａｒ 組み合わせ）（図１９参照）が、１番か２番であることを示す。

【0112】

第２信号処理部３１２は、これを元に、この測定点の周囲状況、例えば、左隣、右隣の色結果等で推測して補完していくことが可能となる。第２信号処理部３１２では、このＣｏｌｏｒ ｂａｒ Ｎｏ.１の左隣は、６番であるが、２番の左隣は１番であること、２番の右隣は３番であるが、１番の右隣は２番であることなどの特徴を用いて補完推測を行うことが可能となる。例えば第２信号処理部３１２は、ストライプの場合は色の変化点が測定ポイントになるので、１番と２番との境目、２番と３番との境目等の検出した変化点を全ての画像位置と、どのＣｏｌｏｒ ｂａｒ Ｎｏ．の境目かの情報を、測距データとして３次元計測演算部３１６（図３参照）に送ることが可能となる。３次元計測演算部３１６は、画像位置から撮像部２００と測定点の角度を割り出し、また、Ｃｏｌｏｒ ｂａｒ Ｎｏ．情報から投影部１００と測定点の角度を割り出し、予め定めておいた投影部１００と撮像部２００間の距離Ｌの３つの情報から三角測量により測定点の距離を計算する。３次元計測演算部３１６は、全ての測定ポイントＰで距離を計算し、そのデータをデータ出力Ｉ／Ｆ３１８を介して、ストレージに保存したり、ディスプレイに表示したり、する。

【0113】

一方、比較例（図１０参照）に示すように、反射がない場合は、その色の結果は０となる。例えば、｛Ｒ、Ｇ、Ｂ｝＝｛１、０、０｝となった場合、従来例では、測定物体が全ての色を反射したのか、Ｇ（緑）の反射がないのか、Ｂ（青）の反射がないのかの区別がつかなくなる。したがって、１番の可能性、Ｂ（青）が欠損した２番である可能性、Ｇ（緑）が欠損した４番である可能性が残る。このため、周囲の測定結果で推測する際の、情報の正確さが本実施形態に対して劣る結果となる。また、５番のように、光が反射して帰ってこない場合は、物体の形状を確認することが出来ないため、物体が欠けて見える測定結果となる。

【0114】

このように、比較例では測距のために１つのカラーパタンしか投影しないために、物体の色は特定困難となる。一方で本実施形態では、２つのカラーパタンによりＲ、Ｇ、Ｂの三原色を照射しているため、測定物体の色再現が可能となる。

【0115】

図２０を再び参照すると、図２０では、反射率、Ｒ：５０％、Ｇ：１００％、Ｂ：７５％の物体に、照射して反射してくる色ごとの輝度を示している。数値は０～２５５までの範囲で正規化した表現である。このため、５０％は１２７となり、１００％は２５５となり、７５％は１９１となる。この測定結果を用いて色再現を行うためには、各色輝度を絶対値に変換することで測定物体の色を得ることが可能となる。例えば第２信号処理部３１２（図３参照）は、図２０では、Ｃｏｌｏｒ ｂａｒ Ｎｏの１番では、｛－１２７、２５５、１９１｝であるので負の値の絶対値をとることにより、｛１２７、２５５、１９１｝を生成することが可能となる。

【0116】

一方で、測定物体に白色光を当てた場合を考える。白色の色成分は｛２５５、２５５、２５５｝であり、測定物体の反射率は｛５０％、１００％、７５％｝である。これらを色成分ごとに乗算し小数点以下を切り捨てると、｛１２７、２５５、１９１｝という色になる。これは図２０において、Ｃｏｌｏｒ ｂａｒ Ｎｏの１番から計算した値と一致する。第２信号処理部３１２（図３参照）は、画像生成部３１４（図３参照）は、これらの一連の変換を、イメージセンサ２０４で得た全ての画素に対して行い、画像生成部３１４（図３参照）に供給する。そして、画像生成部３１４は、ＲＧＢ｛１２７、２５５、１９１｝などの撮像画素Ｐ２０６毎のデジタル画素信号に基づき、2次元のＲＧＢ画像データを生成し、データ出力Ｉ／Ｆ３１８を介して、ストレージに記録したり、ディスプレイに表示したりする。

【0117】

図２４は、ド・ブラウン（ｄｅ ｂｒｕｉｊｎ）により生成したカラーストライプパタン（color bar No.）を示す表である。図２４に示すように、ド・ブラウンの色配列や、マトリックスタイルパタンでも、本実施形態に係るカラーパタンを構成可能となる。図２５は、ド・ブラウン列のアルゴリズムによる循環パタンの拡張の例を示す図である。図２４、２５に示すように、例えば、第１カラーパタン（ｐａｔｔｅｒｎ１）の中で、左が赤（ｒｅｄ）で右が緑（ｇｒｅｅｎ）のパタンは一箇所だけであり、同様に他の色の組み合わせも一箇所だけになる。

【0118】

ここでも、上述の実施形態と同様に、色成分ごとに発光の有り、無で構成してもよい。すなわち排他的な組み合わせで作成される。このため、第２カラーパタン（ｐａｔｔｅｒｎ２）は第１カラーパタン（ｐａｔｔｅｒｎ１）で用いられなかった色成分により構成される。第２カラーパタン（ｐａｔｔｅｒｎ２）においても隣接した２つの色の組み合わせは全てユニークとなる。これらは３０の色の循環となり一番右、例えば第１カラーパタン（ｐａｔｔｅｒｎ１）のスカイブルー（ｓｋｙ ｂｌｕｅ）の右は赤（ｒｅｄ）となり、再び３０の色の循環を繰り返す。繰り返しによってつながった色もユニークな組み合わせとなる。図２４で示すカラーストライプパタンでも上述の処理が可能である。但し、左隣または右隣の組み合わせを見て、図２４のド・ブラウン（ｄｅ ｂｒｕｉｊｎ）列により改良したカラーストライプパタンに一致するカラーストライプパタンの番号（Ｃｏｌｏｒ ｂａｒ ｎｏ）を検索して特定する。特定の色成分の反射がないなどの場合も同様に両隣の色の組み合わせで補完を行うことが可能である。なお、６色の循環に比べて数が増えるので、測定粒度を保ったまま視度差を広げたり、また、１つ１つの色の幅を狭くすることにより測定粒度を高めたり、することが可能となる。

【0119】

図２６は、縦列方向に色の変化を拡張したカラータイルパタンを示す表である。カラータイル番号（Color tile No.）図２７は、図２６のカラータイルパタン例の配置を示す図である。図２７の数字はカラータイル番号（Color tile No.）に対応する。

【0120】

図２６、２７に示すように、水平方向の色の順番はそのままにして、縦方向にも同じ順番で並べることも可能である。このようなパタンを１単位として横方向、縦方向に並べる。ここでも、本実施形態により、色成分ごとに発光の有り、発光の無しの組み合わせで作成され、第２カラーパタン（ｐａｔｔｅｒｎ２）は第１カラーパタン（ｐａｔｔｅｒｎ１）で用いなかった色成分により構成する。第２カラーパタン（ｐａｔｔｅｒｎ ２）においても隣接した２つの色の組み合わせは全てユニークとなる。カラータイルパタンにおいても、既に説明した方法により処理を行うことが可能である。但し、特定の色成分の反射がないなどの場合、左隣または右隣の色による推測に加えて、上または下の色による推測を用いることが出来る。これにより反射不足等の障害時に、補完演算のための情報が増えるので、補完の正確性がより向上する。また、カラータイルパタンでもド・ブラウン式や別の循環パタンを用いてもよい。

【0121】

図２８は、カウンタ差分、デジタル差分の読み出し（ｒｅａｄ）のタイミングチャートを示す図である。図２８は、ＡＤ変換を２回行う例を示す図である。上から順に制御線ＲＳＴ、ＴＲＧ、ＳＥＬの信号レベルを示している。図２８に示すように、読み出し（ｒｅａｄ）の制御では、オートゼロ「Ａｕｔｏ ｚｅｒｏ」、ＡＤ変換、ＦＤリセット、ＦＤ転送、ＡＤ変換を連続的に行う。なお、シャッター（ｓｈｕｔｔｅｒ）ステート、ＦＤ転送ステートの制御は、図１４、１５の例と同等である。一方で、読み出し（ｒｅａｄ）ステートの制御は異なる。図２８に示すように、オートゼロ「Ａｕｔｏ ｚｅｒｏ（２） 」、ＡＤ変換（２）、ＦＤリセット、ＦＤ転送、ＡＤ変換（３）が連続して行われる。

【0122】

オートゼロ「Ａｕｔｏ ｚｅｒｏ（２）」では画素（図１１参照）では、トランジスタＳＷ１１を非導通状態とし、ＡＤ変換部２０８のＡＤ変換器（図４参照）はＡＺ回路の機構によりＶＳＬ線の電圧とＡＺ基準電圧とのオフセットを記録、保持する。ＡＤ変換（２）ステートでは、制御線ＳＥＬをハイ（Ｈｉｇｈ）にすることによりトランジスタＳＷ３を導通状態とし、ＦＤの電圧をトランジスタＡＭＰにより増幅させた値でＶＳＬ線に伝導する。これにより、ＦＤに蓄積された第１フレームの露光蓄積の電荷量に応じた電圧がＶＳＬ線に伝導される。ＡＤ変換器（図４参照）はＶＳＬ線の電圧に対して一回目のＡＤ変換を行う。これは、即ち第１フレームで蓄積された電荷量に比例する電圧をＡＤ変換していることとなる。制御線ＳＥＬを再びロウ（Ｌｏｗ）にすることにより、トランジスタＳＷ３を非導通状態とし、ＦＤの電荷量の変化がＶＳＬ線に影響しないようにする。

【0123】

ＦＤリセットは制御線ＲＳＴをハイ（Ｈｉｇｈ）にすることにより、トランジスタＳＷ２を導通状態とし、ＦＤの電荷をＶｓｓ線に流してリセットする。ＦＤのリセット後に、制御線ＲＳＴを再びロウ（Ｌｏｗ）にして、トランジスタＳＷ２を非導通状態とする。ＦＤ転送は、制御線ＴＲＧをハイ（Ｈｉｇｈ）にすることにより、トランジスタＳＷ１を導通状態とし、ＰＤの電荷をＦＤに転送する。これにより、第２フレームの露光蓄積されたＰＤの電荷がＦＤに転送され、保持される。

【0124】

ＡＤ変換（３）では、制御線ＳＥＬをハイ（Ｈｉｇｈ）にし、トランジスタＳＷ３を導通状態とする。これにより、ＦＤの電圧をトランジスタＡＭＰにより増幅して、ＶＳＬ線に伝導させる。これにより、第２フレームにおける露光蓄積の電荷量に比例する電圧を、ＶＳＬ線を介して伝導できる。ＡＤ変換器では、この値のＡＤ変換を行う。これは、すなわち第２フレームにおける露光蓄積の電荷量に比例する電圧をＡＤ変換していることとなる。ＡＤ変換の終了後制御線ＳＥＬをロウ（Ｌｏｗ）にして、トランジスタＳＷ３を非導通状態とする。

【0125】

図２９は、図２８のタイミングチャートに対応するＡＤＣのコンパレータ入力のＶＳＬ（ＡＺ通過後）、ＤＡＣ（ＡＺ通過後）の波形を示す図である。図２９は、特定画素が第１カラーパタンに感度を有する場合である。図２９のＶＳＬ（ＡＺ通過後）Ｌ２９０に示すように、電荷は負のエネルギーを持つので電荷が多いほど負の電圧が大きくなる。図２９では下方向が電圧では負になりエネルギーは大きくなる。

【0126】

オートゼロ（ＡＺ）ステートではＶＳＬ（ＡＺ通過後）Ｌ２９０とＤＡＣ（ＡＺ通過後）の電圧をＡＺ基準電圧に揃え、ここを基準点にする。ＡＺ回路はその後、このオフセット値を維持しオフセット値を加算した出力をＶＳＬ（ＡＺ通過後）Ｌ２９０およびＤＡＣ（ＡＺ通過後）に出力し続ける。ＡＤ変換（２）ステートではＦＤに蓄積された電荷の電圧がＶＳＬに現れる。そのため、第１フレームでの蓄積電荷に投影光に応じた蓄積量があるためＶＳＬ（ＡＺ通過後） Ｌ２９０は大きく下に振れる。ＶＳＬ（ＡＺ通過後） Ｌ２９０が安定したところで一回目のＡＤ変換を行い、予め０にクリアしていたＡＤＣカウンタでカウントする。

【0127】

ＤＡＣの出力を電圧の高い方から低い方へリニアに変化させるシングルスロープＡＤ変換を示している。ただし、本実施形態ではカウンタによる差分処理を行うため、ここではカウンタをデクリメント（ｄｅｃｒｅｍｅｎｔ）する。ＶＳＬ（ＡＺ通過後）とＤＡＣ（ＡＺ通過後）の電圧が交差するところでコンパレータが反転しＡＤＣカウンタは停止し値を保持する。

【0128】

ＦＤリセット（ｒｅｓｅｔ）、ＦＤ転送ステートではＶＳＬ線Ｌ２９０は高インピーダンス（Ｈｉ－Ｚ）になっているので大きくは変化しない状態が維持される。続くＡＤ変換ステートでは第２フレームの値が読み出される。第２フレームでは第２カラーパタンに対する感度がなく、環境光の反射の露光成分が主として蓄積電荷に変換される。このため、第１フレームの値に対して蓄積電荷量に応じた電圧が小さくなる。このように、ＡＺ基準電圧に対して小さく下の位置に振れる。図２９に示すように、第１フレームに大きな値があるので結果として上に振れることになる。ＶＳＬ（ＡＺ通過後）Ｌ２９０が安定した後に、２回目のＡＤ変換を実行する。ＡＤＣカウンタは一回目のＡＤ変換の値から今度は、インクリメント（ｉｎｃｒｅｍｅｎｔ）する。ＶＳＬ線の電圧とＤＡＣが交差するところでコンパレータが反転しカウンタのカウントを止める。一回目のＡＤ変換で負の方向にカウントしていたので、このカウンタの値が２つのフレームの差分結果となり信号処理部２１０に供給されるデクリメント（ｄｅｃｒｅｍｅｎｔ）の値の方が大きいため結果は負の値となる。

【0129】

図３０は、特定画素が第２カラーパタンに感度を有する場合を示す図である。ＡＤ変換の方法は、図２９に示した手順と同等である。第１フレームが暗く第２フレームが明るいためＡＤ変換（２）ステートのＶＳＬ（ＡＺ通過後）Ｌ３００の値は小さくなり、ＡＺ基準電圧から小さく下に振れ、ＡＤ変換（２）では大きく下に振れて、インクリメント（ｉｎｃｒｅｍｅｎｔ）の値の方が大きいため結果は正の値となる。これによって図１７、１８と同等の結果を得られ、以降の処理は図１７、１８と同じように行うことが可能となる。
なお、本実施形態ではＡＤＣカウンタのインクリメント（ｉｎｃｒｅｍｅｎｔ）とデクリメント（ｄｅｃｒｅｍｅｎｔ）による実装を行ったが、回路削減のためにＡＤ変換（２）ステートもインクリメント（ｉｎｃｒｅｍｅｎｔ）を行い、ＡＤ変換（３）ステートの前に反転することによって差分処理を実行してもよい。また、ＡＤ変換（２）時にインクリメント（ｉｎｃｒｅｍｅｎｔ）で第１フレームのＡＤ変換を行い、その値を信号処理部に送ってもよい。その後に、ＡＤ変換（３）時の前にＡＤＣを０にクリアし、第２フレームのＡＤ変換を行い、その値を信号処理部に送り、信号処理部は２つの差分をデジタル回路で実行させてもよい。

【0130】

以上説明したように、本実施形態によれば、投影部１００が、第１カラーパタンと、第２カラーパタンとを順に測定対象Ｔ１００に投影し、情報処理部３００が、第１カラーパタンと、第２カラーパタンとに基づき、測定対象Ｔ１００までの距離を測定する。この場合、第１カラーパタンと、第２カラーパタンとの同一投影領域に投影される光は、異なる波長帯域の光である。これにより、測定対象Ｔ１００により、一方の波長帯域の光が吸収されても、他方の波長帯域の光が反射さるようにカラーパタンを構成可能となる。

【0131】

また、第１カラーパタンと、第２カラーパタンとの同一投影領域に投影される光が３つの波長帯域の光の組合せで構成され、同一投影領域に対し、第１カラーパタンでは３つの波長帯域の光の少なくとも１波長帯域の光を投影し、第２カラーパタンでは３つの波長帯域の光のなかの残りの波長帯域の光を投影することとした。これにより、測定対象Ｔ１００により、３つの波長帯域の光のいずれかが吸収されても、他の波長帯域の光が反射さるので、測定対象Ｔ１００までの距離測定が可能となる。また、３つの波長帯域の光のそれぞれの反射強度を画素信号として生成可能となり、測定対象Ｔ１００の有する色の情報を生成可能となる。

【0132】

なお、本技術は以下のような構成を取ることができる。

【0133】

（１） 所定の第１カラーパタンと、所定の第２カラーパタンとを順に測定対象に投影する投影部と、
前記第１カラーパタンと、前記第２カラーパタンとに基づき、前記測定対象までの距離を測定する情報処理部と、
を備え、
前記第１カラーパタンと、前記第２カラーパタンとの同一投影領域に投影される光は、異なる波長帯域の光である、測距装置。

【0134】

（２） 前記第１カラーパタンと、前記第２カラーパタンとの同一投影領域に投影される光は、３つの波長帯域の光の組合せで構成され、前記同一投影領域に対し、前記第１カラーパタンでは前記３つの波長帯域の光の少なくとも１波長帯域の光を投影し、前記第２カラーパタンでは前記３つの波長帯域の光のなかの残りの波長帯域の光を投影する、（１）に記載の測距装置。

【0135】

（３） 前記３つの波長帯域の光のそれぞれは、赤色帯域、緑色帯域、及び青色帯域の光のいずれかである、（２）に記載の測距装置。

【0136】

（４） 前記第１カラーパタンと、前記第２カラーパタンとを投影された前記測定対象を順に撮像する撮像部を、に備える、（３）に記載の測距装置。

【0137】

（５） 前記撮像部は、
前記投影部における前記第１カラーパタンと、前記第２カラーパタンとの投影タイミングと、前記撮像部の撮像タイミングを制御する制御信号を生成するタイミング生成部を有する、（４）に記載の測距装置。

【0138】

（６） 前記撮像部は、
赤色帯域の光に感度を有し、緑色帯域、及び青色帯域への感度が赤色帯域の光より抑制された赤色画素と、緑色帯域の光に感度を有し、赤色帯域、及び青色帯域への感度が緑色帯域の光より抑制された緑色画素と、青色帯域の光に感度を有し、赤色帯域、及び緑色帯域への感度が青色帯域の光より抑制された青色画素と、で構成される撮像画素が２次元状に配置された画素アレイを有する、（５）
に記載の測距装置。

【0139】

（７） 前記撮像画素内の前記赤色画素、前記緑色画素、及び前記青色画素のそれぞれは、前記第１カラーパタン、及び前記第２カラーパタンのいずれかに対してより多くの画素信号を生成する、
（６）に記載の測距装置。

【0140】

（８） 前記撮像部は、
前記撮像画素内の前記赤色画素、前記緑色画素、及び前記青色画素のそれぞれに対して、前記第１カラーパタンに応じて蓄積された第１蓄積電荷量と、前記第２カラーパタンに応じて蓄積された蓄積電荷量と、の差分に応じた電圧をデジタル画素信号に変換する、（６）に記載の測距装置。

【0141】

（９） 前記タイミング生成部が生成する制御信号に基づき、
前記撮像画素内の前記赤色画素、前記緑色画素、及び前記青色画素のそれぞれは、前記第１カラーパタンに対する撮像時間と、前記第２カラーパタンに対する撮像時間とが、等しくなるように制御される、（６）に記載の測距装置。

【0142】

（１０） 前記情報処理部は、
前記第１カラーパタンに対する前記撮像画素の出力信号と、前記第２カラーパタンに対する前記撮像画素の出力信号と、に基づき、前記測定対象のカラー画像を生成する画像生成部を有する、（６）乃至（９）のいずれか一項に記載の測距装置。

【0143】

（１１） 前記情報処理部は、
前記デジタル画素信号に基づき、前記第１カラーパタン及び前記第２カラーパタンを撮像したデジタル画像から順にパタンを検出し、前記検出したパタンと前記投影部が投影した前記第１カラーパタン、及前記第２カラーパタンの少なくともいずれかを対応させ、前記測定対象の各部分までの距離を生成する計測部を有する、（８）に記載の測距装置。

【0144】

（１２） 前記第１カラーパタン、及び前記第２カラーパタンは、複数の区画領域で構成され、各区画領域のそれぞれの光の色は、前記赤色帯域、前記緑色帯域、及び前記青色帯域の光のいずれか、又は、前記赤色帯域、前記緑色帯域、及び前記青色帯域の光の中の２つに組み合わせのいずれかである、（２）乃至（４）のいずれか一項に記載の測距装置。

【0145】

（１３） 前記複数の区画領域は、グループ化されており、グループ内の区画領域ごとの光の色は全て異なる、（１２）に記載の測距装置。

【0146】

（１４） 前記複数の区画領域において、隣接した２つの色の組み合わせは全て異なる、（１２）に記載の測距装置。

【0147】

（１５） 前記複数の区画領域の色は、ド・ブラウン列による循環パタンである、（１４）
に記載の測距装置。

【0148】

（１６） 前記複数の区画領域は、行列状に２次元配置されたタイルパタンである、（１２）
乃至（１５）のいずれか一項に記載の測距装置。

【0149】

（１７） 前記撮像部は、
前記撮像画素内の前記赤色画素、前記緑色画素、及び前記青色画素のそれぞれに対して、前記第１カラーパタンに応じて蓄積された第１蓄積電荷量に応じた電圧を第１デジタル信号に変換し、前記第２カラーパタンに応じて蓄積された蓄積電荷量に応じた電圧を第２デジタル信号に変換し、それぞれの差分をデジタル画素信号とする、（６）に記載の測距装置。

【0150】

（１８） 前記情報処理部は、
前記第１カラーパタン、及び前記第２カラーパタンを生成するパタン生成部を有し、前記第１カラーパタン、及び前記第２カラーパタンの情報を有する信号を前記投影部に供給する、（１）乃至（１７）のいずれか一項に記載の測距装置。

【0151】

（１９） 前記撮像部は、
赤外域の波長帯域を３つの波長帯域に分け、それぞれの波長帯域のみに感度を有する画素で構成され、
前記第１カラーパタン、及び前記第２カラーパタンは、前記赤外域の前記３つの波長帯域のそれぞれで構成される、（１）に記載の測距装置。

【0152】

（２０） 前記撮像部は、
少なくとも波長帯域を２つの波長帯域に分け、それぞれの波長帯域のみに感度を有する画素で構成される、（１）に記載の測距装置。

【0153】

（２１） 所定の第１カラーパタンと、所定の第２カラーパタンとを順に測定対象に投影する投影工程と、
前記第１カラーパタンと、前記第２カラーパタンとに基づき、前記測定対象までの距離を測定する情報処理工程と、
を備え、
前記第１カラーパタンと、前記第２カラーパタンとの同一投影領域に投影される光は、前記第１カラーパタンと、前記第２カラーパタンとの同一投影領域に投影される光は、ことなる波長帯域の光である、測距方法。

【0154】

本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

【符号の説明】

【0155】

１：測距装置、１００：投影部、２００：撮像部、２０６：画素アレイ、２１４：タイミング制御部、３００：情報処理部、３０４：パタン生成部、３１６：３次元計測演算部、３１４：画像生成部、Ｐ２０６：撮像画素。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】