知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025027747
(43)【公開日】2025-02-28
(54)【発明の名称】距離画像撮像装置、及び距離画像撮像方法
(51)【国際特許分類】
G01S 7/4863 20200101AFI20250220BHJP
G01S 17/894 20200101ALI20250220BHJP
G01C 3/06 20060101ALI20250220BHJP
H04N 25/70 20230101ALI20250220BHJP
H04N 25/705 20230101ALI20250220BHJP
【ＦＩ】
G01S7/4863
G01S17/894
G01C3/06 120Q
G01C3/06 140
H04N25/70
H04N25/705
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023132840
(22)【出願日】2023-08-17
(71)【出願人】
【識別番号】000003193
【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】高橋 聡
【テーマコード（参考）】
2F112
5C024
5J084
【Ｆターム（参考）】
2F112AD01
2F112BA20
2F112CA02
2F112CA12
2F112DA19
2F112DA21
2F112DA25
2F112DA28
2F112EA05
2F112GA01
5C024CY17
5C024EX12
5C024EX43
5C024EX52
5C024GX03
5C024GX16
5C024GX18
5C024GY31
5C024JX46
5J084AA04
5J084AA05
5J084AD01
5J084AD05
5J084BA04
5J084BA20
5J084BA36
5J084BA40
5J084BB10
5J084BB20
5J084CA03
5J084CA31
5J084CA65
5J084CA67
5J084EA40
(57)【要約】
【課題】被写体までの距離と共に被写体の色情報を得る。
【解決手段】光源部と、画素が二次元マトリクス状に複数配置された受光領域及び画素駆動回路とを有する受光部と、前記光パルスを照射する照射タイミング及び前記電荷蓄積部に電荷を蓄積させる蓄積タイミングを制御し、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記被写体までの距離を算出する距離画像処理部と、前記受光領域における画素に設けられ、前記受光領域に入射した光のうち特定の色に対応する周波数帯域を有する光を画素に受光させ、前記特定の色とは異なる色に対応する周波数帯域を有する光を画素に受光させないカラーフィルタと、を備え、前記距離画像処理部は、前記電荷蓄積部のそれぞれに蓄積された電荷量に対応する蓄積信号を用いて、前記カラーフィルタに対応する色の強度である色強度を算出し、前記反射光信号に基づいて前記被写体までの距離を算出する。
【選択図】図１
【解決手段】光源部と、画素が二次元マトリクス状に複数配置された受光領域及び画素駆動回路とを有する受光部と、前記光パルスを照射する照射タイミング及び前記電荷蓄積部に電荷を蓄積させる蓄積タイミングを制御し、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記被写体までの距離を算出する距離画像処理部と、前記受光領域における画素に設けられ、前記受光領域に入射した光のうち特定の色に対応する周波数帯域を有する光を画素に受光させ、前記特定の色とは異なる色に対応する周波数帯域を有する光を画素に受光させないカラーフィルタと、を備え、前記距離画像処理部は、前記電荷蓄積部のそれぞれに蓄積された電荷量に対応する蓄積信号を用いて、前記カラーフィルタに対応する色の強度である色強度を算出し、前記反射光信号に基づいて前記被写体までの距離を算出する。
【選択図】図１
【特許請求の範囲】
【請求項1】
被写体に光パルスを照射する光源部と、
入射した光に応じた電荷を発生する光電変換素子及び電荷を蓄積する複数の電荷蓄積部を具備する画素が二次元マトリクス状に複数配置された受光領域と、前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
前記光パルスを照射する照射タイミング及び前記電荷蓄積部に電荷を蓄積させる蓄積タイミングを制御し、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記被写体までの距離を算出する距離画像処理部と、
前記受光領域における画素に設けられ、前記受光領域に入射した光のうち特定の色に対応する周波数帯域を有する光を画素に受光させ、前記特定の色とは異なる色に対応する周波数帯域を有する光を画素に受光させないカラーフィルタと、
を備え、
複数の色のそれぞれに対応する前記カラーフィルタが前記受光領域における互いに異なる画素に設けられ、
前記距離画像処理部は、前記電荷蓄積部のそれぞれに蓄積された電荷量に対応する蓄積信号を用いて、画素が前記カラーフィルタを介して受光した外光の光量に対応する外光信号、及び前記光パルスの反射光の光量に対応する反射光信号を算出し、前記外光信号に基づいて前記カラーフィルタに対応する色の強度である色強度を算出し、前記反射光信号に基づいて前記被写体までの距離を算出する、
距離画像撮像装置。
入射した光に応じた電荷を発生する光電変換素子及び電荷を蓄積する複数の電荷蓄積部を具備する画素が二次元マトリクス状に複数配置された受光領域と、前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
前記光パルスを照射する照射タイミング及び前記電荷蓄積部に電荷を蓄積させる蓄積タイミングを制御し、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記被写体までの距離を算出する距離画像処理部と、
前記受光領域における画素に設けられ、前記受光領域に入射した光のうち特定の色に対応する周波数帯域を有する光を画素に受光させ、前記特定の色とは異なる色に対応する周波数帯域を有する光を画素に受光させないカラーフィルタと、
を備え、
複数の色のそれぞれに対応する前記カラーフィルタが前記受光領域における互いに異なる画素に設けられ、
前記距離画像処理部は、前記電荷蓄積部のそれぞれに蓄積された電荷量に対応する蓄積信号を用いて、画素が前記カラーフィルタを介して受光した外光の光量に対応する外光信号、及び前記光パルスの反射光の光量に対応する反射光信号を算出し、前記外光信号に基づいて前記カラーフィルタに対応する色の強度である色強度を算出し、前記反射光信号に基づいて前記被写体までの距離を算出する、
距離画像撮像装置。
【請求項2】
前記カラーフィルタは、前記光パルスが有する周波数帯域を通過させる、
請求項１に記載の距離画像撮像装置。
請求項１に記載の距離画像撮像装置。
【請求項3】
前記距離画像処理部は、画素から出力される前記蓄積信号のうち、最も小さい値を前記外光信号の値として前記色強度を算出し、前記蓄積信号のうち前記色強度の算出に用いた前記蓄積信号とは異なる前記蓄積信号から前記外光信号を減算した値に基づいて、前記距離を算出する、
請求項１に記載の距離画像撮像装置。
請求項１に記載の距離画像撮像装置。
【請求項4】
前記距離画像処理部は、第１色に対応する前記カラーフィルタが設けられた画素である第１画素から出力される前記蓄積信号を用いて算出される前記色強度、及び、前記第１画素の周辺にある第２画素であって前記第１色とは異なる第２色に対応する前記カラーフィルタが設けられた第２画素から出力される前記蓄積信号を用いて算出される前記色強度を用いて複数の色を有するカラー画像を生成し、生成したカラー画像における各画素に前記距離を対応させたマップを生成する、
請求項１に記載の距離画像撮像装置。
請求項１に記載の距離画像撮像装置。
【請求項5】
前記カラーフィルタは、赤、青、緑の色のそれぞれに対応するフィルタからなり、
前記距離画像処理部は、赤、青、緑の色を有するカラー画像を生成する、
請求項３に記載の距離画像撮像装置。
前記距離画像処理部は、赤、青、緑の色を有するカラー画像を生成する、
請求項３に記載の距離画像撮像装置。
【請求項6】
前記カラーフィルタには、前記光パルスが有する周波数帯域を遮断する遮断フィルタと、前記光パルスが有する周波数帯域を通過させる通過フィルタと、が含まれ、
前記距離画像処理部は、前記遮断フィルタが設けられた画素から出力される前記蓄積信号を用いて前記色強度を算出し、前記通過フィルタが設けられた画素から出力される前記蓄積信号を用いて前記距離を算出する、
請求項１に記載の距離画像撮像装置。
前記距離画像処理部は、前記遮断フィルタが設けられた画素から出力される前記蓄積信号を用いて前記色強度を算出し、前記通過フィルタが設けられた画素から出力される前記蓄積信号を用いて前記距離を算出する、
請求項１に記載の距離画像撮像装置。
【請求項7】
前記距離画像処理部は、前記色強度を用いて生成したカラー画像に画像処理を行うことによって前記被写体の輪郭を抽出し、抽出した輪郭の画素座標に基づいて、前記距離を補正する、
請求項１に記載の距離画像撮像装置。
請求項１に記載の距離画像撮像装置。
【請求項8】
前記距離画像処理部は、前記電荷蓄積部に電荷を蓄積させる蓄積時間が異なる複数の駆動パターンを用いて前記電荷蓄積部に電荷を蓄積させ、前記駆動パターンのそれぞれにおいて、画素から出力される前記蓄積信号を用いて前記距離と前記色強度を算出し、前記駆動パターンに応じた前記距離の変化と前記色強度の変化との関係に基づいて、焦点距離を算出する、
請求項１に記載の距離画像撮像装置。
請求項１に記載の距離画像撮像装置。
【請求項9】
前記受光領域には、像面位相差を検出するために用いられる画素である像面位相差画素が含まれ、
前記距離画像処理部は、前記像面位相差画素から出力される蓄積信号を用いて焦点距離を算出する、
請求項１に記載の距離画像撮像装置。
前記距離画像処理部は、前記像面位相差画素から出力される蓄積信号を用いて焦点距離を算出する、
請求項１に記載の距離画像撮像装置。
【請求項10】
前記光パルスは、可視光を含み、
前記距離画像処理部は、前記光パルスに含まれる可視光の周波数帯域と、画素に設けられた前記カラーフィルタの周波数特性との関係に応じて、前記距離を算出する画素を選択する、
請求項１に記載の距離画像撮像装置。
前記距離画像処理部は、前記光パルスに含まれる可視光の周波数帯域と、画素に設けられた前記カラーフィルタの周波数特性との関係に応じて、前記距離を算出する画素を選択する、
請求項１に記載の距離画像撮像装置。
【請求項11】
被写体に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び電荷を蓄積する複数の電荷蓄積部を具備する画素が二次元マトリクス状に複数配置された受光領域と、前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記光パルスを照射する照射タイミング及び前記電荷蓄積部に電荷を蓄積させる蓄積タイミングを制御し、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記被写体までの距離を算出する距離画像処理部と、前記受光領域における画素に設けられ、前記受光領域に入射した光のうち特定の色に対応する周波数帯域を有する光を画素に受光させ、前記特定の色とは異なる色に対応する周波数帯域を有する光を画素に受光させないカラーフィルタと、を備える距離画像撮像装置が、行う距離画像撮像方法であって、
複数の色のそれぞれに対応する前記カラーフィルタが前記受光領域における互いに異なる画素に設けられ、
前記距離画像処理部は、前記電荷蓄積部のそれぞれに蓄積された電荷量に対応する蓄積信号を用いて、画素が前記カラーフィルタを介して受光した外光の光量に対応する外光信号、及び前記光パルスの反射光の光量に対応する反射光信号を算出し、前記外光信号に基づいて前記カラーフィルタに対応する色の強度である色強度を算出し、前記反射光信号に基づいて前記被写体までの距離を算出する、
距離画像撮像方法。
複数の色のそれぞれに対応する前記カラーフィルタが前記受光領域における互いに異なる画素に設けられ、
前記距離画像処理部は、前記電荷蓄積部のそれぞれに蓄積された電荷量に対応する蓄積信号を用いて、画素が前記カラーフィルタを介して受光した外光の光量に対応する外光信号、及び前記光パルスの反射光の光量に対応する反射光信号を算出し、前記外光信号に基づいて前記カラーフィルタに対応する色の強度である色強度を算出し、前記反射光信号に基づいて前記被写体までの距離を算出する、
距離画像撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。
【背景技術】
【0002】
光の速度が既知であることを利用し、空間（測定空間）における光の飛行時間に基づいて測定器と対象物との距離を測定する、タイム・オブ・フライト（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、以下「ＴＯＦ」という）方式の距離画像撮像装置が実現されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第４２３５７２９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような距離画像撮像装置では、物体に近赤外領域の光パルスを照射し、この光パルスを照射した時刻と、照射した光パルスが物体によって反射してきた反射光を受光した時刻との時間差に基づいて、距離を測定する。距離の測定に近赤外線を用いることから、距離画像撮像装置において、距離情報とＩＲ画像を得ることが可能である。
【0005】
距離画像撮像装置が利用される場面では、一般的なカメラ、例えばカラー画像を撮像可能なＲＧＢカメラや複数のセンサが用いられる場合が多い。このような場合、距離画像撮像装置の距離情報と、ＲＧＢ画像の色情報とを統合させるために座標を合わせる処理等が必要となり、処理量が増大すると共に処理時間がかかってしまうという問題があった。
【0006】
本発明は、上記の課題に基づいてなされたものであり、被写体までの距離と共に被写体の色情報を得ることができる距離画像撮像装置、及び距離画像撮像方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の距離画像撮像装置は、被写体に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び電荷を蓄積する複数の電荷蓄積部を具備する画素が二次元マトリクス状に複数配置された受光領域と、前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記光パルスを照射する照射タイミング及び前記電荷蓄積部に電荷を蓄積させる蓄積タイミングを制御し、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記被写体までの距離を算出する距離画像処理部と、前記受光領域における画素に設けられ、前記受光領域に入射した光のうち特定の色に対応する周波数帯域を有する光を画素に受光させ、前記特定の色とは異なる色に対応する周波数帯域を有する光を画素に受光させないカラーフィルタと、を備え、複数の色のそれぞれに対応する前記カラーフィルタが前記受光領域における互いに異なる画素に設けられ、前記距離画像処理部は、前記電荷蓄積部のそれぞれに蓄積された電荷量に対応する蓄積信号を用いて、画素が前記カラーフィルタを介して受光した外光の光量に対応する外光信号、及び前記光パルスの反射光の光量に対応する反射光信号を算出し、前記外光信号に基づいて前記カラーフィルタに対応する色の強度である色強度を算出し、前記反射光信号に基づいて前記被写体までの距離を算出する。
【0008】
本発明の距離画像撮像方法は、被写体に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び電荷を蓄積する複数の電荷蓄積部を具備する画素が二次元マトリクス状に複数配置された受光領域と、前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記光パルスを照射する照射タイミング及び前記電荷蓄積部に電荷を蓄積させる蓄積タイミングを制御し、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記被写体までの距離を算出する距離画像処理部と、前記受光領域における画素に設けられ、前記受光領域に入射した光のうち特定の色に対応する周波数帯域を有する光を画素に受光させ、前記特定の色とは異なる色に対応する周波数帯域を有する光を画素に受光させないカラーフィルタと、を備える距離画像撮像装置が、行う距離画像撮像方法であって、複数の色のそれぞれに対応する前記カラーフィルタが前記受光領域における互いに異なる画素に設けられ、前記距離画像処理部は、前記電荷蓄積部のそれぞれに蓄積された電荷量に対応する蓄積信号を用いて、画素が前記カラーフィルタを介して受光した外光の光量に対応する外光信号、及び前記光パルスの反射光の光量に対応する反射光信号を算出し、前記外光信号に基づいて前記カラーフィルタに対応する色の強度である色強度を算出し、前記反射光信号に基づいて前記被写体までの距離を算出する。
【発明の効果】
【0009】
本発明によれば、被写体までの距離と共に被写体の色情報を得ることができる。
【図面の簡単な説明】
【0010】
【図1】実施形態の距離画像撮像装置１の一例を示すブロック図である。
【図2】実施形態の距離画像センサ３２の一例を示すブロック図である。
【図3】実施形態の画素３２１の一例を示す回路図である。
【図4】実施形態の画素３２１に設けられるカラーフィルタを説明するための図である。
【図5】実施形態の画素３２１に設けられるカラーフィルタを説明するための図である。
【図6】実施形態の電荷蓄積部ＣＳに蓄積される電荷量を説明するための図である。
【図7】実施形態の変形例１に係る受光領域３２０の断面図である。
【図8】実施形態の変形例１に係る画素３２１に蓄積される電荷の例を示す図である。
【図9】実施形態の変形例２に係る受光領域３２０の断面図である。
【図10】実施形態の変形例３に係る距離画像処理部４が行う処理を説明するための図である。
【図11】実施形態の変形例３に係る距離画像処理部４が行う処理を説明するための図である。
【発明を実施するための形態】
【0011】
以下、実施形態の距離画像撮像装置を、図面を参照して説明する。
【0012】
図１は、実施形態の距離画像撮像装置１の一例を示すブロック図である。距離画像撮像装置１は、例えば、光源部２と、受光部３と、距離画像処理部４とを備える。図１には、距離画像撮像装置１において距離を測定する対象物である被写体ＯＢも併せて示している。
【0013】
光源部２は、距離画像処理部４からの制御に応じて被写体ＯＢに光パルスＰＯを照射する。光源部２は、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）などの面発光型の半導体レーザーモジュールである。光源部２は、光源装置２１と、拡散板２２とを備える。
【0014】
光源装置２１は、被写体ＯＢに照射する光パルスＰＯとなる近赤外の波長帯域（例えば、波長が８５０ｎｍ～９４０ｎｍの波長帯域）のレーザー光を発光する光源である。光源装置２１は、例えば、半導体レーザー発光素子である。光源装置２１は、タイミング制御部４１からの制御に応じて、パルス状のレーザー光を発光する。
【0015】
拡散板２２は、光源装置２１が発光した近赤外の波長帯域のレーザー光を、被写体ＯＢに照射する面の広さに拡散する光学部品である。拡散板２２が拡散したパルス状のレーザー光が、光パルスＰＯとして出射され、被写体ＯＢに照射される。
【0016】
受光部３は、被写体ＯＢによって反射された光パルスＰＯの反射光ＲＬを受光し、受光した反射光ＲＬに応じた蓄積信号を出力する。受光部３は、レンズ３１と、距離画像センサ３２とを備える。
【0017】
レンズ３１は、入射した反射光ＲＬを距離画像センサ３２に導く光学レンズである。レンズ３１は、入射した反射光ＲＬを距離画像センサ３２側に出射し、反射光ＲＬを距離画像センサ３２に受光（入射）させる。
【0018】
本実施形態では、受光部３において、レンズ３１と距離画像センサ３２との間に、カラーフィルタＣＦ（図１では不図示、図５参照）を備える。カラーフィルタＣＦは、帯域制限を行う。例えば、カラーフィルタＣＦは、レンズ３１に入射された光のうち、所定の周波数帯域にある成分を通過させることによって距離画像センサ３２に出射する。一方、カラーフィルタは、所定の周波数帯域にない成分を遮断することによって、距離画像センサ３２に出射しないようにする。カラーフィルタＣＦは、可視光における特定の色に対応する周波数帯域に光を通過させ、その周波数帯域にない成分を遮断する。この特定の色は、任意の色を用いてよいが、例えば、赤色Ｒ、緑色Ｇｒ及び青色Ｂの三原色である。赤色Ｒに対応するカラーフィルタＣＦは、赤色Ｒに対応する周波数帯域に光を通過させ、赤色Ｒに対応する周波数帯域にない成分（例えば、緑色Ｇｒ及び青色Ｂに対応する周波数帯域）を遮断する。緑色Ｇｒに対応するカラーフィルタＣＦは、緑色Ｇｒに対応する周波数帯域に光を通過させ、緑色Ｇｒに対応する周波数帯域にない成分（例えば、赤色Ｒ及び青色Ｂに対応する周波数帯域）を遮断する。例えば、距離画像センサ３２において互いに近傍に設けられた画素群に互いに異なる色のカラーフィルタＣＦが設けられる。
【0019】
カラーフィルタＣＦは、例えば、一般的なデジタルカメラで採用されているベイヤーフィルタを適用することができる。なお、これに限定されることはなく、カラーフィルタＣＦに、シアン、黄、緑、マゼンタのそれぞれの色に対応するＣＹＧＭフィルタ、或いは赤、緑、青、エメラルドのそれぞれの色に対応するＲＧＢＥフィルタを用いてもよい。
【0020】
カラーフィルタＣＦは、近赤外光（例えば、９４０［ｎｍ］以上の波長帯域を有する光）を通過させる特性を有する。すなわち、本実施形態において、カラーフィルタＣＦは、反射光ＲＬを通過させることを前提とする。カラーフィルタＣＦは、例えば、８５０［ｎｍ］～９４０［ｎｍ］の周波数帯域を有する光を、所定比率（例えば、８０％）以上通過させる。
なお、後述する変形例において、カラーフィルタＣＦの一部に、反射光ＲＬを通過させないカラーフィルタＣＦを用いる場合について説明するが、このような変形例においても、少なくとも、他のカラーフィルタＣＦにおいて反射光ＲＬを通過させるカラーフィルタＣＦが用いられる。これにより、本実施形態は、画素３２１が反射光ＲＬを受光することができるようにする。したがって、距離画像撮像装置１は、受光した反射光ＲＬの光量に基づく距離を算出することができる。
なお、後述する変形例において、カラーフィルタＣＦの一部に、反射光ＲＬを通過させないカラーフィルタＣＦを用いる場合について説明するが、このような変形例においても、少なくとも、他のカラーフィルタＣＦにおいて反射光ＲＬを通過させるカラーフィルタＣＦが用いられる。これにより、本実施形態は、画素３２１が反射光ＲＬを受光することができるようにする。したがって、距離画像撮像装置１は、受光した反射光ＲＬの光量に基づく距離を算出することができる。
【0021】
距離画像センサ３２は、撮像素子である。距離画像センサ３２は、画素３２１が二次元マトリクス状に複数配置された受光領域３２０を備える（図２参照）。画素３２１は、１つの光電変換素子ＰＤと、この光電変換素子ＰＤに対応する複数の電荷蓄積部ＣＳ（電荷蓄積部ＣＳ１～ＣＳ４）と、それぞれの電荷蓄積部ＣＳに電荷を振り分ける構成要素とが設けられる（図３参照）。画素３２１は、複数の電荷蓄積部ＣＳに電荷を振り分けて蓄積させる振り分け構成を有する撮像素子である。
【0022】
距離画像センサ３２は、タイミング制御部４１からの制御に応じて、光電変換素子ＰＤが発生した電荷をそれぞれの電荷蓄積部ＣＳに振り分ける。また、距離画像センサ３２は、電荷蓄積部ＣＳに振り分けられた電荷量に応じた蓄積信号を出力する。距離画像センサ３２は、それぞれの画素３２１における１フレーム分の蓄積信号を出力する。
【0023】
距離画像処理部４は、距離画像撮像装置１を制御し、距離画像センサ３２から出力される１フレーム分の蓄積信号を用いて被写体ＯＢまでの距離を算出する。距離画像処理部４は、タイミング制御部４１と、演算部４２と、測定制御部４３とを備える。
【0024】
タイミング制御部４１は、測定制御部４３からの制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスＰＯの照射する否かを示す信号、電荷蓄積部に電荷を蓄積させるか否かを示す信号などである。
【0025】
演算部４２は、画素３２１から出力される蓄積信号Ｑを用いて、被写体ＯＢまでの距離を算出し、算出した距離を出力する。演算部４２は、複数の電荷蓄積部ＣＳのそれぞれに対応する蓄積信号を用いて、光パルスＰＯを照射してから反射光ＲＬを受光するまでの遅延時間を算出し、算出した遅延時間に応じて被写体ＯＢまでの距離を算出する。
【0026】
演算部４２は、反射光ＲＬ成分に対応する電荷量が、例えば、以下の（１）により遅延時間Ｔｄを算出する。遅延時間Ｔｄは、光パルスＰＯが照射されてから反射光ＲＬが距離画像撮像装置１に入射されるまでに要した時間である。これは、ＴＯＦ方式において、遅延時間Ｔｄに応じた比率で、２つの電荷蓄積部ＣＳに振り分けて蓄積されることを利用している。
なお、式（１）においては、外光に対応する電荷のみが電荷蓄積部ＣＳ１に蓄積され、反射光ＲＬ及び外光に対応する電荷が電荷蓄積部ＣＳ２及びＣＳ３に蓄積されたことを前提とする。ここでの外光は、常時、距離画像撮像装置１に入射される光であって、例えば、日光や照明装置から照射された光が被写体ＯＢに反射して距離画像撮像装置１に入射された光である。演算部４２は、式（１）で求めた遅延時間Ｔｄに、光速（速度）を乗算させることにより、被写体ＯＢまでの往復の距離を算出する。そして、演算部４２は、上記で算出した往復の距離を１／２とすることにより、被写体ＯＢまでの距離を求める。
なお、式（１）においては、外光に対応する電荷のみが電荷蓄積部ＣＳ１に蓄積され、反射光ＲＬ及び外光に対応する電荷が電荷蓄積部ＣＳ２及びＣＳ３に蓄積されたことを前提とする。ここでの外光は、常時、距離画像撮像装置１に入射される光であって、例えば、日光や照明装置から照射された光が被写体ＯＢに反射して距離画像撮像装置１に入射された光である。演算部４２は、式（１）で求めた遅延時間Ｔｄに、光速（速度）を乗算させることにより、被写体ＯＢまでの往復の距離を算出する。そして、演算部４２は、上記で算出した往復の距離を１／２とすることにより、被写体ＯＢまでの距離を求める。
【0027】
Ｔｄ＝Ｔｏ×（Ｑ３－Ｑ１）／（Ｑ２＋Ｑ３－２×Ｑ１） …（１）
但し、Ｔｏは光パルスＰＯが照射された照射時間である。
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量を示す蓄積信号である。
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量を示す蓄積信号である。
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量を示す蓄積信号である。
但し、Ｔｏは光パルスＰＯが照射された照射時間である。
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量を示す蓄積信号である。
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量を示す蓄積信号である。
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量を示す蓄積信号である。
【0028】
また、本実施形態において、演算部４２は、被写体ＯＢの色を示す色情報を算出する。色情報は、複数の色のそれぞれの色の強度（色強度）を示す情報であり、例えば、ＲＧＢ値である。演算部４２は、蓄積信号Ｑを用いて、画素３２１が受光した外光（カラーフィルタＣＦを通過した外光）の光量に相当する信号（外光信号）を算出する。例えば、（１）式に示すように、外光に対応する電荷のみが電荷蓄積部ＣＳ１に蓄積された場合、蓄積信号Ｑ１を外光信号とする。演算部４２は、外光信号の信号値を、画素３２１が受光した光の色（カラーフィルタＣＦに対応する色）の色強度とする。演算部４２は、複数の色のそれぞれの色強度を示す情報（例えば、ＲＧＢ値）を色情報とする。
【0029】
測定制御部４３は、タイミング制御部４１を制御する。例えば、測定制御部４３は、照射時間及び蓄積時間などを設定し、設定した内容で撮像が行われるようにタイミング制御部４１を制御する。
【0030】
このような構成によって、距離画像撮像装置１は、被写体ＯＢに光パルスＰＯを照射し、被写体ＯＢによって反射された反射光ＲＬを受光する。そして、距離画像撮像装置１が、反射光ＲＬを受光するまでの遅延時間に基づいて被写体ＯＢまでの距離を測定した距離情報を出力する。なお、図１においては、距離画像撮像装置１の内部に距離画像処理部４が設けられた例を示しているが、距離画像処理部４の機能が、距離画像撮像装置１の外部に設けられてもよい。
【0031】
【0032】
図２に示すように、距離画像センサ３２は、例えば、複数の画素３２１が二次元マトリクス状に配置された受光領域３２０と、画素駆動回路３２２とを備える。画素駆動回路３２２は、例えば、振り分け動作を有した垂直走査回路３２３と、水平走査回路３２４と、画素信号処理回路３２５と、制御回路３２６とを備える。
【0033】
受光領域３２０は、複数の画素３２１が二次元マトリクス状に配置された領域であって、図２では、８行８列に二次元の行列状に配置された例を示している。画素３２１は、受光した光量に相当する電荷を蓄積し、蓄積した電荷量に対応する蓄積信号を出力する。
【0034】
制御回路３２６は、距離画像センサ３２を統括的に制御する。制御回路３２６は、例えば、距離画像処理部４のタイミング制御部４１からの指示に応じて、距離画像センサ３２の構成要素の動作を制御する。なお、距離画像センサ３２に備えた構成要素の制御は、タイミング制御部４１が直接行う構成であってもよく、この場合、制御回路３２６を省略することも可能である。
【0035】
垂直走査回路３２３は、制御回路３２６からの制御に応じて、受光領域３２０に配置された画素３２１を行ごとに制御する。垂直走査回路３２３は、画素３２１の電荷蓄積部ＣＳそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路３２５に出力させる。例えば、垂直走査回路３２３は、光パルスＰＯの照射に同期させた蓄積タイミングにて光電変換素子により変換された電荷を画素３２１の電荷蓄積部それぞれに振り分けて蓄積させる。また、垂直走査回路３２３は、電荷蓄積部ＣＳに電荷を蓄積させる蓄積期間とは異なる期間（例えば、読出期間）において光電変換素子により変換された電荷を電荷排出部（後述する電荷排出トランジスタＧＤ）から排出させる。
【0036】
画素信号処理回路３２５は、制御回路３２６からの制御に応じて、それぞれの列の画素３２１から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理（例えば、ノイズ抑圧処理やＡ／Ｄ変換処理など）を行う。
【0037】
水平走査回路３２４は、制御回路３２６からの制御に応じて、画素信号処理回路３２５から出力される信号を、順次、時系列に出力させる。これにより、１フレーム分の蓄積信号が、距離画像処理部４に順次出力される。以下では、画素信号処理回路３２５がＡ／Ｄ変換処理を行い、蓄積信号がデジタル信号であるものとして説明する。
【0038】
ここで、図３を用いて、画素３２１の構成について説明する。図３は、画素３２１の一例を示す回路図である。図３には、受光領域３２０内に配置された複数の画素３２１のうち、１つの画素３２１の構成の一例を示している。この図では、画素３２１が、４個の信号読出部ＲＵ（信号読出部ＲＵ１～ＲＵ４）を備えた例を示す。
【0039】
画素３２１は、１個の光電変換素子ＰＤと、電荷排出トランジスタＧＤと、対応する出力端子Ｏから電圧信号を出力する４個の信号読出部ＲＵとを備える。信号読出部ＲＵのそれぞれは、転送トランジスタＧと、フローティングディフュージョンＦＤと、電荷蓄積容量Ｃと、リセットトランジスタＲＴと、ソースフォロアトランジスタＳＦと、選択トランジスタＳＬとを備える。電荷蓄積部ＣＳは、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって構成される。
【0040】
なお、図３においては、４個の信号読出部ＲＵの符号「ＲＵ」の後に、「１」から「４」の何れかの数字を付与することによって、それぞれの信号読出部ＲＵを区別する。また、同様に、４個の信号読出部ＲＵに備えたそれぞれの構成要素も、それぞれの信号読出部ＲＵを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する信号読出部ＲＵを区別して表す。
【0041】
画素３２１において、信号読出部ＲＵ１は、出力端子Ｏ１から電圧信号を出力する。信号読出部ＲＵ１は、転送トランジスタＧ１と、フローティングディフュージョンＦＤ１と、電荷蓄積容量Ｃ１と、リセットトランジスタＲＴ１と、ソースフォロアトランジスタＳＦ１と、選択トランジスタＳＬ１とを備える。電荷蓄積部ＣＳ１は、フローティングディフュージョンＦＤ１と電荷蓄積容量Ｃ１とによって構成されている。信号読出部ＲＵ２～ＲＵ４も同様の構成である。
【0042】
光電変換素子ＰＤは、入射した光を光電変換して、入射した光の強度に応じた電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子ＰＤの構造は任意であってよい。光電変換素子ＰＤは、例えば、Ｐ型半導体とＮ型半導体とを接合した構造のＰＮフォトダイオードであってもよいし、Ｐ型半導体とＮ型半導体との間にＩ型半導体を挟んだ構造のＰＩＮフォトダイオードであってもよい。また、光電変換素子ＰＤは、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。
【0043】
電荷排出トランジスタＧＤは、光電変換素子ＰＤに発生した電荷を破棄するためのトランジスタである。電荷排出トランジスタＧＤは、画素駆動回路３２２によりオン状態に制御されると、光電変換素子ＰＤに発生した電荷を破棄する（すなわち、光電変換素子ＰＤをリセットさせる）。
【0044】
画素駆動回路３２２は、画素３２１を駆動し、光電変換素子ＰＤが入射した光を光電変換して発生させた電荷を４個の電荷蓄積部ＣＳのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路３２５に出力する。
【0045】
例えば、画素駆動回路３２２は、画素３２１の駆動において、光パルスＰＯの照射タイミングに同期させて、電荷蓄積部ＣＳ１～ＣＳ４のそれぞれに対応する蓄積駆動信号ＴＸ１～ＴＸ４を順にオン状態に制御する。これによって、電荷蓄積部ＣＳのそれぞれに対応する転送トランジスタＧ１～Ｇ４を順に導通させ、対応する電荷蓄積部ＣＳに電荷を振分けて蓄積させる。これにより、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４の順に、電荷が蓄積される。
【0046】
なお、画素３２１は、図３に示すような、４個の信号読出部ＲＵを備えた構成に限定されるものではなく、複数の信号読出部ＲＵを備えた構成の画素であればよい。つまり、距離画像センサ３２に配置される画素に備える信号読出部ＲＵ（電荷蓄積部ＣＳ）の数は、２個であってもよいし、３個であってもよいし、５個以上であってもよい。
【0047】
また、図３では、電荷蓄積部ＣＳが、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって構成される一例を示した。しかし、電荷蓄積部ＣＳは、少なくともフローティングディフュージョンＦＤによって構成されればよく、画素３２１が電荷蓄積容量Ｃを備えない構成であってもよい。
【0048】
また、図３に示した構成の画素３２１では、電荷排出トランジスタＧＤを備える構成の一例を示したが、光電変換素子ＰＤに蓄積されている（残っている）電荷を破棄する必要がない場合には、電荷排出トランジスタＧＤを備えない構成であってもよい。
【0049】
本実施形態において、距離画像撮像装置１は、被写体ＯＢまでの距離を測定すると共に、被写体ＯＢの色情報を算出する。これにより、距離画像撮像装置１とは異なるＲＧＢカメラで被写体ＯＢを撮像した場合に発生する処理、例えば、距離情報とＲＧＢ画像の色情報とを統合させるために座標を合わせる処理等を省略することができる。したがって、実施形態の距離画像撮像装置１では、信号処理における処理量の増大を抑制すると共に、処理時間を短縮することができる。以下、距離画像撮像装置１は、被写体ＯＢまでの距離を測定すると共に、被写体ＯＢの色情報を算出する方法について説明する。
【0050】
本実施形態では、被写体ＯＢの色情報を得るために、画素３２１にカラーフィルタＣＦを設ける。このカラーフィルタＣＦについて、図４及び図５を用いて説明する。図４及び図５は、実施形態の画素３２１に設けられるカラーフィルタを説明するための図である。
【0051】
図４には、距離画像センサ３２の構成例が示されている。なお、この図の例では、距離画像センサ３２における画素駆動回路３２２については図２と同様であることから、その記載を省略している。この図の例に示すように、本実施形態では、１つの画素３２１に、１つの色に対応させる。以下では、色として、赤色Ｒ、緑色Ｇｒ及び青色Ｂの三原色を例に挙げて説明する。画素３２１のそれぞれは、赤色Ｒ、緑色Ｇｒ及び青色Ｂのいずれかに対応する。この図の例では、画素３２１のそれぞれに、赤色Ｒ、緑色Ｇｒ、及び青色Ｂの何れかの符号を示すことにより、それぞれの画素３２１が何れの色に対応しているのかを区別して示している。この図の例では、距離画像センサ３２において、各色に対応する画素３２１がベイヤー配列されている。なお、本実施形態において、ベイヤー配列に限定されることはなく、受光領域３２０においてカラーフィルタＣＦのそれぞれの色に対応する画素３２１がどのように配置されてもよい。
【0052】
図５には、図４のＡ－Ａ’における断面構造が示されている。この図では、上方向（Ｚ軸正方向）から下方向（Ｚ軸負方向）に向かって光が入射される。この図では、画素３２１の上部に、カラーフィルタＣＦとマイクロレンズＭＬが設けられている。なお、マイクロレンズＭＬは、省略することも可能である。
なお、この図の例では、光電変換素子ＰＤに対して配線層が形成された面から光を入射するＦＳＩ（Ｆｒｏｎｔ Ｓｉｄｅ Ｉｌｌｕｍｉｎａｔｉｏｎ：表面照射）型である距離画像センサ３２が示されているが、これに限定されない。距離画像センサ３２は、光電変換素子ＰＤに対して配線層が形成された面の裏面から光を入射するＢＳＩ（Ｂａｃｋ Ｓｉｄｅ Ｉｌｌｕｍｉｎａｔｉｏｎ：裏面照射）型であってもよい。
なお、この図の例では、光電変換素子ＰＤに対して配線層が形成された面から光を入射するＦＳＩ（Ｆｒｏｎｔ Ｓｉｄｅ Ｉｌｌｕｍｉｎａｔｉｏｎ：表面照射）型である距離画像センサ３２が示されているが、これに限定されない。距離画像センサ３２は、光電変換素子ＰＤに対して配線層が形成された面の裏面から光を入射するＢＳＩ（Ｂａｃｋ Ｓｉｄｅ Ｉｌｌｕｍｉｎａｔｉｏｎ：裏面照射）型であってもよい。
【0053】
図５に示すように、画素３２１には、半導体層５０１と、半導体層５０１の上部にある、絶縁層により絶縁された配線層５０２と、配線層５０２の上部にある、パッシベーションである誘電体層５０３が形成されている。
【0054】
半導体層５０１には、光電変換素子ＰＤ、転送トランジスタＧ、フローティングディフュージョンＦＤなどの半導体が形成されている。この図の例では、光電変換素子ＰＤは、表面にｐ＋拡散層（ｐ型不純物の拡散層）の表面保護層が設けられた埋め込み型のフォトダイオードである。転送トランジスタＧは、光電変換素子ＰＤのｎ拡散層をソースとし、フローティングディフュージョンＦＤのｎ＋拡散層をドレインとして形成されている。フローティングディフュージョンＦＤのｎ＋拡散層には、当該ｎ＋拡散層からの電荷の流出（放電）を抑制する（漏れ電流阻止）ためのＳＴＩ（Ｓｈａｌｌｏｗ ｔｒｅｎｃｈ ｉｓｏｌａｔｉｏｎ）及びｐｗｅｌｌ（ｐ拡散層）が隣接して設けられている。なお、この図では、画素３２１を形成する他のトランジスタ（例えば、リセットトランジスタＲＴなど）の記載を省略している。
【0055】
カラーフィルタＣＦは、マイクロレンズＭＬと光電変換素子ＰＤとの間に設けられる。カラーフィルタＣＦは、受光領域３２０が入射した光のうち、特定の色に対応する周波数帯域を有する光と反射光ＲＬのみを通過させ、通過した光を画素３２１に受光させる。
図５の左側に示す画素３２１には、緑色Ｇｒに対応するカラーフィルタＣＦが設けられている。この場合、緑色Ｇｒに対応する周波数帯域を有する光と反射光ＲＬが、この画素３２１の光電変換素子ＰＤに入射する。そして、入射した光（緑色Ｇｒに対応する周波数帯域を有する光、及び反射光ＲＬ）の光量に応じた電荷が電荷蓄積部ＣＳに蓄積される。
一方、図５の右側に示す画素３２１には、赤色Ｒに対応するカラーフィルタＣＦが設けられている。この場合、赤色Ｒに対応する周波数帯域を有する光と反射光ＲＬが、この画素３２１の光電変換素子ＰＤに入射する。そして、入射した光（赤色Ｒに対応する周波数帯域を有する光、及び反射光ＲＬ）の光量に応じた電荷が電荷蓄積部ＣＳに蓄積される。
図５の左側に示す画素３２１には、緑色Ｇｒに対応するカラーフィルタＣＦが設けられている。この場合、緑色Ｇｒに対応する周波数帯域を有する光と反射光ＲＬが、この画素３２１の光電変換素子ＰＤに入射する。そして、入射した光（緑色Ｇｒに対応する周波数帯域を有する光、及び反射光ＲＬ）の光量に応じた電荷が電荷蓄積部ＣＳに蓄積される。
一方、図５の右側に示す画素３２１には、赤色Ｒに対応するカラーフィルタＣＦが設けられている。この場合、赤色Ｒに対応する周波数帯域を有する光と反射光ＲＬが、この画素３２１の光電変換素子ＰＤに入射する。そして、入射した光（赤色Ｒに対応する周波数帯域を有する光、及び反射光ＲＬ）の光量に応じた電荷が電荷蓄積部ＣＳに蓄積される。
【0056】
マイクロレンズＭＬのレンズアレイ（マイクロレンズアレイ）は、誘電体層５０３の上部に形成されている。マイクロレンズＭＬは、受光領域３２０に入射した光を、光電変換素子ＰＤに集光する。マイクロレンズＭＬの光軸ＯＡは、光電変換素子ＰＤの表面に対して垂直であり、平面視において画素３２１の中心を貫通している。
【0057】
ここで、図６を用いて、電荷蓄積部ＣＳに蓄積される電荷量を説明する。図６は、実施形態の電荷蓄積部ＣＳに蓄積される電荷量を説明するための図である。図６には、フレーム周期として、１フレームあたりに駆動させる画素のタイミングチャートが示されている。
【0058】
この図では、「Ｌ」、「Ｒ」「Ｇ１」～「Ｇ４」、及び「Ｄｒａｉｎ」のそれぞれの項目に対応する要素のタイミングチャートが示されている。「Ｌ」は、光パルスＰＯの照射タイミングを示し、オン状態にて光が照射され、オフ状態にて光が照射されない状態を示す。「Ｒ」は反射光ＲＬが距離画像撮像装置１に到達したタイミングを示し、光パルスＰＯの照射タイミングから、被写体ＯＢまでの距離に応じた遅延時間Ｔｄだけ遅れたタイミングを示す。「Ｇ１」は、転送トランジスタＧ１の駆動タイミングを示し、オン状態にて電荷が蓄積され、オフ状態にて電荷が蓄積されない状態を示す。「Ｇ２」～「Ｇ４」は、「Ｇ１」と同様であり、転送トランジスタＧ２～Ｇ４のそれぞれの駆動タイミングを示す。「Ｄｒａｉｎ」は、電荷排出トランジスタＧＤの駆動タイミングを示しており、オン状態にて電荷が排出され、オフ状態にて電荷が排出されない状態を示す。
【0059】
図６に示すように、フレーム周期は、蓄積期間と読出期間とを含む。蓄積期間において、単位蓄積期間に示す駆動が、予め決定された所定の回数（蓄積回数）だけ繰り返される。
【0060】
単位蓄積期間において、距離画像撮像装置１は、光パルスＰＯを照射し、その反射光ＲＬを受光して反射光ＲＬに対応する電荷を蓄積させる期間である。単位蓄積期間では、光パルスＰＯを照射タイミングと同じタイミングにて、電荷排出トランジスタＧＤをオフ状態に制御されるとともに、転送トランジスタＧ１がオン状態に制御される。転送トランジスタＧ１がオン状態に制御されてから蓄積時間（例えば、光パルスＰＯの照射時間と同じ時間）が経過すると転送トランジスタＧ１がオフ状態に制御される。転送トランジスタＧ１がオフ状態に制御されたタイミングで、転送トランジスタＧ２がオン状態に制御される。転送トランジスタＧ２がオン状態に制御されてから蓄積時間が経過すると転送トランジスタＧ２がオフ状態に制御される。転送トランジスタＧ２がオフ状態に制御されたタイミングで、転送トランジスタＧ３がオン状態に制御される。転送トランジスタＧ３がオン状態に制御されてから蓄積時間が経過すると転送トランジスタＧ３がオフ状態に制御される。転送トランジスタＧ３がオフ状態に制御されたタイミングで、転送トランジスタＧ４がオン状態に制御される。転送トランジスタＧ４がオン状態に制御されてから蓄積時間が経過すると転送トランジスタＧ４がオフ状態に制御されるとともに、電荷排出トランジスタＧＤをオン状態に制御される。
【0061】
読出期間は、蓄積期間において電荷蓄積部ＣＳのそれぞれに蓄積された電荷に対応する蓄積信号を出力する期間である。読出期間において、選択トランジスタＳＬがオン状態にされ、電荷蓄積部ＣＳ１～ＣＳ４に蓄積された電荷量に対応した電圧（アナログ値）を、出力端子Ｏ１～Ｏ４から、画素信号処理回路３２５に出力する。画素信号処理回路３２５は、出力端子Ｏ１～Ｏ４から出力されたアナログ値のそれぞれを、Ａ／Ｄ変換して蓄積信号とＱ１～Ｑ４して出力する。これにより、電荷蓄積部ＣＳ１～ＣＳ４に蓄積された電荷量に対応した蓄積信号Ｑ１～Ｑ４が距離画像処理部４に出力される。
【0062】
演算部４２は、蓄積信号Ｑ（蓄積信号Ｑ１～Ｑ４）に基づいて、外光信号及び反射光信号を算出する。外光信号は、画素３２１がカラーフィルタＣＦを介して受光した外光の光量に対応する信号である。反射光信号は、画素３２１がカラーフィルタＣＦを介して受光した反射光ＲＬの光量に対応する信号である。演算部４２は、外光信号に基づいて、色強度を算出する。色強度は、画素３２１がカラーフィルタＣＦを介して受光した、カラーフィルタＣＦに対応する色の強度である。
【0063】
図６に示すようなフレーム周期にて画素３２１を駆動させると、遅延時間Ｔｄ（反射光ＲＬが距離画像撮像装置１に入射されるタイミング）に応じて、電荷蓄積部ＣＳ１～ＣＳ４の何れか２つの電荷蓄積部ＣＳに、反射光ＲＬに対応する電荷が蓄積される。例えば、図６に示す遅延時間Ｔｄにて、反射光ＲＬが距離画像撮像装置１に到達した場合、反射光ＲＬに対応する電荷ＱＲが電荷蓄積部ＣＳ３及びＣＳ４に跨って蓄積される。図６の例では、電荷蓄積部ＣＳ３には、反射光ＲＬの光量に対応する電荷量ＱＲ１が蓄積される。電荷蓄積部ＣＳ４には、反射光ＲＬの光量に対応する電荷量ＱＲ２が蓄積される。
一方、電荷蓄積部ＣＳ１～ＣＳ４のそれぞれには、外光の光量に対応する電荷量ＱＢ（電荷量ＱＢ１～ＱＢ４）が蓄積される、ここで、外光は、距離画像撮像装置１に常時入射される光であるから、光パルスＰＯのようなパルス光とは異なり、外光の光量は時系列に変化しない一定量とみなすことができる。このため、電荷蓄積部ＣＳ（電荷蓄積部ＣＳ１～ＣＳ４）のそれぞれに蓄積される、外光に対応する電荷量ＱＢ（電荷量ＱＢ１～ＱＢ４）は同一量とみなすことができる。
ここで、反射光ＲＬに対応する電荷が蓄積される電荷蓄積部ＣＳには、外光に加えて、反射光ＲＬに対応する電荷が蓄積されるから、外光に対応する電荷のみが蓄積された電荷蓄積部ＣＳに比べて、蓄積される電荷量が多くなる。
一方、電荷蓄積部ＣＳ１～ＣＳ４のそれぞれには、外光の光量に対応する電荷量ＱＢ（電荷量ＱＢ１～ＱＢ４）が蓄積される、ここで、外光は、距離画像撮像装置１に常時入射される光であるから、光パルスＰＯのようなパルス光とは異なり、外光の光量は時系列に変化しない一定量とみなすことができる。このため、電荷蓄積部ＣＳ（電荷蓄積部ＣＳ１～ＣＳ４）のそれぞれに蓄積される、外光に対応する電荷量ＱＢ（電荷量ＱＢ１～ＱＢ４）は同一量とみなすことができる。
ここで、反射光ＲＬに対応する電荷が蓄積される電荷蓄積部ＣＳには、外光に加えて、反射光ＲＬに対応する電荷が蓄積されるから、外光に対応する電荷のみが蓄積された電荷蓄積部ＣＳに比べて、蓄積される電荷量が多くなる。
【0064】
この性質を利用して、演算部４２は、蓄積信号Ｑ（蓄積信号Ｑ１～Ｑ４）のうち、外光に対応する電荷のみが蓄積された蓄積信号Ｑを特定する。例えば、演算部４２は、蓄積信号Ｑ（蓄積信号Ｑ１～Ｑ４）のうち、最も小さい信号値を有する蓄積信号Ｑを、外光信号とする。演算部４２は、外光信号の信号値を、その画素３２１に設けられたカラーフィルタＣＦに対応する色の色強度とする。
【0065】
そして、演算部４２は、蓄積信号Ｑ（蓄積信号Ｑ１～Ｑ４）のうち、色情報の算出に用いた蓄積信号Ｑとは異なる蓄積信号Ｑから、外光信号を減算した信号値に基づいて、被写体ＯＢまでの距離を算出する。
【0066】
例えば、色情報の算出に用いた蓄積信号Ｑが、蓄積信号Ｑ１であるとする。この場合、色情報の算出に用いた蓄積信号Ｑとは異なる蓄積信号Ｑは、蓄積信号Ｑ２～Ｑ４である。この場合、演算部４２は、蓄積信号Ｑ２～Ｑ４のうち、大きい信号値を有する２つの電荷蓄積部ＣＳであって、単位蓄積期間において時系列に連続して電荷が蓄積された２つの電荷蓄積部ＣＳを選択する。ここで選択される蓄積信号は、電荷蓄積部ＣＳのうち、反射光と外光とが含まれる光に対応する電荷を蓄積した電荷蓄積部ＣＳから出力される蓄積信号とみなすことができる。
【0067】
演算部４２は、選択した２つの蓄積信号Ｑから、外光信号を減算した差分振動を算出する。例えば、選択した２つの蓄積信号Ｑが、蓄積信号Ｑ２及びＱ３であるとする。この場合、演算部４２は、差分信号Ｘ（＝Ｑ２－Ｑ１）、Ｙ（＝Ｑ３－Ｑ１）を算出する。そして、演算部４２は、以下の（２）式を用いて、遅延時間Ｔｄを算出する。演算部４２は、算出した遅延時間Ｔｄを用いて、被写体ＯＢまでの距離を算出する。
【0068】
Ｔｄ＝Ｔｏ×（Ｙ）／（Ｘ＋Ｙ） …（２）
但し、Ｔｏは光パルスＰＯが照射された照射時間である。
Ｘは蓄積信号Ｑ２から蓄積信号Ｑ１を減算した差分信号である。
Ｙは蓄積信号Ｑ３から蓄積信号Ｑ１を減算した差分信号である。
蓄積信号Ｑ１は外光の強度に対応する外光信号である。
蓄積信号Ｑ２は反射光ＲＬの強度に対応する反射光信号と外光信号との和である。
蓄積信号Ｑ３は反射光ＲＬの強度に対応する反射光信号と外光信号との和である。
但し、Ｔｏは光パルスＰＯが照射された照射時間である。
Ｘは蓄積信号Ｑ２から蓄積信号Ｑ１を減算した差分信号である。
Ｙは蓄積信号Ｑ３から蓄積信号Ｑ１を減算した差分信号である。
蓄積信号Ｑ１は外光の強度に対応する外光信号である。
蓄積信号Ｑ２は反射光ＲＬの強度に対応する反射光信号と外光信号との和である。
蓄積信号Ｑ３は反射光ＲＬの強度に対応する反射光信号と外光信号との和である。
【0069】
演算部４２は、色強度を用いてカラー画像を生成する。このカラー画像は、複数の色、例えば赤色Ｒ、緑色Ｇｒ及び青色Ｂの三原色を有する画像である。なお、カラー画像は、少なくとも二色の色を有していればよく、赤色Ｒと緑色Ｇｒ、緑色Ｇｒと青色Ｂ、又は、青色Ｂと赤色Ｒを有する画像であってもよい。
【0070】
演算部４２は、図４に示すようなベイヤー配列などを用いて複数の色に対応する画素３２１が配置された距離画像センサ３２について、それぞれ画素３２１の色情報を算出する。演算部４２は、カラーフィルタＣＦが対応する色ごとに、単色の色画像を生成する。例えば、演算部４２は、赤色ＲのカラーフィルタＣＦが設けられた画素３２１から出力される蓄積信号を用いて算出した色強度を画素値（赤色情報）とする、赤色の色画像を生成する。同様に、演算部４２は、緑色ＧｒのカラーフィルタＣＦが設けられた画素３２１から出力される蓄積信号を用いて算出した色強度を画素値（緑色情報）とする、緑色の色画像を生成する。演算部４２は、青色ＢのカラーフィルタＣＦが設けられた画素３２１から出力される蓄積信号にもとづき算出した色強度を画素値（青色情報）とする、青色の色画像を生成する。
演算部４２は、単色の色画像において、画素値（色情報）が算出されていない画素３２１の画素値を、周辺にある画素３２１の画素値を補間することにより算出する。例えば、対象とする画素３２１の周囲に、画素値を有する４つの画素３２１が隣接して配置されている場合、その４つの画素３２１の各画素値における単純加算平均値を、その対象とする画素３２１の画素値とする。
或いは、対象とする画素３２１の左右又は上下の方向に、画素値を有する２つの画素３２１が隣接して配置されている場合、その２つの画素３２１の画素値における単純加算平均値を、その対象とする画素３２１の画素値とするようにしてもよい。
演算部４２は、このようにして受光領域３２０に設けられた全ての画素３２１について、単色の画素値（例えば、Ｒ値、Ｇ値、Ｂ値の何れか１つ）を有する、単色の色画像を生成する。そして、これらの単色の色画像のそれぞれを合成することによって、全ての画素３２１について複数色の色情報（例えば、ＲＧＢ値）を有するカラー画像を生成する。
演算部４２は、単色の色画像において、画素値（色情報）が算出されていない画素３２１の画素値を、周辺にある画素３２１の画素値を補間することにより算出する。例えば、対象とする画素３２１の周囲に、画素値を有する４つの画素３２１が隣接して配置されている場合、その４つの画素３２１の各画素値における単純加算平均値を、その対象とする画素３２１の画素値とする。
或いは、対象とする画素３２１の左右又は上下の方向に、画素値を有する２つの画素３２１が隣接して配置されている場合、その２つの画素３２１の画素値における単純加算平均値を、その対象とする画素３２１の画素値とするようにしてもよい。
演算部４２は、このようにして受光領域３２０に設けられた全ての画素３２１について、単色の画素値（例えば、Ｒ値、Ｇ値、Ｂ値の何れか１つ）を有する、単色の色画像を生成する。そして、これらの単色の色画像のそれぞれを合成することによって、全ての画素３２１について複数色の色情報（例えば、ＲＧＢ値）を有するカラー画像を生成する。
【0071】
或いは、演算部４２は、図４に示すようなベイヤー配列された画素３２１において、ベイヤー配列された画素群ごとに、１つの色情報（例えば、ＲＧＢ値）を算出するようにしてもよい。このベイヤー配列された画素群は、１つの赤色Ｒ、２つの緑色Ｇｒ、１つの青色Ｂのそれぞれに対応する画素３２１で構成される４つの画素である。
演算部４２は、赤色ＲのカラーフィルタＣＦが設けられた画素３２１から出力される蓄積信号を用いて算出された色強度を赤色Ｒの画素値（赤色情報）とする。演算部４２は、緑色ＧｒのカラーフィルタＣＦが設けられた２つの画素３２１から出力される蓄積信号を用いて算出された色強度の平均値を、緑色Ｇｒの画素値（緑色情報）とする。演算部４２は、青色ＢのカラーフィルタＣＦが設けられた画素３２１から出力される蓄積信号を用いて算出された色強度の平均値を、青色Ｂの画素値（青色情報）とする。演算部４２は、算出したそれぞれの色情報を組み合わせることによって複数色の色情報（例えば、ＲＧＢ値）を生成し、生成した色情報を４つの画素に対応する１つの色情報とする。この場合、４つの画素に対して１つの色情報が生成されることから、カラー画像は、受光領域３２０に設けられた画素数の１／４に相当する解像度を有する画像となる。
演算部４２は、赤色ＲのカラーフィルタＣＦが設けられた画素３２１から出力される蓄積信号を用いて算出された色強度を赤色Ｒの画素値（赤色情報）とする。演算部４２は、緑色ＧｒのカラーフィルタＣＦが設けられた２つの画素３２１から出力される蓄積信号を用いて算出された色強度の平均値を、緑色Ｇｒの画素値（緑色情報）とする。演算部４２は、青色ＢのカラーフィルタＣＦが設けられた画素３２１から出力される蓄積信号を用いて算出された色強度の平均値を、青色Ｂの画素値（青色情報）とする。演算部４２は、算出したそれぞれの色情報を組み合わせることによって複数色の色情報（例えば、ＲＧＢ値）を生成し、生成した色情報を４つの画素に対応する１つの色情報とする。この場合、４つの画素に対して１つの色情報が生成されることから、カラー画像は、受光領域３２０に設けられた画素数の１／４に相当する解像度を有する画像となる。
【0072】
また、演算部４２は、カラー画像の各座標に、被写体ＯＢまでの距離を対応させたマップを生成するようにしてもよい。この場合、演算部４２は、カラー画像の画素３２１ごとに、ＲＧＢ値と距離とを対応づけたマップを生成する。
【0073】
ここで、４つの画素に対応する１つの色情報を生成した場合、演算部４２は、その１つの色情報に対応させる１つの距離を算出するようにしてもよい。演算部４２は、１つの色情報に対応する４つの画素３２１のそれぞれから出力される蓄積信号を用いて４つの距離を算出する。演算部４２は、算出した４つの距離を用いて、例えば、ピクセルビニングを行うことによって１つの距離を算出する。ピクセルビニングを行うことにより、それぞれの距離に含まれる誤差を低減させることができる。
【0074】
また、演算部４２は、カラー画像を用いて、距離を補正するようにしてもよい。例えば、被写体ＯＢの輪郭（エッジ）部分に対応する画素３２１は、フライングピクセルなどと称され、その画素３２１に基づき算出される距離に比較的多くの誤差が含まれていることが知られている。このようなフライングセルを抽出することができれば、距離に含まれる誤差を低減させることが可能となる。例えば、演算部４２は、カラー画像に画像処理を行うことによって前記被写体の輪郭を抽出する。演算部４２は、抽出した輪郭の部分に対応する画素の位置座標を特定する。演算部４２は、特定した画素３２１から出力される蓄積信号を用いて算出した距離を、隣接する画素の距離を用いて補正する。例えば、演算部４２は、補正対象の画素の距離が、隣接する画素のうち、被写体ＯＢに対応する画素の距離との差が小さくなり、被写体ＯＢではない物体に対応する画素の距離との差が大きくなるように補正する。
【0075】
以上説明したように、実施形態の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４と、カラーフィルタＣＦとを備える。光源部２は、被写体ＯＢに光パルスＰＯを照射する。受光部３は、光電変換素子ＰＤ及び複数の電荷蓄積部ＣＳを具備する画素３２１が二次元マトリクス状に複数配置された受光領域３２０と、画素駆動回路３２２を有する。光電変換素子ＰＤは、入射した光に応じた電荷を発生する。電荷蓄積部ＣＳは、電荷を蓄積する。画素駆動回路３２２は、電荷蓄積部ＣＳのそれぞれに電荷を振り分けて蓄積させる。距離画像処理部４は、光パルスＰＯを照射する照射タイミング及び電荷蓄積部ＣＳに電荷を蓄積させる蓄積タイミングを制御する。距離画像処理部４は、電荷蓄積部ＣＤのそれぞれに蓄積された電荷量に基づいて被写体ＯＢまでの距離を算出する。カラーフィルタＣＦは、受光領域３２０における画素３２１に設けられ、受光領域３２０に入射した光のうち特定の色に対応する周波数帯域を有する光のみを画素３２１に受光させる。複数の色のそれぞれに対応するカラーフィルタＣＦが、受光領域３２０における互いに異なる画素３２１に設けられる。距離画像処理部４は、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に対応する蓄積信号Ｑに基づいて、外光信号、及び反射光信号を算出する。外光信号は、画素３２１がカラーフィルタＣＦを介して受光した外光の光量に対応する信号である。反射光信号は、画素３２１がカラーフィルタＣＦを介して受光した、光パルスＰＯの反射光ＲＬの光量に対応する信号である。距離画像処理部４は、外光信号に基づいてカラーフィルタＣＦに対応する色の強度である色強度を算出する。距離画像処理部４は、反射光信号に基づいて被写体ＯＢまでの距離を算出する。これにより、実施形態の距離画像撮像装置１では、色強度及び距離を算出することができる。したがって、被写体までの距離と共に被写体の色の情報を得ることができる。
【0076】
また、実施形態の距離画像撮像装置１では、距離画像処理部４は、画素３２１から出力される蓄積信号Ｑ（例えば、蓄積信号Ｑ１～Ｑ４）のうち、最も小さい信号値を外光信号の値として色強度を算出する。距離画像処理部４は、蓄積信号Ｑ（例えば、蓄積信号Ｑ１～Ｑ４）のうち、色情報の算出に用いた蓄積信号Ｑ（例えば、蓄積信号Ｑ１）とは異なる蓄積信号Ｑ（例えば、蓄積信号Ｑ２～Ｑ４）から外光信号を減算した値に基づいて被写体ＯＢまでの距離を算出する。これにより、実施形態の距離画像撮像装置１では、色強度の算出に用いた外光信号を利用して距離を算出することができ、色強度及び距離を算出する処理の負担を軽減させることができる。
【0077】
また、実施形態の距離画像撮像装置１では、距離画像処理部４は、カラー画像における各画素に距離を対応させたマップを生成する。カラー画像は、複数の色を有する画像である。距離画像処理部４は、第１色の色強度、及び第２色の色強度を用いてカラー画像を生成する。第１色と第２色は互いに異なる色である。距離画像処理部４は、第１画素（第１色に対応するカラーフィルタＣＦが設けられた画素３２１）から出力される蓄積信号を用いて算出した色強度を、第１色の色強度として算出する。距離画像処理部４は、第２画素（第２色に対応するカラーフィルタＣＦが設けられた画素３２１）から出力される蓄積信号を用いて算出した色強度を、第２色の色強度として算出する。これにより、実施形態の距離画像撮像装置１では、カラー画像における各画素に距離を対応させたマップを生成することができ、距離と色情報と別個の装置によりそれぞれ算出した後に位置合わせをするなどして、画素ごとに、距離と色情報を有するマップを生成する場合と比較して、位置合わせに係る処理を行うことなくマップを生成することができ、負担を軽減させることができる。
【0078】
また、実施形態の距離画像撮像装置１では、カラーフィルタＣＦは、赤、青、緑の色のそれぞれに対応するフィルタからなる。距離画像処理部４は、そのカラーフィルタＣＦに対応する赤、青、緑のそれぞれの色を有するカラー画像を生成する。これにより、実施形態の距離画像撮像装置１では、三原色を有するカラー画像を生成することができる。
【0079】
また、実施形態の距離画像撮像装置１では、距離画像処理部４は、色強度を用いて生成したカラー画像に画像処理を行うことによって、被写体ＯＢの輪郭を抽出し、抽出した輪郭の画素座標に基づいて、被写体ＯＢまでの距離を補正する。これにより、被写体ＯＢの輪郭に対応する画素を特定し、特定した画素の距離を補正することができ、誤差が多く含まれる傾向にある輪郭部分における距離の精度を向上させることができる。
【0080】
（実施形態の変形例１）
ここで、実施形態の変形例１について、説明する。本変形例では、受光領域３２０に、色強度を算出する専用の画素３２１と、距離を算出する専用の画素３２１を設けられる点において、上述した実施形態と相違する。
ここで、実施形態の変形例１について、説明する。本変形例では、受光領域３２０に、色強度を算出する専用の画素３２１と、距離を算出する専用の画素３２１を設けられる点において、上述した実施形態と相違する。
【0081】
本変形例では、受光領域３２０に、色強度を算出する専用の画素３２１と、距離を算出する専用の画素３２１を設ける。色強度を算出する専用の画素３２１には、光パルスＰＯが有する周波数帯域を遮断するカラーフィルタＣＦ＃（遮断フィルタ）が設けられる。この場合、１つのフィルタを用いてカラーフィルタＣＦ＃（遮断フィルタ）が実現されてもよいし、複数のフィルタを用いてカラーフィルタＣＦ＃（遮断フィルタ）が実現されてもよい。複数のフィルタを用いる場合、例えば、１つのフィルタはカラーフィルタＣＦ（つまり、特定の色に対応する周波数帯域と光パルスＰＯが有する周波数帯域とを通過させるフィルタ）であり、別のフィルタは光パルスＰＯが有する周波数帯域を遮断するフィルタである。複数のフィルタを用いる場合、例えば、これらのフィルタを積層させたものが、画素３２１に設けられる。
一方、距離を算出する専用の画素３２１には、光パルスＰＯが有する周波数帯域を通過させるカラーフィルタＣＦ（通過フィルタ）が設けられる。
一方、距離を算出する専用の画素３２１には、光パルスＰＯが有する周波数帯域を通過させるカラーフィルタＣＦ（通過フィルタ）が設けられる。
【0082】
図７には、本変形例に係る２つの画素の断面構造が示されている。図７のマイクロレンズＭＬ及び画素３２１における層構造（半導体層５０１、配線層５０２、及び誘電体層５０３）は、図５と同様であるため、その説明を省略する。
【0083】
図７の左側に示す画素には、緑色Ｇｒに対応するフィルタであって、緑色Ｇｒに対応する周波数帯域を通過させるが、反射光ＲＬ（例えば、赤外光）に対応する周波数帯を遮断するカラーフィルタＣＦ＃（遮断フィルタ）が設けられている。この場合、緑色Ｇｒに対応する周波数帯域を有する光のみが、この画素３２１の光電変換素子ＰＤに入射する。そして、入射した光（緑色Ｇｒに対応する周波数帯域を有する光）の光量に応じた電荷が電荷蓄積部ＣＳに蓄積される。
【0084】
一方、図７の右側に示す画素３２１には、図５と同様のカラーフィルタＣＦ、すなわち赤色Ｒに対応するフィルタであって、赤色Ｒに対応する周波数帯域と反射光ＲＬ（例えば、赤外光）に対応する周波数帯とを通過させるカラーフィルタＣＦ（通過フィルタ）が設けられている。この場合、赤色Ｒに対応する周波数帯域を有する光と反射光ＲＬが、この画素３２１の光電変換素子ＰＤに入射する。そして、入射した光（赤色Ｒに対応する周波数帯域を有する光、及び反射光ＲＬ）の光量に応じた電荷が電荷蓄積部ＣＳに蓄積される。
【0085】
演算部４２は、遮断フィルタが設けられた画素３２１から出力される蓄積信号Ｑに基づく色強度を算出する。演算部４２は、通過フィルタが設けられた画素３２１から出力される蓄積信号Ｑに基づく距離（被写体ＯＢまでの距離）を算出する。
【0086】
ここで、図８を用いて、遮断フィルタが設けられた画素３２１の電荷蓄積部ＣＳに蓄積される電荷について説明する。図８は、遮断フィルタが設けられた画素３２１の電荷蓄積部ＣＳに蓄積される電荷量を説明するための図である。図８における「Ｌ」、「Ｒ」「Ｇ１」～「Ｇ４」、及び「Ｄｒａｉｎ」のそれぞれの項目は、図６と同様であるため、その説明を省略する。また、図８のフレーム周期、蓄積期間、読出期間についても、は、図６と同様であるため、その説明を省略する。
【0087】
図８に示すようなフレーム周期にて画素３２１を駆動させると、遅延時間Ｔｄ（反射光ＲＬが距離画像撮像装置１に入射されるタイミング）に応じて、受光部３に反射光ＲＬが入射されるが、遮断フィルタが設けられた画素３２１には、遮断フィルタによって反射光ＲＬが遮断される。このため、遮断フィルタが設けられた画素３２１の電荷蓄積部ＣＳには、反射光ＲＬに対応する電荷が蓄積されず、外光（カラーフィルタＣＦ＃を通過した光）のみが蓄積される。すなわち、電荷蓄積部ＣＳ１～ＣＳ４のそれぞれには、外光の光量に対応する電荷量ＱＢ（電荷量ＱＢ１～ＱＢ４）のみが蓄積される。
【0088】
演算部４２は、遮断フィルタが設けられた画素３２１から出力される蓄積信号Ｑ（蓄積信号Ｑ１～Ｑ４）のうち、任意の蓄積信号Ｑを、外光信号とし、外光信号の信号値を、その画素３２１に設けられた遮断フィルタに対応する色の色強度とする。
【0089】
なお、本変形例において、演算部４２が、通過フィルタが設けられた画素３２１から出力される蓄積信号Ｑ（蓄積信号Ｑ１～Ｑ４）から距離を算出する方法は、実施形態と同様であるため、その説明を省略する。
【0090】
演算部４２は、色強度を用いてカラー画像を生成する。演算部４２は、例えば、実施形態と同様な方法を用いて、色強度を画素値とする単色の色画像であって、画素値（色情報）が算出されていない画素３２１（異なる色の遮断フィルタ又は通過フィルタが設けられた画素３２１）の画素値を、周辺にある画素３２１の画素値を補間する等して算出した単色の色画像を生成する。そして、演算部４２は、単色の色画像のそれぞれを合成することによって、全ての画素３２１について複数色の色強度を含む色情報（例えば、ＲＧＢ値）を有するカラー画像を生成する。
【0091】
或いは、演算部４２は、実施形態と同様な方法を用いて、ベイヤー配列された４つ画素ごとに、１つの色情報（例えば、ＲＧＢ値）を算出するようにしてもよい。
【0092】
また、演算部４２は、実施形態と同様な方法を用いて、カラー画像の各座標に被写体ＯＢまでの距離を対応させたマップを生成するようにしてもよい。この場合において、ベイヤー配列された画素群のうち、一部の画素３２１に遮断フィルタを設け、残りの画素３２１に通過フィルタを設け、ベイヤー配列された画素群ごとに１つの色情報と１つの距離を算出するようにしてもよい。例えば、３つの画素３２１（赤色Ｒ、緑色Ｇｒ、青色Ｂのそれぞれに対応する３つの画素）に遮断フィルタを設け、残り１つの、緑色Ｇｒに対応する画素３２１に通過フィルタを設けたとする。この場合、演算部４２は、遮断フィルタが設けられた３つの画素３２１から出力される蓄積信号Ｑを用いて１つの色情報（例えば、ＲＧＢ値）を算出する。そして、通過フィルタが設けられた１つの画素３２１から出力される蓄積信号Ｑを用いて１つの距離を算出する。
【0093】
以上説明したように、実施形態の変形例１に係る距離画像撮像装置１では、カラーフィルタには、遮断フィルタと、通過フィルタと、が含まれる。遮断フィルタは、光パルスＰＯが有する周波数帯域を遮断するカラーフィルタＣＦ＃である。通過フィルタは、光パルスＰＯが有する周波数帯域を通過させるカラーフィルタＣＦである。距離画像処理部４は、遮断フィルタが設けられた画素３２１から出力される蓄積信号Ｑを用いて色強度を算出する。距離画像処理部４は、通過フィルタが設けられた画素３２１から出力される蓄積信号Ｑを用いて距離を算出する。これにより、実施形態の変形例１に係る距離画像撮像装置１では、光パルスＰＯが入射されないようにした専用の画素を用いることができ、精度のよい色情報を用いてカラー画像を生成することができ、且つ、光パルスＰＯが入射される画素を用いて距離を算出することができる。
【0094】
（実施形態の変形例２）
ここで、実施形態の変形例２について、説明する。本変形例では、演算部４２が、像面位相差の手法を用いて焦点距離を算出する点において、上述した実施形態と相違する。焦点距離は、ピントが合っている状態におけるレンズ３１から撮像素子（距離画像センサ３２）までの距離である。
ここで、実施形態の変形例２について、説明する。本変形例では、演算部４２が、像面位相差の手法を用いて焦点距離を算出する点において、上述した実施形態と相違する。焦点距離は、ピントが合っている状態におけるレンズ３１から撮像素子（距離画像センサ３２）までの距離である。
【0095】
本変形例では、受光領域３２０に設けられる画素３２１の一部を、像面位相差を算出する専用の画素３２１（像面位相差画素）とする。この像面位相差画素は、２つの画素が一組のペアとなって、受光領域３２０において互いに近接した位置に配置される。像面位相差画素にはスリットが設けられる。受光領域３２０に入射した光のうち、スリットを通過した光のみが像面位相差画素に入射される。像面位相差画素のペアのそれぞれのスリットの位置は、像面位相差画素の中心に対して対称な位置に設けられる。
【0096】
図９には、本変形例に係る像面位相差を算出する専用の画素ペアの断面構造が示されている。図９のマイクロレンズＭＬ、カラーフィルタＣＦ、及び画素３２１における層構造（半導体層５０１、配線層５０２、及び誘電体層５０３）は、図５と同様であるため、その説明を省略する。
【0097】
図９に示すように、像面位相差画素には、画素３２１とカラーフィルタＣＦとの間に、遮光部Ｍ（遮光部Ｍ１及びＭ２）が設けられる。遮光部Ｍは遮光する物質、例えば金属板などであり、画素面（画素３２１において光が入射される面）に設けられることによって入射した光を遮断する。
図９の左側に示す画素３２１には遮光部Ｍ１が設けられる。図９の右側に示す画素３２１には遮光部Ｍ２が設けられる。遮光部Ｍ１とＭ２とは、それぞれが設けられる画素３２１の中心に対して対称な位置に設けられ、この図の例では、遮光部Ｍ１は画素３２１の中心に対して右側に設けられ、遮光部Ｍ２は画素３２１の中心に対して左側に設けられる。
図９の左側に示す画素３２１には遮光部Ｍ１が設けられる。図９の右側に示す画素３２１には遮光部Ｍ２が設けられる。遮光部Ｍ１とＭ２とは、それぞれが設けられる画素３２１の中心に対して対称な位置に設けられ、この図の例では、遮光部Ｍ１は画素３２１の中心に対して右側に設けられ、遮光部Ｍ２は画素３２１の中心に対して左側に設けられる。
【0098】
演算部４２は、像面位相差画素から出力される蓄積信号を用いて、像面位相差による焦点距離を計算する。像面位相差による焦点距離を計算する手法として任意の手法が用いられてよい。演算部４２は、例えば、像面位相差画素のペアのそれぞれから出力される蓄積信号の差分（位相差）を算出し、算出した位相差が予め定めた一定の値となるレンズ３１の位置から受光領域３２０までの距離を焦点距離として算出する。
【0099】
（実施形態の変形例３）
ここで、実施形態の変形例３について説明する。本変形例では、複数の駆動パターンのそれぞれにおいて画素から出力された蓄積信号を用いて信号処理を行うことによって焦点距離を算出する点において、上述した実施形態と相違する。
ここで、実施形態の変形例３について説明する。本変形例では、複数の駆動パターンのそれぞれにおいて画素から出力された蓄積信号を用いて信号処理を行うことによって焦点距離を算出する点において、上述した実施形態と相違する。
【0100】
本変形例では、焦点距離を算出する前段階として、距離画像処理部４は、複数の駆動パターンを実行する。それぞれの駆動パターンでは、少なくとも蓄積時間及び蓄積回数の組み合わせが異なる。蓄積時間は、単位蓄積期間において、１つの電荷蓄積部ＣＳに電荷を蓄積させる時間の長さである。蓄積回数は、１フレームにおいて単位蓄積期間に示す駆動を繰り返す回数である。また、複数の駆動パターンにおいて、蓄積タイミングが異なるパターンが含まれていてもよい。蓄積タイミングは、電荷蓄積部ＣＳに電荷を蓄積させるタイミングである。
そして、演算部４２は、駆動パターンのそれぞれにおいて、画素３２１から出力される蓄積信号Ｑを用いて、被写体ＯＢまでの距離と色強度を算出する。演算部４２は、駆動パターンに応じた距離と色強度の変化の関係に基づいて、焦点距離を算出する。
そして、演算部４２は、駆動パターンのそれぞれにおいて、画素３２１から出力される蓄積信号Ｑを用いて、被写体ＯＢまでの距離と色強度を算出する。演算部４２は、駆動パターンに応じた距離と色強度の変化の関係に基づいて、焦点距離を算出する。
【0101】
【0102】
図１０には、複数の駆動パターンが例示されている。この図の例では、駆動パターン番号１は、蓄積回数が５００００［回］、蓄積時間が３４［ｎｓ］である。駆動パターン番号２は、蓄積回数が２５０００［回］、蓄積時間が３４［ｎｓ］である。駆動パターン番号３は、蓄積回数が５００００［回］、蓄積時間が１７［ｎｓ］である。
駆動パターン番号４は、蓄積回数が５００００［回］、蓄積時間は、電荷蓄積部ＣＳ１が１７［ｎｓ］であり、電荷蓄積部ＣＳ２～ＣＳ４が３４［ｎｓ］である。駆動パターン番号４では、電荷蓄積部ＣＳ１が外光専用の電荷蓄積部ＣＳとして用いられる。外光専用の電荷蓄積部ＣＳは反射光ＲＬが入射しないタイミング、例えば、光パルスＰＯが照射される前に電荷蓄積部ＣＳ１に電荷が蓄積されるように制御されることによって、外光のみが電荷蓄積部ＣＳ１に蓄積される。
なお、この図では、駆動パターン番号４において、転送トランジスタＧ１によって制御される電荷蓄積部ＣＳ、つまり電荷蓄積部ＣＳ１を「Ｇ１」と記載している。また、転送トランジスタＧ２～Ｇ４のそれぞれによって制御される電荷蓄積部ＣＳ、つまり電荷蓄積部ＣＳ２～ＣＳ４を「Ｇ２～Ｇ４」と記載している。
駆動パターン番号４は、蓄積回数が５００００［回］、蓄積時間は、電荷蓄積部ＣＳ１が１７［ｎｓ］であり、電荷蓄積部ＣＳ２～ＣＳ４が３４［ｎｓ］である。駆動パターン番号４では、電荷蓄積部ＣＳ１が外光専用の電荷蓄積部ＣＳとして用いられる。外光専用の電荷蓄積部ＣＳは反射光ＲＬが入射しないタイミング、例えば、光パルスＰＯが照射される前に電荷蓄積部ＣＳ１に電荷が蓄積されるように制御されることによって、外光のみが電荷蓄積部ＣＳ１に蓄積される。
なお、この図では、駆動パターン番号４において、転送トランジスタＧ１によって制御される電荷蓄積部ＣＳ、つまり電荷蓄積部ＣＳ１を「Ｇ１」と記載している。また、転送トランジスタＧ２～Ｇ４のそれぞれによって制御される電荷蓄積部ＣＳ、つまり電荷蓄積部ＣＳ２～ＣＳ４を「Ｇ２～Ｇ４」と記載している。
【0103】
図１１には、２つの駆動パターンに応じた距離と色強度の変化の関係が示されている。距離（ピント１）は、焦点距離を（ピント１）にして撮像した場合の駆動パターンに応じた距離の変化を示している。距離（ピント２）は、焦点距離を（ピント２）にして撮像した場合の駆動パターンに応じた距離の変化を示している。色強度（ピント１）は、焦点距離を（ピント１）にして撮像した場合の駆動パターンに応じた色強度の変化を示している。色強度（ピント２）は、焦点距離を（ピント２）にして撮像した場合の駆動パターンに応じた色強度の変化を示している。図１１には、駆動パターン番号１を基準として、他の駆動パターン番号Ｎ（Ｎは２、３，４…）との関係が示されている。例えば、駆動パターン番号１と駆動パターン番号２では、蓄積回数が半分で、蓄積時間が同じである。この場合、駆動パターン番号２において電荷蓄積部ＣＳに蓄積される電荷量は、駆動パターン番号１の半分になると考えられる。この場合、駆動パターン番号２における色強度は、駆動パターン番号１の半分になると考えられる。
一方、距離は（１）式などを用いて、２つの電荷蓄積部ＣＳに跨って蓄積された反射光の光量の比率から算出されることから、蓄積回数と蓄積時間の関係に関わらず、駆動パターン番号２における距離は、駆動パターン番号１と同程度になると考えられる。
しかしながら、ピントが合っていない場合、被写体ＯＢから到来する光が画素３２１に対して正しく集光しない。このため、被写体ＯＢから到来する光が、本来受光すべき画素３２１とは異なる他の画素に受光されてしまい、他の画素が受光した被写体ＯＢとは異なる箇所から到来した光の光量と共に平均化され、他の画素における色強度として算出されてしまう。
この場合、反射光ＲＬとして到来する光についても同様に、本来受光すべき画素３２１とは異なる他の画素に受光されてしまい、他の画素が受光した被写体ＯＢとは異なる箇所から到来した光の光量と共に平均化されてしまうことによって、距離の精度が低下する要因となる。
焦点距離を移動させてピントを調整しつつ、各駆動パターンで算出値（色強度）が最大になる条件で撮像を行う。焦点距離が異なる場合、距離については変動が小さいが、色強度については変化が大きくなることが想定される。このため、図１１の色強度（ピント１）と色強度（ピント２）とは比較的大きな差異を有している。一方で、図１１の距離（ピント１）と距離（ピント２）とはほぼ変化がない。このような違いに着目し、ピントが合う焦点距離を算出するために、ある焦点距離にて各駆動パターンにて撮像した結果を用いて距離と色強度を算出する第１処理を行い、さらに、別の焦点距離にて各駆動パターンにて撮像した結果を用いて距離と色強度を算出する第２処理を行う。そして、各駆動パターンにて算出した色強度が最も大きい値で推移した焦点距離を、ピントが合った焦点距離とする。これによって、ピントが合う焦点距離を算出することができ、ピントが合った焦点距離にて撮像を行うことができ、色強度と距離精度の精度を向上させることができる。
一方、距離は（１）式などを用いて、２つの電荷蓄積部ＣＳに跨って蓄積された反射光の光量の比率から算出されることから、蓄積回数と蓄積時間の関係に関わらず、駆動パターン番号２における距離は、駆動パターン番号１と同程度になると考えられる。
しかしながら、ピントが合っていない場合、被写体ＯＢから到来する光が画素３２１に対して正しく集光しない。このため、被写体ＯＢから到来する光が、本来受光すべき画素３２１とは異なる他の画素に受光されてしまい、他の画素が受光した被写体ＯＢとは異なる箇所から到来した光の光量と共に平均化され、他の画素における色強度として算出されてしまう。
この場合、反射光ＲＬとして到来する光についても同様に、本来受光すべき画素３２１とは異なる他の画素に受光されてしまい、他の画素が受光した被写体ＯＢとは異なる箇所から到来した光の光量と共に平均化されてしまうことによって、距離の精度が低下する要因となる。
焦点距離を移動させてピントを調整しつつ、各駆動パターンで算出値（色強度）が最大になる条件で撮像を行う。焦点距離が異なる場合、距離については変動が小さいが、色強度については変化が大きくなることが想定される。このため、図１１の色強度（ピント１）と色強度（ピント２）とは比較的大きな差異を有している。一方で、図１１の距離（ピント１）と距離（ピント２）とはほぼ変化がない。このような違いに着目し、ピントが合う焦点距離を算出するために、ある焦点距離にて各駆動パターンにて撮像した結果を用いて距離と色強度を算出する第１処理を行い、さらに、別の焦点距離にて各駆動パターンにて撮像した結果を用いて距離と色強度を算出する第２処理を行う。そして、各駆動パターンにて算出した色強度が最も大きい値で推移した焦点距離を、ピントが合った焦点距離とする。これによって、ピントが合う焦点距離を算出することができ、ピントが合った焦点距離にて撮像を行うことができ、色強度と距離精度の精度を向上させることができる。
【0104】
以上説明したように、実施形態の変形例２に係る距離画像撮像装置１では、受光領域３２０には像面位相差画素が含まれる。像面位相差画素は、像面位相差を検出するために用いられる画素である。例えば、像面位相差画素は、２つの画素が一組のペアとなって、受光領域３２０において互いに近接した位置に配置される。像面位相差画素にはスリットが設けられる。受光領域３２０に入射した光のうち、スリットを通過した光のみが像面位相差画素に入射される。像面位相差画素のペアのそれぞれのスリットの位置は、像面位相差画素の中心に対して対称な位置に設けられる。距離画像処理部４は、像面位相差画素から出力される蓄積信号を用いて焦点距離を算出する。演算部４２は、例えば、像面位相差画素のペアのそれぞれから出力される蓄積信号の差分（位相差）に基づいて焦点距離を算出する。これにより、実施形態の変形例２に係る距離画像撮像装置１では、像面位相差画素を用いてピントを合わせることができる。
【0105】
（実施形態の変形例４）
ここで、実施形態の変形例４について説明する。本変形例では、光パルスＰＯを近赤外光としない点において、上述した実施形態と相違する。本変形例において、光パルスＰＯは、例えば、可視光である。
ここで、実施形態の変形例４について説明する。本変形例では、光パルスＰＯを近赤外光としない点において、上述した実施形態と相違する。本変形例において、光パルスＰＯは、例えば、可視光である。
【0106】
本変形例において光パルスＰＯとして用いる可視光は、２種類の可視光、第１可視光と第２可視光の何れか１つである。第１可視光は、ＲＧＢに対応する３色の周波数帯域を全て含む光であり、白色の光である。第２可視光は、ＲＧＢに対応する３色の全てが揃っていない光、つまり、ＲＧＢに対応する３色のうちの１色又は２色の周波数帯域のみを含む光である。
なお、白色に見える可視光であっても第２可視光となるものがある。例えば、青色の蛍光物質と黄色の蛍光物質のそれぞれから発せられる蛍光を含む光は、白色に見えるが、ＲＧＢに対応する３色の全てが揃っていない疑似的な白色であることから、第２可視光である。
なお、白色に見える可視光であっても第２可視光となるものがある。例えば、青色の蛍光物質と黄色の蛍光物質のそれぞれから発せられる蛍光を含む光は、白色に見えるが、ＲＧＢに対応する３色の全てが揃っていない疑似的な白色であることから、第２可視光である。
【0107】
本変形例では、距離画像処理部４は、光パルスＰＯに含まれる可視光の周波数帯域と、画素に設けられたカラーフィルタＣＦの周波数特性との関係に応じて、距離を算出する画素を選択する。
具体的に、第１可視光を光パルスＰＯとして用いる場合、演算部４２は、画素３２１に設けられたカラーフィルタが如何なる色を通過させるフィルタであるかに関わらず、全ての画素３２１を、距離の算出に用いる。第１可視光にはＲＧＢに対応する３色の全てが含まれることから、画素３２１に設けられたカラーフィルタが如何なる色を通過させるフィルタであるかに関わらず、画素３２１が備える電荷蓄積部ＣＳには、反射光ＲＬに係る電荷が蓄積されると考えられるためである。
例えば、画素３２１に設けられたカラーフィルタが赤色Ｒに対応するフィルタである場合、第１可視光のうちの赤色Ｒに対応する周波数帯域の光がカラーフィルタを通過して画素３２１に受光され、この画素３２１が備える電荷蓄積部ＣＳには、反射光ＲＬのうちの赤色Ｒに係る電荷が蓄積される。画素３２１に設けられたカラーフィルタが緑色Ｇｒに対応するフィルタである場合、第１可視光のうちの緑色Ｇｒに対応する周波数帯域の光がカラーフィルタを通過して画素３２１に受光され、この画素３２１が備える電荷蓄積部ＣＳには、反射光ＲＬのうちの緑色Ｇｒに係る電荷が蓄積される。
演算部４２は、電荷蓄積部ＣＳに蓄積された電荷（反射光ＲＬに係る電荷）を用いて距離を算出する。距離を算出する方法は、上述した実施形態と同様である。すなわち、画素を駆動し、電荷蓄積部ＣＳのそれぞれが受光した反射光ＲＬの光量に応じて、被写体ＯＢまでの距離を算出する。また、色強度を算出する方法についもて、上述した実施形態と同様であり、電荷蓄積部ＣＳのそれぞれが受光した外光の光量に応じて、色強度を算出することができる。
具体的に、第１可視光を光パルスＰＯとして用いる場合、演算部４２は、画素３２１に設けられたカラーフィルタが如何なる色を通過させるフィルタであるかに関わらず、全ての画素３２１を、距離の算出に用いる。第１可視光にはＲＧＢに対応する３色の全てが含まれることから、画素３２１に設けられたカラーフィルタが如何なる色を通過させるフィルタであるかに関わらず、画素３２１が備える電荷蓄積部ＣＳには、反射光ＲＬに係る電荷が蓄積されると考えられるためである。
例えば、画素３２１に設けられたカラーフィルタが赤色Ｒに対応するフィルタである場合、第１可視光のうちの赤色Ｒに対応する周波数帯域の光がカラーフィルタを通過して画素３２１に受光され、この画素３２１が備える電荷蓄積部ＣＳには、反射光ＲＬのうちの赤色Ｒに係る電荷が蓄積される。画素３２１に設けられたカラーフィルタが緑色Ｇｒに対応するフィルタである場合、第１可視光のうちの緑色Ｇｒに対応する周波数帯域の光がカラーフィルタを通過して画素３２１に受光され、この画素３２１が備える電荷蓄積部ＣＳには、反射光ＲＬのうちの緑色Ｇｒに係る電荷が蓄積される。
演算部４２は、電荷蓄積部ＣＳに蓄積された電荷（反射光ＲＬに係る電荷）を用いて距離を算出する。距離を算出する方法は、上述した実施形態と同様である。すなわち、画素を駆動し、電荷蓄積部ＣＳのそれぞれが受光した反射光ＲＬの光量に応じて、被写体ＯＢまでの距離を算出する。また、色強度を算出する方法についもて、上述した実施形態と同様であり、電荷蓄積部ＣＳのそれぞれが受光した外光の光量に応じて、色強度を算出することができる。
【0108】
一方、第２可視光を光パルスＰＯとして用いる場合、演算部４２は、画素３２１に設けられたカラーフィルタが如何なる色を通過させるフィルタであるかに応じて決定される、特定の画素３２１を用いて距離を算出する。
演算部４２は、第２可視光に含まれる特定の光に対応するカラーフィルタが設けられた画素３２１を用いて、距離を算出する。例えば、第２可視光に赤色Ｒが含まれる場合、演算部４２は、赤色Ｒに対応する周波数帯域を通過させるカラーフィルタが設けられた画素３２１を用いて距離を算出する。第２可視光に緑色Ｇｒが含まれる場合、演算部４２は、緑色Ｇｒに対応する周波数帯域を通過させるカラーフィルタが設けられた画素３２１を用いて距離を算出する。第２可視光に赤色Ｒと青色Ｂが含まれる場合、演算部４２は、赤色Ｒに対応する周波数帯域を通過させるカラーフィルタが設けられた画素３２１、及び青色Ｂに対応する周波数帯域を通過させるカラーフィルタが設けられた画素３２１を用いて距離を算出する。
演算部４２は、第２可視光に含まれる特定の光に対応するカラーフィルタが設けられた画素３２１を用いて、距離を算出する。例えば、第２可視光に赤色Ｒが含まれる場合、演算部４２は、赤色Ｒに対応する周波数帯域を通過させるカラーフィルタが設けられた画素３２１を用いて距離を算出する。第２可視光に緑色Ｇｒが含まれる場合、演算部４２は、緑色Ｇｒに対応する周波数帯域を通過させるカラーフィルタが設けられた画素３２１を用いて距離を算出する。第２可視光に赤色Ｒと青色Ｂが含まれる場合、演算部４２は、赤色Ｒに対応する周波数帯域を通過させるカラーフィルタが設けられた画素３２１、及び青色Ｂに対応する周波数帯域を通過させるカラーフィルタが設けられた画素３２１を用いて距離を算出する。
【0109】
以上説明したように、実施形態の変形例４に係る距離画像撮像装置１では、光パルスＰＯは、可視光を含む。距離画像処理部４は、光パルスＰＯに含まれる可視光の周波数帯域と、画素に設けられたカラーフィルタＣＦの周波数特性との関係に応じて、距離を算出する画素を選択する。これにより、実施形態の変形例４に係る距離画像撮像装置１では、光パルスＰＯを可視光とした場合において、画素３２１に設けられたカラーフィルタとの関係に基づいて、適切に距離を算出することが可能な画素３２１を選択することができ、算出する距離の精度が劣化しないように維持することができる。
【0110】
上述した実施形態における距離画像撮像装置１、距離画像処理部４の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0111】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0112】
１…距離画像撮像装置
２…光源部
３…受光部
３２…距離画像センサ
３２０…受光領域
３２１…画素
４…距離画像処理部
４２…演算部
ＣＳ…電荷蓄積部
ＰＯ…光パルス
ＲＬ…反射光
２…光源部
３…受光部
３２…距離画像センサ
３２０…受光領域
３２１…画素
４…距離画像処理部
４２…演算部
ＣＳ…電荷蓄積部
ＰＯ…光パルス
ＲＬ…反射光
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】