知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024082236
(43)【公開日】2024-06-19
(54)【発明の名称】距離画像撮像装置、及び距離画像撮像方法
(51)【国際特許分類】
G01S 7/4863 20200101AFI20240612BHJP
G01S 17/894 20200101ALI20240612BHJP
G01C 3/06 20060101ALI20240612BHJP
【ＦＩ】
G01S7/4863
G01S17/894
G01C3/06 120Q
G01C3/06 140
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2023183197
(22)【出願日】2023-10-25
(31)【優先権主張番号】P 2022195502
(32)【優先日】2022-12-07
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000003193
【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】櫃岡 祥之
(72)【発明者】
【氏名】中込 友洋
(72)【発明者】
【氏名】畠山 邦広
【テーマコード（参考）】
2F112
5J084
【Ｆターム（参考）】
2F112AD01
2F112BA03
2F112BA05
2F112CA12
2F112DA21
2F112DA25
2F112DA28
2F112EA05
2F112FA03
2F112FA07
2F112FA21
2F112FA45
2F112GA01
5J084AA04
5J084AA05
5J084BA04
5J084BA20
5J084BA36
5J084BA40
5J084BB02
5J084BB20
5J084CA03
5J084CA20
5J084CA31
5J084CA49
5J084CA65
5J084CA67
5J084CA70
5J084DA08
5J084EA05
5J084EA07
(57)【要約】
【課題】測定に要する時間を増大させることなく、測定可能な範囲を伸ばす。
【解決手段】１フレームに複数の蓄積サイクルを設け、複数の蓄積サイクルにおいて、画素が具備する電荷蓄積部の数より多い蓄積タイミングの何れかのタイミングにて電荷蓄積部のそれぞれに電荷が蓄積されるように制御し、１フレームにおいて電荷蓄積部のそれぞれに電荷を蓄積させる回数の合計である合計回数が同一となるように制御し、複数の蓄積サイクルのうちの特定蓄積サイクルにおいて複数の電荷蓄積部のうちの特定電荷蓄積部に電荷を蓄積させる蓄積タイミングである第１蓄積タイミングと、前記特定蓄積サイクルとは異なる他蓄積サイクルにおいて前記特定電荷蓄積部に電荷を蓄積させる蓄積タイミングである第２蓄積タイミングとの時間差分が、前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間とは異なる時間となるように制御する。
【選択図】図１
【解決手段】１フレームに複数の蓄積サイクルを設け、複数の蓄積サイクルにおいて、画素が具備する電荷蓄積部の数より多い蓄積タイミングの何れかのタイミングにて電荷蓄積部のそれぞれに電荷が蓄積されるように制御し、１フレームにおいて電荷蓄積部のそれぞれに電荷を蓄積させる回数の合計である合計回数が同一となるように制御し、複数の蓄積サイクルのうちの特定蓄積サイクルにおいて複数の電荷蓄積部のうちの特定電荷蓄積部に電荷を蓄積させる蓄積タイミングである第１蓄積タイミングと、前記特定蓄積サイクルとは異なる他蓄積サイクルにおいて前記特定電荷蓄積部に電荷を蓄積させる蓄積タイミングである第２蓄積タイミングとの時間差分が、前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間とは異なる時間となるように制御する。
【選択図】図１
【特許請求の範囲】
【請求項1】
測定空間に光パルスを照射する光源部と、
入射した光に応じた電荷を発生する光電変換素子及び電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスを照射する照射タイミングに同期させた所定の蓄積タイミングで前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、
を備え、
前記距離画像処理部は、
１フレームに複数の蓄積サイクルを設け、
前記複数の蓄積サイクルにおいて、前記画素が具備する前記電荷蓄積部の数より多い前記蓄積タイミングの何れかのタイミングにて前記電荷蓄積部のそれぞれに電荷が蓄積されるように制御し、
１フレームにおいて前記電荷蓄積部のそれぞれに電荷を蓄積させる回数の合計である合計回数が同一となるように制御し、
前記複数の蓄積サイクルのうちの特定蓄積サイクルにおいて前記複数の電荷蓄積部のうちの特定電荷蓄積部に電荷を蓄積させる前記蓄積タイミングである第１蓄積タイミングと、前記複数の蓄積サイクルのうち前記蓄積サイクルとは異なる他蓄積サイクルにおいて前記特定電荷蓄積部に電荷を蓄積させる前記蓄積タイミングである第２蓄積タイミングとの時間差分が、前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間とは異なる時間となるように制御する、
距離画像撮像装置。
入射した光に応じた電荷を発生する光電変換素子及び電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスを照射する照射タイミングに同期させた所定の蓄積タイミングで前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、
を備え、
前記距離画像処理部は、
１フレームに複数の蓄積サイクルを設け、
前記複数の蓄積サイクルにおいて、前記画素が具備する前記電荷蓄積部の数より多い前記蓄積タイミングの何れかのタイミングにて前記電荷蓄積部のそれぞれに電荷が蓄積されるように制御し、
１フレームにおいて前記電荷蓄積部のそれぞれに電荷を蓄積させる回数の合計である合計回数が同一となるように制御し、
前記複数の蓄積サイクルのうちの特定蓄積サイクルにおいて前記複数の電荷蓄積部のうちの特定電荷蓄積部に電荷を蓄積させる前記蓄積タイミングである第１蓄積タイミングと、前記複数の蓄積サイクルのうち前記蓄積サイクルとは異なる他蓄積サイクルにおいて前記特定電荷蓄積部に電荷を蓄積させる前記蓄積タイミングである第２蓄積タイミングとの時間差分が、前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間とは異なる時間となるように制御する、
距離画像撮像装置。
【請求項2】
前記距離画像処理部は、前記照射タイミングとの差分が小さい前記蓄積タイミングより、前記差分が大きい前記蓄積タイミングのほうが、１フレームにおいて電荷が蓄積された合計時間が大きくなるように制御する、
請求項１に記載の距離画像撮像装置。
請求項１に記載の距離画像撮像装置。
【請求項3】
通常モードと、広範囲モードと、を含む複数の測定モードを備え、
前記通常モードは、近距離にある被写体ＯＢまでの距離を測定し、且つ遠距離にある被写体ＯＢまでの距離を測定しないモードであり、
前記広範囲モードは、近距離から遠距離までの広範囲にある被写体ＯＢまでの距離を測定するモードであり、
前記距離画像処理部は、距離画像を構成する前記画素のそれぞれの画素値の統計量を算出し、算出した統計量に基づき、次回の測定における測定モードを、前記通常モード及び前記広範囲モードのいずれとするか決定する、
請求項１に記載の距離画像撮像装置。
前記通常モードは、近距離にある被写体ＯＢまでの距離を測定し、且つ遠距離にある被写体ＯＢまでの距離を測定しないモードであり、
前記広範囲モードは、近距離から遠距離までの広範囲にある被写体ＯＢまでの距離を測定するモードであり、
前記距離画像処理部は、距離画像を構成する前記画素のそれぞれの画素値の統計量を算出し、算出した統計量に基づき、次回の測定における測定モードを、前記通常モード及び前記広範囲モードのいずれとするか決定する、
請求項１に記載の距離画像撮像装置。
【請求項4】
測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスを照射する照射タイミングに同期させた所定の蓄積タイミングで前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、を備える距離画像撮像装置が行う距離画像撮像方法であって、
前記距離画像処理部は、
１フレームに複数の蓄積サイクルを設け、
前記複数の蓄積サイクルにおいて、前記画素が具備する前記電荷蓄積部の数より多い前記蓄積タイミングの何れかのタイミングにて前記電荷蓄積部のそれぞれに電荷が蓄積されるように制御し、
１フレームにおいて前記電荷蓄積部のそれぞれに電荷を蓄積させる回数の合計である合計回数が同一となるように制御し、
前記複数の蓄積サイクルのうちの特定蓄積サイクルにおいて前記複数の電荷蓄積部のうちの特定電荷蓄積部に電荷を蓄積させる前記蓄積タイミングである第１蓄積タイミングと、前記複数の蓄積サイクルのうち前記特定蓄積サイクルとは異なる他蓄積サイクルにおいて前記特定電荷蓄積部に電荷を蓄積させる前記蓄積タイミングである第２蓄積タイミングとの時間差分が、前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間とは異なる時間となるように制御する、
距離画像撮像方法。
前記距離画像処理部は、
１フレームに複数の蓄積サイクルを設け、
前記複数の蓄積サイクルにおいて、前記画素が具備する前記電荷蓄積部の数より多い前記蓄積タイミングの何れかのタイミングにて前記電荷蓄積部のそれぞれに電荷が蓄積されるように制御し、
１フレームにおいて前記電荷蓄積部のそれぞれに電荷を蓄積させる回数の合計である合計回数が同一となるように制御し、
前記複数の蓄積サイクルのうちの特定蓄積サイクルにおいて前記複数の電荷蓄積部のうちの特定電荷蓄積部に電荷を蓄積させる前記蓄積タイミングである第１蓄積タイミングと、前記複数の蓄積サイクルのうち前記特定蓄積サイクルとは異なる他蓄積サイクルにおいて前記特定電荷蓄積部に電荷を蓄積させる前記蓄積タイミングである第２蓄積タイミングとの時間差分が、前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間とは異なる時間となるように制御する、
距離画像撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。
【背景技術】
【0002】
光の速度が既知であることを利用し、測定空間における光の飛行時間に基づいて測定器と対象物との距離を測定する、タイム・オブ・フライト（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、以下「ＴＯＦ」という）方式の距離画像撮像装置が実現されている（例えば、特許文献１参照）。このような距離画像撮像装置では、測距範囲を広げるために、同一の電荷蓄積部に、電荷を蓄積させる蓄積タイミングを複数回設けることが行われている。蓄積タイミングを複数回設けることによって、被写体までの距離が近い場合には早い方の蓄積タイミングで反射光成分の電荷が蓄積されるようにし、被写体までの距離が遠い場合には遅い方の蓄積タイミングで反射光成分の電荷が蓄積されるようにすることができる。こうすることにより、近距離から遠距離までの広い範囲を測定することが可能となる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第６６７６８６６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１では、全ての電荷蓄積部に蓄積させる背景光成分の電荷量を揃えるために、測定可能な範囲とは異なるタイミングにおいて電荷蓄積部に背景光成分の電荷を蓄積させる必要がある。このため、測定に要する時間が大きくなるという問題があった。
【0005】
本発明は、上記の課題に基づいてなされたものであり、測定に要する時間を増大させることなく、測定可能な範囲を伸ばすことができる距離画像撮像装置、及び距離画像撮像方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の距離画像撮像装置は、測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスを照射する照射タイミングに同期させた所定の蓄積タイミングで前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、を備え、前記距離画像処理部は、１フレームに複数の蓄積サイクルを設け、前記複数の蓄積サイクルにおいて、前記画素が具備する前記電荷蓄積部の数より多い前記蓄積タイミングの何れかのタイミングにて前記電荷蓄積部のそれぞれに電荷が蓄積されるように制御し、１フレームにおいて前記電荷蓄積部のそれぞれに電荷を蓄積させる回数の合計である合計回数が同一となるように制御し、前記複数の蓄積サイクルのうちの特定蓄積サイクルにおいて前記複数の電荷蓄積部のうちの特定電荷蓄積部に電荷を蓄積させる前記蓄積タイミングである第１蓄積タイミングと、前記複数の蓄積サイクルのうち前記特定蓄積サイクルとは異なる他蓄積サイクルにおいて前記特定電荷蓄積部に電荷を蓄積させる前記蓄積タイミングである第２蓄積タイミングとの時間差分が、前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間とは異なる時間となるように制御する。
【0007】
本発明の距離画像撮像装置では、前記距離画像処理部は、前記照射タイミングとの差分が小さい前記蓄積タイミングより、前記差分が大きい前記蓄積タイミングのほうが、１フレームにおいて電荷が蓄積された合計時間が大きくなるように制御する。
【0008】
本発明の距離画像撮像方法は、測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスを照射する照射タイミングに同期させた所定の蓄積タイミングで前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、を備える距離画像撮像装置が行う距離画像撮像方法であって、前記距離画像処理部は、１フレームに複数の蓄積サイクルを設け、前記複数の蓄積サイクルにおいて、前記画素が具備する前記電荷蓄積部の数より多い前記蓄積タイミングの何れかのタイミングにて前記電荷蓄積部のそれぞれに電荷が蓄積されるように制御し、１フレームにおいて前記電荷蓄積部のそれぞれに電荷を蓄積させる回数の合計である合計回数が同一となるように制御し、前記複数の蓄積サイクルのうちの特定蓄積サイクルにおいて前記複数の電荷蓄積部のうちの特定電荷蓄積部に電荷を蓄積させる前記蓄積タイミングである第１蓄積タイミングと、前記複数の蓄積サイクルのうち前記特定蓄積サイクルとは異なる他蓄積サイクルにおいて前記特定電荷蓄積部に電荷を蓄積させる前記蓄積タイミングである第２蓄積タイミングとの時間差分が、前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間とは異なる時間となるように制御する。
【発明の効果】
【0009】
本発明によれば、測定に要する時間を増大させることなく、測定可能な範囲を伸ばすことができる。
【図面の簡単な説明】
【0010】
【図1】実施形態の距離画像撮像装置１の概略構成を示すブロック図である。
【図2】実施形態の距離画像センサ３２の概略構成を示すブロック図である。
【図3】実施形態の画素３２１の構成の一例を示す回路図である。
【図4】第１実施形態の画素３２１を駆動するタイミングを示すタイミングチャートである。
【図5】第１実施形態の画素３２１を駆動するタイミングを示すタイミングチャートである。
【図6】第１実施形態の画素３２１を駆動するタイミングを示すタイミングチャートである。
【図7】第１実施形態の距離画像処理部４が行う処理を説明するための図である。
【図8】第１実施形態の距離画像処理部４が行う処理の流れを示すフローチャートである。
【図9】第１実施形態の画素３２１を駆動するタイミングを示すタイミングチャートである。
【図10】第１実施形態の画素３２１を駆動するタイミングを示すタイミングチャートである。
【図11】第１実施形態の画素３２１を駆動するタイミングを示すタイミングチャートである。
【図12】第１実施形態の距離画像処理部４が行う処理を説明するための図である。
【図13】第１実施形態の変形例に係る画素３２１を駆動するタイミングを示すタイミングチャートである。
【図14】第１実施形態の変形例に係る画素３２１を駆動するタイミングを示すタイミングチャートである。
【図15】第１実施形態の変形例に係る画素３２１を駆動するタイミングを示すタイミングチャートである。
【図16】第１実施形態の変形例に係る画素３２１を駆動するタイミングを示すタイミングチャートである。
【図17】第１実施形態の変形例に係る画素３２１を駆動するタイミングを示すタイミングチャートである。
【発明を実施するための形態】
【0011】
以下、実施形態の距離画像撮像装置を、図面を参照しながら説明する。
【0012】
図１は、実施形態の距離画像撮像装置の概略構成を示すブロック図である。距離画像撮像装置１は、例えば、光源部２と、受光部３と、距離画像処理部４とを備える。図１には、距離画像撮像装置１において距離を測定する対象物である被写体ＯＢも併せて示している。
【0013】
光源部２は、距離画像処理部４からの制御に従って、距離画像撮像装置１において距離を測定する対象の被写体ＯＢが存在する測定対象の空間に光パルスＰＯを照射する。光源部２は、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）などの面発光型の半導体レーザーモジュールである。光源部２は、光源装置２１と、拡散板２２とを備える。
【0014】
光源装置２１は、被写体ＯＢに照射する光パルスＰＯとなる近赤外の波長帯域（例えば、波長が８５０ｎｍ～９４０ｎｍの波長帯域）のレーザー光を発光する光源である。光源装置２１は、例えば、半導体レーザー発光素子である。光源装置２１は、タイミング制御部４１からの制御に応じて、パルス状のレーザー光を発光する。
【0015】
拡散板２２は、光源装置２１が発光した近赤外の波長帯域のレーザー光を、所望の照射領域に拡散する光学部品である。拡散板２２が拡散したパルス状のレーザー光が、光パルスＰＯとして出射され、被写体ＯＢに照射される。
【0016】
受光部３は、距離画像撮像装置１において距離を測定する対象の被写体ＯＢによって反射された光パルスＰＯの反射光ＲＬを受光し、受光した反射光ＲＬに応じた画素信号を出力する。受光部３は、レンズ３１と、距離画像センサ３２とを備える。なお、受光部３において、レンズ３１と距離画像センサ３２との間に、バンドパスフィルタ（図示せず）を備えてもよい。バンドパスフィルタは、帯域制限を行う。例えば、バンドパスフィルタは、レンズ３１に入射された光のうち、所定の周波数帯域にある成分を距離画像センサ３２に出射し、所定の周波数帯域にない成分を距離画像センサ３２に出射しないようにする。
【0017】
レンズ３１は、入射した反射光ＲＬを距離画像センサ３２に導く光学レンズである。レンズ３１は、入射した反射光ＲＬを距離画像センサ３２側に出射して、距離画像センサ３２の受光領域に備えた画素に受光（入射）させる。
【0018】
距離画像センサ３２は、距離画像撮像装置１に用いられる撮像素子である。距離画像センサ３２は、二次元の受光領域に複数の画素を備える。距離画像センサ３２のそれぞれの画素の中に、１つの光電変換素子と、この１つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。
【0019】
距離画像センサ３２は、タイミング制御部４１からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ３２は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ３２には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する１フレーム分の画素信号を出力する。
【0020】
距離画像処理部４は、距離画像撮像装置１を制御し、被写体ＯＢまでの距離を算出する。距離画像処理部４は、タイミング制御部４１と、距離演算部４２と、測定制御部４３とを備える。
【0021】
タイミング制御部４１は、測定制御部４３の制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスＰＯの照射を制御する信号、反射光ＲＬを複数の電荷蓄積部に振り分けて蓄積させる信号、１フレームあたりの蓄積回数を制御する信号などである。蓄積回数とは、電荷蓄積部ＣＳ（図３参照）に電荷を振り分けて蓄積させる処理を繰り返す回数である。この蓄積回数と、電荷を振り分けて蓄積させる処理１回あたりに各電荷蓄積部に電荷を蓄積させる時間（蓄積時間）の積が蓄積時間となる。
【0022】
距離演算部４２は、距離画像センサ３２から出力された画素信号に基づいて、被写体ＯＢまでの距離を演算した距離情報を出力する。距離演算部４２は、複数の電荷蓄積部に蓄積された電荷量に基づいて、光パルスＰＯを照射してから反射光ＲＬを受光するまでの遅延時間を算出する。距離演算部４２は、算出した遅延時間に応じて被写体ＯＢまでの距離を算出する。
【0023】
測定制御部４３は、タイミング制御部４１を制御する。例えば、測定制御部４３は、１フレームにおける蓄積回数及び蓄積時間を設定し、設定した内容で撮像が行われるようにタイミング制御部４１を制御する。
【0024】
このような構成によって、距離画像撮像装置１では、光源部２が被写体ＯＢに照射した近赤外の波長帯域の光パルスＰＯが被写体ＯＢによって反射された反射光ＲＬを受光部３が受光し、距離画像処理部４が、被写体ＯＢとの距離を算出し距離情報を出力する。
【0025】
なお、図１においては、距離画像処理部４を距離画像撮像装置１の内部に備える構成の距離画像撮像装置１を示しているが、距離画像処理部４は、距離画像撮像装置１の外部に備える構成要素であってもよい。
【0026】
ここで、図２を用いて、距離画像撮像装置１において撮像素子として用いられる距離画像センサ３２の構成について説明する。図２は、実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の概略構成を示すブロック図である。
【0027】
図２に示すように、距離画像センサ３２は、例えば、複数の画素３２１が配置された受光領域３２０と、制御回路３２２と、振り分け動作を有した垂直走査回路３２３と、水平走査回路３２４と、画素信号処理回路３２５とを備える。
【0028】
受光領域３２０は、複数の画素３２１が配置された領域であって、図２では、８行８列に二次元の行列状に配置された例を示している。画素３２１は、受光した光量に相当する電荷を蓄積する。制御回路３２２は、距離画像センサ３２を統括的に制御する。制御回路３２２は、例えば、距離画像処理部４のタイミング制御部４１からの指示に応じて、距離画像センサ３２の構成要素の動作を制御する。なお、距離画像センサ３２に備えた構成要素の制御は、タイミング制御部４１が直接行う構成であってもよく、この場合、制御回路３２２を省略することも可能である。
【0029】
垂直走査回路３２３は、制御回路３２２からの制御に応じて、受光領域３２０に配置された画素３２１を行ごとに制御する回路である。垂直走査回路３２３は、画素３２１の電荷蓄積部ＣＳそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路３２５に出力させる。この場合、垂直走査回路３２３は、光電変換素子により変換された電荷を画素３２１の電荷蓄積部それぞれに振り分けて蓄積させる。つまり、垂直走査回路３２３は、「画素駆動回路」の一例である。
【0030】
画素信号処理回路３２５は、制御回路３２２からの制御に応じて、それぞれの列の画素３２１から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理（例えば、ノイズ抑圧処理やＡ／Ｄ変換処理など）を行う回路である。
【0031】
水平走査回路３２４は、制御回路３２２からの制御に応じて、画素信号処理回路３２５から出力される信号を、水平信号線に順次出力させる回路である。これにより、１フレーム分蓄積された電荷量に相当する画素信号が、水平信号線を経由して距離画像処理部４に順次出力される。
【0032】
以下では、画素信号処理回路３２５がＡ／Ｄ変換処理を行い、画素信号がデジタル信号であるものとして説明する。
【0033】
ここで、図３を用いて、距離画像センサ３２に備える受光領域３２０内に配置された画素３２１の構成について説明する。図３は、実施形態の距離画像センサ３２の受光領域３２０内に配置された画素３２１の構成の一例を示す回路図である。図３には、受光領域３２０内に配置された複数の画素３２１のうち、１つの画素３２１の構成の一例を示している。画素３２１は、４個の画素信号読み出し部を備えた構成の一例である。
【0034】
画素３２１は、１個の光電変換素子ＰＤと、ドレインゲートトランジスタＧＤと、対応する出力端子Ｏから電圧信号を出力する４個の画素信号読み出し部ＲＵとを備える。画素信号読み出し部ＲＵのそれぞれは、読み出しゲートトランジスタＧと、フローティングディフュージョンＦＤと、電荷蓄積容量Ｃと、リセットゲートトランジスタＲＴと、ソースフォロアゲートトランジスタＳＦと、選択ゲートトランジスタＳＬとを備える。それぞれの画素信号読み出し部ＲＵでは、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって電荷蓄積部ＣＳが構成されている。
【0035】
なお、図３においては、４個の画素信号読み出し部ＲＵの符号「ＲＵ」の後に、「１」、「２」、「３」または「４」の数字を付与することによって、それぞれの画素信号読み出し部ＲＵを区別する。また、同様に、４個の画素信号読み出し部ＲＵに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部ＲＵを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部ＲＵを区別して表す。
【0036】
図３に示した画素３２１において、出力端子Ｏ１から電圧信号を出力する画素信号読み出し部ＲＵ１は、読み出しゲートトランジスタＧ１と、フローティングディフュージョンＦＤ１と、電荷蓄積容量Ｃ１と、リセットゲートトランジスタＲＴ１と、ソースフォロアゲートトランジスタＳＦ１と、選択ゲートトランジスタＳＬ１とを備える。画素信号読み出し部ＲＵ１では、フローティングディフュージョンＦＤ１と電荷蓄積容量Ｃ１とによって電荷蓄積部ＣＳ１が構成されている。画素信号読み出し部ＲＵ２～ＲＵ４も同様の構成である。
【0037】
光電変換素子ＰＤは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子ＰＤの構造は任意であってよい。光電変換素子ＰＤは、例えば、Ｐ型半導体とＮ型半導体とを接合した構造のＰＮフォトダイオードであってもよいし、Ｐ型半導体とＮ型半導体との間にＩ型半導体を挟んだ構造のＰＩＮフォトダイオードであってもよい。
【0038】
画素３２１では、光電変換素子ＰＤが入射した光を光電変換して発生させた電荷を４個の電荷蓄積部ＣＳのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路３２５に出力する。
【0039】
距離画像センサ３２に配置される画素の構成は、図３に示したような、４個の画素信号読み出し部ＲＵを備えた構成に限定されるものではなく、複数の画素信号読み出し部ＲＵを備えた構成の画素であればよい。つまり、距離画像センサ３２に配置される画素に備える画素信号読み出し部ＲＵ（電荷蓄積部ＣＳ）の数は、２個であってもよいし、３個であってもよいし、５個以上であってもよい。
【0040】
また、図３に示した構成の画素３２１では、電荷蓄積部ＣＳを、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって構成する一例を示した。しかし、電荷蓄積部ＣＳは、少なくともフローティングディフュージョンＦＤによって構成されればよく、画素３２１が電荷蓄積容量Ｃを備えない構成であってもよい。
【0041】
また、図３に示した構成の画素３２１では、ドレインゲートトランジスタＧＤを備える構成の一例を示したが、光電変換素子ＰＤに蓄積されている（残っている）電荷を破棄する必要がない場合には、ドレインゲートトランジスタＧＤを備えない構成であってもよい。
【0042】
【0043】
本実施形態では、１フレームに複数のサブフレームが設けられる。以下の説明では、１フレームに３つのサブフレーム、第１サブフレーム、第２サブフレームおよび第３サブフレームが含まれる場合を例に説明するが、１フレームに含まれるサブフレームの数が２つであってもよいし、４つ以上であってもよい。
【0044】
図４には第１サブフレームにおいて画素３２１を駆動するタイミングを示すタイミングチャートが示されている。図５には第２サブフレームにおいて画素３２１を駆動するタイミングを示すタイミングチャートが示されている。図６には第３サブフレームにおいて画素３２１を駆動するタイミングを示すタイミングチャートが示されている。
【0045】
図４～図６のタイミング信号について説明する。光パルスＰＯを照射する照射タイミングを「Ｌ」で示している。また、駆動信号ＴＸ１にて電荷蓄積部ＣＳ１に電荷を蓄積させる蓄積タイミング（読み出しゲートトランジスタＧ１の開閉を制御するタイミング）を「Ｇ１」で示している。同様に、駆動信号ＴＸ２～ＴＸ４にて電荷蓄積部ＣＳ２～ＣＳ４に電荷を蓄積させる蓄積タイミング（読み出しゲートトランジスタＧ２～Ｇ４の開閉を制御するタイミング）を「Ｇ２－Ｇ４」で示している。駆動信号ＲＳＴＤにて電荷を排出させる排出タイミングを「ＧＤ」で示している。
【0046】
図４～図６のタイミングチャートにおける信号論理を説明する。それぞれのタイミング信号は、「Ｈｉｇｈ」レベル、又は「Ｌｏｗ」レベルで示されている。照射タイミングＬでは、「Ｈｉｇｈ」レベルとなるタイミングで光パルスＰＯが照射され、「Ｌｏｗ」レベルの場合は光パルスＰＯが照射されないことが示されている。蓄積タイミングＧ１～Ｇ４では、「Ｈｉｇｈ」のタイミングで電荷が蓄積され、「Ｌｏｗ」の場合は電荷が蓄積されないことが示されている。排出タイミングＧＤでは、「Ｈｉｇｈ」のタイミングで電荷が排出され、「Ｌｏｗ」の場合は電荷が排出されないことが示されている。
【0047】
図４～図６に示すように、各サブフレームには、蓄積期間および読出期間が設けられる。蓄積期間において画素３２１が駆動され、画素３２１に設けられた複数の電荷蓄積部ＣＳ（電荷蓄積部ＣＳ１～ＣＳ４）のそれぞれに電荷を蓄積させるサイクル（蓄積サイクル）が所定の回数、例えば、１万回繰り返される。読出期間において、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に対応する蓄積信号が読み出される。
【0048】
【0049】
蓄積タイミングＴＭ１は光パルスＰＯを照射する照射タイミングＬからの遅延時間が０（ゼロ）であり、光パルスＰＯの照射タイミングと同じタイミングである。蓄積タイミングＴＭ２は光パルスＰＯを照射する照射タイミングＬからの遅延時間が時間Ｔｏであるタイミングである。ここで、時間Ｔｏは光パルスＰＯを照射する照射時間である。また、ここでは電荷を蓄積させる蓄積時間が照射時間と同じ、つまり蓄積時間が時間Ｔｏであることを前提とする。
【0050】
蓄積タイミングＴＭ２は光パルスＰＯを照射する照射タイミングＬからの遅延時間が時間Ｔｏとなるタイミングである。蓄積タイミングＴＭ３は光パルスＰＯを照射する照射タイミングＬからの遅延時間が時間Ｔｏ×２となるタイミングである。蓄積タイミングＴＭ４は光パルスＰＯを照射する照射タイミングＬからの遅延時間が時間Ｔｏ×３となるタイミングである。蓄積タイミングＴＭ５は光パルスＰＯを照射する照射タイミングＬからの遅延時間が時間Ｔｏ×４となるタイミングである。蓄積タイミングＴＭ６は光パルスＰＯを照射する照射タイミングＬからの遅延時間が時間Ｔｏ×５となるタイミングである。
【0051】
図４には、第１サブフレームの蓄積期間において、第１サイクルが繰り返される例が示されている。第１サイクルでは、蓄積タイミングＴＭ１～ＴＭ４で、電荷蓄積部ＣＳ１～ＣＳ４のそれぞれに順に電荷を蓄積させる例が示されている。これにより、蓄積タイミングＴＭ１～ＴＭ４のいずれかのタイミングで受光した反射光ＲＬに対応する電荷を蓄積させることが可能となる。この場合、蓄積タイミングＴＭ１～ＴＭ２、蓄積タイミングＴＭ２～ＴＭ３、および蓄積タイミングＴＭ３～ＴＭ４に跨って反射光ＲＬに対応する電荷が蓄積された場合における被写体ＯＢまでの距離を測定することができる。
【0052】
図５には、第２サブフレームの蓄積期間において、第２サイクルが繰り返される例が示されている。第２サイクルでは、蓄積タイミングＴＭ２～ＴＭ５で、電荷蓄積部ＣＳ２、ＣＳ３、ＣＳ４、ＣＳ１のそれぞれに順に電荷を蓄積させる例が示されている。これにより、蓄積タイミングＴＭ２～ＴＭ５のいずれかのタイミングで受光した反射光ＲＬに対応する電荷を蓄積させることが可能となる。この場合、蓄積タイミングＴＭ２～ＴＭ３、蓄積タイミングＴＭ３～ＴＭ４、および蓄積タイミングＴＭ４～ＴＭ５に跨って反射光ＲＬに対応する電荷が蓄積された場合における被写体ＯＢまでの距離を測定することができる。つまり、第１サブフレームの場合より遠くに存在する被写体ＯＢまでの処理を測定することが可能である。
【0053】
図６には、第３サブフレームの蓄積期間において、第３サイクルが繰り返される例が示されている。第２サイクルでは、蓄積タイミングＴＭ２、ＴＭ４～ＴＭ６で、電荷蓄積部ＣＳ２、ＣＳ４、ＣＳ１、ＣＳ３のそれぞれに順に電荷を蓄積させる例が示されている。これにより、蓄積タイミングＴＭ２、ＴＭ４～ＴＭ６のいずれかのタイミングで受光した反射光ＲＬに対応する電荷を蓄積させることが可能となる。この場合、蓄積タイミングＴＭ４～ＴＭ５、および蓄積タイミングＴＭ５～ＴＭ６に跨って反射光ＲＬに対応する電荷が蓄積された場合における被写体ＯＢまでの距離を測定することができる。つまり、第１サブフレームおよび第２サブフレームの場合より遠くに存在する被写体ＯＢまでの処理を測定することが可能である。
【0054】
このように、距離画像処理部４は、各サブフレームにおいて蓄積タイミングＴＭ１～ＴＭ６の何れかのタイミングで電荷蓄積部ＣＳの何れかに電荷を蓄積させる。これにより、遠い距離に存在する被写体ＯＢからの反射光ＲＬに対応する電荷を蓄積できるようにする。したがって測定可能な距離を拡大させることができる。
【0055】
また、距離画像処理部４は、１フレームにおいて、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させた合計の蓄積回数が同一となるように制御する。例えば、距離画像処理部４は、各サブフレームにおいて電荷蓄積部ＣＳ１～ＣＳ４のそれぞれに１回ずつ電荷を蓄積させ、１フレームにおける合計の蓄積回数が、電荷蓄積部ＣＳ１～ＣＳ４の全てにおいて同一となる３回となるように制御する。
【0056】
或いは、距離画像処理部４は、第１サブフレームにおいて電荷蓄積部ＣＳ１に２回、電荷蓄積部ＣＳ２～ＣＳ４のそれぞれに１回ずつ電荷を蓄積させ、第２サブフレームにおいて電荷蓄積部ＣＳ１に０回、電荷蓄積部ＣＳ２～ＣＳ４のそれぞれに１回ずつ電荷を蓄積させ、第３サブフレームにおいて電荷蓄積部ＣＳ１～ＣＳ４のそれぞれに１回ずつ電荷を蓄積させる。このようにして、距離画像処理部４は、１フレームにおける合計の蓄積回数は、電荷蓄積部ＣＳ１～ＣＳ４の全てにおいて３回となるように制御する。
【0057】
このように、１フレームにおいて、電荷蓄積部ＣＳのそれぞれの合計の蓄積回数が同一となるように制御することにより、距離画像処理部４は、各電荷蓄積部ＣＳに蓄積される背景光成分に相当する電荷量を同量となるようにする。これにより、反射光ＲＬに対応する電荷が蓄積された電荷蓄積部ＣＳを特定し易くすることが可能となる。
【0058】
また、距離画像処理部４は、各サブフレームにおいて、特定の電荷蓄積部ＣＳに電荷を蓄積させるタイミングの時間差分が蓄積時間（ここでは時間Ｔｏ）とならないように制御する。
【0059】
具体的に、第１サブフレームにおいて電荷蓄積部ＣＳ１に電荷を蓄積させる第１蓄積タイミングと、第２サブフレームにおいて電荷蓄積部ＣＳ１に電荷を蓄積させる第２蓄積タイミングとの時間差分が蓄積時間とならないように制御する。また、第１蓄積タイミングと、第３サブフレームにおいて電荷蓄積部ＣＳ１に電荷を蓄積させる第３蓄積タイミングとの時間差分が蓄積時間とならないように制御する。また、第２蓄積タイミングと第３蓄積タイミングとの時間差分が蓄積時間Ｔｏとは異なる時間となるように制御する。
【0060】
電荷蓄積部ＣＳ１でない他の電荷蓄積部ＣＳについても同様に、第１サブフレームにおいて電荷蓄積部ＣＳ２（又は、電荷蓄積部ＣＳ３、ＣＳ４）に電荷を蓄積させる第１蓄積タイミングと、第２サブフレームにおいて電荷蓄積部ＣＳ２（又は、電荷蓄積部ＣＳ３、ＣＳ４）に電荷を蓄積させる第２蓄積タイミングとの時間差分が、蓄積時間Ｔｏとは異なる時間となるように制御する。また、第１蓄積タイミングと、第３サブフレームにおいて電荷蓄積部ＣＳ２（又は、電荷蓄積部ＣＳ３、ＣＳ４）に電荷を蓄積させる第３蓄積タイミングとの時間差分が、蓄積時間Ｔｏとは異なる時間となるように制御する。また、第２蓄積タイミングと第３蓄積タイミングとの時間差分が、蓄積時間Ｔｏとは異なる時間となるように制御する。
【0061】
このような制御を行うことにより、距離画像処理部４は、特定のサブフレームにおいて特定の電荷蓄積部ＣＳに反射光ＲＬに対応する電荷の一部（前半部分）が蓄積された場合において、他のサブフレームにおいて同じ特定の電荷蓄積部ＣＳに反射光ＲＬに対応する電荷の残りの部分（後半部分）が蓄積されないようにすることができる。これにより、各サブフレームで閉じた測定、つまりそれぞれのサブフレームにおいて蓄積された電荷量のみを用いた距離の測定のみならず、複数のサブフレームのそれぞれにおいて蓄積された電荷量を組み合わせて距離を算出することが可能となる。
【0062】
例えば、図４に示すように、第１サブフレームにおいて蓄積タイミングＴＭ１にて電荷蓄積部ＣＳ１に電荷を蓄積させる場合、距離画像処理部４は、第２サブフレームおよび第３サブフレームでは、蓄積タイミングＴＭ２ではないタイミングにて電荷蓄積部ＣＳ１に電荷を蓄積させる。図５では、第２サブフレームにおいて蓄積タイミングＴＭ５にて電荷蓄積部ＣＳ１に電荷を蓄積させる例が示されている。図６では、第２サブフレームにおいて蓄積タイミングＴＭ５にて電荷蓄積部ＣＳ１に電荷を蓄積させる例が示されている。
【0063】
このように、第１サブフレームにおいて蓄積タイミングＴＭ１にて電荷蓄積部ＣＳ１に電荷を蓄積させる場合、他のサブフレームにおいて少なくとも蓄積タイミングＴＭ２ではないタイミングで電荷蓄積部ＣＳ１に電荷を蓄積させればよく、複数のサブフレームにおいて同じ蓄積タイミングで電荷蓄積部ＣＳ１に電荷を蓄積させてもよい。
【0064】
また、図４に示すように、第１サブフレームにおいて蓄積タイミングＴＭ２にて電荷蓄積部ＣＳ２に電荷を蓄積させる場合、距離画像処理部４は、第２サブフレームおよび第３サブフレームでは、蓄積タイミングＴＭ１およびＴＭ３ではないタイミングにて電荷蓄積部ＣＳ２に電荷を蓄積させる。図５では、第２サブフレームにおいて蓄積タイミングＴＭ２にて電荷蓄積部ＣＳ２に電荷を蓄積させる例が示されている。図６では、第２サブフレームにおいて蓄積タイミングＴＭ２にて電荷蓄積部ＣＳ２に電荷を蓄積させる例が示されている。
【0065】
このように、第１サブフレームにおいて蓄積タイミングＴＭ２にて電荷蓄積部ＣＳ２に電荷を蓄積させる場合、他のサブフレームにおいて少なくとも蓄積タイミングＴＭ１及びＴＭ３ではないタイミングで電荷蓄積部ＣＳ２に電荷を蓄積させればよい。例えば、全てのサブフレームにおいて同じ蓄積タイミングＴＭ２で電荷蓄積部ＣＳ２に電荷を蓄積させてもよい。
【0066】
また、図４に示すように、第１サブフレームにおいて蓄積タイミングＴＭ３にて電荷蓄積部ＣＳ３に電荷を蓄積させる場合、距離画像処理部４は、第２サブフレームおよび第３サブフレームでは、蓄積タイミングＴＭ２およびＴＭ４ではないタイミングにて電荷蓄積部ＣＳ３に電荷を蓄積させる。図５では、第２サブフレームにおいて蓄積タイミングＴＭ３にて電荷蓄積部ＣＳ３に電荷を蓄積させる例が示されている。図６では、第２サブフレームにおいて蓄積タイミングＴＭ６にて電荷蓄積部ＣＳ３に電荷を蓄積させる例が示されている。
【0067】
このように、第１サブフレームにおいて蓄積タイミングＴＭ３にて電荷蓄積部ＣＳ３に電荷を蓄積させる場合、他のサブフレームにおいて少なくとも蓄積タイミングＴＭ２及びＴＭ４ではないタイミングで電荷蓄積部ＣＳ３に電荷を蓄積させればよい。例えば、他のサブフレームのうち一方にて第１サブフレームと同じ蓄積タイミングＴＭ３で電荷蓄積部ＣＳ３に電荷を蓄積させ、他方にて第１サブフレームとは異なり、且つ蓄積タイミングＴＭ２及びＴＭ４ではない蓄積タイミングＴＭ６で電荷蓄積部ＣＳ３に電荷を蓄積させてもよい。
【0068】
また、図４に示すように、第１サブフレームにおいて蓄積タイミングＴＭ４にて電荷蓄積部ＣＳ４に電荷を蓄積させる場合、距離画像処理部４は、第２サブフレームおよび第３サブフレームでは、蓄積タイミングＴＭ３およびＴＭ５ではないタイミングにて電荷蓄積部ＣＳ４に電荷を蓄積させる。図５では、第２サブフレームにおいて蓄積タイミングＴＭ４にて電荷蓄積部ＣＳ４に電荷を蓄積させる例が示されている。図６では、第２サブフレームにおいて蓄積タイミングＴＭ４にて電荷蓄積部ＣＳ４に電荷を蓄積させる例が示されている。
【0069】
ここで、図７～図８を用いて距離画像処理部４が距離を算出する方法について説明する。図７は、第１実施形態の距離画像処理部４が行う処理を説明するための図である。図８は、第１実施形態の距離画像処理部４が行う処理の流れを示すフローチャートである。
【0070】
図７の縦方向には、「ゲート」、つまり電荷蓄積部ＣＳ１～ＣＳ４のそれぞれに対応する読み出しゲートトランジスタＧ１～Ｇ４の別が示されている。図７の横方向には、「タイミング」、つまり蓄積タイミングＴＭ１～ＴＭ６の別が示されている。図７には、１フレームにおいて、縦方向の「ゲート」毎に、横方向の蓄積タイミングにて電荷が蓄積された回数が示されている。
【0071】
具体的には、ゲートＧ１、つまり電荷蓄積部ＣＳ１において、蓄積タイミングＴＭ１にて「１回」、蓄積タイミングＴＭ５にて「２回」電荷が蓄積されたことが示されている。ゲートＧ２、つまり電荷蓄積部ＣＳ２において、蓄積タイミングＴＭ２にて「３回」電荷が蓄積されたことが示されている。ゲートＧ３、つまり電荷蓄積部ＣＳ３において、蓄積タイミングＴＭ３にて「２回」、蓄積タイミングＴＭ６にて「１回」電荷が蓄積されたことが示されている。ゲートＧ４、つまり電荷蓄積部ＣＳ４において、蓄積タイミングＴＭ４にて「３回」電荷が蓄積されたことが示されている。
【0072】
また、図７には、縦方向の「ゲート」毎に、１フレームにおいて電荷が蓄積された回数の合計回数が示されている。具体的には、ゲートＧ１～Ｇ４、つまり電荷蓄積部ＣＳ１～ＣＳ４の全てにおいて、合計回数が同じ「３回」であることが示されている。
【0073】
また、図７には、横方向の「タイミング」毎に、１フレームにおいて電荷が蓄積された合計時間（合計ゲート開時間）が示されている。
【0074】
具体的に、蓄積タイミングＴＭ１において電荷が蓄積された合計時間が時間Ｔｏ×１であることが示されている。蓄積タイミングＴＭ２において電荷が蓄積された合計時間が時間Ｔｏ×３であることが示されている。蓄積タイミングＴＭ３において電荷が蓄積された合計時間が時間Ｔｏ×２であることが示されている。蓄積タイミングＴＭ４において電荷が蓄積された合計時間が時間Ｔｏ×３であることが示されている。蓄積タイミングＴＭ５において電荷が蓄積された合計時間が時間Ｔｏ×２であることが示されている。蓄積タイミングＴＭ６において電荷が蓄積された合計時間が時間Ｔｏ×１であることが示されている。
【0075】
図８に示すように、まず、距離画像処理部４は、各サブフレームのタイミングにて画素３２１を駆動させる（ステップＳ１０）。距離画像処理部４は、各サブフレームの蓄積期間にて電荷蓄積部ＣＳのそれぞれに電荷を蓄積させ、読出期間にて電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に対応する蓄積信号ＳＩＧ１～ＳＩＧ４を読み出す。距離画像処理部４は、読出した蓄積信号ＳＩＧ１～ＳＩＧ４をバッファに記憶させる。
【0076】
次に、距離画像処理部４は、背景光成分に対応する信号値を算出する（ステップＳ１１）。例えば、距離画像処理部４は、（１）式を用いて、背景光成分に対応する信号値ＳＩＧＨを算出する。
【0077】
ＳＩＧＨ＝ＭＩＮ（ΣＳＩＧ１、ΣＳＩＧ２、ΣＳＩＧ３、ΣＳＩＧ４）／Ｎ …（１）
但し、
ＳＩＧＨは、背景光成分に対応する信号値。
ΣＳＩＧ１は、１フレームにおけるＳＩＧ１の合計値。ＳＩＧ１は、各サブフレームにおいて電荷蓄積部ＣＳ１に蓄積された電荷量に対応する信号値である。
ΣＳＩＧ２は、１フレームにおけるＳＩＧ２の合計値。ＳＩＧ２は、各サブフレームにおいて電荷蓄積部ＣＳ２に蓄積された電荷量に対応する信号値である。
ΣＳＩＧ３は、１フレームにおけるＳＩＧ３の合計値。ＳＩＧ３は、各サブフレームにおいて電荷蓄積部ＣＳ３に蓄積された電荷量に対応する信号値である。
ΣＳＩＧ４は、１フレームにおけるＳＩＧ４の合計値。ＳＩＧ４は、各サブフレームにおいて電荷蓄積部ＣＳ４に蓄積された電荷量に対応する信号値である。
Ｎは、１フレームに含まれるサブフレームの数である。
例えば、１フレームが、第１サブフレームから第３サブフレームまでの３つのサブフレームからなる場合、Ｎ＝３である。
但し、
ＳＩＧＨは、背景光成分に対応する信号値。
ΣＳＩＧ１は、１フレームにおけるＳＩＧ１の合計値。ＳＩＧ１は、各サブフレームにおいて電荷蓄積部ＣＳ１に蓄積された電荷量に対応する信号値である。
ΣＳＩＧ２は、１フレームにおけるＳＩＧ２の合計値。ＳＩＧ２は、各サブフレームにおいて電荷蓄積部ＣＳ２に蓄積された電荷量に対応する信号値である。
ΣＳＩＧ３は、１フレームにおけるＳＩＧ３の合計値。ＳＩＧ３は、各サブフレームにおいて電荷蓄積部ＣＳ３に蓄積された電荷量に対応する信号値である。
ΣＳＩＧ４は、１フレームにおけるＳＩＧ４の合計値。ＳＩＧ４は、各サブフレームにおいて電荷蓄積部ＣＳ４に蓄積された電荷量に対応する信号値である。
Ｎは、１フレームに含まれるサブフレームの数である。
例えば、１フレームが、第１サブフレームから第３サブフレームまでの３つのサブフレームからなる場合、Ｎ＝３である。
【0078】
次に、距離画像処理部４は、反射光ＲＬが受光されたタイミングを特定する（ステップＳ１２）。例えば、距離画像処理部４は、蓄積タイミングＴＭ１～ＴＭ６のそれぞれにおける蓄積信号から、（１）で算出した信号値（外光成分に対応する信号値）を算出した値が、閾値以上である２つの連続する蓄積タイミングＴＭを、反射光ＲＬを受光したタイミングとして特定する。
【0079】
図７に示すように蓄積タイミングＴＭ１において電荷が蓄積された合計時間が時間Ｔｏ×１であり、図４～図６に示すように第１サブフレームにおいて蓄積タイミングＴＭ１にて電荷蓄積部ＣＳ１に電荷が蓄積されたとする。この場合、距離画像処理部４は、第１サブフレームの蓄積信号ＳＩＧ１と、（１）式で算出した背景光成分に対応する信号値ＳＩＧＨをとの差分が閾値以上である場合、蓄積タイミングＴＭ１において反射光ＲＬを受光した可能性があると判定する。一方、距離画像処理部４は、差分が閾値未満である場合、蓄積タイミングＴＭ１において反射光ＲＬを受光した可能性はないと判定する。
【0080】
また、図７に示すように蓄積タイミングＴＭ２において電荷が蓄積された合計時間が時間Ｔｏ×３であり、図４～図６に示すように各サブフレームにおいて蓄積タイミングＴＭ２にて電荷蓄積部ＣＳ２に電荷が蓄積されたとする。この場合、距離画像処理部４は、何れかのサブフレームにおける蓄積信号ＳＩＧ２と、（１）式で算出した背景光成分に対応する信号値ＳＩＧＨをとの差分が閾値以上である場合、蓄積タイミングＴＭ２において反射光ＲＬを受光した可能性があると判定する。一方、距離画像処理部４は、差分が閾値未満である場合、蓄積タイミングＴＭ２において反射光ＲＬを受光した可能性はないと判定する。
【0081】
また、図７に示すように蓄積タイミングＴＭ３において電荷が蓄積された合計時間が時間Ｔｏ×２であり、図４～図６に示すように第１サブフレーム及び第２サブフレームにおいて蓄積タイミングＴＭ３にて電荷蓄積部ＣＳ３に電荷が蓄積されたとする。この場合、距離画像処理部４は、第１サブフレーム又は第２サブフレームの蓄積信号ＳＩＧ３と、（１）式で算出した背景光成分に対応する信号値ＳＩＧＨをとの差分が閾値以上である場合、蓄積タイミングＴＭ３において反射光ＲＬを受光した可能性があると判定する。一方、距離画像処理部４は、差分が閾値未満である場合、蓄積タイミングＴＭ３において反射光ＲＬを受光した可能性はないと判定する。
【0082】
また、図７に示すように蓄積タイミングＴＭ４において電荷が蓄積された合計時間が時間Ｔｏ×３であり、図４～図６に示すように各サブフレームにおいて蓄積タイミングＴＭ４にて電荷蓄積部ＣＳ４に電荷が蓄積されたとする。この場合、距離画像処理部４は、何れかのサブフレームにおける蓄積信号ＳＩＧ４と、（１）式で算出した背景光成分に対応する信号値ＳＩＧＨをとの差分が閾値以上である場合、蓄積タイミングＴＭ４において反射光ＲＬを受光した可能性があると判定する。一方、距離画像処理部４は、差分が閾値未満である場合、蓄積タイミングＴＭ４において反射光ＲＬを受光した可能性はないと判定する。
【0083】
また、図７に示すように蓄積タイミングＴＭ５において電荷が蓄積された合計時間が時間Ｔｏ×２であり、図４～図６に示すように第２サブフレームおよび第３サブフレームにおいて蓄積タイミングＴＭ５にて電荷蓄積部ＣＳ１に電荷が蓄積されたとする。この場合、距離画像処理部４は、第２サブフレーム又は第３サブフレームの蓄積信号ＳＩＧ１と、（１）式で算出した背景光成分に対応する信号値ＳＩＧＨをとの差分が閾値以上である場合、蓄積タイミングＴＭ５において反射光ＲＬを受光した可能性があると判定する。一方、距離画像処理部４は、差分が閾値未満である場合、蓄積タイミングＴＭ５において反射光ＲＬを受光した可能性はないと判定する。
【0084】
また、図７に示すように蓄積タイミングＴＭ６において電荷が蓄積された合計時間が時間Ｔｏ×１であり、図４～図６に示すように第３サブフレームにおいて蓄積タイミングＴＭ６にて電荷蓄積部ＣＳ３に電荷が蓄積されたとする。この場合、距離画像処理部４は、第３サブフレームの蓄積信号ＳＩＧ３と、（１）式で算出した背景光成分に対応する信号値ＳＩＧＨをとの差分が閾値以上である場合、蓄積タイミングＴＭ６において反射光ＲＬを受光した可能性があると判定する。一方、距離画像処理部４は、差分が閾値未満である場合、蓄積タイミングＴＭ６において反射光ＲＬを受光した可能性はないと判定する。
【0085】
このようにして、距離画像処理部４は、蓄積タイミングＴＭ１～ＴＭ６のそれぞれにおいて反射光ＲＬを受光した可能性があるか否かを判定する。距離画像処理部４は、反射光ＲＬを受光した可能性がある蓄積タイミングが２つ存在し、且つ、その２つが連続するタイミングである場合、その２つの蓄積タイミングを、反射光ＲＬを受光したタイミングとして特定する。
【0086】
距離画像処理部４は、反射光ＲＬを受光した２つの連続した蓄積タイミングが特定できた場合、反射光ＲＬが受光された２つの連続する蓄積タイミングＴＭにて蓄積された電荷量に対応する蓄積信号ＳＩＧＱ１およびＳＩＧＱ２を算出する。ここで、蓄積信号ＳＩＧＱ１は反射光ＲＬの前半部分が含まれる蓄積信号である。蓄積信号ＳＩＧＱ２は反射光ＲＬの後半部分が含まれる蓄積信号である。
【0087】
例えば、反射光ＲＬを受光した２つの連続した蓄積タイミングが蓄積タイミングＴＭ１及びＴＭ２である場合、第１サブフレームの蓄積信号ＳＩＧ１を、蓄積信号ＳＩＧＱ１とする。また、何れかのサブフレームにおける蓄積信号ＳＩＧ２を、蓄積信号ＳＩＧＱ２とする。
【0088】
例えば、反射光ＲＬを受光した２つの連続した蓄積タイミングが蓄積タイミングＴＭ２及びＴＭ３である場合、何れかのサブフレームにおける蓄積信号ＳＩＧ２を、蓄積信号ＳＩＧＱ１とする。また、第１サブフレーム又は第２サブフレームにおける蓄積信号ＳＩＧ３を、蓄積信号ＳＩＧＱ２とする。
【0089】
例えば、反射光ＲＬを受光した２つの連続した蓄積タイミングが蓄積タイミングＴＭ３及びＴＭ４である場合、第１サブフレーム又は第２サブフレームにおける蓄積信号ＳＩＧ３を、蓄積信号ＳＩＧＱ１とする。また、何れかのサブフレームにおける蓄積信号ＳＩＧ４を、蓄積信号ＳＩＧＱ２とする。
【0090】
例えば、反射光ＲＬを受光した２つの連続した蓄積タイミングが蓄積タイミングＴＭ４及びＴＭ５である場合、何れかのサブフレームにおける蓄積信号ＳＩＧ４を、蓄積信号ＳＩＧＱ１とする。また、第２サブフレーム又は第３サブフレームの蓄積信号ＳＩＧ１を、蓄積信号ＳＩＧＱ２とする。
【0091】
例えば、反射光ＲＬを受光した２つの連続した蓄積タイミングが蓄積タイミングＴＭ５及びＴＭ６である場合、第２サブフレーム又は第３サブフレームの蓄積信号ＳＩＧ１を、蓄積信号ＳＩＧＱ１とする。また、第３サブフレームの蓄積信号ＳＩＧ３を、蓄積信号ＳＩＧＱ２とする。
【0092】
次に、距離画像処理部４は、被写体ＯＢまでの距離を算出する（ステップＳ１３）。例えば、距離画像処理部４は、蓄積タイミングＴＭ１及びＴＭ２にて反射光ＲＬを受光した場合、（２）式を用いて、被写体ＯＢまでの距離ｄを算出する。
【0093】
ｄ＝ｃ０×（１／２×Ｔｄ）
Ｔｄ＝Ｔｏ×（ＳＩＧＱ２－ＳＩＧＨ）／（ＳＩＧＱ１＋ＳＩＧＱ２－２×ＳＩＧＨ）
…（２）
但し、
ｄは、被写体ＯＢまでの距離である。
ｃ０は光速である。
Ｔｄは、被写体ＯＢに光が到達するまでに要した時間である。
ＳＩＧＱ１は、反射光ＲＬの前半部分に対応する蓄積信号である。
ＳＩＧＱ２は、反射光ＲＬの後半部分に対応する蓄積信号である。
ＳＩＧＨは、背景光成分に対応する蓄積信号である。
Ｔｄ＝Ｔｏ×（ＳＩＧＱ２－ＳＩＧＨ）／（ＳＩＧＱ１＋ＳＩＧＱ２－２×ＳＩＧＨ）
…（２）
但し、
ｄは、被写体ＯＢまでの距離である。
ｃ０は光速である。
Ｔｄは、被写体ＯＢに光が到達するまでに要した時間である。
ＳＩＧＱ１は、反射光ＲＬの前半部分に対応する蓄積信号である。
ＳＩＧＱ２は、反射光ＲＬの後半部分に対応する蓄積信号である。
ＳＩＧＨは、背景光成分に対応する蓄積信号である。
【0094】
ここで、図９～図１２を用いて画素３２１を駆動するタイミングについて説明する。図９～図１１は、第１実施形態の画素３２１を駆動するタイミングを示すタイミングチャートである。図１２は、第１実施形態の距離画像処理部４が行う処理を説明するための図である。
【0095】
図９には第１サブフレーム、図１０には第２サブフレーム、図１１には第３サブフレームのそれぞれにおいて画素３２１を駆動するタイミングを示すタイミングチャートが示されている。図９～図１０の信号名および信号論理は図４～図６と同様である。
【0096】
図９には、第１サブフレームの蓄積期間において、第１サイクルが繰り返される例が示されている。第１サイクルでは、蓄積タイミングＴＭ１で電荷蓄積部ＣＳ１に、蓄積タイミングＴＭ２で電荷蓄積部ＣＳ２に、蓄積タイミングＴＭ５で電荷蓄積部ＣＳ３に、蓄積タイミングＴＭ６で電荷蓄積部ＣＳ４に、それぞれ電荷を蓄積させる例が示されている。
【0097】
図１０には、第２サブフレームの蓄積期間において、第２サイクルが繰り返される例が示されている。第２サイクルでは、蓄積タイミングＴＭ３で電荷蓄積部ＣＳ１に、蓄積タイミングＴＭ４で電荷蓄積部ＣＳ２に、蓄積タイミングＴＭ５で電荷蓄積部ＣＳ３に、蓄積タイミングＴＭ６で電荷蓄積部ＣＳ４に、それぞれ電荷を蓄積させる例が示されている。
【0098】
図１１には、第３サブフレームの蓄積期間において、第３サイクルが繰り返される例が示されている。第３サイクルでは、第２サイクルと同様に、蓄積タイミングＴＭ３で電荷蓄積部ＣＳ１に、蓄積タイミングＴＭ４で電荷蓄積部ＣＳ２に、蓄積タイミングＴＭ５で電荷蓄積部ＣＳ３に、蓄積タイミングＴＭ６で電荷蓄積部ＣＳ４に、それぞれ電荷を蓄積させる例が示されている。
【0099】
【0100】
図１２には、横方向の「タイミング」毎に、１フレームにおいて電荷が蓄積された合計時間（合計ゲート開時間）が示されている。
【0101】
具体的に、蓄積タイミングＴＭ１およびＴＭ２において電荷が蓄積された合計時間が時間Ｔｏ×１であることが示されている。蓄積タイミングＴＭ３及びＴＭ４において電荷が蓄積された合計時間が時間Ｔｏ×２であることが示されている。蓄積タイミングＴＭ５及びＴＭ６において電荷が蓄積された合計時間が時間Ｔｏ×３であることが示されている。
【0102】
このように、距離画像処理部４は、複数の前記蓄積タイミングＴＭ１～ＴＭ６のそれぞれにおいて、照射タイミングＬとの差分が小さい蓄積タイミングＴＭ１およびＴＭ２より、差分が大きい蓄積タイミングＴＭ３及びＴＭ４のほうが、１フレームにおいて電荷が蓄積された合計時間が大きくなるように制御する。また、照射タイミングＬとの差分が小さい蓄積タイミングＴＭ３およびＴＭ４より、差分が大きい蓄積タイミングＴＭ５及びＴＭ６のほうが、１フレームにおいて電荷が蓄積された合計時間が大きくなるように制御する。
【0103】
一般に、被写体ＯＢまで距離が小さいほど反射光ＲＬの強度が大きくなる。つまり、蓄積タイミングＴＭ１およびＴＭ２で受光する反射光ＲＬの強度は、他の蓄積タイミングＴＭ３～ＴＭ６よりも大きくなる。このため、すぐに、電荷蓄積部に蓄積される電荷量が飽和してしまう傾向にある。したがって、電荷蓄積部に蓄積される電荷量が飽和しないように、１フレームにおいて電荷を蓄積させる合計時間を決定する必要がある。
【0104】
これに対し、被写体ＯＢまで距離が大きいほど反射光ＲＬの強度が小さくなる。つまり、蓄積タイミングＴＭ５およびＴＭ６で受光する反射光ＲＬの強度は、他の蓄積タイミングＴＭ１～ＴＭ４よりも小さくなる。このため、蓄積タイミングＴＭ１およびＴＭ２にて飽和しないように決定した合計時間と同じ時間で、電荷蓄積部に電荷を蓄積させた場合、電荷量が不足してしまい、距離の演算精度が劣化してしまう可能性が高い。
【0105】
この対策として、距離画像処理部４は、照射タイミングＬとの差分が小さい蓄積タイミング（例えば、蓄積タイミングＴＭ１及びＴＭ２）より、差分が大きい蓄積タイミング（例えば、蓄積タイミングＴＭ５およびＴＭ６）のほうが、１フレームにおいて電荷が蓄積された合計時間が大きくなるように制御する。これにより、近い距離に存在する被写体ＯＢからの反射光ＲＬを受光した場合に飽和させないようにし、且つ、遠い距離に存在する被写体ＯＢからの反射光ＲＬを受光した場合において距離を精度よく測定できる程度の電荷を蓄積できるようにすることができる。
【0106】
以上説明したように、第１実施形態の距離画像撮像装置１は、光源部２と受光部３と距離画像処理部４を備える。距離画像処理部４は、１フレームにおいて、互いに異なるパターンで電荷を蓄積させる蓄積サイクルが設けられる。ここで、各サブフレームにおいて繰り返されるサイクル、具体的に、「第１サイクル」、「第２サイクル」、および「第３サイクル」のそれぞれは、「蓄積サイクル」の一例である。距離画像処理部４は、複数のサブフレームにおいて、電荷蓄積部ＣＳの数（４）より多い複数の蓄積タイミングＴＭ１～ＴＭ６の何れかのタイミングにて、電荷蓄積部ＣＳのそれぞれに電荷が蓄積されるように制御する。距離画像処理部４は、１フレームにおいて、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させる回数の合計である合計回数が同一となるように制御する。距離画像処理部４は、第１蓄積タイミングと第２蓄積タイミングとの時間差分が、蓄積時間Ｔｏとは異なる時間となるように制御する。第１蓄積タイミングは、特定のサブフレーム（例えば、第１サブフレーム）において特定の電荷蓄積部（例えば、電荷蓄積部ＣＳ１）に電荷を蓄積させる蓄積タイミングＴＭである。第２蓄積タイミングは、特定のサブフレームとは異なる他のサブフレーム（例えば、第２サブフレームまたは第３サブフレーム）において特定の電荷蓄積部（例えば、電荷蓄積部ＣＳ１）に電荷を蓄積させる蓄積タイミングＴＭである。
【0107】
これにより、第１実施形態の距離画像撮像装置１では、電荷蓄積部ＣＳの数（４）より多い複数の蓄積タイミングＴＭ１～ＴＭ６の何れかのタイミングにて、電荷蓄積部ＣＳのそれぞれに電荷が蓄積されるように制御することができ、測定可能な距離を拡大させることができる。また、１フレームにおいて、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させる回数の合計である合計回数が同一となるように制御することができ、反射光ＲＬに対応する電荷が蓄積された電荷蓄積部ＣＳを特定し易くすることが可能となる。さらに、第１蓄積タイミングと第２蓄積タイミングとの時間差分が、蓄積時間Ｔｏとは異なる時間となるように制御することができ、各サブフレームで閉じた測定のみならず、複数のサブフレームのそれぞれにおいて蓄積された電荷量を組み合わせて距離を算出することが可能となる。したがって、測定可能な範囲に対応するタイミング（蓄積タイミングＴＭ１～ＴＭ６）において電荷蓄積部に電荷を蓄積させ、測定可能な範囲とは異なるタイミングにおいて電荷蓄積部に背景光成分の電荷を蓄積させる必要がない。つまり、測定に要する時間を増大させることなく、測定可能な範囲を伸ばすことができる。
【0108】
また、第１実施形態の距離画像撮像装置１では、距離画像処理部４は、照射タイミングＬとの差分が小さい蓄積タイミング（例えば、蓄積タイミングＴＭ１及びＴＭ２）より、差分が大きい蓄積タイミング（例えば、蓄積タイミングＴＭ５およびＴＭ６）のほうが、１フレームにおいて電荷が蓄積された合計時間が大きくなるように制御する。これにより、近い距離に存在する被写体ＯＢからの反射光ＲＬを受光した場合に飽和させないようにし、且つ、遠い距離に存在する被写体ＯＢからの反射光ＲＬを受光した場合において距離を精度よく測定できる程度の電荷を蓄積できるようにすることができる。
【0109】
（第１実施形態の変形例）
上述した第１実施形態では、１フレームに複数のサブフレームが設けられ、各サブフレームにおいて蓄積期間と読出期間が設けられる場合を例示して説明した。しかしながら、これに限定されない。各サブフレームにおいて蓄積期間のみが設けられ、１フレーム最後に１つの読出期間が設けられるフレーム構成であってもよい。この場合、各サブフレームにおいて蓄積された電荷の合計値に相当する信号値が読み出される。上述した第１実施形態のようにサブフレーム毎に読出期間を設ける場合と比較して、読出期間を減らすことができ、効率よく測定を行うことが可能となる。
上述した第１実施形態では、１フレームに複数のサブフレームが設けられ、各サブフレームにおいて蓄積期間と読出期間が設けられる場合を例示して説明した。しかしながら、これに限定されない。各サブフレームにおいて蓄積期間のみが設けられ、１フレーム最後に１つの読出期間が設けられるフレーム構成であってもよい。この場合、各サブフレームにおいて蓄積された電荷の合計値に相当する信号値が読み出される。上述した第１実施形態のようにサブフレーム毎に読出期間を設ける場合と比較して、読出期間を減らすことができ、効率よく測定を行うことが可能となる。
【0110】
また、少なくとも、１フレームにおいて蓄積サイクルが異なる駆動が行われればよく、必ずしもサブフレームが設けられなくともよい。本変形例では、１フレームにサブフレームを設けず、蓄電サイクルの異なる駆動を行う場合の例について説明する。
【0111】
図１３～図１７は、第１実施形態の変形例に係る画素３２１を駆動するタイミングを示すタイミングチャートである。図１３～図１７には、同じタイミングチャートが示されており、同じタイミングチャートに対して反射光ＲＬが異なるタイミングで受光された例が示されている。
【0112】
具体的には、１フレームに、蓄電サイクルが異なる駆動を順に行うセット（第１セット、第２セット、…、第Ｍセット、Ｍは任意の自然数）が設けられる例が示されている。ここでのセットでは、「第１サイクル」、「第２サイクル」、および「第３サイクル」のそれぞれにしたがった駆動が行われる。ここでの「第１サイクル」は図４の第１サイクルと、「第２サイクル」は図５の第２サイクルと、「第３サイクル」は図６の第３サイクルと、同様である。
【0113】
【0114】
図１３には、蓄積タイミングＴＭ１～ＴＭ２に跨って反射光ＲＬに対応する電荷が蓄積された例が示されている。
【0115】
この場合、第１サイクルにおいて、ゲートＧ１、つまり電荷蓄積部ＣＳ１に、反射光ＲＬの前半部分に対応する電荷が蓄積される。また、第１サイクルにおいて、ゲートＧ２、つまり電荷蓄積部ＣＳ２に、反射光ＲＬの後半部分に対応する電荷が蓄積される。また、第２サイクルにおいて、ゲートＧ２、つまり電荷蓄積部ＣＳ２に反射光ＲＬの後半部分に対応する電荷が蓄積される。また、第３サイクルにおいて、ゲートＧ２、つまり電荷蓄積部ＣＳ２に反射光ＲＬの後半部分に対応する電荷が蓄積される。
【0116】
また、各サイクル（第１サイクル、第２サイクルおよび第３サイクル）において、電荷蓄積部ＣＳ１～ＣＳ４のそれぞれに、各サイクルあたり１回ずつ、背景光成分に対応する電荷が蓄積される。
【0117】
すなわち、距離画像処理部４が、１フレームにおける蓄積期間の駆動を行うと、電荷蓄積部ＣＳ１には、１回分の反射光ＲＬの前半部分、および３回分の背景光成分のそれぞれの光量の総和に対応する電荷が蓄積される。距離画像処理部４は、蓄積期間が終了した後、読出期間において蓄積信号ＳＩＧ１を読み出す。蓄積信号ＳＩＧ１は、１回分の反射光ＲＬの前半部分、および３回分の背景光成分の光量に対応する信号値となる。
【0118】
また、距離画像処理部４が、１フレームにおける蓄積期間の駆動を行うと、電荷蓄積部ＣＳ２には、３回分の反射光ＲＬの後半部分、および３回分の背景光成分のそれぞれの光量の総和に対応する電荷が蓄積される。距離画像処理部４は、蓄積期間が終了した後、読出期間において蓄積信号ＳＩＧ２を読み出す。蓄積信号ＳＩＧ２は、３回分の反射光ＲＬの後半部分、および３回分の背景光成分の光量の総和に対応する信号値となる。
【0119】
また、距離画像処理部４が、１フレームにおける蓄積期間の駆動を行うと、電荷蓄積部ＣＳ３には、３回分の背景光成分の光量に対応する電荷が蓄積される。距離画像処理部４は、蓄積期間が終了した後、読出期間において蓄積信号ＳＩＧ３を読み出す。蓄積信号ＳＩＧ３は、３回分の背景光成分の光量の総和に対応する信号値となる。
【0120】
また、距離画像処理部４が、１フレームにおける蓄積期間の駆動を行うと、電荷蓄積部ＣＳ４には、３回分の背景光成分の光量に対応する電荷が蓄積される。距離画像処理部４は、蓄積期間が終了した後、読出期間において蓄積信号ＳＩＧ４を読み出す。蓄積信号ＳＩＧ４は、３回分の背景光成分の光量の総和に対応する信号値となる。
【0121】
距離画像処理部４は、例えば、蓄積信号ＳＩＧ１～ＳＩＧ４のうち、最小の信号値を背景光成分に対応する信号値とする。例えば、距離画像処理部４は、（３）式を用いて、背景光成分に対応する信号値ＳＩＧＨを算出する。
【0122】
ＳＩＧＨ＝ＭＩＮ（ＳＩＧ１、ＳＩＧ２、ＳＩＧ３、ＳＩＧ４） …（３）
但し、
ＳＩＧＨは、背景光成分に対応する信号値である。
ＳＩＧ１は、電荷蓄積部ＣＳ１に蓄積された電荷量に対応する蓄積信号である。
ＳＩＧ２は、電荷蓄積部ＣＳ２に蓄積された電荷量に対応する蓄積信号である。
ＳＩＧ３は、電荷蓄積部ＣＳ３に蓄積された電荷量に対応する蓄積信号である。
ＳＩＧ４は、電荷蓄積部ＣＳ４に蓄積された電荷量に対応する蓄積信号である。
但し、
ＳＩＧＨは、背景光成分に対応する信号値である。
ＳＩＧ１は、電荷蓄積部ＣＳ１に蓄積された電荷量に対応する蓄積信号である。
ＳＩＧ２は、電荷蓄積部ＣＳ２に蓄積された電荷量に対応する蓄積信号である。
ＳＩＧ３は、電荷蓄積部ＣＳ３に蓄積された電荷量に対応する蓄積信号である。
ＳＩＧ４は、電荷蓄積部ＣＳ４に蓄積された電荷量に対応する蓄積信号である。
【0123】
ここで、本変形例では、各セットにおいて電荷蓄積部ＣＳのそれぞれに電荷を蓄積させる回数を同じ回数（３回）としている。これにより、電荷蓄積部ＣＳのそれぞれに蓄積される背景光成分の電荷量を揃えることができる。したがって、（３）式に示すように、最小値を求めるという容易な処理にて、背景光成分に対応する信号値ＳＩＧＨを算出することが可能となる。
【0124】
距離画像処理部４は、蓄積信号ＳＩＧ１から、信号値ＳＩＧＨを減算することにより、１回分の反射光ＲＬの前半部分に相当する蓄積信号ＳＩＧＲ１を算出する。また、距離画像処理部４は、蓄積信号ＳＩＧ２から信号値ＳＩＧＨを減算することにより、３回分の反射光ＲＬの後半部分に相当する蓄積信号ＳＩＧＲ２を算出する。
【0125】
距離画像処理部４は、蓄積信号ＳＩＧＲ１およびＳＩＧＲ２を補正し、同じ回数分の反射光ＲＬに対応する、補正後の蓄積信号ＳＩＧＲ１＃およびＳＩＧＲ２＃を算出する。例えば、距離画像処理部４は、（４）式を用いて、補正後の蓄積信号ＳＩＧＲ１＃およびＳＩＧＲ２＃を算出する。
【0126】
ＳＩＧＲ１＃＝ＳＩＧＲ１×３
ＳＩＧＲ２＃＝ＳＩＧＲ２×１
…（４）
但し、
ＳＩＧＲ１＃は、補正後の、反射光ＲＬの前半部分に相当する蓄積信号である。
ＳＩＧＲ２＃は、補正後の、反射光ＲＬの後半部分に相当する蓄積信号である。
ＳＩＧＲ２＃＝ＳＩＧＲ２×１
…（４）
但し、
ＳＩＧＲ１＃は、補正後の、反射光ＲＬの前半部分に相当する蓄積信号である。
ＳＩＧＲ２＃は、補正後の、反射光ＲＬの後半部分に相当する蓄積信号である。
【0127】
距離画像処理部４は、蓄積信号ＳＩＧＲ１＃、ＳＩＧＲ２＃、及びＳＩＧＨを、例えば（５）式に代入することにより、被写体ＯＢまでの距離ｄを算出する。
【0128】
ｄ＝ｃ０×（１／２×Ｔｄ）
Ｔｄ＝Ｔｏ×（ＳＩＧＲ２＃）／（ＳＩＧＲ１＃＋ＳＩＧＲ２＃） …（５）
但し、
ｄは、被写体ＯＢまでの距離である。
ｃ０は光速である。
Ｔｄは、被写体ＯＢに光が到達するまでに要した時間である。
ＳＩＧＲ１＃は、補正後の、反射光ＲＬの前半部分に対応する蓄積信号である。
ＳＩＧＲ２＃は、補正後の、反射光ＲＬの後半部分に対応する蓄積信号である。
Ｔｄ＝Ｔｏ×（ＳＩＧＲ２＃）／（ＳＩＧＲ１＃＋ＳＩＧＲ２＃） …（５）
但し、
ｄは、被写体ＯＢまでの距離である。
ｃ０は光速である。
Ｔｄは、被写体ＯＢに光が到達するまでに要した時間である。
ＳＩＧＲ１＃は、補正後の、反射光ＲＬの前半部分に対応する蓄積信号である。
ＳＩＧＲ２＃は、補正後の、反射光ＲＬの後半部分に対応する蓄積信号である。
【0129】
図１４には、蓄積タイミングＴＭ２～ＴＭ３に跨って反射光ＲＬに対応する電荷が蓄積された例が示されている。この場合、蓄積信号ＳＩＧ１は、３回分の背景光成分の光量に対応する信号値となる。蓄積信号ＳＩＧ２は、３回分の反射光ＲＬの前半部分、および３回分の背景光成分の光量に対応する信号値となる。蓄積信号ＳＩＧ３は、２回分の反射光ＲＬの後半部分、および３回分の背景光成分の光量に対応する信号値となる。蓄積信号ＳＩＧ４は、３回分の背景光成分の光量に対応する信号値となる。
【0130】
距離画像処理部４は、（３）式を用いて、背景光成分に対応する信号値ＳＩＧＨを算出する。
【0131】
距離画像処理部４は、蓄積信号ＳＩＧ２から、信号値ＳＩＧＨを減算することにより、３回分の反射光ＲＬの前半部分に相当する蓄積信号ＳＩＧＲ２を算出する。また、距離画像処理部４は、蓄積信号ＳＩＧ３から信号値ＳＩＧＨを減算することにより、２回分の反射光ＲＬの後半部分に相当する蓄積信号ＳＩＧＲ３を算出する。
【0132】
距離画像処理部４は、蓄積信号ＳＩＧＲ２およびＳＩＧＲ３を補正する。例えば、距離画像処理部４は、（６）式を用いて、補正後の蓄積信号ＳＩＧＲ２＃およびＳＩＧＲ３＃を算出する。
【0133】
ＳＩＧＲ２＃＝ＳＩＧＲ２×１
ＳＩＧＲ３＃＝ＳＩＧＲ３×３／２
…（６）
但し、
ＳＩＧＲ２＃は、補正後の、反射光ＲＬの前半部分に相当する蓄積信号である。
ＳＩＧＲ３＃は、補正後の、反射光ＲＬの後半部分に相当する蓄積信号である。
ＳＩＧＲ２は、反射光ＲＬの前半部分に相当する蓄積信号である。
ＳＩＧＲ３は、反射光ＲＬの後半部分に相当する蓄積信号である。
ＳＩＧＲ３＃＝ＳＩＧＲ３×３／２
…（６）
但し、
ＳＩＧＲ２＃は、補正後の、反射光ＲＬの前半部分に相当する蓄積信号である。
ＳＩＧＲ３＃は、補正後の、反射光ＲＬの後半部分に相当する蓄積信号である。
ＳＩＧＲ２は、反射光ＲＬの前半部分に相当する蓄積信号である。
ＳＩＧＲ３は、反射光ＲＬの後半部分に相当する蓄積信号である。
【0134】
距離画像処理部４は、蓄積信号ＳＩＧＲ２＃、ＳＩＧＲ３＃、及びＳＩＧＨを、例えば（７）式に代入することにより、被写体ＯＢまでの距離ｄを算出する。
【0135】
ｄ＝ｃ０×（１／２×Ｔｄ）
Ｔｄ＝Ｔｏ×（ＳＩＧＲ３＃）／（ＳＩＧＲ２＃＋ＳＩＧＲ３＃） …（７）
但し、
ｄは、被写体ＯＢまでの距離である。
ｃ０は光速である。
Ｔｄは、被写体ＯＢに光が到達するまでに要した時間である。
ＳＩＧＲ２＃は、補正後の、反射光ＲＬの前半部分に対応する蓄積信号である。
ＳＩＧＲ３＃は、補正後の、反射光ＲＬの後半部分に対応する蓄積信号である。
Ｔｄ＝Ｔｏ×（ＳＩＧＲ３＃）／（ＳＩＧＲ２＃＋ＳＩＧＲ３＃） …（７）
但し、
ｄは、被写体ＯＢまでの距離である。
ｃ０は光速である。
Ｔｄは、被写体ＯＢに光が到達するまでに要した時間である。
ＳＩＧＲ２＃は、補正後の、反射光ＲＬの前半部分に対応する蓄積信号である。
ＳＩＧＲ３＃は、補正後の、反射光ＲＬの後半部分に対応する蓄積信号である。
【0136】
図１５には、蓄積タイミングＴＭ３～ＴＭ４に跨って反射光ＲＬに対応する電荷が蓄積された例が示されている。この場合、蓄積信号ＳＩＧ１は、３回分の背景光成分の光量に対応する信号値となる。蓄積信号ＳＩＧ２は、３回分の背景光成分の光量に対応する信号値となる。蓄積信号ＳＩＧ３は、２回分の反射光ＲＬの前半部分、および３回分の背景光成分の光量に対応する信号値となる。蓄積信号ＳＩＧ４は、３回分の反射光ＲＬの後半部分、および３回分の背景光成分の光量に対応する信号値となる。
【0137】
距離画像処理部４は、（３）式を用いて、背景光成分に対応する信号値ＳＩＧＨを算出する。
【0138】
距離画像処理部４は、蓄積信号ＳＩＧ３から、信号値ＳＩＧＨを減算することにより、２回分の反射光ＲＬの前半部分に相当する蓄積信号ＳＩＧＲ３を算出する。また、距離画像処理部４は、蓄積信号ＳＩＧ４から信号値ＳＩＧＨを減算することにより、３回分の反射光ＲＬの後半部分に相当する蓄積信号ＳＩＧＲ４を算出する。
【0139】
距離画像処理部４は、蓄積信号ＳＩＧＲ３およびＳＩＧＲ４を補正する。例えば、距離画像処理部４は、（８）式を用いて、補正後の蓄積信号ＳＩＧＲ３＃およびＳＩＧＲ４＃を算出する。
【0140】
ＳＩＧＲ３＃＝ＳＩＧＲ３×３／２
ＳＩＧＲ４＃＝ＳＩＧＲ４×１
…（８）
但し、
ＳＩＧＲ３＃は、補正後の、反射光ＲＬの前半部分に相当する蓄積信号である。
ＳＩＧＲ４＃は、補正後の、反射光ＲＬの後半部分に相当する蓄積信号である。
ＳＩＧＲ３は、反射光ＲＬの前半部分に相当する蓄積信号である。
ＳＩＧＲ４は、反射光ＲＬの後半部分に相当する蓄積信号である。
ＳＩＧＲ４＃＝ＳＩＧＲ４×１
…（８）
但し、
ＳＩＧＲ３＃は、補正後の、反射光ＲＬの前半部分に相当する蓄積信号である。
ＳＩＧＲ４＃は、補正後の、反射光ＲＬの後半部分に相当する蓄積信号である。
ＳＩＧＲ３は、反射光ＲＬの前半部分に相当する蓄積信号である。
ＳＩＧＲ４は、反射光ＲＬの後半部分に相当する蓄積信号である。
【0141】
距離画像処理部４は、蓄積信号ＳＩＧＲ３＃、ＳＩＧＲ４＃、及びＳＩＧＨを、例えば（９）式に代入することにより、被写体ＯＢまでの距離ｄを算出する。
【0142】
ｄ＝ｃ０×（１／２×Ｔｄ）
Ｔｄ＝Ｔｏ×（ＳＩＧＲ４＃）／（ＳＩＧＲ３＃＋ＳＩＧＲ４＃） …（９）
但し、
ｄは、被写体ＯＢまでの距離である。
ｃ０は光速である。
Ｔｄは、被写体ＯＢに光が到達するまでに要した時間である。
ＳＩＧＲ３＃は、補正後の、反射光ＲＬの前半部分に対応する蓄積信号である。
ＳＩＧＲ４＃は、補正後の、反射光ＲＬの後半部分に対応する蓄積信号である。
Ｔｄ＝Ｔｏ×（ＳＩＧＲ４＃）／（ＳＩＧＲ３＃＋ＳＩＧＲ４＃） …（９）
但し、
ｄは、被写体ＯＢまでの距離である。
ｃ０は光速である。
Ｔｄは、被写体ＯＢに光が到達するまでに要した時間である。
ＳＩＧＲ３＃は、補正後の、反射光ＲＬの前半部分に対応する蓄積信号である。
ＳＩＧＲ４＃は、補正後の、反射光ＲＬの後半部分に対応する蓄積信号である。
【0143】
図１６には、蓄積タイミングＴＭ４～ＴＭ５に跨って反射光ＲＬに対応する電荷が蓄積された例が示されている。この場合、蓄積信号ＳＩＧ１は、２回分の反射光ＲＬの後半部分、および３回分の背景光成分の光量に対応する信号値となる。蓄積信号ＳＩＧ２は、３回分の背景光成分の光量に対応する信号値となる。蓄積信号ＳＩＧ３は、３回分の背景光成分の光量に対応する信号値となる。蓄積信号ＳＩＧ４は、３回分の反射光ＲＬの前半部分、および３回分の背景光成分の光量に対応する信号値となる。
【0144】
距離画像処理部４は、（３）式を用いて、背景光成分に対応する信号値ＳＩＧＨを算出する。
【0145】
距離画像処理部４は、蓄積信号ＳＩＧ４から、信号値ＳＩＧＨを減算することにより、３回分の反射光ＲＬの前半部分に相当する蓄積信号ＳＩＧＲ４を算出する。また、距離画像処理部４は、蓄積信号ＳＩＧ１から信号値ＳＩＧＨを減算することにより、２回分の反射光ＲＬの後半部分に相当する蓄積信号ＳＩＧＲ１を算出する。
【0146】
距離画像処理部４は、蓄積信号ＳＩＧＲ４およびＳＩＧＲ１を補正する。例えば、距離画像処理部４は、（１０）式を用いて、補正後の蓄積信号ＳＩＧＲ４＃およびＳＩＧＲ１＃を算出する。
【0147】
ＳＩＧＲ４＃＝ＳＩＧＲ４×１
ＳＩＧＲ１＃＝ＳＩＧＲ１×３／２
…（１０）
但し、
ＳＩＧＲ４＃は、補正後の、反射光ＲＬの前半部分に相当する蓄積信号である。
ＳＩＧＲ１＃は、補正後の、反射光ＲＬの後半部分に相当する蓄積信号である。
ＳＩＧＲ４は、反射光ＲＬの前半部分に相当する蓄積信号である。
ＳＩＧＲ１は、反射光ＲＬの後半部分に相当する蓄積信号である。
ＳＩＧＲ１＃＝ＳＩＧＲ１×３／２
…（１０）
但し、
ＳＩＧＲ４＃は、補正後の、反射光ＲＬの前半部分に相当する蓄積信号である。
ＳＩＧＲ１＃は、補正後の、反射光ＲＬの後半部分に相当する蓄積信号である。
ＳＩＧＲ４は、反射光ＲＬの前半部分に相当する蓄積信号である。
ＳＩＧＲ１は、反射光ＲＬの後半部分に相当する蓄積信号である。
【0148】
距離画像処理部４は、蓄積信号ＳＩＧＲ４＃、ＳＩＧＲ１＃、及びＳＩＧＨを、例えば（１１）式に代入することにより、被写体ＯＢまでの距離ｄを算出する。
【0149】
ｄ＝ｃ０×（１／２×Ｔｄ）
Ｔｄ＝Ｔｏ×（ＳＩＧＲ１＃）／（ＳＩＧＲ４＃＋ＳＩＧＲ１＃） …（１１）
但し、
ｄは、被写体ＯＢまでの距離である。
ｃ０は光速である。
Ｔｄは、被写体ＯＢに光が到達するまでに要した時間である。
ＳＩＧＲ４＃は、補正後の、反射光ＲＬの前半部分に対応する蓄積信号である。
ＳＩＧＲ１＃は、補正後の、反射光ＲＬの後半部分に対応する蓄積信号である。
ＳＩＧＨは、背景光成分に対応する蓄積信号である。
Ｔｄ＝Ｔｏ×（ＳＩＧＲ１＃）／（ＳＩＧＲ４＃＋ＳＩＧＲ１＃） …（１１）
但し、
ｄは、被写体ＯＢまでの距離である。
ｃ０は光速である。
Ｔｄは、被写体ＯＢに光が到達するまでに要した時間である。
ＳＩＧＲ４＃は、補正後の、反射光ＲＬの前半部分に対応する蓄積信号である。
ＳＩＧＲ１＃は、補正後の、反射光ＲＬの後半部分に対応する蓄積信号である。
ＳＩＧＨは、背景光成分に対応する蓄積信号である。
【0150】
図１７には、蓄積タイミングＴＭ５～ＴＭ６に跨って反射光ＲＬに対応する電荷が蓄積された例が示されている。この場合、蓄積信号ＳＩＧ１は、２回分の反射光ＲＬの前半部分、および３回分の背景光成分の光量に対応する信号値となる。蓄積信号ＳＩＧ２は、３回分の背景光成分の光量に対応する信号値となる。蓄積信号ＳＩＧ３は、１回分の反射光ＲＬの後半部分、および３回分の背景光成分の光量に対応する信号値となる。蓄積信号ＳＩＧ４は、３回分の背景光成分の光量に対応する信号値となる。
【0151】
距離画像処理部４は、（３）式を用いて、背景光成分に対応する信号値ＳＩＧＨを算出する。
【0152】
距離画像処理部４は、蓄積信号ＳＩＧ１から、信号値ＳＩＧＨを減算することにより、２回分の反射光ＲＬの前半部分に相当する蓄積信号ＳＩＧＲ１を算出する。また、距離画像処理部４は、蓄積信号ＳＩＧ３から信号値ＳＩＧＨを減算することにより、１回分の反射光ＲＬの後半部分に相当する蓄積信号ＳＩＧＲ３を算出する。
【0153】
距離画像処理部４は、蓄積信号ＳＩＧＲ１およびＳＩＧＲ３を補正する。例えば、距離画像処理部４は、（１２）式を用いて、補正後の蓄積信号ＳＩＧＲ１＃およびＳＩＧＲ３＃を算出する。
【0154】
ＳＩＧＲ１＃＝ＳＩＧＲ１×３／２
ＳＩＧＲ３＃＝ＳＩＧＲ３×３
…（１２）
但し、
ＳＩＧＲ１＃は、補正後の、反射光ＲＬの前半部分に相当する蓄積信号である。
ＳＩＧＲ３＃は、補正後の、反射光ＲＬの後半部分に相当する蓄積信号である。
ＳＩＧＲ１は、反射光ＲＬの前半部分に相当する蓄積信号である。
ＳＩＧＲ３は、反射光ＲＬの後半部分に相当する蓄積信号である。
ＳＩＧＲ３＃＝ＳＩＧＲ３×３
…（１２）
但し、
ＳＩＧＲ１＃は、補正後の、反射光ＲＬの前半部分に相当する蓄積信号である。
ＳＩＧＲ３＃は、補正後の、反射光ＲＬの後半部分に相当する蓄積信号である。
ＳＩＧＲ１は、反射光ＲＬの前半部分に相当する蓄積信号である。
ＳＩＧＲ３は、反射光ＲＬの後半部分に相当する蓄積信号である。
【0155】
距離画像処理部４は、蓄積信号ＳＩＧＲ１＃、ＳＩＧＲ３＃、及びＳＩＧＨを、例えば（１３）式に代入することにより、被写体ＯＢまでの距離ｄを算出する。
【0156】
ｄ＝ｃ０×（１／２×Ｔｄ）
Ｔｄ＝Ｔｏ×（ＳＩＧＲ３＃）／（ＳＩＧＲ１＃＋ＳＩＧＲ３＃） …（１３）
但し、
ｄは、被写体ＯＢまでの距離である。
ｃ０は光速である。
Ｔｄは、被写体ＯＢに光が到達するまでに要した時間である。
ＳＩＧＲ１＃は、補正後の、反射光ＲＬの前半部分に対応する蓄積信号である。
ＳＩＧＲ３＃は、補正後の、反射光ＲＬの後半部分に対応する蓄積信号である。
Ｔｄ＝Ｔｏ×（ＳＩＧＲ３＃）／（ＳＩＧＲ１＃＋ＳＩＧＲ３＃） …（１３）
但し、
ｄは、被写体ＯＢまでの距離である。
ｃ０は光速である。
Ｔｄは、被写体ＯＢに光が到達するまでに要した時間である。
ＳＩＧＲ１＃は、補正後の、反射光ＲＬの前半部分に対応する蓄積信号である。
ＳＩＧＲ３＃は、補正後の、反射光ＲＬの後半部分に対応する蓄積信号である。
【0157】
なお、（４）式、（６）式、（８）式、（１０）式、および（１２）式で示した補正係数は一例であり、これに限定されない。補正により、少なくとも、反射光ＲＬの前半および後半部分に対応する蓄積信号のそれぞれが、同じ回数に相当する蓄積信号に補正できればよい。例えば、（３）式において、ＳＩＧＲ１に「１」を乗算し、ＳＩＧＲ２に「１／３」を乗算するようにしてもよい。
【0158】
以上説明したように、第１実施形態の変形例に係る距離画像撮像装置１は、距離画像処理部４は、１フレームにおいて、互いに異なるパターンで電荷を蓄積させる蓄積サイクルが設けられる。ここで、各サブフレームにおいて繰り返されるサイクル、具体的に、「第１サイクル」、「第２サイクル」、および「第３サイクル」のそれぞれは、「蓄積サイクル」の一例である。距離画像処理部４は、１フレームにおいて、電荷蓄積部ＣＳの数（４）より多い複数の蓄積タイミングＴＭ１～ＴＭ６の何れかのタイミングにて、電荷蓄積部ＣＳのそれぞれに電荷が蓄積されるように、蓄積サイクルを制御する。距離画像処理部４は、１フレームにおいて、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させる回数の合計である合計回数が同一となるように制御する。距離画像処理部４は、第１蓄積タイミングと第２蓄積タイミングとの時間差分が、蓄積時間Ｔｏとは異なる時間となるように制御する。第１蓄積タイミングは、特定のサイクル（例えば、第１サイクル）において特定の電荷蓄積部（例えば、電荷蓄積部ＣＳ１）に電荷を蓄積させるタイミングである。第２蓄積タイミングは、特定のサイクルとは異なる他のサイクル（例えば、第２サイクルまたは第３サイクル）において特定の電荷蓄積部（例えば、電荷蓄積部ＣＳ１）に電荷を蓄積させるタイミングである。
【0159】
これにより、第１実施形態の変形例に係る距離画像撮像装置１では、電荷蓄積部ＣＳの数（４）より多い複数の蓄積タイミングＴＭ１～ＴＭ６の何れかのタイミングにて、電荷蓄積部ＣＳのそれぞれに電荷が蓄積されるように制御することができ、測定可能な距離を拡大させることができる。また、１フレームにおいて、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させる回数の合計である合計回数が同一となるように制御することができ、背景光成分に対応する蓄積信号を算出し易くし、反射光ＲＬに対応する電荷が蓄積された電荷蓄積部ＣＳを特定し易くすることが可能となる。さらに、第１蓄積タイミングと第２蓄積タイミングとの時間差分が、蓄積時間Ｔｏとは異なる時間となるように制御することができ、１フレームに渡り蓄積された電荷量に対応する蓄積信号を用いて距離を算出することが可能となる。したがって、上述した実施形態と同様の効果を奏する。
【0160】
（第２実施形態）
ここで第２実施形態について説明する。本実施形態では、複数の測定モードを備える点において、上述した実施形態と相違する。複数の測定モードは、少なくとも、通常モードと、広範囲モードと、を含む。
通常モードは、近距離にある被写体ＯＢまでの距離を測定するが、遠距離にある被写体ＯＢまでの距離を測定しないモードである。通常モードでは、近距離にある被写体ＯＢから到来する反射光ＲＬに対応する電荷を電荷蓄積部ＣＳに蓄積させるが、遠距離にある被写体ＯＢから到来する反射光ＲＬに対応する電荷を電荷蓄積部ＣＳに蓄積させないように、画素３２１が駆動される。
ここで第２実施形態について説明する。本実施形態では、複数の測定モードを備える点において、上述した実施形態と相違する。複数の測定モードは、少なくとも、通常モードと、広範囲モードと、を含む。
通常モードは、近距離にある被写体ＯＢまでの距離を測定するが、遠距離にある被写体ＯＢまでの距離を測定しないモードである。通常モードでは、近距離にある被写体ＯＢから到来する反射光ＲＬに対応する電荷を電荷蓄積部ＣＳに蓄積させるが、遠距離にある被写体ＯＢから到来する反射光ＲＬに対応する電荷を電荷蓄積部ＣＳに蓄積させないように、画素３２１が駆動される。
【0161】
通常モードは、１フレームの内訳として、例えば、図４に示す第１サブフレームのみを繰り返し実行することによって画素３２１が駆動されるモードである。図４では、蓄積タイミングＴＭ１～ＴＭ４のそれぞれのタイミングにおいて電荷を蓄積させるが、蓄積タイミングＴＭ５及びＴＭ６のいずれのタイミングにおいても電荷を蓄積させないように、画素３２１が駆動される。蓄積タイミングＴＭ１～ＴＭ４は、近距離にある被写体ＯＢから到来する反射光ＲＬに対応する電荷を電荷蓄積部ＣＳに蓄積させるタイミングの一例である。蓄積タイミングＴＭ５及びＴＭ６は、遠距離にある被写体ＯＢから到来する反射光ＲＬに対応する電荷を電荷蓄積部ＣＳに蓄積させるタイミングの一例である。
【0162】
広範囲モードは、近距離から遠距離までの広範囲にある被写体ＯＢまでの距離を測定するモードである。遠距離モードでは、近距離及び遠距離にある何れの被写体ＯＢから到来する反射光ＲＬに対応する電荷を電荷蓄積部ＣＳに蓄積させるように、画素３２１が駆動される。
【0163】
広範囲モードは、１フレームの内訳として、例えば、図４～図６に示す、第１サブフレーム～第３サブフレームを繰り返し実行することによって画素３２１が駆動されるモードである。図４では、蓄積タイミングＴＭ１～ＴＭ４のそれぞれのタイミングにおいて電荷を蓄積させるように、画素３２１が駆動される。図５では、蓄積タイミングＴＭ２～ＴＭ５のそれぞれにおいて、電荷蓄積部ＣＳ２～ＣＳ５のそれぞれに電荷が蓄積されるように、画素３２１が駆動される。図６では、蓄積タイミングＴＭ２、ＴＭ４～ＴＭ６のそれぞれにおいて、電荷蓄積部ＣＳ２、ＣＳ４、ＣＳ１、ＣＳ３のそれぞれに電荷が蓄積されるように、画素３２１が駆動される。
【0164】
或いは、広範囲モードは、１フレームの内訳として、例えば、図９～図１１に示す、第１サブフレーム～第３サブフレームを繰り返し実行することによって画素３２１が駆動されるモードである。図９では、蓄積タイミングＴＭ１～ＴＭ２、ＴＭ５～ＴＭ６のそれぞれのタイミングにおいて電荷を蓄積させるように、画素３２１が駆動される。図１０及び図１１では、蓄積タイミングＴＭ３～ＴＭ６のそれぞれのタイミングにおいて電荷を蓄積させるように、画素３２１が駆動される。
【0165】
このように、広範囲モードでは、近距離に対応する蓄積タイミングＴＭ１～ＴＭ４、及び遠距離に対応する蓄積タイミングＴＭ５及びＴＭ６のいずれにも、反射光ＲＬに対応する電荷は電荷蓄積部ＣＳに蓄積されるように画素３２１が駆動される。これにより、近距離から遠距離までの広範囲にある被写体ＯＢまでの距離を測定することができるようになる。
【0166】
本実施形態において、距離画像処理部４は、距離画像撮像装置１により撮像（測定）した距離画像を構成する画素３２１のそれぞれの画素値（距離値）の統計量を算出する。ここでの統計量は、任意の統計手法を用いて算出される統計量であってよい。統計量は、例えば、距離値の度数分布、平均値、中央値、分散、標準偏差、最頻値、最大値、最小値等の何れか及びこれらの組合せである。距離画像処理部４は、算出した統計量に基づいて、近距離から遠距離までの広範囲に被写体ＯＢが存在すると判定した場合には、次回の測定における測定モードを、広範囲モードとする。一方、距離画像処理部４は、算出した統計量に基づいて、近距離にのみ被写体ＯＢが存在すると判定した場合には、次回の測定における測定モードを、通常モードとする。
【0167】
距離画像処理部４は、例えば、統計量として、最小値及び測定範囲を算出する。最小値は、距離画像において測定された最小の距離値である。測定範囲は、距離画像において測定された最小の距離値から最大の距離値までの範囲である。距離画像処理部４は、距離画像に基づいて算出した最小値が第１しきい値未満であり、測定範囲が第２しきい値以上である場合、近距離から遠距離までの広範囲に被写体ＯＢが存在すると判定する。第１しきい値は、近距離とみなす距離に対応して設定される値である。第２しきい値は、広範囲とみなす距離範囲に対応して設定される値である。広範囲に被写体ＯＢが存在すると判定した場合、距離画像処理部４は、次回の測定における測定モードを、広範囲モードとする。一方、最小値が第１しきい値未満であり、測定範囲が第２しきい値未満である場合、距離画像処理部４は、近距離にのみ被写体ＯＢが存在すると判定する。近距離にのみ被写体ＯＢが存在すると判定した場合、距離画像処理部４は、次回の測定における測定モードを、通常モードとする。
【0168】
或いは、距離画像処理部４は、統計量として、最大値を算出する。最大値は、距離画像において測定された最大の距離値である。距離画像処理部４は、距離画像に基づいて算出した最大値が第３しきい値以上である場合、被写体ＯＢが遠距離にあると判定する。第３しきい値は、遠距離とみなす距離に対応して設定される値である。被写体ＯＢが遠距離にあると判定した場合、距離画像処理部４は、次回の測定における測定モードを、広範囲モードとする。一方、最大値が第３しきい値未満である場合、距離画像処理部４は、近距離にのみ被写体ＯＢが存在すると判定する。近距離にのみ被写体ＯＢが存在すると判定した場合、距離画像処理部４は、次回の測定における測定モードを、通常モードとする。
【0169】
また、距離画像処理部４は、通常モードでの測定において何等かの変化があった場合に、次回の測定における測定モードを、広範囲モードとするようにしてもよい。この場合、距離画像処理部４は、まず、通常モードにて撮像（測定）を開始する、距離画像処理部４は、測定ごとに統計量を算出し、算出した統計量を記憶させる。距離画像処理部４は、今回の測定において算出した統計量と、前回の測定において算出した統計量との差分が第４しきい値以上である場合に、次回の測定における測定モードを、広範囲モードとする。第４しきい値は、変化があったとみなす値に対応して設定される値であり、統計量に応じて設定される値である。測定空間に被写体ＯＢが存在しなくなった場合など、測定において何等かの変化があった場合に測定モードを変更することにより、広範囲モードにて測定可能な範囲（遠距離）に被写体ＯＢが存在しているのか否かを判定することができる。例えば、距離画像処理部４は、遠距離に被写体ＯＢが存在している場合には広範囲モードにて測定を継続し、遠距離を含めた広範囲モードの測定空間に被写体ＯＢが存在していない場合には、通常モードに戻して測定を継続する。
【0170】
以上説明したように、第２実施形態の距離画像撮像装置１では、通常モードと、広範囲モードと、を含む複数の測定モードを備える。通常モードは、近距離にある被写体ＯＢまでの距離を測定するが、遠距離にある被写体ＯＢまでの距離を測定しないモードである。広範囲モードは、近距離から遠距離までの広範囲にある被写体ＯＢまでの距離を測定するモードである。距離画像処理部４は、画素３２１のそれぞれの画素値（距離値）の統計量を算出する。距離画像処理部４は、算出した統計量に基づき、次回の測定における測定モードを、通常モード及び広範囲モードのいずれとするか決定する。
【0171】
これにより、第２実施形態の距離画像撮像装置１では、測定空間に存在する被写体ＯＢの状況に応じて測定モードを切り替えることができ、測定に要する時間を増大させることなく測定を行うことができる。例えば、近距離にのみ被写体ＯＢが存在する状況であれば通常モードにて測定を行い、遠距離にある被写体ＯＢまでの距離を測定しないようにし、広範囲モードにて測定する場合と比較して測定に要する時間を短縮させることができる。一方、近距離から遠距離までの広範囲に被写体ＯＢが存在する状況であれば広範囲モードにて測定を行い、広範囲に存在する被写体ＯＢのそれぞれの距離を測定でき、且つ、測定可能な範囲とは異なるタイミングにおいて電荷蓄積部ＣＳに背景光成分の電荷を蓄積させる場合と比較して、測定に要する時間を短縮させることができる。
【0172】
（第２実施形態の変形例）
ここで、第２実施形態の変形例について説明する。本変形例では、画素エリアごとに測定モードを設定する点において、上述した第２実施形態と異なる。画素エリアは、距離画像センサ３２に設けられた複数の画素３２１を、隣接する複数の画素３２１からなる画素群に分割した領域（エリア）である。例えば、図２の距離画像センサ３２において８行８列に二次元の行列状に配置された画素群を４つに分割することにより、４つの画素エリアを設けることができる。この場合、各画素エリアには、４行×４列からなる１６個の画素が含まれる。なお、４行×４列に限定されることはなく、画素エリアは任意に設定されてよく、例えば、５行×５列の２５個の画素からなる画素エリアが設けられてもよいし、２行×５列の１０個画素からなる画素エリアが設けられてもよい。
ここで、第２実施形態の変形例について説明する。本変形例では、画素エリアごとに測定モードを設定する点において、上述した第２実施形態と異なる。画素エリアは、距離画像センサ３２に設けられた複数の画素３２１を、隣接する複数の画素３２１からなる画素群に分割した領域（エリア）である。例えば、図２の距離画像センサ３２において８行８列に二次元の行列状に配置された画素群を４つに分割することにより、４つの画素エリアを設けることができる。この場合、各画素エリアには、４行×４列からなる１６個の画素が含まれる。なお、４行×４列に限定されることはなく、画素エリアは任意に設定されてよく、例えば、５行×５列の２５個の画素からなる画素エリアが設けられてもよいし、２行×５列の１０個画素からなる画素エリアが設けられてもよい。
【0173】
本変形例において、距離画像処理部４は、画素エリアを構成する画素３２１のそれぞれの画素値（距離値）の統計量を算出する。距離画像処理部４は、算出した統計量に基づき、次回の測定における測定モードを、画素エリアごとに、通常モード及び広範囲モードのいずれとするか決定する。
【0174】
距離画像処理部４が、通常モード及び広範囲モードのいずれとするか決定する方法は、上述した第２実施形態と同様である。具体的に、距離画像処理部４は、画素エリアごとに、その画素エリアを構成する画素３２１のそれぞれの画素値（距離値）の統計量を算出する。距離画像処理部４は、画素エリアごとの統計量に基づいて、その画素エリアによって距離測定された空間に、近距離から遠距離までの広範囲に被写体ＯＢが存在すると判定した場合には、次回の測定において、その画素エリアの測定モードを、広範囲モードとする。一方、距離画像処理部４は、画素エリアごとの統計量に基づいて、その画素エリアによって測定される空間には近距離にのみ被写体ＯＢが存在すると判定した場合には、次回の測定における測定モードを、通常モードとする。
【0175】
以上説明したように、第２実施形態の変形例に係る距離画像撮像装置１では、距離画像処理部４は、画素エリアごとに、画素３２１のそれぞれの画素値（距離値）の統計量を算出する。距離画像処理部４は、算出した画素エリアごとの統計量に基づき、次回の測定における測定モードを、通常モード及び広範囲モードのいずれとするか、画素エリアごとに決定する。これにより、第２実施形態の変形例に係る距離画像撮像装置１では、画素エリアごとに、測定モードを決定することができる。このため、距離画像の一部にのみ、広範囲に存在する被写体ＯＢまでの距離が測定されるような状況において、その一部に対応する画素エリアのみを広範囲モードにて測定するように対応することができる。
【0176】
上述した実施形態における距離画像撮像装置１、距離画像処理部４の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0177】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計、装置構成、補正処理やフィルタリング処理等も含まれる。
【符号の説明】
【0178】
１…距離画像撮像装置
２…光源部
３…受光部
３２…距離画像センサ
３２１…画素
３２３…垂直走査回路
４…距離画像処理部
４１…タイミング制御部
４２…距離演算部
４３…測定制御部
ＣＳ…電荷蓄積部
ＰＯ…光パルス
２…光源部
３…受光部
３２…距離画像センサ
３２１…画素
３２３…垂直走査回路
４…距離画像処理部
４１…タイミング制御部
４２…距離演算部
４３…測定制御部
ＣＳ…電荷蓄積部
ＰＯ…光パルス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】