(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023001122
(43)【公開日】2023-01-04
(54)【発明の名称】撮像装置
(51)【国際特許分類】
H04N 25/70 20230101AFI20221222BHJP
H04N 25/76 20230101ALI20221222BHJP
H04N 23/56 20230101ALI20221222BHJP
H04N 23/54 20230101ALI20221222BHJP
H04N 23/67 20230101ALI20221222BHJP
G01C 3/06 20060101ALI20221222BHJP
G01S 17/32 20200101ALI20221222BHJP
G01S 17/894 20200101ALI20221222BHJP
G02B 7/34 20210101ALI20221222BHJP
G02B 7/40 20210101ALI20221222BHJP
G03B 13/36 20210101ALI20221222BHJP
【ＦＩ】
H04N5/369
H04N5/374
H04N5/225 600
H04N5/225 300
H04N5/232 120
G01C3/06 120Q
G01S17/32
G01S17/894
G02B7/34
G02B7/40
G03B13/36
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
(21)【出願番号】P 2022163693
(22)【出願日】2022-10-12
(62)【分割の表示】P 2020170113の分割
【原出願日】2016-05-06
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】猿渡 修
(57)【要約】
【課題】距離分解能が高く測距可能な範囲が広い撮像装置を提供する。
【解決手段】撮像装置は、第１及び第２の変調光を対象物に放出する光源部と、前記対象物で反射した前記第１及び第２の変調光を受光して信号を生成する第１及び第２の画素を有する撮像素子と、前記第１の画素の出力信号により、前記光源部から放出された第１の変調光の位相と、前記第１の画素によって受光された第１の変調光の位相との第１の位相差を測定する第１の位相差測定部と、前記第２の画素の出力信号により、前記光源部から放出された第２の変調光の位相と、前記第２の画素によって受光された第２の変調光の位相との第２の位相差を測定する第２の位相差測定部と、前記第１及び第２の位相差によって前記対象物までの距離を算出する距離算出部と、前記第１の画素の出力信号と前記第２の画素の出力信号とに基づき、前記対象物の画像データを生成する画像データ生成部と、を備える。
【選択図】図１
【解決手段】撮像装置は、第１及び第２の変調光を対象物に放出する光源部と、前記対象物で反射した前記第１及び第２の変調光を受光して信号を生成する第１及び第２の画素を有する撮像素子と、前記第１の画素の出力信号により、前記光源部から放出された第１の変調光の位相と、前記第１の画素によって受光された第１の変調光の位相との第１の位相差を測定する第１の位相差測定部と、前記第２の画素の出力信号により、前記光源部から放出された第２の変調光の位相と、前記第２の画素によって受光された第２の変調光の位相との第２の位相差を測定する第２の位相差測定部と、前記第１及び第２の位相差によって前記対象物までの距離を算出する距離算出部と、前記第１の画素の出力信号と前記第２の画素の出力信号とに基づき、前記対象物の画像データを生成する画像データ生成部と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１及び第２の変調光を対象物に放出する光源部と、
前記対象物で反射した前記第１及び第２の変調光を受光して信号を生成する第１及び第２の画素を有する撮像素子と、
前記第１の画素の出力信号により、前記光源部から放出された第１の変調光の位相と、前記第１の画素によって受光された第１の変調光の位相との第１の位相差を測定する第１の位相差測定部と、
前記第２の画素の出力信号により、前記光源部から放出された第２の変調光の位相と、前記第２の画素によって受光された第２の変調光の位相との第２の位相差を測定する第２の位相差測定部と、
前記第１及び第２の位相差によって前記対象物までの距離を算出する距離算出部と、
前記第１の画素の出力信号と前記第２の画素の出力信号とに基づき、前記対象物の画像データを生成する画像データ生成部と、
を備える撮像装置。
前記対象物で反射した前記第１及び第２の変調光を受光して信号を生成する第１及び第２の画素を有する撮像素子と、
前記第１の画素の出力信号により、前記光源部から放出された第１の変調光の位相と、前記第１の画素によって受光された第１の変調光の位相との第１の位相差を測定する第１の位相差測定部と、
前記第２の画素の出力信号により、前記光源部から放出された第２の変調光の位相と、前記第２の画素によって受光された第２の変調光の位相との第２の位相差を測定する第２の位相差測定部と、
前記第１及び第２の位相差によって前記対象物までの距離を算出する距離算出部と、
前記第１の画素の出力信号と前記第２の画素の出力信号とに基づき、前記対象物の画像データを生成する画像データ生成部と、
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関する。
【背景技術】
【0002】
対象物へ照射した光の反射光を受光することにより、対象物までの距離を測定する、光飛行時間計測法（ＴＯＦ；Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）が知られている（例えば特許文献１）。この技術では、距離分解能を高くすると測距可能な範囲が短くなるという問題があった。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００８－８９３４６号公報
【発明の概要】
【0004】
請求項１に記載の撮像装置は、第１及び第２の変調光を対象物に放出する光源部と、前記対象物で反射した前記第１及び第２の変調光を受光して信号を生成する第１及び第２の画素を有する撮像素子と、前記第１の画素の出力信号により、前記光源部から放出された第１の変調光の位相と、前記第１の画素によって受光された第１の変調光の位相との第１の位相差を測定する第１の位相差測定部と、前記第２の画素の出力信号により、前記光源部から放出された第２の変調光の位相と、前記第２の画素によって受光された第２の変調光の位相との第２の位相差を測定する第２の位相差測定部と、前記第１及び第２の位相差によって前記対象物までの距離を算出する距離算出部と、前記第１の画素の出力信号と前記第２の画素の出力信号とに基づき、前記対象物の画像データを生成する画像データ生成部と、を備える。
【図面の簡単な説明】
【0005】
【図1】第１の実施の形態に係る撮像装置の構成を模式的に示す断面図である。
【図2】撮像素子の構成を示す模式図である。
【図3】撮像素子の構成を示す回路図である。
【図4】変調光を模式的に示す図である。
【図5】変調光と反射光との関係を模式的に示す図である。
【図6】変調光と反射光との関係を模式的に示す図である。
【図7】撮影動作を示すタイミングチャートである。
【図8】第１検出部、第２検出部、測距部、および画像作成部の動作を説明する説明図である。
【図9】制御信号を正弦波で近似できることを示す説明図である。
【図10】演算された位相θａと真の位相Θの説明図である。
【図11】第２の実施の形態に係る撮像装置の構成を模式的に示す断面図である。
【図12】画素の構成を示す模式図である。
【図13】撮像素子の構成を示す回路図である。
【図14】撮影動作を示すタイミングチャートである。
【図15】変調光を模式的に示す図である。
【図16】画素のレイアウトの変形例を示す模式図である。
【図17】変形例４に係る撮像素子の構成を示す回路図である。
【図18】変形例４の説明図である。
【発明を実施するための形態】
【0006】
（第１の実施の形態）
図１は、第１の実施の形態に係る撮像装置の構成を模式的に示す断面図である。撮像装置１は、被写体２を撮影して、被写体２の画像データと共に、被写体２のデプスマップデータを作成する機能を有する装置である。本実施形態において、デプスマップデータとは、被写体２の部分ごとに、当該部分と撮像装置１との距離（すなわち当該部分の奥行き）を表す距離値を二次元状に配列したマップのデータである。撮像装置１を用いると、１回の撮影で、被写体２の画像データだけでなく、デプスマップデータまで同時に得ることができる。換言すると、画像データとデプスマップデータは、同一の光電変換信号から作成される。
図１は、第１の実施の形態に係る撮像装置の構成を模式的に示す断面図である。撮像装置１は、被写体２を撮影して、被写体２の画像データと共に、被写体２のデプスマップデータを作成する機能を有する装置である。本実施形態において、デプスマップデータとは、被写体２の部分ごとに、当該部分と撮像装置１との距離（すなわち当該部分の奥行き）を表す距離値を二次元状に配列したマップのデータである。撮像装置１を用いると、１回の撮影で、被写体２の画像データだけでなく、デプスマップデータまで同時に得ることができる。換言すると、画像データとデプスマップデータは、同一の光電変換信号から作成される。
【0007】
撮像装置１は、光源部１０、光学系１１、撮像素子１２、制御部１３、ＲＯＭ１４、表示部１５、および記憶媒体１６を備える。光源部１０は、被写体２に対して後述する変調光３を放出する。変調光３は、送信第１変調光３ａと送信第２変調光３ｂとを有する。変調光３は、被写体２の表面で反射し、反射光４として撮像装置１に返り、光学系１１を介して撮像素子１２の撮像面に入射する。反射光４は、送信第１変調光３ａの反射光である受信第１変調光４ａと、送信第２変調光３ｂの反射光である受信第２変調光４ｂとを含む。光学系１１は、例えば複数のレンズから構成される結像光学系である。なお図１では、光学系１１を簡略化して１枚のレンズとして図示している。
【0008】
制御部１３は、不図示のマイクロコンピュータおよび周辺回路から構成される。制御部１３は、不揮発性の記憶媒体であるＲＯＭ１４に予め記憶されている制御プログラムを読み込んで実行することにより、撮像装置１の各部を制御する。表示部１５は、例えば液晶モニタ等の表示装置である。記憶媒体１６は、例えばメモリカード等の書き換え可能な記憶媒体である。
【0009】
詳細は後述するが、撮像素子１２からは光電変換信号が出力される。制御部１３は、この光電変換信号に基づき画像データとデプスマップデータとを作成する。制御部１３は、作成した画像データやデプスマップデータを記憶媒体１６に記憶したり、これらのデータに基づく画像を表示部１５に表示したりする。
【0010】
制御部１３はソフトウェア形態により、第１検出部１３ａ、第２検出部１３ｂ、測距部１３ｃ、画像作成部１３ｄ、および発光制御部１３ｅを備える。これらの各部は、制御部１３がＲＯＭ１４に記憶されている所定の制御プログラムを実行することにより、ソフトウェア的に実現される。これらの各部の動作については後に詳述する。
【0011】
図２（ａ）は、撮像素子１２の構成を模式的に示す平面図であり、図２（ｂ）は、撮像面２０の一部の領域２０ａを拡大した模式図である。図２（ｂ）に示すように、撮像面２０には、複数の画素３０が二次元状に配列されている。
【0012】
画素３０には、第１画素３０ａと、第２画素３０ｂと、の２種類が存在する。本実施形態では、図２（ｂ）に示すように、第１画素３０ａと第２画素３０ｂは互い違いに配列されている。つまり、第１画素３０ａの上下左右には第２画素３０ｂが存在し、第２画素３０ｂの上下左右には第１画素３０ａが存在するように配列されている。従って、撮像面２０には、略同数の第１画素３０ａと第２画素３０ｂとが一様に（均一に）配列されている。
【0013】
図２（ａ）に示すように、撮像素子１２は、水平走査回路２１、垂直走査回路２２、第１転送制御回路２３ａ、および第２転送制御回路２３ｂを備える。垂直走査回路２２は、撮像素子１２が有する複数の画素３０を、１行ごとに制御する。水平走査回路２１は、１行分の画素３０から出力信号を順次読み出す。第１転送制御回路２３ａは、複数の第１画素３０ａについて同一タイミングで、光電変換信号をフローティングディフュージョンに転送する。第２転送制御回路２３ｂは、複数の第２画素３０ｂについて同一タイミングで、光電変換信号をフローティングディフュージョンに転送する。
【0014】
詳細は後述するが、第１転送制御回路２３ａから第１画素３０ａに向かって出力される制御用のパルス信号と第２転送制御回路２３ｂから第２画素３０ｂに向かって出力される制御用のパルス信号は、異なるパルス信号である。
【0015】
図３は、撮像素子１２の構成を示す回路図である。なお図３では、１つの画素３０の回路図のみを図示している。第１画素３０ａおよび第２画素３０ｂは、共に図３に示す構成を有している。以下、画素３０について説明を行うが、この説明は第１画素３０ａおよび第２画素３０ｂの両方についての説明である。
【0016】
画素３０は、不図示のマイクロレンズと、マイクロレンズにより被覆された光電変換部３２と、第１読出部３３１と、第２読出部３３２と、第３読出部３３３と、第４読出部３３４とを備える。マイクロレンズは、入射光（光学系１１からの光束）を光電変換部３２に集光する。光電変換部３２は、入射光を光電変換して光量に応じた電荷を生成する。すなわち光電変換部３２は、入射光を光電変換して光電変換信号を出力する。第１読出部３３１、第２読出部３３２、第３読出部３３３、および第４読出部３３４は、光電変換部３２から光電変換信号を読み出す。
【0017】
第１読出部３３１は、転送トランジスタＴＸ１と、リセットトランジスタＲＳＴ１と、フローティングディフュージョンＦＤ１と、増幅トランジスタＡＭＰ１と、行選択トランジスタＳＥＬ１とを有する。転送トランジスタＴＸ１は、信号φＴＸ１に基づき、光電変換部３２により出力された光電変換信号（光電変換部３２により生成された電荷）をフローティングディフュージョンＦＤ１に転送する。リセットトランジスタＲＳＴ１は、信号φＲＳＴに基づき、フローティングディフュージョンＦＤ１をリセットする。増幅トランジスタＡＭＰ１は、フローティングディフュージョンＦＤ１に蓄積されている電荷の量に応じた信号を出力する。行選択トランジスタＳＥＬ１は、信号φＳＥＬに基づき、増幅トランジスタＡＭＰ１から出力された信号を垂直信号線Ｖ１に出力する。以下の説明では、垂直信号線Ｖ１に出力される信号を、出力信号Ｎ１と称する。
【0018】
第２読出部３３２は、転送トランジスタＴＸ２と、リセットトランジスタＲＳＴ２と、フローティングディフュージョンＦＤ２と、増幅トランジスタＡＭＰ２と、行選択トランジスタＳＥＬ２とを有する。転送トランジスタＴＸ２は、信号φＴＸ２に基づき、光電変換部３２により出力された光電変換信号（光電変換部３２により生成された電荷）をフローティングディフュージョンＦＤ２に転送する。リセットトランジスタＲＳＴ２は、信号φＲＳＴに基づき、フローティングディフュージョンＦＤ２をリセットする。増幅トランジスタＡＭＰ２は、フローティングディフュージョンＦＤ２に蓄積されている電荷の量に応じた信号を出力する。行選択トランジスタＳＥＬ２は、信号φＳＥＬに基づき、増幅トランジスタＡＭＰ２から出力された信号を垂直信号線Ｖ２に出力する。以下の説明では、垂直信号線Ｖ２に出力される信号を、出力信号Ｎ２と称する。
【0019】
第３読出部３３３は、転送トランジスタＴＸ３と、リセットトランジスタＲＳＴ３と、フローティングディフュージョンＦＤ３と、増幅トランジスタＡＭＰ３と、行選択トランジスタＳＥＬ３とを有する。転送トランジスタＴＸ３は、信号φＴＸ３に基づき、光電変換部３２により出力された光電変換信号（光電変換部３２により生成された電荷）をフローティングディフュージョンＦＤ３に転送する。リセットトランジスタＲＳＴ３は、信号φＲＳＴに基づき、フローティングディフュージョンＦＤ３をリセットする。増幅トランジスタＡＭＰ３は、フローティングディフュージョンＦＤ３に蓄積されている電荷の量に応じた信号を出力する。行選択トランジスタＳＥＬ３は、信号φＳＥＬに基づき、増幅トランジスタＡＭＰ３から出力された信号を垂直信号線Ｖ３に出力する。以下の説明では、垂直信号線Ｖ３に出力される信号を、出力信号Ｎ３と称する。
【0020】
第４読出部３３４は、転送トランジスタＴＸ４と、リセットトランジスタＲＳＴ４と、フローティングディフュージョンＦＤ４と、増幅トランジスタＡＭＰ４と、行選択トランジスタＳＥＬ４とを有する。転送トランジスタＴＸ４は、信号φＴＸ４に基づき、光電変換部３２により出力された光電変換信号（光電変換部３２により生成された電荷）をフローティングディフュージョンＦＤ４に転送する。リセットトランジスタＲＳＴ４は、信号φＲＳＴに基づき、フローティングディフュージョンＦＤ４をリセットする。増幅トランジスタＡＭＰ４は、フローティングディフュージョンＦＤ４に蓄積されている電荷の量に応じた信号を出力する。行選択トランジスタＳＥＬ４は、信号φＳＥＬに基づき、増幅トランジスタＡＭＰ４から出力された信号を垂直信号線Ｖ４に出力する。以下の説明では、垂直信号線Ｖ４に出力される信号を、出力信号Ｎ４と称する。
【0021】
なお、本実施形態において、信号φＳＥＬは行ごとに独立して画素３０に入力される。以下の説明において、ｎ行目の画素３０に入力される信号φＳＥＬを、信号φＳＥＬ（ｎ）と表記する。例えば、信号φＳＥＬ（１）は、１行目の画素３０に入力される信号を示す。一方、信号φＲＳＴについては、全ての画素３０に同一の信号が入力される。信号φＴＸ１、信号φＴＸ２、信号φＴＸ３、信号φＴＸ４については、第１画素３０ａと第２画素３０ｂとでそれぞれ異なる信号が入力される。各信号については後に詳述する。
【0022】
図４は、光源部１０から放出される変調光３を模式的に示す図である。なお、図４の横軸は時間を表し、縦軸は光強度を表している。変調光３は、送信第１変調光３ａと送信第２変調光３ｂとを重畳した可視光である。送信第１変調光３ａは、振幅Ａａ、周期Ｔａの正弦波として変調された光である。送信第１変調光３ａの周波数ｆａは、１／Ｔａである。以下の説明では、送信第１変調光３ａの振幅Ａａ、周期Ｔａ、周波数ｆａを、それぞれ第１振幅Ａａ、第１周期Ｔａ、第１周波数ｆａと称する。
【0023】
送信第２変調光３ｂは、振幅Ａｂ、周期Ｔｂの正弦波として変調された光である。送信第２変調光３ｂの周波数ｆｂは、１／Ｔｂである。以下の説明では、送信第２変調光３ｂの振幅Ａｂ、周期Ｔｂ、周波数ｆｂを、それぞれ第２振幅Ａｂ、第２周期Ｔｂ、第２周波数ｆｂと称する。第１周期Ｔａは、第２周期Ｔｂよりも短い（例えば、Ｔａ≒Ｔｂ／７）。換言すると、第１周波数ｆａは、第２周波数ｆｂよりも高い。
【0024】
図５は、光源部１０から放出される変調光３と、撮像素子１２の撮像面に入射する反射光４との関係を模式的に示す図である。図１に模式的に示したように、反射光４には、受信第１変調光４ａと、受信第２変調光４ｂとが含まれる。受信第１変調光４ａおよび受信第２変調光４ｂは、変調光３を放出した時刻から、被写体２の距離に応じた時間が経過した後に、撮像素子１２に入射する。以下の説明では、この被写体２の距離に応じた時間を、遅れ時間と呼ぶ。遅れ時間によって、送信第１変調光３ａと受信第１変調光４ａとの間には、位相差θａが生じ、送信第２変調光３ｂと受信第２変調光４ｂとの間には、位相差θｂが生じる。図５に示すように、遅れ時間が第１周期Ｔａ未満である場合、位相差θａが表す遅れ時間と位相差θｂが表す遅れ時間は同一である。
【0025】
図６は、被写体２がより遠くにある場合の、光源部１０から放出される変調光３と、撮像素子１２の撮像面に入射する反射光４との関係を模式的に示す図である。図６に示すように、遅れ時間が第１周期Ｔａ以上である場合、位相差θａは、見かけ上、真の位相差Θに比べて小さくなる。換言すると、Θ＝２πｎ×θａである（ｎは０以上の整数）。つまり、遅れ時間が第１周期Ｔａ以上である場合、位相差θａが表す遅れ時間と位相差θｂが表す遅れ時間は異なる値となる。
【0026】
図７は、撮影動作を示すタイミングチャートである。制御部１３は、撮影動作に際し、撮像素子１２に画素３０をリセットさせる。垂直走査回路２２は、制御部１３からの信号をもとに、時刻ｔ１に制御用のパルス信号である信号φＲＳＴを出力する。前述の通り、信号φＲＳＴは全ての画素３０に対して出力される。これにより、全ての画素３０がリセットされる。
【0027】
リセットが完了した時刻ｔ２に、発光制御部１３ｅが、光源部１０に、変調光３の放出を開始させる。光源部１０による変調光３の放出に同期して、時刻ｔ２に、第１転送制御回路２３ａおよび第２転送制御回路２３ｂが、制御用のパルス信号である信号φＴＸ１、信号φＴＸ２、信号φＴＸ３、および信号φＴＸ４の出力を開始する。発光制御部１３ｅは、送信第１変調光３ａが極大となる位置ｐ１と、第１転送制御回路２３ａから第１画素３０ａに対して出力される信号φＴＸ１のパルスの中心位置ｐ２とが一致するように、光源部１０を制御する。発光制御部１３ｅは、送信第２変調光３ｂが極大となる位置ｐ３と、第２転送制御回路２３ｂから第２画素３０ｂに対して出力される信号φＴＸ１のパルスの中心位置ｐ４とが一致するように、光源部１０を制御する。すなわち発光制御部１３ｅは、変調光３と信号φＴＸ１、信号φＴＸ２、信号φＴＸ３、および信号φＴＸ４とを同期させる。
【0028】
第１転送制御回路２３ａは、第１画素３０ａに対して、信号φＴＸ１、信号φＴＸ２、信号φＴＸ３、および信号φＴＸ４を出力する。第１転送制御回路２３ａは、時刻ｔ２から送信第１変調光３ａの周期Ｔａだけ後の時刻ｔ３までの期間を４つの期間に分割し、それら４つの期間において、信号φＴＸ１、信号φＴＸ２、信号φＴＸ３、および信号φＴＸ４をオンする。第１転送制御回路２３ａは、露光期間Ｔｅの間、上述した信号φＴＸ１、信号φＴＸ２、信号φＴＸ３、および信号φＴＸ４を繰り返し出力する。
【0029】
第２転送制御回路２３ｂは、第２画素３０ｂに対して、信号φＴＸ１、信号φＴＸ２、信号φＴＸ３、および信号φＴＸ４を出力する。第２転送制御回路２３ｂは、時刻ｔ２から送信第２変調光３ｂの周期Ｔｂだけ後の時刻ｔ４までの期間を４つの期間に分割し、それら４つの期間において、信号φＴＸ１、信号φＴＸ２、信号φＴＸ３、および信号φＴＸ４をオンする。第２転送制御回路２３ｂは、露光期間Ｔｅの間、上述した信号φＴＸ１、信号φＴＸ２、信号φＴＸ３、および信号φＴＸ４を繰り返し出力する。
【0030】
時刻ｔ２から露光期間Ｔｅだけ後の時刻ｔ５に、発光制御部１３ｅは、光源部１０に、変調光３の放出を停止させる。変調光３の放出停止に同期して、時刻ｔ５に、第１転送制御回路２３ａおよび第２転送制御回路２３ｂが、信号φＴＸ１、信号φＴＸ２、信号φＴＸ３、および信号φＴＸ４の出力を停止する。時刻ｔ５の時点で、画素３０のフローティングディフュージョンＦＤ１、フローティングディフュージョンＦＤ２、フローティングディフュージョンＦＤ３、およびフローティングディフュージョンＦＤ４には、それぞれ光電変換部３２により生成された電荷が蓄積されている。
【0031】
換言すると、時刻ｔ２から時刻ｔ５までの期間に光電変換部３２に入射した反射光４（受信第１変調光４ａおよび受信第２変調光４ｂを含む）から光電変換された電荷は、細かな期間ごとに個別にフローティングディフュージョンＦＤ１～ＦＤ４へ転送される。例えばフローティングディフュージョンＦＤ１には、信号φＴＸ１がオンである期間に光電変換部３２で光電変換された電荷が転送される。
【0032】
時刻ｔ５以降、水平走査回路２１および垂直走査回路２２は、出力信号Ｎ１～Ｎ４の読み出しを開始する。出力信号Ｎ１～Ｎ４の読み出しは、行ごとに行われる。まず時刻ｔ５に、垂直走査回路２２が、１行目の画素３０に対して制御用のパルス信号である信号φＳＥＬ（１）を出力する。これにより、垂直信号線Ｖ１～Ｖ４に、１行目の画素３０の各々からの出力信号Ｎ１～Ｎ４が出力される。信号φＳＥＬ（１）が出力されている間に、水平走査回路２１が、１行目の画素３０の各々からの出力信号Ｎ１～Ｎ４を１つずつ、制御部１３に出力する。１行目の画素３０の全てについて出力信号Ｎ１～Ｎ４が制御部１３に出力されると、次に垂直走査回路２２が、２行目の画素３０に対して信号φＳＥＬ（２）を出力する。これにより、垂直信号線Ｖ１～Ｖ４に、２行目の画素３０の各々からの出力信号Ｎ１～Ｎ４が出力される。信号φＳＥＬ（２）が出力されている間に、水平走査回路２１が、２行目の画素３０の各々からの出力信号Ｎ１～Ｎ４を１つずつ、制御部１３に出力する。水平走査回路２１および垂直走査回路２２は、全ての行について以上の動作を繰り返すことで、全ての画素３０からの出力信号Ｎ１～Ｎ４を制御部１３に出力する。
【0033】
次に、第１検出部１３ａ、第２検出部１３ｂ、測距部１３ｃ、および画像作成部１３ｄの動作について説明する。図８は、第１検出部１３ａ、第２検出部１３ｂ、測距部１３ｃ、および画像作成部１３ｄの動作を説明する説明図である。被写体２に対して放出された変調光３は、被写体２により反射され、背景光と共に反射光４として第１画素３０ａおよび第２画素３０ｂに入射する。第１画素３０ａおよび第２画素３０ｂは、出力信号Ｎ１～Ｎ４を出力する。第１検出部１３ａは、第１画素３０ａの出力信号Ｎ１～Ｎ４から後述するｚａ、θａ、Ａａを演算する。第２検出部１３ｂは、第２画素３０ｂの出力信号Ｎ１～Ｎ４から後述するｚｂ、θｂ、Ａｂを演算する。測距部１３ｃは、第１検出部１３ａおよび第２検出部１３ｂによる演算結果に基づき、被写体２のデプスマップデータを作成する。画像作成部１３ｄは、第１画素３０ａおよび第２画素３０ｂの出力信号Ｎ１～Ｎ４から、被写体２の画像データを作成する。以下、これらの動作について詳述する。
【0034】
既述の通り、光源部１０は、被写体２に対し、送信第１変調光３ａと送信第２変調光３ｂとを重畳した変調光３を放出する。変調光３は、被写体２の表面で反射して反射光４となり、撮像素子１２が有する第１画素３０ａや第２画素３０ｂに入射する。ただし、被写体２には変調光３とは別に、太陽等の光源からの背景光も照射されているので、反射光４には、受信第１変調光４ａおよび受信第２変調光４ｂ以外に、種々の背景光の反射光も含まれる。
【0035】
第１画素３０ａは、反射光４を光電変換し、上述した出力信号Ｎ１～Ｎ４を出力する。同様に、第２画素３０ｂも、反射光４を光電変換し、上述した出力信号Ｎ１～Ｎ４を出力する。
【0036】
第１検出部１３ａは、第１画素３０ａから出力された出力信号Ｎ１～Ｎ４に基づいて、後述する出力値ｚａを演算する。出力値ｚａは、反射光４に含まれる受信第１変調光４ａの光電変換結果を複素数化した値である。出力値ｚａからは、反射光４に含まれる受信第１変調光４ａの第１振幅Ａａと、受信第１変調光４ａの送信第１変調光３ａに対する位相差θａとが算出される。ただし、詳細は後述するが、ここで算出される位相差θａは、受信第１変調光４ａの送信第１変調光３ａに対する真の位相差Θと異なっている可能性があるので、測距部１３ｃは、別途補正を行う。
【0037】
第１検出部１３ａは、それぞれの第１画素３０ａから出力された出力信号Ｎ１～Ｎ４に基づいて、第１画素３０ａごとに出力値ｚａを演算する。第１検出部１３ａは、各々の第１画素３０ａにおける複数の出力値ｚａを演算する。
【0038】
第２検出部１３ｂは、第２画素３０ｂから出力された出力信号Ｎ１～Ｎ４に基づいて、後述する出力値ｚｂを演算する。出力値ｚｂは、反射光４に含まれる受信第２変調光４ｂの光電変換結果を複素数化した値である。出力値ｚｂからは、反射光４に含まれる受信第２変調光４ｂの第２振幅Ａｂと、受信第２変調光４ｂの送信第２変調光３ｂに対する位相差θｂとが算出される。
【0039】
第２検出部１３ｂは、それぞれの第２画素３０ｂから出力された出力信号Ｎ１～Ｎ４に基づいて、第２画素３０ｂごとに出力値ｚｂを演算する。第２検出部１３ｂは、各々の第２画素３０ｂにおける複数の出力値ｚｂを演算する。
【0040】
測距部１３ｃは、第２検出部１３ｂにより演算された出力値ｚｂを用いて後述する演算を行うことで、第１検出部１３ａにより検出された位相差θａを補正し、真の位相差Θを演算する。そして、この真の位相差Θを用いて後述する演算を行うことにより、１つの画素３０に対応する被写体部分の撮像装置１からの距離Ｌ（奥行きＬ）を算出する。測距部１３ｃは、全ての画素３０について奥行きＬを算出することにより、被写体部分ごとの奥行きＬを二次元状にマップしたデプスマップデータを作成する。
【0041】
画像作成部１３ｄは、第１画素３０ａから出力された出力信号Ｎ１～Ｎ４と、第２画素３０ｂから出力された出力信号Ｎ１～Ｎ４とに基づいて、被写体２の画像データを作成する。詳細は後述するが、画像作成部１３ｄは、ある第１画素３０ａから出力された出力信号Ｎ１～Ｎ４に基づいて、当該第１画素３０ａに対応する画素値を決定する。また、画像作成部１３ｄは、ある第２画素３０ｂから出力された出力信号Ｎ１～Ｎ４に基づいて、当該第２画素３０ｂに対応する画素値を決定する。このように、画像作成部１３ｄは、画素３０ごとに、その画素３０から出力された出力信号Ｎ１～Ｎ４に基づき、その画素３０の画素値を決定する。
【0042】
次に、第１検出部１３ａによる出力値ｚａの演算方法について説明する。第１検出部１３ａは、時刻ｔ２～ｔ５の期間に第１画素３０ａが光電変換した結果出力された出力信号Ｎ１～Ｎ４に基づき、反射光４光電変換結果から受信第１変調光４ａの光電変換結果、すなわち第１周波数ｆａを有する入射光の光電変換結果を検出する。出力信号Ｎｉ（ｉ＝１～４）は、次式（１）のように表すことができる。
【0043】
【数1】
【0044】
ここで、ηは撮像素子１２の感度、φＲ（ｔ）は反射光４の強度である。また、ｇｉ（ｔ）は、図７に図示した信号φＴＸｉ（φＴＸ１～φＴＸ４）である。例えばｇ１（ｔ）は、信号φＴＸ１がオンであるときに１、それ以外のときに０となる関数である。上式（１）から、Ｎ１－Ｎ３は、次式（２）のようになる。
【0045】
【数2】
【0046】
図９に示すように、ｇ１（ｔ）－ｇ３（ｔ）は、０を中心として＋１～－１の区間で振動する信号となる。これは、時刻ｔ２～ｔ３の期間を周期とする正弦波（すなわち周期Ｔａの正弦波）ｃｏｓ２πｆａｔで近似することができる。また、反射光４は、受信第１変調光４ａ、受信第２変調光４ｂ、およびその他の背景光を足し合わせた光であるので、次式（３）で表すことができる。
【0047】
【数3】
【0048】
上式（３）は、ｋ種類の光を重ね合わせた光を表現する式であり、それらのうちある１種類は受信第１変調光４ａ、別の１種類は受信第２変調光４ｂ、残りは背景光である。上式（３）においてｆｋ（ｆ０、ｆ１、ｆ２、…）は、反射光４に含まれる各々の光の周波数、Ａｋ（Ａ０、Ａ１、Ａ２、…）は各々の光の振幅である。また、Δｔは、光源部１０から変調光３が投射された時刻と反射光４が第１画素３０ａに入射した時刻との差、すなわち遅れ時間である。
【0049】
ｇ１（ｔ）－ｇ３（ｔ）を正弦波で近似し、更に上式（３）を導入すると、Ｎ１－Ｎ３は次式（４）で表すことができる。
【0050】
【数4】
【0051】
ここで、次式（５）で表すように、異なる周波数の正弦波（周波数ｆｋの正弦波と周波数ｆｐの正弦波）同士の積を積分した結果は、０と見なすことができる。
【0052】
【数5】
【0053】
これを上式（４）に当てはめると、反射光４に含まれる多数の光に関する項のうち、第１周波数ｆａの光（すなわち受信第１変調光４ａ）に関する項のみが残り（他の光に関する項は０になるため）、最終的にＮ１－Ｎ３は次式（６）で表されることになる。
【0054】
【数6】
【0055】
つまり、出力信号Ｎ１から出力信号Ｎ３を減算すると、反射光４の光電変換結果から受信第１変調光４ａの光電変換結果のみを抽出することができる。以上で説明した出力信号Ｎ１と出力信号Ｎ３への演算を、出力信号Ｎ２と出力信号Ｎ４を対象にして同様に行うと、Ｎ２－Ｎ４は次式（７）で表される。
【0056】
【数7】
【0057】
ここで、上式（６）、（７）を複素数化したものが、出力値ｚａである。出力値ｚａは、次式（８）で表される。
【0058】
【数8】
【0059】
つまり、出力値ｚａは、第１画素３０ａの反射光４の受光出力、すなわち出力信号Ｎ１～Ｎ４から、受信第１変調光４ａに相当する値のみを抽出した値である。
【0060】
第１検出部１３ａが検出した出力値ｚａを、次式（９）に当てはめれば、第１画素３０ａに対応する被写体部分の距離Ｌを算出することができる。なお、次式（９）において、ｃは光速である。また、ａｒｇｚａは出力値ｚａの偏角、すなわち送信第１変調光３ａと受信第１変調光４ａとの位相差θａである。
【0061】
【数9】
【0062】
しかしながら、第１検出部１３ａによって検出された出力値ｚａだけでは、距離Ｌを正確に算出することができない。これは、図６を用いて説明したように、遅れ時間Δｔが大きくなると、位相差θａ（すなわち出力値ｚａの偏角ａｒｇｚａ）が１つの値に定まらないためである。遅れ時間Δｔが十分に小さいことを前提にするのであれば、図５に示したように、位相差θａは２π未満であるという前提をおくことができる。これに対し、遅れ時間Δｔが大きい可能性を考慮しなければならない場合、すなわち位相差θａが２π以上である可能性を考慮しなければならない場合には、演算により求められた位相差θａが、何周期ずれたものであるかが判別できない。換言すると、送信第１変調光３ａと受信第１変調光４ａとの真の位相差Θは、演算により求められた位相差θａに、２πの整数倍を加えたものである可能性がある。
【0063】
図１０は、演算された位相差θａと真の位相Θの説明図であり、横軸を距離Ｌ、縦軸を位相とするグラフである。距離Ｌが０から増えるに従って、すなわち被写体２が撮像装置１から遠ざかるに従って、演算される位相差θａは増加していく。距離Ｌがある値Ｌ１のとき、演算される位相差θａは２πから０に見かけ上リセットされ、再度０から距離Ｌの増加に従って増加する。
【0064】
従って、例えば演算された位相差θａがπであったとき、真の位相差Θはπ、３π、５π、…のいずれかであって、距離ＬはＬ１／２、３×Ｌ１／２、５×Ｌ１／２、…のいずれかである、ということしか判断できない。
【0065】
そこで、本実施形態の測距部１３ｃは、第１検出部１３ａにより反射光４から受信第１変調光４ａを検出するだけでなく、第２検出部１３ｂにより受信第２変調光４ｂも検出することにより、距離Ｌを算出する。具体的には、測距部１３ｃは、第２検出部１３ｂにより演算された出力値ｚｂを用いて位相差θａを補正し、真の位相差Θを求める。そして、上式（９）に、補正前の位相差θａの代わりに補正後の真の位相差Θを代入して、距離Ｌを演算する。
【0066】
まず、第２検出部１３ｂによる出力値ｚｂの演算方法について説明する。第２検出部１３ｂが行う演算内容は、ｇｉ（ｔ）の内容が異なることを除き、上述した第１検出部１３ａによる出力値ｚａの演算方法と同一である。前述の通り、第２画素３０ｂは、第２周期Ｔｂに基づき駆動されるので、出力値ｚｂは、第２画素３０ｂの反射光４の受光出力、すなわち出力信号Ｎ１～Ｎ４から、受信第２変調光４ｂに相当する値を抽出した値となる。
【0067】
前述の通り、第２周期Ｔｂは、第１周期Ｔａよりも長い。従って、第２検出部１３ｂにより演算される偏角ａｒｇｚｂ（位相差θｂ）は、図１０に示すように、Ｌ１よりも長い距離Ｌ２まで、２πから０への変化が生じない（連続である）。つまり、第２周期Ｔｂを十分に長く設定しておけば、第１検出部１３ａにより検出された位相差θａだけでは真の位相差Θがわからない場合でも、第２検出部１３ｂにより検出された位相差θｂを合わせて利用することで真の位相差Θを求めることができる。
【0068】
例えば図１０において、位相差θａがπであった場合、前述の通り、距離ＬはＬ１／２、３×Ｌ１／２、５×Ｌ１／２、…のいずれかである。つまり、位相差θａから導出される距離Ｌの候補は複数存在する。ここで、位相差θｂがπ／２前後の値であれば、距離Ｌはそれら複数の候補（Ｌ１／２、３×Ｌ１／２、５×Ｌ１／２、…）から、３×Ｌ１／２という１つの値に特定される。
【0069】
次に、測距部１３ｃによる具体的な演算内容について説明する。測距部１３ｃは、まず次式（１０）により、位相差θａが真の位相差Θに対して何周期分ずれているのかを表す整数ｎを求める。
【0070】
【数10】
【0071】
上式（１０）において、ｒｏｕｎｄ（ｘ）はｘに最も近い整数を返す関数（ｘを四捨五入する関数）である。例えば、距離Ｌが図１０に示す距離Ｌ１未満のとき（真の位相差Θが２π未満のとき）、位相差θａは真の位相差Θに等しく、ｎは０となる。位相差θａが真の位相差Θから１周期分ずれているとき、ｎは１となり、真の位相差Θは位相差θａに２πを加えたものになる。
【0072】
測距部１３ｃは、次式（１１）により、真の位相差Θを求める。その後、測距部１３ｃは、次式（１２）に真の位相差Θを当てはめることにより、被写体までの距離Ｌを算出する。
【0073】
【数11】
【0074】
以上に説明したように、受信第１変調光４ａと受信第２変調光４ｂを検出することで、測距可能な範囲を広く採ることができる。例えば、第１周波数ｆａを３００ＭＨｚ、第２周波数ｆｂを３ＭＨｚとした場合、受信第１変調光４ａのみを検出して距離Ｌを求めると、測距可能な距離Ｌは最大１ｍ程度、距離分解能は最大１ｃｍ程度になる。また、受信第２変調光４ｂのみを検出して距離Ｌを求めると、測距可能な距離Ｌは最大１００ｍ程度になるが、距離分解能は最大１ｍ程度になる。本実施形態では、測距部１３ｃは受信第１変調光４ａと受信第２変調光４ｂを共に検出して距離Ｌを求めることにより、測距可能な距離Ｌを最大１００ｍまで広げつつ、距離分解能を最大１ｃｍに保つ。
【0075】
なお、図２（ｂ）に模式的に示したように、第１画素３０ａと第２画素３０ｂは異なる位置にあるので、同一の被写体位置について、出力値ｚａと出力値ｚｂとを同時に得ることはできない。そこで、測距部１３ｃは、第１画素３０ａに基づき演算された出力値ｚａと、その第１画素３０ａの上下左右に存在する第２画素３０ｂに基づき演算された４つの出力値ｚｂの平均値を用いて、その第１画素３０ａに対応する距離Ｌを算出する。また測距部１３ｃは、第２画素３０ｂに基づき演算された出力値ｚｂと、その第２画素３０ｂの上下左右に存在する第１画素３０ａに基づき演算された４つの出力値ｚａの平均値を用いて、その第２画素３０ｂに対応する距離Ｌを算出する。このようにすることで、画素３０の数に等しい要素数（解像度）のデプスマップデータを作成することができる。
【0076】
次に、画像作成部１３ｄについて説明する。図７に示すとおり、露光期間Ｔｅの間に光電変換部３２により生成された電荷は、フローティングディフュージョンＦＤ１～ＦＤ４に分散して蓄積される。従って、出力信号Ｎ１～Ｎ４を足し合わせれば、露光期間Ｔｅに基づく光電変換信号が得られる。画像作成部１３ｄは、各画素３０について出力信号Ｎ１～Ｎ４を足し合わせることで、その画素３０の画素値（輝度値）を求める。画像作成部１３ｄは、これを全ての画素３０について行うことで、画像データを作成する。
【0077】
なお、説明の便宜上、本実施形態において、画素３０はカラーフィルターを有していないものとしている。つまり、各々の画素３０から出力される光電変換信号は、色情報を有していない。従って、画像作成部１３ｄが作成する画像データは、輝度情報のみを有するモノクロ画像である。しかしながら、各々の画素３０にカラーフィルターを設け、画像作成部１３ｄがカラー画像の画像データを生成するようにすることも可能である。例えば、赤色成分の光のみを通過するカラーフィルターを設けた画素３０と、青色成分の光のみを通過するカラーフィルターを設けた画素３０と、緑色成分の光のみを通過するカラーフィルターを設けた画素３０とを、いわゆるベイヤー配列に従って撮像面２０に配列する。画像作成部１３ｄは、各々の画素３０について求められた画素値に基づき、周知のデモザイク処理を実行することにより、カラー画像の画像データを生成する。
【0078】
なお、以上では静止画撮影における画像データおよびデプスマップデータの作成方法について説明したが、動画撮影を行う、すなわちフレーム毎に画像データおよびデプスマップデータを作成することも可能である。動画撮影を行う場合には、画素３０のリセットと露光と読み出しとを１行ごとに行えばよい。
【0079】
上述した第１の実施の形態による撮像装置によれば、次の作用効果が得られる。
（１）互いに周期の異なる送信第１変調光３ａおよび送信第２変調光３ｂが、被写体２（対象物）で反射し、受信第１変調光４ａおよび受信第２変調光４ｂとして第１画素３０ａおよび第２画素３０ｂに入射する。第１検出部１３ａ（第１の位相差測定部）は、第１画素３０ａの出力信号に基づき、送信第１変調光３ａの位相と受信第１変調光４ａの位相との位相差θａを検出（測定）する。第２検出部１３ｂ（第２の位相差測定部）は、第２画素３０ｂの出力信号に基づき、送信第２変調光３ｂの位相と受信第２変調光４ｂの位相との位相差θｂを検出（測定）する。測距部１３ｃは、それらの検出（測定）された位相差に基づき、被写体２に関する距離Ｌ（距離値）を算出する。このようにしたので、１回の変調光放出と撮影とで、背景光の影響を取り除いた、高精度かつ測定範囲の広い測距を行うことができる。
（１）互いに周期の異なる送信第１変調光３ａおよび送信第２変調光３ｂが、被写体２（対象物）で反射し、受信第１変調光４ａおよび受信第２変調光４ｂとして第１画素３０ａおよび第２画素３０ｂに入射する。第１検出部１３ａ（第１の位相差測定部）は、第１画素３０ａの出力信号に基づき、送信第１変調光３ａの位相と受信第１変調光４ａの位相との位相差θａを検出（測定）する。第２検出部１３ｂ（第２の位相差測定部）は、第２画素３０ｂの出力信号に基づき、送信第２変調光３ｂの位相と受信第２変調光４ｂの位相との位相差θｂを検出（測定）する。測距部１３ｃは、それらの検出（測定）された位相差に基づき、被写体２に関する距離Ｌ（距離値）を算出する。このようにしたので、１回の変調光放出と撮影とで、背景光の影響を取り除いた、高精度かつ測定範囲の広い測距を行うことができる。
【0080】
（２）撮像素子１２は、第１画素３０ａの出力信号を、送信第１変調光３ａの一周期の間に、所定の位相遅れで、出力信号Ｎ１～Ｎ４（第１～第４の信号）として順次読み出す。第１検出部１３ａは、出力信号Ｎ１と出力信号Ｎ３との差分と、出力信号Ｎ２と出力信号Ｎ４との差分とに基づき、位相差θａを測定する。撮像素子１２は、第２画素３０ｂの出力信号を、送信第２変調光３ｂの一周期の間に、所定の位相遅れで、出力信号Ｎ１～Ｎ４（第５～第８の信号）として順次読み出す。第２検出部１３ｂは、出力信号Ｎ１と出力信号Ｎ３との差分と、出力信号Ｎ２と出力信号Ｎ４との差分とに基づき、位相差θｂを測定する。このようにしたので、光電変換信号から背景光の影響を取り除くことができる。
【0081】
（３）第１画素３０ａおよび第２画素３０ｂの各々は、マイクロレンズと光電変換部３２とを有する。撮像素子１２は、第１画素３０ａの光電変換部３２から出力信号Ｎ１～Ｎ４を順次読み出す。撮像素子１２は、第２画素３０ｂの光電変換部３２から出力信号Ｎ１～Ｎ４を順次読み出す。このようにしたので、１つの画素３０に入射した光を有効利用することができる。
【0082】
（４）撮像素子１２は、第１画素３０ａの光電変換部３２から出力信号Ｎ１～Ｎ４をそれぞれ読み出す第１読出部３３１、第２読出部３３２、第３読出部３３３、および第４読出部３３４を有する。撮像素子１２は、第２画素３０ｂの光電変換部３２から出力信号Ｎ１～Ｎ４をそれぞれ読み出す第１読出部３３１、第２読出部３３２、第３読出部３３３、および第４読出部３３４を有する。このようにしたので、出力信号Ｎ１～Ｎ４を容易に得ることができる。
【0083】
（５）画像作成部１３ｄ（画像データ生成部）は、第１画素３０ａの出力信号Ｎ１～Ｎ４を加算した加算信号と、第２画素３０ｂの出力信号Ｎ１～Ｎ４を加算した加算信号とに基づき、光学系１１（結像光学系）による被写体２の像に関する画像データを生成する。このようにしたので、通常の可視光に基づく画像データを、デプスマップデータと同時に得ることができる。
【0084】
（６）第１画素３０ａと第２画素３０ｂは、それぞれ撮像素子１２の撮像面２０の全体に略均一に分布配置されており、測距部１３ｃは、互いに近傍に位置する第１画素３０ａおよび第２画素３０ｂについて、第１検出部１３ａおよび第２検出部１３ｂがそれぞれ測定した位相差θａ、θｂに基づき、距離Ｌを算出する。このようにしたので、画素数に等しい要素数のデプスマップデータを作成することができる。
【0085】
（７）測距部１３ｃは、第１画素３０ａ毎の距離Ｌと第２画素３０ｂ毎の距離Ｌとに基づき、第１画素３０ａおよび第２画素３０ｂの位置における距離Ｌに関するマップを表すデプスマップデータを作成する。このようにしたので、被写体２の主要部分のみならず、被写体２の各部分の距離を得ることができる。
【0086】
（８）光源部１０は、可視光である変調光３を被写体２に放出する。このようにしたので、通常の可視光に基づく画像データを、デプスマップデータと同時に得ることができる。
【0087】
（第２の実施の形態）
図１１は、第２の実施の形態に係る撮像装置１００の構成を模式的に示す断面図である。なお以下の説明では、第１の実施の形態に係る撮像装置１と異なる点を中心に説明し、それ以外の部分については説明を省略する。
図１１は、第２の実施の形態に係る撮像装置１００の構成を模式的に示す断面図である。なお以下の説明では、第１の実施の形態に係る撮像装置１と異なる点を中心に説明し、それ以外の部分については説明を省略する。
【0088】
撮像装置１００は、第１の実施の形態に係る撮像装置１の撮像素子１２を撮像素子１１２に、制御部１３を制御部１１３に、それぞれ置き換えた構成を有している。撮像素子１１２は、上述した画素３０の代わりに、後述する画素１３０を有している。制御部１１３は、第１の実施の形態に係る制御部１３と同様に、第１検出部１３ａ、第２検出部１３ｂ、測距部１３ｃ、画像作成部１３ｄ、および発光制御部１３ｅを有しており、更に、焦点検出部１３ｆおよび焦点調節部１３ｇを有している。焦点検出部１３ｆおよび焦点調節部１３ｇについては後に詳述する。
【0089】
図１２は、画素１３０の構造を模式的に示す平面図である。なお、本実施形態の画素１３０にも、第１の実施の形態と同様に、第１画素１３０ａと第２画素１３０ｂとの２種類が存在し、第１の実施の形態同様に（すなわち図２（ｂ）に示すように）、第１画素１３０ａと第２画素１３０ｂは互い違いに配列されている。つまり、第１画素１３０ａの上下左右には第２画素１３０ｂが存在し、第２画素１３０ｂの上下左右には第１画素１３０ａが存在するように配列されている。従って、撮像面２０には、略同数の第１画素１３０ａと第２画素１３０ｂとが一様に（均一に）配列されている。
【0090】
画素１３０は、光電変換部３２の代わりに、第１光電変換部１３２ａと第２光電変換部１３２ｂとを有している。第１光電変換部１３２ａと第２光電変換部１３２ｂの形状は、ｘ－ｙ平面において光電変換部３２をｙ方向に沿った直線で２等分したものと略等しい。従って、光学系１１の射出瞳の一対の領域をそれぞれ通過した一対の光束が、それぞれ第１光電変換部１３２ａと第２光電変換部１３２ｂに入射する。
【0091】
図１３は、撮像素子１２の構成を示す回路図である。なお図１３では、１つの画素１３０の回路図のみを図示している。画素１３０は、第１読出部３３１と、第２読出部３３２と、第３読出部３３３と、第４読出部３３４とを備える。第１読出部３３１および第２読出部３３２は、第１光電変換部１３２ａから光電変換信号を読み出す。第３読出部３３３および第４読出部３３４は、第２光電変換部１３２ｂから光電変換信号を読み出す。第１読出部３３１、第２読出部３３２、第３読出部３３３、および第４読出部３３４の構成は、第１の実施の形態と同一であるので説明を省略する。
【0092】
図１４は、撮影動作を示すタイミングチャートである。制御部１３は、撮影動作に際し、撮像素子１２に画素３０をリセットさせる。垂直走査回路２２は、制御部１３からの信号をもとに、時刻ｔ１１に信号φＲＳＴを出力する。信号φＲＳＴは全ての画素１３０の第１光電変換部１３２ａおよび第２光電変換部１３２ｂに対して出力される。これにより、全ての画素３０の第１光電変換部１３２ａおよび第２光電変換部１３２ｂがリセットされる。
【0093】
リセットが完了した時刻ｔ１２に、発光制御部１３ｅが、光源部１０に、変調光３の放出を開始させる。光源部１０による変調光３の放出に同期して、時刻ｔ１２に、第１転送制御回路２３ａおよび第２転送制御回路２３ｂが、信号φＴＸ１、信号φＴＸ２、信号φＴＸ３、および信号φＴＸ４の出力を開始する。発光制御部１３ｅは、送信第１変調光３ａが極大となる位置ｐ５と、第１転送制御回路２３ａから第１画素３０ａに対して出力される信号φＴＸ１のパルスの中心位置ｐ６とが一致するように、光源部１０を制御する。発光制御部１３ｅは、送信第２変調光３ｂが極大となる位置ｐ７と、第２転送制御回路２３ｂから第２画素３０ｂに対して出力される信号φＴＸ１のパルスの中心位置ｐ８とが一致するように、光源部１０を制御する。すなわち発光制御部１３ｅは、変調光３と信号φＴＸ１、信号φＴＸ２、信号φＴＸ３、および信号φＴＸ４とを同期させる。
【0094】
第１転送制御回路２３ａは、第１画素１３０ａに対して、信号φＴＸ１、信号φＴＸ２、信号φＴＸ３、および信号φＴＸ４を出力する。第１転送制御回路２３ａは、時刻ｔ１２から送信第１変調光３ａの周期Ｔａだけ後の時刻ｔ１３までの期間を、前半分と後半分の２つの期間に分割する。第１転送制御回路２３ａは、それら２つの期間の一方において信号φＴＸ１をオンし、他方において信号φＴＸ２をオンする。つまり信号φＴＸ１は、信号φＴＸ２と１／２周期（１８０度）異なる位相を有する信号である。第１転送制御回路２３ａは、信号φＴＸ１を１／４周期（９０度）だけ遅らせた信号を、信号φＴＸ３として出力する。第１転送制御回路２３ａは、信号φＴＸ２を１／４周期（９０度）だけ遅らせた信号を、信号φＴＸ４として出力する。第１転送制御回路２３ａは、露光期間Ｔｅの間、上述した信号φＴＸ１、信号φＴＸ２、信号φＴＸ３、および信号φＴＸ４を繰り返し出力する。
【0095】
第１の実施の形態において、信号φＴＸ１および信号φＴＸ２は、送信第１変調光３ａの一周期（周期Ｔａ）の第１の四半周期にオンする信号と、第２の四半周期にオンする信号であった。これに対して、本実施の形態における信号φＴＸ１および信号φＴＸ２は、送信第１変調光３ａの一周期（周期Ｔａ）の第１の半周期にオンする信号と、第２の半周期にオンする信号である。つまり本実施の形態において、第１読出部３３１および第２読出部３３２は、送信第１変調光３ａの一周期（周期Ｔａ）の間に、第１光電変換部１３２ａから光電変換信号を逆位相で交互に読み出す。
【0096】
第１の実施の形態において、信号φＴＸ３および信号φＴＸ４は、送信第１変調光３ａの一周期（周期Ｔａ）の第３の四半周期にオンする信号と、第４の四半周期にオンする信号であった。これに対して、本実施の形態における信号φＴＸ３および信号φＴＸ４は、送信第１変調光３ａの一周期（周期Ｔａ）の第２および第３の四半周期にオンする信号と、第１および第４の四半周期にオンする信号である。つまり本実施の形態において、第３読出部３３３および第４読出部３３４は、送信第１変調光３ａの一周期（周期Ｔａ）の間に、第２光電変換部１３２ｂから光電変換信号を逆位相で交互に読み出す。
【0097】
第２転送制御回路２３ｂは、時刻ｔ１２から送信第２変調光３ｂの周期Ｔｂだけ後の時刻ｔ１４までの期間を、前半分と後半分の２つの期間に分割する。第２転送制御回路２３ｂは、それら２つの期間の一方において信号φＴＸ１をオンし、他方において信号φＴＸ２をオンする。つまり信号φＴＸ１は、信号φＴＸ２と１／２周期（１８０度）異なる位相を有する信号である。第２転送制御回路２３ｂは、信号φＴＸ１を１／４周期（９０度）だけ遅らせた信号を、信号φＴＸ３として出力する。第２転送制御回路２３ｂは、信号φＴＸ２を１／４周期（９０度）だけ遅らせた信号を、信号φＴＸ４として出力する。第２転送制御回路２３ｂは、露光期間Ｔｅの間、上述した信号φＴＸ１、信号φＴＸ２、信号φＴＸ３、および信号φＴＸ４を繰り返し出力する。
【0098】
時刻ｔ１２から露光期間Ｔｅだけ後の時刻ｔ１５に、発光制御部１３ｅは、光源部１０に、変調光３の放出を停止させる。変調光３の放出停止に同期して、時刻ｔ１５に、第１転送制御回路２３ａおよび第２転送制御回路２３ｂが、信号φＴＸ１、信号φＴＸ２、信号φＴＸ３、および信号φＴＸ４の出力を停止する。時刻ｔ１５の時点で、画素１３０のフローティングディフュージョンＦＤ１、フローティングディフュージョンＦＤ２、フローティングディフュージョンＦＤ３、およびフローティングディフュージョンＦＤ４には、それぞれ光電変換部３２により生成された電荷が蓄積されている。
【0099】
時刻ｔ１５以降、水平走査回路２１および垂直走査回路２２は、出力信号Ｎ１～Ｎ４の読み出しを開始する。出力信号Ｎ１～Ｎ４の読み出しは、行ごとに行われる。まず時刻ｔ５に、垂直走査回路２２が、１行目の画素１３０に対して信号φＳＥＬ（１）を出力する。これにより、垂直信号線Ｖ１～Ｖ４に、１行目の画素１３０の各々からの出力信号Ｎ１～Ｎ４が出力される。出力信号Ｎ１、Ｎ２は、第１光電変換部１３２ａで光電変換された電荷に基づく信号である。出力信号Ｎ３、Ｎ４は、第２光電変換部１３２ｂで光電変換された電荷に基づく信号である。信号φＳＥＬ（１）が出力されている間に、水平走査回路２１が、１行目の画素１３０の各々からの出力信号Ｎ１～Ｎ４を１つずつ、制御部１３に出力する。１行目の画素１３０の全てについて出力信号Ｎ１～Ｎ４が制御部１３に出力されると、次に垂直走査回路２２が、２行目の画素１３０に対して信号φＳＥＬ（２）を出力する。これにより、垂直信号線Ｖ１～Ｖ４に、２行目の画素３０の各々からの出力信号Ｎ１～Ｎ４が出力される。信号φＳＥＬ（２）が出力されている間に、水平走査回路２１が、２行目の画素１３０の各々からの出力信号Ｎ１～Ｎ４を１つずつ、制御部１３に出力する。水平走査回路２１および垂直走査回路２２は、全ての行について以上の動作を繰り返すことで、全ての画素１３０からの出力信号Ｎ１～Ｎ４を制御部１３に出力する。
【0100】
次に、第１検出部１３ａによる出力値ｚａの演算方法について説明する。第１検出部１３ａは、第１画素１３０ａから出力された出力信号Ｎ１、Ｎ２と、第１画素１３０ａから出力された出力信号Ｎ３、Ｎ４とに基づき、反射光４の光電変換結果から受信第１変調光４ａの光電変換結果、すなわち第１周波数ｆａを有する入射光の光電変換結果を検出する。
【0101】
第１の実施の形態では、式（２）においてＮ１－Ｎ３を考えたが、本実施形態では代わりにＮ１－Ｎ２を考える。図１５に示すように、ｇ１（ｔ）－ｇ２（ｔ）は正弦波で近似できるので、第１の実施の形態で説明したものと同様の手順で、次式（１３）が導かれる。
【0102】
【数12】
【0103】
同様に、Ｎ３－Ｎ４は次式（１４）により表される。
【0104】
【数13】
【0105】
出力値ｚａは、次式（１５）により表される。
【0106】
【数14】
【0107】
従って、測距部１３ｃは、第１の実施の形態と同様に、デプスマップデータを作成することができる。
【0108】
次に、画像作成部１３ｄについて説明する。図１２に示すように、本実施の形態に係る画素１３０は、第１光電変換部１３２ａおよび第２光電変換部１３２ｂを有している。第１光電変換部１３２ａおよび第２光電変換部１３２ｂの形状は、第１の実施の形態における光電変換部３２を２等分したものに略等しい。従って、第１光電変換部１３２ａの出力信号と、第２光電変換部１３２ｂの出力信号とを加算すれば、第１の実施の形態に係る光電変換部３２の出力信号に相当する信号が得られる。画像作成部１３ｄは、各画素１３０について出力信号Ｎ１～Ｎ４を足し合わせることで、その画素１３０の画素値（輝度値）を求める。画像作成部１３ｄは、これを全ての画素１３０について行うことで、画像データを作成する。
【0109】
次に、焦点検出部１３ｆについて説明する。焦点検出部１３ｆは、撮像面２０に設けられた所定の焦点検出エリア内において、ｘ方向に一列に並んだ複数の画素１３０（交互に配列された第１画素１３０ａと第２画素１３０ｂが含まれる）について、出力信号Ｎ１と出力信号Ｎ２とを足し合わせた信号と、出力信号Ｎ３と出力信号Ｎ４とを足し合わせた信号とを作成する。出力信号Ｎ１と出力信号Ｎ２とを足し合わせた信号は、第１光電変換部１３２ａが露光期間Ｔｅ（図１４）の間に光電変換した電荷に基づく信号である。出力信号Ｎ３と出力信号Ｎ４とを足し合わせた信号は、第２光電変換部１３２ｂが露光期間Ｔｅの間に光電変換した電荷に基づく信号である。この一対の信号は、光学系１１の射出瞳の一対の領域を通過した一対の光束に対応する信号である。つまり、この一対の信号は、いわゆる位相差方式の焦点検出を行うための信号である。位相差方式の焦点検出とは、周知のように、一対の信号についてシフト量を少しずつ変えながら相関演算を行い、相関値が最も大きいシフト量、すなわち位相差を求めることで、光学系１１の焦点調節状態を検出する焦点検出方式である。焦点検出部１３ｆは、作成した一対の信号に対して、周知の位相差方式の焦点検出を行い、光学系１１の焦点調節状態（デフォーカス量）を検出する。
【0110】
なお、焦点検出エリアは撮像面２０の任意の位置に設けることができる。また、予め複数の候補エリアを撮像面２０に設け、いずれか１つの候補エリアを焦点検出エリアとして選択するようにしてもよい。上記の説明ではｘ方向に関する焦点検出を行う例について説明したが、これとは異なる方向（例えばｙ方向）について焦点検出を行うようにすることもできる。
【0111】
次に、焦点調節部１３ｇについて説明する。焦点調節部１３ｇは、測距部１３ｃにより作成されたデプスマップデータと、焦点検出部１３ｆにより検出された光学系１１の焦点調節状態と、のいずれか一方に基づき、光学系１１のピント位置を調節する。光学系１１は、不図示のフォーカスレンズを有しており、焦点調節部１３ｇは不図示のアクチュエータを用いてこのフォーカスレンズを光軸方向に駆動することで、光学系１１の焦点調節を行う。
【0112】
焦点調節部１３ｇは、焦点調節に際し、まず光学系１１の現在の絞り値（Ｆ値）を調べる。絞り値が所定のしきい値以下であった場合、すなわち光学系１１の不図示の絞りの開口径が大きく、瞳分割で分割した２つの瞳の視差が大きい場合、焦点調節部１３ｇは、焦点検出部１３ｆに焦点調節状態を検出させ、検出された焦点調節状態に基づき焦点調節を行う。
【0113】
他方、光学系１１の現在の絞り値が所定のしきい値より大きい場合、すなわち光学系１１の不図示の絞りの開口径が小さく、瞳分割で分割した２つの瞳の視差が小さい場合、焦点調節部１３ｇは、少なくとも焦点検出エリアの範囲をカバーするデプスマップデータを測距部１３ｃに作成させ、作成されたデプスマップデータに基づき焦点調節を行う。例えば、焦点検出エリアに対応する被写体の距離（奥行き）が１ｍである、ということがデプスマップデータから判明すれば、焦点調節部１３ｇは、１ｍの位置にピントが合うように不図示のフォーカスレンズを駆動させる。
【0114】
上述した第２の実施の形態による撮像装置によれば、次の作用効果が得られる。
（１）互いに周期の異なる送信第１変調光３ａおよび送信第２変調光３ｂが、被写体２（対象物）で反射し、受信第１変調光４ａおよび受信第２変調光４ｂとして第１画素１３０ａおよび第２画素１３０ｂに入射する。第１検出部１３ａ（第１の位相差測定部）は、第１画素１３０ａの出力信号に基づき、送信第１変調光３ａの位相と受信第１変調光４ａの位相との位相差θａを検出（測定）する。第２検出部１３ｂ（第２の位相差測定部）は、第２画素１３０ｂの出力信号に基づき、送信第２変調光３ｂの位相と受信第２変調光４ｂの位相との位相差θｂを検出（測定）する。測距部１３ｃは、それらの検出（測定）された位相差に基づき、被写体２に関する距離Ｌ（距離値）を算出する。このようにしたので、１回の変調光放出と撮影とで、高精度かつ測定範囲の広い測距を行うことができる。
（１）互いに周期の異なる送信第１変調光３ａおよび送信第２変調光３ｂが、被写体２（対象物）で反射し、受信第１変調光４ａおよび受信第２変調光４ｂとして第１画素１３０ａおよび第２画素１３０ｂに入射する。第１検出部１３ａ（第１の位相差測定部）は、第１画素１３０ａの出力信号に基づき、送信第１変調光３ａの位相と受信第１変調光４ａの位相との位相差θａを検出（測定）する。第２検出部１３ｂ（第２の位相差測定部）は、第２画素１３０ｂの出力信号に基づき、送信第２変調光３ｂの位相と受信第２変調光４ｂの位相との位相差θｂを検出（測定）する。測距部１３ｃは、それらの検出（測定）された位相差に基づき、被写体２に関する距離Ｌ（距離値）を算出する。このようにしたので、１回の変調光放出と撮影とで、高精度かつ測定範囲の広い測距を行うことができる。
【0115】
（２）撮像素子１２は、第１画素１３０ａの出力信号を、送信第１変調光３ａの一周期の間に、所定の位相遅れで、出力信号Ｎ１～Ｎ４（第１～第４の信号）として順次読み出す。第１検出部１３ａは、出力信号Ｎ１と出力信号Ｎ２との差分と、出力信号Ｎ３と出力信号Ｎ４との差分とに基づき、位相差θａを測定する。撮像素子１２は、第２画素１３０ｂの出力信号を、送信第２変調光３ｂの一周期の間に、所定の位相遅れで、出力信号Ｎ１～Ｎ４（第５～第８の信号）として順次読み出す。第２検出部１３ｂは、出力信号Ｎ１と出力信号Ｎ２との差分と、出力信号Ｎ３と出力信号Ｎ４との差分とに基づき、位相差θｂを測定する。このようにしたので、光電変換信号から背景光の影響を取り除くことができる。
【0116】
（３）第１画素１３０ａおよび第２画素１３０ｂの各々は、マイクロレンズ３１と第１光電変換部１３２ａと第２光電変換部１３２ｂとを有する。撮像素子１２は、第１画素１３０ａの第１光電変換部１３２ａから出力信号Ｎ１～Ｎ４のうちの出力信号Ｎ１，Ｎ２を読み出し、第２光電変換部１３２ｂから出力信号Ｎ１～Ｎ４のうちの出力信号Ｎ３，Ｎ４を読み出す。撮像素子１２は、第２画素１３０ｂの第１光電変換部１３２ａから出力信号Ｎ１～Ｎ４のうちの出力信号Ｎ１，Ｎ２を読み出し、第２光電変換部１３２ｂから出力信号Ｎ１～Ｎ４のうちの出力信号Ｎ３，Ｎ４を読み出す。このようにしたので、１つの画素３０に入射した光を瞳分割して光電変換することができる。
【0117】
（４）撮像素子１２は、第１画素１３０ａの第１光電変換部１３２ａから出力信号Ｎ１，Ｎ２をそれぞれ読み出す第１読出部３３１および第２読出部３３２と、第１画素１３０ａの第２光電変換部１３２ｂから出力信号Ｎ３，Ｎ４をそれぞれ読み出す第３読出部３３３および第４読出部３３４とを有する。撮像素子１２は、第２画素１３０ｂの第１光電変換部１３２ａから出力信号Ｎ１，Ｎ２をそれぞれ読み出す第１読出部３３１および第２読出部３３２と、第２画素１３０ｂの第２光電変換部１３２ｂから出力信号Ｎ３，Ｎ４をそれぞれ読み出す第３読出部３３３および第４読出部３３４とを有する。このようにしたので、このようにしたので、出力信号Ｎ１～Ｎ４を容易に得ることができる。
【0118】
（５）第１画素１３０ａの第１読出部３３１は、第１画素１３０ａの第１光電変換部１３２ａから出力信号Ｎ１を送信第１変調光３ａの一周期のうちの半周期の間に読み出す。第１画素１３０ａの第２読出部３３２は、第１画素１３０ａの第１光電変換部１３２ａから出力信号Ｎ２を送信第１変調光３ａの一周期のうちの残り半周期の間に読み出す。第１画素１３０ａの第３読出部３３３は、第１読出部３３１による読み出しよりも所定の時間遅れをもって第１画素１３０ａの第２光電変換部１３２ｂから出力信号Ｎ３を送信第１変調光３ａの一周期のうちの半周期の間に読み出す。第１画素１３０ａの第４読出部３３４は、第２読出部３３２による読み出しよりも所定の時間遅れをもって第１画素１３０ａの第２光電変換部１３２ｂから出力信号Ｎ４を送信第１変調光３ａの一周期のうちの残り半周期の間に読み出す。第２画素１３０ｂの第１読出部３３１は、第２画素１３０ｂの第１光電変換部１３２ａから出力信号Ｎ１を送信第２変調光３ｂの一周期のうちの半周期の間に読み出す。第２画素１３０ｂの第２読出部３３２は、第２画素１３０ｂの第１光電変換部１３２ａから出力信号Ｎ２を送信第２変調光３ｂの一周期のうちの残り半周期の間に読み出す。第２画素１３０ｂの第３読出部３３３は、第１読出部３３１による読み出しよりも所定の時間遅れをもって第２画素１３０ｂの第２光電変換部１３２ｂから出力信号Ｎ３を送信第２変調光３ｂの一周期のうちの半周期の間に読み出す。第２画素１３０ｂの第４読出部３３４は、第２読出部３３２による読み出しよりも所定の時間遅れをもって第２画素１３０ｂの第２光電変換部１３２ｂから出力信号Ｎ４を送信第２変調光３ｂの一周期のうちの残り半周期の間に読み出す。このようにしたので、光飛行時間計測法に基づく測距に利用でき、かつ、いわゆる位相差検出方式の測距にも利用できる信号を読み出すことができる。
【0119】
（６）画像作成部１３ｄ（画像データ生成部）は、第１画素１３０ａの出力信号Ｎ１～Ｎ４を加算した加算信号と、第２画素１３０ｂの出力信号Ｎ１～Ｎ４を加算した加算信号とに基づき、光学系１１（結像光学系）による被写体２の像に関する画像データを生成する。このようにしたので、いわゆる位相差検出方式の焦点検出を行いつつ、デプスマップデータを作成し、更に、被写体２の画像データも作成することができる。
【0120】
（７）焦点検出部１３ｆ（位相差式焦点検出部）は、第１画素１３０ａおよび第２画素１３０ｂの第１光電変換部１３２ａおよび第２光電変換部１３２ｂから読み出された信号の対に基づき、デフォーカス量を算出する。このようにしたので、いわゆる位相差検出方式の焦点検出を、デプスマップデータの作成と並行して行うことができる。
【0121】
（８）焦点検出部１３ｆは、第１画素１３０ａおよび第２画素１３０ｂの第１光電変換部１３２ａから読み出された出力信号Ｎ１，Ｎ２を加算した加算信号と第２光電変換部１３２ｂから読み出された出力信号Ｎ３，Ｎ４を加算した加算信号との対に基づきデフォーカス量を算出する。このようにしたので、いわゆる位相差検出方式の焦点検出を、デプスマップデータの作成と並行して行うことができる。
【0122】
（９）第１画素１３０ａと第２画素１３０ｂは、それぞれ撮像素子１２の撮像面２０の全体に略均一に分布配置されており、測距部１３ｃは、互いに近傍に位置する第１画素１３０ａおよび第２画素１３０ｂについて、第１検出部１３ａおよび第２検出部１３ｂがそれぞれ測定した位相差θａ、θｂに基づき、距離Ｌを算出する。このようにしたので、画素数に等しい要素数のデプスマップデータを作成することができる。
【0123】
（１０）測距部１３ｃは、第１画素１３０ａ毎の距離Ｌと第２画素１３０ｂ毎の距離Ｌとに基づき、第１画素１３０ａおよび第２画素１３０ｂの位置における距離Ｌに関するマップを表すデプスマップデータを作成する。このようにしたので、被写体２の主要部分のみならず、被写体２の各部分の距離を得ることができる。
【0124】
（１１）焦点調節部１３ｇは、光学系１１の絞り値が所定の値より大きい（暗い）ときに、測距部１３ｃにより算出された距離Ｌに基づき焦点調節を行い、光学系１１の絞り値が所定の値以下である（明るい）ときに、焦点検出部１３ｆにより検出された焦点調節状態に基づき焦点調節を行う。このようにしたので、絞り値が大きく（暗く）位相差方式の焦点検出が行えない場合であっても焦点調節を行うことができる。
【0125】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
【0126】
（変形例１）
第１画素３０ａと第２画素３０ｂ（第１画素１３０ａと第２画素１３０ｂ）の個数およびレイアウトは、上述した実施形態と異なっていてもよい。例えば第１の実施の形態では、図２（ｂ）に示すように、略同数の第１画素３０ａと第２画素３０ｂとを互い違いに配列していた。これに対し、図１６（ａ）に示す配列では、撮像面２０全体を２×２の４画素のブロックに区切り、１つのブロックが３つの第１画素３０ａと１つの第２画素３０ｂとから構成されるようにしている。このように、第１画素３０ａが第２画素３０ｂよりも多数存在するようにしてもよい。
第１画素３０ａと第２画素３０ｂ（第１画素１３０ａと第２画素１３０ｂ）の個数およびレイアウトは、上述した実施形態と異なっていてもよい。例えば第１の実施の形態では、図２（ｂ）に示すように、略同数の第１画素３０ａと第２画素３０ｂとを互い違いに配列していた。これに対し、図１６（ａ）に示す配列では、撮像面２０全体を２×２の４画素のブロックに区切り、１つのブロックが３つの第１画素３０ａと１つの第２画素３０ｂとから構成されるようにしている。このように、第１画素３０ａが第２画素３０ｂよりも多数存在するようにしてもよい。
【0127】
図１０で説明したように、第２画素３０ｂにより検出される位相差θｂは、位相差θａから真の位相差Θを特定するために用いられる。つまり、位相差θａに比べて、位相差θｂに求められる検出精度は高くない。従って、第２画素３０ｂは、位相差θａから真の位相差Θを特定できる程度の数だけ存在すればよい。
【0128】
つまり、図１６（ｂ）に示すように、撮像面２０をＭ×Ｎの複数のブロック２００に区切ったとき、１つのブロック２００内に最低限１つの第２画素３０ｂが存在すれば、デプスマップデータを作成することができる。この場合において、第２画素３０ｂの位置は図１６（ｂ）に示すように不規則的であってもよい。この場合、第１画素３０ａが存在する位置については、その第１画素３０ａの出力から決定された出力値ｚａと、その第１画素３０ａが属するブロック２００内の１つの第２画素３０ｂから決定された出力値ｚｂとを用いて、当該位置に対応する距離Ｌを算出する。また、第２画素３０ｂが存在する位置については、その第２画素３０ｂの出力から決定された出力値ｚｂと、その第２画素３０ｂの近傍に存在する第１画素３０ａの出力から決定された出力値ｚａとを用いて、当該位置に対応する距離Ｌを算出する。ここで、出力値ｚａ、ｚｂは単一の画素３０の出力から決定された値を用いてもよいし、第１の実施の形態のように、複数の画素３０の出力から決定された複数の値から決定された値（例えば平均値、中央値、最頻値等）を用いてもよい。つまり、ある位置に対応する距離Ｌを算出するための出力値ｚａ、ｚｂは、その近傍の画素３０から得られた出力値ｚａ、ｚｂの平均的な値（算出平均値、幾何平均値、中央値等）でよい。
【0129】
このように、第１画素３０ａを増やし、第２画素３０ｂを減らすことで、測距部１３ｃにより作成されるデプスマップデータの精度が高くなる。なお、図２（ｂ）や図１６（ｂ）のように、第１画素３０ａと第２画素３０ｂをそれぞれ撮像素子１２の撮像面２０の全体に略均一に分布配置することで、測距部１３ｃが距離Ｌを算出するために使用する位相差θａおよび位相差θｂに関する第１画素３０ａおよび第２画素３０ｂの対が互いに近傍に位置すること保証することができる。
【0130】
なお、第１の実施の形態において説明した通り、第１画素３０ａと第２画素３０ｂは、同一の構造を有している。そこで、ある画素３０が、あるときには第１画素３０ａとして機能し、また別のときには第２画素３０ｂとして機能するようにすることもできる。例えば、図１６（ａ）のようなレイアウトで第１画素３０ａと第２画素３０ｂとを配列したときに、被写体の特性に応じて第１画素３０ａと第２画素３０ｂとを入れ替えるようにしてもよい。
【0131】
（変形例２）
図７を用いて説明したように、第１の実施の形態では、第１周期Ｔａを４つの期間に分け、各々の期間における光電変換信号を出力信号Ｎ１～Ｎ４として出力するように、第１画素３０ａを構成していた。従って、例えば出力信号Ｎ１～Ｎ４を積算すれば、それは第１周期Ｔａの期間全てにおける光電変換信号となる。しかしながら、これとは異なる制御により得られた光電変換信号を出力信号Ｎ１～Ｎ４としても、上述した実施形態と同様にデプスマップデータを作成することができる。
図７を用いて説明したように、第１の実施の形態では、第１周期Ｔａを４つの期間に分け、各々の期間における光電変換信号を出力信号Ｎ１～Ｎ４として出力するように、第１画素３０ａを構成していた。従って、例えば出力信号Ｎ１～Ｎ４を積算すれば、それは第１周期Ｔａの期間全てにおける光電変換信号となる。しかしながら、これとは異なる制御により得られた光電変換信号を出力信号Ｎ１～Ｎ４としても、上述した実施形態と同様にデプスマップデータを作成することができる。
【0132】
図７を参照して説明すると、例えば、時刻ｔ２から１／４Ｔａの期間の最後の期間において、信号φＴＸ１をオンすれば、対応する光電変換信号を出力信号Ｎ１としてよい。必ずしも、時刻ｔ２から１／４Ｔａの期間の全てにおいて、信号φＴＸ１をオンしなくてもよい。信号φＴＸ２～φＴＸ４についても同様である。
【0133】
図１４を参照して別の例を説明する。例えば、信号φＴＸ１を送信第１変調光３ａの一周期（周期Ｔａ）の第２の四半周期にオンする信号とし、信号φＴＸ２を第４の四半周期にオンする信号とし、信号φＴＸ３を第３の四半周期にオンする信号とし、信号φＴＸ４を第１の四半周期にオンする信号とすることができる。この場合、出力信号Ｎ１、Ｎ２、Ｎ３、Ｎ４は、それぞれ第１の実施の形態における出力信号Ｎ１、Ｎ３、Ｎ２、Ｎ４と同様の信号になるので、第１の実施の形態と同様の演算を行えばよい。
【0134】
（変形例３）
図１４を用いて説明したように、第２の実施の形態では、信号φＴＸ３、φＴＸ４（制御信号ｇ３（ｔ）、ｇ４（ｔ））を、信号φＴＸ１、φＴＸ２（制御信号ｇ１（ｔ）、ｇ２（ｔ））に対して第１周期Ｔａの１／４だけ遅れた位相を有する信号としていた。しかしながら、信号φＴＸ３、φＴＸ４を、これとは異なる位相を有する信号とすることもできる。少なくとも、信号φＴＸ１、φＴＸ２に対して位相が異なっていればよい。
図１４を用いて説明したように、第２の実施の形態では、信号φＴＸ３、φＴＸ４（制御信号ｇ３（ｔ）、ｇ４（ｔ））を、信号φＴＸ１、φＴＸ２（制御信号ｇ１（ｔ）、ｇ２（ｔ））に対して第１周期Ｔａの１／４だけ遅れた位相を有する信号としていた。しかしながら、信号φＴＸ３、φＴＸ４を、これとは異なる位相を有する信号とすることもできる。少なくとも、信号φＴＸ１、φＴＸ２に対して位相が異なっていればよい。
【0135】
（変形例４）
上述した各実施形態において、送信第１変調光３ａおよび送信第２変調光３ｂは、互いに異なる周期の正弦波であった。これとは異なる形に変調された光を、送信第１変調光３ａおよび送信第２変調光３ｂとしてもよい。以下、そのような変調光３を用いる変形例について説明する。
上述した各実施形態において、送信第１変調光３ａおよび送信第２変調光３ｂは、互いに異なる周期の正弦波であった。これとは異なる形に変調された光を、送信第１変調光３ａおよび送信第２変調光３ｂとしてもよい。以下、そのような変調光３を用いる変形例について説明する。
【0136】
図１７は、変形例４に係る撮像素子１２の構成を示す回路図である。なお図１７では、第１画素３２ａと第２画素３２ｂの回路図のみを図示している。第１画素３２ａは、光電変換部３２と、第１読出部３３１と、第２読出部３３２とを備える。第２画素３２ｂは、光電変換部３２と、第３読出部３３３と、第４読出部３３４とを備える。
【0137】
図１８は、撮影動作を示すタイミングチャートである。変形例４において、送信第１変調光３ａおよび送信第２変調光３ｂの周期は、共に第２周期Ｔｂ（図４）である。送信第１変調光３ａは、その周期において、時刻ｔ２１から第１周期Ｔａ（図４）の１／２の期間だけ振幅Ａ１を有し、それ以外の期間は振幅がゼロである。送信第２変調光３ｂは、その周期において、時刻ｔ２１から第２周期Ｔｂの１／２の期間だけ振幅Ａ２を有し、それ以外の期間は振幅がゼロである。すなわち送信第１変調光３ａと送信第２変調光３ｂは、同一の周期を有しデューティ比が異なるパルス変調光である。
【0138】
第１変調光３ａと第２変調光３ｂとを重畳した変調光３は、図１８に示すように、時刻ｔ２１から時刻ｔ２２までの期間には振幅Ａ３（＝Ａ１＋Ａ２）を有し、時刻ｔ２２から時刻ｔ２４までの期間には振幅Ａ２を有する光となる。ここで、時刻ｔ２２は、時刻ｔ２１から第１周期Ｔａの１／２だけ後の時刻であり、時刻ｔ２４は、時刻ｔ２１から第２周期Ｔｂの１／２だけ後の時刻である。また、振幅Ａ１は振幅Ａ２よりも十分に大きいものとする。
【0139】
変形例４においては、時刻ｔ２１から第１周期Ｔａの１／２だけ後の時刻ｔ２２までの間、信号φＴＸ１がオンであり、信号φＴＸ２がオフである。また、時刻ｔ２２から第１周期Ｔａの１／２だけ後の時刻ｔ２３までの間、信号φＴＸ１がオフであり、信号φＴＸ２がオンである。
【0140】
他方、第２画素３０ｂに注目すると、時刻ｔ２１に、時刻ｔ２１から第２周期Ｔｂの１／２だけ後の時刻ｔ２４までの間、信号φＴＸ３がオンであり、信号φＴＸ４がオフである。また、時刻ｔ２４から第２周期Ｔｂの１／２だけ後の時刻ｔ２５までの間、信号φＴＸ３がオフであり、信号φＴＸ４がオンである。
【0141】
第１画素３２ａのフローティングディフュージョンＦＤ１には、反射光４のうち、図１８に網掛けで示す光２１０を光電変換した電荷が蓄積される。換言すると、第１画素３２ａから出力される出力信号Ｎ１は、図１８に網掛けで示す光２１０の量に基づく。同様に、第１画素３２ａから出力される出力信号Ｎ２は、図１８に網掛けで示す光２１１の量に基づく。送信第１変調光３ａと受信第１変調光４ａとの位相差θａがゼロである場合、反射光４のうち振幅がＡ１である部分を光電変換した電荷は、すべてフローティングディフュージョンＦＤ１に転送され、出力信号Ｎ１は出力信号Ｎ２よりも極めて大きくなる。位相差θａが大きくなるに従い、反射光４のうち振幅がＡ１である部分を光電変換した電荷がフローティングディフュージョンＦＤ２に転送される割合は大きくなっていく。つまり、出力信号Ｎ１と出力信号Ｎ２との比率を演算すれば、位相差θａを求めることができる。なお、第１画素３２ａは、反射光４のうち振幅がＡ１である部分だけでなく、振幅がＡ２である部分も光電変換する。しかしながら、振幅Ａ１を振幅Ａ２よりも十分に大きくすれば、出力信号Ｎ１および出力信号Ｎ２の量は、振幅がＡ１である部分の影響が支配的になり、振幅がＡ２である部分の影響は無視できる。
【0142】
第２画素３２ｂのフローティングディフュージョンＦＤ３には、反射光４のうち、図１８に網掛けで示す光２１２を光電変換した電荷が蓄積される。換言すると、第２画素３２ｂから出力される出力信号Ｎ３は、図１８に網掛けで示す光２１２の量に基づく。同様に、第２画素３２ｂから出力される出力信号Ｎ４は、図１８に網掛けで示す光２１３の量に基づく。送信第２変調光３ｂと受信第２変調光４ｂとの位相差θｂがゼロである場合、反射光４を光電変換した電荷は、すべてフローティングディフュージョンＦＤ３に転送され、出力信号Ｎ３は出力信号Ｎ４よりも極めて大きくなる。位相差θｂが大きくなるに従い、反射光４を光電変換した電荷がフローティングディフュージョンＦＤ４に転送される割合は大きくなっていく。つまり、出力信号Ｎ３と出力信号Ｎ４との比率を演算すれば、位相差θｂを求めることができる。なお、出力信号Ｎ３には、反射光４のうち振幅がＡ１である部分を光電変換した結果が反映される。しかしながら、振幅がＡ１である期間（送信第１変調光３ａのデューティ比）を十分小さくすれば、出力信号Ｎ３に対する振幅がＡ１である部分の影響は無視できるほど小さくなる。
【0143】
以上のように、変調光を第１の実施の形態や第２の実施の形態のように高周波変調光とするのではなく、変調光をパルス光とすることも可能である。
【0144】
（変形例５）
光源部１０が被写体２に放出する変調光３は、可視光でなく赤外光（例えば近赤外光）であってもよい。このようにすると、特に被写体２が人物である場合に、変調光３が目に見えず、被写体２が変調光３を煩わしく感じることがなく、円滑に撮影を行うことができる。
光源部１０が被写体２に放出する変調光３は、可視光でなく赤外光（例えば近赤外光）であってもよい。このようにすると、特に被写体２が人物である場合に、変調光３が目に見えず、被写体２が変調光３を煩わしく感じることがなく、円滑に撮影を行うことができる。
【0145】
（変形例６）
上述した実施の形態では、光源部１０を撮像装置１の筐体外部に設けていた（例えば図１）。光源部１０を撮像装置１の筐体内部に設けることもできる。例えば、光学系１１と撮像素子１２との間に斜めにハーフミラーを挿入し、ハーフミラーに対してｙ方向に変調光３を放出する光源部１０を設ける。このようにすると、光源部１０により放出された変調光３は、ハーフミラーで反射して光学系１１の方向、すなわち被写体２の方向に向かって進行する。反射光４は、光学系１１とハーフミラーを通過して撮像素子１２に入射する。このようにすることで、撮像装置１の筐体デザインの自由度が高くなる。
上述した実施の形態では、光源部１０を撮像装置１の筐体外部に設けていた（例えば図１）。光源部１０を撮像装置１の筐体内部に設けることもできる。例えば、光学系１１と撮像素子１２との間に斜めにハーフミラーを挿入し、ハーフミラーに対してｙ方向に変調光３を放出する光源部１０を設ける。このようにすると、光源部１０により放出された変調光３は、ハーフミラーで反射して光学系１１の方向、すなわち被写体２の方向に向かって進行する。反射光４は、光学系１１とハーフミラーを通過して撮像素子１２に入射する。このようにすることで、撮像装置１の筐体デザインの自由度が高くなる。
【0146】
（変形例７）
上述した実施の形態では、光源部１０は送信第１変調光３ａと送信第２変調光３ｂとから成る変調光３を被写体２に放出していたが、送信第１変調光３ａと送信第２変調光３ｂをそれぞれ別個に被写体２に放出てもよい。例えば、送信第１変調光３ａを放出する第１光源部と、送信第２変調光３ｂを放出する第２光源部とを、撮像装置１の異なる位置に設けてもよい。
上述した実施の形態では、光源部１０は送信第１変調光３ａと送信第２変調光３ｂとから成る変調光３を被写体２に放出していたが、送信第１変調光３ａと送信第２変調光３ｂをそれぞれ別個に被写体２に放出てもよい。例えば、送信第１変調光３ａを放出する第１光源部と、送信第２変調光３ｂを放出する第２光源部とを、撮像装置１の異なる位置に設けてもよい。
【0147】
（変形例８）
上述した実施の形態では、デプスマップデータと共に画像データを作成可能な撮像装置について説明したが、画像データの作成は行わなくてもよい。例えば、デプスマップデータのみを作成する測距装置としてもよい。
上述した実施の形態では、デプスマップデータと共に画像データを作成可能な撮像装置について説明したが、画像データの作成は行わなくてもよい。例えば、デプスマップデータのみを作成する測距装置としてもよい。
【0148】
（変形例９）
第２の実施の形態において、第１光電変換部１３２ａから出力信号Ｎ１および出力信号Ｎ２を読み出し、第２光電変換部１３２ｂから出力信号Ｎ３および出力信号Ｎ４を読み出すのではなく、第１光電変換部１３２ａから出力信号Ｎ１および出力信号Ｎ３を読み出し、第２光電変換部１３２ｂから出力信号Ｎ２および出力信号Ｎ４を読み出すようにしてもよい。また、第１光電変換部１３２ａから出力信号Ｎ１および出力信号Ｎ４を読み出し、第２光電変換部１３２ｂから出力信号Ｎ２および出力信号Ｎ３を読み出すようにしてもよい。
第２の実施の形態において、第１光電変換部１３２ａから出力信号Ｎ１および出力信号Ｎ２を読み出し、第２光電変換部１３２ｂから出力信号Ｎ３および出力信号Ｎ４を読み出すのではなく、第１光電変換部１３２ａから出力信号Ｎ１および出力信号Ｎ３を読み出し、第２光電変換部１３２ｂから出力信号Ｎ２および出力信号Ｎ４を読み出すようにしてもよい。また、第１光電変換部１３２ａから出力信号Ｎ１および出力信号Ｎ４を読み出し、第２光電変換部１３２ｂから出力信号Ｎ２および出力信号Ｎ３を読み出すようにしてもよい。
【0149】
（変形例１０）
第１の実施の形態では、図３に示したように、１列の画素３０に対して、出力信号Ｎ１～Ｎ４を出力するための４本の垂直信号線Ｖ１～Ｖ４を設けていたが、これを２本の垂直信号線Ｖ１，Ｖ３のみ設けるようにしてもよい。この場合、出力信号Ｎ１，Ｎ２は時分割的に垂直信号線Ｖ１に出力され、出力信号Ｎ３，Ｎ４は時分割的に垂直信号線Ｖ３に出力されることになる。同様に、垂直信号線Ｖ１のみを設け、出力信号Ｎ１～Ｎ４を時分割的に垂直信号線Ｖ１に出力するようにしてもよい。
第１の実施の形態では、図３に示したように、１列の画素３０に対して、出力信号Ｎ１～Ｎ４を出力するための４本の垂直信号線Ｖ１～Ｖ４を設けていたが、これを２本の垂直信号線Ｖ１，Ｖ３のみ設けるようにしてもよい。この場合、出力信号Ｎ１，Ｎ２は時分割的に垂直信号線Ｖ１に出力され、出力信号Ｎ３，Ｎ４は時分割的に垂直信号線Ｖ３に出力されることになる。同様に、垂直信号線Ｖ１のみを設け、出力信号Ｎ１～Ｎ４を時分割的に垂直信号線Ｖ１に出力するようにしてもよい。
【0150】
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
【符号の説明】
【0151】
１、１００…撮像装置、１０…光源部、１１…光学系、１２、１１２…撮像素子、１３、１１３…制御部、１３ａ…第１検出部、１３ｂ…第２検出部、１３ｃ…測距部、１３ｄ…画像作成部、１３ｅ…発光制御部、１３ｆ…焦点検出部、１３ｇ…焦点調節部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】