ホーム > 特許ランキング > 国立大学法人静岡大学
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022115580
(43)【公開日】2022-08-09
(54)【発明の名称】距離画像撮像装置及び距離画像を撮像する方法
(51)【国際特許分類】
G01S 17/894 20200101AFI20220802BHJP
G01S 17/32 20200101ALI20220802BHJP
【ＦＩ】
G01S17/894
G01S17/32
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2021012227
(22)【出願日】2021-01-28
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 開催日 令和２年１月２９日 集会名、開催場所 エレクトロニックイメージング２０２０（Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ ２０２０）ハイアット リージェンシー サンフランシスコ エアポート、１３３３ ベイショア ハイウェイ バーリンゲーム、カリフォルニア ユーエスエー（Ｈｙａｔｔ Ｒｅｇｅｎｃｙ Ｓａｎ Ｆｒａｎｃｉｓｃｏ Ａｉｒｐｏｒｔ、１３３３ Ｂａｙｓｈｏｒｅ Ｈｉｇｈｗａｙ Ｂｕｒｌｉｎｇａｍｅ，Ｃａｌｉｆｏｒｎｉａ ＵＳＡ） ［刊行物等］ ウェブサイトの掲載日 令和３年１月１１日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．３３９０／ｓ２１０２０４５４
(71)【出願人】
【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100124800
【弁理士】
【氏名又は名称】諏澤 勇司
(74)【代理人】
【識別番号】100170818
【弁理士】
【氏名又は名称】小松 秀輝
(72)【発明者】
【氏名】川人 祥二
(72)【発明者】
【氏名】キム ジュヨン
【テーマコード（参考）】
5J084
【Ｆターム（参考）】
5J084AA05
5J084AD02
5J084AD05
5J084BA02
5J084BA34
5J084BA36
5J084BA40
5J084CA07
5J084CA10
5J084CA29
5J084CA31
5J084CA44
5J084CA49
5J084CA53
5J084EA04
(57)【要約】
【課題】距離画像撮像装置の総合的な性能の向上を図る。
【解決手段】距離画像撮像装置１は、光源２と、受けた光に対応する電荷を生成するフォトダイオード１１と、画素回路部１０の動作を制御する周辺回路４と、を備える。周辺回路４は、第１浮遊拡散部ＦＤ１に蓄積される第１電荷量Ｑ１と第２浮遊拡散部ＦＤ２に蓄積される第２電荷量Ｑ２との大小関係に基づいて、第１転送制御パルスＳＧ１及び第２転送制御パルスＳＧ２を生成する。
【選択図】図１
【解決手段】距離画像撮像装置１は、光源２と、受けた光に対応する電荷を生成するフォトダイオード１１と、画素回路部１０の動作を制御する周辺回路４と、を備える。周辺回路４は、第１浮遊拡散部ＦＤ１に蓄積される第１電荷量Ｑ１と第２浮遊拡散部ＦＤ２に蓄積される第２電荷量Ｑ２との大小関係に基づいて、第１転送制御パルスＳＧ１及び第２転送制御パルスＳＧ２を生成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
パルス光を発生させる光源と、
受けた光に対応する電荷を生成する複数の画素回路部を含む画素回路部アレイと、
前記画素回路部アレイの動作を制御する転送制御パルスを前記画素回路部アレイに提供する周辺回路と、を備え、
前記画素回路部は、
光を前記電荷に変換する光電変換領域と、
前記光電変換領域から転送された前記電荷を第１電荷として蓄積する第１電荷読出領域と、
前記光電変換領域から前記第１電荷読出領域への前記電荷の転送を制御する第１転送制御パルスを受ける第１制御電極と、
前記光電変換領域から転送された前記電荷を第２電荷として蓄積する第２電荷読出領域と、
前記光電変換領域から前記第２電荷読出領域への前記電荷の転送を制御する第２転送制御パルスを受ける第２制御電極と、を有し、
前記周辺回路は、前記第１電荷読出領域に蓄積される前記第１電荷の量と前記第２電荷読出領域に蓄積される前記第２電荷の量との大小関係に基づいて、前記第１転送制御パルス及び前記第２転送制御パルスを生成する、距離画像撮像装置。
受けた光に対応する電荷を生成する複数の画素回路部を含む画素回路部アレイと、
前記画素回路部アレイの動作を制御する転送制御パルスを前記画素回路部アレイに提供する周辺回路と、を備え、
前記画素回路部は、
光を前記電荷に変換する光電変換領域と、
前記光電変換領域から転送された前記電荷を第１電荷として蓄積する第１電荷読出領域と、
前記光電変換領域から前記第１電荷読出領域への前記電荷の転送を制御する第１転送制御パルスを受ける第１制御電極と、
前記光電変換領域から転送された前記電荷を第２電荷として蓄積する第２電荷読出領域と、
前記光電変換領域から前記第２電荷読出領域への前記電荷の転送を制御する第２転送制御パルスを受ける第２制御電極と、を有し、
前記周辺回路は、前記第１電荷読出領域に蓄積される前記第１電荷の量と前記第２電荷読出領域に蓄積される前記第２電荷の量との大小関係に基づいて、前記第１転送制御パルス及び前記第２転送制御パルスを生成する、距離画像撮像装置。
【請求項2】
前記周辺回路は、
前記第１電荷に基づく第１電圧と前記第２電荷に基づく第２電圧との差分に関する演算値を出力する第１演算部と、
前記第１転送制御パルスおよび前記第２転送制御パルスを出力するタイミングを決定するための遅延時間を、前記演算値を用いて決定する第２演算部と、を有し、
前記周辺回路は、前記第１電荷及び前記第２電荷を蓄積する蓄積動作と、前記第１演算部の動作と、前記第２演算部の動作と、を繰り返す、請求項１に記載の距離画像撮像装置。
前記第１電荷に基づく第１電圧と前記第２電荷に基づく第２電圧との差分に関する演算値を出力する第１演算部と、
前記第１転送制御パルスおよび前記第２転送制御パルスを出力するタイミングを決定するための遅延時間を、前記演算値を用いて決定する第２演算部と、を有し、
前記周辺回路は、前記第１電荷及び前記第２電荷を蓄積する蓄積動作と、前記第１演算部の動作と、前記第２演算部の動作と、を繰り返す、請求項１に記載の距離画像撮像装置。
【請求項3】
前記第２演算部は、第ｎ回目（ｎは１以上の整数）の前記第２演算部の動作において、前記演算値が第１情報であるときに、第ｎ回目の前記蓄積動作のために用いた第ｎ回目の前記遅延時間を、さらに単位遅延時間だけ遅らせたものを、第ｎ＋１回目の前記蓄積動作のために用いる第ｎ＋１回目の前記遅延時間として決定する、請求項２に記載の距離画像撮像装置。
【請求項4】
前記第２演算部は、
第ｎ回目の前記第２演算部の動作において、前記演算値が第１情報であるときに制御変数に１を加える動作を行うカウンタと、
前記制御変数と単位遅延時間とを乗算して得た値を、第ｎ＋１回目の前記蓄積動作のために用いる第ｎ＋１回目の前記遅延時間として決定する遅延時間決定部と、を有する、請求項２又は３に記載の距離画像撮像装置。
第ｎ回目の前記第２演算部の動作において、前記演算値が第１情報であるときに制御変数に１を加える動作を行うカウンタと、
前記制御変数と単位遅延時間とを乗算して得た値を、第ｎ＋１回目の前記蓄積動作のために用いる第ｎ＋１回目の前記遅延時間として決定する遅延時間決定部と、を有する、請求項２又は３に記載の距離画像撮像装置。
【請求項5】
前記第１演算部は、前記第１電圧と前記第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目（ｍは２以上の整数）までの前記差分電圧の積分値に第ｍ回目の前記差分電圧を加算した結果を、第ｍ回目の前記差分電圧の積分値として求め、
前記第２演算部は、第ｍ回目の積分値が第２情報であるときに、第ｍ＋１回目の前記蓄積動作のために用いる第ｍ＋１回目の前記遅延時間を第１遅延時間とし、第ｍ回目の積分値が第１情報であるときに、第ｍ＋１回目の前記遅延時間を第２遅延時間として決定する、請求項２に記載の距離画像撮像装置。
前記第２演算部は、第ｍ回目の積分値が第２情報であるときに、第ｍ＋１回目の前記蓄積動作のために用いる第ｍ＋１回目の前記遅延時間を第１遅延時間とし、第ｍ回目の積分値が第１情報であるときに、第ｍ＋１回目の前記遅延時間を第２遅延時間として決定する、請求項２に記載の距離画像撮像装置。
【請求項6】
前記第１演算部は、第１回目から第ｍ－１回目までの差分電圧の積分値に第ｍ回目の前記差分電圧を加算した結果を、第ｍ回目の積分値として求める積分器を有し、
前記第２演算部は、第ｍ回目の積分値が第２情報であるときに第ｍ＋１回目の前記遅延時間として第１遅延時間を決定し、第ｍ回目の積分値が第１情報であるときに第ｍ＋１回目の前記遅延時間として第２遅延時間を決定する遅延時間決定部を有する、請求項２又は５に記載の距離画像撮像装置。
前記第２演算部は、第ｍ回目の積分値が第２情報であるときに第ｍ＋１回目の前記遅延時間として第１遅延時間を決定し、第ｍ回目の積分値が第１情報であるときに第ｍ＋１回目の前記遅延時間として第２遅延時間を決定する遅延時間決定部を有する、請求項２又は５に記載の距離画像撮像装置。
【請求項7】
前記第１演算部が出力する前記演算値をデジタル信号に変換し、前記デジタル信号を前記第２演算部に出力すると共に、前記第１演算部及び前記第２演算部と協働してデルタシグマ変調器を構成するＡ／Ｄ変換器と、
前記蓄積動作、前記第１演算部の動作、前記Ａ／Ｄ変換器の動作及び前記第２演算部の動作が繰り返されるごとに、前記Ａ／Ｄ変換器が出力する前記デジタル信号を受け、前記デジタル信号に対してローパスフィルタ処理とダウンサンプリングを行うデシメーションフィルタをさらに備える、請求項５または６に記載の距離画像撮像装置。
前記蓄積動作、前記第１演算部の動作、前記Ａ／Ｄ変換器の動作及び前記第２演算部の動作が繰り返されるごとに、前記Ａ／Ｄ変換器が出力する前記デジタル信号を受け、前記デジタル信号に対してローパスフィルタ処理とダウンサンプリングを行うデシメーションフィルタをさらに備える、請求項５または６に記載の距離画像撮像装置。
【請求項8】
前記デシメーションフィルタは、前記ローパスフィルタ処理のオーバーサンプリング比が、２Ｂ―１より大きく２Ｂより小さい整数であり、
Ｂはオーバーサンプリング比を表現可能な最小ビット数である、請求項７に記載の距離画像撮像装置。
Ｂはオーバーサンプリング比を表現可能な最小ビット数である、請求項７に記載の距離画像撮像装置。
【請求項9】
前記周辺回路は、
前記第１電荷及び前記第２電荷を蓄積する蓄積動作と、前記第２演算部が、第ｎ回目の前記第２演算部の動作において、前記演算値が第１情報であるときに、第ｎ回目の前記蓄積動作のために用いた第ｎ回目の前記遅延時間を、さらに単位遅延時間だけ遅らせたものを、第ｎ＋１回目の前記蓄積動作のために用いる第ｎ＋１回目の前記遅延時間として決定する動作と、を含む処理を繰り返す第１測定と、
前記蓄積動作と、前記第１演算部が、前記第１電圧と前記第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目までの前記差分電圧の積分値に第ｍ回目の前記差分電圧を加算した結果を、第ｍ回目の前記差分電圧の積分値として求める動作と、前記第２演算部が、第ｍ回目の積分値が第２情報であるときに第ｍ＋１回目の前記遅延時間として第１遅延時間を決定し、第ｍ回目の積分値が第１情報であるときに第ｍ＋１回目の前記遅延時間として第２遅延時間を決定する動作と、を含む処理を繰り返す第２測定と、を行う、請求項２に記載の距離画像撮像装置。
前記第１電荷及び前記第２電荷を蓄積する蓄積動作と、前記第２演算部が、第ｎ回目の前記第２演算部の動作において、前記演算値が第１情報であるときに、第ｎ回目の前記蓄積動作のために用いた第ｎ回目の前記遅延時間を、さらに単位遅延時間だけ遅らせたものを、第ｎ＋１回目の前記蓄積動作のために用いる第ｎ＋１回目の前記遅延時間として決定する動作と、を含む処理を繰り返す第１測定と、
前記蓄積動作と、前記第１演算部が、前記第１電圧と前記第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目までの前記差分電圧の積分値に第ｍ回目の前記差分電圧を加算した結果を、第ｍ回目の前記差分電圧の積分値として求める動作と、前記第２演算部が、第ｍ回目の積分値が第２情報であるときに第ｍ＋１回目の前記遅延時間として第１遅延時間を決定し、第ｍ回目の積分値が第１情報であるときに第ｍ＋１回目の前記遅延時間として第２遅延時間を決定する動作と、を含む処理を繰り返す第２測定と、を行う、請求項２に記載の距離画像撮像装置。
【請求項10】
前記第１演算部は、第１回目から第ｍ－１回目までの差分電圧の積分値に第ｍ回目の前記差分電圧を加算した結果を求める積分器を含み、
前記第２演算部は、
第ｎ回目の前記第２演算部の動作において、前記演算値が第１情報であるときに制御変数に１を加える動作を行うカウンタと、
前記制御変数と単位遅延時間とを乗算して得た値を、第ｎ＋１回目の前記蓄積動作のために用いる第ｎ＋１回目の前記遅延時間として決定する動作、又は、第ｍ回目の積分値が第２情報であるときに第ｍ＋１回目の前記遅延時間として第１遅延時間を決定し、第ｍ回目の積分値が第１情報であるときに第ｍ＋１回目の前記遅延時間として第２遅延時間を決定する動作を選択的に実行する遅延時間決定部と、を有する、請求項２又は９に記載の距離画像撮像装置。
前記第２演算部は、
第ｎ回目の前記第２演算部の動作において、前記演算値が第１情報であるときに制御変数に１を加える動作を行うカウンタと、
前記制御変数と単位遅延時間とを乗算して得た値を、第ｎ＋１回目の前記蓄積動作のために用いる第ｎ＋１回目の前記遅延時間として決定する動作、又は、第ｍ回目の積分値が第２情報であるときに第ｍ＋１回目の前記遅延時間として第１遅延時間を決定し、第ｍ回目の積分値が第１情報であるときに第ｍ＋１回目の前記遅延時間として第２遅延時間を決定する動作を選択的に実行する遅延時間決定部と、を有する、請求項２又は９に記載の距離画像撮像装置。
【請求項11】
前記第１演算部は、前記第１電圧と前記第２電圧との差分を差分電圧として出力する差動増幅器を含み、
前記差動増幅器は、
第１入力端、第２入力端、第３入力端、第１出力端及び第２出力端を有する演算増幅器と、
前記第１電荷読出領域から第１電荷を受けると共に、前記第１入力端及び前記第１出力端に接続された帰還キャパシタと、
前記第２電荷読出領域から第２電荷を受けると共に、前記第２入力端及び前記第２出力端に接続された帰還キャパシタと、
前記第３入力端、前記第１出力端及び前記第２出力端に接続され、前記第１出力端からの出力値と、前記第２出力端からの出力値と、の差分がコモン電圧と等しくなるように、前記第３入力端に信号を提供するコモンモード帰還制御部と、を含む、請求項４、６及び１０の何れか一項に記載の距離画像撮像装置。
前記差動増幅器は、
第１入力端、第２入力端、第３入力端、第１出力端及び第２出力端を有する演算増幅器と、
前記第１電荷読出領域から第１電荷を受けると共に、前記第１入力端及び前記第１出力端に接続された帰還キャパシタと、
前記第２電荷読出領域から第２電荷を受けると共に、前記第２入力端及び前記第２出力端に接続された帰還キャパシタと、
前記第３入力端、前記第１出力端及び前記第２出力端に接続され、前記第１出力端からの出力値と、前記第２出力端からの出力値と、の差分がコモン電圧と等しくなるように、前記第３入力端に信号を提供するコモンモード帰還制御部と、を含む、請求項４、６及び１０の何れか一項に記載の距離画像撮像装置。
【請求項12】
距離画像撮像装置を用いて距離画像を撮像する方法であって、
前記距離画像撮像装置は、
光を電荷に変換する光電変換領域と、
前記光電変換領域から転送された前記電荷を第１電荷として蓄積する第１電荷読出領域と、
前記光電変換領域から前記第１電荷読出領域への前記電荷の転送を制御する第１転送制御パルスを受ける第１制御電極と、
前記光電変換領域から転送された前記電荷を第２電荷として蓄積する第２電荷読出領域と、
前記光電変換領域から前記第２電荷読出領域への前記電荷の転送を制御する第２転送制御パルスを受ける第２制御電極と、を有し、
前記距離画像を撮像する方法は、
前記第１制御電極に与えられる第１転送制御パルスに基づいて前記第１電荷読出領域に前記第１電荷を蓄積すると共に、前記第２制御電極に与えられる第２転送制御パルスに基づいて前記第２電荷読出領域に前記第２電荷を蓄積する電荷蓄積工程と、
前記第１電荷の量と前記第２電荷の量との大小関係に基づいて、前記第１転送制御パルス及び前記第２転送制御パルスを生成するパルス生成工程と、
を有する、距離画像を撮像する方法。
前記距離画像撮像装置は、
光を電荷に変換する光電変換領域と、
前記光電変換領域から転送された前記電荷を第１電荷として蓄積する第１電荷読出領域と、
前記光電変換領域から前記第１電荷読出領域への前記電荷の転送を制御する第１転送制御パルスを受ける第１制御電極と、
前記光電変換領域から転送された前記電荷を第２電荷として蓄積する第２電荷読出領域と、
前記光電変換領域から前記第２電荷読出領域への前記電荷の転送を制御する第２転送制御パルスを受ける第２制御電極と、を有し、
前記距離画像を撮像する方法は、
前記第１制御電極に与えられる第１転送制御パルスに基づいて前記第１電荷読出領域に前記第１電荷を蓄積すると共に、前記第２制御電極に与えられる第２転送制御パルスに基づいて前記第２電荷読出領域に前記第２電荷を蓄積する電荷蓄積工程と、
前記第１電荷の量と前記第２電荷の量との大小関係に基づいて、前記第１転送制御パルス及び前記第２転送制御パルスを生成するパルス生成工程と、
を有する、距離画像を撮像する方法。
【請求項13】
前記パルス生成工程は、
前記第１電荷に基づく第１電圧と前記第２電荷に基づく第２電圧との差分に関する演算値を出力する演算工程と、
前記第１転送制御パルスおよび前記第２転送制御パルスを出力するタイミングを決定するための遅延時間を、前記演算値を用いて決定する遅延時間決定工程と、を含み、
前記電荷蓄積工程及び前記パルス生成工程を繰り返す、請求項１２に記載の距離画像を撮像する方法。
前記第１電荷に基づく第１電圧と前記第２電荷に基づく第２電圧との差分に関する演算値を出力する演算工程と、
前記第１転送制御パルスおよび前記第２転送制御パルスを出力するタイミングを決定するための遅延時間を、前記演算値を用いて決定する遅延時間決定工程と、を含み、
前記電荷蓄積工程及び前記パルス生成工程を繰り返す、請求項１２に記載の距離画像を撮像する方法。
【請求項14】
前記遅延時間決定工程は、第ｎ回目の前記演算工程において、前記演算値が第１情報であるときに、第ｎ回目の前記電荷蓄積工程のために用いた第ｎ回目の前記遅延時間を、さらに単位遅延時間だけ遅らせたものを、第ｎ＋１回目の前記電荷蓄積工程のために用いる第ｎ＋１回目の前記遅延時間として決定する工程を含む、請求項１３に記載の距離画像を撮像する方法。
【請求項15】
前記遅延時間決定工程は、
前記第１電圧と前記第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目までの前記差分電圧の積分値に第ｍ回目の前記差分電圧を加算した結果を、第ｍ回目の前記差分電圧の積分値として求める工程と、
第ｍ回目の積分値が第２情報であるときに、第ｍ＋１回目の前記電荷蓄積工程のために用いる第ｍ＋１回目の前記遅延時間を第１遅延時間とし、第ｍ回目の積分値が第１情報であるときに、第ｍ＋１回目の前記遅延時間を第２遅延時間として決定する工程と、を含む、請求項１３に記載の距離画像を撮像する方法。
前記第１電圧と前記第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目までの前記差分電圧の積分値に第ｍ回目の前記差分電圧を加算した結果を、第ｍ回目の前記差分電圧の積分値として求める工程と、
第ｍ回目の積分値が第２情報であるときに、第ｍ＋１回目の前記電荷蓄積工程のために用いる第ｍ＋１回目の前記遅延時間を第１遅延時間とし、第ｍ回目の積分値が第１情報であるときに、第ｍ＋１回目の前記遅延時間を第２遅延時間として決定する工程と、を含む、請求項１３に記載の距離画像を撮像する方法。
【請求項16】
前記遅延時間決定工程は、
第ｎ回目の前記演算工程において、前記演算値が第１情報であるときに、第ｎ回目の前記電荷蓄積工程のために用いた第ｎ回目の前記遅延時間を、さらに単位遅延時間だけ遅らせたものを、第ｎ＋１回目の前記電荷蓄積工程のために用いる第ｎ＋１回目の前記遅延時間として決定する工程と、
前記第１電圧と前記第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目までの前記差分電圧の積分値に第ｍ回目の前記差分電圧を加算した結果を、第ｍ回目の前記差分電圧の積分値として求める工程と、
第ｍ回目の積分値が第２情報であるときに、第ｍ＋１回目の前記電荷蓄積工程のために用いる第ｍ＋１回目の前記遅延時間を第１遅延時間とし、第ｍ回目の積分値が第１情報であるときに、第ｍ＋１回目の前記遅延時間を第２遅延時間として決定する工程と、を含む、請求項１３に記載の距離画像を撮像する方法。
第ｎ回目の前記演算工程において、前記演算値が第１情報であるときに、第ｎ回目の前記電荷蓄積工程のために用いた第ｎ回目の前記遅延時間を、さらに単位遅延時間だけ遅らせたものを、第ｎ＋１回目の前記電荷蓄積工程のために用いる第ｎ＋１回目の前記遅延時間として決定する工程と、
前記第１電圧と前記第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目までの前記差分電圧の積分値に第ｍ回目の前記差分電圧を加算した結果を、第ｍ回目の前記差分電圧の積分値として求める工程と、
第ｍ回目の積分値が第２情報であるときに、第ｍ＋１回目の前記電荷蓄積工程のために用いる第ｍ＋１回目の前記遅延時間を第１遅延時間とし、第ｍ回目の積分値が第１情報であるときに、第ｍ＋１回目の前記遅延時間を第２遅延時間として決定する工程と、を含む、請求項１３に記載の距離画像を撮像する方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離画像撮像装置及び距離画像を撮像する方法に関する。
【背景技術】
【0002】
距離画像撮像装置は、距離画像を出力する。距離画像は、撮像対象物までの距離情報を有する。距離画像撮像装置は、測定光を撮像対象物に出射する。測定光は、撮像対象物において反射されて、再び距離画像撮像装置に入射する。測定光を出射したタイミングと撮像対象物からの反射光が入射したタイミングとを利用すると、測定光が距離画像撮像装置から撮像対象物へ到達するために要した時間がわかる。この時間は、光飛行時間とも称する。光飛行時間と光の速度とを利用すれば、距離画像撮像装置から撮像対象物までの距離がわかる。このような距離測定の手法は、タイムオブフライト測定法（ＴＩＭＥ ＯＦ ＦＬＩＧＨＴ）と呼ばれている。そして、このような距離測定の手法に基づく距離画像測定装置は、ＴＯＦセンサとも称される。特許文献１～５は、ＴＯＦセンサに関する技術を開示する。
【0003】
ＴＯＦセンサには、いわゆる直接型ＴＯＦセンサと間接型ＴＯＦセンサがある。直接型ＴＯＦセンサは、光飛行時間を直接に測定する。例えば、特許文献６、７は、直接型ＴＯＦセンサに関する技術を開示する。間接型ＴＯＦセンサは、反射光により生成される電荷を複数の領域に時間ごとに振り分ける。そして、領域ごとに蓄積された電荷の比率を利用して、光飛行時間を得る。例えば、特許文献８～１０は、間接型ＴＯＦセンサに関する技術を開示する。間接型ＴＯＦセンサは、直接型ＴＯＦセンサと比べると、画素サイズが小さくできること、回路を単純にできること、距離の分解能が高いといったいくつかの有利な点を有する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－０８２３３１号公報
【特許文献2】特開２０１６－０９０４３６号公報
【特許文献3】再表２０１６／０７５８８５号公報
【特許文献4】特開２００８－０７６３９０号公報
【特許文献5】特開平０６－０６６９４０号公報
【特許文献6】特開平０７－１９１１４４号公報
【特許文献7】特開平０８－３１３６３１号公報
【特許文献8】国際公開第２０１９／０７８３６６号
【特許文献9】国際公開第２０１９／０３１５１０号
【特許文献10】国際公開第２０１６／１３３０５３号
【発明の概要】
【発明が解決しようとする課題】
【0005】
間接型ＴＯＦセンサの性能を示す特性には、距離の分解能や、距離と出力信号との線形性などが挙げられる。当該分野にあっては、これらの指標を含む総合的な性能の向上が望まれている。例えば、距離の分解能を高めるためには、測定光の照射時間を短くすればよい。つまり、短いパルス状の測定光を照射すればよい。一方、より短いパルスを用いることは、距離分解能を改善するために有効であるが、画素のソースフォロワ増幅器の非線形性、光パルスの波形の歪、フォトダイオード内の有限な光キャリア応答時間、復調のための転送制御パルスの歪、及び、転送制御パルスのスキューなどが、解決すべき大きな課題となってくる。その結果、線形性が損なわれる可能性がある。つまり、ある特性を向上させようとすると、別の特性を低下させてしまうことがあり得る。そこで、発明者らは、間接型ＴＯＦセンサについて総合的に性能を向上することが可能な技術の検討を行った。
【0006】
本発明は、総合的な性能の向上が可能な距離画像撮像装置及び距離画像を撮像する方法を提供する。
【課題を解決するための手段】
【0007】
本発明の一形態である距離画像撮像装置は、パルス光を発生させる光源と、受けた光に対応する電荷を生成する複数の画素回路部を含む画素回路部アレイと、画素回路部アレイの動作を制御する転送制御パルスを画素回路部アレイに提供する周辺回路と、を備える。画素回路部は、光を電荷に変換する光電変換領域と、光電変換領域から転送された電荷を第１電荷として蓄積する第１電荷読出領域と、光電変換領域から第１電荷読出領域への電荷の転送を制御する第１転送制御パルスを受ける第１制御電極と、光電変換領域から転送された電荷を第２電荷として蓄積する第２電荷読出領域と、光電変換領域から第２電荷読出領域への電荷の転送を制御する第２転送制御パルスを受ける第２制御電極と、を有する。周辺回路は、第１電荷読出領域に蓄積される第１電荷の量と第２電荷読出領域に蓄積される第２電荷の量との大小関係に基づいて、第１転送制御パルス及び第２転送制御パルスを生成する。
【0008】
この装置によれば光飛行時間に関する電荷量の差分から得た演算値に基づいて、転送制御パルスのタイミングを制御する。その結果、電荷読出領域ごとの電荷量の偏りを小さくすることが可能になるので、総合的な性能の向上が望める。
【0009】
周辺回路は、第１電荷に基づく第１電圧と第２電荷に基づく第２電圧との差分に関する演算値を出力する第１演算部と、第１転送制御パルスおよび第２転送制御パルスを出力するタイミングを決定するための遅延時間を、演算値を用いて決定する第２演算部と、を有してもよい。周辺回路は、第１電荷及び第２電荷を蓄積する蓄積動作と、第１演算部の動作と、第２演算部の動作と、を繰り返してもよい。この構成によっても、電荷読出領域ごとの電荷量の偏りを小さくすることが可能になる。その結果、総合的な性能の向上が望める。
【0010】
第２演算部は、第ｎ回目の第２演算部の動作において、演算値が第１情報であるときに、第ｎ回目の蓄積動作のために用いた第ｎ回目の遅延時間を、さらに単位遅延時間だけ遅らせたものを、第ｎ＋１回目の蓄積動作のために用いる第ｎ＋１回目の遅延時間として決定してもよい。この動作によれば、電荷量の偏りを好適に抑制できる。
【0011】
第２演算部は、第ｎ回目の第２演算部の動作において、演算値が第１情報であるときに制御変数に１を加える動作を行うカウンタと、制御変数と単位遅延時間とを乗算して得た値を、第ｎ＋１回目の蓄積動作のために用いる第ｎ＋１回目の遅延時間として決定する遅延時間決定部と、を有してもよい。この構成によれば、電荷量の偏りを好適に抑制できる。
【0012】
第１演算部は、第１電圧と第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目までの差分電圧の積分値に第ｍ回目の差分電圧を加算した結果を、第ｍ回目の差分電圧の積分値として求めてもよい。第２演算部は、第ｍ回目の積分値が第２情報であるときに、第ｎ＋１回目の蓄積動作のために用いる第ｎ＋１回目の遅延時間を第１遅延時間とし、第ｍ回目の積分値が第１情報であるときに、第ｍ＋１回目の遅延時間を第２遅延時間として決定してもよい。この動作によれば、単位遅延時間に起因する誤差が抑制された光飛行時間を得ることができる。
【0013】
第１演算部は、第１回目から第ｍ－１回目までの差分電圧の積分値に第ｍ回目の差分電圧を加算した結果を、第ｍ回目の積分値として求める積分器を有してもよい。第２演算部は、第ｍ回目の積分値が第２情報であるときに第ｍ＋１回目の遅延時間として第１遅延時間を決定し、第ｍ回目の積分値が第１情報であるときに第ｍ＋１回目の遅延時間として第２遅延時間を決定する遅延時間決定部を有してもよい。この構成によれば、単位遅延時間に起因する誤差が抑制された光飛行時間を得ることができる。
【0014】
距離画像撮像装置は、第１演算部が出力する演算値をデジタル信号に変換し、デジタル信号を第２演算部に出力すると共に、第１演算部及び第２演算部と協働してデルタシグマ変調器を構成するＡ／Ｄ変換器と、蓄積動作、第１演算部の動作、Ａ／Ｄ変換器の動作及び第２演算部の動作が繰り返されるごとに、Ａ／Ｄ変換器が出力するデジタル信号を受け、デジタル信号に対してローパスフィルタ処理とダウンサンプリングを行うデシメーションフィルタをさらに備えてもよい。
【0015】
デシメーションフィルタは、ローパスフィルタ処理のオーバーサンプリング比が、２Ｂ―１より大きく２Ｂより小さい整数であってもよい。Ｂはオーバーサンプリング比を表現可能な最小ビット数であってもよい。
【0016】
周辺回路は、第１電荷及び第２電荷を蓄積する蓄積動作と、第２演算部が、第ｎ回目の第２演算部の動作において、演算値が第１情報であるときに、第ｎ回目の蓄積動作のために用いた第ｎ回目の遅延時間を、さらに単位遅延時間だけ遅らせたものを、第ｎ＋１回目の蓄積動作のために用いる第ｎ＋１回目の遅延時間として決定する動作と、を含む処理を繰り返す第１測定と、蓄積動作と、第１演算部が、第１電圧と第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目までの差分電圧の積分値に第ｍ回目の差分電圧を加算した結果を、第ｍ回目の差分電圧の積分値として求める動作と、第２演算部が、第ｍ回目の積分値が第２情報であるときに第ｍ＋１回目の遅延時間として第１遅延時間を決定し、第ｍ回目の積分値が第１情報であるときに第ｍ＋１回目の遅延時間として第２遅延時間を決定する動作と、を含む処理を繰り返す第２測定と、を行ってもよい。この動作によるループによれば、第１測定でおおよその光飛行時間を測定でき、その結果をもって第２測定で精密な光飛行時間を測定することができる。
【0017】
第１演算部は、第１回目から第ｍ－１回目までの差分電圧の積分値に第ｍ回目の差分電圧を加算した結果を求める積分器を含んでもよい。第２演算部は、第ｎ回目の第２演算部の動作において、演算値が第１情報であるときに制御変数に１を加える動作を行うカウンタと、制御変数と単位遅延時間とを乗算して得た値を、第ｎ＋１回目の蓄積動作のために用いる第ｎ＋１回目の遅延時間として決定する動作、又は、第ｍ回目の積分値が第２情報であるときに第ｍ＋１回目の遅延時間として第１遅延時間を決定し、第ｍ回目の積分値が第１情報であるときに第ｍ＋１回目の遅延時間として第２遅延時間を決定する動作を選択的に実行する遅延時間決定部と、を有してもよい。この構成によるループによれば、第１測定でおおよその光飛行時間を測定でき、その結果をもって第２測定で精密な光飛行時間を測定することができる。
【0018】
第１演算部は、第１電圧と第２電圧との差分を差分電圧として出力する差動増幅器を含んでもよい。差動増幅器は、第１入力端、第２入力端、第３入力端、第１出力端及び第２出力端を有する演算増幅器と、第１電荷読出領域から第１電荷を受けると共に、第１入力端及び第１出力端に接続された帰還キャパシタと、第２電荷読出領域から第２電荷を受けると共に、第２入力端及び第２出力端に接続された帰還キャパシタと、第３入力端、第１出力端及び第２出力端に接続され、第１出力端からの出力値と、第２出力端からの出力値と、の差分がコモン電圧と等しくなるように、第３入力端に信号を提供するコモンモード帰還制御部と、を含んでもよい。
【0019】
本発明の別の形態である距離画像撮像装置を用いて距離画像を撮像する方法は、第１制御電極に与えられる第１転送制御パルスに基づいて第１電荷読出領域に第１電荷を蓄積すると共に、第２制御電極に与えられる第２転送制御パルスに基づいて第２電荷読出領域に第２電荷を蓄積する電荷蓄積工程と、第１電荷の量と第２電荷の量との大小関係に基づいて、第１転送制御パルス及び第２転送制御パルスを生成するパルス生成工程と、を有する。
【0020】
この方法によれば光飛行時間に関する電荷量の差分から得た演算値に基づいて、転送制御パルスのタイミングを制御する。その結果、電荷読出領域ごとの電荷量の偏りを小さくすることが可能になるので、総合的な性能の向上が望める。
【0021】
パルス生成工程は、第１電荷に基づく第１電圧と第２電荷に基づく第２電圧との差分に関する演算値を出力する演算工程と、第１転送制御パルスおよび第２転送制御パルスを出力するタイミングを決定するための遅延時間を、演算値を用いて決定する遅延時間決定工程と、を含んでもよい。電荷蓄積工程及びパルス生成工程を繰り返してもよい。この方法によれば、電荷量の偏りを好適に抑制できる。
【0022】
遅延時間決定工程は、第ｎ回目の演算工程において、演算値が第１情報であるときに、第ｎ回目の電荷蓄積工程のために用いた第ｎ回目の遅延時間を、さらに単位遅延時間だけ遅らせたものを、第ｎ＋１回目の電荷蓄積工程のために用いる第ｎ＋１回目の遅延時間として決定する工程を含んでもよい。この方法によれば、電荷量の偏りを好適に抑制できる。
【0023】
遅延時間決定工程は、第１電圧と第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目までの差分電圧の積分値に第ｍ回目の差分電圧を加算した結果を、第ｍ回目の差分電圧の積分値として求める工程と、第ｍ回目の積分値が第２情報であるときに、第ｍ＋１回目の電荷蓄積工程のために用いる第ｍ＋１回目の遅延時間を第１遅延時間とし、第ｍ回目の積分値が第１情報であるときに、第ｍ＋１回目の遅延時間を第２遅延時間として決定する工程と、を含んでもよい。この方法によれば、単位遅延時間に起因する誤差が抑制された光飛行時間を得ることができる。
【0024】
遅延時間決定工程は第ｎ回目の演算工程において、演算値が第１情報であるときに、第ｎ回目の電荷蓄積工程のために用いた第ｎ回目の遅延時間を、さらに単位遅延時間だけ遅らせたものを、第ｎ＋１回目の電荷蓄積工程のために用いる第ｎ＋１回目の遅延時間として決定する工程と、第１電圧と第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目までの差分電圧の積分値に第ｍ回目の差分電圧を加算した結果を、第ｍ回目の差分電圧の積分値として求める工程と、第ｍ回目の積分値が第２情報であるときに、第ｍ＋１回目の電荷蓄積工程のために用いる第ｍ＋１回目の遅延時間を第１遅延時間とし、第ｍ回目の積分値が第１情報であるときに、第ｍ＋１回目の遅延時間を第２遅延時間として決定する工程と、を含んでもよい。この方法によるループによれば、おおよその光飛行時間を測定でき、その結果をもって精密な光飛行時間を測定することができる。
【発明の効果】
【0025】
本発明の距離画像撮像装置及び距離画像を撮像する方法は、総合的な性能の向上を図ることができる。
【図面の簡単な説明】
【0026】
【発明を実施するための形態】
【0027】
以下、添付図面を参照しながら本発明を実施するための形態を詳細に説明する。図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【0028】
図１に示す距離画像撮像装置１は、距離画像を得る。距離画像とは、距離画像撮像装置１から対象物１００までの距離情報を含む画像である。距離画像撮像装置１は、対象物１００に向けて照射光Ｌ１（測定光）を出射する。照射光Ｌ１は、対象物１００の表面において反射する。反射した反射光Ｌ２は、距離画像撮像装置１に入射する。距離画像撮像装置１は、照射光Ｌ１を出射したタイミングと反射光Ｌ２を受けたタイミングとの時間差を得る。この時間差は、光飛行時間とも称される。光飛行時間は、照射光Ｌ１が対象物１００に到達し、さらに対象物１００から距離画像撮像装置１に到達するまでに要した時間である。つまり、光飛行時間は、距離画像撮像装置１から対象物１００までの距離に応じて決まる。従って、光飛行時間を得ることにより、距離画像撮像装置１から対象物１００までの距離を得ることができる。
【0029】
まず、距離測定の原理を説明する。図３は、距離画像撮像装置１の原理を示す図である。距離画像撮像装置１は、光飛行時間を間接的に測定する。距離画像撮像装置１は、電荷を蓄積する複数個の領域を有する。距離画像撮像装置１は、光の入射によって光電変換領域に生じた電荷を、それぞれの蓄積領域に振り分ける。この振り分けは、光電変換領域から蓄積領域への電荷の転送を制御するゲートによって行われる。第１期間において第１蓄積領域に電荷を転送する。第１期間において、第２蓄積領域には電荷を転送しない。そして、第１期間に続く第２期間において第１蓄積領域への電荷の転送を停止すると共に、第２蓄積領域へ電荷を転送する。第１期間と第２期間の時間ＴＷと、第１蓄積領域の第１電荷量Ｑ１と第２蓄積領域の第２電荷量Ｑ２の比率を利用すると、光飛行時間を得ることができる。
【0030】
ここで、照射光Ｌ１を出射するタイミングと、第１蓄積領域への電荷転送期間との時間的な関係は、変化しないと仮定する。また、第２蓄積領域への電荷転送期間についても同様に、時間的な関係は変化しないと仮定する。この仮定のもとに、距離画像撮像装置１を動作させる。図４（ａ）に示すように、対象物１００までの距離が近い場合には、照射光Ｌ１を出射してから反射光Ｌ２が入射するまでの時間が短い。従って、第１転送制御パルスＳＧ１によって動作する第１蓄積領域における第１電荷量Ｑ１は多くなる。一方、第２転送制御パルスＳＧ２によって動作する第２蓄積領域における第２電荷量Ｑ２は少なくなる。図４（ｂ）に示すように、対象物１００までの距離が遠い場合には、照射光Ｌ１を出射してから反射光Ｌ２が入射するまでの時間が長い。従って、第１電荷量Ｑ１は少なくなる。一方、第２電荷量Ｑ２は多くなる。つまり、対象物１００までの距離が長くなるほど、第１電荷量Ｑ１が減少し、第２電荷量Ｑ２が増加する。
【0031】
第１蓄積領域及び第２蓄積領域へ電荷を蓄積する蓄積動作を実施するときには、反射光Ｌ２に起因しない電荷も蓄積されてしまう。つまり、蓄積領域に蓄積された電荷には、反射光Ｌ２に起因する電荷と反射光Ｌ２に起因しない電荷とがある。このような反射光Ｌ２に起因しない電荷は、ノイズ成分となる。ノイズ成分は、電荷を蓄積するときだけでなく、電荷を読み出すときにも発生することがある。
【0032】
そうすると、反射光Ｌ２に起因する電荷量が少ない場合には、反射光Ｌ２に起因しない電荷量の割合が相対的に大きくなる。その結果、距離の分解能の低下といった距離画像撮像装置１の性能に影響を及ぼす。この問題は、距離画像撮像装置１の測定範囲の上限又は下限に近付くに従って大きくなる。つまり、従来の距離画像撮像装置で採用されていたように、第１蓄積領域及び第２蓄積領域への転送のタイミングが常に一定であると、対象物１００までの距離によっては、一方の蓄積領域に蓄積される電荷量が非常に少なくなる。その結果、距離分解能の低下を招いていた。
【0033】
上記の問題を解決するため、発明者らが鋭意検討した結果、照射光Ｌ１を出射するタイミングと第１蓄積領域への電荷の転送期間との時間的な関係を変化させることによって解決できることに想到した。つまり、第１転送制御ゲートＧ１及び第２転送制御ゲートＧ２を開くタイミングは、照射光Ｌ１の出射のタイミングに対して固定することなく、可変とする。さらに、第１転送制御ゲートＧ１及び第２転送制御ゲートＧ２を開くタイミングは、第１転送制御ゲートＧ１によって転送される第１電荷量Ｑ１と第２転送制御ゲートＧ２によって転送される第２電荷量Ｑ２の大小関係に応じて制御することに想到した。
【0034】
電荷量の大小関係に応じた制御によれば、第１電荷量Ｑ１と第２電荷量Ｑ２との偏りを小さくする、つまり、電荷量の差分を小さくするような動作が可能になる。その結果、ノイズの影響を抑制することができる。さらに、電荷量の大小関係に応じた制御によれば、いわゆるデルタシグマ変調技術を適用することも可能である。デルタシグマ変調技術によれば、量子化誤差を低減することができる。つまり、蓄積される電荷の偏りの解消と、デルタシグマ変調技術の導入による量子化誤差の低減により、測定範囲の全域にわたって距離分解能を向上させることが可能となる。
【0035】
さらに、電荷量の大小関係を用いた制御では、電荷量の大小関係に応じて電荷を転送するタイミングを制御するというフィードバックループを構成する。まず、蓄積領域に蓄積された電荷量の差分をアナログ電圧の差分に変換する。次に、アナログ電圧の差分を二値のデジタル値に変換する。次に、デジタル値を用いて電荷を転送するタイミングを決める。決定されたタイミングに基づき画素を動作させると、再び蓄積領域に電荷が蓄積される。このフィードバックループでは、デジタル値を用いて電荷を転送するタイミングを決める点に技術的な特徴がある。つまり、デジタル値を時間に変換している。発明者らは、この技術を「時間領域フィードバック制御」と名付けた。
【0036】
電荷量の大小関係に応じて電荷を転送する制御は、２つの態様を取り得る。
【0037】
第１の態様では、電荷量の差分を減少させることを制御の目標とする。第１の態様によれば、既知のずれを含むおおよその光飛行時間を得ることができる。第１の態様によりおおよその光飛行時間を得る測定を、発明者らは、「Ｃｏａｒｓｅ測定」と名付けた。以下の説明では、単に「Ｃ測定」（第１測定）とも称する。
【0038】
図５は、Ｃ測定を説明するための図である。図５には、４回のフィードバック動作が行われる例を示している。照射光Ｌ１の出射期間と反射光Ｌ２の入射期間との時間的なずれは、反射光Ｌ２を生じた対象物１００までの距離に対応する。
【0039】
１回目の動作（ｎ＝１）では、第１転送期間の終了を照射光Ｌ１の出射期間における中点に一致させる。第１転送期間の終了は、第２転送期間の開始と一致する。従って、第２転送期間の開始も出射期間における中点に一致する。このような第１転送期間及び第２転送期間をもって、反射光Ｌ２を受け入れる。なお、以下の説明において、反射光Ｌ２を受け入れて電荷を発生させる動作を、「露光動作」とも称する。１回目の露光動作では、反射光Ｌ２の入射期間は、第１転送期間には重複せず、第２転送期間の一部に重複する。１回目の露光動作の結果、第１蓄積領域の第１電荷量Ｑ１は、第２蓄積領域の第２電荷量Ｑ２より少ないという結果が得られる。電荷量の差分（＝第２電荷量Ｑ２－第１電荷量Ｑ１）で評価した場合には、符号がプラス（正）であるといえる。
【0040】
この結果に基づき、２回目（ｎ＝２）の露光動作における第１転送期間及び第２転送期間を設定する。電荷量の差分がプラスであるとき、第１転送期間及び第２転送期間を当初のタイミングから、単位遅延時間ΔｔＤだけ遅らせる。２回目の露光動作では、１回目の露光動作から単位遅延時間ΔｔＤだけ遅れたタイミングで第１転送期間及び第２転送期間が設定される。２回目の露光動作では、反射光Ｌ２の入射期間は、第１転送期間には重複せず、第２転送期間の全期間に重複する。その結果、電荷量の差分の符号は、未だプラスである。
【0041】
３回目（ｎ＝３）の露光動作では、２回目の露光動作のタイミングからさらに単位遅延時間ΔｔＤだけ第１転送期間及び第２転送期間を遅らせる。つまり、１回目の露光動作から２ΔｔＤだけ遅れている。３回目の露光動作では、反射光Ｌ２の入射期間は、第１転送期間の一部に重複し、第２転送期間の一部にも重複する。第２転送期間の重複期間が、第１転送期間の重複期間より長い。従って、電荷量の差分の符号は、未だプラスである。
【0042】
４回目（ｎ＝４）の露光動作では、３回目の露光動作のタイミングからさらに単位遅延時間ΔｔＤだけ第１転送期間及び第２転送期間を遅らせる。つまり、１回目の露光動作から３ΔｔＤだけ遅れている。４回目の露光動作では、反射光Ｌ２の入射期間は、第１転送期間の一部に重複し、第２転送期間の一部にも重複する。第１転送期間の重複期間が、第２転送期間の重複期間より長い。従って、電荷量の差分の符号は、マイナスである。
【0043】
ここで、第１転送期間に蓄積される第１電荷量Ｑ１と第２転送期間に蓄積される第２電荷量Ｑ２とが等しいとき、第１転送期間の終了は反射光Ｌ２の入射期間の中央に一致するといえる。照射光Ｌ１の照射タイミング（開始、中央又は終了）が既知であり、電荷量の差分がゼロとなる第１転送期間及び第２転送期間のタイミングがわかると、照射光Ｌ１に対する反射光Ｌ２の入射タイミングがわかる。つまり、光飛行時間がわかる。
【0044】
上述の１回目から４回目までの動作では、単位遅延時間ΔｔＤ毎に第１転送期間及び第２転送期間をずらした。そうすると、電荷量の差分がゼロとなる場合も生じるが、電荷量の差分がゼロとならないことも生じる。しかし、電荷量の差分の符号がプラスであったタイミングと、電荷量の差分の符号がマイナスであったタイミングと、の間に差分がゼロになるタイミングが存在することはわかる。
【0045】
そこで、差分の符号が切り替わる遅延時間を探索することにより、おおよその光飛行時間を得ることができる。この「おおよそ」とは、最大値として単位遅延時間ΔｔＤに相当する誤差を含み得ることを意味する。Ｃ測定に用いられる負帰還は、電荷量の差分に基づくデジタル値を時間へ変換する。変換された時間は、第１転送期間及び第２転送期間のための転送制御パルスの遅延時間に対応する。電荷量の差分を減少させる制御は、換言すると、転送制御パルスの遅延時間と光飛行時間との差分を減少させる負帰還制御ということもできる。このような制御によれば、アナログ読出回路の動作点を一定に維持することが可能になる。その結果、直線性を効果的に改善できる。
【0046】
Ｃ測定の結果は、遅延時間と、当該遅延時間の動作によって得た電荷量の差分と、を含む。Ｃ測定の結果は、次に説明するＦ測定の処理に用いる。
【0047】
電荷量の大小関係に応じて電荷を転送する制御における第２態様について説明する。第２態様では、露光動作を繰り返すごとに電荷量の差分を積分する。この態様において、各回の露光動作ごとに第１転送期間及び第２転送期間に対して付与する遅延時間を変更する。付与する遅延時間の変更は、電荷量の差分を積分した結果によって決める。積分の結果は、０又は１の二値のデジタル値に変換される。複数回の露光動作を繰り返すと、０又は１によって表現された情報が得られる。０が現れる回数及び１が現れる回数は、真の光飛行時間に関係する。従って、０が現れる回数及び１が現れる回数を利用することにより、Ｃ測定により得られるおおよその光飛行時間からさらに精密な光飛行時間を得ることができる。第２態様により精密な光飛行時間を得る測定を、発明者らは、「Ｆｉｎｅ測定」と名付けた。以下の説明では、単に「Ｆ測定」（第２測定）とも称する。
【0048】
Ｆ測定の基本的な動作について説明する。Ｆ測定では、各回の露光動作ごとに第１転送期間及び第２転送期間に対して付与する遅延時間を変更すると述べた。図６は、遅延時間の変更を概念的に示す。Ｆ測定では、第１遅延時間（２ΔｔＤ）と第２遅延時間（３ΔｔＤ）とを用いる。第１遅延時間（２ΔｔＤ）は、露光動作の結果として電荷量の差分がプラスとなるものである（図６（ａ）参照）。第２遅延時間（３ΔｔＤ）は、露光動作の結果として電荷量の差分がマイナスとなるものである（図６（ｂ）参照）。いずれの遅延時間を採用するかは、Ｃ測定の電荷量の差分の符号がプラスからマイナスに変わる前後に与えた単位遅延時間ΔｔＤの倍数と、電荷量の積分値に基づいて決める。ここでは、図５で、２ΔｔＤから３ΔｔＤとしたときに電荷量の差分の符号がプラスからマイナスに変わったため、第１遅延時間を２ΔｔＤ、第２遅延時間を３ΔｔＤとした。しかし、これは例示である。第１遅延時間及び第２遅延時間は、電荷量の差分がプラスとマイナスになる組み合わせであれば良い。
【0049】
図７は、露光動作の回数と電荷の差分の積分値との推移を示す。また、図７には、積分値の符号と当該符号に対応する遅延時間との関係も併せて示す。Ｆ測定における０回目とは、Ｃ測定における最終回の１回前の動作に対応する。上述したＣ測定において、最終回の１回前（３回目）の露光動作の結果は、電荷量の差分を示す差分電荷量ΔＱであった。そして差分電荷量ΔＱの符号はプラスであった。差分電荷量ΔＱの符号がプラスであるとき、次の露光動作では、第２遅延時間（３ΔｔＤ）を採用する。Ｆ測定における１回目の露光動作の結果、差分電荷量ΔＱ（符号はマイナス）が得られる。この差分電荷量ΔＱを、０回目の積分値に加算する。その結果、あらたな積分値が得られる。あらたな積分値の符号は、未だプラスである。従って、次の２回目の露光動作でも、第２遅延時間（３ΔｔＤ）を採用する。このように、露光動作による電荷の蓄積と、電荷量の差分の取得と、取得した差分の足し合わせと、足し合わせた結果の符号に応じた遅延時間の選択と、を順次繰り返す。図７の例では、３回目の露光動作の結果も、積分値の符号はプラスである。その一方、積分値の絶対値は次第に小さくなっていく。
【0050】
そして、４回目の露光動作の結果、積分値の符号がプラスからマイナスに切り替わる。積分値の符号がマイナスであるとき、次の６回目の露光動作では、第１遅延時間（２ΔｔＤ）を採用する。６回目の露光動作の結果、電荷量の差分は符号がプラスである（図６（ａ）参照）。６回目の電荷量の差分を、５回目の積分値に加算すると、積分値の符号は再びプラスに転じる。図７には、１０回目までの露光動作の様子を示した。
【0051】
Ｆ測定の積分動作では、第１転送期間及び第２転送期間に付与される遅延時間と、求めたい光飛行時間との誤差の大きさと、に比例して、積分値への加算値が大きくなる。従って、誤差の小さな遅延時間の出現頻度は大きくなる。一方、誤差の大きな遅延時間の出現頻度は小さくなる。つまり、第１遅延時間及び第２遅延時間をその出現頻度で重み付け平均することで、光飛行時間を得ることができる。
【0052】
次に、Ｆ測定では、精密な光飛行時間を算出する。例えば、図７に示すように、１回目から１０回目の露光動作の結果として、第１遅延時間（２ΔｔＤ）が２回現れている。第２遅延時間（３ΔｔＤ）は８回現れている。その結果、光飛行時間は、式（１）によって得られる。
【数1】
【0053】
上述した、時間領域での負帰還技術である時間領域フィードバック制御を適用するＦ測定の動作は、いわゆる１次のデルタシグマ変調（ＤＳＭ）動作であるともいえる。デルタシグマ変調によれば、オーバーサンプリング信号処理を用いた自己充足的な低歪と低ノイズ性を持つ。その結果、距離画像撮像装置１は、高い直線性と高い距離分解能とを達成することができる。
【0054】
ここまでの議論をまとめると、距離画像撮像装置１は、時間領域フィードバック制御という技術思想を採用する。そして、時間領域フィードバック制御の第１態様としておおよその光飛行時間を得るＣ測定を行う。その後、時間領域フィードバック制御の第２態様として、精密な光飛行時間を得るＦ測定を行う。このような動作によれば、距離画像撮像装置１は、高い直線性と高い距離分解などを達成可能であり総合的な性能向上を図ることができる。
【0055】
次に、時間領域フィードバック制御を用いた短パルスベース間接型ＴＯＦイメージセンサについて詳細に説明する。
【0056】
図１は、距離画像撮像装置１の機能ブロック図である。距離画像撮像装置１は、光源２と、距離画像センサ３と、を有する。光源２は、照射光Ｌ１を出射する。照射光Ｌ１は、対象物１００で反射する。反射した照射光Ｌ１は、フォトダイオード１１と復調器１２とによって電圧信号に変換される。距離画像センサ３は、フォトダイオード１１と、復調器１２と、アナログ処理ユニット２０（第１演算部）と、Ａ／Ｄ変換器３０と、デジタル処理ユニット４０（第２演算部）と、ＤＴ変換器５０（第２演算部、遅延時間決定部）と、を有する。これらの要素は、時間領域負帰還ループを構成する。距離画像センサ３は、光飛行時間を得る。光飛行時間を得ることにより、対象物１００までの距離を得ることができる。
【0057】
距離画像センサ３は、上述したＣ測定とＦ測定とを行う。これらの動作によれば、距離画像センサ３の性能を高めることができる。より詳細には、距離画像センサ３は、光飛行時間と距離との関係を示す直線性が高い。また、距離画像センサ３は、光飛行時間の分解能が高い。つまり、距離画像センサ３は、距離の分解能が高い。さらに、距離画像センサ３は、高い直線性と高い分解能とを、広い測定範囲にわたって維持することができる。
【0058】
距離画像センサ３は、Ｃ測定のための時間領域負帰還ループと、Ｆ測定のための時間領域負帰還ループと、を相互に切り替える。この動作の切り替えは、アナログ処理ユニット２０が実現する２種類の動作（バッファ動作、積分動作）の選択と、デジタル処理ユニット４０が実現する２種類の動作（計数動作、加算動作）の選択と、による。Ｃ測定では、アナログ処理ユニット２０が実現するバッファ２１としての動作が選択されると共に、デジタル処理ユニット４０が実現するカウンタ４１としての動作が選択される。Ｆ測定では、アナログ処理ユニット２０が実現する積分器２２としての動作が選択されると共に、デジタル処理ユニット４０が実現する加算器４２としての動作が選択される。Ｆ測定が行われるとき、距離画像センサ３は、１次のデルタシグマ変調器であるとみなせる。
【0059】
光源２は、光飛行時間（ＴＯＦ：ＴＩＭＥ ＯＦ ＦＬＩＧＨＴ）方式による距離計測を行うために、対象物１００に出射する照射光Ｌ１を発生させる。光源２は、半導体発光素子と駆動回路とを有する。半導体発光素子は、近赤外領域又は可視光領域等の波長領域の光を発生させる。半導体発光素子として、発光ダイオード又はレーザダイオードを採用できる。
【0060】
距離画像センサ３は、対象物１００からの反射光Ｌ２を受ける。そして、距離画像センサ３は、受けた反射光Ｌ２を利用して距離画像を出力する。距離画像センサ３は、フォトダイオード１１と、復調器１２と、アナログ処理ユニット２０と、Ａ／Ｄ変換器３０と、デジタル処理ユニット４０と、ＤＴ変換器５０と、を有する。また、距離画像センサ３は、デシメーションフィルタ６０を有する。
【0061】
画素回路部１０のフォトダイオード１１は、反射光Ｌ２を受ける。距離画像撮像装置１は、二次元状に配置された複数の画素回路部１０を有する。二次元状に配置された複数の画素回路部１０は、画素回路部アレイ１０Ｓを構成する。フォトダイオード１１は、反射光Ｌ２に応じた電荷を発生する。画素回路部１０は、フォトダイオード１１で発生した電荷を復調器１２に転送する。画素回路部１０の出力値は、第１電荷量Ｑ１、第２電荷量Ｑ２及び差分電荷量ΔＱに基づく。画素回路部１０の物理的な構成は、後述する。
【0062】
復調器１２は、フォトダイオード１１からの電荷の転送を制御する。復調器１２は、フォトダイオード１１から受けた電荷量の差分を電圧の差分として出力する。復調器１２の出力値は、第１前段電圧信号ＶＰ１、第２前段電圧信号ＶＰ２及び差分前段電圧信号ΔＶＰを含む。復調器１２の物理的な構成は、後述する。
【0063】
アナログ処理ユニット２０、Ａ／Ｄ変換器３０、デジタル処理ユニット４０及びＤＴ変換器５０は、周辺回路４を構成する。
【0064】
アナログ処理ユニット２０は、電圧の差分を処理する。アナログ処理ユニット２０が行う処理は、電圧の差分を整数倍する処理と、電圧の差分を積分する処理と、を含む。アナログ処理ユニット２０は、電圧の差分を整数倍する処理を行うバッファ２１を含む。さらに、アナログ処理ユニット２０は、電圧の差分を積分する処理を行う積分器２２を含む。アナログ処理ユニット２０の出力値は、第１後段電圧信号ＶＯ１（第１電圧）、第２後段電圧信号ＶＯ２（第２電圧）及び差分後段電圧信号ΔＶＯ（差分電圧）を含む。アナログ処理ユニット２０の具体的な回路構成は、後述する。
【0065】
Ａ／Ｄ変換器３０は、アナログ処理ユニット２０が出力する電圧を量子化する。具体的には、Ａ／Ｄ変換器３０は、アナログ処理ユニット２０が出力する電圧を、０又は１の二値のデジタル値に変換する。Ａ／Ｄ変換器３０の出力値は、デジタル信号ＤＦＢを含む。
【0066】
デジタル処理ユニット４０は、Ａ／Ｄ変換器３０が出力するデジタル信号ＤＦＢを処理する。デジタル処理ユニット４０が行う処理には、入力されたデジタル信号ＤＦＢにおける０又は１を数える処理と、入力されたデジタル信号ＤＦＢを予め記憶された別のデジタル信号に加算する処理と、を含む。デジタル処理ユニット４０は、０又は１を数える処理を行うカウンタ４１を含む。カウンタ４１の出力端は、ＤＴ変換器５０及び加算器４２に接続されている。デジタル処理ユニット４０は、加算する処理を行う加算器４２を含む。加算器４２の入力端には、Ａ／Ｄ変換器３０及びカウンタ４１が接続されている。つまり、加算器４２は、Ａ／Ｄ変換器３０の出力値とカウンタ４１の出力値とを受けることができる。加算器４２の出力端はＤＴ変換器５０に接続されている。デジタル処理ユニット４０の出力値は、デジタル信号ＤＭを含む。
【0067】
Ｆ測定において加算器４２及びＤＴ変換器５０は、積分結果の符号に応じて次の蓄積動作のための遅延時間を決定する。積分結果の符号は、デジタル処理ユニット４０の出力値であるデジタル信号ＤＭの値に応じる。加算器４２及びＤＴ変換器５０は、積分結果の符号がゼロ又はプラス（第１情報）であるとき遅延時間として３ΔｔＤを決定する。３ΔｔＤは、電荷の差分がマイナスとなる遅延時間である。加算器４２及びＤＴ変換器５０は、積分結果の符号がマイナス（第２情報）であるとき遅延時間として２ΔｔＤを決定する。２ΔｔＤは、電荷の差分がプラスとなる遅延時間である。
【0068】
デシメーションフィルタ６０は、デジタル処理ユニット４０の加算器４２の入力端に接続される。デシメーションフィルタ６０は、加算器４２と共にデジタル信号ＤＦＢを受ける。デシメーションフィルタ６０は、デジタル信号ＤＦＢに対してデジタルフィルタ処理を行う。デジタルフィルタ処理は、ローパスフィルタ処理とダウンサンプリング処理とを含む。例えば、デシメーションフィルタ６０は、ローパスフィルタ処理のオーバーサンプリング比が、２Ｂ―１より大きく２Ｂより小さい整数であってもよい。Ｂはオーバーサンプリング比を表現可能な最小ビット数であってもよい。
【0069】
図１の機能ブロック図及び図２のフロー図によれば、距離画像撮像装置１を用いた距離画像を撮像する方法は、電荷蓄積工程Ｓ１０Ｃ、Ｓ１０Ｆと、パルス生成工程Ｓ２０Ｃ、Ｓ２０Ｆと、を含む。距離画像を撮像する方法では、電荷蓄積工程Ｓ１０Ｃと、パルス生成工程Ｓ２０Ｃと、を繰り返し実行する。電荷蓄積工程Ｓ１０Ｃ及びパルス生成工程Ｓ２０Ｃは、Ｃ測定を構成する。その後、距離画像を撮像する方法では、電荷蓄積工程Ｓ１０Ｆと、パルス生成工程Ｓ２０Ｆと、を繰り返し実行する。電荷蓄積工程Ｓ１０Ｆ及びパルス生成工程Ｓ２０Ｆは、Ｆ測定を構成する。
【0070】
電荷蓄積工程Ｓ１０Ｃは、画素回路部１０によって実行される。画素回路部１０は、電荷蓄積工程Ｓ１０Ｃとして、第１転送制御ゲートＧ１に与えられる第１転送制御パルスＳＧ１に基づいて第１浮遊拡散部ＦＤ１に第１電荷を蓄積する。さらに、画素回路部１０は、電荷蓄積工程Ｓ１０Ｃとして、第２転送制御ゲートＧ２に与えられる第２転送制御パルスＳＧ２に基づいて第２浮遊拡散部ＦＤ２に第２電荷を蓄積する。パルス生成工程Ｓ２０Ｃは、周辺回路４によって実行される。周辺回路４は、パルス生成工程Ｓ２０Ｃとして、第１電荷量Ｑ１と第２電荷量Ｑ２との大小関係に基づいて、第１転送制御パルスＳＧ１及び第２転送制御パルスＳＧ２を生成する。
【0071】
パルス生成工程Ｓ２０Ｃは、演算工程Ｓ２１Ｃと、判定工程Ｓ３０と、遅延時間決定工程Ｓ２２Ｃと、パルス出力工程Ｓ２４Ｃと、を含む。演算工程Ｓ２１Ｃは、復調器１２及びアナログ処理ユニット２０により実行される。なお、演算工程Ｓ２１Ｃを行う要素として、Ａ／Ｄ変換器３０を含めてもよい。演算工程Ｓ２１Ｃは、第１電荷に基づく第１電圧と第２電荷に基づく第２電圧との差分に関する演算値を出力する。演算値は、差分電圧そのものであってもよいし、差分電圧を二値化したデジタル値であってもよい。
【0072】
演算工程Ｓ２１Ｃの後に、ＴＯＦが得られたか否かの判定を行う（工程Ｓ３０）。ＴＯＦが得られたと判定された場合には、Ｆ測定のループに移行する。ＴＯＦが得られたと判定されない場合には、遅延時間決定工程Ｓ２２Ｃに移行する。
【0073】
遅延時間決定工程Ｓ２２Ｃは、デジタル処理ユニット４０により実行される。遅延時間決定工程Ｓ２２Ｃは、第１転送制御パルスＳＧ１および第２転送制御パルスＳＧ２を出力するタイミングを決定するための遅延時間を、演算値を用いて決定する。Ｃ測定のための遅延時間決定工程Ｓ２２Ｃは、デジタル処理ユニット４０のカウンタ４１によって実行される。カウンタ４１によれば、第ｎ回目の演算工程Ｓ２１Ｃにおいて、演算値が第１情報であるとき（判定工程Ｓ３０）に、第ｎ回目の電荷蓄積工程Ｓ１０Ｃのために用いた第ｎ回目の遅延時間を、さらに単位遅延時間だけ遅らせたものを、第ｎ＋１回目の電荷蓄積工程のために用いる第ｎ＋１回目の遅延時間として決定するという動作が実現できる。
【0074】
パルス出力工程Ｓ２３Ｃは、ＤＴ変換器５０によって実行される。パルス出力工程Ｓ２３Ｃは、決定された遅延時間に基づいて第１転送制御パルスＳＧ１および第２転送制御パルスＳＧ２を出力する。
【0075】
Ｆ測定のための工程は、電荷蓄積工程Ｓ１０Ｆと、パルス生成工程Ｓ２０Ｆと、を有する。パルス生成工程Ｓ２０Ｆは、演算工程Ｓ２１Ｆと、遅延時間決定工程Ｓ２２Ｆと、パルス出力工程Ｓ２３Ｆと、を有する。演算工程Ｓ２１Ｆは、アナログ処理ユニット２０の積分器２２によって実行される。積分器２２によれば、第１電圧と第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目までの差分電圧の積分値に第ｍ回目の差分電圧を加算した結果を、第ｍ回目の差分電圧の積分値として求めるという動作が実現できる。遅延時間決定工程Ｓ２２Ｆは、デジタル処理ユニット４０の加算器４２によって実行される。加算器４２によれば、第ｍ回目の積分値が第２情報であるときに、第ｍ＋１回目の電荷蓄積工程のために用いる第ｍ＋１回目の遅延時間を第１遅延時間とし、第ｍ回目の積分値が第１情報であるときに、第ｍ＋１回目の遅延時間を第２遅延時間として決定するという動作が実現できる。
【0076】
上述したように、時間領域フィードバック制御では、Ｃ測定と、Ｆ測定とを、行うことができる。つまり、図１に示す距離画像撮像装置１は、Ｃ測定を行う構成と、Ｆ測定を行う構成と、を実現できる。Ｃ測定を行う構成とＦ測定を行う構成は、相互に切り替え可能である。つまり、Ｃ測定を行う構成により、おおよその光飛行時間を得る。おおよその光飛行時間が求まったのちに、Ｃ測定を行う構成からＦ測定を行う構成に切り替える。そして、Ｆ測定により、さらに精密な光飛行時間を得る。Ｃ測定を行う構成とＦ測定を行う構成の切り替えは、アナログ処理ユニット２０におけるバッファ２１又は積分器２２の選択と、デジタル処理ユニット４０におけるカウンタ４１又は加算器４２の選択と、により実現できる。
【0077】
Ｃ測定を行うとき、アナログ処理ユニット２０は、バッファ２１として機能する。さらに、デジタル処理ユニット４０は、カウンタ４１として機能する。図８は、Ｃ測定を行う構成の等価ブロック線図である。
【0078】
Ｃ測定を行う構成において、距離画像センサ３は、加え合わせ点Ｆ８ａと、第１伝達要素Ｆ８ｂと、第２伝達要素Ｆ８ｃと、第３伝達要素Ｆ８ｄと、第４伝達要素Ｆ８ｅと、第５伝達要素Ｆ８ｆと、を有する。加え合わせ点Ｆ８ａ及び第１伝達要素Ｆ８ｂは、復調器１２に対応する。第２伝達要素Ｆ８ｃは、バッファ２１に対応する。第３伝達要素Ｆ８ｄは、Ａ／Ｄ変換器３０に対応する。第４伝達要素Ｆ８ｅは、カウンタ４１に対応する。第５伝達要素Ｆ８ｆは、ＤＴ変換器５０に対応する。
【0079】
図８の等価ブロック線図を参照しながら、Ｃ測定について説明する。等価ブロック線図において、第２伝達要素Ｆ８ｃ（バッファ２１）の出力値である後段電圧信号ＶＯ（演算値）は、式（２）により示される。
ＶＯ：第２伝達要素Ｆ８ｃ（バッファ２１）が出力する後段電圧信号の大きさ。
ＫＢＵＦ：第２伝達要素Ｆ８ｃ（バッファ２１）のゲイン。
ＫＭ：復調器１２の時間－電圧変換ゲイン。
ＴＯＦ：光飛行時間。
ＴＭ：第５伝達要素Ｆ８ｆ（ＤＴ変換器５０）が出力する遅延時間信号。
【数2】
ＶＯ：第２伝達要素Ｆ８ｃ（バッファ２１）が出力する後段電圧信号の大きさ。
ＫＢＵＦ：第２伝達要素Ｆ８ｃ（バッファ２１）のゲイン。
ＫＭ：復調器１２の時間－電圧変換ゲイン。
ＴＯＦ：光飛行時間。
ＴＭ：第５伝達要素Ｆ８ｆ（ＤＴ変換器５０）が出力する遅延時間信号。
【0080】
第３伝達要素Ｆ８ｄ（Ａ／Ｄ変換器３０）は、第２伝達要素Ｆ８ｃ（バッファ２１）が出力する後段電圧信号ＶＯを量子化する。量子化の処理は、式（３）に従う。第３伝達要素Ｆ８ｄ（Ａ／Ｄ変換器３０）は、量子化処理の結果、デジタル領域帰還のためのインクリメントコードとしてデジタル信号ＤＦＢを生成する。
【数3】
【0081】
第４伝達要素Ｆ８ｅ（カウンタ４１）は、デジタル信号ＤＦＢを受ける。第４伝達要素Ｆ８ｅは、第ｎ回目の動作におけるデジタル信号ＤＦＢが１であるとき、第ｎ－１回目の内部変数（制御変数）に１を加えるカウントアップ動作を行う。つまり、カウンタ４１は、成分が１であるデジタル信号ＤＦＢを数える。例えば、Ｃ測定において電荷の差分値が第１情報（０又はプラス）であるときは、Ａ／Ｄ変換器３０がデジタル値として「１」を出力する。一方、Ｃ測定において電荷の差分値が第２情報（マイナス）であるときは、Ａ／Ｄ変換器３０がデジタル値として「０」を出力する。カウンタ４１は、当該デジタル値に基づいて計数動作を行ってもよい。ｎ回の動作を行った結果、カウンタ４１が出力するデジタル信号ＤＭ（ｎ）は式（４）に示される。
【数4】
【0082】
第５伝達要素Ｆ８ｆ（ＤＴ変換器５０）は、デジタル信号ＤＭを受ける。第５伝達要素Ｆ８ｆ（ＤＴ変換器５０）は、式（５）に従い、遅延時間信号ＴＭを得る。つまり、遅延時間信号ＴＭは、単位遅延時間ΔｔＤとデジタル信号ＤＭとの乗算によって得られる。
ＴＭ（ｎ）：ｎ回目の動作における遅延時間信号。
ΔｔＤ：単位遅延時間。ＤＴ変換器５０の変換ファクタ。
【数5】
ＴＭ（ｎ）：ｎ回目の動作における遅延時間信号。
ΔｔＤ：単位遅延時間。ＤＴ変換器５０の変換ファクタ。
【0083】
図９（ａ）は、Ｃ測定の動作を概念的に説明する。図９（ａ）は、デジタル信号ＤＦＢと遅延時間信号ＴＭとを示す。まず、第１回目のフィードバック動作では、遅延時間信号ＴＭは、ゼロに設定される。第ｎ回目のフィードバック動作の結果、Ａ／Ｄ変換器３０の出力値であるデジタル信号ＤＦＢが１であるとき、第ｎ＋１回目のフィードバック動作では、遅延時間信号ＴＭには、単位遅延時間ΔｔＤが加算される。従って、繰り返されるフィードバック動作において、デジタル信号ＤＦＢが１である限り、遅延時間信号ＴＭは単位遅延時間ΔｔＤを一つのステップとして階段状に増加する。つまり、遅延時間は、光飛行時間（ＴＯＦ）に近づく。
【0084】
複数回のフィードバック動作の結果、遅延時間信号ＴＭが光飛行時間（ＴＯＦ）よりも大きくなる。このとき、Ａ／Ｄ変換器３０は、出力値としてデジタル信号ＤＦＢ＝０を出力する。デジタル信号ＤＦＢがゼロであるとき、遅延時間信号ＴＭに対する単位遅延時間ΔｔＤの加算は停止する。換言すると、ＤＴ変換器５０の出力値である遅延時間信号ＴＭのインクリメントは止まる。遅延時間信号ＴＭの増加の停止が、ｎＣ回目のフィードバック動作で発生したと仮定すれば、カウンタ４１の出力値であるデジタル信号ＤＭは、式（６）によって示される。
ＤＭ（ｎＣ）：ｎＣ回目のフィードバック動作におけるカウンタ４１の出力値。
ｎＣ：遅延時間信号ＴＭの増加の停止が発生した回数。
【数6】
ＤＭ（ｎＣ）：ｎＣ回目のフィードバック動作におけるカウンタ４１の出力値。
ｎＣ：遅延時間信号ＴＭの増加の停止が発生した回数。
【0085】
ｎＣは、ＤＴ変換器５０における遅延時間信号ＴＭの最大値を規定する。最終ステップ（ｎＣ）のＤＴ変換器５０の出力値である遅延時間信号ＴＭ（ｎＣ）は、式（７）によって示される。
【数7】
【0086】
ところで、Ｃ測定において、ＤＴ変換器５０は、インクリメンタルな動作を行う。従って、光飛行時間（ＴＯＦ）と遅延時間信号ＴＭ（ｎＣ）の差分は、誤差である。図９（ｂ）に示すように、誤差は、－ΔｔＤ／２と＋ΔｔＤ／２の間の値を取り得る。そして、光飛行時間（ＴＯＦ）の測定範囲（ＴＭ，Ｍａｘ）は、式（８）によって示される。
ＴＭ，Ｍａｘ：光飛行時間（ＴＯＦ）の測定範囲。
ＮＣ：Ｃ測定におけるフィードバック動作の最大回数。
ΔｔＤ：単位遅延時間。
【数8】
ＴＭ，Ｍａｘ：光飛行時間（ＴＯＦ）の測定範囲。
ＮＣ：Ｃ測定におけるフィードバック動作の最大回数。
ΔｔＤ：単位遅延時間。
【0087】
Ｃ測定の最終出力結果は、出力Ｙｃｏａｒｓｅである。出力Ｙｃｏａｒｓｅは、カウンタ４１に保存された最終コードである。最終コードは、式（９）によって示される。
Ｙｃｏａｒｓｅ：Ｃ測定の最終出力結果。
ｎＣ：単位遅延時間ΔｔＤの増加の停止が発生した時のカウンタ値。
【数9】
Ｙｃｏａｒｓｅ：Ｃ測定の最終出力結果。
ｎＣ：単位遅延時間ΔｔＤの増加の停止が発生した時のカウンタ値。
【0088】
また、１回のフィードバック動作に要する時間を時間（ＴＣＭ０）とする。そうすると、Ｃ測定の実行に必要な時間ＴＣＭは、式（１０）によって示される。
【数10】
【0089】
Ｆ測定を行うとき、アナログ処理ユニット２０は、積分器２２として機能する。さらに、デジタル処理ユニット４０は、加算器４２として機能する。図１０は、Ｆ測定を行う構成の等価ブロック線図である。図１０は、時間領域負帰還を備えた１次のデルタシグマ変調（ＤＳＭ）を採用したＦ測定の等価的ブロック図である。
【0090】
距離画像センサ３は、第１加え合わせ点Ｆ１０ａと、第２加え合わせ点Ｆ１０ｂと、第６伝達要素Ｆ１０ｃと、第７伝達要素Ｆ１０ｄと、第３加え合わせ点Ｆ１０ｅと、第８伝達要素Ｆ１０ｆと、第９伝達要素Ｆ１０ｇと、第１０伝達要素Ｆ１０ｈと、を有する。第６伝達要素Ｆ１０ｃ及び第２加え合わせ点Ｆ１０ｂは、復調器１２に対応する。第７伝達要素Ｆ１０ｄは、積分器２２に対応する。加え合わせ点Ｆ８ａは、Ａ／Ｄ変換器３０に対応する。第８伝達要素Ｆ１０ｆは、デルタシグマ変調器Ｆ１０の帰還系に配置される微分回路に対応する。第９伝達要素Ｆ１０ｇ及び第１０伝達要素Ｆ１０ｈは、ＤＴ変換器５０に対応する。
【0091】
図１０の等価ブロック線図を参照しながら、Ｆ測定について説明する。図１０に示される等価ブロック線図から、デルタシグマ変調器Ｆ１０の出力値ＤＦＢは、式（１１）により示される。
ＫＩＮＴ：積分器２２のゲイン。
ＫＭ：復調器１２の時間－電圧変換ゲイン。
Ｅｑ（ｚ）は、Ａ／Ｄ変換器３０の量子化ノイズであり、Ｄ（ｚ）は、時間領域帰還に対するΔＴＯＦとの差であり、式（１２）により示される。
ΔＴＯＦ（ｚ）：光飛行時間の差分。
ΔｔＤ：単位遅延時間。
【数11】
ＫＩＮＴ：積分器２２のゲイン。
ＫＭ：復調器１２の時間－電圧変換ゲイン。
Ｅｑ（ｚ）は、Ａ／Ｄ変換器３０の量子化ノイズであり、Ｄ（ｚ）は、時間領域帰還に対するΔＴＯＦとの差であり、式（１２）により示される。
【数12】
ΔＴＯＦ（ｚ）：光飛行時間の差分。
ΔｔＤ：単位遅延時間。
【0092】
式（１２）を式（１１）に代入することにより、図１０のデルタシグマ変調部分に対するｚ領域での全体のシステム応答は、式（１３）により示される。
ＫＩＮＴ：積分器２２のゲイン。
ＫＭ：復調器１２の時間－電圧変換ゲイン。
ΔＴＯＦ（ｚ）：光飛行時間の差分。
ΔｔＤ：単位遅延時間。
Ｅｑ（ｚ）：Ａ／Ｄ変換器３０の量子化ノイズ。
Ａ／Ｄ変換器３０を含む１次のデルタシグマ変調器Ｆ１０が安定に動作するとき、ループゲインは、１である。その結果、「ＫＩＮＴ×ＫＭ×ΔｔＤ＝１」という条件が成立する。この条件によれば、式（１３）から式（１４）が得られる。
【数13】
ＫＩＮＴ：積分器２２のゲイン。
ＫＭ：復調器１２の時間－電圧変換ゲイン。
ΔＴＯＦ（ｚ）：光飛行時間の差分。
ΔｔＤ：単位遅延時間。
Ｅｑ（ｚ）：Ａ／Ｄ変換器３０の量子化ノイズ。
Ａ／Ｄ変換器３０を含む１次のデルタシグマ変調器Ｆ１０が安定に動作するとき、ループゲインは、１である。その結果、「ＫＩＮＴ×ＫＭ×ΔｔＤ＝１」という条件が成立する。この条件によれば、式（１３）から式（１４）が得られる。
【数14】
【0093】
式（１４）より、信号と量子化ノイズの伝達関数が得られる。信号の伝達関数、即ち、デジタル信号ＤＦＢと差分光飛行時間ΔＴＯＦとの関係は、ＤＴ変換器５０の単位遅延時間ΔｔＤの逆数と同じである。ノイズ伝達関数（ＮＴＦ）、即ち、デジタル信号ＤＦＢと量子化ノイズＥｑとの関係は、１－ｚ－１である。
【0094】
デルタシグマ変換の量子化ノイズを見積もるため、式（１５）を用い、周波数領域でノイズ伝達関数の自乗を計算すると、式（１６）が得られる。
ｆ：周波数。
ＴＳＯ：オーバーサンプリング周期。
ｆＳＯ：オーバーサンプリング周波数。
【数15】
【数16】
ｆ：周波数。
ＴＳＯ：オーバーサンプリング周期。
ｆＳＯ：オーバーサンプリング周波数。
【0095】
図１１は、式（１６）によって与えられるノイズ伝達関数による量子化誤差のパワースペクトル密度の形を示している。この形の量子化誤差は、カットオフ周波数ｆＬＰＦのデジタルローパスフィルタ（ＬＰＦ）を用いることにより、効果的に減らすことができる。これにより、全体のノイズパワーに対する残留ノイズパワー（ハッチングの領域）の平方根の比の分だけ、Ｆ測定における有効ビット数（ＥＮＯＢ）が増加する。ｆＳＯ／２ｆＬＰＦで与えられるオーバーサンプリング比ＮＦを用いると、全体のノイズパワーに対する残留ノイズパワーの面積比は、おおよそ１／ＮＦ
３である。このとき、理想的ローパスフィルタを用いると有効ビット数の増加分ΔＥＮＯＢｉは、式（１７）によって与えられる。
【数17】
【0096】
この１次のデルタシグマ変換を用いた技術では、ＮＦ＝４に対してΔＥＮＯＢ＝３が得られる。しかしながら、これは、非常に急峻なカットオフを持つ理想的ローパスフィルタの場合である。現実的な実装においては、ビットストリーム中の１の数をカウントする非常に単純なカウンタがローパスフィルタとして用いられる。カウンタはそれほど急峻なカットオフを持たない。その周波数応答は移動平均フィルタに似ており、ローパスフィルタの後の残留量子化ノイズパワーは、全体の量子化ノイズパワーの１／ＮＦ
２となる。
【0097】
この場合の有効ビット数の増加分ΔＥＮＯＢ１は、式（１８）で与えられる。
実際の実装においては、ＮＦ＝６４（或いはエラー削減のため６６）及び、カウンタベースのローパスフィルタが使われる。Ｆ測定の実装におけるＥＮＯＢの増加分は６ビットである。式（１８）から、オーバーサンプリング比ＮＦを２倍にすると、Ｃ測定の処理時間は２倍掛かるもののＥＮＯＢを１ビット増やすことが出来る。
【数18】
実際の実装においては、ＮＦ＝６４（或いはエラー削減のため６６）及び、カウンタベースのローパスフィルタが使われる。Ｆ測定の実装におけるＥＮＯＢの増加分は６ビットである。式（１８）から、オーバーサンプリング比ＮＦを２倍にすると、Ｃ測定の処理時間は２倍掛かるもののＥＮＯＢを１ビット増やすことが出来る。
【0098】
ＮＦ＝６４は、６ビットのＦ測定におけるＴＤ変換に厳密に相当する。これは、Ｃ測定、及び、Ｆ測定の変換コードの接続境界で深度分解能を悪化させることがある。これは、直線性の特性において、最大ΔＴＯＦの境界で不連続のステップが現れるためである。この不連続点で、時間変数エラーが発生する。この特異点では、距離分解能（深度ノイズ）が悪化する。これは、ＮＦを２の階乗の６４を超えた値に設定すれば回避できる。例えばＮＦ＝６６にすることによって回避可能である。
【0099】
図１２は、Ｃ測定とＦ測定とをまとめて示すタイミングチャートである。つまり、図１２は、Ｃ測定とＦ測定とにより光飛行時間（ＴＯＦ）を測定する技術の概念的な駆動波形を示している。距離画像撮像装置１は、まず、Ｃ測定を行う。Ｃ測定において、距離画像撮像装置１のＤＴ変換器５０は、光飛行時間の推定値としてΔｔＤ・ｎＣを生成する。距離画像撮像装置１は、次に、Ｆ測定を行う。Ｆ測定において、距離画像撮像装置１は、デルタシグマ変調器として動作する。その結果、距離画像撮像装置１のＤＴ変換器５０は、ビットストリーム波形である信号を出力する。ビットストリーム波形は、ΔｔＤ・ｎＣと、ΔｔＤ・（ｎＣ－１）との２つの状態を含む。デルタシグマ変調器Ｆ１０の出力値は、ローパスフィルタに出力される。そして、データのダウンサンプリングがなされた結果、Ｆ測定の出力値として、Ｙｆｉｎｅが得られる。なお、図１２では、デジタルカウンタ（１次積分器）がデシメーションフィルタに用いられているときのフィルタ出力の様子を示している。
【0100】
Ｆ測定の出力値であるＹｆｉｎｅは、式（１９）によっても示される。Ｙｆｉｎｅは、０－１の値を取る。
Ｙｆｉｎｅ：Ｆ測定の出力値。
ｎＦ：デルタシグマ変調器Ｆ１０から出力される数。
ＮＦ：Ｆ測定におけるトータルサンプリング数。
【数19】
Ｙｆｉｎｅ：Ｆ測定の出力値。
ｎＦ：デルタシグマ変調器Ｆ１０から出力される数。
ＮＦ：Ｆ測定におけるトータルサンプリング数。
【0101】
Ｃ測定とＦ測定とを含む光飛行時間測定の技術によれば、光飛行時間を示す出力値ＹＴＯＦは、式（２０）又は式（２１）により示される。
【数20】
【数21】
【0102】
ＮＣとＮＦを、２ＭＣと２ＭＦとすれば、Ｃ測定とＦ測定とを含む光飛行時間測定の技術は、光飛行時間（ＴＯＦ）を（ｍＣ＋ｍＦ）ビットのデジタルコードに変換する。
【0103】
以下、距離画像撮像装置１の具体的な回路構成を説明する。図１３、図１４は、画素回路部１０、画素１２１及び前段増幅器１２２の回路構成を示す。画素回路部１０は、フォトダイオード１１（光電変換部）と、復調器１２と、を有する。フォトダイオード１１は、対象物１００からの反射光Ｌ２を受ける。画素１２１は、前段増幅器１２２に第１電荷量Ｑ１及び第２電荷量Ｑ２を出力する。
【0104】
フォトダイオード１１は、発生した電荷を復調器１２に出力する。フォトダイオード１１は、基準電位Ｖｒｅｆに接続されている。
【0105】
復調器１２は、第１浮遊拡散部ＦＤ１（第１電荷読出領域）と、第１転送制御ゲートＧ１（第１制御電極）と、第２浮遊拡散部ＦＤ２（第２電荷読出領域）と、第２転送制御ゲートＧ２（第２制御電極）と、電圧源ＶＤと、第３転送制御ゲートＧＤと、を有する。復調器１２は、フォトダイオード１１から電荷を受ける。復調器１２は、アナログ処理ユニット２０に第１前段電圧信号ＶＰ１と第２前段電圧信号ＶＰ２を出力する。
【0106】
フォトダイオード１１の出力は、第１転送制御ゲートＧ１と、第２転送制御ゲートＧ２と、第３転送制御ゲートＧＤと、に接続されている。第１転送制御ゲートＧ１及び第２転送制御ゲートＧ２は、横方向電界制御電荷変調器ゲートである。横方向電界制御電荷変調器ゲートを採用することにより、フォトダイオード１１から第１浮遊拡散部ＦＤ１への第１電荷量Ｑ１の転送の許可と禁止とを極めて高速に切り替えることができる。例えば、切り替え時間は、サブナノ秒程度である。その結果、距離測定の分解能を高めることができる。
【0107】
第１転送制御ゲートＧ１は、第１浮遊拡散部ＦＤ１に接続されている。従って、第１転送制御ゲートＧ１は、フォトダイオード１１と第１浮遊拡散部ＦＤ１との間に配置されている。第１転送制御ゲートＧ１は、フォトダイオード１１から第１浮遊拡散部ＦＤ１への電荷の転送を許可する。また、第１転送制御ゲートＧ１は、フォトダイオード１１から第１浮遊拡散部ＦＤ１への電荷の転送を禁止する。転送の許可と禁止とは、第１転送制御ゲートＧ１に与えられる制御信号の電圧に応じて切り替わる。第１転送制御ゲートＧ１に与えられた制御信号の電圧が、いわゆる「ＨＩＧＨ」であるとき、第１転送制御ゲートＧ１は、フォトダイオード１１から第１浮遊拡散部ＦＤ１への電荷の転送を許可する。一方、第１転送制御ゲートＧ１に与えられた制御信号の電圧が、いわゆる「ＬＯＷ」であるとき、第１転送制御ゲートＧ１は、フォトダイオード１１から第１浮遊拡散部ＦＤ１への電荷の転送を禁止する。第１浮遊拡散部ＦＤ１は、前段増幅器１２２の第１入力端に接続されている。第１浮遊拡散部ＦＤ１は、フォトダイオード１１から転送された電荷を第１電荷として蓄積する。
【0108】
第２転送制御ゲートＧ２及び第２浮遊拡散部ＦＤ２の接続構成は、第１転送制御ゲートＧ１及び第１浮遊拡散部ＦＤ１と同様である。従って、詳細な説明は省略する。
【0109】
第３転送制御ゲートＧＤは、ＭＯＳトランジスタゲートである。このＭＯＳトランジスタのドレインは、電圧源ＶＤに接続されている。従って、第３転送制御ゲートＧＤは、フォトダイオード１１と電圧源ＶＤとの間に配置されている。第３転送制御ゲートＧＤは、ＨＩＧＨに対応する制御信号が与えられたとき、フォトダイオード１１からドレインの電荷の転送を許可する。つまり、電荷は、ドレインに排出される。また、第３転送制御ゲートＧＤは、ＬＯＷに対応する制御信号が与えられたとき、フォトダイオード１１からドレインへの電荷の転送を禁止する。
【0110】
前段増幅器１２２は、完全差動電荷感応型の増幅器（ＣＳＡ）である。前段増幅器１２２は、画素１２１から第１電荷量Ｑ１及び第２電荷量Ｑ２を受ける。前段増幅器１２２は、アナログ処理ユニット２０に第１前段電圧信号ＶＰ１及び第２前段電圧信号ＶＰ２を出力する。前段増幅器１２２は、演算増幅器１２２Ｓと、帰還キャパシタＣＳ１、ＣＳ２と、リセットスイッチＰＲ１１、ＰＲ１２と、を有する。前段増幅器１２２は、さらに、第１コモンモード帰還制御器１２２Ａを有する。
【0111】
演算増幅器１２２Ｓは、第１入力端と、第２入力端と、第３入力端と、を有する。演算増幅器１２２Ｓは、さらに、第１出力端と、第２出力端と、を有する。
【0112】
第１入力端は、第１浮遊拡散部ＦＤ１に接続されている。第１入力端は、第１浮遊拡散部ＦＤ１に蓄積された第１電荷量Ｑ１を受ける。第１出力端は、アナログ処理ユニット２０の入力端に接続されている。第１出力端は、アナログ処理ユニット２０の入力端に第１前段電圧信号ＶＰ１を出力する。第１出力端は、第１コモンモード帰還制御器１２２Ａに接続されている。第１出力端は、第１コモンモード帰還制御器１２２Ａに第１前段電圧信号ＶＰ１を出力する。
【0113】
第２入力端及び第２出力端の接続構成は、第１入力端及び第１出力端の接続構成と同様である。従って、詳細な説明は省略する。
【0114】
第３入力端は、第１コモンモード帰還制御器１２２Ａに接続されている。第３入力端は、第１コモンモード帰還制御器１２２Ａから制御信号を受ける。第１コモンモード帰還制御器１２２Ａは、完全作動出力の平均レベルがコモン電圧ＶＣＯＭと等しくなるように演算増幅器１２２Ｓを制御する。
【0115】
帰還キャパシタＣＳ１は、第１入力端と第１出力端との間に接続されている。リセットスイッチＰＲ１１は、第１入力端と第１出力端との間に接続されている。リセットスイッチＰＲ１１は、帰還キャパシタＣＳ１に対して電気的に並列に接続されている。
【0116】
前段増幅器１２２の第１前段電圧信号ＶＰ１は式（２２）により示される。また、前段増幅器１２２の第２前段電圧信号ＶＰ２は式（２３）により示される。
ＶＰ１：第１前段電圧信号。
ＶＰ２：第２前段電圧信号。
Ｑ１：第１浮遊拡散部ＦＤ１に蓄積された第１電荷量。
Ｑ２：第２浮遊拡散部ＦＤ２に蓄積された第２電荷量。
ＣＳ：帰還キャパシタＣＳ１及び帰還キャパシタＣＳ２の容量値。
ＶＣＯＭ：基準電圧。
【数22】
【数23】
ＶＰ１：第１前段電圧信号。
ＶＰ２：第２前段電圧信号。
Ｑ１：第１浮遊拡散部ＦＤ１に蓄積された第１電荷量。
Ｑ２：第２浮遊拡散部ＦＤ２に蓄積された第２電荷量。
ＣＳ：帰還キャパシタＣＳ１及び帰還キャパシタＣＳ２の容量値。
ＶＣＯＭ：基準電圧。
【0117】
さらに、第１電荷量Ｑ１は式（２４）により示される。第２電荷量Ｑ２は式（２５）により示される。
ＱＳ１：第１電荷量Ｑ１において反射光に起因する信号電荷量。
ＱＳ２：第２電荷量Ｑ２において反射光に起因する信号電荷量。
ＱＢ：第１電荷量Ｑ１及び第２電荷量Ｑ２において背景光に起因するノイズ電荷量。
【数24】
【数25】
ＱＳ１：第１電荷量Ｑ１において反射光に起因する信号電荷量。
ＱＳ２：第２電荷量Ｑ２において反射光に起因する信号電荷量。
ＱＢ：第１電荷量Ｑ１及び第２電荷量Ｑ２において背景光に起因するノイズ電荷量。
【0118】
コモンモード帰還を伴う完全差動増幅器を用いることによって、差分前段電圧信号ΔＶＰは、式（２６）により示される。式（２６）によれば、前段増幅器１２２の出力値である差分前段電圧信号ΔＶＰは、背景光成分（ＱＢ）をキャンセルしている。さらに、差分前段電圧信号ΔＶＰは、信号電荷量ＱＳ１と信号電荷量ＱＳ２の差分に比例する。
ΔＶＰ：差分前段電圧信号。
ＶＰ１：第１前段電圧信号。
ＶＰ２：第２前段電圧信号。
ＱＳ１：第１電荷量Ｑ１において反射光に起因する信号電荷量。
ＱＳ２：第２電荷量Ｑ２において反射光に起因する信号電荷量。
ＣＳ：帰還キャパシタＣＳ１及び帰還キャパシタＣＳ２の容量値。
【数26】
ΔＶＰ：差分前段電圧信号。
ＶＰ１：第１前段電圧信号。
ＶＰ２：第２前段電圧信号。
ＱＳ１：第１電荷量Ｑ１において反射光に起因する信号電荷量。
ＱＳ２：第２電荷量Ｑ２において反射光に起因する信号電荷量。
ＣＳ：帰還キャパシタＣＳ１及び帰還キャパシタＣＳ２の容量値。
【0119】
電荷－電圧変換ゲインＧＣは、式（２７）により示される。
ＧＣ：電荷－電圧変換ゲイン。
ΔＶＰ：差分前段電圧信号。
ＱＳ１：第１電荷量Ｑ１において反射光に起因する信号電荷量。
ＱＳ２：第２電荷量Ｑ２において反射光に起因する信号電荷量。
ＣＳ：帰還キャパシタＣＳ１及び帰還キャパシタＣＳ２の容量値。
【数27】
ＧＣ：電荷－電圧変換ゲイン。
ΔＶＰ：差分前段電圧信号。
ＱＳ１：第１電荷量Ｑ１において反射光に起因する信号電荷量。
ＱＳ２：第２電荷量Ｑ２において反射光に起因する信号電荷量。
ＣＳ：帰還キャパシタＣＳ１及び帰還キャパシタＣＳ２の容量値。
【0120】
なお、１つの短パルス光に含まれる光子の数は少ない。従って、信号は、反射光を周期的に多くのサイクルで受光することによって増強される。
【0121】
図１５は、画素１０回路部及び復調器１２の動作を示すタイミングチャートである。図１５では、差分前段電圧信号ΔＶＰの動きを、反射光の３つの場合の相対的遅延時間信号ｔＤに対して示している。相対的遅延時間信号ＴＤが０であり、且つ、信号電荷量ＱＳ１と信号電荷量ＱＳ２が等しい場合には、差分前段電圧信号ΔＶＰは０である。相対的遅延時間信号ｔＤが０より大きければ（ｔＤ＞０）、差分前段電圧信号ΔＶＰの絶対値は次第に増加する。この場合の符号は、正である。相対的遅延時間信号ＴＤより小さければ（ｔＤ＜０）、差分前段電圧信号ΔＶＰの絶対値は次第に増加する。この場合の符号は、負である。従って、光飛行時間によって相対的な光パルス遅延を測定することが可能であり、光パルス遅延の測定に電荷感受性型の前段増幅器１２２を含む復調器１２を採用できる。
【0122】
図１６は、アナログ処理ユニット２０の回路構成を示す。アナログ処理ユニット２０は、前段増幅器１２２から第１前段電圧信号ＶＰ１及び第２前段電圧信号ＶＰ２を受ける。アナログ処理ユニット２０は、Ａ／Ｄ変換器３０に第１後段電圧信号ＶＯ１と第２後段電圧信号ＶＯ２と、を出力する。アナログ処理ユニット２０は、前処理部２３と、後段増幅部２４と、を有する。
【0123】
前処理部２３は、入力キャパシタＣＩ１、ＣＩ２と、入力スイッチＰＳ１、ＰＳ２と、ドレインスイッチＰＲ１Ｄ１、ＰＲ１Ｄ２と、を有する。入力キャパシタＣＩ１、ＣＩ２は、前段増幅器１２２の出力端に接続されている。入力キャパシタＣＩ１、ＣＩ２は、入力スイッチＰＳ１、ＰＳ２及びドレインスイッチＰＲ１Ｄ１、ＰＲ１Ｄ２に接続されている。入力スイッチＰＳ１、ＰＳ２は、入力キャパシタＣＩ１、ＣＩ２と後段増幅部２４の演算増幅器２０Ｓの入力端に接続されている。ドレインスイッチＰＲ１Ｄ１、ＰＲ１Ｄ２は、入力キャパシタＣＩ１、ＣＩ２と基準電位Ｖｒｅｆに接続されている。
【0124】
後段増幅部２４は、演算増幅器２０Ｓと、帰還キャパシタＣＦ１と、帰還キャパシタＣＦ２と、リセットスイッチＰＲ２１、ＰＲ２２と、第２コモンモード帰還制御器２０Ａ（コモンモード帰還制御部）と、を有する。後段増幅部２４の回路構成は、前段増幅器１２２の回路構成と同じである。従って、後段増幅部２４を構成する要素の接続については、詳細な説明を省略する。
【0125】
前述したように、アナログ処理ユニット２０は、Ｃ測定であるときにはバッファ２１として機能する。また、アナログ処理ユニット２０は、Ｆ測定であるときには積分器２２として機能する。アナログ処理ユニット２０は、入力スイッチＰＳ１、ＰＳ２、ドレインスイッチＰＲ１Ｄ１、ＰＲ１Ｄ２、リセットスイッチＰＲ２１、ＰＲ２２の制御によってそれぞれの動作を実現する。
【0126】
バッファ２１として機能させるための、アナログ処理ユニット２０の動作を説明する。この動作によれば、アナログ処理ユニット２０は、固定ゲイン増幅器であるとみなせる。バッファ２１として機能させるとき、アナログ処理ユニット２０は、２つの動作態様を取り得る。
【0127】
第１動作態様では、ドレインスイッチＰＲ１Ｄ１、ＰＲ１Ｄ２をＯＮする。その結果、入力キャパシタＣＩ１、ＣＩ２に差分前段電圧信号ΔＶＰがサンプルされる。この時間中、リセットスイッチＰＲ２１、ＰＲ２２をＯＮする。その結果、帰還キャパシタＣＦ１及び帰還キャパシタＣＦ２がリセットされる。
【0128】
第２動作態様では、ドレインスイッチＰＲ１Ｄ１、ＰＲ１Ｄ２をＯＦＦする。さらに、入力スイッチＰＳ１、ＰＳ２をＯＮする。その結果、入力キャパシタＣＩ１、ＣＩ２にサンプルされた電荷は、容量比（ＣＩ／ＣＦ）で入力信号が増幅されるように帰還キャパシタＣＦ１、ＣＦ２に転送される。また、リセットスイッチＰＲ２１、ＰＲ２２をＯＦＦする。さらに、入力スイッチＰＳ１、ＰＳ２をＯＮする。その結果、入力キャパシタＣＩ１、ＣＩ２にサンプルされた電荷は、容量比（ＣＩ／ＣＦ）で入力信号が増幅されるように帰還キャパシタＣＦ１、ＣＦ２に転送される。
【0129】
バッファ２１のゲインＡＩは、式（２８）により示される。バッファ２１のゲインとは、差動入力に対する差動出力のゲインである。
ＡＩ：バッファ２１のゲイン。
ΔＶＯ：差分前段電圧信号。
ΔＶＰ：差分後段電圧信号。
ＣＩ：入力キャパシタＣＩ１及び入力キャパシタＣＩ２の容量値。
ＣＦ：帰還キャパシタＣＦ１及び帰還キャパシタＣＦ２の容量値。
【数28】
ＡＩ：バッファ２１のゲイン。
ΔＶＯ：差分前段電圧信号。
ΔＶＰ：差分後段電圧信号。
ＣＩ：入力キャパシタＣＩ１及び入力キャパシタＣＩ２の容量値。
ＣＦ：帰還キャパシタＣＦ１及び帰還キャパシタＣＦ２の容量値。
【0130】
積分器２２として機能させるための、アナログ処理ユニット２０の動作を説明する。この動作によれば、アナログ処理ユニット２０は、完全差動スイッチトキャパシタ積分器であるとみなせる。この動作モードでは、リセットスイッチＰＲ２１、ＰＲ２２は、帰還キャパシタＣＦ１及び帰還キャパシタＣＦ２の電荷をリセットするためにＯＮされる。
【0131】
入力キャパシタＣＩ１、ＣＩ２とドレインスイッチＰＲ１Ｄ１、ＰＲ１Ｄ２による入力信号サンプリングと、入力スイッチＰＳ１、ＰＳ２による帰還キャパシタＣＦ１及び帰還キャパシタＣＦ２への電荷転送が、スイッチトキャパシタ積分を行うように繰り返される。つまり、積分器２２は、ループを繰り返すごとに、第ｍ－１回目の積分結果に第ｍ回目の差分前段電圧信号ΔＶＰを加算する。ＮＦ回のスイッチトキャパシタ積分の繰り返し後の最後の出力、即ち、差分後段電圧信号ΔＶＯ（ＮＦ）（演算値）は式（２９）により示される。
ΔＶＯ（ＮＦ）：ＮＦ回目の差分後段電圧信号。
ＡＩ：バッファ２１のゲイン。
ΔＶＰ（ｉ）：ｉ番目の差動入力。
【数29】
ΔＶＯ（ＮＦ）：ＮＦ回目の差分後段電圧信号。
ＡＩ：バッファ２１のゲイン。
ΔＶＰ（ｉ）：ｉ番目の差動入力。
【0132】
図１７は、ＤＴ変換器５０と転送制御パルス発生器７０の回路構成を示す。ＤＴ変換器５０は、デジタル処理ユニット４０からデジタル信号ＤＭを受ける。ＤＴ変換器５０は、光トリガ制御器８４ａから信号ＴＳを受ける。ＤＴ変換器５０は、信号ＴＳをトリガとして動作を開始する。
【0133】
ＤＴ変換器５０は、第１ディレイライン５１ａと、第２ディレイライン５１ｂと、第３ディレイライン５１ｃと、第１デジタルコンパレータ５２ａと、第２デジタルコンパレータ５２ｂと、第３デジタルコンパレータ５２ｃと、を有する。第１ディレイライン５１ａ、第２ディレイライン５１ｂ及び第３ディレイライン５１ｃは、デジタル制御可能な遅延回路である。
【0134】
第１ディレイライン５１ａは、光トリガ制御器８４ａ（図１８参照）に接続されている。第１ディレイライン５１ａは、光トリガ制御器８４ａから信号ＴＳを受ける。第１ディレイライン５１ａは、第２ディレイライン５１ｂの入力端に接続されている。第２ディレイライン５１ｂは、第３ディレイライン５１ｃの入力端に接続されている。つまり、第１ディレイライン５１ａ、第２ディレイライン５１ｂ及び第３ディレイライン５１ｃは、電気的に直列に接続されている。第１ディレイライン５１ａ、第２ディレイライン５１ｂ及び第３ディレイライン５１ｃのそれぞれは、５ビットのカウンタを有する。
【0135】
第１ディレイライン５１ａは、第１デジタルコンパレータ５２ａに第１バイナリカウンティングコードを出力する。第１デジタルコンパレータ５２ａは、第１バイナリカウンティングコードとデジタル処理ユニット４０のデジタル信号ＤＭとを比較する。第１デジタルコンパレータ５２ａは、比較の結果を、信号ＤＣＯ０として転送制御パルス発生器７０に出力する。この信号ＤＣＯ０は、第１転送制御ゲートＧ１に与えられる第１転送制御パルスＳＧ１のためのものである。
【0136】
第２ディレイライン５１ｂ及び第２デジタルコンパレータ５２ｂの接続構成及び動作は、第１ディレイライン５１ａ及び第１デジタルコンパレータ５２ａの接続構成及び動作と同様である。従って、詳細な説明は省略する。
【0137】
第３ディレイライン５１ｃ及び第３デジタルコンパレータ５２ｃの接続構成及び動作も、第１ディレイライン５１ａ及び第１デジタルコンパレータ５２ａの接続構成及び動作と同様である。従って、詳細な説明は省略する。
【0138】
転送制御パルス発生器７０は、ＤＴ変換器５０から信号ＤＣＯ０、ＤＣＯ１、ＤＣＯ２を受ける。転送制御パルス発生器７０は、復調器１２に第１転送制御パルスＳＧ１、第２転送制御パルスＳＧ２、第３転送制御パルスＳＧＤを出力する。転送制御パルス発生器７０は、第１論理素子７１ａ、第２論理素子７１ｂ、第３論理素子７１ｃと、第１素子７２ａと、第２素子７２ｂと、第３素子７２ｃと、を有する。
【0139】
第１論理素子７１ａは、ＡＮＤ回路である。第１論理素子７１ａの非反転入力端には、第１デジタルコンパレータ５２ａが接続される。第１論理素子７１ａの反転入力端には、第２デジタルコンパレータ５２ｂが接続される。第１論理素子７１ａの出力端は、第１素子７２ａが接続される。第１素子７２ａは、復調器１２に第１転送制御パルスＳＧ１を出力する。
【0140】
第２論理素子７１ｂも、ＡＮＤ回路である。第２論理素子７１ｂの非反転入力端には、第２デジタルコンパレータ５２ｂが接続される。第２論理素子７１ｂの反転入力端には、第３デジタルコンパレータ５２ｃが接続される。第２論理素子７１ｂの出力端は、第２素子７２ｂが接続される。第２素子７２ｂは、復調器１２に第２転送制御パルスＳＧ２を出力する。
【0141】
第３論理素子７１ｃは、ＯＲ回路である。第３論理素子７１ｃの非反転入力端には、第３デジタルコンパレータ５２ｃが接続される。第３論理素子７１ｃの反転入力端には、第１デジタルコンパレータ５２ａが接続される。第３論理素子７１ｃの出力端は、第３素子７２ｃが接続される。第３素子７２ｃは、復調器１２に第３転送制御パルスＳＧＤを出力する。
【0142】
図１８に示すように、距離画像撮像装置１は、光源２と、チップ部品８３と、ＦＰＧＡ８４と、を有する。チップ部品８３及びＦＰＧＡ８４は、プリント基板８１に配置されている。また、プリント基板８１には、コンパレータ８５も配置されている。プリント基板８１は、チップ部品８３が出力する信号を外部に出力するＪＴＡＧインターフェースを有する。プリント基板８１は、ＪＴＡＧインターフェースを介してコンピュータ２００にチップ部品８３が出力する信号を出力する。
【0143】
チップ部品８３は、デジタルディレイライン５１と、デジタルコンパレータ５２と、転送制御パルス発生器７０と、フォトダイオード１１と、復調器１２と、前段増幅器１２２と、アナログ処理ユニット２０と、マルチプレクサ８３ａと、を含む。
【0144】
チップ部品８３は、ＦＰＧＡ８４から各種の制御信号を受ける。チップ部品８３は、対象物１００からの反射光Ｌ２を受ける。チップ部品８３のアナログ処理ユニット２０は、多重化されたチャンネルを介してコンパレータ８５に接続されている。チップ部品８３は、コンパレータ８５に第１後段電圧信号ＶＯ１及び第２後段電圧信号ＶＯ２を出力する。
【0145】
コンパレータ８５は、第１後段電圧信号ＶＯ１及び第２後段電圧信号ＶＯ２に基づいて、ビットストリーム信号を発生する。コンパレータ８５は、ビットストリーム信号をＦＰＧＡ８４に出力する。
【0146】
ＦＰＧＡ８４は、光トリガ制御器８４ａと、デジタル処理ユニット４０と、リードアウト制御器８４ｂと、を有する。ＦＰＧＡ８４は、コンパレータ８５からビットストリーム信号であるデジタル信号ＤＦＢを受ける。ＦＰＧＡ８４は、チップ部品８３に信号を出力する。具体的には、光トリガ制御器８４ａは、信号ＴＬをデジタル遅延制御器８２に出力する。光トリガ制御器８４ａは、信号ＴＳをチップ部品８３のデジタルディレイライン５１に出力する。デジタル処理ユニット４０は、カウンタ４１と、加算器４２と、デシメーションフィルタ６０と、を有する。デジタル処理ユニット４０は、デジタルディレイライン５１にデジタル信号ＤＭを出力する。リードアウト制御器８４ｂは、前段増幅器１２２、アナログ処理ユニット２０及びマルチプレクサ８３ａにクロック信号ＰＣ［ｎ］を出力する。
【0147】
以下、従来の距離画像測定装置における課題を詳細に説明する。そのあとに、実施形態の距離画像撮像装置１の作用効果について説明する。
【0148】
距離画像測定装置には、直接型と称される装置と、間接型と称される装置と、がある。直接型の装置は、照射光を出射してから反射光を受けるまでの時間を直接的に測定する。一方、間接型の装置は、反射光に起因して発生した電荷を２個以上の領域（タップ）に時間毎に振り分ける。この振り分けは、復調ともいう。それぞれの領域に振り分けられた電荷量の比率に基づいて、光飛行時間を得る。
【0149】
距離画像撮像装置１には、高い精度、確度、直線性、及び、環境光への耐性が要求される。通常、直接型の装置は、光信号を計測するための素子として、ＳＰＡＤ（ＳＩＮＧＬＥ ＰＨＯＴＯＮ ＡＶＡＬＡＮＣＨＥ ＤＩＯＤＥ）を採用する。ＳＰＡＤと全デジタル領域の処理を用いた直接型の装置は、高確度の光飛行時間測定には適している。直接型の装置において、光飛行時間は、ＴＩＭＥ－ＴＯ－ＤＩＧＩＴＡＬ（ＴＤ）変換器によってデジタル化される。ＴＤ変換器を備えた直接型の装置は、高い分解能と直線性を有する。しかし、回路規模が大きくなり、ＴＤ変換器の分解能が距離分解能を制限する。従って、直接型の装置は、短距離の測定が困難である。そして、直接型の装置に、極めて高い分解能と環境光への耐性が要求された場合には、直接型の装置は、ハードウェア構成が複雑化する。
【0150】
一方、間接型の装置では、２つ以上の電荷蓄積領域を備えた画素を採用する。このような画素は、ロックイン画素とも称される。間接型の装置は、光電荷信号を発光トリガパルス信号に同期（ロックイン）させて復調する。次に、間接型の装置は、復調された光電荷信号をＡ／Ｄ変換器によってデジタル信号に変換する。次に、間接型の装置は、第１電荷蓄積領域における電荷量と、第２電荷蓄積領域における電荷量の比率を得る。そして、間接型の装置は、電荷量の比率に基づいて、距離を計算する。
【0151】
間接型の装置における分解能と直線性は、光電荷復調器とＡ／Ｄ変換器のシステム応答に依存する。間接型の装置における分解能と直線性は、直接型の装置における分解能と直線性よりも低い。しかし、間接型の装置は、画素サイズが小さい、回路が複雑でない、及び、特に数メートルの距離測定に対する比較的信頼できる距離分解能が得られるという点において、直接型の装置よりも有利である。
【0152】
間接型の装置は、変調された光の波形に応じてさらに２つの種類に分類される。光の波形とは、第１に連続波（ＣＷ）である。第２に、短パルス波である。短パルス波を利用する間接型の装置は、照射光のパワーが短いパルス波に集中する。その結果、画素の電荷排出機能が環境光の影響を低減する。従って、短パルス波を利用する間接型の装置は、環境光に対する耐性が高い。
【0153】
しかしながら、短パルス波を利用する間接型の装置は、光飛行時間の測定におけるアナログ領域の処理により、画素のソースフォロワ増幅器の非線形性の問題及び光パルスの波形の歪の問題を抱えている。さらに、短パルス波を利用する間接型の装置は、フォトダイオードの内部において光キャリア応答時間が有限である問題、及び、復調のための転送制御パルスの歪の問題も抱えている。つまり、短パルス波を利用する間接型の装置は、アナログ的な不完全性の問題を抱えている。
【0154】
例えば、フォトンショットノイズが距離分解能を制限する問題を考える場合には、画素のフルウェルキャパシティが、間接型の装置における距離分解能を制限する。また、画素のフルウェルキャパシティが、間接型の装置における深度ノイズを制限する。
【0155】
短パルス波を利用する間接型の装置において、極めて短いパルス光を用いることは、距離分解能を改善するために有効である。例えば、１００ピコ秒以下の光パルスを用いたセンサが報告されている。報告書には、このセンサは、サブ１００μｍの距離分解能を持つことが記されている。しかし、短パルス光に起因する非線形性の問題及び転送制御パルスのスキューの問題などが依然として課題となっている。短パルス波を利用する間接型の装置には、非線形性を補正するための複雑なオフライン処理が必要である。また、短パルス波を利用する間接型の装置には、オンチップスキュー補正回路も必要である。
【0156】
間接型の装置におけるシステム応答は、復調器とＡ／Ｄ変換器の伝達関数が分解能と直線性を制限する。実際には、間接型の装置のシステム応答は、オフセットと非線形な係数とを有する。オフセットは容易に補正することができる。しかし、非線形な係数をシステム応答から除去することは容易ではない。非線形な係数を補正するためには、大規模な処理回路が必要である。また、非線形な係数を補正するためには、複雑な信号処理が必要である。
【0157】
そこで、実施形態の距離画像測定装置１によれば光飛行時間に関する電荷量の差分から得た演算値を所定条件の基にデジタル信号に変換する。そして当該デジタル信号を用いて、転送制御パルスのタイミングを制御する。その結果、電荷読出領域ごとの電荷量の偏りを小さくすることが可能になるので、総合的な性能の向上が望める。
【0158】
つまり、本実施形態の距離画像撮像装置１は、２つの電荷蓄積部の電荷量が共に大きな状態で測定を行うため、電荷蓄積や読出しに伴うノイズの影響を最小限とできる。さらには、Ｆｉｎｅ測定においては、デルタシグマ変調技術を適用することで量子化誤差が低周波領域で小さく、高周波領域で大きくなるため、後段にローパスフィルタを設けることで、量子化誤差の低減を効果的に行うことができる。
【0159】
以上、距離画像撮像装置をその実施形態に基づいて詳細に説明した。しかし、距離画像撮像装置は上記実施形態に限定されるものではない。距離画像撮像装置は、その要旨を逸脱しない範囲で様々な変形が可能である。
【0160】
上述の距離画像撮像装置は、Ｃ測定とＦ測定とを切り替えながら動作した。例えば、距離画像撮像装置は、Ｃ測定又はＦ測定の何れか一方を行ってもよい。つまり、距離画像撮像装置は、おおよその距離情報を得るＣ測定のみを行ってもよい。この場合には、距離画像撮像装置は、Ｆ測定のための回路構成を省略してよい。さらに、Ｃ測定のみを行う距離画像撮像装置は、互いに異なる２つの単位遅延時間を用いた動作を行ってもよい。つまり、距離画像撮像装置は、第１の単位遅延時間に基づく動作と、第１の遅延時間よりも短い第２の単位遅延時間に基づく動作と、を行う。このような動作によれば、第２の単位遅延時間に基づく動作は、疑似的なＦ測定としてみなすことも可能である。
【0161】
また、距離画像撮像装置は、Ｆ測定のみを行ってもよい。この場合には、距離画像撮像装置は、Ｃ測定のための回路構成を省略してよい。
【符号の説明】
【0162】
１…距離画像撮像装置、２…光源、４…周辺回路、１０…画素回路部、１０Ｓ…画素回路部アレイ、２１…バッファ、２２…積分器、３０…Ａ／Ｄ変換器、４１…カウンタ、４２…加算器、６０…デシメーションフィルタ、Ｆ１０…デルタシグマ変調器、ＦＤ１…第１浮遊拡散部（第１電荷読出領域）、ＦＤ２…第２浮遊拡散部（第２電荷読出領域）、Ｇ１…第１転送制御ゲート（第１制御電極）、Ｇ２…第２転送制御ゲート（第２制御電極）、ＳＧ１…第１転送制御パルス、ＳＧ２…第２転送制御パルス。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】