知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022113429
(43)【公開日】2022-08-04
(54)【発明の名称】距離画像撮像装置、及び距離画像撮像方法
(51)【国際特許分類】
G01S 7/497 20060101AFI20220728BHJP
G01S 17/894 20200101ALI20220728BHJP
G01C 3/06 20060101ALI20220728BHJP
【ＦＩ】
G01S7/497
G01S17/894
G01C3/06 120Q
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2021009673
(22)【出願日】2021-01-25
(71)【出願人】
【識別番号】000003193
【氏名又は名称】凸版印刷株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】中込 友洋
(72)【発明者】
【氏名】大久保 優
(72)【発明者】
【氏名】高橋 聡
(72)【発明者】
【氏名】後藤 浩成
【テーマコード（参考）】
2F112
5J084
【Ｆターム（参考）】
2F112AD01
2F112BA06
2F112CA12
2F112DA04
2F112DA25
2F112EA11
5J084AA04
5J084AA05
5J084AD01
5J084AD05
5J084BA04
5J084BA36
5J084BA40
5J084CA03
5J084CA49
5J084EA20
(57)【要約】
【課題】画素がシングルパスを受光したか、マルチパスを受光したかを判定することができる距離画像撮像装置、及び距離画像撮像方法を提供する。
【解決手段】光源部と、受光部と、被写体までの距離を演算する距離画像処理部と、を備え、前記距離画像処理部は、前記照射タイミングと前記蓄積タイミングとの相対的なタイミング関係が互いに異なる複数の測定を行い、前記複数の測定のそれぞれにて蓄積された電荷量に基づく特徴量を抽出し、前記抽出した特徴量の傾向に基づいて、前記光パルスの反射光がシングルパスにて前記画素に受光されたか、前記光パルスの反射光がマルチパスにて前記画素に受光されたかを判定し、前記判定した結果に応じて前記測定空間に存在する被写体までの距離を算出する。
【選択図】図１
【解決手段】光源部と、受光部と、被写体までの距離を演算する距離画像処理部と、を備え、前記距離画像処理部は、前記照射タイミングと前記蓄積タイミングとの相対的なタイミング関係が互いに異なる複数の測定を行い、前記複数の測定のそれぞれにて蓄積された電荷量に基づく特徴量を抽出し、前記抽出した特徴量の傾向に基づいて、前記光パルスの反射光がシングルパスにて前記画素に受光されたか、前記光パルスの反射光がマルチパスにて前記画素に受光されたかを判定し、前記判定した結果に応じて前記測定空間に存在する被写体までの距離を算出する。
【選択図】図１
【特許請求の範囲】
【請求項1】
測定対象の空間である測定空間に光パルスを照射する光源部と、
入射した光に応じた電荷を発生する光電変換素子、及び電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させたタイミングで前記画素における前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
前記光パルスを照射する照射タイミングと前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる蓄積タイミングとを制御し、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、
を備え、
前記距離画像処理部は、前記照射タイミングと前記蓄積タイミングとの相対的なタイミング関係が互いに異なる複数の測定を行い、前記複数の測定のそれぞれにて蓄積された電荷量に基づく特徴量を抽出し、前記抽出した特徴量の傾向に基づいて、前記光パルスの反射光がシングルパスにて前記画素に受光されたか、前記光パルスの反射光がマルチパスにて前記画素に受光されたかを判定し、前記判定した結果に応じて前記測定空間に存在する被写体までの距離を算出する、
距離画像撮像装置。
入射した光に応じた電荷を発生する光電変換素子、及び電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させたタイミングで前記画素における前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
前記光パルスを照射する照射タイミングと前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる蓄積タイミングとを制御し、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、
を備え、
前記距離画像処理部は、前記照射タイミングと前記蓄積タイミングとの相対的なタイミング関係が互いに異なる複数の測定を行い、前記複数の測定のそれぞれにて蓄積された電荷量に基づく特徴量を抽出し、前記抽出した特徴量の傾向に基づいて、前記光パルスの反射光がシングルパスにて前記画素に受光されたか、前記光パルスの反射光がマルチパスにて前記画素に受光されたかを判定し、前記判定した結果に応じて前記測定空間に存在する被写体までの距離を算出する、
距離画像撮像装置。
【請求項2】
前記距離画像処理部は、前記反射光がシングルパスで前記画素に受光された場合における、前記相対的なタイミング関係と前記特徴量とが対応付けられたルックアップテーブルを用いて、前記ルックアップテーブルの傾向と、前記複数の測定のそれぞれの前記特徴量の傾向との類似度合いに基づいて、前記反射光がシングルパスにて前記画素に受光されたか、前記光パルスの反射光がマルチパスにて前記画素に受光されたかを判定する、
請求項１に記載の距離画像撮像装置。
請求項１に記載の距離画像撮像装置。
【請求項3】
前記ルックアップテーブルは、前記光パルスの形状、前記光パルスの照射時間、前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間のうち、少なくともいずれかの測定条件に応じて作成され、
前記距離画像処理部は、前記測定条件に対応する前記ルックアップテーブルを用いて、前記反射光がシングルパスにて前記画素に受光されたか、前記反射光がマルチパスにて前記画素に受光されたかを判定する、
請求項２に記載の距離画像撮像装置。
前記距離画像処理部は、前記測定条件に対応する前記ルックアップテーブルを用いて、前記反射光がシングルパスにて前記画素に受光されたか、前記反射光がマルチパスにて前記画素に受光されたかを判定する、
請求項２に記載の距離画像撮像装置。
【請求項4】
前記特徴量は、前記三つ以上の電荷蓄積部のそれぞれに蓄積された電荷のうち、少なくとも前記反射光に応じた電荷が蓄積される電荷蓄積部に蓄積された電荷量を用いて算出される値である、
請求項１から請求項３のいずれか一項に記載の距離画像撮像装置。
請求項１から請求項３のいずれか一項に記載の距離画像撮像装置。
【請求項5】
前記画素には、第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部が設けられ、
前記距離画像処理部は、前記第１電荷蓄積部、前記第２電荷蓄積部、又は前記第３電荷蓄積部の少なくともいずれかに前記反射光に応じた電荷が蓄積されるタイミングにて、前記第１電荷蓄積部、前記第２電荷蓄積部、前記第３電荷蓄積部の順に電荷を蓄積させ、
前記特徴量は、前記第１電荷蓄積部、前記第２電荷蓄積部、及び前記第３電荷蓄積部のそれぞれの蓄積電荷量を変数とする複素数である、
請求項１から請求項４のいずれか一項に記載の距離画像撮像装置。
前記距離画像処理部は、前記第１電荷蓄積部、前記第２電荷蓄積部、又は前記第３電荷蓄積部の少なくともいずれかに前記反射光に応じた電荷が蓄積されるタイミングにて、前記第１電荷蓄積部、前記第２電荷蓄積部、前記第３電荷蓄積部の順に電荷を蓄積させ、
前記特徴量は、前記第１電荷蓄積部、前記第２電荷蓄積部、及び前記第３電荷蓄積部のそれぞれの蓄積電荷量を変数とする複素数である、
請求項１から請求項４のいずれか一項に記載の距離画像撮像装置。
【請求項6】
前記特徴量は、前記第１電荷蓄積部に蓄積された第１電荷量と前記第２電荷蓄積部に蓄積された第２電荷量との差分である第１変数を実部とし、前記第２電荷蓄積部に蓄積された第２電荷量と前記第３電荷蓄積部に蓄積された第３電荷量との差分である第２変数を虚部とする複素数で表される値である、
請求項５に記載の距離画像撮像装置。
請求項５に記載の距離画像撮像装置。
【請求項7】
前記複数の測定では、前記蓄積タイミングに対して前記照射タイミングを相対的に遅らせる遅延時間が互いに異なる時間となるように制御される、
請求項１から請求項６のいずれか一項に記載の距離画像撮像装置。
請求項１から請求項６のいずれか一項に記載の距離画像撮像装置。
【請求項8】
前記距離画像処理部は、前記反射光がシングルパスで前記画素に受光された場合における、前記相対的なタイミング関係と前記特徴量とが対応付けられたルックアップテーブルを用いて、前記ルックアップテーブルの傾向と、前記複数の測定のそれぞれの前記特徴量の傾向との類似度合いを示す指標値を算出し、前記指標値が閾値を超えない場合に前記反射光がシングルパスにて前記画素に受光されたと判定し、前記指標値が前記閾値を超える場合に前記反射光がマルチパスにて前記画素に受光されたと判定し、
前記指標値は、前記複数の測定のそれぞれから算出される前記特徴量である第１特徴量と、前記ルックアップテーブルにおいて前記複数の測定のそれぞれに対応する前記特徴量である第２特徴量との差分を、前記第２特徴量の絶対値で正規化した差分正規化値について、前記複数の測定のそれぞれの前記差分正規化値を加算した加算値である、
請求項１から請求項７のいずれか一項に記載の距離画像撮像装置。
前記指標値は、前記複数の測定のそれぞれから算出される前記特徴量である第１特徴量と、前記ルックアップテーブルにおいて前記複数の測定のそれぞれに対応する前記特徴量である第２特徴量との差分を、前記第２特徴量の絶対値で正規化した差分正規化値について、前記複数の測定のそれぞれの前記差分正規化値を加算した加算値である、
請求項１から請求項７のいずれか一項に記載の距離画像撮像装置。
【請求項9】
前記距離画像処理部は、前記反射光がマルチパスで前記画素に受光されたと判定した場合、マルチパスに含まれる光の経路のそれぞれに対応する距離を、最小二乗法を用いることにより算出する、
請求項１から請求項８のいずれか一項に記載の距離画像撮像装置。
請求項１から請求項８のいずれか一項に記載の距離画像撮像装置。
【請求項10】
前記光電変換素子によって発生された電荷を排出する電荷排出部を更に備え、
前記距離画像処理部は、１フレーム期間において、前記光パルスの照射に同期させたタイミングで前記画素における前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる単位蓄積処理を、複数回繰り返すことによって、前記電荷蓄積部のそれぞれに電荷を蓄積させ、前記単位蓄積処理において前記電荷蓄積部のそれぞれに電荷を蓄積させる時間区間とは異なる時間区間では、前記光電変換素子によって発生された電荷が前記電荷排出部によって排出されるように制御する、
請求項１から請求項９のいずれか一項に記載の距離画像撮像装置。
前記距離画像処理部は、１フレーム期間において、前記光パルスの照射に同期させたタイミングで前記画素における前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる単位蓄積処理を、複数回繰り返すことによって、前記電荷蓄積部のそれぞれに電荷を蓄積させ、前記単位蓄積処理において前記電荷蓄積部のそれぞれに電荷を蓄積させる時間区間とは異なる時間区間では、前記光電変換素子によって発生された電荷が前記電荷排出部によって排出されるように制御する、
請求項１から請求項９のいずれか一項に記載の距離画像撮像装置。
【請求項11】
前記距離画像処理部は、前記複数の測定のうち最初の測定に基づいて前記被写体までの暫定距離を算出し、前記暫定距離に基づいて前記複数の測定のうち残りの測定に用いる遅延時間を決定し、
前記遅延時間は、前記蓄積タイミングに対して前記照射タイミングを相対的に遅らせる時間である、
請求項１から請求項１０のいずれか一項に記載の距離画像撮像装置。
前記遅延時間は、前記蓄積タイミングに対して前記照射タイミングを相対的に遅らせる時間である、
請求項１から請求項１０のいずれか一項に記載の距離画像撮像装置。
【請求項12】
前記距離画像処理部は、前記暫定距離を前記光パルスが進むのに要する時間、及び前記特徴量の傾向に基づいて、前記遅延時間を決定する、
請求項１１に記載の距離画像撮像装置。
請求項１１に記載の距離画像撮像装置。
【請求項13】
前記距離画像処理部は、前記暫定距離が閾値を超える遠距離である場合、前記暫定距離が閾値を超えない短距離である場合と比較して、前記複数の測定のうち残りの測定における前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる蓄積回数を増加させる、
請求項１１又は請求項１２に記載の距離画像撮像装置。
請求項１１又は請求項１２に記載の距離画像撮像装置。
【請求項14】
前記距離画像処理部は、前記反射光がシングルパスで前記画素に受光されたと判定した場合、前記複数の測定タイミングでの測定に基づいて前記被写体までの暫定距離をそれぞれ算出し、算出した暫定距離のそれぞれの代表値を、前記被写体までの距離と決定する、
請求項１から請求項１３のいずれか一項に記載の距離画像撮像装置。
請求項１から請求項１３のいずれか一項に記載の距離画像撮像装置。
【請求項15】
測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させたタイミングで前記画素における前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記光パルスを照射する照射タイミングと前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる蓄積タイミングとを制御し、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、を備える距離画像撮像装置が行う距離画像撮像方法であって、
前記距離画像処理部は、
前記照射タイミングと前記蓄積タイミングとの相対的なタイミング関係が互いに異なる複数の測定を行い、
前記複数の測定のそれぞれにて蓄積された電荷量に基づく特徴量を抽出し、
前記抽出した特徴量の傾向に基づいて、前記光パルスの反射光がシングルパスにて前記画素に受光されたか、前記光パルスの反射光がマルチパスにて前記画素に受光されたかを判定し、
前記判定した結果に応じて前記測定空間に存在する被写体までの距離を算出する、
距離画像撮像方法。
前記距離画像処理部は、
前記照射タイミングと前記蓄積タイミングとの相対的なタイミング関係が互いに異なる複数の測定を行い、
前記複数の測定のそれぞれにて蓄積された電荷量に基づく特徴量を抽出し、
前記抽出した特徴量の傾向に基づいて、前記光パルスの反射光がシングルパスにて前記画素に受光されたか、前記光パルスの反射光がマルチパスにて前記画素に受光されたかを判定し、
前記判定した結果に応じて前記測定空間に存在する被写体までの距離を算出する、
距離画像撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。
【背景技術】
【0002】
従来から、物体との距離を計測するための技術として、光パルスの飛行時間を測定する技術がある。このような技術は、タイム・オブ・フライト（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、以下、ＴＯＦという）と呼ばれる。ＴＯＦでは、光の速度が既知であることを利用して物体との距離を算出する。ＴＯＦの技術を用いて、物体を含む二次元の画像における画素ごとの奥行き情報、つまり、物体に対する三次元の情報を得る距離画像撮像装置が実用化されている。距離画像撮像装置では、フォトダイオード（ＰＤ）を含む画素がシリコン基板に二次元の行列状に配置され、この画素面で光パルスが物体に反射した反射光を受光する。距離画像撮像装置では、それぞれの画素が受光した光量（電荷量）に基づいた光電変換信号を１つの画像分出力することによって、物体を含む二次元の画像と、この画像を構成するそれぞれの画素ごとの距離の情報を得る。例えば、特許文献１には、１つの画素に設けられた三個の電荷蓄積部に、受光した光に応じた電荷を順に振り分けて蓄積させることにより距離を計算する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第４２３５７２９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような距離画像撮像装置では、光パルスの光源と物体との間を直接往復した直接波（シングルパス）を画素が受光することを想定して距離を算出する演算式が定義されている。しかしながら、物体のコーナー部や、物体の表面が凹凸構造となっている部分などにおいて光パルスが多重反射し、直接波と間接波とが混在したマルチパスが受光される場合がある。このようなマルチパスを受光した場合に、シングルパスを受光したとみなして距離を算出してしまうと、測定距離に誤差が生じてしまうという問題があった。
【0005】
本発明は、上記の課題に基づいてなされたものであり、画素がシングルパスを受光したか、マルチパスを受光したかを判定することができる距離画像撮像装置、及び距離画像撮像方法を提供することを目的とする。さらに、画素がシングルパスを受光したと判定した場合は一つの反射体までの距離を算出すること、及び画素がマルチパスを受光したと判定した場合は複数の反射体の各々までの距離を算出することを目的とする。
【課題を解決するための手段】
【0006】
本発明の距離画像撮像装置は、測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させたタイミングで前記画素における前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記光パルスを照射する照射タイミングと前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる蓄積タイミングとを制御し、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、を備え、前記距離画像処理部は、前記照射タイミングと前記蓄積タイミングとの相対的なタイミング関係が互いに異なる複数の測定を行い、前記複数の測定のそれぞれにて蓄積された電荷量に基づく特徴量を抽出し、前記抽出した特徴量の傾向に基づいて、前記光パルスの反射光がシングルパスにて前記画素に受光されたか、前記光パルスの反射光がマルチパスにて前記画素に受光されたかを判定し、前記判定した結果に応じて前記測定空間に存在する被写体までの距離を算出する。
【0007】
本発明の距離画像撮像装置では、前記距離画像処理部は、前記反射光がシングルパスで前記画素に受光された場合における、前記相対的なタイミング関係と前記特徴量とが対応付けられたルックアップテーブルを用いて、前記ルックアップテーブルの傾向と、前記複数の測定のそれぞれの前記特徴量の傾向との類似度合いに基づいて、前記反射光がシングルパスにて前記画素に受光されたか、前記光パルスの反射光がマルチパスにて前記画素に受光されたかを判定する。
【0008】
本発明の距離画像撮像装置では、前記ルックアップテーブルは、前記光パルスの形状、前記光パルスの照射時間、前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間のうち、少なくともいずれかの測定条件に応じて作成され、前記距離画像処理部は、前記測定条件に対応する前記ルックアップテーブルを用いて、前記反射光がシングルパスにて前記画素に受光されたか、前記反射光がマルチパスにて前記画素に受光されたかを判定する。
【0009】
本発明の距離画像撮像装置では、前記特徴量は、前記三つ以上の電荷蓄積部のそれぞれに蓄積された電荷のうち、少なくとも前記反射光に応じた電荷が蓄積される電荷蓄積部に蓄積された電荷量を用いて算出される値である。
【0010】
本発明の距離画像撮像装置では、前記画素には、第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部が設けられ、前記距離画像処理部は、前記第１電荷蓄積部、前記第２電荷蓄積部、又は前記第３電荷蓄積部の少なくともいずれかに前記反射光に応じた電荷が蓄積されるタイミングにて、前記第１電荷蓄積部、前記第２電荷蓄積部、前記第３電荷蓄積部の順に電荷を蓄積させ、前記特徴量は、前記第１電荷蓄積部、前記第２電荷蓄積部、前記第３電荷蓄積部の蓄積電荷量を変数とする複素函数（複素関数）である。例えば、前記特徴量は、前記第１電荷蓄積部に蓄積された第１電荷量と前記第２電荷蓄積部に蓄積された第２電荷量との差分である第１変数を実部とし、前記第２電荷蓄積部に蓄積された第２電荷量と前記第３電荷蓄積部に蓄積された第３電荷量との差分である第２変数を虚部とする複素数で表される値ある。
【0011】
本発明の距離画像撮像装置では、前記複数の測定では、前記蓄積タイミングに対して前記照射タイミングを相対的に遅らせる遅延時間が互いに異なる時間となるように制御される。
【0012】
本発明の距離画像撮像装置では、前記距離画像処理部は、前記反射光がシングルパスで前記画素に受光された場合における、前記相対的なタイミング関係と前記特徴量とが対応付けられたルックアップテーブルを用いて、前記ルックアップテーブルの傾向と、前記複数の測定のそれぞれの前記特徴量の傾向との類似度合いを示す指標値を算出し、前記指標値が閾値を超えない場合に前記反射光がシングルパスにて前記画素に受光されたと判定し、前記指標値が前記閾値を超える場合に前記反射光がマルチパスにて前記画素に受光されたと判定し、前記指標値は、前記複数の測定のそれぞれから算出される前記特徴量である第１特徴量と、前記ルックアップテーブルにおいて前記複数の測定のそれぞれに対応する前記特徴量である第２特徴量との差分を、前記第２特徴量の絶対値で正規化した差分正規化値について、前記複数の測定のそれぞれの前記差分正規化値を加算した加算値である。
【0013】
本発明の距離画像撮像装置では、前記距離画像処理部は、前記反射光がマルチパスで前記画素に受光されたと判定した場合、マルチパスに含まれる光の経路のそれぞれに対応する距離を、最小二乗法を用いることにより算出する。
【0014】
本発明の距離画像撮像装置では、前記光電変換素子によって発生された電荷を排出する電荷排出部を更に備え、前記距離画像処理部は、１フレーム期間において、前記光パルスの照射に同期させたタイミングで前記画素における前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる単位蓄積処理を、複数回繰り返すことによって、前記電荷蓄積部のそれぞれに電荷を蓄積させ、前記単位蓄積処理において前記電荷蓄積部のそれぞれに電荷を蓄積させる時間区間とは異なる時間区間では、前記光電変換素子によって発生された電荷が前記電荷排出部によって排出されるように制御する。
【0015】
本発明の距離画像撮像装置では、前記距離画像処理部は、前記複数の測定のうち最初の測定に基づいて前記被写体までの暫定距離を算出し、前記暫定距離に基づいて前記複数の測定のうち残りの測定に用いる遅延時間を決定し、前記遅延時間は、前記蓄積タイミングに対して前記照射タイミングを相対的に遅らせる時間である。
【0016】
本発明の距離画像撮像装置では、前記距離画像処理部は、前記暫定距離を前記光パルスが進むのに要する時間、及び前記特徴量の傾向に基づいて、前記遅延時間を決定する。
【0017】
本発明の距離画像撮像装置では、前記距離画像処理部は、前記暫定距離が閾値を超える遠距離である場合、前記暫定距離が閾値を超えない短距離である場合と比較して、前記複数の測定のうち残りの測定における前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる蓄積回数が増加するように、前記蓄積回数を決定する。
【0018】
本発明の距離画像撮像装置では、前記距離画像処理部は、前記反射光がシングルパスで前記画素に受光されたと判定した場合、前記複数の測定タイミングでの測定に基づいて前記被写体までの暫定距離をそれぞれ算出し、算出した暫定距離のそれぞれの代表値を、前記被写体までの距離と決定する。また、距離画像撮像装置では、前記距離画像処理部は、前記反射光がシングルパスで前記画素に受光されたと判定した場合、前記複数の測定タイミングでの測定に基づいて前記被写体までの暫定距離を最小二乗法に基づいてそれぞれ決定する。前記距離画像処理部は、前記反射光がマルチパスで前記画素に受光されたと判定した場合、前記複数の測定タイミングでの測定に基づいて前記被写体の各々の距離を最小二乗法に基づいて決定する。
【0019】
本発明の距離画像撮像方法は、測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させたタイミングで前記画素における前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記光パルスを照射する照射タイミングと前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる蓄積タイミングとを制御し、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、を備える距離画像撮像装置が行う距離画像撮像方法であって、前記距離画像処理部は、前記照射タイミングと前記蓄積タイミングとの相対的なタイミング関係が互いに異なる複数の測定を行い、前記複数の測定のそれぞれにて蓄積された電荷量に基づく特徴量を抽出し、前記抽出した特徴量の傾向に基づいて、前記光パルスの反射光がシングルパスにて前記画素に受光されたか、前記光パルスの反射光がマルチパスにて前記画素に受光されたかを判定し、前記判定した結果に応じて前記測定空間に存在する被写体までの距離を算出する。
【発明の効果】
【0020】
本発明によれば、画素がシングルパスを受光したか、マルチパスを受光したかを判定することができる。また、画素がシングルパスを受光したと判定した場合は一つの反射体までの距離を算出し、画素がマルチパスを受光したと判定した場合は複数の反射体の各々までの距離を算出することができる。
【図面の簡単な説明】
【0021】
【図1】実施形態の距離画像撮像装置１の概略構成を示したブロック図である。
【図2】実施形態の距離画像センサ３２の概略構成を示したブロック図である。
【図3】実施形態の画素３２１の構成の一例を示した回路図である。
【図4】実施形態の画素３２１を駆動するタイミングを示すタイミングチャートである。
【図5】実施形態のマルチパスを説明する図である。
【図6】実施形態の複素関数ＣＰ（φ）の例を示す図である。
【図7】実施形態の複素関数ＣＰ（φ）の例を示す図である。
【図8】実施形態の画素３２１を駆動するタイミングを示すタイミングチャートである。
【図9】実施形態の距離画像処理部４が行う処理を説明する図である。
【図10】実施形態の距離画像処理部４が行う処理を説明する図である。
【図11】実施形態の距離画像処理部４が行う処理を説明する図である。
【図12】実施形態の距離画像処理部４が行う処理を説明する図である。
【図13】実施形態の距離画像撮像装置１が行う処理の流れを示すフローチャートである。
【図14】実施形態の変形例に係る距離画像撮像装置１が行う処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0022】
以下、実施形態の距離画像撮像装置を、図面を参照しながら説明する。
【0023】
（実施形態）
まず、実施形態について説明する。図１は、本発明の実施形態の距離画像撮像装置の概略構成を示したブロック図である。図１に示した構成の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備える。図１には、距離画像撮像装置１において距離を測定する対象物である被写体ＯＢも併せて示している。
まず、実施形態について説明する。図１は、本発明の実施形態の距離画像撮像装置の概略構成を示したブロック図である。図１に示した構成の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備える。図１には、距離画像撮像装置１において距離を測定する対象物である被写体ＯＢも併せて示している。
【0024】
光源部２は、距離画像処理部４からの制御に従って、距離画像撮像装置１において距離を測定する対象の被写体ＯＢが存在する測定対象の空間に光パルスＰＯを照射する。光源部２は、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）などの面発光型の半導体レーザーモジュールである。光源部２は、光源装置２１と、拡散板２２とを備える。
【0025】
光源装置２１は、被写体ＯＢに照射する光パルスＰＯとなる近赤外の波長帯域（例えば、波長が８５０ｎｍ～９４０ｎｍの波長帯域）のレーザー光を発光する光源である。光源装置２１は、例えば、半導体レーザー発光素子である。光源装置２１は、タイミング制御部４１からの制御に応じて、パルス状のレーザー光を発光する。
【0026】
拡散板２２は、光源装置２１が発光した近赤外の波長帯域のレーザー光を、被写体ＯＢに照射する面の広さに拡散する光学部品である。拡散板２２が拡散したパルス状のレーザー光が、光パルスＰＯとして出射され、被写体ＯＢに照射される。
【0027】
受光部３は、距離画像撮像装置１において距離を測定する対象の被写体ＯＢによって反射された光パルスＰＯの反射光ＲＬを受光し、受光した反射光ＲＬに応じた画素信号を出力する。受光部３は、レンズ３１と、距離画像センサ３２とを備える。
【0028】
レンズ３１は、入射した反射光ＲＬを距離画像センサ３２に導く光学レンズである。レンズ３１は、入射した反射光ＲＬを距離画像センサ３２側に出射して、距離画像センサ３２の受光領域に備えた画素に受光（入射）させる。
【0029】
距離画像センサ３２は、距離画像撮像装置１に用いられる撮像素子である。距離画像センサ３２は、二次元の受光領域に複数の画素を備える。距離画像センサ３２のそれぞれの画素の中に、１つの光電変換素子と、この１つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。
【0030】
距離画像センサ３２は、タイミング制御部４１からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ３２は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ３２には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する１フレーム分の画素信号を出力する。
【0031】
距離画像処理部４は、距離画像撮像装置１を制御し、被写体ＯＢまでの距離を演算する。距離画像処理部４は、タイミング制御部４１と、距離演算部４２と、測定制御部４３とを備える。
【0032】
タイミング制御部４１は、測定制御部４３の制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスＰＯの照射を制御する信号、反射光ＲＬを複数の電荷蓄積部に振り分ける信号、１フレームあたりの振り分け回数（蓄積回数）を制御する信号などである。振り分け回数（蓄積回数）とは、電荷蓄積部ＣＳ（図３参照）に電荷を振り分ける処理を繰返す回数である。この振り分け回数と、電荷を振り分ける処理１回あたりに各電荷蓄積部に電荷を蓄積させる時間（後述する蓄積時間Ｔａ）の積が露光時間となる。
【0033】
距離演算部４２は、距離画像センサ３２から出力された画素信号に基づいて、被写体ＯＢまでの距離を演算した距離情報を出力する。距離演算部４２は、複数の電荷蓄積部に蓄積された電荷量に基づいて、光パルスＰＯを照射してから反射光ＲＬを受光するまでの遅延時間Ｔｄ（図４参照）を算出する。距離演算部４２は、算出した遅延時間Ｔｄに応じて被写体ＯＢまでの距離を演算する。
【0034】
測定制御部４３は、タイミング制御部４１を制御する。例えば、測定制御部４３は、１フレームの振り分け回数及び蓄積時間Ｔａ（図４参照）を設定し、設定した内容で撮像が行われるようにタイミング制御部４１を制御する。
【0035】
このような構成によって、距離画像撮像装置１では、光源部２が被写体ＯＢに照射した近赤外の波長帯域の光パルスＰＯが被写体ＯＢによって反射された反射光ＲＬを受光部３が受光し、距離画像処理部４が、被写体ＯＢとの距離を測定した距離情報を出力する。
【0036】
なお、図１においては、距離画像処理部４を内部に備えた構成の距離画像撮像装置１を示しているが、距離画像処理部４は、距離画像撮像装置１の外部に備える構成要素であってもよい。
【0037】
次に、距離画像撮像装置１において撮像素子として用いられる距離画像センサ３２の構成について説明する。図２は、本発明の第１の実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の概略構成を示したブロック図である。
【0038】
図２に示すように、距離画像センサ３２は、例えば、複数の画素３２１が配置された受光領域３２０と、制御回路３２２と、振り分け動作を有した垂直走査回路３２３と、水平走査回路３２４と、画素信号処理回路３２５とを備える。
【0039】
受光領域３２０は、複数の画素３２１が配置された領域であって、図２では、８行８列に二次元の行列状に配置された例を示している。画素３２１は、受光した光量に相当する電荷を蓄積する。制御回路３２２は、距離画像センサ３２を統括的に制御する。制御回路３２２は、例えば、距離画像処理部４のタイミング制御部４１からの指示に応じて、距離画像センサ３２の構成要素の動作を制御する。なお、距離画像センサ３２に備えた構成要素の制御は、タイミング制御部４１が直接行う構成であってもよく、この場合、制御回路３２２を省略することも可能である。
【0040】
垂直走査回路３２３は、制御回路３２２からの制御に応じて、受光領域３２０に配置された画素３２１を行ごとに制御する回路である。垂直走査回路３２３は、画素３２１の電荷蓄積部ＣＳそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路３２５に出力させる。この場合、垂直走査回路３２３は、光電変換素子により変換された電荷を画素３２１の電荷蓄積部それぞれに振り分ける。つまり、垂直走査回路３２３は、「画素駆動回路」の一例である。
【0041】
画素信号処理回路３２５は、制御回路３２２からの制御に応じて、それぞれの列の画素３２１から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理（例えば、ノイズ抑圧処理やＡ／Ｄ変換処理など）を行う回路である。
【0042】
水平走査回路３２４は、制御回路３２２からの制御に応じて、画素信号処理回路３２５から出力される信号を、水平信号線に順次出力させる回路である。これにより、１フレーム分蓄積された電荷量に相当する画素信号が、水平信号線を経由して距離画像処理部４に順次出力される。
【0043】
以下では、画素信号処理回路３２５がＡ／Ｄ変換処理を行い、画素信号がデジタル信号であるものとして説明する。
【0044】
ここで、距離画像センサ３２に備える受光領域３２０内に配置された画素３２１の構成について説明する。図３は、第１の実施形態の距離画像センサ３２の受光領域３２０内に配置された画素３２１の構成の一例を示した回路図である。図３には、受光領域３２０内に配置された複数の画素３２１のうち、１つの画素３２１の構成の一例を示している。画素３２１は、３つの画素信号読み出し部を備えた構成の一例である。
【0045】
画素３２１は、１つの光電変換素子ＰＤと、ドレインゲートトランジスタＧＤと、対応する出力端子ＯＵＴから電圧信号を出力する３つの画素信号読み出し部ＲＵとを備える。画素信号読み出し部ＲＵのそれぞれは、読み出しゲートトランジスタＧと、フローティングディフュージョンＦＤと、電荷蓄積容量Ｃと、リセットゲートトランジスタＲＴと、ソースフォロアゲートトランジスタＳＦと、選択ゲートトランジスタＳＬとを備える。それぞれの画素信号読み出し部ＲＵでは、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって電荷蓄積部ＣＳが構成されている。
【0046】
なお、図３においては、３つの画素信号読み出し部ＲＵの符号「ＲＵ」の後に、「１」、「２」または「３」の数字を付与することによって、それぞれの画素信号読み出し部ＲＵを区別する。また、同様に、３つの画素信号読み出し部ＲＵに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部ＲＵを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部ＲＵを区別して表す。
【0047】
図３に示した画素３２１において、出力端子ＯＵＴ１から電圧信号を出力する画素信号読み出し部ＲＵ１は、読み出しゲートトランジスタＧ１と、フローティングディフュージョンＦＤ１と、電荷蓄積容量Ｃ１と、リセットゲートトランジスタＲＴ１と、ソースフォロアゲートトランジスタＳＦ１と、選択ゲートトランジスタＳＬ１とを備える。画素信号読み出し部ＲＵ１では、フローティングディフュージョンＦＤ１と電荷蓄積容量Ｃ１とによって電荷蓄積部ＣＳ１が構成されている。画素信号読み出し部ＲＵ２および画素信号読み出し部ＲＵ３も同様の構成である。電荷蓄積部ＣＳ１は「第１電荷蓄積部」の一例である。電荷蓄積部ＣＳ２は「第２電荷蓄積部」の一例である。電荷蓄積部ＣＳ３は「第３電荷蓄積部」の一例である。
【0048】
光電変換素子ＰＤは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子ＰＤの構造は任意であってよい。光電変換素子ＰＤは、例えば、Ｐ型半導体とＮ型半導体とを接合した構造のＰＮフォトダイオードであってもよいし、Ｐ型半導体とＮ型半導体との間にＩ型半導体を挟んだ構造のＰＩＮフォトダイオードであってもよい。また、光電変換素子ＰＤは、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。
【0049】
画素３２１では、光電変換素子ＰＤが入射した光を光電変換して発生させた電荷を３つの電荷蓄積部ＣＳのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路３２５に出力する。
【0050】
距離画像センサ３２に配置される画素の構成は、図３に示したような、３つの画素信号読み出し部ＲＵを備えた構成に限定されるものではなく、複数の画素信号読み出し部ＲＵを備えた構成の画素であればよい。つまり、距離画像センサ３２に配置される画素に備える画素信号読み出し部ＲＵ（電荷蓄積部ＣＳ）の数は、４つ以上であってもよい。
【0051】
また、図３に示した構成の画素３２１では、電荷蓄積部ＣＳを、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって構成する一例を示した。しかし、電荷蓄積部ＣＳは、少なくともフローティングディフュージョンＦＤによって構成されればよく、画素３２１が電荷蓄積容量Ｃを備えない構成であってもよい。
【0052】
また、図３に示した構成の画素３２１では、ドレインゲートトランジスタＧＤを備える構成の一例を示したが、光電変換素子ＰＤに蓄積されている（残っている）電荷を破棄する必要がない場合には、ドレインゲートトランジスタＧＤを備えない構成であってもよい。
【0053】
次に、実施形態の画素３２１の駆動タイミングについて図４を用いて説明する。図４は、実施形態の画素３２１を駆動するタイミングを示すタイミングチャートである。図４には、光パルスＰＯが照射されてから遅延時間Ｔｄ経過後に反射光を受光する画素のタイミングチャートが示されている。
【0054】
図４では、光パルスＰＯを照射するタイミングを「Ｌ」、反射光が受光されるタイミングを「Ｒ」、駆動信号ＴＸ１のタイミングを「Ｇ１」、駆動信号ＴＸ２のタイミングを「Ｇ２」、駆動信号ＴＸ３のタイミングを「Ｇ３」、駆動信号ＲＳＴＤのタイミングを「ＧＤ」、の項目名でそれぞれ示している。なお、駆動信号ＴＸ１は、読み出しゲートトランジスタＧ１を駆動させる信号である。駆動信号ＴＸ２、ＴＸ３についても同様である。
【0055】
図４に示すように、光パルスＰＯが照射時間Ｔｏで照射され、遅延時間Ｔｄ遅れて反射光ＲＬが距離画像センサ３２に受光されるとする。垂直走査回路３２３は、光パルスＰＯの照射に同期させて、電荷蓄積部ＣＳ１、ＣＳ２、及びＣＳ３の順に、電荷を蓄積させる。図４では、１回の振り分け処理において、光パルスＰＯを照射して電荷蓄積部ＣＳに順に電荷を蓄積させるまでの時間を単位蓄積時間ＵＴと表している。
【0056】
図４に示すように、垂直走査回路３２３は、光パルスＰＯを照射させるタイミングに同期させて、ドレインゲートトランジスタＧＤをオフ状態にするとともに、読み出しゲートトランジスタＧ１をオン状態とする。垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオン状態としてから蓄積時間Ｔａが経過した後に、読み出しゲートトランジスタＧ１をオフ状態にする。これにより、読み出しゲートトランジスタＧ１がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ１を介して電荷蓄積部ＣＳ１に蓄積される。
【0057】
次に、垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオフ状態としたタイミングで、読み出しゲートトランジスタＧ２を蓄積時間Ｔａオン状態にする。これにより、読み出しゲートトランジスタＧ２がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ２を介して電荷蓄積部ＣＳ２に蓄積される。
【0058】
次に、垂直走査回路３２３は、電荷蓄積部ＣＳ２への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタＧ３をオン状態にし、蓄積時間Ｔａが経過した後に、読み出しゲートトランジスタＧ３をオフ状態にする。これにより、読み出しゲートトランジスタＧ３がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ３を介して電荷蓄積部ＣＳ３に蓄積される。
【0059】
次に、垂直走査回路３２３は、電荷蓄積部ＣＳ３への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。これにより、光電変換素子ＰＤにより光電変換された電荷はドレインゲートトランジスタＧＤを介して破棄される。
【0060】
このように、本実施形態では、単位蓄積時間ＵＴにおいて電荷蓄積部ＣＳに電荷を蓄積させる時間区間以外のタイミングにて光電変換された電荷を蓄積することがないように制御する。これは、本実施形態において光パルスＰＯを断続的に照射する、所謂ショートパルス方式（以下、ＳＰ方式という）であるためである。ＳＰ方式においては、単位蓄積時間ＵＴにおいて、反射光ＲＬを受光することが想定されていない時間区間にはドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。これにより、光パルスＰＯの反射光ＲＬを受光することが想定されていない時間区間において、外光成分に応じた電荷が蓄積され続けることを回避する。
【0061】
一方、光パルスＰＯが連続的に照射される、所謂コンティニアスウェイブ方式（以下、ＣＷ方式という）では、単位蓄積時間ＵＴにおいて電荷を電荷蓄積部ＣＳに蓄積させる度に電荷の排出を行うことはない。これは、ＣＷ方式においては、常時、反射光ＲＬを受光していることから、反射光ＲＬを受光することが想定されていない時間区間が存在しないためである。ＣＷ方式においては、１フレームにおいて単位蓄積時間ＵＴを複数回繰り返す処理が実行されている時間区間においては、光電変換素子ＰＤに接続されたリセットゲートトランジスタなどの電荷排出部はオフ状態に制御され、電荷の排出を行わない。そして、１フレームにおいて読出時間ＲＤが到来すると、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量を読み出した後、リセットゲートトランジスタなどの電荷排出部がオン状態に制御され、電荷の排出が行われる。また、上記の説明では、光電変換素子ＰＤに電荷排出部が接続された機構を例に説明したがこれに限定されない。光電変換素子ＰＤに電荷排出部が存在せず、フローティングディフュージョンＦＤに電荷排出部が接続されたリセットゲートトランジスタを用いる機構などであってもよい。
【0062】
本実施形態では、単位蓄積時間ＵＴにおいて電荷蓄積部ＣＳに電荷を蓄積させる時間区間とは異なる時間区間に光電変換された電荷が、ドレインゲートトランジスタＧＤ（「電荷排出部」の一例）によって排出されるように制御する。これにより、電荷転送の遅延等に起因して電荷蓄積部ＣＳに蓄積される電荷量に誤差が生じる場合があっても、ＣＷ方式のように単位蓄積時間ＵＴごとに電荷を排出しない場合と比較して、その誤差を低減することが可能となる。
【0063】
本実施形態では、ＳＰ方式を採用していることから、距離画像撮像装置１の画素３２１がドレインゲートトランジスタＧＤを備える。これにより、ＣＷ方式により１フレームにおいて継続的に電荷を蓄積させる場合と比較して誤差を低減させることができるため、電荷量のＳＮ比（信号成分に対する誤差の比率）を高めることが可能である。したがって、積算回数を増やしても誤差が積算され難いために、電荷蓄積部ＣＳに蓄積される電荷量の精度を維持することができ、特徴量を精度よく算出することができる。
【0064】
垂直走査回路３２３は、上述したような駆動を、１フレームに渡って所定の振り分け回数分繰り返し行う。その後、垂直走査回路３２３は、それぞれの電荷蓄積部ＣＳに振り分けられた電荷量に応じた電圧信号を出力する。具体的に、垂直走査回路３２３は、選択ゲートトランジスタＳＬ１を所定時間オン状態にすることにより、画素信号読み出し部ＲＵ１を介して電荷蓄積部ＣＳ１に蓄積された電荷量に対応する電圧信号を出力端子ＯＵＴ１から出力させる。同様に、垂直走査回路３２３は、順次、選択ゲートトランジスタＳＬ２、ＳＬ３をオン状態とすることにより、電荷蓄積部ＣＳ２、ＣＳ３に蓄積された電荷量に対応する電圧信号を出力端子ＯＵＴ２、ＯＵＴ３から出力させる。そして、画素信号処理回路３２５、及び水平走査回路３２４を介して、電荷蓄積部ＣＳのそれぞれに蓄積された、１フレーム分の電荷量に相当する電気信号が距離演算部４２に出力される。
【0065】
なお、上記では、光源部２が読み出しゲートトランジスタＧ１がオン状態となったタイミングで、光パルスＰＯを照射する場合を例に説明した。しかしながらこれに限定されることはない。光パルスＰＯは、少なくとも測定対象にある物体からの反射光ＲＬが、３つの電荷蓄積部ＣＳ１～ＣＳ３のいずれか２つに跨って受光されるようなタイミングで照射されればよい。例えば、読み出しゲートトランジスタＧ１がオン状態となった後に光パルスＰＯが照射されるようにしてもよい。また、上記では、光パルスＰＯを照射する照射時間Ｔｏが蓄積時間Ｔａと同じ長さである場合を例に説明した。しかしながらこれに限定されることはない。照射時間Ｔｏと蓄積時間Ｔａとが異なる時間間隔であってもよい。
【0066】
図４に示すような近距離受光画素においては、光パルスＰＯを照射するタイミングと、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部ＣＳ１及びＣＳ２に、反射光ＲＬ及び外光成分に相当する電荷量が振り分けられて保持される。また、電荷蓄積部ＣＳ３には背景光などの外光成分に相当する電荷量が保持される。電荷蓄積部ＣＳ１及びＣＳ２に振り分けられる電荷量の配分（振り分け比率）は、光パルスＰＯが被写体ＯＢに反射して距離画像撮像装置１に入射されるまでの遅延時間Ｔｄに応じた比率となる。
【0067】
距離演算部４２は、この原理を利用して、従来の近距離受光画素においては、以下の（１）式により、遅延時間Ｔｄを算出する。なお、（１）式では、電荷蓄積部ＣＳ１及びＣＳ２に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部ＣＳ３に蓄積された電荷量と同量であることを前提とする。
【0068】
Ｔｄ＝Ｔｏ×（Ｑ２－Ｑ３）／（Ｑ１＋Ｑ２－２×Ｑ３） …（１）
ただし、Ｔｏは光パルスＰＯが照射された期間
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
ただし、Ｔｏは光パルスＰＯが照射された期間
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
【0069】
距離演算部４２は、近距離受光画素においては、（１）式で求めた遅延時間Ｔｄに、光速（速度）を乗算させることにより、被写体ＯＢまでの往復の距離を算出する。そして、距離演算部４２は、上記で算出した往復の距離を１／２とすることにより、被写体ＯＢまでの距離を求める。
【0070】
次に、図５を用いて、実施形態のマルチパスについて説明する。図５は、実施形態のマルチパスについて説明する図である。距離画像撮像装置１では、Ｌｉｄｅｒ（Light Detection and Ranging）などと比較して照射範囲の広い光源を使用する。このため、ある程度の範囲を有する空間を一度に測定できるメリットを有する一方で、マルチパスが発生し易いというデメリットを有している。図５の例では、距離画像撮像装置１が測定空間Ｅに光パルスＰＯを照射し、直接波Ｗ１と、間接波Ｗ２との複数の反射波（マルチパス）を受光する様子が模式的に示されている。以下の説明では、マルチパスが２つの反射波により構成される場合を例示して説明する。しかしながらこれに限定されることはなく、マルチパスが３つ以上の反射波により構成されていてもよい。マルチパスが３つ以上の反射波により構成されている場合にも、以下に説明する方法を適用することが可能である。
【0071】
マルチパスを受光した場合、距離画像撮像装置１に受光される反射光の形状（時系列変化）はシングルパスのみを受光した場合とは異なるものとなる。
【0072】
例えば、シングルパスの場合、距離画像撮像装置１には、光パルスと同じ形状の反射光（直接波Ｗ１）が、遅延時間Ｔｄ遅れて受光される。これに対し、マルチパスの場合、直接波に加え、さらに光パルスと同じ形状の反射光（間接波Ｗ２）が遅延時間Ｔｄ＋α遅れて受光される。ここでのαは、直接波Ｗ１に対して間接波Ｗ２が遅延する時間である。すなわち、マルチパスの場合、距離画像撮像装置１には、光パルスと同じ形状の光が複数、互いに時間差を有しながら加算された状態の反射光が受光される。
【0073】
つまり、マルチパスとシングルパスの場合とでは、異なる形状（時系列変化）の反射光が受光される。上述した（１）式は、遅延時間が、光パルスが光源と物体との間を直接往復するのに要した時間であることを前提とした数式である。すなわち、（１）式では距離画像撮像装置１がシングルパスを受光することを前提としている。このため、距離画像撮像装置１がマルチパスを受光したにもかかわらず、（１）式を用いて距離を算出してしまうと、算出された距離はどの反射体の位置とも対応しない非物理的な距離となってしまう。このため、例えば、算出した距離（測定距離）と実際の距離との差異が乖離してしまい、誤差が発生する要因となる。
【0074】
この対策として、本実施形態では、距離画像撮像装置１がシングルパスを受光したか、マルチパスを受光したかを判定し、判定結果に応じて距離を演算する。例えば、距離画像撮像装置１がシングルパスを受光した場合、単一の反射体を想定した関係式、例えば、（１）式を用いて距離を算出する。距離画像撮像装置１がマルチパスを受光した場合、（１）式を用いず別の手段で距離を算出する。これにより、算出された距離が、必ず、反射体が存在する位置に対応する距離となる、或いは、複数の位置に対応した物理的に妥当な距離とすることができ、測定距離に生じる誤差を低減させることが可能となる。
【0075】
ここで、距離画像撮像装置１がシングルパスを受光したか、マルチパスを受光したかを判定する判定方法について説明する。距離画像撮像装置１は、画素３２１が備える３つの電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づいて、その特徴量を抽出する。そして、抽出した特徴量の傾向に応じて、画素３２１がシングルパスを受光したか、マルチパスを受光したかを判定する。
【0076】
具体的に、距離画像処理部４は、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づいて、以下の（２）式に示す複素変数ＣＰを算出する。複素変数ＣＰは「特徴量」の一例である。
【0077】
ＣＰ＝（Ｑ１－Ｑ２）＋ｊ（Ｑ２－Ｑ３） …（２）
ただし、ｊは虚数単位
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
ただし、ｊは虚数単位
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
【0078】
また、距離画像処理部４は、（２）式に示す複素変数ＣＰを、（３）式を用いて位相（２πｆτＡ）の関数ＧＦとして表す。ここでの位相（２πｆτＡ）は光パルスＰＯの照射タイミングに対する遅延時間τＡを、光パルスＰＯの周期（１／ｆ＝２Ｔｏ）に対する位相遅延で示すものである。（３）式では、距離ＬＡにある被写体ＯＢＡからの反射光のみ、すなわちシングルパスが受光されたことを前提とする。関数ＧＦは「特徴量」の一例である。
【0079】
ＣＰ＝ＤＡ×ＧＦ（２πｆτＡ） …（３）
ただし、ＤＡは距離ＬＡにある被写体ＯＢＡからの反射光の強度（定数）
τＡは距離ＬＡにある被写体ＯＢＡまで光が往復するのに要する時間
τＡ＝２ＬＡ／ｃ
ｃは光速
ただし、ＤＡは距離ＬＡにある被写体ＯＢＡからの反射光の強度（定数）
τＡは距離ＬＡにある被写体ＯＢＡまで光が往復するのに要する時間
τＡ＝２ＬＡ／ｃ
ｃは光速
【0080】
（３）式において、位相０（ゼロ）～２πに対応する関数ＧＦの値を求めることができれば、距離画像撮像装置１に受光され得る全てのシングルパスを規定することができる。そこで、距離画像処理部４は、（３）式に示す複素変数ＣＰについて位相φの複素関数ＣＰ（φ）を定義し、（４）式のように表す。φは、（３）式における複素変数ＣＰの位相を０（ゼロ）とした場合の位相変化量である。
【0081】
ＣＰ（φ）＝ＤＡ×ＧＦ（２πｆτＡ－φ） …（４）
ただし、ＤＡは距離ＬＡにある被写体ＯＢＡからの反射光の強度
τＡは距離ＬＡにある被写体ＯＢＡまで光が往復するのに要する時間
τＡ＝２ＬＡ／ｃ
ｃは光速
φは位相
ただし、ＤＡは距離ＬＡにある被写体ＯＢＡからの反射光の強度
τＡは距離ＬＡにある被写体ＯＢＡまで光が往復するのに要する時間
τＡ＝２ＬＡ／ｃ
ｃは光速
φは位相
【0082】
ここで複素関数ＣＰ（φ）のふるまい（位相の変化に伴う複素数の変化）について、図６、図７を用いて説明する。図６、図７は、実施形態の複素関数ＣＰ（φ）の例を示す図である。図６の横軸は位相ｘ、縦軸は関数ＧＦ（ｘ）の値である。図６において実線は複素関数ＣＰ（φ）の実部、点線は複素関数ＣＰ（φ）の虚部の値をそれぞれ示している。図７には、図６の関数ＧＦ（ｘ）を複素平面に示した例が示されている。図７の横軸は実軸、縦軸は虚軸を示している。図６、及び図７の関数ＧＦ（ｘ）に、信号の強度に相当する定数（ＤＡ）を乗じた値が複素関数ＣＰ（φ）となる。
【0083】
複素関数ＣＰ（φ）の変化は、光パルスＰＯの形状（時系列変化）に応じて決定される。図６には、例えば、光パルスＰＯが矩形波である場合の複素関数ＣＰ（φ）において位相の変化に伴う軌跡が示されている。
【0084】
位相ｘ＝０（つまり、遅延時間Ｔｄ＝０）においては、電荷蓄積部ＣＳ１に反射光に応じた電荷の全てが蓄積され、電荷蓄積部ＣＳ２、ＣＳ３には反射光に応じた電荷が蓄積されない。このため、関数ＧＦ（ｘ＝０）の実部（Ｑ１－Ｑ２）が最大値ｍａｘとなり、虚部（Ｑ２－Ｑ３）が０（ゼロ）となる。ｍａｘは全反射光に応じた電荷量に相当する信号値である。位相ｘ＝π／２（つまり、遅延時間Ｔｄ＝照射時間Ｔｏ）においては、電荷蓄積部ＣＳ２に反射光に応じた電荷の全てが蓄積され、電荷蓄積部ＣＳ１、ＣＳ３には反射光に応じた電荷が蓄積されない。このため、関数ＧＦ（ｘ＝π／２）の実部（Ｑ１－Ｑ２）が最小値（－ｍａｘ）となり、虚部（Ｑ２－Ｑ３）が最大値ｍａｘとなる。位相ｘ＝π（つまり、遅延時間Ｔｄ＝照射時間Ｔｏ×２）においては、電荷蓄積部ＣＳ３に反射光に応じた電荷の全てが蓄積され、電荷蓄積部ＣＳ１、ＣＳ２には反射光に応じた電荷が蓄積されない。このため、関数ＧＦ（ｘ＝π）の実部（Ｑ１－Ｑ２）が０（ゼロ）となり、虚部（Ｑ２－Ｑ３）が最小値（－ｍａｘ）となる。
【0085】
図７に示すように、複素平面においては、位相ｘ＝０で関数ＧＦ（ｘ＝０）は座標（ｍａｘ、０）、位相ｘ＝π／２で関数ＧＦ（ｘ＝π／２）は座標（－ｍａｘ、ｍａｘ）、位相ｘ＝πで関数ＧＦ（ｘ＝π）は座標（０、－ｍａｘ）となる。
【0086】
距離画像処理部４は、図６、図７に示すような関数ＧＦ（ｘ）のふるまい（位相の変化に伴う複素数の変化）の傾向に基づいて、画素３２１がシングルパスを受光したか、マルチパスを受光したかを判定する。距離画像処理部４は、測定にて算出した複素関数ＣＰ（φ）変化の傾向が、シングルパスにおける関数ＧＦ（ｘ）の変化の傾向と一致する場合、画素３２１がシングルパスを受光したと判定する。一方、距離画像処理部４は、測定にて算出した複素関数ＣＰ（φ）変化の傾向が、シングルパスにおける関数ＧＦ（ｘ）の変化の傾向と一致しない場合、画素３２１がマルチパスを受光したと判定する。
【0087】
ここで、図８を用いて、距離画像処理部４が、シングルパスを受光したか、マルチパスを受光したかを判定する具体的な方法について説明する。図８に示すように、距離画像処理部４は、測定環境を変えて複数回（この図の例ではＭ回）の測定を行う。ここでＭは２以上の任意の自然数である。
【0088】
距離画像処理部４は、まず特定の測定環境にて測定を行い、（３）式における複素変数ＣＰを算出し、算出した複素変数ＣＰを位相φ＝０における複素関数ＣＰ（０）とする。次に、距離画像処理部４は、複素関数ＣＰ（０）に対応する測定環境において位相φだけ変化させた測定環境にて測定を行い、複素関数ＣＰ（φ）を算出する。
【0089】
具体的には、１回目の測定では、光パルスＰＯを照射する照射タイミングと電荷蓄積部ＣＳのそれぞれに電荷を蓄積させる蓄積タイミングを同じタイミングとする。より具体的には、図４と同様に、光パルスＰＯの照射開始と同時に電荷蓄積部ＣＳ１をオン状態とし、以降、順に電荷蓄積部ＣＳ２、ＣＳ３をオン状態として、電荷蓄積部ＣＳ１～ＣＳ３に電荷を蓄積させる。この図の例では、図４と同様に測定空間に存在する被写体ＯＢに反射した反射光が、照射タイミングから遅延時間Ｔｄだけ遅れて画素３２１に受光されるものとする。距離画像処理部４は、１回目の測定にて、複素関数ＣＰ（０）を算出する。
【0090】
２回目の測定では、照射タイミングを蓄積タイミングに対して、照射遅延時間Ｄｔｍ２遅らせる。より具体的には、２回目の測定では、電荷蓄積部ＣＳ１～ＣＳ３をオン状態とするタイミングを固定させたまま、光パルスＰＯの照射開始を照射遅延時間Ｄｔｍ２だけ遅らせる。測定空間に存在する被写体ＯＢの位置は１回目の測定と変更がない。このため、１回目の測定と同様に、被写体ＯＢに反射した反射光が、照射タイミングから遅延時間Ｔｄだけ遅れて画素３２１に受光される。２回目の測定では、蓄積タイミングに対して照射タイミングを照射遅延時間Ｄｔｍ２だけ遅らせていることから、反射光は、見かけ上、照射タイミングから（遅延時間Ｔｄ＋照射遅延時間Ｄｔｍ２）遅れて画素３２１に受光される。距離画像処理部４は、２回目の測定に基づいて、複素関数ＣＰ（φ１）を算出する。位相φ１は、照射遅延時間Ｄｔｍ２に相当する位相（２πｆ×Ｄｔｍ２）である。ｆは光パルスＰＯの照射周波数（頻度）である。
【0091】
（Ｍ－１）回目の測定では、照射タイミングを蓄積タイミングに対して、照射遅延時間Ｄｔｍ３遅らせる。より具体的には、（Ｍ－１）回目の測定では、電荷蓄積部ＣＳ１～ＣＳ３をオン状態とするタイミングを固定させたまま、光パルスＰＯの照射開始を照射遅延時間Ｄｔｍ３だけ遅らせる。これにより、反射光が、照射タイミングから、見かけ上、（遅延時間Ｔｄ＋照射遅延時間Ｄｔｍ３）遅れて画素３２１に受光される。距離画像処理部４は、（Ｍ－１）回目の測定に基づいて、複素関数ＣＰ（φ２）を算出する。位相φ２は、照射遅延時間Ｄｔｍ３に相当する位相（２πｆ×Ｄｔｍ３）である。
【0092】
Ｍ回目の測定では、照射タイミングを蓄積タイミングに対して、照射遅延時間Ｄｔｍ４遅らせる。より具体的には、電荷蓄積部ＣＳ１～ＣＳ３をオン状態とするタイミングを固定させたまま、光パルスＰＯの照射開始を照射遅延時間Ｄｔｍ４だけ遅らせる。これにより、反射光が、照射タイミングから、見かけ上、（遅延時間Ｔｄ＋照射遅延時間Ｄｔｍ４）遅れて画素３２１に受光される。距離画像処理部４は、Ｍ回目の測定に基づいて、複素関数ＣＰ（φ３）を算出する。位相φ３は、照射遅延時間Ｄｔｍ４に相当する位相（２πｆ×Ｄｔｍ４）である。
【0093】
本実施形態では、距離画像処理部４は、このように測定タイミングを変更しながら複数回の測定を行い、測定毎の複素関数ＣＰを算出する。この図の例では、距離画像処理部４は、１回目の測定にて照射遅延時間Ｄｔｍ１（＝０）とした測定を行い、複素関数ＣＰ（０）を算出する。距離画像処理部４は、２回目の測定にて照射遅延時間Ｄｔｍ２とした測定を行い、複素関数ＣＰ（φ１）を算出する。距離画像処理部４は、（Ｍ－１）回目の測定にて照射遅延時間Ｄｔｍ３とした測定を行い、複素関数ＣＰ（φ２）を算出する。距離画像処理部４は、Ｍ回目の測定にて照射遅延時間Ｄｔｍ４とした測定を行い、複素関数ＣＰ（φ３）を算出する。
【0094】
ここで、図９～図１２を用いて、距離画像処理部４が、シングルパスを受光したか、マルチパスを受光したかを判定する具体的な方法について説明する。図９～図１２には、図７同様に、横軸が実軸、縦軸が虚軸の複素平面に示されている。
【0095】
距離画像処理部４は、例えば、図９に示すように、複素平面においてルックアップテーブルＬＵＴと、実測点Ｐ１～Ｐ３をプロットする。ルックアップテーブルＬＵＴは、画素３２１がシングルパスを受光した場合における関数ＧＦ（ｘ）とその位相ｘとを対応づけた情報である。ルックアップテーブルＬＵＴは、例えば、予め測定され、記憶部（不図示）に記憶されている。実測点Ｐ１～Ｐ３は測定により算出された複素関数ＣＰ（φ）の値である。距離画像処理部４は、図９に示すように、ルックアップテーブルＬＵＴの変化の傾向と、実測点Ｐ１～Ｐ３の変化の傾向が一致する場合に、測定において画素３２１がシングルパスを受光したと判定する。
【0096】
距離画像処理部４は、図１０に示すように、複素平面においてルックアップテーブルＬＵＴと、実測点Ｐ１＃～Ｐ３＃をプロットする。ルックアップテーブルＬＵＴは、図９におけるルックアップテーブルＬＵＴと同様である。実測点Ｐ１＃～Ｐ３＃は、図９とは異なる測定空間における測定により算出された複素関数ＣＰ（φ）の値である。距離画像処理部４は、図１０に示すように、ルックアップテーブルＬＵＴの変化の傾向と、実測点Ｐ１＃～Ｐ３＃の変化の傾向が一致しない場合に、測定において画素３２１がマルチパスを受光したと判定する。
【0097】
ここで、距離画像処理部４が、ルックアップテーブルＬＵＴの傾向と、実測点Ｐ１～Ｐ３の傾向とが一致するか否かを判定（一致判定）する。ここで、距離画像処理部４が、スケール調整、及びＳＤ指標を用いて、一致判定を行う方法について説明する。
【0098】
（スケール調整について）
ここで、距離画像処理部４は、必要に応じてスケール調整を行う。スケール調整とは、ルックアップテーブルＬＵＴのスケール（複素数の絶対値）と、実測点Ｐのスケール（複素数の絶対値）とが同じ値となるように調整する処理である。式（４）に示すように、複素関数ＣＰ（φ）は、関数ＧＦ（ｘ）に定数ＤＡを乗算した値である。定数ＤＡは、受光する反射光の光量に応じて決定される一定値である。すなわち、定数ＤＡは、光パルスＰＯの照射時間、照射強度、及び１フレームあたりの振り分け回数などに応じて、測定毎に決定される値となる。このため、実測点Ｐは、ルックアップテーブルＬＵＴの対応点と比較して、原点を基準として定数ＤＡだけ拡大（或いは縮小）された座標となる。
ここで、距離画像処理部４は、必要に応じてスケール調整を行う。スケール調整とは、ルックアップテーブルＬＵＴのスケール（複素数の絶対値）と、実測点Ｐのスケール（複素数の絶対値）とが同じ値となるように調整する処理である。式（４）に示すように、複素関数ＣＰ（φ）は、関数ＧＦ（ｘ）に定数ＤＡを乗算した値である。定数ＤＡは、受光する反射光の光量に応じて決定される一定値である。すなわち、定数ＤＡは、光パルスＰＯの照射時間、照射強度、及び１フレームあたりの振り分け回数などに応じて、測定毎に決定される値となる。このため、実測点Ｐは、ルックアップテーブルＬＵＴの対応点と比較して、原点を基準として定数ＤＡだけ拡大（或いは縮小）された座標となる。
【0099】
このような場合、距離画像処理部４は、ルックアップテーブルＬＵＴの変化の傾向と、実測点Ｐ１～Ｐ３の変化の傾向が一致するか判定し易くするために、スケール調整を行う。
【0100】
距離画像処理部４は、図１１に示すように、実測点Ｐ１～Ｐ３のうちの特定の実測点Ｐ（例えば、実測点Ｐ１）を抽出する。距離画像処理部４は、抽出した実測点を、原点を基準として定数Ｄ倍した、スケール調整後の実測点Ｐｓ（例えば、実測点Ｐ１ｓ）が、ルックアップテーブルＬＵＴ上の点となるようにスケール調整を行う。そして、距離画像処理部４は、残りの実測点Ｐ（例えば、実測点Ｐ２、Ｐ３）についても、同じ乗算値（定数Ｄ）を乗算した値を、スケール調整後の実測点Ｐｓ（例えば、実測点Ｐ２ｓ、Ｐ３ｓ）とする。
【0101】
なお、距離画像処理部４は、スケール調整を行わなくとも特定の実測点Ｐ（例えば、実測点Ｐ１）がルックアップテーブルＬＵＴ上の点となる場合にはスケール調整は不要である。この場合、距離画像処理部４は、スケール調整を省略することができる。
【0102】
（ＳＤ指標を用いた一致判定について）
ここで、図１２を用いて、ＳＤ指標を用いた一致判定について説明する。図１２の上側には複素平面を示しており、横軸が実軸、縦軸が虚軸を示している。図１２には、画素３２１がシングルパスを受光した場合における関数ＧＦ（ｘ）を示すルックアップテーブルＬＵＴ、及びルックアップテーブルＬＵＴ上の点Ｇ（ｘ０）、Ｇ（ｘ０＋Δφ）、Ｇ（ｘ０＋２Δφ）が示されている。また、図１２には、実測点として複素関数ＣＰ（０）、ＣＰ（１）、ＣＰ（２）が示されている。
ここで、図１２を用いて、ＳＤ指標を用いた一致判定について説明する。図１２の上側には複素平面を示しており、横軸が実軸、縦軸が虚軸を示している。図１２には、画素３２１がシングルパスを受光した場合における関数ＧＦ（ｘ）を示すルックアップテーブルＬＵＴ、及びルックアップテーブルＬＵＴ上の点Ｇ（ｘ０）、Ｇ（ｘ０＋Δφ）、Ｇ（ｘ０＋２Δφ）が示されている。また、図１２には、実測点として複素関数ＣＰ（０）、ＣＰ（１）、ＣＰ（２）が示されている。
【0103】
距離画像処理部４は、まず、測定により得られた複素関数ＣＰ（ｎ）と始点を一致させた関数ＧＧ（ｎ）を作成（定義）する。ｎは測定番号を示す自然数である。例えば、複数の測定のうち１回目の測定においては（ｎ＝０）、複数の測定のうち２回目の測定においては（ｎ＝１）、…、ＮＮ回目の測定においては（ｎ＝ＮＮ－１）となる。
【0104】
関数ＧＧ（ｘ）は、測定により得られた複素関数ＣＰ（ｎ）の始点と一致するように関数ＧＦ（ｘ）の位相をシフトさせた関数である。例えば、距離画像処理部４は、式（５）に示すように、１回目の測定により得られた複素関数ＣＰ（ｎ＝０）に相当する位相量（ｘ０）を初期位相とし、初期位相をシフトさせた関数ＧＧ（ｘ）を作成する。式（５）におけるｘ０は初期位相、ｎは測定番号、Δφは測定毎の位相シフト量を示す。
【0105】
【数1】
【0106】
距離画像処理部４は、次に、式（６）に示すように、複素関数ＣＰ（ｎ）と関数ＧＧ（ｘ）と差分を示す関数ＳＤ（ｎ）を作成（定義）する。式（６）におけるｎは測定番号を示す。
【0107】
【数2】
【0108】
そして、距離画像処理部４は、式（７）に示すように、関数ＳＤ（ｎ）を用いて、複素関数ＣＰ（ｎ）と関数ＧＧ（ｘ）とが類似する度合を示すＳＤ指標を算出する。式（７）におけるｎは測定番号、ＮＮは測定回数を示す。なお、ここで定義したＳＤ指標は、一例である。ＳＤ指標は、複素関数ＣＰ（ｎ）と、関数ＧＧ（ｎ）における複素平面上での解離度を、単一の実数に置換えたものであり、関数ＧＦ（ｘ）の函数形などに応じて、函数形が調節可能であることは勿論である。ＳＤ指標は、少なくとも、複素関数ＣＰ（ｎ）と、関数ＧＧ（ｎ）における複素平面上での解離度を示す指標であればよく、任意に定義されてよい。
【0109】
【数3】
【0110】
距離画像処理部４は、算出したＳＤ指標を所定の閾値と比較する。距離画像処理部４は、ＳＤ指標が所定の閾値を超えない場合、画素３２１がシングルパスを受光したと判定する。一方、距離画像処理部４は、ＳＤ指標が所定の閾値を超える場合、画素３２１がマルチパスを受光したと判定する。
【0111】
ここで、距離画像処理部４が、判定結果に応じて測定距離を算出する方法について説明する。ここでの判定結果とは、シングルパスを受光したか、マルチパスを受光したかを判定した結果である。
【0112】
シングルパスを受光した場合、距離画像処理部４は、（８）式を用いて測定距離を算出する。（８）式におけるｎは測定番号、ｘ０は初期位相、ｎは測定番号、Δφは測定毎の位相シフト量を示す。なお、（８）式における内部距離は、画素３２１の構造などに応じて任意に設定されてよい。内部距離を特に考慮しない場合、内部距離＝０とする。
【0113】
【数4】
【0114】
或いは、距離画像処理部４は、画素３２１がシングルパスを受光したと判定した場合、（１）式に基づいて遅延時間Ｔｄを算出し、算出した遅延時間Ｔｄを用いて測定距離を算出するようにしてもよい。
【0115】
マルチパスを受光した場合、距離画像処理部４は、（９）式に示すように、測定により得られた複素関数ＣＰを、複数（ここでは２つ）の経路から到来した反射光の和として表す。（９）式におけるＤＡは距離ＬＡにある被写体ＯＢＡからの反射光の強度である。ｘＡは距離ＬＡにある被写体ＯＢＡまで光が往復するのに要する位相である。ｎは測定番号である。Δφは測定毎の位相シフト量を示す。ＤＢは距離ＬＢにある被写体ＯＢＢからの反射光の強度である。ｘＢは距離ＬＢにある被写体ＯＢＢまで光が往復するのに要する位相である。
【0116】
【数5】
【0117】
距離画像処理部４は、（１０）式に示す差分Ｊを最小にする｛位相ｘＡ、ｘＢ、及び強度ＤＡ、ＤＢ｝の組合せを決定する。差分Ｊは（９）式における複素関数ＣＰ（ｎ）と関数Ｇとの差分の絶対値の二乗和に相当する。距離画像処理部４は、例えば、最小二乗法などを適用することにより、｛位相ｘＡ、ｘＢ、及び強度ＤＡ、ＤＢ｝の組合せを決定する。
【0118】
【数6】
【0119】
なお、上記では、ルックアップテーブルＬＵＴを用いて、シングルパスを受光したか、マルチパスを受光したかを判定する場合を例に説明した。しかしながらこれに限定されない。距離画像処理部４は、ルックアップテーブルＬＵＴの代わりに、関数ＧＦ（ｘ）を示す数式を用いてもよい。
【0120】
関数ＧＦ（ｘ）を示す数式とは、例えば、位相の範囲に応じて定義される数式である。図７の例であれば、位相ｘについて（０≦ｘ≦２／π）の範囲において関数ＧＦ（ｘ）は傾き（－１／２）、切片（ｍａｘ／２）の一次関数として定義される。また（２／π０＜ｘ≦π）の範囲において関数ＧＦ（ｘ）は傾き（－２）、切片（－ｍａｘ）の一次関数として定義される。
【0121】
また、ルックアップテーブルＬＵＴは、シングルパスのみが受光される環境で行った実際の測定結果に基づいて作成されたものであってもよいし、シミュレーション等による算出結果に基づいて作成されたものであってもよい。
【0122】
また、上記では、（２）式に示す複素変数ＣＰを用いる場合を例示して説明したが、これに限定されることはない。複素変数ＣＰは、少なくとも、反射光ＲＬに応じた電荷量を蓄積する電荷蓄積部ＣＳに蓄積された電荷量を用いて算出される変数であればよい。例えば、実部と虚部を入れ替えた複素変数ＣＰ２＝（Ｑ２－Ｑ３）＋ｊ（Ｑ１－Ｑ２）であってもよいし、実部と虚部の組合せを変更した複素変数ＣＰ３＝（Ｑ１－Ｑ３）＋ｊ（Ｑ２－Ｑ３）などであってもよい。
【0123】
また、上記では、図８において、電荷蓄積部ＣＳをオン状態とするタイミング（蓄積タイミング）を固定とし、光パルスＰＯを照射する照射タイミングを遅らせる場合を例示して説明したが、これに限定されることはない。複数の測定において、蓄積タイミングと照射タイミングが少なくとも相対的に変化すればよく、例えば、照射タイミングを固定し、蓄積タイミングを早めるようにしてもよいのは勿論である。また、上記では、関数ＳＤ（ｎ）が（６）式で定義される場合を例に説明した。しかしながら、これに限定されることはない。関数ＳＤ（ｎ）は、少なくとも、複素関数ＣＰ（ｎ）と、関数ＧＧ（ｎ）における複素平面上での差分を示す関数であればよく、任意に定義されてよい。
【0124】
ここで、図１３を用いて実施形態の距離画像撮像装置１が行う処理の流れを説明する。図１３は実施形態の距離画像撮像装置１が行う処理の流れを示すフローチャートである。このフローチャートの例では、ＮＮ（≧２）回の測定を行うことを前提とする。また、ＮＮ回の測定のそれぞれにおける照射遅延時間Ｄｔｍが予め決定されているものとする。
【0125】
（ステップＳ１０）
距離画像処理部４は、照射遅延時間Ｄｔｍを設定し測定を行う。距離画像処理部４は、照射遅延時間Ｄｔｍを設定し、設定した測定タイミングにて１フレームに相当する振り分け回数の電荷蓄積を行い、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させる。
（ステップＳ１１）
距離画像処理部４は、測定により得られた電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づき複素関数ＣＰ（ｎ）を算出する。ｎは測定番号である。
（ステップＳ１２）
距離画像処理部４は、ＮＮ回の測定が終了したか否かを判定する。ＮＮ回の測定が終了した場合にはステップＳ１３に進み、ＮＮ回の測定が終了していない場合には、測定回数をインクリメントし（ステップＳ１７）、ステップＳ１０に戻り測定を繰り返す。
（ステップＳ１３）
距離画像処理部４は、ＳＤ指標を算出する。距離画像処理部４は、測定から得られた複素関数ＣＰ（ｎ）について、必要に応じてスケール調整を行う。距離画像処理部４は、スケール調整後の複素関数ＣＰ（ｎ）を用いて、始点を一致させた関数ＧＧ（ｎ）を作成する。距離画像処理部４は、作成した関数ＧＧ（ｎ）とスケール調整後の複素関数ＣＰ（ｎ）を用いて、差分の関数ＳＤ（ｎ）を作成する。距離画像処理部４は、作成した関数ＳＤ（ｎ）と関数ＧＧ（ｎ）とを用いて、ＳＤ指標を算出する。
（ステップＳ１４）
距離画像処理部４は、ＳＤ指標と所定の閾値とを比較する。距離画像処理部４は、ＳＤ指標が閾値を超えていない場合、ステップＳ１５に進む。一方、距離画像処理部４は、ＳＤ指標が閾値を超えていない場合、ステップＳ１６に進む。
（ステップＳ１５）
距離画像処理部４は、画素３２１がシングルパスを受光したと判定し、そのシングルパスが往復した経路に相当する距離を測定距離として算出する。
（ステップＳ１６）
距離画像処理部４は、画素３２１がマルチパスを受光したと判定し、そのマルチパスのそれぞれの経路に相当する距離を測定距離として、例えば最小二乗法を用いて算出する。
距離画像処理部４は、照射遅延時間Ｄｔｍを設定し測定を行う。距離画像処理部４は、照射遅延時間Ｄｔｍを設定し、設定した測定タイミングにて１フレームに相当する振り分け回数の電荷蓄積を行い、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させる。
（ステップＳ１１）
距離画像処理部４は、測定により得られた電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づき複素関数ＣＰ（ｎ）を算出する。ｎは測定番号である。
（ステップＳ１２）
距離画像処理部４は、ＮＮ回の測定が終了したか否かを判定する。ＮＮ回の測定が終了した場合にはステップＳ１３に進み、ＮＮ回の測定が終了していない場合には、測定回数をインクリメントし（ステップＳ１７）、ステップＳ１０に戻り測定を繰り返す。
（ステップＳ１３）
距離画像処理部４は、ＳＤ指標を算出する。距離画像処理部４は、測定から得られた複素関数ＣＰ（ｎ）について、必要に応じてスケール調整を行う。距離画像処理部４は、スケール調整後の複素関数ＣＰ（ｎ）を用いて、始点を一致させた関数ＧＧ（ｎ）を作成する。距離画像処理部４は、作成した関数ＧＧ（ｎ）とスケール調整後の複素関数ＣＰ（ｎ）を用いて、差分の関数ＳＤ（ｎ）を作成する。距離画像処理部４は、作成した関数ＳＤ（ｎ）と関数ＧＧ（ｎ）とを用いて、ＳＤ指標を算出する。
（ステップＳ１４）
距離画像処理部４は、ＳＤ指標と所定の閾値とを比較する。距離画像処理部４は、ＳＤ指標が閾値を超えていない場合、ステップＳ１５に進む。一方、距離画像処理部４は、ＳＤ指標が閾値を超えていない場合、ステップＳ１６に進む。
（ステップＳ１５）
距離画像処理部４は、画素３２１がシングルパスを受光したと判定し、そのシングルパスが往復した経路に相当する距離を測定距離として算出する。
（ステップＳ１６）
距離画像処理部４は、画素３２１がマルチパスを受光したと判定し、そのマルチパスのそれぞれの経路に相当する距離を測定距離として、例えば最小二乗法を用いて算出する。
【0126】
以上説明したように、実施形態の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備える。光源部２は、測定空間Ｅに光パルスＰＯを照射する。受光部３は、入射した光に応じた電荷を発生する光電変換素子ＰＤ、及び前記電荷を蓄積する複数の電荷蓄積部ＣＳを具備する画素と、光パルスＰＯの照射に同期させた所定の蓄積タイミングで、電荷蓄積部ＣＳのそれぞれに電荷を振り分けて蓄積させる垂直走査回路３２３（画素駆動回路）と、を有する。距離画像処理部４は、光パルスＰＯを照射する照射タイミングと電荷蓄積部ＣＳのそれぞれに電荷を振り分けて蓄積させる蓄積タイミングとを制御する。距離画像処理部４は、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づいて、測定空間Ｅに存在する被写体ＯＢまでの距離を算出する。距離画像処理部４は、複数の測定を行う。複数の測定では、照射タイミングと蓄積タイミングとの相対的なタイミング関係が互いに異なる測定を行う。距離画像処理部４は、複数の測定のそれぞれから複素関数ＣＰ（ｎ）を算出する。ｎは測定番号である。距離画像処理部４は、ＳＤ指標に基づいて、反射光ＲＬがシングルパスにて画素３２１に受光されたか、反射光ＲＬがマルチパスにて画素３２１に受光されたかを判定する。距離画像処理部４は、判定した結果に応じて測定空間Ｅに存在する被写体ＯＢまでの距離を算出する。
【0127】
これにより、実施形態の距離画像撮像装置１は、画素３２１がシングルパスを受光したか、マルチパスを受光したかを判定することができる。複素変数ＣＰ、複素関数（φ）、複素関数ＣＰ（ｎ）、関数ＧＦ（ｘ）、関数ＧＧ（ｎ）は「複数の測定のそれぞれにて蓄積された電荷量に基づく特徴量」の一例である。また、ＳＤ指標は「特徴量の傾向」の一例である。
【0128】
また、実施形態の距離画像撮像装置１では、ルックアップテーブルＬＵＴを用いて判定を行うようにしてもよい。ルックアップテーブルＬＵＴは、反射光ＲＬがシングルパスで画素３２１に受光された場合における、位相（相対的なタイミング関係）と関数ＧＦ（ｘ）（特徴量）とが対応付けられたテーブルである。距離画像処理部４は、ルックアップテーブルＬＵＴ上の点として実測点Ｐがプロットできる場合に反射光ＲＬがシングルパスにて画素３２１に受光されたと判定する。すなわち、ルックアップテーブルＲＵＴの傾向と、複数の測定のそれぞれの特徴量の傾向との類似度合いに基づいて、反射光ＲＬがシングルパスにて画素３２１に受光されたか、反射光ＲＬがマルチパスにて画素３２１に受光されたかを判定する。これにより、実施形態の距離画像撮像装置１では、ルックアップテーブルＬＵＴと傾向を比較するという容易な方法で判定することができる。
【0129】
また、実施形態の距離画像撮像装置１では、ルックアップテーブルＬＵＴは、光パルスＰＯの形状、光パルスＰＯの照射時間Ｔｏ、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させる蓄積時間Ｔａのうち、少なくともいずれかの測定条件に応じて作成される。距離画像処理部４は、測定条件に対応するルックアップテーブルＬＵＴを用いて、反射光ＲＬがシングルパスにて画素３２１に受光されたか、反射光ＲＬがマルチパスにて画素３２１に受光されたかを判定する。これにより、実施形態の距離画像撮像装置１では、測定条件に応じて適切なルックアップテーブルＬＵＴ選択することができ、精度よく判定することができる。
【0130】
また、実施形態の距離画像撮像装置１では、特徴量は、三つ以上の電荷蓄積部ＣＳのそれぞれに蓄積された電荷のうち、少なくとも反射光ＲＬに応じた電荷が蓄積される電荷蓄積部ＣＳに蓄積された電荷量を用いて算出される値である。これにより、実施形態の距離画像撮像装置１では、反射光ＲＬが受光される状況に応じて、反射光ＲＬがシングルパスにて画素３２１に受光されたか、反射光ＲＬがマルチパスにて画素３２１に受光されたかを判定することが可能となる。
【0131】
また、実施形態の距離画像撮像装置１では、特徴量は、複素変数ＣＰである。これにより、実施形態の距離画像撮像装置１では、遅延時間Ｔｄを位相の遅れとみなして複素変数ＣＰのふるまいを観察することにより、反射光ＲＬがシングルパスにて画素３２１に受光されたか、反射光ＲＬがマルチパスにて画素３２１に受光されたかを判定することが可能となる。
【0132】
また、実施形態の距離画像撮像装置１では、距離画像処理部４は、反射光ＲＬがマルチパスで画素３２１に受光されたと判定した場合、マルチパスに含まれる光の経路のそれぞれに対応する距離を、最小二乗法を適用することにより算出する。これにより、実施形態の距離画像撮像装置１では、マルチパスのそれぞれの経路について、最も確からしい経路を決定することができ、マルチパスのそれぞれに対応する距離を算出することが可能となる。
【0133】
（実施形態の変形例）
ここで、実施形態の変形例について説明する。本変形例では、複数の測定のうちの最初の測定の結果に応じて、残りの測定における照射遅延時間Ｄｔｉｍを決定する点において、上述した実施形態と相違する。
ここで、実施形態の変形例について説明する。本変形例では、複数の測定のうちの最初の測定の結果に応じて、残りの測定における照射遅延時間Ｄｔｉｍを決定する点において、上述した実施形態と相違する。
【0134】
図１４を用いて、本変形例に係る距離画像撮像装置１が行う処理の流れを説明する。図１４は、実施形態の変形例に係る距離画像撮像装置１が行う処理の流れを示すフローチャートである。図１４のフローチャートにおけるステップＳ２３～Ｓ３０に示す処理は、図１３のフローチャートにおけるステップＳ１０～Ｓ１７に示す処理と同様であるためその説明を省略する。
【0135】
（ステップＳ２０）
距離画像処理部４は、所定の照射遅延時間Ｄｔｉｍ１にて最初の測定を行う。照射遅延時間Ｄｔｉｍ１は、予め決定された値であり、例えば０（ゼロ）である。
（ステップＳ２１）
距離画像処理部４は、最初の測定にて電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づいて暫定距離ＺＫを算出する。距離画像処理部４は、最初の測定において画素３２１がシングルパスを受光したとみなして、暫定距離ＺＫを算出する。距離画像処理部４は、画素３２１がシングルパスを受光したと判定した場合と同様な方法を用いて、暫定距離ＺＫを算出する。
（ステップＳ２２）
距離画像処理部４は、暫定距離ＺＫを用いて、残りの測定に適用する照射遅延時間Ｄｔｉｍ２～ＤｔｉｍＮＮを決定する。距離画像処理部４は、例えば、暫定距離ＺＫの近傍の距離が精度よく算出できるように、照射遅延時間Ｄｔｉｍ２～ＤｔｉｍＮＮを決定する。
距離画像処理部４は、所定の照射遅延時間Ｄｔｉｍ１にて最初の測定を行う。照射遅延時間Ｄｔｉｍ１は、予め決定された値であり、例えば０（ゼロ）である。
（ステップＳ２１）
距離画像処理部４は、最初の測定にて電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づいて暫定距離ＺＫを算出する。距離画像処理部４は、最初の測定において画素３２１がシングルパスを受光したとみなして、暫定距離ＺＫを算出する。距離画像処理部４は、画素３２１がシングルパスを受光したと判定した場合と同様な方法を用いて、暫定距離ＺＫを算出する。
（ステップＳ２２）
距離画像処理部４は、暫定距離ＺＫを用いて、残りの測定に適用する照射遅延時間Ｄｔｉｍ２～ＤｔｉｍＮＮを決定する。距離画像処理部４は、例えば、暫定距離ＺＫの近傍の距離が精度よく算出できるように、照射遅延時間Ｄｔｉｍ２～ＤｔｉｍＮＮを決定する。
【0136】
例えば、距離画像処理部４は、暫定距離ＺＫに相当する位相がπ／４近傍である場合を考える。この場合、図７の例に示すような関数ＧＦ（ｘ）がｘ＝２／πの近傍で切り替わる関数であれば、位相ｘが（０≦ｘ≦π／２）に相当する照射遅延時間Ｄｔｉｍとする方が、シングルパスかマルチパスかを判定し易くなる。このため、距離画像処理部４は、残りの測定に適用する照射遅延時間Ｄｔｉｍ２～ＤｔｉｍＮＮを（０≦ｘ≦π／２）の範囲となるように決定する。
【0137】
例えば、距離画像処理部４は、暫定距離ＺＫに相当する位相が（π×３／４）近傍である場合を考える。この場合、図７の例に示すような関数ＧＦ（ｘ）がｘ＝２／πの近傍で切り替わる関数であれば、位相ｘが（π／２＜ｘ≦π）に相当する照射遅延時間Ｄｔｉｍとする方が、シングルパスかマルチパスかを判定し易くなる。このため、距離画像処理部４は、残りの測定に適用する照射遅延時間Ｄｔｉｍ２～ＤｔｉｍＮＮを（π／２＜ｘ≦π）の範囲となるように決定する。
【0138】
例えば、距離画像処理部４は、暫定距離ＺＫに相当する位相がπ／２近傍である場合を考える。この場合、図７の例に示すような関数ＧＦ（ｘ）がｘ＝π／２の近傍で切り替わる関数であれば、位相ｘが（０≦ｘ≦π／２）、或いは（π／２＜ｘ≦π）のいずれかに相当する照射遅延時間Ｄｔｉｍとする方が、シングルパスかマルチパスかを判定し易くなる。このため、距離画像処理部４は、残りの測定に適用する照射遅延時間Ｄｔｉｍ２～ＤｔｉｍＮＮを（０≦ｘ≦π／２）、或いは（π／２＜ｘ≦π）のいずれか一方の範囲となるように決定する。
【0139】
また、この場合において、距離画像処理部４は、照射遅延時間Ｄｔｉｍのみならず、残りの測定における振り分け回数を決定するようにしてもよい。例えば、距離画像処理部４は、暫定距離ＺＫが所定の距離より大きい遠距離である場合、暫定距離ＺＫが所定の距離より小さい近距離である場合と比較して、振り分け回数を増加させる。一般に、遠距離に存在する被写体ＯＢから反射光が到来する場合、距離画像撮像装置１に到達する反射光ＲＬの光量が減少する。このため、遠距離の場合に振り分け回数を増加させることで、１回の測定で蓄積する電荷量を増加させる。こうすることで、遠距離の場合であっても精度よく測定距離を算出することが可能となる。
【0140】
以上説明したように、実施形態の変形例に係る距離画像撮像装置１では、距離画像処理部４は、複数の測定のうち最初の測定に基づいて被写体ＯＢまでの暫定距離ＺＫを算出する。距離画像処理部４は、暫定距離ＺＫに基づいて、複数の測定のうち残りの測定に用いる照射遅延時間Ｄｔｉｍ（「遅延時間」の一例）を決定する。これにより、実施形態の変形例に係る距離画像撮像装置１では、測定空間Ｅに存在する被写体ＯＢの状況に応じて、照射遅延時間Ｄｔｉｍを決定することができ、シングルパスかマルチパスかを精度よく判定することが可能となる。
【0141】
また、実施形態の変形例に係る距離画像撮像装置１では、距離画像処理部４は、暫定距離ＺＫを光パルスＰＯが進むのに要する時間（位相）、及び関数ＧＦ（ｘ）の傾向に基づいて、照射遅延時間Ｄｔｉｍを決定するようにしてもよい。これにより、実施形態の変形例に係る距離画像撮像装置１では、関数ＧＦ（ｘ）の傾向に基づいて、例えば、線形な範囲（０≦ｘ≦π／２）或いは（π／２＜ｘ≦π）のいずれか一方の範囲に対応させて照射遅延時間Ｄｔｉｍを決定することができる。したがって、シングルパスかマルチパスかを精度よく判定することが可能となる。
【0142】
また、実施形態の変形例に係る距離画像撮像装置１では、距離画像処理部４は、暫定距離ＺＫが閾値を超える遠距離である場合、暫定距離ＺＫが閾値を超えない短距離である場合と比較して、複数の測定のうち残りの測定における、振り分け回数（「蓄積回数」の一例）を増加させる。これにより、実施形態の変形例に係る距離画像撮像装置１では、遠距離に被写体が存在する場合であっても精度よく距離を算出することが可能となる。
【0143】
なお、実施形態、及び実施形態の変形例に係る距離画像撮像装置１において、画素３２１がシングルパスを受光した場合、複数の測定から算出された測定距離の代表値を、その測定距離の算出結果として決定するようにしてもよい。これにより、１つの測定から算出された測定距離と比較して、精度よく測定距離を決定することが可能となる。
【0144】
また、実施形態の変形例において、距離画像処理部４は、最小二乗法を用いてマルチパスのそれぞれの距離を算出する際に、暫定距離ＺＫに基づいて、最適解の組合せを見つける範囲を絞るようにしてもよい。例えば、距離画像処理部４は、暫定距離ＺＫを中心として、暫定距離ＺＫ±αの範囲に存在する被写体ＯＢから反射した反射光がマルチパスとして受光されたとみなし、その範囲で最適解の組合せを見つけるように演算を行う。これにより、取り得る解の組合せ全ての誤差を算出する場合と比較して、限定された範囲にある解の組合せの誤差を算出することができるため、演算負荷を低減させることが可能である。
【0145】
なお、上述した実施形態では、画素３２１が三つの電荷蓄積部ＣＳ１～ＣＳ３を備える場合を例示して説明した。しかしながら、これに限定されることはない。画素３２１が四つ以上の電荷蓄積部ＣＳを備える場合にも適用することができる。例えば、画素３２１が四つの電荷蓄積部ＣＳを備える場合、一例として、以下の（１１）式、（１２）式に示すように複素変数ＣＰを定義することが可能である。また、（１１）式、（１２）式に示す数式に限定されることはなく、電荷蓄積部ＣＳ１～ＣＳ４のそれぞれに蓄積された電荷量を、加算したり減算したりすることにより算出される値を、実部や虚部とする複素変数ＣＰを定義することが可能である。
【0146】
ＣＰ＝（Ｑ１－Ｑ３）＋ｊ（Ｑ２－Ｑ４） …（１１）
ＣＰ＝｛（Ｑ１＋Ｑ２）－（Ｑ３＋Ｑ４）｝
＋ｊ｛（Ｑ２＋Ｑ３）－（Ｑ４＋Ｑ１）｝ …（１２）
ただし、ｊは虚数単位
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
Ｑ４は電荷蓄積部ＣＳ４に蓄積された電荷量
ＣＰ＝｛（Ｑ１＋Ｑ２）－（Ｑ３＋Ｑ４）｝
＋ｊ｛（Ｑ２＋Ｑ３）－（Ｑ４＋Ｑ１）｝ …（１２）
ただし、ｊは虚数単位
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
Ｑ４は電荷蓄積部ＣＳ４に蓄積された電荷量
【0147】
上述した実施形態における距離画像撮像装置１、距離画像処理部４の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0148】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0149】
１…距離画像撮像装置
２…光源部
３…受光部
３２…距離画像センサ
３２１…画素
３２３…垂直走査回路
４…距離画像処理部
４１…タイミング制御部
４２…距離演算部
４３…測定制御部
ＣＳ…電荷蓄積部
ＰＯ…光パルス
２…光源部
３…受光部
３２…距離画像センサ
３２１…画素
３２３…垂直走査回路
４…距離画像処理部
４１…タイミング制御部
４２…距離演算部
４３…測定制御部
ＣＳ…電荷蓄積部
ＰＯ…光パルス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】