IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

<>
  • 特開-測距装置及び測距方法 図1
  • 特開-測距装置及び測距方法 図2
  • 特開-測距装置及び測距方法 図3
  • 特開-測距装置及び測距方法 図4
  • 特開-測距装置及び測距方法 図5
  • 特開-測距装置及び測距方法 図6
  • 特開-測距装置及び測距方法 図7
  • 特開-測距装置及び測距方法 図8
  • 特開-測距装置及び測距方法 図9
  • 特開-測距装置及び測距方法 図10
  • 特開-測距装置及び測距方法 図11
  • 特開-測距装置及び測距方法 図12
  • 特開-測距装置及び測距方法 図13
  • 特開-測距装置及び測距方法 図14
  • 特開-測距装置及び測距方法 図15
  • 特開-測距装置及び測距方法 図16
  • 特開-測距装置及び測距方法 図17
  • 特開-測距装置及び測距方法 図18
  • 特開-測距装置及び測距方法 図19
  • 特開-測距装置及び測距方法 図20
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024176019
(43)【公開日】2024-12-19
(54)【発明の名称】測距装置及び測距方法
(51)【国際特許分類】
   G01S 17/89 20200101AFI20241212BHJP
   G01C 3/06 20060101ALI20241212BHJP
【FI】
G01S17/89
G01C3/06 120Q
G01C3/06 140
【審査請求】未請求
【請求項の数】18
【出願形態】OL
(21)【出願番号】P 2023094206
(22)【出願日】2023-06-07
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100094112
【弁理士】
【氏名又は名称】岡部 讓
(74)【代理人】
【識別番号】100101498
【弁理士】
【氏名又は名称】越智 隆夫
(74)【代理人】
【識別番号】100106183
【弁理士】
【氏名又は名称】吉澤 弘司
(74)【代理人】
【識別番号】100136799
【弁理士】
【氏名又は名称】本田 亜希
(72)【発明者】
【氏名】高村 明裕
【テーマコード(参考)】
2F112
5J084
【Fターム(参考)】
2F112AD01
2F112BA10
2F112CA04
2F112CA05
2F112DA02
2F112DA25
2F112DA26
2F112DA28
2F112EA05
2F112FA14
2F112FA41
5J084AA05
5J084AB01
5J084AB07
5J084AC02
5J084AC03
5J084AC04
5J084AC05
5J084AC07
5J084AD01
5J084BA04
5J084BA07
5J084BA36
5J084BA40
5J084BB02
5J084BB04
5J084CA03
5J084CA32
5J084CA53
5J084CA65
5J084EA04
5J084EA22
(57)【要約】
【課題】距離測定精度及び解像度を維持しつつ必要となるメモリ容量を削減しうる測距装置及び測距方法を提供する。
【解決手段】測距装置は、測定対象領域にある対象物によって反射されたパルス光を検出する複数の画素を有する受光部と、各々が少なくとも1つの画素を含む複数の単位領域から出力される複数の信号を、各々が少なくとも2つの単位領域を含む複数の画素ブロックに対応する複数の信号に変換するビニング処理部と、ビニング処理部から出力される複数の信号に基づき、パルス光が射出されてから受光部で検出されるまでの時間に応じて定められた階級と度数との関係を表す情報を画素ブロックごとに蓄積するデータ蓄積部と、複数の単位領域の各々に対し、対象物からの反射光による信号を含む階級の候補を情報から抽出する反射光判定部と、複数の単位領域の各々に対応する対象物までの距離を、候補に基づいてそれぞれ算出する距離算出部と、を有する。
【選択図】図1
【特許請求の範囲】
【請求項1】
発光部から発せられ測定対象領域にある対象物によって反射されたパルス光を検出する複数の画素を有する受光部と、
各々が少なくとも1つの前記画素を含む複数の単位領域から出力される複数の信号を、各々が少なくとも2つの単位領域を含む複数の画素ブロックに対応する複数の信号に変換するビニング処理部と、
前記ビニング処理部から出力される前記複数の信号に基づき、前記パルス光が射出されてから前記受光部で検出されるまでの時間に応じて定められた階級と前記パルス光を検出した回数を示す度数との関係を表す情報を前記画素ブロックごとに蓄積するデータ蓄積部と、
前記複数の単位領域の各々に対し、前記対象物からの反射光による信号を含む階級の候補を前記情報から抽出する反射光判定部と、
前記複数の単位領域の各々に対応する前記対象物までの距離を、前記候補に基づいてそれぞれ算出する距離算出部と
を有することを特徴とする測距装置。
【請求項2】
前記データ蓄積部は、1フレーム期間のうちの第1期間に、複数回の前記パルス光の発光に応じて前記ビニング処理部から複数回にわたって出力されるパルス信号を前記階級ごとに計数することにより前記情報を生成し、
前記反射光判定部は、前記1フレーム期間のうちの前記第1期間の後の第2期間に、複数回の前記パルス光の発光に応じて前記複数の単位領域から複数回にわたって出力されるパルス信号に基づき、前記候補を抽出する
ことを特徴とする請求項1記載の測距装置。
【請求項3】
前記反射光判定部は、
前記複数の単位領域のうちの少なくとも1つの単位領域が光を検出した場合に、前記1つの単位領域を含む画素ブロックの出力信号が前記対象物からの反射光による信号を含む可能性があるか否かを判定する第1判定部と、
前記1つの単位領域の出力信号が前記対象物からの反射光による信号を含む可能性があるか否かを判定する第2判定部と、を有し、
前記第1判定部及び前記第2判定部の両方において前記対象物からの反射光による信号を含む可能性があると判定された場合に、前記1つの単位領域が光を検出したタイミングに対応する階級を前記1つの単位領域に対応する前記候補として抽出する
ことを特徴とする請求項1又は2記載の測距装置。
【請求項4】
前記第1判定部及び前記第2判定部は、前記1つの単位領域が光を検出したタイミングに対応する階級が、前記情報を構成する階級のうち度数が所定の閾値以上である階級に該当する場合に、前記出力信号が前記対象物からの反射光による信号を含む可能性があると判定する
ことを特徴とする請求項3記載の測距装置。
【請求項5】
前記距離算出部は、
前記候補について、前記第2判定部において前記対象物からの反射光による信号を含む可能性があると判定された回数をカウントし、
前記候補のうち前記回数が最も多い階級のカウント値が所定の閾値を超えている場合に、前記回数が最も多い階級に対応する距離を、前記1つの単位領域における前記対象物までの距離として算出する
ことを特徴とする請求項3記載の測距装置。
【請求項6】
前記距離算出部は、前記1つの単位領域が光を検出したタイミングに対応する階級が前記候補に含まれていない場合に、前記1つの単位領域が光を検出したタイミングに対応する階級を前記候補に追加する
ことを特徴とする請求項5記載の測距装置。
【請求項7】
前記距離算出部は、前記1つの単位領域が光を検出したタイミングに対応する階級が前記候補に含まれていない場合に、前記1つの単位領域及びその周辺の単位領域の前記カウント値に応じた更新確率で、前記1つの単位領域が光を検出したタイミングに対応する階級を前記候補として選択する
ことを特徴とする請求項5記載の測距装置。
【請求項8】
前記データ蓄積部は、前記複数の画素ブロックから出力される複数の信号を、各々が少なくとも2つの画素ブロックを含む複数の画素ブロック群に対応する複数の信号に基づき、前記情報を前記画素ブロック群ごとに蓄積する
ことを特徴とする請求項1又は2記載の測距装置。
【請求項9】
前記データ蓄積部は、前記複数の単位領域の各々に対応して、前記情報を保持するための第1データ領域と、その単位領域を含む前記画素ブロックを構成する各々の単位領域における前記候補とその度数を保持するための第2データ領域とを含み、前記第1データ領域と前記第2データ領域とは少なくとも一部が重複している
ことを特徴とする請求項1又は2記載の測距装置。
【請求項10】
前記複数の単位領域の各々は、1つの画素を含む
ことを特徴とする請求項1又は2記載の測距装置。
【請求項11】
前記受光部から出力される信号の空間的な分解能を変換する変換部を更に有し、
前記変換部は、前記複数の画素から出力される前記複数の信号を、前記複数の単位領域に対応する前記複数の信号に変換する
ことを特徴とする請求項1記載の測距装置。
【請求項12】
前記複数の単位領域の各々は、2つ以上の第1の数の前記画素を含み、
前記画素ブロックの各々は、前記第1の数よりも多い第2の数の前記画素を含む
ことを特徴とする請求項11記載の測距装置。
【請求項13】
発光部から発せられ測定対象領域にある対象物によって反射されたパルス光を検出する複数の画素を有する受光部と、
前記複数の画素から出力される複数の第1信号を、空間的な分解能が前記複数の第1信号よりも低い複数の第2信号に変換するビニング処理部と、
前記ビニング処理部から出力される前記複数の第2信号に基づき、前記パルス光が射出されてから前記受光部で検出されるまでの時間に応じて定められた階級と前記パルス光を検出した回数を示す度数との関係を表す情報を、前記複数の第2信号に対応する複数の第1単位領域ごとに蓄積するデータ蓄積部と、
前記複数の第2信号よりも空間的な分解能が高い複数の信号に対応する複数の第2単位領域の各々に対し、前記対象物からの反射光による信号を含む階級の候補を前記情報から抽出する反射光判定部と、
前記複数の第2単位領域の各々に対応する前記対象物までの距離を、前記候補に基づいてそれぞれ算出する距離算出部と
を有することを特徴とする測距装置。
【請求項14】
前記複数の第2信号よりも空間的な分解能が高い前記複数の信号は、前記複数の第1信号であり、
前記複数の第2単位領域は、前記複数の画素である
ことを特徴とする請求項13記載の測距装置。
【請求項15】
前記複数の第2信号よりも空間的な分解能が高い前記複数の信号は、空間的な分解能が前記複数の第2信号よりも高く前記複数の第1信号とは異なる複数の第3信号である
ことを特徴とする請求項13記載の測距装置。
【請求項16】
発光部から発せられ測定対象領域にある対象物によって反射されたパルス光を検出する複数の画素が出力する信号が入力される入力部と、
各々が少なくとも1つの前記画素を含む複数の単位領域から出力される複数の信号を、各々が少なくとも2つの単位領域を含む複数の画素ブロックに対応する複数の信号に変換するビニング処理部と、
前記ビニング処理部から出力される前記複数の信号に基づき、前記パルス光が射出されてから検出されるまでの時間に応じて定められた階級と前記パルス光を検出した回数を示す度数との関係を表す情報を前記画素ブロックごとに蓄積するデータ蓄積部と、
前記複数の単位領域の各々に対し、前記対象物からの反射光による信号を含む階級の候補を前記情報から抽出する反射光判定部と、
前記複数の単位領域の各々に対応する前記対象物までの距離を、前記候補に基づいてそれぞれ算出する距離算出部と
を有することを特徴とする情報処理装置。
【請求項17】
移動体であって、
請求項1又は2記載の距離情報取得装置と、
前記距離情報取得装置が取得した距離情報に基づいて前記移動体を制御する制御手段と
を有することを特徴とする移動体。
【請求項18】
発光部から発せられ測定対象領域にある対象物によって反射されたパルス光を複数の画素により検出し、前記複数の画素が検出した信号に基づいて前記対象物までの距離を算出する測距方法であって、
各々が少なくとも1つの前記画素を含む複数の単位領域から出力される複数の信号を、各々が少なくとも2つの単位領域を含む複数の画素ブロックに対応する複数の信号に変換し、
前記画素ブロックに対応する前記複数の信号に基づき、前記パルス光が射出されてから受光部で検出されるまでの時間に応じて定められた階級と前記パルス光を検出した回数を示す度数との関係を表す情報を前記画素ブロックごとに蓄積し、
前記複数の単位領域の各々に対し、前記対象物からの反射光による信号を含む階級の候補を前記情報から抽出し、
前記複数の単位領域の各々に対応する前記対象物までの距離を、前記候補に基づいてそれぞれ算出する
ことを特徴とする測距方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、測距装置及び測距方法に関する。
【背景技術】
【0002】
測距技術の一つとして、測距対象物体を含む所定範囲に面光源からの光を照射して測距対象物体からの反射光を検出し、面光源の発光タイミングと対象物体からの反射光の検出タイミングとの関係から対象物体までの距離を計測するものがある。この技術は、フラッシュLiDAR(Light Detection And Ranging)と呼ばれている。
【0003】
フラッシュLiDARでは、面光源を複数回発光して反射光を積算していくことで測距精度を向上することが行われている。反射光の積算は距離と頻度との関係を表すヒストグラム情報を生成することにより行われるが、処理に必要となるメモリ容量は受光部の画素数の増加に比例して大きくなる。複数の画素まとめて1つの画素として扱う処理、いわゆるビニング処理を行うことにより処理に必要となるメモリ容量を減らすことはできるが、単純なビニング処理では解像度の低下を避けることはできない。
【0004】
特許文献1には、ビニングした距離ヒストグラムと一部の領域の出力を除いた距離ヒストグラムとの差分を取ることで高解像度の距離を算出する技術が開示されている。特許文献2には、高解像度の画像の輪郭情報を抽出し、抽出した輪郭情報に基づいて低解像度の距離情報を補正することで高解像度の距離情報を推定する技術が開示されている。特許文献3には、ビニングする領域を、当該領域よりも狭い間隔でシフトしていくことで、疑似的に高解像度の測距を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2020-180941号公報
【特許文献2】特開2010-071976号公報
【特許文献3】特開2020-118570号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1、特許文献2及び特許文献3に記載の技術は、必ずしもメモリ容量の削減と高解像度化を両立できるものとは言えなかった。
【0007】
本発明の目的は、距離測定精度及び解像度を維持しつつ必要となるメモリ容量を削減しうる測距装置及び測距方法を提供することにある。
【課題を解決するための手段】
【0008】
本明細書の一開示によれば、発光部から発せられ測定対象領域にある対象物によって反射されたパルス光を検出する複数の画素を有する受光部と、各々が少なくとも1つの前記画素を含む複数の単位領域から出力される複数の信号を、各々が少なくとも2つの単位領域を含む複数の画素ブロックに対応する複数の信号に変換するビニング処理部と、前記ビニング処理部から出力される前記複数の信号に基づき、前記パルス光が射出されてから前記受光部で検出されるまでの時間に応じて定められた階級と前記パルス光を検出した回数を示す度数との関係を表す情報を前記画素ブロックごとに蓄積するデータ蓄積部と、前記複数の単位領域の各々に対し、前記対象物からの反射光による信号を含む階級の候補を前記情報から抽出する反射光判定部と、前記複数の単位領域の各々に対応する前記対象物までの距離を、前記候補に基づいてそれぞれ算出する距離算出部とを有する測距装置が提供される。
【0009】
また、本明細書の他の一開示によれば、発光部から発せられ測定対象領域にある対象物によって反射されたパルス光を検出する複数の画素を有する受光部と、前記複数の画素から出力される複数の第1信号を、空間的な分解能が前記複数の第1信号よりも低い複数の第2信号に変換するビニング処理部と、前記ビニング処理部から出力される前記複数の第2信号に基づき、前記パルス光が射出されてから前記受光部で検出されるまでの時間に応じて定められた階級と前記パルス光を検出した回数を示す度数との関係を表す情報を、前記複数の第2信号に対応する複数の第1単位領域ごとに蓄積するデータ蓄積部と、前記複数の第2信号よりも空間的な分解能が高い複数の信号に対応する複数の第2単位領域の各々に対し、前記対象物からの反射光による信号を含む階級の候補を前記情報から抽出する反射光判定部と、前記複数の第2単位領域の各々に対応する前記対象物までの距離を、前記候補に基づいてそれぞれ算出する距離算出部とを有する測距装置が提供される。
【0010】
また、本明細書の更に他の一開示によれば、発光部から発せられ測定対象領域にある対象物によって反射されたパルス光を検出する複数の画素が出力する信号が入力される入力部と、各々が少なくとも1つの前記画素を含む複数の単位領域から出力される複数の信号を、各々が少なくとも2つの単位領域を含む複数の画素ブロックに対応する複数の信号に変換するビニング処理部と、前記ビニング処理部から出力される前記複数の信号に基づき、前記パルス光が射出されてから検出されるまでの時間に応じて定められた階級と前記パルス光を検出した回数を示す度数との関係を表す情報を前記画素ブロックごとに蓄積するデータ蓄積部と、前記複数の単位領域の各々に対し、前記対象物からの反射光による信号を含む階級の候補を前記情報から抽出する反射光判定部と、前記複数の単位領域の各々に対応する前記対象物までの距離を、前記候補に基づいてそれぞれ算出する距離算出部とを有する情報処理装置が提供される。
【0011】
また、本明細書の更に他の一開示によれば、発光部から発せられ測定対象領域にある対象物によって反射されたパルス光を複数の画素により検出し、前記複数の画素が検出した信号に基づいて前記対象物までの距離を算出する測距方法であって、各々が少なくとも1つの前記画素を含む複数の単位領域から出力される複数の信号を、各々が少なくとも2つの単位領域を含む複数の画素ブロックに対応する複数の信号に変換し、前記画素ブロックに対応する前記複数の信号に基づき、前記パルス光が射出されてから受光部で検出されるまでの時間に応じて定められた階級と前記パルス光を検出した回数を示す度数との関係を表す情報を前記画素ブロックごとに蓄積し、前記複数の単位領域の各々に対し、前記対象物からの反射光による信号を含む階級の候補を前記情報から抽出し、前記複数の単位領域の各々に対応する前記対象物までの距離を、前記候補に基づいてそれぞれ算出する測距方法が提供される。
【発明の効果】
【0012】
本発明によれば、測距装置及び測距方法において、距離測定精度及び解像度を維持しつつ必要となるメモリ容量を削減することができる。
【図面の簡単な説明】
【0013】
図1】本発明の第1実施形態による測距装置の概略構成を示すブロック図である。
図2】LiDARシステムの基本的な動作を示すタイミング図である。
図3】LiDARシステムにおいて生成されるヒストグラムの一例を示す図である。
図4】本発明の第1実施形態による測距装置の動作を示すフローチャート(その1)である。
図5】本発明の第1実施形態による測距装置の動作を示すフローチャート(その2)である。
図6】本発明の第1実施形態による測距装置の動作を示すフローチャート(その3)である。
図7】本発明の第1実施形態による測距装置の動作を示すフローチャート(その4)である。
図8】本発明の第1実施形態による測距装置において距離算出部のデータ蓄積部が保持するエントリの構成例を示す図である。
図9】本発明の第2実施形態による測距装置の動作を示すフローチャート(その1)である。
図10】本発明の第2実施形態による測距装置の動作を示すフローチャート(その2)である。
図11】本発明の第2実施形態による測距装置の動作を示すフローチャート(その3)である。
図12】本発明の第2実施形態による測距装置において距離算出部のデータ蓄積部が保持するエントリの構成例を示す図である。
図13】着目している画素と周辺画素との位置関係を説明する図である。
図14】本発明の第2実施形態による測距装置の動作例を示す図(その1)である。
図15】第1期間において取得した低解像度ヒストグラムの一例及び第2期間において取得した環境光の低解像度ヒストグラムの一例を示す図である。
図16】本発明の第2実施形態による測距装置の動作例を示す図(その2)である。
図17】本発明の第2実施形態による測距装置の動作例を示す図(その3)である。
図18】本発明の第2実施形態による測距装置の動作例を示す図(その4)である。
図19】本発明の第4実施形態による測距装置におけるデータ蓄積部のデータ領域の構成例を示す図である。
図20】本発明の第5実施形態による移動体の構成例を示す図である。
【発明を実施するための形態】
【0014】
前述のように、フラッシュLiDARなどの測距装置では、光源を複数回発光して反射光を積算していくことで測距精度を向上することが行われている。反射光の積算は距離と頻度との関係を表すヒストグラム情報を生成することにより行われるが、処理に必要となるメモリ容量は受光部の画素数の増加に比例して大きくなる。複数の画素まとめて1つの画素として扱う処理、いわゆるビニング処理を行うことにより処理に必要となるメモリ容量を減らすことはできるが、単純なビニング処理では解像度の低下を避けることはできない。
【0015】
特許文献1には、ビニングした距離ヒストグラムと一部の領域の出力を除いた距離ヒストグラムとの差分を取ることで高解像度の距離を算出する技術が開示されている。しかしながら、特許文献1に記載の方法では、一部領域の出力を除いた距離ヒストグラムを複数記憶しておく必要がある。そのため、この方法では、ビニングする前の解像度の距離ヒストグラムで必要となるメモリ容量と同等のメモリ容量が必要となる。
【0016】
特許文献2には、高解像度の画像の輪郭情報を抽出し、抽出した輪郭情報に基づいて低解像度の距離情報を補正することで高解像度の距離情報を推定する技術が開示されている。しかしながら、特許文献2に記載の方法では、物体と背景が近い色の時には画像で輪郭が得られず、誤った距離を推定してしまうことがあった。
【0017】
特許文献3には、ビニングする領域を、当該領域よりも狭い間隔でシフトしていくことで、疑似的に高解像度の測距を行う技術が開示されている。しかしながら、特許文献3に記載の方法は、ビニングする画素の位相をずらしているだけであり、本質的な距離の解像度は向上できなかった。
【0018】
[第1実施形態]
本発明の第1実施形態による測距装置及び測距方法について、図1乃至図8を用いて説明する。図1は、本実施形態による測距装置の概略構成を示すブロック図である。図2は、LiDARシステムの基本的な動作を示すタイミング図である。図3は、ヒストグラム情報の一例を示す図である。図4乃至図7は、本実施形態による測距装置の動作を示すフローチャートである。図8は、本実施形態による測距装置において距離算出部のデータ蓄積部が保持するエントリの構成例を示す図である。
【0019】
はじめに、本実施形態による測距装置の概略構成について、図1を用いて説明する。本実施形態による測距装置100は、図1に示すように、発光部10と、時間カウント部20と、制御部30と、受光部40と、距離算出部50と、ビニング処理部60と、低解像度ヒストグラム処理部70と、出力部80と、を有する。受光部40は、2次元状に配された複数の受光素子42を含む。図面の簡略化のため、図1には受光部40を構成する複数の受光素子42のうちの2つを示している。距離算出部50は、データ蓄積部52と反射光判定部54とを有する。低解像度ヒストグラム処理部70は、データ蓄積部72と、反射光判定部74と、を有する。
【0020】
制御部30は、発光部10及び時間カウント部20に接続されている。受光部40の受光素子42の各々は、距離算出部50とビニング処理部60とに接続されている。なお、図1では、複数の受光素子42の各々から出力される信号に対して距離算出部50における処理が行われることを視覚的に表すために、距離算出部50を、複数の受光素子42に対応する複数のブロックに分けて示している。時間カウント部20は、距離算出部50と低解像度ヒストグラム処理部70とに接続されている。ビニング処理部60は、低解像度ヒストグラム処理部70のデータ蓄積部72に接続されている。データ蓄積部72は、低解像度ヒストグラム処理部70の反射光判定部74に接続されている。反射光判定部74は、距離算出部50に接続されている。距離算出部50は、出力部80に接続されている。
【0021】
発光部10は、発光素子(図示せず)を有し、発光素子から発せられるレーザ光などのパルス光(照射光12)を測定対象領域に射出する役割を有する。発光部10を構成する発光素子としては、例えば、LED(Light Emitting Diode)やLD(Laser Diode)など、高速変調が可能な素子を適用可能である。発光素子は、VCSEL(Vertical Cavity Surface Emitting Laser)やこれをアレイ状に配した面発光素子であってもよい。発光部10は、測定対象領域に対して一様な光量の光を照射するように構成されていることが望ましく、発光素子から発せられた光を光学的に変換して測定対象領域に照射するための光学素子、例えばレンズなどを更に含んで構成され得る。
【0022】
受光部40は、測定対象領域から入射する光を検出する役割を有する。受光部40に入射する光には、測定対象領域における環境光のほか、照射光12のうち測定対象領域にある対象物110によって反射された光(反射光14)が含まれる。受光素子42は、入射した光信号を電気信号に変換し、距離算出部50及びビニング処理部60に出力する。受光素子42から距離算出部50に出力される電気信号には、反射光14に対応するパルス信号が重畳する。受光素子42としては、例えば、SPAD(Single Photon Avalanche Diode)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサなどを適用可能である。受光部40は、反射光14を効率的に受光素子42に導くための光学素子、例えばレンズなどを更に含んで構成され得る。
【0023】
受光部40が有する受光素子42の数は特に限定されるものではないが、本実施形態では説明の便宜上、横16個×縦16個の2次元状に配された計256個の受光素子42を有する受光部40を想定する。本明細書では、受光部40の横方向をX軸、受光部40の縦方向をY軸で表し、各々の受光素子42をX-Y座標で標記することがある。図1に示す2つの受光素子42は、256個の受光素子42のうち、例えば、座標(0,0)に配された受光素子42と、座標(1,0)に配された受光素子42と、であり得る。
【0024】
制御部30は、発光部10におけるパルス光の発光タイミングを制御するための発光制御信号を生成し、生成した発光制御信号を発光部10に送信する。また、制御部30は、発光制御信号と同期したカウント制御信号を生成し、生成したカウント制御信号を時間カウント部20に送信する。
【0025】
時間カウント部20は、制御部30からのカウント制御信号に応じて時間カウントを開始し、一定時間ごとに時間カウント値を1ずつカウントアップする。時間カウント部20は、時間カウント値を逐次、距離算出部50及び低解像度ヒストグラム処理部70に送信する。
【0026】
ビニング処理部60は、2つ以上の画素(ここでは受光素子42)からの信号をより大きな1つの画素ブロックからの信号としてまとめる処理、いわゆる画素ビニング処理を行う機能ブロックである。画素ビニング処理を行うことにより解像度は低下するが反射光14の受光確率は増加するため、測距可能な距離を延長することが可能となる。ビニング処理部60は、受光部40の受光素子42の各々からパルス信号を受信するとこれら信号に対して画素ビニング処理を施し、受光部40から受信する信号よりも少ない数の信号を出力する。本実施形態では説明の便宜上、横4個×縦4個の受光素子ブロックごとに画素ビニング処理を実施するものとする。例えば、横16個×縦16個の計256個の受光素子42で構成される受光部40からの信号に対して横4個×縦4個の受光素子ブロックごとに画素ビニング処理を施すと、横4個×縦4個の計16個の画素ブロックからの信号が得られることになる。なお、ビニングする画素数は任意に設定が可能である。
【0027】
低解像度ヒストグラム処理部70のデータ蓄積部72は、ビニング処理部60及び時間カウント部20からの信号をもとにビニング処理後の画素ブロックごとのヒストグラム情報を生成し、生成したヒストグラム情報を保持する。ここでのヒストグラム情報とは、時間の階級(以下、「受光時刻のビン」と呼ぶ)と各ビンの度数との関係を表す情報である。受光時刻のビンは、発光部10においてパルス光が発光したタイミングから、反射光14の入射に応じて受光素子42からパルス信号が出力されるタイミングまでの時間(時間カウント部20からの時間カウント値)に応じて分類される。例えば、時間カウント値が1ナノ秒単位でカウントアップしており、受光時刻のビンを10ナノ秒間隔で設定している場合、受光素子42からのパルス信号に対応する受光時刻のビンの番号は時間カウント値を10で除する演算を行うことで算出できる。データ蓄積部72は、所定期間の間、パルス信号を受信するごとに、受信したパルス信号に対応する受光時刻のビンの受光カウント値(度数)を1増加する。このようにしてビニング処理後の画素ごとに各ビンにおいてパルス信号を検出した回数を計数することで、ビニング処理後の画素ごとのヒストグラム情報を生成することができる。
【0028】
低解像度ヒストグラム処理部70の反射光判定部74は、データ蓄積部72が生成したヒストグラム情報に基づき、ビニング処理後の画素ブロックごとに反射光14の有無を判定し、判定結果を距離算出部50に出力する役割を有する。反射光判定部74は、ビニング処理部60からパルス信号を受信したときに反射光14の判定が可能か否かを判定する。例えば、1フレーム中の一定時間までは反射光14の判定ができない状態に設定し、それ以降は反射光14の判定可能な状態に設定することができる。そして、反射光14の判定可能な状態であれば、ビニング処理後の画素ごとに反射光14の有無を判定し、判定結果に応じた信号を出力する。例えば、反射光判定部74は、反射光14が含まれる場合にはハイレベルの信号(1)を出力し、反射光14が含まれない場合にはローレベルの信号(0)を出力する。反射光14の判定が可能か否かの判定は、上記の方法のほか、例えば、受光カウント値が上位からk番目のビンの受光カウント値がそれ以外のビンの受光カウント値の平均と比べて一定値以上であるか否かを基準に行うこともできる。
【0029】
反射光判定部74における反射光14の有無の判定には、種々の基準を適用することができる。例えば、各ビンの受光カウント値の中に所定の閾値を超えるものが1つ以上ある場合は反射光14ありと判定し、そうでない場合は反射光14なしと判定することができる。この場合の閾値は一定の値でもよいし、各ビンの受光カウント値の平均値に一定値を加算した値でもよい。また、ビニングする画素数が増えるとS/N比は向上するため、ビニング処理部60においてビニングする画素数を変更可能に構成している場合、ビニングする画素数に応じて閾値を変更してもよい。
【0030】
距離算出部50は、受光部40、時間カウント部20及び反射光判定部74からの信号に基づき、画素(受光素子42)ごとに対象物110までの距離を算出する役割を有する。距離算出部50は、受光素子42からパルス信号を受信すると、時間カウント部20からそのときの時間カウント値を取得するとともに、低解像度ヒストグラム処理部70からは当該パルス信号に対応する反射光14の判定結果を受信する。次に、距離算出部50は、受光素子42からの出力と低解像度ヒストグラム処理部70からの出力とに基づき、受光素子42が反射光14を受光した可能性があるか否かの判断を行う。反射光14を受光した可能性があるか否かの判断は、受光素子42からの出力と低解像度ヒストグラム処理部70からの出力とを用い、例えば表1に示すように判断することができる。
【表1】
【0031】
ただし、受光部40からの出力及び低解像度ヒストグラム処理部70からの出力の両方が1である場合、その座標における反射光14である可能性は高いが、環境光である可能性もある。そこで、距離算出部50は、受光素子42より受信したパルス信号に対応する時間カウント値から距離を算出し、当該受光素子42の座標における高解像度の距離の候補とする。次に、このように算出した距離の候補の中から、その座標における反射光14である可能性が高いものを選択し、データ蓄積部52に蓄積する。反射光判定部54は、その座標における高解像度の距離が正しい距離である可能性が十分に高いと判断した場合はその距離を当該座標における距離として出力し、そうでない場合はその座標に距離が測定できる物体がないことを出力する。
【0032】
なお、上記説明では受光素子42に対応する解像度で距離情報を出力する例を示したが、受光素子42に対応する解像度とは異なる解像度で距離算出部50から距離情報を出力するように構成してもよい。この場合、受光部40と距離算出部50との間に、受光部40の解像度(空間的な分解能)を距離算出部50の解像度に変換する変換部(不図示)を挿入すればよい。この変換部は、受光部40から出力される信号の解像度を、低解像度ヒストグラム処理部70の解像度よりも高く受光部40から出力される信号の解像度よりも低い解像度に変換するように構成することができる。
【0033】
例えば、この変換部は、複数の画素から出力される複数の信号を、各々が少なくとも1つの画素を含む複数の単位領域に対応する複数の信号に変換するように構成することができる。そして、ビニング処理部60は、複数の単位領域から出力される複数の信号を、各々が少なくとも2つの単位領域を含む複数の画素ブロックに対応する複数の信号に変換するように構成することができる。この場合、複数の単位領域の各々は、2つ以上の第1の数の画素を含み、画素ブロックの各々は、前記第1の数よりも多い第2の数の画素を含み得る。
【0034】
また、ビニング処理部60は、複数の画素から出力される複数の第1信号を、空間的な分解能が複数の第1信号よりも低い複数の第2信号に変換する機能を備えると言うこともできる。この場合、データ蓄積部72は、複数の第2信号に基づき、パルス光が検出されるまでの時間に応じて定められた階級とパルス光を検出した回数を示す度数との関係を表す情報を、複数の第2信号に対応する複数の第1単位領域ごとに蓄積する。反射光判定部74は、複数の第2信号よりも空間的な分解能が高い複数の信号に対応する複数の第2単位領域の各々に対し、対象物110からの反射光による信号を含む階級の候補を情報から抽出する。距離算出部50は、複数の第2単位領域の各々に対応する対象物110までの距離を、候補に基づいてそれぞれ算出する。なお、複数の第2信号よりも空間的な分解能が高い複数の信号は、複数の第1信号であり、複数の第2単位領域は、複数の画素であり得る。或いは、複数の第2信号よりも空間的な分解能が高い複数の信号は、空間的な分解能が複数の第2信号よりも高く複数の第1信号とは異なる複数の第3信号であり得る。
【0035】
出力部80は、距離算出部50から受信した測距情報を外部に出力する役割を有する。
【0036】
図2は、一般的なLiDARシステムの基本的な動作を示すタイミング図である。一般的なLiDARシステムの測距期間中には、所定の長さのフレーム期間FPが複数回、順次実施される。図2では、測距期間中に、第1フレーム期間FP1、第2フレーム期間FP2、…、第Nフレーム期間FPNを含むN回のフレーム期間FPを実施する場合を想定している。各々のフレーム期間FP中には、複数のショット期間SPと、ピーク判定期間PPと、が実行される。図2では、1フレーム期間FP中に、第1ショット期間SP1、第2ショット期間SP2、…、第Mショット期間SPMを含むM回のショット期間SPと、ピーク判定期間PPと、を実施する場合を想定している。各々のショット期間SPは、時間カウントに基づいて区切られた複数のビンに分けられている。
【0037】
1つのフレーム期間FPは、1つの距離画像を取得する期間に相当する。1つのショット期間SPには、発光部10からパルス光が1回発光される。すなわち、各々のショット期間SPは発光部10がパルス光を発光するタイミングから開始し、各々のショット期間SPの長さはパルス光が発光する間隔によって規定される。各々のショット期間SPの間には、時間カウントに基づいて区切られたビンごとに、受光部40から出力されるパルス信号をカウントするカウント動作を行う。このようにして、各々のショット期間SPにおいて各ビンにおける受光カウント値を取得することにより、図3に例示するようなヒストグラムの情報を含むデータ(ヒストグラム情報)を取得することができる。
【0038】
図3(a)には第1ショット期間SP1に取得したヒストグラムの例を、図3(b)には第2ショット期間SP2に取得したヒストグラムの例を、図3(c)には第3ショット期間SP3に取得したヒストグラムの例を、それぞれ示している。図3(d)には、図3(a)乃至図3(c)のヒストグラムを積算したヒストグラムを示している。
【0039】
図3(a)に示すように、第1ショット期間SP1に取得したヒストグラムでは、ビン5における受光カウント値がピークとなっている。図3(b)に示すように、第2ショット期間SP2に取得したヒストグラムでは、ビン2及びビン4における受光カウント値がピークとなっている。図3(c)に示すように、第3ショット期間SP3に取得したヒストグラムでは、ビン5における受光カウント値がピークとなっている。一方、これらを積算したヒストグラムでは、図3(d)に示すように、ビン5における受光カウント値がピークとなっている。このように、複数のショット期間SPの情報を積算することで、測距対象物からの反射光の可能性がより高いビンを判定することができる。
【0040】
ピーク判定期間PPでは、受光カウント値がピークとなっているビンの時間情報に基づいて対象物110までの距離を算出する。対象物110までの距離D[m]は、以下の式(1)により算出され得る。ここで、tは受光部40からパルス信号を受信したタイミングにおいて時間カウント部20から取得した時間カウント値(単位:秒)であり、cは光速(2.998×10[m/秒])である。
D=c×t/2[m] …(1)
【0041】
例えば、ビンを10ナノ秒間隔で設定している場合、受光カウント値がピークを示しているビン5は、発光部10の発光後、50ナノ秒から60ナノ秒の間に検出されたパルス信号をカウントする階級に対応する。したがって、対象物110までの距離Dは、式(1)から7.5[m]~9.0[m]と算出することができる。
【0042】
上述した一般的なLiDARシステムにおける各ショット期間SPの処理が、本実施形態では低解像度ヒストグラム処理部70のデータ蓄積部72及び反射光判定部74における処理に相当する。ただし、低解像度ヒストグラム処理部70では、ピーク判定期間PPの処理は実施されない。その代わりに、反射光判定部74では、反射光の判定が可能な状態になると座標ごとに反射光の有無を判定してその結果を出力する。反射光の判定が可能な状態についての説明は後述する。距離算出部50は、反射光判定部74からの出力を受けてショット期間SPごとに動作をする。1フレーム期間FPの最後のショット期間SPMの後、反射光判定部74の代わりに反射光判定部54が距離情報を出力できるかどうかを判断する。反射光判定部54は、距離情報が出力できると判断した場合は距離を算出して出力部80から距離情報を出力する。
【0043】
次に、本実施形態による測距装置の動作について、図4乃至図8を用いてより詳細に説明する。
【0044】
測距が開始されると、図2を用いて説明したように、複数のフレーム期間FPが第1フレーム期間FP1から順次実行される。フレーム期間FPが開始されると、まずステップS101において、距離算出部50のデータ蓄積部52の初期化処理が行われる。データ蓄積部52には、例えば図8に示すように、各々の画素に対応して任意の数のエントリを蓄積可能である。各エントリは、ビンと、当該ビンに対応する頻度と、を保持するためのデータ領域を含む。ここでは、例えば図8に示すように、データ蓄積部52における各画素のエントリ数が4である場合を想定して説明するが、エントリ数は任意に設定可能である。4つのエントリには、エントリインデックスとして0,1,2,3の番号が付されている。本実施形態におけるステップS101の初期化処理では、図5のステップS201に示されるように、データ蓄積部52において各々の画素の各エントリの頻度が0に初期化される。
【0045】
続くステップS102において、ショット期間SPを開始する。ショット期間SPは、制御部30による制御のもと、発光部10からパルス光を発光するとともに、これと同期して時間カウント部20における時間カウントを開始することにより、開始される。時間カウント部20における時間のカウントは0から開始される。時間のカウントは、例えばクロック信号をカウントする方法により実施され得る。例えば、1ナノ秒周期のクロック信号を用いる場合、時間カウント値が0から10に増加すると10ナノ秒が経過したことになる。
【0046】
続くステップS103において、受光部40が光を検知したか否かの判定を行う。判定の結果、受光部40を構成する複数の受光素子42のうちの少なくとも1つが光を検知した場合(ステップS103の「YES」)には、ステップS104へと移行する。判定の結果、受光部40が光を検知しなかった場合(ステップS103の「NO」)には、ステップS111へと移行する。
【0047】
ステップS104では、ビニング処理部60において、受光部40を構成する複数の受光素子42により検出された信号に対してビニング処理を行う。具体的には、各々の受光素子42の座標(X,Y)に対して(floor(X/4),floor(Y/4))の演算を行い、各々の受光素子42について座標(Xi,Yi)を算出する。そして、座標(Xi,Yi)が同じになる受光素子42ごとに出力信号の重ね合わせ(論理和演算)を行い、座標(Xi,Yi)ごとの出力信号を生成する。なお、floor(x)関数は、x以下の最大の整数を返す関数である。座標(X,Y)に対して(floor(X/4),floor(Y/4))の演算を行うことで、4×4画素のビニング処理を行うことができる。ビニング処理部60は、ビニング処理後の信号を、低解像度の画素の座標(XL,YL)の各々の出力信号として、低解像度ヒストグラム処理部70に出力する。
【0048】
続くステップS105において、低解像度ヒストグラム処理部70の反射光判定部74は、ビニング処理部60から受信した信号の各々に対し、反射光14を判定可能な状態であるか否かの判定を行う。判定の結果、反射光の判定可能な状態である場合(ステップS105の「YES」)には、ステップS108へと移行する。判定の結果、反射光の判定可能な状態でない場合(ステップS105の「NO」)には、ステップS106へと移行する。なお、本明細書では、反射光の判定可能な状態ではない期間を第1期間、反射光の判定可能な状態である期間を第2期間と呼ぶことがある。
【0049】
ステップS106では、低解像度ヒストグラム処理部70のデータ蓄積部72において、時間カウント部20から取得した時間カウント値に基づいて、低解像度ヒストグラムにおける受光時間のビンを算出する。なお、データ蓄積部72は、3次元配列の蓄積領域を備えており、低解像度の座標(XL,YL)とビンの各々の組み合わせに対して受光カウント値を蓄積し得る。
【0050】
続くステップS107において、データ蓄積部72は、ステップS106において算出した低解像度ヒストグラムにおける受光時刻のビンの受光カウント値を1増加する。ステップS107の処理後は、ステップS111へと移行する。
【0051】
ステップS108では、反射光判定部74において、低解像度の座標(XL,YL)の信号が反射光によるものであるか否かの判定を行う。その結果、反射光と判定された場合(ステップS108における「YES」)には、ステップS109へと移行する。反射光ではないと判定された場合(ステップS108における「NO」)には、ステップS111へと移行する。
【0052】
ステップS109では、距離算出部50のデータ蓄積部52において、座標(X,Y)の画素からの信号の各々に対応して、時間カウント部20から取得した時間カウント値に基づいて受光時刻のビンを算出する。
【0053】
続くS110において、データ蓄積部52は、ステップS109において取得した受光時刻のビンに対して反射光である可能性が高い距離の状態を更新する状態更新処理を行う。なお、状態更新処理の詳細については後述する。状態更新処理の後は、ステップS111へと移行する。
【0054】
ステップS111では、時間カウント値がショット期間SPの終期に対応する最終値に達したか否かの判定を行う。判定の結果、時間カウント値が最終値に達していない場合(ステップS111の「NO」)には、ステップS103へと戻り、当該ショット期間SPを継続する。判定の結果、時間カウント値が最終値に達している場合(ステップS111の「YES」)には、ステップS112へと移行する。
【0055】
ステップS112では、当該ショット期間SPが当該フレーム期間FPにおける最後のショット期間SPMであるか否かの判定を行う。判定の結果、当該ショット期間SPが当該フレーム期間FPにおける最後のショット期間SPMではない場合(ステップS112の「NO」)には、ステップS102へと戻り、当該フレーム期間FPの次のショット期間SPを開始する。判定の結果、当該ショット期間SPが当該フレーム期間FPの最後のショット期間SPMである場合(ステップS112の「YES」)には、ステップS113へと移行する。
【0056】
ステップS113では、反射光判定部54において、距離情報を出力するか否かの判定を行う距離出力判定処理を行う。具体的には、ビニング処理後の各座標(Xi,Yi)の信号の中に反射光を含むものがあるか否かの判定を行う。判定の結果、反射光が含まれている場合は距離算出部50におけるビンから距離を算出して出力部80へと出力する。判定の結果、反射光が含まれていない場合は、距離測定ができる物体が存在しないことを示す情報を出力部80へと出力する。
【0057】
ステップS110の状態更新処理は、例えば図6に示すフローチャートのステップS301~ステップS304に従って実施され得る。ステップS110は、距離算出部50のデータ蓄積部52において、座標(X,Y)の各々の信号に対応して実行される。
【0058】
まず、ステップS301において、図8に示すデータ蓄積部52の各エントリのビンの中に、ステップS109で算出した受光時刻のビンと同じものがあるか否かの判定を行う。判定の結果、ステップS109で算出した受光時刻のビンと同じものがある場合(ステップS301の「YES」)には、ステップS304へと移行する。ステップS109で算出した受光時刻のビンと同じものがない場合(ステップS301の「NO」)には、ステップS302へと移行する。
【0059】
ステップS302では、全エントリの中で頻度が低いエントリを置き換え対象として選択する。置き換え対象には、最も頻度の低いエントリを選択してもよいし、頻度が少ないエントリほど置き換えの確率が高くなるように設定して乱数を用いて選択してもよい。置き換え対象のエントリが同一条件で複数存在する場合はランダムに選択してもよいし、置き換え対象のエントリが偏らないように置き換えのたびにエントリ番号を1増加する循環カウンタを用い、カウント値に近い値のエントリを置き換え対象に選択してもよい。
【0060】
続くステップS303において、ステップS302で選択した置き換え対象のエントリのビンをステップS109で算出した受光時刻のビンに設定し、また、そのエントリの頻度を1に設定し、状態更新処理を終了する。
【0061】
ステップS304では、ステップS109で算出した受光時刻のビンと等しいビンのエントリの頻度を1増加し、状態更新処理を終了する。
【0062】
このようにして状態更新処理を繰り返し行うことにより、対象物からの反射光による信号を含む可能性があると判定された回数が多いビンほど、その頻度の値が大きくなる。
【0063】
ステップS113の距離出力判定処理は、例えば図7に示すフローチャートのステップS401~ステップS403に従って実施され得る。ステップS113は、距離算出部50の反射光判定部54において、座標(Xi,Yi)の各々の信号に対して実行される。
【0064】
まず、ステップS401において、図8に示すデータ蓄積部52のエントリの中から頻度が最も高いエントリを抽出し、その頻度が所定の閾値以上であるか否かの判定を行う。判定の結果、頻度が閾値以上である場合(ステップS401の「YES」)には、ステップS402へと移行する。頻度が閾値未満である場合(ステップS401の「NO」)には、ステップS403へと移行する。判定に用いる閾値は、例えば、低輝度ヒストグラムにおいて反射光と判定されなかった頻度の最大値や平均値に基づいて設定することができる。
【0065】
ステップS402では、データ蓄積部52のエントリのうち頻度が最も高いエントリが反射光に対応すると判定し、そのエントリのビンを距離に変換して出力する。これにより、距離出力判定処理を終了し、当該フレームの一連の処理を終了する。
【0066】
ステップS403では、データ蓄積部52のエントリの中に反射光に対応するエントリはないと判定して距離が測定できる物体がないことを出力する。これにより、距離出力判定処理を終了し、当該フレームの一連の処理を終了する。
【0067】
このように、図6に示す状態更新処理により低解像度の画素の座標(XL,YL)において反射光であると判定されたときには、受光した座標(X,Y)に対するビンの頻度が大きくなる。そして、頻度が最も高いビンの頻度が所定の閾値以上であるときには反射光と判定され、当該ビンを距離に変換して出力する。
【0068】
このように処理を行うことで、必要なメモリ容量を削減することができる。その理由について、ビンの数が1000(例えば、距離の解像度を10cmとして100mまで測距可能)、1フレーム期間FP当たりのショット期間SPの数を10000回とした場合を例に挙げ、以下に説明する。なお、受光部40の画素数(受光素子42の数)は、上記の例と同様、256画素(縦16個×横16個)であるものとする。
【0069】
ヒストグラム情報の保持に必要なメモリ容量は、画素数×ビン数×ceil(log(ショット数))ビットであり、上記の例では(16×16×1000×14=3584000)ビットである。ここで、ceil(x)関数は、x以上の最小の整数を返す関数である。
【0070】
これに対し、本実施形態では、低解像度ヒストグラム情報の保持に必要なメモリ容量は、(画素数/(X方向のビニング数)/(Y方向のビニング数)×ビン数×ceil(log(ショット数)))となる。上記の例では、(16×16/4/4×1000×14=224000)ビットである。画素毎に必要なメモリ容量は(4エントリ×(ceil(log(ビン数))+ceil(log(ショット数))))ビットであり、全画素では(16×16×4×(10+14)=24576)ビットである。合計すると248576ビットとなり、通常の場合の3584000ビット数よりも大幅に小さくすることができる。
【0071】
このように、本実施形態によれば、距離測定精度及び解像度を維持しつつ必要となるメモリ容量を削減することができる。
【0072】
[第2実施形態]
本発明の第2実施形態による測距装置及び測距方法について、図9乃至図18を用いて説明する。第1実施形態による測距装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図9乃至図11は、本実施形態による測距装置の動作を示すフローチャートである。図12は、本実施形態による測距装置において距離算出部のデータ蓄積部が保持するエントリの構成例を示す図である。図13は、着目している画素と周辺画素との位置関係を説明する図である。図14図16図17及び図18は、本実施形態による測距装置の動作例を示す図である。図15は、第1期間において取得した低解像度ヒストグラムの一例及び第2期間において取得した環境光の低解像度ヒストグラムの一例を示す図である。
【0073】
本実施形態による測距装置は、距離算出部50における処理が異なるほかは、第1実施形態による測距装置と同様である。本実施形態では、第1実施形態による測距装置と異なる点を中心に説明し、第1実施形態による測距装置と同様の点については適宜説明を省略する。
【0074】
一般的に、ある画素のデータとその画素の周辺の画素のデータとの間には空間的な相関関係がある。本実施形態では、この性質を利用してデータ蓄積部52のメモリ容量を減らしている。本実施形態では、データ蓄積部52はある画素のデータを更新する際に、その画素の周辺の画素のデータを参照する。また、反射光判定部54においてある画素に対する反射光判定を行う際にも、その画素の周辺の画素のデータを参照する。
【0075】
本実施形態では説明を簡単にするために、データ蓄積部52は、図12に示すように、画素ごとに1つのエントリを含むものとする。当該1つのエントリは、ビンと、当該ビンに対応する頻度と、を保持するためのデータ領域を含む。画素ごとにエントリは1つのため、当該エントリにはエントリインデックスとして0の番号が付されている。また、距離算出部50のデータ蓄積部52では、着目している画素の頻度に、その周囲の8画素の受光時刻のビンの-1から+1までの範囲のエントリの頻度を重み付けして合算し、合計の頻度をもとに更新確率を算出するものとする。なお、エントリ数、周辺画素数、頻度を合計する受光時刻のビンの範囲、更新確率は任意であり、使用状況に合わせて適宜変更することが可能である。また、本実施形態では、ビンの範囲は0から999とし、ビン999は光を反射させる物体がないことを表すものとする。
【0076】
本実施形態において、ステップS101の初期化処理では、例えば図9のステップS211に示されるように、各々の画素のエントリのビンの値が999、頻度の値が0(登録なし)に、初期化される。
【0077】
ステップS110の状態更新処理は、例えば図10に示すフローチャートのステップS311~ステップS316に従って実施され得る。ステップS110は、距離算出部50のデータ蓄積部52において、座標(X,Y)の各々の信号に対して実行される。
【0078】
まず、ステップS311において、図12に示すデータ蓄積部52の各エントリのビンについて、ステップS109で算出したビンと同じものがあるか否かの判定を行う。判定の結果、ステップS109で算出したビンと同じものがある場合(ステップS311の「YES」)には、ステップS316へと移行する。ステップS109で算出したビンと同じものがない場合(ステップS311の「NO」)には、ステップS312へと移行する。
【0079】
ステップS312では、着目している画素の頻度と、ビンの値に応じた重み付けを加えた周辺画素の頻度とを合計する。例えば、着目している画素とビンの値が同じ周辺画素については、着目している画素の頻度に(頻度×1/4)の値を加算する。ビンの値が着目している画素のビンの値±1である周辺画素については、着目している画素の頻度に(頻度×1/16)の値を加算する。
【0080】
例えば図13に示すように、座標(x-1,y-1)から座標(x+1,y+1)に計9個の受光素子42が2次元状に配列されており、着目している画素が座標(x,y)の受光素子42であるものとする。この場合、周辺画素は、当該9個の画素のうち、着目している座標(x,y)の画素を除く他の8個の画素(受光素子42)であり得る。これら画素の頻度を加算した値が大きいということは、着目している画素の検出範囲にある対象物と周辺画素の検出範囲にある対象物との距離が近いことを示しており、当該ビンは対象物の正しい距離を表している可能性が高いと考えられる。
【0081】
続くステップS313では、頻度に対する更新確率を算出する。前述のように、画素の頻度を加算した値が大きいほど対象物の正しい距離を表している可能性が高いため、頻度に対する更新確率を求める際には、加算した値が大きいときは更新確率を小さく、加算した値が小さいときは更新確率を大きくするのがよい。例えば、加算した値が1以下のときは更新確率を1/2に設定し、加算した値が1を超えて4以下のときは更新確率を1/4に設定する。また、加算した値が4を超えて16以下のときは更新確率を1/16に設定し、加算した値が16を超えて32以下のときは更新確率を1/32に設定する。本実施形態では各画素に対応するエントリ数を少なくしているため、ビンの更新は確率的に行うように構成している。
【0082】
続くステップS314では、ステップS313で算出した更新確率が乱数値(ここでは0から1の範囲とする)以下であるか否かの判定を行う。判定の結果、乱数値が更新確率以上である場合(ステップS314の「YES」)には、エントリを更新せずに状態更新処理を終了する。乱数値が更新確率未満である場合(ステップS314の「NO」)には、ステップS315へと移行する。
【0083】
ステップS315では、ビンを受光時刻のビンに設定、頻度を1に設定し、状態更新処理を終了する。
【0084】
ステップS316では、ステップS109で算出した受光時刻のビンとビンが同じのエントリの頻度を1増加し、状態更新処理を終了する。
【0085】
ステップS113の距離出力判定処理は、例えば図11に示すフローチャートのステップS411~ステップS413に従って実施され得る。ステップS113は、距離算出部50の反射光判定部54において、座標(Xi,Yi)の各々の信号に対して実行される。
【0086】
まず、ステップS411において、図12に示すデータ蓄積部52のエントリにおける頻度の値が所定の閾値以上であるか否かの判定を行う。判定の結果、頻度の値が閾値以上である場合(ステップS411の「YES」)には、ステップS412へと移行する。頻度の値が閾値未満である場合(ステップS411の「NO」)には、ステップS413へと移行する。なお、頻度の判定の際には、ステップS312と同様の手法により注目している画素の頻度に所定の重み付けをした周辺画素の頻度を加算したものを用いてもよい。
【0087】
ステップS412では、当該エントリが反射光に対応するものであると判定し、当該エントリのビンを距離に変換して出力する。これにより、距離出力判定処理を終了し、当該フレームの一連の処理を終了する。
【0088】
ステップS413では、当該エントリが反射光に対応するものではないと判定し、距離が測定できる物体がないことを出力する。これにより、距離出力判定処理を終了し、当該フレームの一連の処理を終了する。
【0089】
このように、図10に示す状態更新処理により低解像度の画素の座標(XL,YL)において反射光であると判定されたときには、受光した座標(X,Y)に対するビンの頻度が大きくなる。そして、頻度が所定の閾値以上であるときには反射光と判定され、当該ビンを距離に変換して出力する。
【0090】
次に、ステップS110における動作の具体例について、図14乃至図18を用いて説明する。なお、ここでは説明を簡単にするために、低解像度ヒストグラムにおけるビンと距離算出部50における受光時間のビンとは同じであるものとする。
【0091】
図14は、座標(0,0)から座標(4,4)までの画素(受光素子42)において検知された物体までの距離を、距離算出部50における受光時刻のビンの値で表している。これら画素のうち、座標(0,0)から座標(3,3)までの16個の画素(図14中、太線で囲まれている画素)が、1つの低解像度の画素(座標(XL,YL)=(0,0))に含まれる。
【0092】
図15(a)は、低解像度の画素(座標(XL,YL)=(0,0))における低解像度ヒストグラムであり、ある1フレームにおいて反射光の判定が可能な状態になるまでに当該画素が受けた光(反射光と環境光の合計)の頻度分布の一例を示している。この例では、時間カウント値30,40,100,110,120に対応するビンにおいて頻度が閾値以上になっている。そのため、低解像度ヒストグラムでは、時間カウント値30,40,100,120に対応するビンにおいて反射光と判定され、受光した画素の座標(X,Y)に対応する距離算出部50が動作する。
【0093】
図15(b)は、低解像度の画素(座標(XL,YL)=(0,0))における低解像度ヒストグラムであり、ある1フレームにおいて反射光の判定が可能な状態になった後に反射光ありと判定して出力した際の環境光の頻度分布の一例を示している。この例では、時間カウント値30,40,100,110,120に対応するビンにおいて、環境光が反射光として検知される。
【0094】
図16は、座標(0,0)から座標(4,4)までの画素(受光素子42)におけるある時点でのビンと頻度とを示している。各座標に記載された2つの数値は、上段がビンの値を示し、下段が頻度の値を示している。また、ビンが環境光のもので図14のビンとは異なるものには、ビンの値の右側に▲の印を付している。
【0095】
この時点において、座標(1,2)の画素において光が検出され、距離算出部50における受光時刻のビンが30であったものとする。ステップS311において受光時刻のビンと同じビンのエントリがあるか否かの判定が行われると、座標(1,2)の画素のエントリのビンは120であるので、処理はステップS312ヘと移行する。ステップS312では、注目している座標(1,2)の画素の頻度の値に対し、ビンの値が近い周辺画素の頻度の重み付け加算が行われる。この例では、周囲の画素の中に、ビンの値が同じで頻度が1の画素が2個あり、ビンの値が-1又は+1の画素はないため、例えば上述のルールに従い1+(1+1)×1/4+0×1/8の演算がなされ、頻度の値は1.5となる。ステップS313では、頻度に対する更新確率が1/4と算出される。ステップS314では、更新確率の1/4と0以上1未満の乱数値とが比較される。乱数値は0.81で状態更新確率よりも大きいため、ビン及び頻度は変更せずに状態更新を終了する。
【0096】
図17は、座標(0,0)から座標(4,4)までの画素(受光素子42)におけるその後のある時点でのビンと頻度とを示している。
【0097】
この時点において、座標(1,2)の画素において光が検出され、距離算出部50における受光時刻のビンが30であったものとする。ステップS311において受光時刻のビンと同じビンのエントリがあるか否かの判定が行われると、座標(1,2)の画素のエントリのビンは120であるので、処理はステップS312ヘと移行する。ステップS312では、注目している座標(1,2)の画素の頻度の値に対し、ビンの値が近い周辺画素の頻度の重み付け加算が行われる。この例では、周囲の画素の中に、ビンの値が同じで頻度が1の画素が1個、頻度が2の画素が2個あり、ビンの値が-1又は+1の画素はないため、例えば上述のルールに従い1+(2+2+1)×1/4+0×1/8の演算がなされ、頻度の値は2.25となる。ステップS313では、頻度に対する更新確率が1/4と算出される。ステップS314では、更新確率の1/4と0以上1未満の乱数値とが比較される。乱数値は0.12で状態更新確率よりも小さいためステップS315へと移行し、ビンを受光時刻のビンである30に、頻度を1に、それぞれ設定し、状態更新を終了する。
【0098】
図18は、座標(0,0)から座標(4,4)までの画素(受光素子42)における状態更新後のビンと頻度とを示している。座標(1,2)のビンの値は、図14の値と同じになることが判る。
【0099】
このように処理を行うことで、必要なメモリ容量を削減することができる。その理由について、ビンの数が1000(例えば、距離の解像度を10cmとして100mまで測距可能)、1フレーム期間FP当たりのショット期間SPの数を10000回とした場合を例に挙げ、以下に説明する。なお、受光部40の画素数(受光素子42の数)は、上記の例と同様、256画素(縦16個×横16個)であるものとする。
【0100】
本実施形態において、低解像度ヒストグラム情報の保持に必要なメモリ容量は、第1実施形態と同様、224000ビットである。画素毎に必要なメモリ容量は(ceil(log(ビン数))+ceil(log(ショット数)))ビットであり、全画素では((16×16×(10+14))=6144)ビットである。合計すると230144ビットとなり、通常の3584000ビット数よりも大幅に小さくすることができる。
【0101】
このように、本実施形態によれば、距離測定精度及び解像度を維持しつつ必要となるメモリ容量を削減することができる。
【0102】
[第3実施形態]
本発明の第3実施形態による測距装置及び測距方法について説明する。第1又は第2実施形態による測距装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
【0103】
本実施形態による測距装置は、低解像度ヒストグラム処理部70の反射光判定部74における処理が異なるほかは、第1実施形態による測距装置と同様である。本実施形態では、第1実施形態による測距装置と異なる点を中心に説明し、第1実施形態による測距装置と同様の点については適宜説明を省略する。
【0104】
第1及び第2実施形態では、低解像度ヒストグラム処理部70のデータ蓄積部72において生成した低解像度のヒストグラム情報に基づき、反射光判定部74において反射光の判定を行う。しかしながら、測定環境によっては必ずしも環境光と反射光との差を十分に確保することができず、反射光を判定できない場合も起こり得る。本実施形態では、このような場合における対処方法の一例を説明する。
【0105】
前述のように、画素ビニング処理を行うことにより解像度は低下するが、反射光の受光確率は増加する。このような観点から本実施形態においては、ビニング処理部60において生成されたデータに基づくヒストグラム情報では反射光の判定が困難な場合に、反射光判定部74においてより解像度の低いヒストグラム情報を生成する。そして、このより解像度の低いヒストグラム情報を用い、例えば第1実施形態と同様の方法を用いて反射光の判定を行う。このようにすることで、反射光と環境光との判別をより容易に行うことができる。例えば、低解像度ヒストグラムの生成に用いた画素ブロックを各々が少なくとも2つ含む複数の画素ブロック群に対応する複数の信号に基づき、より解像度の低いヒストグラム情報を生成することができる。
【0106】
このように、本実施形態によれば、距離測定精度及び解像度を維持しつつ必要となるメモリ容量を削減することができる。
【0107】
[第4実施形態]
本発明の第4実施形態による測距装置及び測距方法について、図19を用いて説明する。第1又は第2実施形態による測距装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図19は、本実施形態による測距装置におけるデータ蓄積部のデータ領域の構成例を示す図である。
【0108】
本実施形態による測距装置は、低解像度ヒストグラム処理部70のデータ蓄積部72と距離算出部50のデータ蓄積部52とが記憶装置を共用しているほかは、第1実施形態による測距装置と同様である。本実施形態では、第1実施形態による測距装置と異なる点を中心に説明し、第1実施形態による測距装置と同様の点については適宜説明を省略する。なお、本実施形態では距離算出部50のデータ蓄積部52が低解像度ヒストグラム処理部70のデータ蓄積部72の記憶部を利用する形態を説明するが、他の機能ブロックが記憶装置を備える形態であっても構わない。
【0109】
本実施形態では説明の便宜上、1フレーム期間FP当たりのショット期間SPの数を10000(頻度の最大値=10000)、1ショット期間SP当たりのビンの数を1000とする。また、ビニング処理部60でビニングする画素数を16(横4画素×縦4画素)、データ蓄積部52におけるエントリの数を4とする。ただし、これらは任意に変更が可能である。
【0110】
測距装置が測距処理を行う過程において保持されるデータには、図19に示されるように、低解像度ヒストグラムの頻度データ92と、ビニングする座標範囲のエントリのデータ94と、反射光判定用の低解像度ヒストグラムのビンのデータ96と、が含まれる。第1実施形態では、これらのうち、低解像度ヒストグラムの頻度データ92を低解像度ヒストグラム処理部70のデータ蓄積部72で保持している。また、ビニングする座標範囲のエントリのデータ94と反射光判定用の低解像度ヒストグラムのビンのデータ96とを、距離算出部50のデータ蓄積部52で保持している。
【0111】
これに対し、本実施形態では、これらデータを、低解像度ヒストグラム処理部70のデータ蓄積部72で保持する。そして、低解像度ヒストグラムの頻度データ92を保持するデータ領域とビニングする座標範囲のエントリのデータ94を保持するデータ領域とを共用することでメモリ容量の削減を図っている。別の言い方をすると、低解像度ヒストグラムの頻度データ92を保持するデータ領域とビニングする座標範囲のエントリのデータ94を保持するデータ領域とは、少なくとも一部が重複している。このように構成する場合、低解像度ヒストグラムの頻度データ92及びビニングする座標範囲のエントリのデータ94のうちのどちらか一方しかデータ蓄積部72に保持できないため、本実施形態では以下のような処理を行う。
【0112】
低解像度ヒストグラム処理部70の反射光判定部74が反射光判定可能な状態ではないとき、低解像度ヒストグラム処理部70は、データ蓄積部72に保持された低解像度ヒストグラムの頻度データ92を用いて低解像度ヒストグラムを更新する。低解像度ヒストグラム処理部70が低解像度ヒストグラムの頻度データを更新する際は、ステップS106で算出した低解像度ヒストグラムのビンに対し、ステップS107において受光カウント値を頻度として累算していく。低解像度ヒストグラムの頻度データはビン数が1000であるため、ビン0の頻度からビン999の頻度まで1000個の頻度を保存することができる。このとき距離算出部50は停止状態にあり、距離算出部50はビニングする座標範囲のエントリのデータ94を使用しない。つまり、低解像度ヒストグラム処理部70のデータ蓄積部72は、低解像度ヒストグラムの頻度データ92の保持に使用することができる。
【0113】
反射光判定部74は、反射光判定可能ではない状態から反射光判定可能な状態に遷移すると、データ蓄積部72が保持するデータを、低解像度ヒストグラムの頻度データ92から、反射光判定用の低解像度ヒストグラムのビンのデータ96に変換する。生成された反射光判定用の低解像度ヒストグラムのビンのデータ96は、データ蓄積部72に保持される。この変換処理では、低解像度ヒストグラムの頻度データ92の中から、反射光判定用の低解像度ヒストグラムのビンとして頻度が閾値以上でかつ頻度が上位からk番目までのビンの値を抽出する。なお、図19の例ではkの値を16(ビニングする画素数)としている。反射光判定部74は、反射光判定用の低解像度ヒストグラムのビンのデータ96さえあれば、低解像度ヒストグラムの頻度データ92が揃っていなくても反射光判定を行うことが可能である。
【0114】
反射光判定可能な状態のときは、ビニングする座標範囲のエントリのデータ94と反射光判定用の低解像度ヒストグラムのビンのデータ96とが有効となる。反射光判定部74は、反射光判定用の低解像度ヒストグラムのビンのデータ96を用いて反射光判定を行う。距離算出部50は、ステップS109においてビニングする座標範囲のエントリのデータ94を用いて受光時刻のビンを算出し、ステップS110において状態更新処理を行う。
【0115】
ビニングする画素数が16(横4画素×縦4画素)の場合、ビニングする座標範囲のエントリのデータ94としてデータ蓄積部72が保持するデータには、座標(0,0)から座標(3,3)までの16画素分のデータが含まれる。各々の画素のデータは、4つのエントリを含む。1つのエントリは、ビンと頻度とにより構成されている。つまり、ビニングする座標範囲のエントリのデータとして、データ蓄積部52は128のデータを含む。
【0116】
上記の例において、ビニングする座標範囲のエントリの1データは、低解像度ヒストグラムの頻度データの1データに対応している。また、ビニングする座標範囲のエントリのデータ数は、低解像度ヒストグラムの頻度データのデータ数よりも少ない。したがって、この例では、低解像度ヒストグラムの頻度データのビン128の頻度からビン999の頻度に対応するデータ領域は、ビニングする座標範囲のエントリのデータ領域としては使用されない。
【0117】
このように、本実施形態によれば、距離測定精度及び解像度を維持しつつ必要となるメモリ容量を削減することができる。
【0118】
[第5実施形態]
本発明の第5実施形態による移動体について、図20を用いて説明する。図20は、本実施形態による移動体の構成例を示す図である。
【0119】
図20(a)は、車載カメラとして車両に搭載される機器の構成例を示している。機器300は、対象物までの距離を計測する距離計測部303と、距離計測部303により計測された距離に基づいて衝突可能性があるか否かを判定する衝突判定部304と、を有する。距離計測部303は、上記第1乃至第4実施形態のいずれかにおいて説明した測距装置100により構成される。ここで、距離計測部303は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、対象物までの距離等に関する情報である。
【0120】
機器300は、車両情報取得装置310と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、機器300には、衝突判定部304での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ECU320が接続されている。また、機器300は、衝突判定部304での判定結果に基づいて、ドライバーへ警報を発する警報装置330とも接続されている。例えば、衝突判定部304の判定結果として衝突可能性が高い場合、制御ECU320はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置330は音等の警報を鳴らす、カーナビゲーションシステム等の画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。機器300のこれらの装置は上述のように車両を制御する動作の制御を行う移動体制御部として機能する。
【0121】
本実施形態では車両の周囲、例えば前方又は後方を機器300で測距する。図20(b)は、車両前方(測距範囲350)を測距する場合の機器を示している。測距制御手段としての車両情報取得装置310が、測距動作を行うように機器300又は距離計測部303に指示を送る。このような構成により、測距の精度をより向上させることができる。
【0122】
上述では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、機器は、自動車等の車両に限らず、例えば、船舶、航空機、人工衛星、産業用ロボット及び民生用ロボット等の移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)、監視システム等、広く物体認識又は生体認識を利用する機器に適用することができる。
【0123】
[変形実施形態]
本発明は、上記実施形態に限らず種々の変形が可能である。
【0124】
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
【0125】
また、上記実施形態では、発光部10及び受光部40を測距装置100の構成要素の一部として説明したが、発光部10及び受光部40のうちの少なくとも一方は必ずしも測距装置100の構成の一部である必要はない。
【0126】
また、上記実施形態では測距装置について説明したが、上記実施形態で説明したアルゴリズムは、受光部40から出力された信号を処理するための情報処理装置に適用することも可能である。この場合、信号が入力される入力部、距離算出部50、ビニング処理部60、低解像度ヒストグラム処理部70及び出力部80により、情報処理装置を構成することができる。当該情報処理装置は、プロセッサ(例えば、CPUやMPU)を含むパソコンなどの装置であり得る。或いは、当該情報処理装置は、信号が入力される入力部、距離算出部50、ビニング処理部60、低解像度ヒストグラム処理部70及び出力部80の機能を実現するASICのような回路であり得る。
【0127】
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0128】
なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【0129】
上記実施形態の開示は、以下の構成及び方法を含む。
(構成1)
発光部から発せられ測定対象領域にある対象物によって反射されたパルス光を検出する複数の画素を有する受光部と、
各々が少なくとも1つの前記画素を含む複数の単位領域から出力される複数の信号を、各々が少なくとも2つの単位領域を含む複数の画素ブロックに対応する複数の信号に変換するビニング処理部と、
前記ビニング処理部から出力される前記複数の信号に基づき、前記パルス光が射出されてから前記受光部で検出されるまでの時間に応じて定められた階級と前記パルス光を検出した回数を示す度数との関係を表す情報を前記画素ブロックごとに蓄積するデータ蓄積部と、
前記複数の単位領域の各々に対し、前記対象物からの反射光による信号を含む階級の候補を前記情報から抽出する反射光判定部と、
前記複数の単位領域の各々に対応する前記対象物までの距離を、前記候補に基づいてそれぞれ算出する距離算出部と
を有することを特徴とする測距装置。
(構成2)
前記データ蓄積部は、1フレーム期間のうちの第1期間に、複数回の前記パルス光の発光に応じて前記ビニング処理部から複数回にわたって出力されるパルス信号を前記階級ごとに計数することにより前記情報を生成し、
前記反射光判定部は、前記1フレーム期間のうちの前記第1期間の後の第2期間に、複数回の前記パルス光の発光に応じて前記複数の単位領域から複数回にわたって出力されるパルス信号に基づき、前記候補を抽出する
ことを特徴とする構成1記載の測距装置。
(構成3)
前記反射光判定部は、
前記複数の単位領域のうちの少なくとも1つの単位領域が光を検出した場合に、前記1つの単位領域を含む画素ブロックの出力信号が前記対象物からの反射光による信号を含む可能性があるか否かを判定する第1判定部と、
前記1つの単位領域の出力信号が前記対象物からの反射光による信号を含む可能性があるか否かを判定する第2判定部と、を有し、
前記第1判定部及び前記第2判定部の両方において前記対象物からの反射光による信号を含む可能性があると判定された場合に、前記1つの単位領域が光を検出したタイミングに対応する階級を前記1つの単位領域に対応する前記候補として抽出する
ことを特徴とする構成1又は2記載の測距装置。
(構成4)
前記第1判定部及び前記第2判定部は、前記1つの単位領域が光を検出したタイミングに対応する階級が、前記情報を構成する階級のうち度数が所定の閾値以上である階級に該当する場合に、前記出力信号が前記対象物からの反射光による信号を含む可能性があると判定する
ことを特徴とする構成3記載の測距装置。
(構成5)
前記距離算出部は、
前記候補について、前記第2判定部において前記対象物からの反射光による信号を含む可能性があると判定された回数をカウントし、
前記候補のうち前記回数が最も多い階級のカウント値が所定の閾値を超えている場合に、前記回数が最も多い階級に対応する距離を、前記1つの単位領域における前記対象物までの距離として算出する
ことを特徴とする構成3又は4記載の測距装置。
(構成6)
前記距離算出部は、前記1つの単位領域が光を検出したタイミングに対応する階級が前記候補に含まれていない場合に、前記1つの単位領域が光を検出したタイミングに対応する階級を前記候補に追加する
ことを特徴とする構成5記載の測距装置。
(構成7)
前記距離算出部は、前記1つの単位領域が光を検出したタイミングに対応する階級が前記候補に含まれていない場合に、前記1つの単位領域及びその周辺の単位領域の前記カウント値に応じた更新確率で、前記1つの単位領域が光を検出したタイミングに対応する階級を前記候補として選択する
ことを特徴とする構成5記載の測距装置。
(構成8)
前記データ蓄積部は、前記複数の画素ブロックから出力される複数の信号を、各々が少なくとも2つの画素ブロックを含む複数の画素ブロック群に対応する複数の信号に基づき、前記情報を前記画素ブロック群ごとに蓄積する
ことを特徴とする構成1乃至7のいずれかに記載の測距装置。
(構成9)
前記データ蓄積部は、前記複数の単位領域の各々に対応して、前記情報を保持するための第1データ領域と、その単位領域を含む前記画素ブロックを構成する各々の単位領域における前記候補とその度数を保持するための第2データ領域とを含み、前記第1データ領域と前記第2データ領域とは少なくとも一部が重複している
ことを特徴とする構成1乃至8のいずれかに記載の測距装置。
(構成10)
前記複数の単位領域の各々は、1つの画素を含む
ことを特徴とする構成1乃至9のいずれかに記載の測距装置。
(構成11)
前記受光部から出力される信号の空間的な分解能を変換する変換部を更に有し、
前記変換部は、前記複数の画素から出力される前記複数の信号を、前記複数の単位領域に対応する前記複数の信号に変換する
ことを特徴とする構成請求項1乃至9のいずれかに記載の測距装置。
(構成12)
前記複数の単位領域の各々は、2つ以上の第1の数の前記画素を含み、
前記画素ブロックの各々は、前記第1の数よりも多い第2の数の前記画素を含む
ことを特徴とする構成11記載の測距装置。
(構成13)
発光部から発せられ測定対象領域にある対象物によって反射されたパルス光を検出する複数の画素を有する受光部と、
前記複数の画素から出力される複数の第1信号を、空間的な分解能が前記複数の第1信号よりも低い複数の第2信号に変換するビニング処理部と、
前記ビニング処理部から出力される前記複数の第2信号に基づき、前記パルス光が射出されてから前記受光部で検出されるまでの時間に応じて定められた階級と前記パルス光を検出した回数を示す度数との関係を表す情報を、前記複数の第2信号に対応する複数の第1単位領域ごとに蓄積するデータ蓄積部と、
前記複数の第2信号よりも空間的な分解能が高い複数の信号に対応する複数の第2単位領域の各々に対し、前記対象物からの反射光による信号を含む階級の候補を前記情報から抽出する反射光判定部と、
前記複数の第2単位領域の各々に対応する前記対象物までの距離を、前記候補に基づいてそれぞれ算出する距離算出部と
を有することを特徴とする測距装置。
(構成14)
前記複数の第2信号よりも空間的な分解能が高い前記複数の信号は、前記複数の第1信号であり、
前記複数の第2単位領域は、前記複数の画素である
ことを特徴とする構成13記載の測距装置。
(構成15)
前記複数の第2信号よりも空間的な分解能が高い前記複数の信号は、空間的な分解能が前記複数の第2信号よりも高く前記複数の第1信号とは異なる複数の第3信号である
ことを特徴とする構成13記載の測距装置。
(構成16)
発光部から発せられ測定対象領域にある対象物によって反射されたパルス光を検出する複数の画素が出力する信号が入力される入力部と、
各々が少なくとも1つの前記画素を含む複数の単位領域から出力される複数の信号を、各々が少なくとも2つの単位領域を含む複数の画素ブロックに対応する複数の信号に変換するビニング処理部と、
前記ビニング処理部から出力される前記複数の信号に基づき、前記パルス光が射出されてから検出されるまでの時間に応じて定められた階級と前記パルス光を検出した回数を示す度数との関係を表す情報を前記画素ブロックごとに蓄積するデータ蓄積部と、
前記複数の単位領域の各々に対し、前記対象物からの反射光による信号を含む階級の候補を前記情報から抽出する反射光判定部と、
前記複数の単位領域の各々に対応する前記対象物までの距離を、前記候補に基づいてそれぞれ算出する距離算出部と
を有することを特徴とする情報処理装置。
(構成17)
移動体であって、
構成1乃至15のいずれかに記載の距離情報取得装置と、
前記距離情報取得装置が取得した距離情報に基づいて前記移動体を制御する制御手段と
を有することを特徴とする移動体。
(方法1)
発光部から発せられ測定対象領域にある対象物によって反射されたパルス光を複数の画素により検出し、前記複数の画素が検出した信号に基づいて前記対象物までの距離を算出する測距方法であって、
各々が少なくとも1つの前記画素を含む複数の単位領域から出力される複数の信号を、各々が少なくとも2つの単位領域を含む複数の画素ブロックに対応する複数の信号に変換し、
前記画素ブロックに対応する前記複数の信号に基づき、前記パルス光が射出されてから受光部で検出されるまでの時間に応じて定められた階級と前記パルス光を検出した回数を示す度数との関係を表す情報を前記画素ブロックごとに蓄積し、
前記複数の単位領域の各々に対し、前記対象物からの反射光による信号を含む階級の候補を前記情報から抽出し、
前記複数の単位領域の各々に対応する前記対象物までの距離を、前記候補に基づいてそれぞれ算出する
ことを特徴とする測距方法。
【符号の説明】
【0130】
10…発光部
20…時間カウント部
30…制御部
40…受光部
42…受光素子
50…距離算出部
52,72…データ蓄積部
54,74…反射光判定部
60…ビニング処理部
70…低解像度ヒストグラム処理部
80…出力部
100…測距装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20