特開 2023-23989 距離計測システム、距離計測装置、および、距離計測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023023989

(43)【公開日】2023-02-16

(54)【発明の名称】距離計測システム、距離計測装置、および、距離計測方法

(51)【国際特許分類】

   G01C 3/06 20060101AFI20230209BHJP

   G01S 17/894 20200101ALI20230209BHJP

   G01S 7/493 20060101ALI20230209BHJP

【ＦＩ】

G01C3/06 120Q

G01S17/894

G01S7/493

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021129994

(22)【出願日】2021-08-06

(71)【出願人】

【識別番号】501009849

【氏名又は名称】株式会社日立エルジーデータストレージ

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】伊藤 克美

(72)【発明者】

【氏名】泉 克彦

(72)【発明者】

【氏名】杉山 久貴

【テーマコード（参考）】

2F112

5J084

【Ｆターム（参考）】

2F112AD03

2F112BA07

2F112CA12

2F112DA32

2F112EA11

2F112FA03

2F112FA21

2F112FA41

2F112FA43

5J084AA04

5J084AA05

5J084AA13

5J084AB07

5J084AD01

5J084BA02

5J084BA04

5J084BA34

5J084BA40

5J084BB01

5J084CA10

5J084CA53

5J084CA65

5J084CA67

5J084EA04

5J084EA11

(57)【要約】

【課題】
マルチパスの影響を把握し、画素毎の距離に補正を行うことにより、実際の距離との誤差を抑制して距離精度を改善する距離計測システム、距離計測装置、および、距離計測方法を提供する。
【解決手段】
距離計測システムは、距離計測装置と、外部処理装置と、を備えている。ここで、距離計測装置は、照射光を照射するフレームにおいて、複数の露光期間に分けて被写体からの反射光を露光し、各露光期間で露光した電荷量に応じて複数の距離演算式を切り替えて各露光期間で露光した電荷量から被写体までの計測距離を演算する。外部処理装置は、距離計測装置から計測距離を取得してデータ処理を行う。そして、外部処理装置は、マルチパスの影響による距離誤差を含む計測距離を予測する。外部処理装置は、計測距離を補正する補正式を生成する。外部処理装置は、補正式を用いて、距離計測装置から取得する計測距離を補正する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

照射光を照射するフレームにおいて、複数の露光期間に分けて被写体からの反射光を露光し、
各露光期間で露光した電荷量に応じて複数の距離演算式を切り替えて各露光期間で露光した電荷量から被写体までの計測距離を演算する距離計測装置と、
前記距離計測装置から計測距離を取得してデータ処理を行う外部処理装置と、
を備え、
前記外部処理装置は、
マルチパスの影響による距離誤差を含む計測距離を予測し、
計測距離を補正する補正式を生成し、
前記補正式を用いて、前記距離計測装置から取得する計測距離を補正する、
ことを特徴とする距離計測システム。

【請求項2】

請求項１に記載の距離計測システムであって、
前記距離計測装置は、
複数の連続した第１の露光期間と第２の露光期間と第３の露光期間とを有しており、照射光を照射するフレームにおいて、電荷量Ａ_０を計測する前記の第１の露光期間と、電荷量Ａ_１を計測する前記の第２の露光期間と、電荷量Ａ_２を計測する前記の第３の露光期間と、に分けて反射光を露光し、
前記外部処理装置は、
Ａ_０／Ａ_１の値と、Ａ_２／Ａ_１の値と、が一致するときの距離誤差の関係式を求め、
前記の距離誤差の関係式を用いて、マルチパスの影響による距離誤差を求める、
ことを特徴とする距離計測システム。

【請求項3】

請求項２に記載の距離計測システムであって、
前記外部処理装置は、
予測した計測距離に基づいて、前記補正式として、マルチパスの影響が実質的なくなる実際の距離をＬとするときに、実際の距離０から１／２Ｌまでの計測距離を補正する補正式と、実際の距離１／２ＬからＬまでの計測距離を補正する補正式と、を生成する、
ことを特徴とする距離計測システム。

【請求項4】

請求項３に記載の距離計測システムであって、
前記距離計測装置は、
Ａ_０＝Ａ_２のときに切り替わる第１の距離演算式と第２の距離演算式を用いて距離を演算する、
ことを特徴とする距離計測システム。

【請求項5】

請求項１に記載の距離計測システムであって、
前記距離計測装置は、
照射光を照射して反射光を露光するフレームと、照射光を照射しないで環境光を露光するフレームと、に基づく計測を行い、
前記外部処理装置は、
前記補正式を生成するにあたって、各フレームで計測される電荷量の情報を取得し、
照射光を照射しないで環境光を露光するフレームで計測される電荷量を差し引くことで、反射光から環境光による影響を除去する、
ことを特徴とする距離計測システム。

【請求項6】

照射光を照射するフレームにおいて、複数の露光期間に分けて被写体からの反射光を露光し、
各露光期間で露光した電荷量に応じて複数の距離演算式を切り替えて各露光期間で露光した電荷量から被写体までの計測距離を演算する距離計測装置であって、
前記距離計測装置は、
マルチパスの影響による距離誤差を含む計測距離を予測し、
計測距離を補正する補正式を生成し、
前記補正式を用いて、計測した計測距離を補正する、
ことを特徴とする距離計測装置。

【請求項7】

請求項６に記載の距離計測装置であって、
前記距離計測装置は、
複数の連続した第１の露光期間と第２の露光期間と第３の露光期間とを有しており、照射光を照射するフレームにおいて、電荷量Ａ_０を計測する前記の第１の露光期間と、電荷量Ａ_１を計測する前記の第２の露光期間と、電荷量Ａ_２を計測する前記の第３の露光期間と、に分けて反射光を露光し、
Ａ_０／Ａ_１の値と、Ａ_２／Ａ_１の値と、が一致するときの距離誤差の関係式を求め、
前記の距離誤差の関係式を用いて、マルチパスの影響による距離誤差を求める、
ことを特徴とする距離計測装置。

【請求項8】

請求項７に記載の距離計測装置であって、
前記距離計測装置は、
予測した計測距離に基づいて、前記補正式として、マルチパスの影響が実質的なくなる実際の距離をＬとするときに、実際の距離０から１／２Ｌまでの計測距離を補正する補正式と、実際の距離１／２ＬからＬまでの計測距離を補正する補正式と、を生成する、
ことを特徴とする距離計測装置。

【請求項9】

請求項８に記載の距離計測装置であって、
前記距離計測装置は、
Ａ_０＝Ａ_２のときに切り替わる第１の距離演算式と第２の距離演算式を用いて距離を演算する、
ことを特徴とする距離計測装置。

【請求項10】

請求項６に記載の距離計測装置であって、
前記距離計測装置は、
照射光を照射して反射光を露光するフレームと、照射光を照射しないで環境光を露光するフレームと、に基づく計測を行い、
前記補正式を生成するにあたって、照射光を照射しないで環境光を露光するフレームで計測される電荷量を差し引くことで、反射光から環境光による影響を除去する、
ことを特徴とする距離計測装置。

【請求項11】

照射光を照射するフレームにおいて、複数の露光期間に分けて被写体からの反射光を露光し、各露光期間で露光した電荷量に応じて複数の距離演算式を切り替えて各露光期間で露光した電荷量から被写体までの計測距離を演算する距離計測装置を用いた距離計測方法であって、
マルチパスの影響による距離誤差を含む計測距離を予測し、
計測距離を補正する補正式を生成し、
前記補正式を用いて、計測した計測距離を補正する、
ことを特徴とする距離計測方法。

【請求項12】

請求項１１に記載の距離計測方法であって、
複数の連続した第１の露光期間と第２の露光期間と第３の露光期間とを有しており、照射光を照射するフレームにおいて、電荷量Ａ_０を計測する前記の第１の露光期間と、電荷量Ａ_１を計測する前記の第２の露光期間と、電荷量Ａ_２を計測する前記の第３の露光期間と、に分けて反射光を露光し、
Ａ_０／Ａ_１の値と、Ａ_２／Ａ_１の値と、が一致するときの距離誤差の関係式を求め、
前記の距離誤差の関係式を用いて、マルチパスの影響による距離誤差を求める、
ことを特徴とする距離計測方法。

【請求項13】

請求項１２に記載の距離計測方法であって、
予測した計測距離に基づいて、前記補正式として、マルチパスの影響が実質的なくなる実際の距離をＬとするときに、実際の距離０から１／２Ｌまでの計測距離を補正する補正式と、実際の距離１／２ＬからＬまでの計測距離を補正する補正式と、を生成する、
ことを特徴とする距離計測方法。

【請求項14】

請求項１３に記載の距離計測方法であって、
Ａ_０＝Ａ_２のときに切り替わる第１の距離演算式と第２の距離演算式を用いて距離が演算される、
ことを特徴とする距離計測方法。

【請求項15】

請求項１１に記載の距離計測方法であって、
照射光を照射して反射光を露光するフレームと、照射光を照射しないで環境光を露光するフレームと、に基づく計測を行い、
前記補正式を生成するにあたって、照射光を照射しないで環境光を露光するフレームで計測される電荷量を差し引くことで、反射光から環境光による影響を除去する、
ことを特徴とする距離計測方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、距離計測システム、距離計測装置、および、距離計測方法に関する。

【背景技術】

【0002】

従来より、距離計測装置を用いて対象物までの距離を計測するときに、距離誤差が発生する場合があることについて知られている。ここで、特許文献１は、高い検知精度または高い測定精度を有し、かつその精度が環境照度に依存しない３次元の検知、測定、表示、または描写の実現に関する技術を開示する。

【0003】

すなわち、特許文献１は、第一の露光信号による露光量ａ０の総和をＡ０、第二の露光信号による露光量ａ１の総和をＡ１、第三の露光信号による露光量ａ２の総和をＡ２とすると、信号処理部にて、画素毎に、Ａ０とＡ２との大小関係の判定を行い、その判定結果（式２および式４）に従って、式３および式５の演算を行うことにより、被写体までの距離を算出する技術を開示する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開公報第２０１７／１５０２４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

壁、床などに反射率が高い素材が使用された環境で使用する場合、壁、床などからの不要な反射により、光路長が長くなったように見えるマルチパス現象が発生することが一般的に知られている。従って、レーザーから出射した出射光（例えば、赤外線）が対象物に反射し、受光素子に戻ってくるまでの時間を計測することで距離計測を行う場合（すなわち、ＴＯＦとして知られるタイムオブフライトに基づく距離計測を行う場合）、マルチパスの影響を強く受ける環境下では、計測する対象物までの実際の距離に対してＴＯＦによって計測される距離が長くなることで、距離誤差が発生するという課題がある。

【0006】

しかしながら、特許文献１に開示される技術では、このようなマルチパスの影響による距離誤差の発生に関して、十分な対応ができないと考えられた。

【0007】

そこで、本発明は、マルチパスの影響を把握し、画素毎の距離に補正を行うことにより、実際の距離との誤差を抑制して距離精度を改善する距離計測システム、距離計測装置、および、距離計測方法を提供すること目的とする。

【課題を解決するための手段】

【0008】

本発明の第１の態様によれば、下記の距離計測システムが提供される。すなわち、距離計測システムは、距離計測装置と、外部処理装置と、を備える。距離計測装置は、照射光を照射するフレームにおいて、複数の露光期間に分けて被写体からの反射光を露光し、各露光期間で露光した電荷量に応じて複数の距離演算式を切り替えて各露光期間で露光した電荷量から被写体までの計測距離を演算する。外部処理装置は、距離計測装置から計測距離を取得してデータ処理を行う。外部処理装置は、マルチパスの影響による距離誤差を含む計測距離を予測し、計測距離を補正する補正式を生成し、補正式を用いて距離計測装置から取得する計測距離を補正する。

【0009】

本発明の第２の態様によれば、下記の距離計測装置が提供される。すなわち、距離計測装置は、照射光を照射するフレームにおいて、複数の露光期間に分けて被写体からの反射光を露光し、各露光期間で露光した電荷量に応じて複数の距離演算式を切り替えて各露光期間で露光した電荷量から被写体までの計測距離を演算する。そして、距離計測装置は、マルチパスの影響による距離誤差を含む計測距離を予測し、計測距離を補正する補正式を生成し、補正式を用いて計測した計測距離を補正する。

【0010】

本発明の第３の態様によれば、下記の距離計測方法が提供される。すなわち、距離計測方法は、照射光を照射するフレームにおいて、複数の露光期間に分けて被写体からの反射光を露光し、各露光期間で露光した電荷量に応じて複数の距離演算式を切り替えて各露光期間で露光した電荷量から被写体までの計測距離を演算する距離計測装置を用いた方法である。そして、この方法は、マルチパスの影響による距離誤差を含む計測距離を予測し、計測距離を補正する補正式を生成し、補正式を用いて計測した計測距離を補正する。

【発明の効果】

【0011】

本発明によれば、マルチパスの影響を把握し、画素毎の距離に補正を行うことにより、実際の距離との誤差を抑制して距離精度を改善する距離計測システム、距離計測装置、および、距離計測方法を提供することができる。

【図面の簡単な説明】

【0012】

【図1】距離計測システムの構成の一例を示すブロック図。

【図2】ＴＯＦカメラによる距離の計算の一例について説明するための図。

【図3】数式１および数式２を示す図。

【図4】理想状態における計測と、マルチパスの影響を含む計測と、の計測距離の違いについて説明するための図。

【図5】屋内でのマルチパスによる影響の一例について説明するための図。

【図6】補正処理フローの一例を説明するための図。

【図7】電荷量の取得方法の一例について説明するための図。

【図8】理想条件での電荷量の比について説明するための図。

【図9】マルチパスの弱い影響がある場合の電荷量の比について説明するための図。

【図10】マルチパスの強い影響がある場合の電荷量の比について説明するための図。

【図11】距離誤差の関係式を求める方法の一例について説明するための図。

【図12】距離誤差の関係式を求める方法の一例について説明するための図。

【図13】距離誤差の関係式を求める方法の一例について説明するための図。

【図14】１／２Ｌの位置での距離誤差について説明するための図。

【図15】補正式の求め方の一例について説明するための図。

【図16】補正演算の効果の一例について説明するための図。

【図17】本実施形態とは別の方法による補正式の求め方の一例について説明するための図。

【発明を実施するための形態】

【0013】

本実施形態の距離計測システム１について、図面を参照しながら説明する。図１は、距離計測システムの構成の一例を示すブロック図である。

【0014】

図１に示すように、距離計測システム１は、ＴＯＦカメラ１０（図１において、ＴＯＦと記載）と、外部処理装置２０と、を備える。また、ＴＯＦカメラ１０と外部処理装置２０は、インタフェース（不図示）を備え、外部処理装置２０は、ＴＯＦカメラ１０からデータを取得することができる。

【0015】

先ず、ＴＯＦカメラ１０の構成について説明する。ＴＯＦカメラ１０は、いわゆるＴＯＦ（タイムオブフライト）に基づいて距離を測定する装置（距離計測装置）であり、ＴＯＦカメラ１０は、発光部１１と、受光部１２と、発光制御部１３と、距離計算部１４と、画像処理部１５と、電源部１６と、を備える。

【0016】

発光部１１は、レーザダイオード（ＬＤ）や発光ダイオード（ＬＥＤ）等の光源（図１の例では、ＬＤ）で発光したパルス状の照射光を出射する。受光部１２は、反射して戻ってきたパルス状の反射光を、ＣＣＤやＣＭＯＳなどの２次元状に画素を配列したイメージセンサ（図１の例では、ＣＣＤセンサ）で露光し、電気信号に変換する。

【0017】

発光制御部１３は、光源の点灯あるいは消灯、もしくは発光量の調整を行う光源駆動回路を有し、後述するＣＰＵ１８からの指令に従い、光源駆動回路を制御することができる。そして、光源からの照射光は、被写体の存在する領域に向けて出射される。

【0018】

距離計算部１４は、受光部１２から出力されるイメージセンサの電気信号（図１において、画像ＤＡＴＡと記載）に基づいて、被写体までの距離を計算する。画像処理部１５は、距離計算部１４から出力される計算された距離（図１において、距離ＤＡＴＡと記載）に基づいて、被写体までの距離をカラーで表現した距離画像を生成する。画像処理部１５は、一例として、被写体までの距離が近いほど赤色となり、被写体までの距離が遠いほど青色となる画像を生成することができる。また、イメージセンサにおける各画素位置での受光タイミングのずれから、被写体各部分の距離の差、すなわち被写体の凹凸形状を求めることができる。

【0019】

電源部１６は、電力の供給に用いられる構成である。ＴＯＦカメラ１０には、適宜の手法に基づいて電力が供給される。ＴＯＦカメラ１０には、一例として、ＰｏＥ（Ｐｏｗｅｒ оｆ Ｅｔｈｅｒｎｅｔ）により電力が供給されてもよい。この場合、インタフェースの構成は、電源部１６により実現され、ＴＯＦカメラ１０と外部処理装置２０は、ＬＡＮケーブルにより接続される。その一方で、ＴＯＦカメラ１０には、適宜に接続される電源コードより電力が供給されてもよい。

【0020】

上記した距離計算部１４および画像処理部１５はプログラムである。また、ＴＯＦカメラ１０は、発光制御部１３の制御を行うことに用いるプログラムである発光処理部１７を備える。そして、ＴＯＦカメラ１０は、これらのプログラム（１４，１５，１７）を実行する主体となるＣＰＵ１８を備える。なお、この例では、プログラムを動作させる主体であるプロセッサとしてＣＰＵ１８が用いられるが、所定の処理を実行する主体であればよく、ＣＰＵ１８に代えて他の半導体デバイスが用いられてもよい。また、ＴＯＦカメラ１０は、プログラム等のデータを記憶する適宜の記憶装置（例えば、ＲＯＭ）を備えてもよい。また、ＴＯＦカメラ１０は、データ処理時にデータを一時的に記憶するＲＡＭを備えてもよい。

【0021】

本実施形態では、ＴＯＦカメラ１０の測定はフレーム単位で実行され、露光／非露光動作を示す受光部１２からの露光信号を基準として、例えば３０フレーム／ｓｅｃのレートでの測定が行われる。従って、受光部１２の露光信号のタイミングを基準として、各部（１４，１５，１７）の動作タイミングが決定される。ここで、発光処理部１７は、露光信号に基づいて発光制御部１３を制御して、発光部１１の発光期間／消灯期間を制御する。距離計算部１４は、露光信号に基づいて距離を計算する。画像処理部１５は、露光信号に基づいて画像処理を実行する（もしくは、露光信号に基づいて画像処理を停止する）。

【0022】

次に、外部処理装置２０について説明する。外部処理装置２０は、一般的なコンピュータとすることができ、プロセッサを備える。プロセッサは、所定の処理を実行する主体であればよく、一例として、ＣＰＵとすることができるが、他の半導体デバイス（例えば、ＧＰＵ）であってもよい。また、外部処理装置２０は、データを記憶することができるＲＯＭ等の記憶装置を備えてもよい。また、外部処理装置２０は、データ処理時にデータを一時的に記憶するＲＡＭを備えてもよい。本実施形態では、外部処理装置２０のプロセッサは、ＴＯＦカメラ１０からのデータを取得し、後で詳しく説明するデータ処理を行い、ＴＯＦカメラ１０が計測する距離を補正する。

【0023】

次に、図２を参照しながら、ＴＯＦカメラ１０による距離計算についてより詳しく説明する。図２は、ＴＯＦカメラによる距離の計算の一例について説明するための図である。

【0024】

上記したように発光部１１が発光制御部１３により制御され、被写体２（この例では、人物）へ距離測定用の照射パルス３１が出射される。そして、照射パルス３１は被写体２にて反射され、反射光パルス３２となり、反射光パルス３２はレンズ３３を介して受光部１２で受光される。受光部１２は、ＣＣＤセンサなどの２次元状に配列した２次元センサであるイメージセンサ３４で反射光３２を露光し、各画素位置での露光量を電気信号に変換する。距離演算部１４は、受光部１２での電気信号から被写体２までの距離Ｚを演算し、２次元の距離データを生成する。

【0025】

被写体２までの距離Ｚは、発光部１１が照射パルス３１を出射してから受光部１２が反射光パルス３２を受光するまでの時間差をｔとすると、Ｚ＝ｃ×ｔ／２（ｃは光速）で計測することができる。ここで、時間差ｔは、照射パルス３１のパルス幅と、イメージセンサ３４において複数の露光期間で検出される電荷量と、に基づいて求めることができる。

【0026】

被写体２までの距離Ｚは、複数の数式を条件に応じて切り替えて求められてもよく、一例として、図３に示す数式１および数式２に基づいて計測することができる。

【0027】

ここで、数式１および数式２は、露光期間を３つに分けて露光して計測する場合に用いられる式である。すなわち、この例では、第１の露光期間、第２の露光期間、第３の露光期間の連続した順で、露光が行われる。そして、第１の露光期間で計測する電荷量はＡ_０、第２の露光期間で計測する電荷量はＡ_１、第３の露光期間で計測する電荷量はＡ_２で表される。なお、数式１および数式２において、Ｚは距離であり、ｃは光速であり、Ｔｐは照射パルスのパルス幅である。

【0028】

数式１および数式２の切り替わり条件について説明する。計測する電荷量の値に着目して、Ａ_０≧Ａ_２の条件では、距離Ｚの計算にあたって数式１（第１の距離演算式であり、この式をＮｅａｒ式と呼ぶことがある）が用いられる。その一方で、Ａ_０＜Ａ_２の条件では、距離Ｚの計算にあたって数式２（第２の距離演算式であり、この式をＦａｒ式と呼ぶことがある）が用いられる。

【0029】

理想状態では、数式１および数式２を用いることで優れた計測精度を実現することができるが、マルチパスの影響を受ける環境では、距離誤差が発生する。ここで、図４を参照しながら、理想状態における計測と、マルチパスの影響を含む計測と、の計測距離の違いについて説明する。

【0030】

先ず、理想状態での反射光の露光について説明する。上記した数式１および数式２の説明の場合と同様に、露光期間を３つに分けてそれぞれのタイミングで反射光を露光することを考える。ここで、３つに分けた露光期間それぞれの長さは、発光パルスの出射期間（発光期間）と同じ長さに設定される。そして、発光パルスが照射されて反射光が戻ってくるとき、第１の露光期間において一部の反射光が露光され、第２の露光期間において残りの反射光が露光される。また、図４の例では、それぞれの露光期間において、同じ強度の環境光が露光されている。

【0031】

このような理想状態では、それぞれの露光期間での電荷量（Ａ_０～Ａ_３）を用いることで、数式１および数式２から、図４のグラフ（理想状態の計測結果）に示すように、直線性が確保された（言い換えれば、精度の良い）計測結果が取得される。しかしながら、マルチパスによる外乱がある場合では、正規測定光とは異なる外乱反射光が露光されるので、理想状態の場合と比較して計測される電荷量の値に差分が発生する。このような場合では、図４のグラフ（マルチパスなどの外乱光を含んだ計測結果）に示すように、上記で説明したような直線性が確保されなくなり、計測誤差が発生することになる。

【0032】

図４のグラフを参照しながら、マルチパスによる計測距離への影響について説明する。マルチパスによる計測誤差は、計測距離が増加するに従って大きくなる傾向がある。そして、ある距離を境界として、それ以降での影響が小さくなっていく傾向がある。ここで、ＴＯＦカメラ１０の計測環境において、マルチパスの影響が小さくなっていってマルチパスの影響が実質的になくなり、その結果として計測誤差が実質的になくなった距離をＬとするとき、マルチパスによる影響が小さくなり始める境界となる距離は、概ね１／２Ｌ（すなわち、０．５Ｌ）である。

【0033】

ここで、理想状態では、上記した数式１および数式２を用いるとき、１／２Ｌの位置においてＡ_０＝Ａ_２の関係となる電荷量が計測され、距離が計測される。すなわち、計測距離として１／２Ｌを計測するときにＡ_０＝Ａ_２の関係が成り立つ。従って、理想状態では、実際の距離０から１／２Ｌまでについて、数式１（Ｎｅａｒ式）に基づいて、精度の良い計測距離が求められる。また、実際の距離１／２ＬからＬまでについて、数式２（Ｆａｒ式）に基づいて、精度の良い計測距離が求められる。

【0034】

しかしながら、マルチパスによる影響がある場合では、距離誤差が計測距離に含まれるので、Ａ_０＝Ａ_２の関係となる電荷量が計測される位置が変わる。例えば、図４のグラフでは、実際の距離１／２Ｌよりも短い位置において計測距離として１／２Ｌが計測され、このタイミングでＡ_０＝Ａ_２の関係となる電荷量が計測される。従って、上記したＮｅａｒ式およびＦａｒ式の適用範囲が理想状態とはズレることになり、実際の距離１／２Ｌのタイミングで、Ｎｅａｒ式とＦａｒ式が切り替わらなくなる。

【0035】

次に、図５を参照しながら、屋内でのマルチパスによる影響の一例について説明する。図５に示すように、ＴＯＦカメラ１０は、一例として、屋内の天井に設置され、対象となるエリアの計測を行うことがある。

【0036】

ＴＯＦカメラ１０が、例えば、狭い通路や部屋、光反射率が高い壁材が使用されるエレベータホール等で被写体を計測する場合、上記の説明と同様に、マルチパスの影響による計測誤差が発生する。すなわち、図５に示すように、計測距離が概ね０から１／２Ｌまでの範囲で計測誤差が大きくなっていき、計測距離が概ね１／２ＬからＬまでの範囲で計測誤差が小さくなっていく。

【0037】

上記で説明したように、マルチパスの影響により計測距離の精度が低下する。そこで、本実施形態では、図６に示す補正処理フローを行って、マルチパスの影響による距離誤差を含む計測距離を補正する。なお、本実施形態の距離計測システム１では、外部処理装置２０のプロセッサがＴＯＦカメラ１０からデータを取得し、補正処理フローを実行する。ここで、補正処理フローの実行に用いるプログラムは、外部処理装置２０のプロセッサにより実行されればよく、一例として、外部処理装置２０が備える記憶装置に記憶される。

【0038】

図６に示す補正処理フローの一例では、距離値を補正する補正式が生成され、この補正式を用いて理想的な距離となるように補正演算が行われる。外部処理装置２０は、補正式の生成にあたり、ＴＯＦカメラ１０から、光源（図６の例では、ＬＤ）を発光させない状態で計測される電荷量（Ａ_０、Ａ_１、Ａ_２）を取得する（ステップ１０１）。すなわち、ステップ１０１では、計測環境における環境光、ショットノイズ等の成分が取得される。

【0039】

また、外部処理装置２０は、ＴＯＦカメラ１０から、光源を発光させた状態で計測される電荷量（Ａ_０、Ａ_１、Ａ_２）を取得する（ステップ１０２）。すなわち、ステップ１０２では、ステップ１０１で取得される成分と、被写体に反射して戻ってくる反射光の成分と、が取得される。ここで、反射光の成分には、計測環境におけるマルチパスの成分が含まれている。なお、ステップ１０１とステップ１０２は、後述するステップ１０３の前に実行されればよく、ステップ１０１とステップ１０２の実行タイミングは適宜に変更されてもよい。

【0040】

ここで、図７を参照しながら、ステップ１０１およびステップ１０２における電荷量（Ａ_０、Ａ_１、Ａ_２）の取得方法の一例について説明する。図７は、電荷量の取得方法の一例について説明するための図である。

【0041】

一般的には、発光期間と露光期間の両方を含む複数のフレームを繰り返すことで距離の計測が行われるが、この例では、発光期間と露光期間の両方を含むフレーム（図７では、奇数フレームと記載）と、発光期間を含まずに露光期間を含むフレーム（図７では、偶数フレームと記載）と、が交互に設定される。そして、ＴＯＦカメラ１０は、設定されたフレームに基づいて計測を行う。ここで、発光期間を含まずに露光期間を含むフレームでは、環境光の成分だけが露光され、このフレームで露光される環境光等の成分は、例えば、直前のフレーム（図７では、直前の奇数フレーム）で露光される環境光等の成分に対応すると考えられる。

【0042】

本実施形態では、このように交互に設定されたフレームに基づいて、ステップ１０１で説明された成分と、ステップ１０２で説明された成分と、が取得される。すなわち、ステップ１０１において説明された成分が、発光期間を含まずに露光期間を含むフレームに基づいて取得され、ステップ１０２において説明された成分が、発光期間と露光期間の両方を含むフレームに基づいて取得される。なお、上記では、フレームを交互に設定する例について説明されたが、計測環境における環境光の成分が適切に取得されればよく、例えば、発光期間を含まずに露光期間を含むフレームの周期は、実際の計測環境を考慮して、適宜に変更してもよい。

【0043】

ステップ１０１およびステップ１０２の後、ステップ１０２で取得された成分（すなわち、ステップ１０２で計測された電荷量Ａ_０、Ａ_１、Ａ_２）から、ステップ１０１で取得された成分（すなわち、環境光ＢＧに関する電荷量Ａ_０、Ａ_１、Ａ_２）が除去される（ステップ１０３）。ステップ１０３において、環境光の成分を差し引くことで環境光の成分が除去され、マルチパスの影響を含む反射光の成分（すなわち、環境光の成分が除去された電荷量Ａ_０′、Ａ_１′、Ａ_２′）が取得される。

【0044】

次に、ステップ１０３で求めた１フレーム内の各画素（イメージセンサ３４の各画素）から、Ａ_０′＝Ａ_２′となる画素が探索される（ステップ１０４）。すなわち、Ｎｅａｒ式とＦａｒ式の演算式が切り替わる画素がピックアップされる。

【0045】

次に、ステップ１０４で探索されたＡ_０′＝Ａ_２′となる画素から、Ａ_０′／Ａ_１′の値、および、Ａ_２′／Ａ_１′の値が求められ、Ａ_０′／Ａ_１′（＝Ａ_２′／Ａ_１′）の値が求められる（ステップ１０５）。ここで、図８を参照しながら、電荷量の比の意義について説明する。図８は、理想条件での電荷量の比について説明するための図である。

【0046】

マルチパスおよび環境光が含まれない状態（理想状態）では、１／２Ｌの位置を基準にＡ_０に関する電荷量がゼロになり、Ａ_２に関する電荷量が計測されるようになる。すなわち、１／２Ｌの位置で、Ａ_０＝Ａ_２の関係が成立し、この位置を基準として、Ｎｅａｒ式とＦａｒ式の適用範囲が切り替わる。

【0047】

このときの電荷量の比について着目すると、Ａ_０／Ａ_１は、Ｎｅａｒ式の適用範囲内で０よりも大きく、Ｎｅａｒ式の適用範囲外で０である。同様に、Ａ_２／Ａ_１は、Ｆａｒ式の適用範囲内で０よりも大きく、Ｆａｒ式の適用範囲外で０である。そして、演算式の切り替わりの位置（すなわち、１／２Ｌの位置）で、これらの比の値が同じになる（つまり、Ａ_０／Ａ_１＝Ａ_２／Ａ_１が成り立つ）。

【0048】

次に、理想条件とは異なり、マルチパスの弱い影響がある場合について説明する。図９は、マルチパスの弱い影響がある場合の電荷量の比について説明するための図である。

【0049】

図９に示すように、マルチパスの弱い影響があり、且つ、環境光が含まれない状態では、計測される電荷量は、理想条件の場合とは異なり、Ａ_０およびＡ_２に関する電荷量がゼロにならない。そして、Ａ_０／Ａ_１とＡ_２／Ａ_１の値が同じになる位置は、１／２Ｌの位置からズレる。従って、Ｎｅａｒ式とＦａｒ式の切り替わりとなる位置（つまり、Ａ_０／Ａ_１＝Ａ_２／Ａ_１となる位置）は、１／２Ｌの位置からズレる。

【0050】

次に、理想条件とは異なり、マルチパスの強い影響がある場合について説明する。図１０は、マルチパスの強い影響がある場合の電荷量の比について説明するための図である。

【0051】

図１０に示すように、マルチパスの強い影響があり、且つ、環境光が含まれない状態では、計測される電荷量は、理想条件の場合と異なり、Ａ_０およびＡ_２に関する電荷量がゼロにならない。また、Ａ_０／Ａ_１とＡ_２／Ａ_１の値が同じになる位置（つまり、Ｎｅａｒ式とＦａｒ式の切り替わりとなる位置）は、マルチパスの弱い影響がある場合よりも大きくズレる。

【0052】

上記したステップ１０５において、Ａ_０′／Ａ_１′（＝Ａ_２′／Ａ_１′）の値が求められた場合、距離誤差の関係式が求められる。そして、この距離誤差の関係式から、実際の距離１／２Ｌでの距離誤差が求められる（ステップ１０６）。次に、図１１から図１３を参照しながら、距離誤差の関係式を求める方法について説明する。また、図１４を参照しながら、１／２Ｌの位置での距離誤差について説明する。図１１から図１３は、距離誤差の関係式を求める方法の一例について説明するための図である。図１４は、１／２Ｌの位置での距離誤差について説明するための図である。

【0053】

図１１のグラフは、上記で説明した理想状態およびマルチパスの影響がある状態での電荷量の比の関係を示している。上記で説明したように、理想状態では、Ｎｅａｒ式とＦａｒ式が切り替わる点（つまり、Ａ_０′／Ａ_１′＝Ａ_２′／Ａ_１′が成り立つ点）は、１／２Ｌの位置であるが、この演算式が切り替わる点は、マルチパスの影響により１／２Ｌからズレてゆき、マルチパスの影響が強いほど大きくズレる。従って、この電荷量の比の関係（すなわち、マルチパスの影響が弱いほど１／２Ｌからのズレが小さくなり、マルチパスの影響が強いほど１／２Ｌからのズレが大きくなるという特性）に基づいて、ステップ１０５において取得する電荷量の比の大きさから、計測環境におけるマルチパスの影響の強さが評価される。

【0054】

図１２のグラフは、実際の距離と、マルチパスの影響による距離誤差と、の関係を示す。すなわち、上記で説明したように、マルチパスの影響による距離誤差は、１／２Ｌの位置において最大となり、マルチパスの影響は、１／２Ｌの位置を境界として小さくなっていく。そこで、上記で説明された評価したマルチパスの影響の強さと、実際の距離およびマルチパスの影響による距離誤差の関係を示すデータと、に基づいて、実際の距離が１／２Ｌである位置の距離誤差（言い換えれば、最大の距離誤差）が求められる。なお、実際の距離およびマルチパスの影響による距離誤差の関係を示すデータ（例えば、図１２のグラフに関するデータ）は、補正処理フローにおいて利用することができるように、予め準備されてもよい。

【0055】

そして、ステップ１０５において取得された電荷量の比の大きさと、１／２Ｌの位置での距離誤差と、の関係をまとめた距離誤差の関係式が生成される。距離誤差の関係式は、一例として、図１３に示すように、αｘ（αは係数）とすることができるが、適切な関係式であればよく、一次式でも多項式でもよい。距離誤差の関係式は、ステップ１０１からステップ１０５の手法で取得される実測の電荷量の比に基づいて、求められてもよい。その一方で、ステップ１０１からステップ１０５と同様の手法により、環境光の影響を除去した電荷量の比の大きさが予測され、予測された電荷量の比の大きさを用いたシミュレーションにより、距離誤差の関係式が求められてもよい。

【0056】

ステップ１０６では、図１４に示すように、距離誤差の関係式を用いて、実際の計測環境において取得される電荷量の比の大きさ（すなわち、ステップ１０１からステップ１０５により取得される電荷量の比の大きさ）に基づいて、Ｂ点に関する距離誤差が求められる。ここで、Ｂ点は、実際の距離１／２Ｌにおける計測距離を示す点であり、この計測距離（図１４においてＢ点距離）は、距離誤差αｘ＋１／２Ｌとして考えることができる。なお、グラフ上において、Ａ点は（０、０）に対応し、Ｃ点は（Ｌ、Ｌ）に対応する。

【0057】

ステップ１０６において、Ｂ点の距離誤差が求められた場合、Ｂ点での計測距離が予測される（ステップ１０７）。すなわち、理想状態での計測距離（すなわち、１／２Ｌ）に距離誤差が加算された計測距離（図６においてＤｅｐｔｈ（１／２Ｌ）と記載されている）が予測される。なお、Ｂ点での計測距離は、距離誤差を用いて適宜に予測されればよいが、一例として、下記の方法により予測されてもよい。すなわち、距離を計測する範囲として、０からＬまでの範囲が予め設定されてもよく、この設定されたデータから１／２Ｌの値が求められ、この値に距離誤差が加算され、Ｂ点での計測距離が予測されてもよい。

【0058】

Ｂ点での計測距離が予測された場合、マルチパスの影響を補正する補正式が生成される。そして、Ｎｅａｒ側（実際の距離０から１／２Ｌまでの範囲）とＦａｒ側（実際の距離１／２ＬからＬまでの範囲）を理想値に近付けるように、補正演算が行われる（ステップ１０８）。先ず、図１５を参照しながら、補正式の求め方の一例について説明する。

【0059】

この例では、マルチパスの影響によって計測誤差を含んで計算されるＮｅａｒ側の計測距離（図１５において、Ａ－Ｂ間に対応する）を、理想状態の直線に近付ける補正式が求められる。すなわち、Ｂ点の距離が推測されれば、Ａ－Ｂ間の補正パラメータを求めることができるので、この補正パラメータに基づいて、Ａ－Ｂ間の補正式が求められる。この例では、Ａ－Ｂ間の傾きに対応する補正パラメータである補正係数α_ｎｅａｒに基づいて、理想状態に近付ける補正式が求められている。ここで、Ｄｅｐｔｈ_ｎｅａｒは、理想状態での計測距離を示し、Ｄｅｐｔｈは、Ａ－Ｂ間での計測距離を示す。

【0060】

同様にして、マルチパスの影響によって計測誤差を含んで計算されるＦａｒ側の計測距離（図１５において、Ｂ－Ｃ間に対応する）を、理想状態の直線に近付ける補正式が求められる。すなわち、Ｂ点の距離が推測されれば、Ｂ－Ｃ間の補正パラメータを求めることができるので、この補正パラメータに基づいて、Ｂ－Ｃ間の補正式が求められる。この例では、Ｂ－Ｃ間の傾きに対応する補正パラメータである補正係数α_ｆａｒと、Ｂ－Ｃ間の切片の値を調整する補正パラメータであるβ_ｆａｒと、に基づいて理想状態に近付ける補正式が求められている。ここで、Ｄｅｐｔｈ_ｆａｒは、理想状態での計測距離を示し、Ｄｅｐｔｈは、Ｂ－Ｃ間での計測距離を示す。

【0061】

このように、ステップ１０８では、Ｎｅａｒ側とＦａｒ側の計測距離を補正する補正式が生成される。そして、Ｎｅａｒ側の計測距離、言い換えれば、Ａ点（０，０）からＢ点（１／２Ｌ，Ｄｅｐｔｈ（１／２Ｌ））の計測距離が理想的となるように、ＴＯＦカメラ１０が計測する計測距離に補正演算が行われる。また、Ｂ点（１／２Ｌ，Ｄｅｐｔｈ（１／２Ｌ））からＣ点（Ｌ，Ｌ）の計測距離が理想的となるように、ＴＯＦカメラ１０が計測する計測距離に補正演算が行われる。

【0062】

ここで、計測距離の補正にあたって、補正する計測距離がＢ点距離よりも小さい（または、Ｂ点距離以下である）場合、Ｎｅａｒ側の補正式が用いられる。補正する計測距離がＢ点距離よりも大きい（または、Ｂ点距離以上である）場合、Ｆａｒ側の補正式が用いられる。補正する計測距離がＢ点距離と同じである場合、何れの補正式が用いられてもよい。また、本実施形態の補正処理フローによれば、外部処理装置２０のプロセッサは、生成した補正式を用いて、イメージセンサ３４の各画素から取得される計測距離について補正演算を行うことができる。また、図１５の例では、一次式の補正式を生成する一例について説明されたが、理想値の直線に適切に近づける補正演算が行われればよく、多項式の補正式が生成されてもよい。

【0063】

この補正処理フローによれば、マルチパスの影響によってＮｅａｒ式およびＦａｒ式の適用範囲が理想状態とはズレることになり、実際の距離１／２Ｌのタイミングで、Ｎｅａｒ式とＦａｒ式が切り替わらなくなる場合であっても、適切な補正を行って計測距離を補正することができる。

【0064】

次に、図１６を参照しながら、補正演算の効果の一例について説明する。図１６は、補正演算の効果の一例について説明するための図である。

【0065】

図１６の例では、ＴＯＦカメラ１０が屋内に設置され、通路において計測が行われる。この計測環境では、壁や床等によりマルチパスが発生すると考えられる。そして、画像（距離データの画像）における鎖線で示される部分の計測距離は、縦方向の計測距離の関係を表すグラフ、および、横方向の計測距離の関係を表すグラフに示すように、マルチパスの影響により理想値から離れている。ここで、上記で説明したステップ１０８の補正演算に基づいて計測距離が補正されることで、マルチパスの影響による距離誤差が抑制され、計測誤差が軽減される。

【0066】

以上の通り、露光期間を３つに分けた、第１の露光期間で計測するＡ_０、第２の露光期間で計測するＡ_１、第３の露光期間で計測するＡ_２を用いて、且つ、計測された各電荷量の条件に応じて切り替える２つの計算式（Ｎｅａｒ式、およびＦａｒ式）を用いた距離演算方式を例にして、マルチパスによる距離演算誤差を改善する方法について説明してきた。

【0067】

すなわち、距離演算式が切り替わる位置（すなわち、マルチパスによる影響がない場合において、理想的な距離が明確である位置であり、前述の説明においては１／２Ｌに相当する位置）における、距離演算に使用される各電荷量比の値（例えば、Ａ_０／Ａ_１とＡ_２／Ａ_１の値が同じになる値）の大きさから計測環境におけるマルチパスの影響の強さが評価される。

【0068】

距離演算式が切り替わる位置での電荷量比の値とマルチパスの影響によって生じる距離誤差の関係を求めることにより、前述した図１３に示すように、距離誤差との関係式が生成される。

【0069】

距離誤差の関係式を用いて、実際の計測環境において取得される電荷量の比の大きさに基づいて、距離演算が切り替わる位置（すなわち、マルチパスによる影響がない場合において、理想的な距離が明確である位置）に関する距離誤差が求められる。

【0070】

以上の通り、理想的な距離が明確である位置の距離誤差が求められることにより、前述したように、理想状態での計測距離の理想値に近づけるように補正式を求め、補正演算を行うことができる。これらのプロセスに基づいて計測距離が補正されることで、マルチパスの影響が抑制され、計測誤差が軽減される。

【0071】

また、ここまで、３つの露光期間と２つの計算式を用いた距離演算方式を一例として説明してきたが、３つの露光期間と２つの計算式を用いた距離演算方式に限られたものではなく、それ以上の、複数の露光期間と、複数の計算式と、を用いた距離演算方式にも適用できることは、想像に難くない。

【0072】

なお、複数点（異なる複数の距離位置）における実際の距離と計測距離の相関性から補正係数等を求め、補正式を求める方法が考えられる。一例として、図１７に示すように、１ｍごとに被写体を実際に位置させ、１ｍごとに位置させた被写体から取得する計測距離との相関性に基づいて補正係数等を求め、補正式を求める方法が考えられる。しかしながら、この方法では、複数点での距離位置での計測が必要となり、柔軟な運用を実現することができないと考えられる。例えば、複数台のＴＯＦカメラ１０を設置する場合、一台あたりの調整時間が必要となり、複数台の調整には多大な時間が必要になる。これに対して、本実施形態によれば、計測誤差の予測アルゴリズムを有しており、補正処理フローを実行して補正式を生成するので、柔軟な運用を実現することができる。

【0073】

以上、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。

【0074】

補正処理された距離データは、一例として、人物を対象とした動線追跡や人数カウント等に用いられてもよい。これにより、計測誤差が軽減された精度の良い処理が実現される。なお、動線追跡や人数カウントは、一例として、適宜のプロセッサがアプリを実行することによって実現される。ここで、外部処理装置２０は、このアプリと補正処理フローの実行に用いるプログラムを連携させて処理を行ってもよい。

【0075】

外部処理装置２０は、補正処理フロー等のデータ処理を適切に実行することができればよく、データ処理の用いるデータは、外部処理装置２０に接続される外部の記憶装置に記憶されてもよい。そして、外部処理装置２０は、外部の記憶装置からデータを取得して処理を行ってもよい。また、外部処理装置２０は、例えば、ＴＯＦカメラ１０と同じ設置場所に配置されてもよいし、ＴＯＦカメラ１０の設置場所とは異なる遠隔地に配置されてもよい。外部処理装置２０は、有線通信によりデータを取得してもよいし、無線通信によりデータを取得してもよい。

【0076】

本実施形態では、補正処理フローの実行に用いるプログラムが外部処理装置２０に実行され、外部処理装置２０が補正処理フローを実行するシステムについて説明されたが、ＴＯＦカメラ１０が補正処理フローの実行に用いるプログラムを実行して、補正演算された計測距離を出力してもよい。この場合、外部処理装置２０が省略される。そして、一例として、補正処理フローを実行するプログラムは、ＴＯＦカメラ１０の記憶装置に記憶され、このプログラムは、ＴＯＦカメラ１０のプロセッサ（例えば、ＣＰＵ１８）により実行されてもよい。これにより、マルチパスの影響を把握し、画素毎の距離に補正を行うことにより、実際の距離との誤差を抑制して距離精度を改善することができるＴＯＦカメラ１０（距離計測装置）が提供される。

【符号の説明】

【0077】

１ 距離計測システム
１０ ＴＯＦカメラ（距離計測装置）
２０ 外部処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】