特許 7436428 測距装置、測距システム、及び、干渉回避方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-13

(45)【発行日】2024-02-21

(54)【発明の名称】測距装置、測距システム、及び、干渉回避方法

(51)【国際特許分類】

   G01S 7/495 20060101AFI20240214BHJP

   G01S 7/497 20060101ALI20240214BHJP

   G01S 17/894 20200101ALI20240214BHJP

   G01S 17/87 20200101ALI20240214BHJP

   G01C 3/06 20060101ALI20240214BHJP

【ＦＩ】

G01S7/495

G01S7/497

G01S17/894

G01S17/87

G01C3/06 120Q

【請求項の数】 12

(21)【出願番号】P 2021105630

(22)【出願日】2021-06-25

(65)【公開番号】P2023004120

(43)【公開日】2023-01-17

【審査請求日】2023-04-12

(73)【特許権者】

【識別番号】501009849

【氏名又は名称】株式会社日立エルジーデータストレージ

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】泉 克彦

(72)【発明者】

【氏名】伊藤 克美

(72)【発明者】

【氏名】杉山 久貴

(72)【発明者】

【氏名】小牧 孝広

【審査官】藤田 都志行

(56)【参考文献】

【文献】国際公開第２０２０／１９６０８７（ＷＯ，Ａ１）

【文献】特開２０１９－１１３５３０（ＪＰ，Ａ）

【文献】特開２０２０－００８３４４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０１８４６６６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８－ ７／５１

Ｇ０１Ｓ １７／００－１７／９５

Ｇ０１Ｃ ３／００－ ３／３２

(57)【特許請求の範囲】

【請求項1】

光源を発光させ被写体に光を照射する発光部と、
被写体からの反射光を受光する複数の受光画素を有する受光部と、
前記受光部の各受光画素の検出信号から、被写体までの距離を計算する距離計算部と、
前記受光部の各受光画素の検出信号から、被写体の輝度の計算を行う輝度計算部と、
前記距離計算部で計算した距離から被写体の距離画像を生成し、前記輝度計算部で計算した輝度から被写体の輝度画像を生成する画像処理部と、
前記距離計算部と、前記輝度計算部と、前記画像処理部と、を実行するプロセッサと、
を備え、
前記プロセッサは、
前記受光部の全受光画素のうちの一部の領域に設定される飽和判定受光画素領域に光量飽和の画素が発生していることを判定した場合に、前記飽和判定受光画素領域に含まれる一部もしくは全部の画素の距離値を無効値として出力する、
ことを特徴とする測距装置。

【請求項2】

請求項１に記載の測距装置が互いに対向して配置される測距システムであって、
第１の測距装置の前記飽和判定受光画素領域は、第２の測距装置から照射されて反射する経路で到達する光を受光する画素、および、その周辺画素を含めた領域に設定される、
ことを特徴とする測距システム。

【請求項3】

請求項２に記載の測距システムであって、
前記プロセッサは、
基準距離以下、あるいは、基準距離未満の距離値が計測される前記周辺画素については距離値を無効値としないで出力する、
ことを特徴とする測距システム。

【請求項4】

請求項１に記載の測距装置であって、
前記プロセッサは、
前記の距離値を無効値とする処理を、１フレーム毎、あるいは、複数フレーム毎に行う、
ことを特徴とする測距装置。

【請求項5】

請求項２に記載の測距システムであって、
前記プロセッサは、
前記の距離値を無効値とする処理を、１フレーム毎、あるいは、複数フレーム毎に行う、
ことを特徴とする測距システム。

【請求項6】

請求項３に記載の測距システムであって、
前記プロセッサは、
前記の距離値を無効値とする処理を、１フレーム毎、あるいは、複数フレーム毎に行う、
ことを特徴とする測距システム。

【請求項7】

光源を発光させ被写体に光を照射する発光部と、
被写体からの反射光を受光する複数の受光画素を有する受光部と、
前記受光部の各受光画素の検出信号から、被写体までの距離を計算する距離計算部と、
前記受光部の各受光画素の検出信号から、被写体の輝度の計算を行う輝度計算部と、
前記距離計算部で計算した距離から被写体の距離画像を生成し、前記輝度計算部で計算した輝度から被写体の輝度画像を生成する画像処理部と、
前記距離計算部と、前記輝度計算部と、前記画像処理部と、を実行するプロセッサと、
を備える測距装置を用いて行う干渉回避方法であって、
前記受光部の全受光画素のうちの一部の領域に設定される飽和判定受光画素領域に光量飽和の画素が発生していることを判定した場合に、前記飽和判定受光画素領域に含まれる一部もしくは全部の画素の距離値を無効値として出力する、
ことを特徴とする干渉回避方法。

【請求項8】

請求項７に記載の干渉回避方法であって、
前記の測距装置が互いに対向して配置され、
第１の測距装置の前記飽和判定受光画素領域は、第２の測距装置から照射されて反射する経路で到達する光を受光する画素、および、その周辺画素を含めた領域に設定される、
ことを特徴とする干渉回避方法。

【請求項9】

請求項８に記載の干渉回避方法であって、
基準距離以下、あるいは、基準距離未満の距離値が計測される前記周辺画素については距離値を無効値としないで出力する、
ことを特徴とする干渉回避方法。

【請求項10】

請求項７に記載の干渉回避方法であって、
前記の距離値を無効値とする処理を、１フレーム毎、あるいは、複数フレーム毎に行う、
ことを特徴とする干渉回避方法。

【請求項11】

請求項８に記載の干渉回避方法であって、
前記の距離値を無効値とする処理を、１フレーム毎、あるいは、複数フレーム毎に行う、
ことを特徴とする干渉回避方法。

【請求項12】

請求項９に記載の干渉回避方法であって、
前記の距離値を無効値とする処理を、１フレーム毎、あるいは、複数フレーム毎に行う、
ことを特徴とする干渉回避方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体の位置を距離画像として出力する測距装置及びこれを複数用いた場合における測距システム、さらには、干渉を回避する干渉回避方法に関する。

【背景技術】

【0002】

光の伝達時間に基づいて被写体までの距離を測定するタイム・オブ・フライト法（以下、ＴＯＦ法）という技術により、測定した距離を距離画像として出力する測距装置が知られる。測距装置においては、測定距離の精度を維持することが必要である。このような測距装置を複数使用する場合において、測定する距離値の精度を改善するために例えば２台の測距装置が互いに向き合うような配置とするような場合がある。２台の測距装置が互いに向き合って配置された場合においては、相手側の発光が自分側の距離測定性能に影響を及ぼすことがあり、このような現象は干渉現象と言われている。

【0003】

この干渉現象の課題に対して、２台の測距装置を連動制御したり、２台の距離測定装置における発光や露光の周期が重なる時間を極力小さくするような設計とすることで、影響を低減するようにすることができると考えられる。この種の技術が、特許文献１に提案されていると考えられる。すなわち、特許文献１に開示される技術では、自らの光源が発光する間隔を長くして、発光タイミングと同期して露光期間を設定し、自らの光源と、他の光源とからの反射光により画素信号を検出し、複数回数積算する。また、自らの光源が消灯した期間に露光期間を設定して、他の光源からの反射光により画素信号を検出して、複数回数積算する。そして、発光タイミングと同期して露光期間が設定された画素信号の積算値から、消灯したタイミングと同期して露光期間が設定された画素信号の積算値を減算して、測距演算を行う構成が提案されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－１５３７９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

先に示した相互干渉現象に対して、特許文献１で示した方法により影響度の低減を図ることが可能であるが、例えば、反射率が高い壁面のようなものを反射経由して、相手側で発光する光が自分側に到達するような条件下においては、相手側で発光する光を非常に強く受光することになり、受光センサの特定画素周辺における干渉の影響を十分に低減することができない場合が発生する。

【0006】

そこで、本発明の目的は、そのような環境条件下においても、受光センサの特定画素およびその周辺の干渉の影響を受けないような測距装置、測距システム、および、干渉回避方法を提供することである。

【課題を解決するための手段】

【0007】

本発明によれば、下記の測距装置が提供される。この測距装置は、発光部と、受光部と、距離計算部と、輝度計算部と、画像処理部と、プロセッサと、を備える。発光部は、光源を発光させ被写体に光を照射する。受光部は、被写体からの反射光を受光する複数の受光画素を有する。距離計算部は、受光部の各受光画素の検出信号から、被写体までの距離を計算する。輝度計算部は、受光部の各受光画素の検出信号から、被写体の輝度の計算を行う。画像処理部は、距離計算部で計算した距離から被写体の距離画像を生成し、輝度計算部で計算した輝度から被写体の輝度画像を生成する。プロセッサは、距離計算部と、輝度計算部と、画像処理部と、を実行する。そして、プロセッサは、受光部の全受光画素のうちの一部の領域に設定される飽和判定受光画素領域に光量飽和の画素が発生していることを判定した場合に、飽和判定受光画素領域に含まれる一部もしくは全部の画素の距離値を無効値として出力する。

【0008】

本発明によれば、下記の干渉回避方法が提供される。この干渉回避方法は、前記の測距装置を用いて行う方法である。この方法は、受光部の全受光画素のうちの一部の領域に設定される飽和判定受光画素領域に光量飽和の画素が発生していることを判定した場合に、飽和判定受光画素領域に含まれる一部もしくは全部の画素の距離値を無効値として出力する。

【発明の効果】

【0009】

本発明によれば、例えば、反射率が高い壁面のようなものを反射経由して、相手側で発光する光が直接自分側に到達するような条件下においても、受光センサの特定画素周辺の干渉の影響を十分に低減することができ、測距装置の距離誤差を低減することが可能となる。

【図面の簡単な説明】

【0010】

【図1】ＴＯＦカメラを用いるシステムの構成の一例を示す図。

【図2A】ＴＯＦ法による距離測定の原理を説明する図。

【図2B】ＴＯＦ法による距離測定の原理を説明する図。

【図3】ＴＯＦカメラにおける距離画像と輝度画像の出力方法の一例を示す図。

【図4】被写体が飽和している場合の距離画像と輝度画像の出力方法の一例を示す図。

【図5A】２台のＴＯＦカメラのみが対向配置されている例について示す図。

【図5B】２台のＴＯＦカメラと略平行に反射率の高い壁がある例について示す図。

【図6A】図５ＢのＴＯＦカメラ１における輝度画像と距離画像を示した図であり、距離値の無効化処理前の一例を示す図。

【図6B】図５ＢのＴＯＦカメラ１における輝度画像と距離画像を示した図であり、距離値の無効化処理後の一例を示す図。

【図7】２台のＴＯＦカメラと略平行に反射率の高い壁がある例について示しており、距離方向に無効化処理の範囲を設ける例について示す図。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について図面を用いて説明する。

【0012】

実施形態１では、本発明に関するシステムの一例について説明する。図１は、測距装置を用いるシステムの構成の一例を示す図である。測距装置は、人物等の被写体までの距離をＴＯＦ方式（Time of Flight方式）で測定し、測定した被写体の各部までの距離を例えば色別に表示し、距離画像として出力する。例えば、人物を測定対象としその移動軌跡を画像として出力することで、動線解析等が可能となる。

【0013】

このシステムは、ＴＯＦ方式による距離画像と被写体の輝度画像とを生成する測距装置であるＴＯＦカメラ１（以下、画像生成部とも呼ぶこともある）と、ＴＯＦカメラ１を制御するＣＰＵ１８と、を備え、両者はネットワーク１７で接続されている。なお、ネットワーク１７を介したデータの入出力には、ＴＯＦカメラ１側およびＣＰＵ１８側に適宜に設けられるインタフェースが利用される。ＣＰＵ１８は、ＴＯＦカメラ１で生成された距離画像や輝度画像を解析し、ＣＰＵ１８内のアプリ(例えば人検知アプリ)により所望の機能を実現し、その結果を表示装置２３に表示させることができる。

【0014】

まずＴＯＦカメラ１（画像生成部）の構成について説明する。ＴＯＦカメラ１は、被写体２にパルス光を照射する発光部１０と、被写体２から反射したパルス光を受光する受光部１３と、受光部１３の検出信号から被写体２までの距離を計算する距離計算部１４と、被写体２の輝度の計算を行う輝度計算部１５と、距離計算部１４から出力される距離データを基に被写体２の距離画像を生成し、輝度計算部１５から出力される輝度データを基に被写体２の輝度画像を生成する画像処理部１６と、発光部１０の制御を行う発光処理部２５と、を備える。距離計算部１４、輝度計算部１５、画像処理部１６、および、発光処理部２５は、ＴＯＦカメラ１の動作に用いるプログラムである。また、ＴＯＦカメラ１は、ＣＰＵ２４（プロセッサ）を備える。このＣＰＵ２４により、距離計算部１４、輝度計算部１５、画像処理部１６、および、発光処理部２５が実行される。

【0015】

発光部１０は、照射光３ａを出射するレーザダイオード（ＬＤ）や面発光レーザ、発光ダイオード（ＬＥＤ）などの光源１１ａが配置される光源部１１と、光源１１ａの点灯あるいは消灯、もしくは発光量の調整を行う発光制御部１２を有する。なお、本実施形態では、照射光に赤外光を用いるが、適切な計測を行うことができればこの限りでない。発光制御部１２は光源駆動回路１２ａを有し、外部のＣＰＵ１８からの指令に従い、光源駆動回路１２ａを制御することができる。光源１１ａからの照射光３ａは、被写体２の存在する領域に向けて出射される。

【0016】

そして、被写体２から反射した光は、受光部１３に入射する。受光部１３はＣＣＤセンサやＣＭＯＳセンサなどの２次元センサ１３ａを有し、２次元センサ１３ａで光電変換された信号が、距離計算部１４と輝度計算部１５に送られる。距離計算部１４では、被写体２までの距離が計算され、被写体２の距離データが画像処理部１６へ送られる。輝度計算部１５では、被写体２からの反射光の光量から輝度が計算され、被写体２の輝度データが画像処理部１６へ送られる。画像処理部１６は、距離計算部１４と輝度計算部１５から送られるデータを用いた処理により、距離画像と輝度画像を生成する。画像処理部１６は、例えば、距離データに基づき被写体画像の色相を変えるカラー化処理を行い、また、輝度データに対して、明度、コントラスト等を変える処理を行うこともできる。尚、距離計算部１４、輝度計算部１５、画像処理部１６における動作の詳細は後述する。画像処理が行われた距離画像や輝度画像のデータは、ネットワーク１７を介してＣＰＵ１８へ送信される。

【0017】

ＣＰＵ１８は、ＴＯＦカメラ１から送信された距離画像データや輝度画像データをフレーム毎に内部メモリ１９に格納する。そして、距離画像や輝度画像を表示装置２３に表示することで、ユーザはカラー化された距離画像を見ることができ、人物等の被写体の位置（距離）や形状（姿勢）を知ることが可能である。また、ＣＰＵ内のアプリ部２１に搭載されたアプリを用いて距離画像のデータを解析することができ、例えば人検知アプリであれば、人の移動軌跡（動線）を容易に知ることができる。

【0018】

なお、アプリに対応したＴＯＦカメラ１の制御が可能である。この場合、アプリに関するデータがＴＯＦ制御部２２に出力される。そして、ＴＯＦ制御部２２は、このデータに基づく指令を出力する。

【0019】

図２Ａと図２Ｂは、ＴＯＦ法による距離測定の原理を説明するための図である。ＴＯＦ法では、発光信号と受光信号の時間差により距離を算出する。

【0020】

図２ＡはＴＯＦカメラ１と被写体２（例えば人物）の関係を示す図である。ＴＯＦカメラ１は、発光部１０から被写体２へ距離測定用の照射パルス３１を出射する。照射パルス３１は被写体２にて反射され、反射光パルス３２となる。そして、反射光パルス３２は受光部１３の２次元センサ１３ａで受光される。発光部１０および受光部１３から被写体２までの距離をＤとする。ここで、発光部１０が照射パルス３１を出射してから受光部１３が反射光パルス３２を受光するまでの時間差をｔとすると、被写体２までの距離Ｄは、Ｄ＝ｃ×ｔ／２（ｃは光速）で求められる。

【0021】

図２Ｂは時間差ｔの測定を示す図である。距離計算部１４は、発光部１０から出射した照射パルス３１のタイミングと、受光部１３で受光した反射光パルス３２のタイミングから、その時間差ｔを測定し、前記式から被写体２との距離Ｄを算出する。また、２次元センサ１３ａにおける各画素位置での受光タイミングのずれから、被写体各部分の距離の差、すなわち被写体の凹凸形状を求めることができる。

【0022】

以下、本実施形態における測距装置の光量飽和の判定方法や距離画像と輝度画像の出力方法について説明する。図３は、ＴＯＦカメラ１が１台の場合において、光源が発光し被写体が存在する状態の一例を示している。

【0023】

図３では、発光部１０内にある光源１１ａが発光しており、被写体２に向けて照射光３ａを出射している。被写体２で反射された光は受光部１３内にある２次元センサ１３ａで受光される。そして、受光部１３からの出力信号を利用して、距離計算部１４で距離計算が行われ、輝度計算部１５で輝度計算が行われる。そして、画像処理部１６にて１フレーム毎に距離画像と輝度画像の２種類の２次元画像が生成される。

【0024】

ここで、距離計算部１４においては、画素毎に先述した距離計算が実施される。そして、その結果を距離画像１４ａに示したような画素並びとして表示することで、測定距離範囲内で距離に応じて色が異なるような表示が可能である。この一例として、距離が近くなるほど赤くなり、距離が遠くなるほど青くなるような表示とすることができる。なお、図３等においては、図示の都合上により、カラーではない表示が示されているが、図３の例では、被写体２ａが背景よりも近くにあるために、実際には、被写体２ａ自体に黄色がついており、背景は緑色の表示となっている。

【0025】

輝度計算部１５においては、画素毎に先述した輝度計算が実施される。すなわち、受光した被写体２からの反射光の光量に基づいて、輝度が計算される。そして、その結果を輝度画像１５ａに示したような画素並びとして表示することで、輝度に応じて画素の明るさが異なるような表示が可能となる。輝度画像１５ａは、画面内の各画素位置にて受光した被写体２からの反射光の光量に応じた輝度値を表示することで、被写体２の形状を視覚化したものである。一例として、色の濃淡を含めて、反射光量が多い領域は明色で示され、反射光量が少ない領域は暗色で示される。図３の例では、被写体（人物）２ｂの領域が灰色で、背景領域が黒色に近い暗色で示される。

【0026】

距離画像１４ａと輝度画像１５ａは画像処理部１６にて画像処理演算された後にＣＰＵ１８に送られ、表示装置２３で表示される。ここでは一例として、距離画像１４ｂが表示装置２３に表示されている例を示す。この距離画像１４ｂは、距離画像１４ａに対応しており、被写体２ａに対応する被写体２ｃを含む。

【0027】

図４は、図３と同様にＴＯＦカメラが１台の場合において、光源が発光し被写体が存在する状態の一例を示している。ただし、図４では、被写体がＴＯＦカメラに近い位置にあり、一部の画素が光量飽和している。

【0028】

図４において、発光部１０内にある光源１１ａが発光しており、ＴＯＦカメラ１は、図３と比べて近い位置にある被写体２に向けて照射光３ａを出射している。被写体２で反射された光は受光部１３内にある２次元センサ１３ａで受光する。受光部１３からの出力信号を利用して、距離計算部１４で距離計算が行われ、輝度計算部１５で輝度計算が行われる。そして、画像処理部１６にて１フレーム毎に距離画像と輝度画像の２種類の２次元画像が生成される。

【0029】

図３の場合の説明と同様に、距離計算部１４においては、画素毎に先述した距離計算が実施され、その結果を距離画像１４ａに示したような画素並びとして表示することで、測定距離範囲内で距離に応じて色が異なるような表示が可能である。一例として、距離が近いほど赤くなり、距離が遠いほど青くなるような表示とすることができる。図示の都合上により、カラーではない表示が示されているが、図４の例では、図３と比較して被写体２がＴＯＦカメラ１の受光部１３の近くに位置するために、距離画像１４ａの被写体２ａ自体に赤色がついており、背景は緑色の表示となっている。

【0030】

図３の場合の説明と同様に、輝度計算部１５においては、画素毎に先述した輝度計算が実施され、その結果を輝度画像１５ａに示したような画素並びとして表示することで、輝度に応じて画素の明るさが異なるような表示が可能となる。輝度画像１５ａは、画面内の各画素位置にて受光した被写体２からの反射光の光量に応じた輝度値を表示することで、被写体２の形状を視覚化したものである。濃淡も考慮して、反射光量が多い領域は明色（白色）で示され、反射光量が少ない領域は暗色（黒色）で示される。図４の例では、被写体（人物）２ｂの領域が白色で、背景領域が黒色に近い暗色で示される。

【0031】

ここで、輝度画像１５ａにおいて、白色の部分に関しては、受光部１３の２次元センサ１３ａの画素に入射する光量が許容値よりも大きい場合に、その画素では飽和が発生していることが判定可能となる。つまり、ある画素が受光した場合の輝度値（光量）が許容値よりも大きいあるいは許容値以上であるかに基づいて、当該画素において飽和が発生しているかどうかについての判定が可能である。ここで、図中（輝度画像１５ａ）にて白色で示されている画素のうちで飽和が発生している画素を基に距離演算部１４で算出した距離に関しては、誤差を含んだ値となっており、距離画像１４ａや表示画像２３における被写体２ａや被写体２ｃの赤色で示されている部分は、正しい距離を表示できないこととなる。

【0032】

次に、複数台のＴＯＦカメラを用いる場合について説明する。図５Ａおよび図５Ｂは、２台のＴＯＦカメラが互いに対向して配置されている場合の一例について示す図である。ここで、図５Ａは２台のＴＯＦカメラのみが対向配置されていることを示す図であり、図５Ｂは２台のＴＯＦカメラと略平行に反射率の高い壁があることを示す図である。

【0033】

図５Ａおよび図５Ｂに示すように、第１のＴＯＦカメラ１と第２のＴＯＦカメラ５０は、測距システムを構成しており、相手側のＴＯＦカメラが互いにカメラ視野内にあるような対向配置となっている。ＴＯＦカメラ１及びＴＯＦカメラ５０に関しては、一般的に、発光して被写体に照射される光が強く、被写体からの反射光の光量が多いほど、被写体までの測距性能が良い傾向にある。そのため、測距性能が悪くなるＴＯＦカメラから遠い位置付近に関しては、２台のＴＯＦカメラの両方の測定値を使用することにより測距性能の低下を補うことがある。

【0034】

第１のＴＯＦカメラ１（第１の測距装置）からは、図に示すように照射光（６０、６３）が照射されている。その一方で、第２のＴＯＦカメラ５０（第２の測距装置）からは、照射光（６１、６２）が照射されている。ここで、第１のＴＯＦカメラ１の距離画像１４ａや輝度画像１５ａには、第２のＴＯＦカメラ５０の発光部１０が発光している状態が観測される。

【0035】

そして、相手側のＴＯＦカメラ（この例では、ＴＯＦカメラ５０）の照射光６１を直接自分側のＴＯＦカメラ（この例では、ＴＯＦカメラ１）で受光した場合は、輝度画像１５ａでは１画素もしくは数画素が白く飽和する場合がある。これは、図示しない被写体からの反射光よりも相手側からの直接来る照射光６１の方が、２次元センサ１３ａに到達する光の光量が多くなることによるものである。

【0036】

その場合、図５Ａおよび図５Ｂに示すように、輝度画像１５ａでは、直接来る照射光６１を受光する画素５１は白くなり画素の光量飽和が発生することになる。また、距離画像１４ａでは、距離値としては遠いことを示す青色が表示されるが、この場合の距離値は画素飽和に影響を受けて、画素５２の部分で誤差の大きな距離値となっており、相手側の第２のＴＯＦカメラ５０が干渉している状態となっている。なお、図示の都合上、この青色の部分は、黒色の塗りつぶしにより示されている。また、図５Ａにおける照射光６２に関しては、第１のＴＯＦカメラ１に光が直接入射することはないため、干渉することはない。

【0037】

次に、反射壁７０による影響について説明する。図５Ｂに示すように、第１のＴＯＦカメラ１からは、照射光（６０、６３）が照射されている。その一方で、第２のＴＯＦカメラ５０からは、照射光（６１、６２）が照射されている。ここで、第１のＴＯＦカメラ１の距離画像１４ａや輝度画像１５ａには、第２のＴＯＦカメラ５０の発光部１０が発光している状態が観測される。

【0038】

ここで、相手側のＴＯＦカメラの照射光６１を直接自分側のＴＯＦカメラ１で受光した場合に、輝度画像１５ａでは１画素もしくは数画素が白く飽和することがあるのは、図５Ａと同じである。これは、図示しない被写体からの反射光よりも相手側からの直接来る照射光６１の方が２次元センサ１３ａに到達する光の光量が多くなることによるものである。その場合、図に示すように輝度画像１５ａでは、直接来る照射光６１を受光する画素５１は白くなり画素の光量飽和が発生することになる。また、距離画像１４ａでは、画素５２は距離値としては遠いことを示す青色が表示されるが、この場合の距離値は画素飽和に影響を受けて、誤差の大きな距離値となっており、相手側の第２のＴＯＦカメラ５０が干渉している状態となっている。ここで、図５Ｂでは、都合上、画素５２は黒色で示されている。

【0039】

さらに、図５Ｂにおいては、反射率の高い壁７０を反射した照射光６２が第１のＴＯＦカメラ１に到達する場合がある。なお、第１のＴＯＦカメラ１からは照射光６３が照射されているが、反射率が高い壁７０に対しては斜めに入射することになるため、ＴＯＦカメラ１へ戻る光は多くない。従って、壁７０を反射した照射光６２が、光量としては支配的となって、第１のＴＯＦカメラ１の２次元センサ１３ａに到達することになる。

【0040】

そのような場合の輝度画像１５ａや距離画像１４ａでは、図５Ｂに示すように、輝度画像１５ａには、画素５３は白くなり画素の光量飽和が発生する。また、距離画像１４ａでは、画素５４は距離値としては遠いことを示す青色が表示され、反射率の高い壁７０の影響を受けて、相手側の第２のＴＯＦカメラ５０が干渉している状態となっている。なお、図示の都合上、画素５４については黒色で示されている。

【0041】

干渉状態が発生する画素の位置は、ＴＯＦカメラ１とＴＯＦカメラ５０、及び、反射率の高い物体（詳細には、反射する位置）との間の相対的な位置関係により、決まるものである。そのため、図５Ａおよび図５Ｂで説明した相手側のＴＯＦカメラ５０の照射光６１（直接光）による干渉が発生する画素の位置は、ＴＯＦカメラの位置が移動しない限り（詳細には、ＴＯＦカメラの相対的な位置関係が変わらない限り）、移動することがない。また、図５Ｂで説明した相手側のＴＯＦカメラの照射光６２（反射光）による干渉が発生する画素の位置は、ＴＯＦカメラおよび照射光６２の反射位置との相対的な位置関係が変わらない限り、移動することがない。従って、ＴＯＦカメラが設置された環境で、ＴＯＦカメラと反射位置との関係を考慮することで、飽和画素が発生し易い領域を判断することができる。

【0042】

次に、実施形態１における干渉画素の距離値の無効化について説明する。図６Ａおよび図６Ｂは、図５ＢのＴＯＦカメラ１における輝度画像と距離画像を示した図であり、図６Ａは距離値の無効化処理前を示し、図６Ｂは距離値の無効化処理後を示している。

【0043】

実施形態１においては、画像処理部１６は、輝度画像１５ａにて光量飽和が発生している画素を選択し、距離画像１４ａの同じ位置の画素について距離値の無効化処理を行う。図６Ａおよび図６Ｂの例では、画素５２や画素５４が対象となる。ここで、距離値の無効化とは、その画素は距離値を値として持たないものとして距離画像１４ａ内では扱うということである。

【0044】

さらに、距離値の無効化の処理を行う画素について、図６Ａに示すように、輝度画像１５ａにあらかじめ設定した無効化領域５５、及び、距離画像１４ａにあらかじめ設定した無効化領域５６の中にある画素が対象となることが特徴となっている。すなわち、受光部１０内の全受光画素の内の特定の一部の領域を、距離値の無効化処理を行う領域である飽和判定受光画素領域として設定することが特徴となっている。なお、図６Ａおよび図６Ｂの例では、飽和判定受光画素領域（つまり、無効化領域５６）は、反射する経路で到達する光を受光する画素５４、および、その周辺画素を含めた領域に設定されている。反射する経路に関する飽和判定受光画素領域を設定することで、一例として、反射する物体とＴＯＦカメラの配置が近くなる場合に、反射物を介した干渉の影響を効果的に抑制することができる。そして、本実施形態では、無効化領域５６内に光量飽和が発生した場合に、画素５４に加えて無効化領域５６内の他の画素全てについても距離値の無効化処理が行われる。

【0045】

このように距離値の無効化処理を行う対象の画素をあらかじめ設定した画素範囲に限定することにより、被写体２が近接して光量飽和が発生する場合と、２台のＴＯＦカメラの相互干渉による光量飽和が発生する場合と、を分離することが可能となる。すなわち、相互干渉が発生し易いもしくは相互干渉が発生する画素範囲に飽和判定受光画素領域を設定することで、この画素範囲における干渉の影響を抑制することができる。その結果、例えば複数の画素の距離値の集まりを人とみなすことにより、人の移動を検知するアプリにおいては、相互干渉により誤差が発生した距離値を除外することができるため、例えば、被写体２が近接する場合であっても、人の移動の検知性能を劣化しないようにできる。

【0046】

次に、実施形態２について説明する。実施形態１で説明した内容と同様の説明については省略することがある。

【0047】

実施形態１では、無効化領域５６内に光量飽和の画素が発生した場合に、無効化領域５６内の全ての画素について距離値の無効化処理が行われる例について説明された。その一方で、実施形態２では、距離値の無効化処理を行う場合の距離範囲の限定について説明する。図７は、図５Ｂと同じく２台のＴＯＦカメラと略平行に反射率の高い壁がある例を示しており、無効化処理の範囲（無効化処理範囲）を距離方向に（すなわち、計測を行う方向に）設ける例について示している。

【0048】

実施形態２では、実施形態１で示した距離値の無効化処理の実施に関して、無効化処理基準７１が設定される。そして、その基準距離よりも遠方またはその基準距離以降の範囲である距離を計測する画素に、無効化処理が行われる。その一方で、無効化領域５６内の画素に光量飽和が発生していても、基準距離よりも遠い距離または基準距離以降の距離を計測しない画素については、無効化処理の対象とならない。なお、本実施形態では、無効化領域５６内の画素５４については、計測する距離に関わらず、距離値を無効化する処理が行われる。

【0049】

無効化処理基準７１は、第２のＴＯＦカメラ５０からの照射光６２が反射率の高い壁７０で反射する位置の付近（反射位置付近７２）よりも第１のＴＯＦカメラ１の側に設定することが必要である。すなわち、無効化処理基準７１の基準となる距離は、第２のＴＯＦカメラ５０から照射され、第１のＴＯＦカメラに反射して到達する照射光６２の経路で、反射位置よりも第１のＴＯＦカメラ１側になるように設定することができる。

【0050】

そのように設定することで、第１のＴＯＦカメラ１から無効化処理基準７１までの間にある被写体２に関しては、被写体２自体が、照射光６２（つまり、壁７０で反射する照射光６２）の影響を遮ることになるので、照射光６２に関する干渉を考慮しなくてもよい。その結果、無効化領域５６において無効化となる画素を減らすもしくは無くすことができる。

【0051】

このように無効化処理基準７１を設けることで、例えば、人の移動検知アプリに利用する場合に、無効化する画素の数を抑えるという観点から、その性能を劣化しないようにできる。

【0052】

尚、無効化処理基準７１は、必ずしも直線状や平面である必要はなく、曲線や曲面のような形状で設定してもかまわないことは言うまでもない。また、画素（５１、５２）を含むように無効化領域（５５、５６）を設定する場合では、直接的な照射光６１の影響を被写体２が遮る場合であっても、同様にして、無効化となる画素を減らすもしくは無くすことができる。ここで、反射光（この例では、照射光６２）に関する基準距離の大きさと、直接光（この例では、照射光６０）に関する基準距離の大きさと、を異ならせてもよい。

【0053】

以上に述べた各実施形態によれば、２つのＴＯＦカメラが対向して配置され、反射率が高い壁面のようなものを反射経由して、相手側で発光する光が自分側に到達するような条件下においても、受光センサの特定画素周辺の干渉の影響を十分に低減することができ、測距装置の距離誤差を低減することが可能となる。

【0054】

また、各実施形態では、反射率が高い壁７０がある場合と無い場合に分けて説明を行ったが、例えば、地下鉄のホームにおける地下鉄の車輛の壁面のように、反射率の高い壁が時間によって所定の位置にあったりなかったりするような環境であってもかまわない。そのような場合には、１フレームあるいは数フレーム毎（すなわち、一の画像を取得するタイミング毎、あるいは、複数の画像を取得するタイミング毎）に、距離値の無効化処理の実施有無を判断することで、上記で説明したような効果を得ることが可能である。また、反射率の高い壁ではなく、反射率が高くて飽和画素を発生させるような他の物体が対象とされてもよい。

【0055】

本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。また、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、例えば必ずしも説明した全ての構成を備えるものに限定されるものではない。

【0056】

ＴＯＦカメラ１のＣＰＵ２４は、所定の処理を実行することができれば、他の半導体デバイスであってもよい。

【0057】

距離計算部１４、輝度計算部１５、画像処理部１６、発光処理部２５は、適宜の記憶装置（例えば、メモリ）に記憶される。なお、距離計算部１４、輝度計算部１５、画像処理部１６、発光処理部２５は、ＣＰＵ２４により実行されればよく、記憶装置の位置は特に限定されない。記憶装置は、例えば、ＴＯＦカメラ１の内部に設けることができる。

【0058】

ＣＰＵ１８は、一例として、ＰＣ（パーソナルコンピュータ）本体のＣＰＵであってもよい。また、ＣＰＵ１８は、所定の処理を行うことができれば他の半導体デバイスに代えてもよい。

【0059】

ＴＯＦカメラを複数台用いる場合、ＣＰＵ１８がこれらのＴＯＦカメラを一括で制御してもよい。その一方で、単数のＴＯＦカメラを制御する構成（例えば、ＣＰＵ）が複数設けられてもよい。

【0060】

無効化領域（５５、５６）の範囲は、受光して光量飽和を発生し得る画素、および、当該画素の周辺の画素を含めるように適宜に設定されればよい。無効化領域（５５、５６）は、例えば、直接光を受光する画素（５１、５２）を含めて設定されてもよい。例えば、第２のＴＯＦカメラ５０から照射されて反射しない経路で到達する光を受光する画素、および、その周辺の画素を含めた領域に無効化領域（５５、５６）が設定されてもよい。その一方で、直接光を受光する画素（５１、５２）を含めずに、反射光を受光する画素（５３、５４）とその周辺の画素が無効化領域（５５、５６）として設定されてもよい。

【0061】

無効化領域（５５、５６）は、ユーザが適宜に設定することができるが、適切な設定を行うことができればよく、取得する輝度画像を用いた適宜のプログラムの処理により設定されてもよい。無効化領域（５５、５６）は、例えば、輝度に関するデータを取得した画像処理部１６により設定されてもよい。また、無効化領域（５５、５６）の更新が必要に応じて適宜に行われてもよい。

【0062】

光量飽和の判定は、輝度計算と同時に輝度計算部１５により行われてもよいし、他の構成（他のプログラム）により行われてもよい。例えば、画像を生成する処理を行う際に、画像処理部１６により、光量飽和の発生が判定されてもよい。

【0063】

実施形態では、２台のＴＯＦカメラを対向して配置し、一方のＴＯＦカメラからの照射光の干渉を抑制することを中心に説明された。その一方で、１台のＴＯＦカメラを配置して、このＴＯＦカメラが干渉の抑制を行ってもよい。すなわち、このＴＯＦカメラ１において、干渉の影響により光量飽和の画素が発生する場合に、この画素および周辺の画素について、距離値を無効値とする処理が行われてもよい。ここで、飽和判定受光画素領域は、設置環境に応じて適宜に設定することができる。また、上記の説明と同様に、無効化処理基準７１を設定した処理が行われてもよいし、距離値を無効値にする処理が１フレーム毎あるいは複数フレーム毎に行われてもよい。

【符号の説明】

【0064】

１：第１のＴＯＦカメラ（画像生成部）、
２：被写体、
１０：発光部、
１１ａ：光源、
１２：発光制御部、
１３：受光部、
１３ａ：２次元センサ。
１４：距離計算部、
１４ａ：距離画像、
１５：輝度計算部、
１５ａ：輝度画像、
１６：画像処理部、
１８：ＣＰＵ、
１９：内部メモリ、
２１：アプリ部、
２２：ＴＯＦ制御部、
２３：表示装置、
２４：ＣＰＵ
２５：発光処理部
５０：第２のＴＯＦカメラ、
５５：輝度画像上の無効化領域、
５６：距離画像上の無効化領域、
６０、６３：第１のＴＯＦカメラの照射光、
６１、６２：第２のＴＯＦカメラの照射光、
７０：壁、
７１：無効化処理基準、
７２：反射位置付近。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】