特許 7297714 測距装置及び光源の発光診断方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-16

(45)【発行日】2023-06-26

(54)【発明の名称】測距装置及び光源の発光診断方法

(51)【国際特許分類】

   G01S 7/497 20060101AFI20230619BHJP

   G01S 17/894 20200101ALI20230619BHJP

【ＦＩ】

G01S7/497

G01S17/894

【請求項の数】 4

(21)【出願番号】P 2020088023

(22)【出願日】2020-05-20

(65)【公開番号】P2021181952

(43)【公開日】2021-11-25

【審査請求日】2022-06-01

(73)【特許権者】

【識別番号】501009849

【氏名又は名称】株式会社日立エルジーデータストレージ

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】泉 克彦

(72)【発明者】

【氏名】今井 猛

【審査官】▲高▼場 正光

(56)【参考文献】

【文献】特開２０２０－０６７３８８（ＪＰ，Ａ）

【文献】特開２００１－０９１６６６（ＪＰ，Ａ）

【文献】特開２０１８－０８２２３３（ＪＰ，Ａ）

【文献】特開２０１９－１５８５４６（ＪＰ，Ａ）

【文献】特開２０１４－１８１９４９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８ － Ｇ０１Ｓ ７／５１

Ｇ０１Ｓ １７／００ － Ｇ０１Ｓ １７／９５

(57)【特許請求の範囲】

【請求項1】

被写体の位置を距離画像として出力する測距装置において、
複数個（ｎ個）の光源を発光させ被写体に光を照射する発光部と、
被写体からの反射光を受光する受光部と、
前記受光部の検出信号から被写体までの距離を計算する距離計算部と、
前記受光部の検出信号から被写体の輝度を計算する輝度計算部と、
前記距離計算部で計算した距離から被写体の距離画像を生成し、前記輝度計算部で計算した輝度から被写体の輝度画像を生成する画像処理部と、
前記生成された輝度画像からフレーム毎の画面輝度値を計算する画面輝度計算部と、
フレーム毎の画面輝度値を用いて前記光源の発光状態が正常か異常かを判定する光源発光判定部と、を備え、
前記光源発光判定部は、フレームＴでは前記光源を全て点灯させたときの画面輝度値Ｌ（Ｔ）を取得し、フレームＳでは前記光源を全て消灯させたときの画面輝度値Ｌ（Ｓ）を取得し、フレームＮ（Ｎ＝１～ｎ）ではＮ番目の光源を点灯させ、他の光源を消灯させたときの画面輝度値Ｌ（Ｎ）を取得し、各フレームＴ，Ｓ，Ｎの画面輝度値Ｌ（Ｔ），Ｌ（Ｓ），Ｌ（Ｎ）を比較することにより、前記光源の発光状態を個別に判定し、
前記光源発光判定部は、フレームＴ，Ｓの画面輝度値Ｌ（Ｔ），Ｌ（Ｓ）がいずれも閾値Ｔｈ３よりも大きいとき、輝度画像には被写体が存在すると判定し、
フレームＮの画面輝度値Ｌ（Ｎ）をＮ＝１～ｎまで加算して分母とし、フレームＮの画面輝度値Ｌ（Ｎ）を分子とする輝度値比Ｌ（Ｎ）’を求め、
フレームＮの画面輝度値比Ｌ（Ｎ）’が閾値Ｔｈ４’よりも大きいとき、Ｎ番目の光源の発光状態は正常であると判定し、画面輝度値比Ｌ（Ｎ）’が閾値Ｔｈ４’よりも小さいとき、Ｎ番目の光源の発光状態は異常であると判定することを特徴とする測距装置。

【請求項2】

請求項１に記載の測距装置において、
前記画面輝度計算部は、フレーム毎の画面輝度値を計算するとき、各フレームで取得した輝度画像の全範囲の輝度値の総和または平均値、もしくは、各フレームで取得した輝度画像の所定の範囲の輝度値の総和または平均値を用いることを特徴とする測距装置。

【請求項3】

測距装置に用いる光源の発光診断方法において、
第１のフレームでは、前記光源を点灯させて被写体からの反射光を受光し、被写体の輝度画像を生成するステップと、
第２のフレームでは、前記光源を消灯させて被写体からの反射光を受光し、被写体の輝度画像を生成するステップと、
前記生成された輝度画像からフレーム毎の画面輝度値Ｌ１、Ｌ２を取得するステップと、
フレーム毎の画面輝度値Ｌ１、Ｌ２を用いて前記光源の発光状態が正常か異常かを判定するステップと、を備え、
第１及び第２のフレームの画面輝度値Ｌ１，Ｌ２がいずれも閾値Ｔｈ１よりも大きいとき、輝度画像には被写体が存在すると判定し、
第１のフレームの画面輝度値Ｌ１が閾値Ｔｈ２よりも大きいとき、前記光源の発光状態は正常であると判定し、画面輝度値Ｌ１が閾値Ｔｈ２よりも小さいとき、前記光源の発光状態は異常であると判定し、
各フレームの画面輝度値により、輝度画像には被写体が存在しないと判定したとき、再度各フレームの輝度画像を取得して、被写体が存在する状態になるまで前記ステップを繰り返すことを特徴とする光源の発光診断方法。

【請求項4】

測距装置に用いる複数個（ｎ個）の光源の発光診断方法において、
フレームＴでは、前記光源を全て点灯させて被写体からの反射光を受光し、被写体の輝度画像を生成するステップと、
フレームＳでは、前記光源を全て消灯させて被写体からの反射光を受光し、被写体の輝度画像を生成するステップと、
フレームＮ（Ｎ＝１～ｎ）では、Ｎ番目の光源を点灯させ他の光源を消灯させて被写体からの反射光を受光し、被写体の輝度画像を生成するステップと、
前記生成された輝度画像からフレーム毎の画面輝度値Ｌ（Ｔ），Ｌ（Ｓ），Ｌ（Ｎ）を取得するステップと、
フレーム毎の画面輝度値Ｌ（Ｔ），Ｌ（Ｓ），Ｌ（Ｎ）を用いて前記光源の発光状態が正常か異常かを判定するステップと、を備え、
フレームＴ，Ｓの画面輝度値Ｌ（Ｔ），Ｌ（Ｓ）がいずれも閾値Ｔｈ３よりも大きいとき、輝度画像には被写体が存在すると判定し、
フレームＮの画面輝度値Ｌ（Ｎ）が閾値Ｔｈ４よりも大きいとき、Ｎ番目の光源の発光状態は正常であると判定し、画面輝度値Ｌ（Ｎ）が閾値Ｔｈ４よりも小さいとき、Ｎ番目
の光源の発光状態は異常であると判定し、
各フレームの画面輝度値により、輝度画像には被写体が存在しないと判定したとき、再度各フレームの輝度画像を取得して、被写体が存在する状態になるまで前記ステップを繰り返すことを特徴とする光源の発光診断方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体の位置を距離画像として出力する測距装置及びこれに用いる光源の発光診断方法に関する。

【背景技術】

【0002】

光の伝達時間に基づいて被写体までの距離を測定するタイム・オブ・フライト法（以下、ＴＯＦ法）という技術により、測定した距離を距離画像として出力する測距装置が知られる。測距装置においては、測定距離の精度を維持することが必要である。例えば、店舗内での人物の移動を連続して検知するような用途では、測定距離の精度が劣化した場合には、人物の移動（動線）を正しく検出することができなくなる。このような測定精度の課題に対して、特許文献１に開示される技術では、複数の光源を順に切換えて発光させて被写体までの距離画像を複数生成し、その後、複数の距離画像のうち、画像の撮像において受光量が最も多い画像を用いて生成された距離画像を選択する構成が提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－１９０６７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

測距装置においては、測距用の照射光を発光する光源（レーザやＬＥＤなど）を備えているが、装置が動作中に光源が発光しないというような不具合が発生すると、距離を正しく測定することができなくなってしまう。その際、光源に不具合があっても所定以上の戻り光があれば距離値が出力されることから、距離の測定が可能か否かで光源の発光状態を判別することはできない。そのため測距装置には、光源の発光状態(発光不具合の有無)を的確に診断する機能を備えることが要求される。特に、測距装置を遠隔値から制御するシステムの場合は、遠隔地において光源の発光状態を診断できることが必要となる。

【0005】

これに関し前記特許文献１では、複数の光源を順に発光させ、受光量が最大となる距離画像を選択するものであるから、個々の光源の発光状態を単独で評価している訳ではない。よって、選択した距離画像が、必ずしも所望の精度を満足しているとは限らない。また、測距装置に用いる光源が１個のみの場合には距離画像は１枚のみとなり、特許文献１に開示される技術は適用できない。

【0006】

本発明の目的は、測距装置に用いる光源の発光状態を容易に診断できる測距装置及び発光診断方法を提供することである。

【課題を解決するための手段】

【0007】

本発明による測距装置は、光源を発光させ被写体に光を照射する発光部と、被写体からの反射光を受光する受光部と、前記受光部の検出信号から被写体までの距離を計算する距離計算部と、前記受光部の検出信号から被写体の輝度を計算する輝度計算部と、前記距離計算部で計算した距離から被写体の距離画像を生成し、前記輝度計算部で計算した輝度から被写体の輝度画像を生成する画像処理部と、前記生成された輝度画像からフレーム毎の画面輝度値を計算する画面輝度計算部と、フレーム毎の画面輝度値を用いて前記光源の発光状態が正常か異常かを判定する光源発光判定部と、を備える。前記光源発光判定部は、第１のフレームでは前記光源を点灯させたときの画面輝度値Ｌ１を取得し、第２のフレームでは前記光源を消灯させたときの画面輝度値Ｌ２を取得し、第１及び第２のフレームの画面輝度値Ｌ１，Ｌ２を比較することにより、前記光源の発光状態を判定する。

【0008】

また、本発明による測距装置に用いる光源の発光診断方法は、第１のフレームでは、前記光源を点灯させて被写体からの反射光を受光し、被写体の輝度画像を生成するステップと、第２のフレームでは、前記光源を消灯させて被写体からの反射光を受光し、被写体の輝度画像を生成するステップと、前記生成された輝度画像からフレーム毎の画面輝度値Ｌ１、Ｌ２を取得するステップと、フレーム毎の画面輝度値Ｌ１、Ｌ２を用いて前記光源の発光状態が正常か異常かを判定するステップと、を備える。第１及び第２のフレームの画面輝度値Ｌ１，Ｌ２がいずれも閾値Ｔｈ１よりも大きいとき、輝度画像には被写体が存在すると判定し、第１のフレームの画面輝度値Ｌ１が閾値Ｔｈ２よりも大きいとき、前記光源の発光状態は正常であると判定し、画面輝度値Ｌ１が閾値Ｔｈ２よりも小さいとき、前記光源の発光状態は異常であると判定する。

【発明の効果】

【0009】

本発明によれば、測距装置に用いる光源の発光状態を、容易にかつ遠隔値からも診断できることになり、測定距離の精度の維持と使用者の利便性の向上が図れる。

【図面の簡単な説明】

【0010】

【図1】実施例１における測距装置の構成図。

【図2A】ＴＯＦ法による距離測定の原理を説明する図。

【図2B】ＴＯＦ法による距離測定の原理を説明する図。

【図3A】光源の発光状態と輝度画像出力の関係を示す図。

【図3B】光源の発光状態と輝度画像出力の関係を示す図。

【図3C】光源の発光状態と輝度画像出力の関係を示す図。

【図3D】光源の発光状態と輝度画像出力の関係を示す図。

【図4A】光源の発光状態と画面輝度値の関係を示す図。

【図4B】画面輝度値を大きい順に並べ替えた図。

【図4C】判定閾値Ｔｈ１、Ｔｈ２の設定を説明する図。

【図5】実施例１における光源の発光状態の判定処理を示すフローチャート。

【図6】実施例２における測距装置とその動作状態を示す図。

【図7A】光源の発光状態と画面輝度値の関係（第１段階）を示す図。

【図7B】画面輝度値を大きい順に並べ替えた図。

【図7C】判定閾値Ｔｈ３の設定を説明する図。

【図8A】光源の発光状態と画面輝度値の関係（第２段階）を示す図。

【図8B】画面輝度値を大きい順に並べ替えた図。

【図8C】判定閾値Ｔｈ４の設定を説明する図。

【図9】実施例２における光源の発光状態の判定処理を示すフローチャート。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について図面を用いて説明する。

【実施例1】

【0012】

実施例１では、測距装置に用いる光源が１個の場合について説明する。
図１は、実施例１における測距装置の構成図である。測距装置では、人物等の被写体までの距離をＴＯＦ方式（Time of Flight方式）で測定し、測定した被写体の各部までの距離を例えば色別に表示し、距離画像として出力する。例えば、人物を測定対象としその移動軌跡を画像として出力することで、動線解析等が可能となる。

【0013】

測距装置は、ＴＯＦ方式による距離画像と被写体の輝度画像とを生成するＴＯＦカメラ１（以下、画像生成部とも呼ぶ）と、ＴＯＦカメラ１を制御するＣＰＵ１８を備え、両者はネットワーク１７で接続されている。ここでＣＰＵ１８は、ＴＯＦカメラ１で生成された距離画像や輝度画像を解析し、表示装置２３に表示させるだけでなく、ＴＯＦカメラ１に用いられる光源１１ａの発光状態を診断する機能を有し、以下、発光診断部とも呼ぶことにする。

【0014】

まずＴＯＦカメラ１（画像生成部）の構成について説明する。ＴＯＦカメラ１は、被写体２にパルス光を照射する発光部１０と、被写体２から反射したパルス光を受光する受光部１３と、受光部１３の検出信号から被写体２までの距離を計算する距離計算部１４と、被写体２の輝度を計算する輝度計算部１５と、距離計算部１４から出力される距離データを基に被写体２の距離画像を生成し、輝度計算部１５から出力される輝度データを基に被写体２の輝度画像を生成する画像処理部１６から構成されている。

【0015】

発光部１０は、照射光３ａを出射するレーザダイオード（ＬＤ）や面発光レーザ、発光ダイオード（ＬＥＤ）などの光源１１ａが配置される光源部１１と、光源１１ａの点灯あるいは消灯、もしくは発光量の調整を行う発光制御部１２を有する。なお、照射光には赤外光を用いる。発光制御部１２は光源駆動回路１２ａを有し、外部のＣＰＵ１８からの指令に従い、光源駆動回路１２ａを制御する。光源１１ａからの照射光３ａは、被写体２の存在する領域に向けて出射される。

【0016】

被写体２から反射した光は、受光部１３に入射する。受光部１３はＣＣＤセンサやＣＭＯＳセンサなどの２次元センサ１３ａで構成され、２次元センサ１３ａで光電変換された信号が、距離計算部１４と輝度計算部１５に送られる。距離計算部１４では、被写体２までの距離を計算し、被写体２までの距離データを画像処理部１６へ送る。輝度計算部１５では、被写体２からの反射光の光量から輝度を計算し、被写体２の輝度データを画像処理部１６へ送る。画像処理部１６は、距離データに基づき被写体画像の色相を変えるカラー化処理を行い、また、輝度データに対して、明度、コントラスト等を変える処理を行うこともできる。画像処理が行われた距離画像や輝度画像のデータは、ネットワーク１７を介してＣＰＵ１８へ送信される。

【0017】

ＣＰＵ１８では、ＴＯＦカメラ１から送信された距離画像データや輝度画像データをフレーム毎に内部メモリ１９に格納する。そして、距離画像や輝度画像を表示装置２３に表示することで、ユーザはカラー化された距離画像を見ることで、人物等の被写体の位置（距離）や形状（姿勢）、また移動軌跡（動線）を容易に知ることができる。

【0018】

一方、ＣＰＵ１８は発光診断機能を有している。画面輝度計算部２０は、内部メモリ１９に格納された輝度画像データによりフレーム毎の画面輝度値を計算する。画面輝度値は、１つのフレーム内の各画素で検出した輝度値の総和（または画素平均値）である。あるいは、画面全体ではなく一部の同じ視野位置の画面を切り出して画面輝度値を算出しても構わない。

【0019】

光源発光判定部２１は、フレーム毎の画面輝度値を用いて、ＴＯＦカメラ１の光源１１ａの発光状態の判定、すなわち光源１１ａの発光が正常であるか、あるいは異常であるか（非発光、または発光量が小）の判定を行う。判定結果及び輝度画像データは表示装置２３にて表示され、ユーザ（装置の管理者）に伝えることが可能である。

【0020】

ＴＯＦ制御部２２は、ＴＯＦカメラ１に制御信号を送り、距離画像や輝度画像を取得するために発光部１０（光源１１ａ）の点灯／消灯を制御する。また、光源１１ａの発光状態を診断するために、フレーム毎に光源の点灯／消灯を切り換える制御信号を送る。

【0021】

上記の説明では、１つのＣＰＵ１８にて、ＴＯＦカメラ１の通常の測距動作と光源の発光診断動作の両方を行うものとしたが、測距動作と発光診断動作を異なるＣＰＵで実行する構成としてもよい。

【0022】

図２Ａと図２Ｂは、ＴＯＦ法による距離測定の原理を説明する図である。ＴＯＦ法では、発光信号と受光信号の時間差により距離を算出する、
図２ＡはＴＯＦカメラ１と被写体２（例えば人物）の関係を示す図である。ＴＯＦカメラ１は、発光部１０から被写体２へ距離測定用の照射パルス３１を出射する。照射パルス３１は被写体２にて反射され、反射光パルス３２となって受光部１３の２次元センサ１３ａで受光される。発光部１０および受光部１３から被写体２までの距離をＤとする。ここで、発光部１０が照射パルス３１を出射してから受光部１３が反射光パルス３２を受光するまでの時間差をｔとすると、被写体２までの距離Ｄは、Ｄ＝ｃ×ｔ／２（ｃは光速）で求められる。

【0023】

図２Ｂは時間差ｔの測定を示す図である。距離計算部１４は、発光部１０から出射した照射パルス３１のタイミングと、受光部１３で受光した反射光パルス３２のタイミングから、その時間差ｔを測定し、前記式から被写体２との距離Ｄを算出する。また、２次元センサ１３ａにおける各画素位置での受光タイミングのずれから、被写体各部分の距離の差、すなわち被写体の凹凸形状を求めることができる。

【0024】

以下、本実施例における光源の発光状態の診断方法について説明する。
図３Ａ～図３Ｄは、ＴＯＦカメラの光源の発光状態と輝度画像出力の関係を示す図である。ここでは、光源の発光／非発光状態と被写体の有／無の状態との４通りの組み合わせについて、そのときに得られる被写体の輝度画像を比較している。

【0025】

図３Ａは、光源が発光し被写体が存在する状態を示している。発光部１０内にある光源１１ａが発光しており、被写体２に向けて照射光３ａを出射している。被写体２で反射された光は受光部１３内にある２次元センサ１３ａで受光する。受光部１３からの出力信号は、距離計算部１４で距離計算され、輝度計算部１５で輝度計算されて、画像処理部１６にて１フレーム毎に距離画像と輝度画像の２つの２次元画像が生成される。この距離画像と輝度画像はＣＰＵ１８に送られ、表示装置２３で表示される。ここには表示される輝度画像４０の例を示す。

【0026】

輝度画像４０は、画面内の各画素位置にて受光した被写体２からの反射光の光量に応じた輝度値を表示することで、被写体２の形状を視覚化したものである。反射光量が多い領域は明色（白色）で示され、反射光量が少ない領域は暗色（黒色）で示される。この例では、被写体（人物）２の領域が明色で、背景領域が暗色で示される。この場合、輝度画面４０に被写体２が写っているので、画面輝度計算部２０の計算する画面全体の輝度値の総和（画面輝度値）は、大きな値となる。

【0027】

図３Ｂは、光源が発光し被写体が存在しない状態を示している。光源１１ａから照射光３ａが出射されるが、被写体からの反射光が無い状態となる。そのため輝度画像４０には、被写体２の形状が写っておらず、背景からの反射光のみの暗い画像となる。この場合、画面輝度計算部２０の計算する画面輝度値は、中程度の値となる。

【0028】

図３Ｃは、光源が発光せず被写体が存在する状態を示している。これは、光源を消灯させた状態、あるいは光源を点灯させたが光源の異常のために光源１１ａは発光せず、照射光３ａは存在しない。この場合、被写体２からは照射光以外の外光による反射光だけしか存在しない。そのため輝度画像４０は、被写体２の形状が僅かに写っている暗い画像となる。よって、画面輝度値は小さな値となる。

【0029】

図３Ｄは、光源が発光せず被写体が存在しない状態を示している。これも、光源を消灯させた状態、あるいは光源を点灯させたが光源の異常のために、光源１１ａは発光せず、照射光３ａは存在しない。また、被写体２からの反射光自体が存在しない。そのため輝度画像４０は、被写体２の形状が写っておらず、背景のみの暗い画像となる。よって、画面輝度値はほとんど零（０）となる。

【0030】

このように、ＴＯＦカメラ１の光源１１ａの発光／非発光状態と、被写体２の有／無に応じて、輝度画面４０の画面輝度値が変化する。本実施例ではこの性質を利用して、計算された画面輝度値から逆に光源１１ａの発光／非発光状態と、被写体２の有／無を判定するようにした。画面輝度値が低下する要因としては、ＴＯＦカメラ１の光源は正常に発光しているが被写体が存在しない場合（図３Ｂ）と、光源の発光に異常（非発光、または発光量の低下）があって被写体を検知できない場合（図３Ｃ）とがある。これらは別途画面輝度値の閾値を設けて、計算された画面輝度値を閾値と比較することで要因を分離する。そして、光源の発光状態を判定するのは、被写体が存在する状態で行う。これにより、光源の劣化等の不具合をより正確に判定することができる。

【0031】

次に、発光状態の判定処理に関して、詳細に説明する。
図４Ａは、光源の発光状態と輝度画像の画面輝度値の関係を示す図である。ここには、光源の発光動作のＯＮ（点灯）／ＯＦＦ（消灯）、光源の実際の発光状態（正常発光／異常発光／非発光）、被写体の有／無により、条件をＡ１～Ａ４，Ｂ１～Ｂ２に分けて、それぞれの条件における輝度画像の画面輝度値Ｌを示している。なお、発光状態を判定するために、フレーム１では光源の発光動作をＯＮにしたときの輝度画像を取り込み、フレーム２では光源の発光動作をＯＦＦにしたときの輝度画像を取り込む。そして、フレーム１の輝度画像とフレーム２の輝度画像を用いて判定する。

【0032】

画面輝度値Ｌは、各条件Ａ１～Ａ４，Ｂ１～Ｂ２に対し異なるレベルとなる。条件Ａ１は光源が正常に発光し被写体があるときで、その画面輝度値Ｌ（Ａ１）は一番大きい値となる。条件Ａ２は被写体がない場合で、その画面輝度値Ｌ（Ａ２）は、背景の輝度のみとなるため、Ｌ（Ａ１）に次ぐ値となる。ここで、被写体が存在し光源が異常または非発光である条件Ａ３と条件Ｂ１では、光源以外の外光により被写体からの反射光が存在するため、その画面輝度値Ｌ（Ａ３）とＬ（Ｂ１）は小さい値となる。一方、被写体がなく光源が異常または非発光である条件Ａ４と条件Ｂ２では、輝度画像には何も写らないために、その画面輝度値Ｌ（Ａ４）とＬ（Ｂ２）はほとんど零（０）の値となる。

【0033】

次に、フレーム１、２における画面輝度値を用いて被写体の有無と光源の発光状態を判定する。
図４Ｂは、図４Ａに記載した画面輝度値Ｌを、大きい順に並べ替えた図である。画面輝度値Ｌの大きさにより、現在の動作状態が分離されることを示し、条件Ａ１～Ａ４，Ｂ１～Ｂ２のいずれに当てはまるかが判明する。各状態に分離するために、画面輝度値Ｌの判定閾値Ｔｈ１、Ｔｈ２を設定する。そして、判定閾値Ｔｈ１により被写体の有無を判定し、被写体の存在する状態において、判定閾値Ｔｈ２により光源の発光状態（正常／異常）を判定する。

【0034】

図４Ｃは、判定閾値Ｔｈ１、Ｔｈ２の設定を説明する図で、光源の発光量と画面輝度値Ｌの関係を示している。曲線５０で示すように、光源の発光量が正常状態（１００％）から減少するに従って、画面輝度値Ｌが略比例して減少する。また、図４Ｂの各条件における画面輝度値Ｌ（Ａ１）～Ｌ（Ｂ２）は、図面右側に示すレベル（大小関係）になる。

【0035】

ここで、画面輝度値Ｌの判定閾値Ｔｈ１として、被写体がなく光源が異常または非発光であるときの画面輝度値Ｌ（Ａ４），Ｌ（Ｂ２）を超える所定の小さい値を設定する。これにより、フレーム１及びフレーム２の画面輝度値Ｌ１，Ｌ２の両方が判定閾値Ｔｈ１より大きい場合は、条件Ａ１，Ａ３，Ｂ１のいずれかということになり、被写体が存在すると判定することができる。

【0036】

次に判定閾値Ｔｈ２は、被写体が存在するときの光源の発光状態を判定するためのものである。まず、光源の発光状態が異常であると判定する発光量の範囲５１を定め、これとグラフの曲線５０とが交わる点の画面輝度値Ｌを判定閾値Ｔｈ２として設定する。図４Ｃの例では、光源の発光量が３０％以下を異常と定め、その境界値である画面輝度値Ｌ＝５０％を判定閾値Ｔｈ２に設定している。これにより、フレーム１の画面輝度値Ｌ１が判定閾値Ｔｈ２よりも大きい場合は、画面輝度値Ｌ（Ａ１）に相当し、正常発光状態と判定する。また、フレーム１の画面輝度値Ｌ１が判定閾値Ｔｈ２よりも小さい場合は、画面輝度値Ｌ（Ａ３）に相当し、異常発光状態と判定する。

【0037】

ただし、画面輝度値Ｌの絶対値は、被写体の大きさ（画面内の面積比率）や反射率等で変動する。よって、発光状態の判定は、フレーム１（点灯時）の画面輝度値Ｌ１とフレーム２（消灯時）の画面輝度値Ｌ２を比較し、その差分ΔＬ（＝Ｌ１－Ｌ２）の大きさで判定してもよい。この場合は、同様に、差分ΔＬに対する判定閾値ΔＴｈを設定して用いればよい。

【0038】

図５は、実施例１における光源の発光状態の判定処理を示すフローチャートである。以下に示す判定処理は、測距装置のＣＰＵ１８（発光診断部）が図１の各部の動作を制御することで実行される。以下、ステップ順に説明する。

【0039】

Ｓ１０１：ＣＰＵ１８からの指令でＴＯＦカメラ１を起動させる。
Ｓ１０２：ＣＰＵ１８からの指令でＴＯＦカメラ１を光源の発光状態診断モードに設定する。

【0040】

Ｓ１０３：ＴＯＦカメラ１では、フレーム１の処理として、発光制御部１２により光源１１ａを点灯させる。
Ｓ１０４：ＴＯＦカメラ１では、受光部１３により被写体からの反射光を受光し、輝度計算部１５と画像処理部１６により輝度画像を取得する。取得した輝度画像はＣＰＵ１８に送信される。
Ｓ１０５：ＣＰＵ１８では、受信した輝度画像をフレーム１の輝度データとして内部メモリ１９に格納し、フレーム１の処理を終了する。

【0041】

Ｓ１０６：ＴＯＦカメラ１では、フレーム２の処理として、発光制御部１２により光源１１ａを消灯させる。
Ｓ１０７：ＴＯＦカメラ１では、被写体からの反射光を受光し輝度画像を取得する。取得した輝度画像はＣＰＵ１８に送信される。
Ｓ１０８：ＣＰＵ１８では、受信した輝度画像をフレーム２の輝度データとして内部メモリ１９に格納し、フレーム２の処理を終了する。

【0042】

この時点で内部メモリ１９には、光源１を点灯したときの輝度データ（フレーム１）と、光源１を消灯したときの輝度データ（フレーム２）とが格納されている。

【0043】

Ｓ１０９：ＣＰＵ１８の画面輝度計算部２０は、内部メモリ１９に格納されたフレーム１とフレーム２の輝度データを用いて、それぞれのフレームの画面輝度値Ｌ１，Ｌ２を計算する。
Ｓ１１０：光源発光判定部２１は、フレーム１の画面輝度値Ｌ１とフレーム２の画面輝度値Ｌ２の両方が判定閾値Ｔｈ１より大きいかどうかを判定する。判定結果がＹｅｓの場合はＳ１１１へ進み、Ｎｏの場合はＳ１１２へ進む。

【0044】

Ｓ１１１：被写体が存在すると判定し、Ｓ１１３へ進む。
Ｓ１１２：被写体が存在しないと判定し、Ｓ１０３へ戻る。そして、再度輝度画像を取得して、被写体が存在する状態になるまで繰り返す。

【0045】

Ｓ１１３：被写体が存在する場合、光源発光判定部２１は、フレーム１とフレーム２の画面輝度値の差ΔＬ（＝Ｌ１－Ｌ２）を求め、差ΔＬが判定閾値ΔＴｈより大きいかどうかを判定する。判定結果がＹｅｓの場合はＳ１１４へ進み、Ｎｏの場合はＳ１１５へ進む。

【0046】

Ｓ１１４：光源の発光状態は正常であると判定する。
Ｓ１１５：光源の発光状態は異常である（非発光、または発光量が小）と判定する。
Ｓ１１６：光源の発光状態の判定結果（正常／異常）を表示装置２３に出力して表示する。

【0047】

以上のフローにおいて、Ｓ１１０の判定では、フレーム１とフレーム２はいずれも被写体が存在する、またはいずれも被写体が存在しないものとして扱ったが、一方のフレームのみ被写体が存在し、他方のフレームでは被写体が存在しないようなケースもあり得る。そこで、フレーム１とフレーム２において輝度画像だけでなく距離画像も取得して、フレーム間で距離画像に変化がないこと、すなわち被写体の有無に変化がないことを確認するようにしてもよい。

【0048】

またＳ１１２では、被写体が存在しないときにはＳ１０３へ戻り再度輝度画像を取得するが、その際、輝度画像だけでなく距離画像も取得して、距離画像の変化から被写体の出現を確認するようにしてもよい。

【0049】

以上のように実施例１によれば、フレーム１（点灯）とフレーム２（消灯）で取得した輝度画像の画面輝度値を比較することで、被写体の有無を含めて光源の発光状態（正常／異常）の判定が可能となる。

【実施例2】

【0050】

実施例２では、測距装置に用いる光源が複数個の場合について説明する。
図６は、実施例２における測距装置とその動作状態を示す図である。測距装置の基本構成は実施例１と同じであるが、実施例１との違いは、ＴＯＦカメラ１の発光部１０には複数の光源１１ａ，１１ｂ，１１ｃが配置され、各光源から被写体に向け照射光３ａ～３ｃが出射されることである。複数の光源を用いることで、照射光の強度を増大させ、測距精度を向上させることができる。ただし、複数の光源の中に不具合のものが存在すると、全体の照射光の強度が低下して、測距精度の劣化につながる恐れがあることから、光源の発光状態を個別に判定する必要がある。

【0051】

次に発光状態判定処理の詳細に関して説明する。光源が複数個あるときは、第１段階では被写体の有無を判定し、第２段階では各光源の発光状態を判定する。

【0052】

＜第１段階＞被写体有無の判定
図７Ａは、光源の発光状態と画面輝度値の関係（第１段階）を示す図である。実施例１の図４Ａに相当するが、フレームＴは全光源の発光動作のＯＮ（点灯）とし、フレームＳは全光源の発光動作をＯＦＦ（消灯）としたとき、光源の実際の発光状態（正常発光／異常発光／非発光）と、被写体の有／無により、条件をＴ１～Ｔ４，Ｓ１～Ｓ２に分けて、各条件での輝度画像と画面輝度値を示している。

【0053】

画面輝度値Ｌの大きさを比較すると、実施例１の図４Ａの傾向と同様である。すなわち、全光源が正常に発光して被写体があるときの画面輝度値Ｌ（Ｔ１）が最も大きい値で、全光源が正常に発光して被写体がないときの画面輝度値Ｌ（Ｔ２）は、これに次ぐ値となる。次に、被写体は存在するが光源発光に異常がある、または光源が非発光であるときの画面輝度値Ｌ（Ｔ３）とＬ（Ｓ１）は小さい値となる。一方、光源発光に異常がある、または光源が非発光で、被写体がないときの画面輝度値Ｌ（Ｔ４）とＬ（Ｓ２）はほとんど零（０）の値となる。

【0054】

次に、フレームＴ、Ｓにおける画面輝度値を用いて被写体の有無を判定する方法について説明する。
図７Ｂは、図７Ａに記載した画面輝度値Ｌを、大きい順に並べ替えた図である。画面輝度値Ｌの大きさにより、現在の動作状態を条件Ｔ１～Ｔ４，Ｓ１～Ｓ２に分離することができる。被写体の有無を判定するために、画面輝度値Ｌの判定閾値Ｔｈ３を設定する。

【0055】

図７Ｃは、判定閾値Ｔｈ３の設定を説明する図で、光源の発光量と画面輝度値Ｌの関係を示している。曲線５０で示すように、光源の発光量が減少するに従って、画面輝度値Ｌが減少する。また図７Ｂの各条件における画面輝度値Ｌは、図面右側に示すレベル（大小関係）になる。

【0056】

ここで、画面輝度値Ｌの判定閾値Ｔｈ３として、被写体がなく光源が異常または非発光であるときの画面輝度値Ｌ（Ｔ４），Ｌ（Ｓ２）を超える所定の小さい値を設定する。これにより、フレームＴ及びフレームＳの画面輝度値Ｌ（Ｔ），Ｌ（Ｓ）の両方が判定閾値Ｔｈ３より大きい場合は、条件Ｔ１，Ｔ２，Ｓ１のいずれかということになり、被写体が存在すると判定することができる。

【0057】

＜第２段階＞発光状態の判定
次に、被写体が存在する状態で、複数の光源の発光状態を個別に判定する方法について説明する。

【0058】

図８Ａは、光源の発光状態と画面輝度値の関係（第２段階）を示す図である。第１段階の図７Ａにおいて被写体が存在する状態のうち、全光源が正常に発光している状態（条件Ｔ１）と全光源が非発光である状態（条件Ｓ１）を取り上げる。また、光源を１個ずつ点灯させた状態（条件Ｃ１～Ｃ３）のフレーム１～３を追加して、画面輝度値Ｌ（Ｃ１）～Ｌ（Ｃ３）の関係を示している。ここでは、３個の光源１～３があり、そのうち光源２の発光が異常である場合を想定している。

【0059】

画面輝度値Ｌの大きさを比較すると、光源が正常に発光しているときの画面輝度値Ｌ（Ｔ１）、Ｌ（Ｃ１）、Ｌ（Ｃ３）は大きい値となり、光源が発光していないときや異常発光しているときの画像輝度値Ｌ（Ｓ１）、Ｌ（Ｃ２）は小さい値となる。

【0060】

図８Ｂは、図８Ａに記載した画面輝度値Ｌを、大きい順に並べ替えた図である。画面輝度値Ｌの大きさにより、現在の動作状態を光源が正常に発光している条件Ｔ１、Ｃ１、Ｃ３のグループと、光源が非発光あるいは異常発光の条件Ｓ１、Ｃ２のグループに分離することができる。この分離判定のために、画面輝度値Ｌの判定閾値Ｔｈ４を設定する。

【0061】

図８Ｃは、判定閾値Ｔｈ４の設定を説明する図で、光源の発光量と画面輝度値Ｌの関係を示している。曲線５０で示すように、光源の発光量が減少するに従って、画面輝度値Ｌが減少する。また図８Ｂの各条件における画面輝度値Ｌは、図面右側に示すレベル（大小関係）になる。

【0062】

ここで画面輝度値Ｌの判定閾値Ｔｈ４として、光源の発光状態が異常であると判定する範囲５１とグラフの曲線５０が交わる点の画面輝度値Ｌを判定閾値Ｔｈ４として設定する。図８Ｃの例では、光源の発光量が３０％以下を異常と定め、その境界値である画面輝度値Ｌ＝５０％を判定閾値Ｔｈ４に設定している。これにより、フレーム１からフレーム３の画面輝度値Ｌを判定閾値Ｔｈ４と比較し、Ｔｈ４よりも大きいＬ（Ｃ１）、Ｌ（Ｃ３）は発光が正常であり、Ｔｈ４よりも小さいＬ（Ｃ２）は発光が異常であると判定する。

【0063】

ただし、画面輝度値Ｌの絶対値は、被写体の大きさ（画面内の面積比率）や反射率等で変動する。よって、発光状態の判定は、各フレーム１～３の画面輝度値Ｌ（Ｃ１）～Ｌ（Ｃ３）とフレームＳ（全部消灯時）の画面輝度値Ｌ（Ｓ１）を比較し、その差分ΔＬの大きさで判定してもよい。この場合は、同様に、差分ΔＬに対する判定閾値ΔＴｈを設定して用いればよい。

【0064】

図９は、実施例２における光源の発光状態の判定処理を示すフローチャートである。ここでは光源が複数個（ｎ個）の場合について、第１段階（被写体有無の判定）と第２段階（発光状態の判定）を続けて示している。

【0065】

Ｓ２０１：ＣＰＵ１８からの指令でＴＯＦカメラ１を起動させる。
Ｓ２０２：ＣＰＵ１８からの指令でＴＯＦカメラ１を光源の発光状態診断モードに設定する。

【0066】

Ｓ２０３：ＴＯＦカメラ１では、フレームＴの処理として、発光制御部１２により、全ての光源１～ｎを点灯させる。
Ｓ２０４：ＴＯＦカメラ１では、受光部１３により被写体からの反射光を受光し、輝度計算部１５と画像処理部１６により輝度画像を取得する。取得した輝度画像はＣＰＵ１８に送信される。
Ｓ２０５：ＣＰＵ１８では、受信した輝度画像をフレームＴの輝度データとして内部メモリ１９に格納し、フレームＴの処理を終了する。

【0067】

Ｓ２０６：ＴＯＦカメラ１では、フレームＳの処理として、発光制御部１２により全ての光源１～ｎを消灯させる。
Ｓ２０７：ＴＯＦカメラ１では、被写体からの反射光を受光し輝度画像を取得する。取得した輝度画像はＣＰＵ１８に送信される。
Ｓ２０８：ＣＰＵ１８では、受信した輝度画像をフレームＳの輝度データとして内部メモリ１９に格納し、フレームＳの処理を終了する。

【0068】

Ｓ２０９：光源番号Ｎとし、Ｎ＝１を選択する。
Ｓ２１０：発光制御部１２により、光源Ｎのみを点灯し、Ｎ以外の光源を消灯させる。
Ｓ２１１：被写体からの反射光により輝度画像を取得し、ＣＰＵ１８に送信する。
Ｓ２１２：ＣＰＵ１８では、受信した輝度画像をフレームＮの輝度データとして内部メモリ１９に格納し、フレームＮの処理を終了する。

【0069】

Ｓ２１３：光源番号Ｎが総数ｎに達したかどうかを判定する。判定結果がＹｅｓの場合はＳ２１４へ進み、Ｎｏの場合はＮ＝Ｎ＋１としてＳ２１０へ戻る。これにより、Ｎが総数ｎに達するまで輝度画像を取得する。

【0070】

以上の結果内部メモリ１９には、光源を全て点灯したときの輝度データ（フレームＴ）、光源を全て消灯したときの輝度データ（フレームＳ）、光源Ｎ（Ｎ＝１～ｎ）のみを点灯したときの輝度データ（フレームＮ）、の計（ｎ＋２）通りの輝度データが格納される。

【0071】

Ｓ２１４：ＣＰＵ１８の画面輝度計算部２０は、内部メモリ１９に格納された各フレームの輝度データを用いて、各フレームの画面輝度値Ｌ（Ｔ）、Ｌ（Ｓ）、Ｌ（Ｎ）を計算する。
Ｓ２１５：光源発光判定部２１は、フレームＴの画面輝度値Ｌ（Ｔ）とフレームＳの画面輝度値Ｌ（Ｓ）の両方が判定閾値Ｔｈ３より大きいかどうかを判定する。判定結果がＹｅｓの場合はＳ２１６へ進み、Ｎｏの場合はＳ２１７へ進む。

【0072】

Ｓ２１６：被写体が存在すると判定し、Ｓ２１８へ進む。
Ｓ２１７：被写体が存在しないと判定し、Ｓ２０３へ戻る。そして、再度輝度画像を取得して、被写体が存在する状態になるまで繰り返す。

【0073】

Ｓ２１８：被写体が存在する場合、各光源について発光状態の判定を行う。まず、光源番号Ｎ＝１を選択する。
Ｓ２１９：光源Ｎのみを点灯したフレームＮの画面輝度値Ｌ（Ｎ）が判定閾値Ｔｈ４より大きいかどうかを判定する。判定結果がＹｅｓの場合はＳ２２０へ進み、Ｎｏの場合はＳ２２１へ進む。

【0074】

Ｓ２２０：光源Ｎの発光状態は正常であると判定する。
Ｓ２２１：光源Ｎの発光状態は異常である（非発光、または発光量が小）と判定する。
Ｓ２２２：光源番号Ｎが総数ｎに達したかどうかを判定する。判定結果がＹｅｓの場合はＳ２２３へ進み、Ｎｏの場合はＮ＝Ｎ＋１としてＳ２１９へ戻る。これにより、Ｎが総数ｎに達するまで発光状態の判定を繰り返す。

【0075】

Ｓ２２３：各光源Ｎ（Ｎ＝１～ｎ）について、発光状態の判定結果（正常／異常）を表示装置２３に出力して表示する。
以上のように実施例２によれば、フレーム１からフレームｎで取得した輝度画像の画像輝度値を判定閾値と比較することで、光源１から光源ｎの発光状態を個別に判定することができる。

【0076】

なお、上記判定方法の変形例として、各フレームの画面輝度値（絶対値）の代わりに、各フレームＮ（Ｎ＝１～ｎ）の輝度値の総和を分母とし、各フレームの輝度値を分子とする比率（輝度値比）Ｌ（Ｎ）’を算出して、これを判定閾値Ｔｈ４’と比較してもよい。このように相対値で比較することで、被写体の反射率に関係なく各光源の発光状態を判定することができる。

【0077】

以上に述べた各実施例によれば、ＴＯＦカメラに用いる光源の発光状態を、容易にかつ遠隔値からも判定できることになり、測定距離の精度の維持と使用者の利便性の向上を図ることができる。

【0078】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

【符号の説明】

【0079】

１：ＴＯＦカメラ（画像生成部）、
２：被写体、
１０：発光部、
１１ａ～１１ｃ：光源、
１２：発光制御部、
１３：受光部、
１３ａ：２次元センサ、
１４：距離計算部、
１５：輝度計算部、
１６：画像処理部、
１８：ＣＰＵ（発光診断部）、
１９：内部メモリ、
２０：画面輝度計算部、
２１：光源発光判定部、
２２：ＴＯＦ制御部、
２３：表示装置、
４０：輝度画像。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図8A】

【図8B】

【図8C】

【図9】