特許 7402160 距離測定装置および信頼性判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-12

(45)【発行日】2023-12-20

(54)【発明の名称】距離測定装置および信頼性判定方法

(51)【国際特許分類】

   H04N 23/73 20230101AFI20231213BHJP

   H04N 23/56 20230101ALI20231213BHJP

   G02B 7/32 20210101ALI20231213BHJP

   G03B 13/36 20210101ALI20231213BHJP

   G01S 7/497 20060101ALI20231213BHJP

【ＦＩ】

H04N23/73

H04N23/56

G02B7/32

G03B13/36

G01S7/497

【請求項の数】 11

(21)【出願番号】P 2020532217

(86)(22)【出願日】2019-06-18

(86)【国際出願番号】 JP2019024096

(87)【国際公開番号】W WO2020021914

(87)【国際公開日】2020-01-30

【審査請求日】2022-05-18

(31)【優先権主張番号】62/701,992

(32)【優先日】2018-07-23

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520133916

【氏名又は名称】ヌヴォトンテクノロジージャパン株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】中村 清治

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２００６－１０５６９４（ＪＰ，Ａ）

【文献】国際公開第２０１７／１５９３１２（ＷＯ，Ａ１）

【文献】国際公開第２０１４／２０７９８３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／７３

Ｈ０４Ｎ ２３／５６

Ｇ０２Ｂ ７／３２

Ｇ０３Ｂ １３／３６

Ｇ０１Ｓ ７／４９７

(57)【特許請求の範囲】

【請求項1】

発光指示に従って照射光を照射する発光部と、
前記照射光に対応する反射光を露光する固体撮像素子を含む受光部と、
前記発光部に対して前記照射光の発光タイミングと発光期間とを制御し、前記固体撮像素子に対して前記反射光の露光タイミングと露光期間とを制御する発光露光制御部と、
前記受光部が出力した画素信号から距離データと光強度データを算出する演算部を含むデータ処理部とを備え、
前記発光露光制御部は、第一の距離からの反射光を露光し、かつ第一の距離よりも遠い測距レンジ内の第二の距離からの反射光を露光しないタイミングの露光制御をし、
前記データ処理部は、前記光強度データがあらかじめ設定された信号レベル以下にある画素の数をカウントして、距離データの信頼性を判定する判定部を備える
距離測定装置。

【請求項2】

前記データ処理部は、前記光強度データがあらかじめ設定された信号レベル以下にある画素の数が、あらかじめ設定された個数以下であることをもって、距離データの信頼性を低いと判定する
請求項１に記載の距離測定装置。

【請求項3】

前記データ処理部は、少なくとも画面内の所定の領域をもって、距離データの信頼性を判定する、
請求項１または請求項２に記載の距離測定装置。

【請求項4】

前記所定の領域は、被写体が存在しない箇所である
請求項３に記載の距離測定装置。

【請求項5】

前記データ処理部は、前記光強度データがあらかじめ設定された信号レベル以下にある画素の数が、あらかじめ設定された個数以下である状態が複数フレームにわたって連続することをもって、距離データの信頼性を低いと判定する
請求項１～４の何れか１項に記載の距離測定装置。

【請求項6】

前記データ処理部は、前記演算部で算出された距離データの大きさに応じて、距離データの信頼性の判定基準を変える
請求項１～５の何れか１項に記載の距離測定装置。

【請求項7】

前記データ処理部は、前記演算部で算出された距離データが画面全体にわたって所定の距離値よりも小さい時は距離データの信頼性が低いとは判定しない
請求項１～６の何れか１項に記載の距離測定装置。

【請求項8】

前記発光露光制御部は、反射光を含まない露光タイミングで露光を制御する
請求項１～７の何れか１項に記載の距離測定装置。

【請求項9】

前記発光露光制御部は、前記距離データを算出するための発光露光制御と、前記信頼性を判定するための発光露光制御とを、異なるフレームで行う
請求項１～８の何れか１項に記載の距離測定装置。

【請求項10】

前記データ処理部は、前記距離データの信頼性の判定として、真の距離データ、または偽りの距離データであるかを判定する
請求項１～９の何れか１項に記載の距離測定装置。

【請求項11】

距離測定装置の距離データの信頼性を判定する方法であって、
前記距離測定装置から照射光を発光し、
前記距離測定装置において第一の距離からの反射光を露光し、かつ第一の距離よりも遠い測距レンジ内の第二の距離からの反射光を露光しないタイミングの露光をし、
露光により距離測定装置で得られた光強度データがあらかじめ設定された信号レベル以下にある画素の数をカウントして、前記距離データの信頼性を判定する
信頼性判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、距離測定装置および信頼性判定方法に関し、特にＴＯＦ離測定装置および信頼性判定方法に関する。

【背景技術】

【0002】

特許文献１は、飛行時間（ＴＯＦ）レンジ画像システムにおける汚れ検出方法を開示している。この汚れ検出方法では、ＣＷ－ＴＯＦ（Ｃｏｎｔｉｎｕｏｕｓ Ｗａｖｅ－Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ）方式の振幅信号が所定の信号レベル以下である画素の数をカウントし、リファレンスとしての汚れ無し時のカウント数に基づく閾値より小さい場合に汚れありと判定する。例えば、車室内の乗員検知（無人、有人、チャイルドシートあり、など）を前提にカウント数が既知のリファレンスデータとして想定されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２００８／１５２０９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１では、ＴＯＦカメラが撮影するシーンや被写体がある程度決まっていて、リファレンスとしての汚れ無し時の測定データ（上記カウント値）を利用できる場合でしか有用でない。

【0005】

本開示は、汚れ無し時の測定データを利用することなく、カバーガラスの油脂汚れなどによって距離データの信頼性が低下したことを検出する距離測定装置および信頼性判定方法を提供する。

【課題を解決するための手段】

【0006】

本開示の一態様に係る距離測定装置は、発光指示に従って照射光を照射する発光部と、前記照射光に対応する反射光を露光する固体撮像素子を含む受光部と、前記発光部に対して前記照射光の発光タイミングと発光期間とを制御し、前記固体撮像素子に対して前記反射光の露光タイミングと露光期間とを制御する発光露光制御部と、前記受光部が出力した画素信号から距離データと光強度データを算出する演算部を含むデータ処理部とを備え、前記発光露光制御部は、第一の距離からの反射光を露光し、かつ第一の距離よりも遠い測距レンジ内の第二の距離からの反射光を露光しないタイミングの露光制御をし、前記データ処理部は、画素ごとの前記光強度データの信号量に応じて、距離データの信頼性を判定する判定部を備える。

【0007】

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0008】

本開示の距離測定装置および信頼性判定方法によれば、汚れ無し時の測定データを利用することなく、ＴＯＦカメラ前面のカバーガラスの油脂汚れなどによって距離データの信頼性が低下したことを検出することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、距離測定装置のカバーガラスの汚れによる距離データの信頼性低下の要因を説明するための図である。

【図2】図２は、実施の形態１における距離測定装置の構成例を示すブロック図である。

【図3】図３は、実施の形態１における距離測定用のパルス設定例を示すタイムチャートである。

【図4A】図４Ａは、実施の形態１における距離データの信頼性判定用（汚れ検出用）のパルス設定例を示すタイムチャートである。

【図4B】図４Ｂは、実施の形態１におけるゼロ距離、第一の距離および第二の距離を示す説明図である。

【図5】図５は、実施の形態１における距離データの信頼性判定用の実際のパルス波形の例を示す図である。

【図6A】図６Ａは、実施の形態に１おける距離データの信頼性判定における閾値の説明図である。

【図6B】図６Ｂは、実施の形態１における距離データの信頼性判定における閾値判定の説明図である。

【図7A】図７Ａは、実施の形態１における距離データの信頼性判定の第１の動作例を示すフローチャートである。

【図7B】図７Ｂは、実施の形態１における距離データの信頼性判定の第２の動作例を示すフローチャートである。

【図8】図８は、実施の形態２における被写体の有無を検知するためパルス設定例を示す図である。

【図9】図９は、実施の形態２における被写体有無判定と信頼性判定とを説明するための図である。

【図10】図１０は、実施の形態２における被写体有無判定および信頼性判定の動作例を示すフローチャートである。

【図11A】図１１Ａは、実施の形態３における信頼性判定動作の説明図である。

【図11B】図１１Ｂは、実施の形態３におけるゼロ距離、第一の距離、第二の距離および第三の距離を示す説明図である。

【図12】図１２は、実施の形態３における信頼性判定の動作例を示すフローチャートである。

【図13】図１３は、実施の形態４における信頼性判定の実施タイミング例を示す図である。

【図14】図１４は、実施の形態５における信頼性判定の動作例を示すフローチャートである。

【発明を実施するための形態】

【0010】

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した距離測定装置に関し、以下の問題が生じることを見出した。

【0011】

特許文献１では、リファレンスとしての汚れ無し時の測定データ（上記カウント値）を利用できる場合でしか有用でないという問題の他に、距離測定装置１００がカメラとして特に、スマートフォンに搭載された場合には、ユーザが把持し、持ち運び、操作すること等によって、測定した距離データの信頼性が低下するという問題が生じることがある。

【0012】

図１は、距離測定装置のカバーガラスの汚れによる距離データの信頼性低下の要因を説明するための図である。同図は、距離測定装置と照射光と反射光との関係を模式的に示している。同図の距離測定装置は、発光部、受光部およびカバーガラスを備える。発光部は、パルス状の照射光を発する。受光部は、被写体からの反射光を受光する固体撮像素子を持つ。カバーガラスは、発光部および受光部を保護するため発光部および受光部を覆う。

【0013】

この距離測定装置はたとえばスマートフォンに搭載される。距離測定装置１００がＴＯＦカメラとしてスマートフォンに搭載される場合には、カバーガラス表面は人の指や耳に接触することが多い。それゆえ、カバーガラス表面には、油脂、皮脂、化粧品、ヘアクリーム、埃などの汚れが付着することが多い。

【0014】

発光部からの照射光がカバーガラスを通過する際に、カバーガラス表面に付着した油脂、皮脂、化粧品、ヘアクリーム、埃などに当たって一部が反射し、迷光となる。迷光は、距離がゼロの反射光と同じで、その一部が受光部に取り込まれて、距離データの精度を低下させる。

【0015】

このような問題を解決するために、本発明の一態様に係る距離測定装置は、発光指示に従って照射光を照射する発光部と、前記照射光に対応する反射光を露光する固体撮像素子を含む受光部と、前記発光部に対して前記照射光の発光タイミングと発光期間とを制御し、前記固体撮像素子に対して前記反射光の露光タイミングと露光期間とを制御する発光露光制御部と、前記受光部が出力した画素信号から距離データと光強度データを算出する演算部を含むデータ処理部とを備え、前記発光露光制御部は、第一の距離からの反射光を露光し、かつ第一の距離よりも遠い測距レンジ内の第二の距離からの反射光を露光しないタイミングの露光制御をし、前記データ処理部は、画素ごとの前記光強度データの信号量に応じて、距離データの信頼性を判定する判定部を備える。

【0016】

これによれば、第二の距離よりも遠いところにある被写体に対応する画素は、カバーガラスの油脂汚れによって反射された光のみ受光することになり、油脂汚れの有無による信号レベル差を発生させることができる。このように、カバーガラスの油脂汚れがある場合の信号レベル差の発生を利用して、距離データの信頼性を判定することができる。

【0017】

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

【0018】

以下、実施の形態について、図面を参照しながら具体的に説明する。

【0019】

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の一形態に係る実現形態を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。本開示の実現形態は、現行の独立請求項に限定されるものではなく、他の独立請求項によっても表現され得る。

【0020】

また、以下で説明する実施の形態で用いられる信頼性は、演算により得られた距離データが真の距離データ（正しい距離データ）である確率（確率性、精度）、との意味である。

【0021】

また、信頼性を判定するは、演算により得られた距離データが真の距離データ、または偽りの距離データ（疑似の距離データ）であるかを判定する、との意味である。

【0022】

また、信頼性が低い（低下する）は、演算により得られた距離データが真の距離データである確率が低い（確率が低下する）、との意味である。

【0023】

また、信頼性に問題なしは、演算により得られた距離データが真の距離データである確率が高い、との意味である。

【0024】

（実施の形態１）
本実施形態における距離測定装置１００は、第一の距離からの反射光は露光し、かつ第一の距離よりも遠い第二の距離からの反射光は露光しないタイミングの露光制御をする。

【0025】

第二の距離よりも遠いところにある被写体に対応する画素では、カバーガラスの油脂汚れによって反射された光のみ露光することになり、油脂汚れの有無による信号レベル差を発生させることができる。距離測定装置１００は、このような信号レベル差を利用して、距離データの信頼性が低下していないかどうかを判定する。

【0026】

図２は、実施の形態１における距離測定装置の構成例を示すブロック図である。同図では、距離測定装置１００の他に被写体ＯＢＪも図示してある。

【0027】

同図の距離測定装置１００は、発光露光制御部１０１、受光部１０２、データ処理部１０３、および発光部１０４を備える。受光部１０２は、固体撮像素子１２を備える。また、データ処理部１０３は、判定部１１２および演算部１１３を備える。

【0028】

発光露光制御部１０１は、発光部１０４に対して照射光の発光タイミングと発光期間とを制御し、固体撮像素子１２に対して反射光の露光タイミングと露光期間とを制御する。

【0029】

発光露光制御部１０１は、通常の測距のための発光および露光制御とは別に、信頼性判定のための発光および露光制御を行う。信頼性判定のための発光および露光制御では、発光露光制御部１０１は、第一の距離からの反射光を露光し、かつ第一の距離よりも遠い測距レンジ内の第二の距離からの反射光を露光しないタイミングの露光制御をする。なお、第一の距離からの反射光というのは、第一の距離にある被写体からの反射光という意味である。同様に、第二の距離からの反射光というのは、第二の距離にある被写体からの反射光という意味である。

【0030】

受光部１０２は、発光露光制御部１０１による露光制御に従って、照射光に対応する反射光を露光する固体撮像素子１２を有する。

【0031】

データ処理部１０３は、受光部１０２が出力した画素信号から距離データと光強度データを算出する演算部１１３と、画素ごとの光強度データの信号量に応じて、距離データの信頼性を判定する判定部１０２とを備える。また、データ処理部１０３は、ＬＣＤなどのディスプレーなどに距離データを表示し、かつ距離データの信頼性が低いことを示すメッセージを出力させる。

【0032】

発光部１０４は、発光露光制御部１０１による発光制御に従って照射光を照射する。

【0033】

次に、通常の測距のための発光および露光制御について説明する。

【0034】

図３は、実施の形態１における距離測定用のパルス設定例を示すタイムチャートである。同図の横軸は時間軸、縦軸は各信号の論理レベルまたは信号レベルを示す。

【0035】

発光部１０４は入力される発光制御信号の示すタイミングにしたがって、外部に対して光を発光する。

【0036】

（ａ）発光制御信号は、発光露光制御部１０１から発光部１０４に発光を指示するアクティブハイの信号である。発光部１０４は、（ａ）発光制御信号のハイレベルの期間に発光し、ローレベルの期間に消灯する。発光部１０４はＬＥＤ（発光ダイオード）でも良いし、ＬＤ（Ｌａｓｅｒ Ｄｉｏｄｅ）やＶＣＳＥＬ（Vertical Cavity Surface Emitting LASER）でもよい。

【0037】

（ｂ）露光制御信号は、発光露光制御部１０１から固体撮像素子１２に露光を指示するアクティブローの信号である。固体撮像素子１２は、（ｂ）露光制御信号のローレベルの期間に露光し、ハイレベルの期間に露光しない。ここで、露光は、固体撮像素子１２の画素において光電変換を行い、光電変換により発生する信号電荷を蓄積することをいう。受光部１０２内の固体撮像素子１２はＣＣＤセンサでもよいし、ＣＭＯＳセンサでもよい。受光部１０２では露光制御信号に基づいて外部からの光を取り込み、露光量に応じたデジタル信号を出力する。発光露光制御部１０１は固体撮像素子１２に対して、露光制御信号を出力する。露光制御信号は“Ｈ”“Ｌ”の２値のデジタル信号であり、本実施の形態では“Ｌ”で露光、“Ｈ”で露光停止を意味することとする。

【0038】

同図の上段に示すように、発光露光制御部１０１は、通常の測距のための発光および露光制御では、第一の露光期間、第二の露光期間、第三の露光期間の３つを１セットとし、複数セットを繰り返す。１フレームの距離データは、Ｎセットの繰り返しにより算出される。距離データとして十分な信号量を確保するためには、Ｎセットトータルでの発光制御信号および露光制御信号のトグル回数を増やすことになる。

【0039】

第一の露光期間は、同図の下段左に示すように、（ａ）発光制御信号と、（ｂ１）露光制御信号との組を基本単位として、この基本単位の複数回の繰り返しからなる。同図では５回の繰り返しを例示しているが、第一の露光期間、第二の露光期間および第三の露光期間で同じ繰り返し回数である必要がある。同図では、５回の繰り返しを例示しているがこの限りではない。第一の露光期間では、信号量Ｓ０および背景光ＢＧを取得する。

【0040】

第二の露光期間は、同図の下段左に示すように、（ａ）発光制御信号と、（ｂ２）露光制御信号との組を基本単位として、この基本単位の複数回の繰り返しからなる。同図では５回の繰り返しを例示しているが、この限りではない。第二の露光期間では、信号量Ｓ１および背景光ＢＧを取得する。

【0041】

第三の露光期間は、同図の下段右に示すように、（ａ）発光を指示しない発光制御信号と、（ｂ３）露光制御信号との組を基本単位として、この基本単位の複数回の繰り返しからなる。同図では５回の繰り返しを例示しているが、この限りではない。第三の露光期間では、背景光ＢＧを取得する。

【0042】

画素毎の光強度信号は、次式で表される。

【0043】

光強度信号＝（Ｓ０－ＢＧ）＋（Ｓ１－ＢＧ）

【0044】

この、光強度信号を大きくするには、発光・露光制御信号の繰り返し回数を増やせばよい。なお、光強度信号は、光強度データとも呼ぶ。

【0045】

また、画素毎の距離データＬは次式で求められる。
Ｌ＝ｃ・Ｔ０／２＝（Ｓ１－ＢＧ）／（（Ｓ０－ＢＧ）＋（Ｓ１－ＢＧ））

【0046】

ここで、ｃは光速を示す。Ｓ０は、第一の露光期間で露光した背景光および反射光のＮセット分の総和の信号レベルである。Ｓ１は、第二の露光期間で露光した背景光および反射光のＮセット分の総和の信号レベルである。ＢＧは、第三の露光期間で露光した背景光のＮセット分の総和の信号レベルである。

【0047】

次に、距離データの信頼性判定のための発光および露光制御について説明する。

【0048】

図４Ａは、実施の形態１における距離データの信頼性判定用（汚れ検出用）のパルス設定例を示すタイムチャートである。また、図４Ｂは、実施の形態１におけるゼロ距離、第一の距離および第二の距離を示す説明図である。同図のゼロ距離は、カバーガラス表面での反射光に対応する。測距レンジ遠端は、距離測定装置１００が測定可能な測距レンジの遠端をいう。ここでは、測定可能な測距レンジは、ゼロ距離から測距レンジ遠端までであるものとする。第一の距離は、測距レンジの範囲内で、ゼロ距離よりも大きく、第二の距離よりも小さいものとする。第二の距離は、測距レンジの範囲内で、第一の距離よりも大きく、測距レンジ遠端よりも小さいものとする。

【0049】

図４Ａは、図３と同様に１フレームはＮセットからなり、１セットは、第一露光期間、第二露光期間、第三露光期間からなるものとしている。これは、発光露光制御部１０１において、信頼性判定の発光および露光制御として、測距のための発光制御の動作の大部分を流用するためである。図４Ａでは、第一露光期間と第二露光期間と区別しているが、第一露光期間と第二露光期間とは差がなく同じである。

【0050】

図４Ａにおいて、第一の露光期間は、（ａ）発光制御信号と、（ｂ１）露光制御信号との組を基本単位として、この基本単位の複数回の繰り返しからなる。（ｂ１）露光制御信号は、第一の距離からの反射光を露光し、かつ第一の距離よりも遠い測距レンジ内の第二の距離からの反射光を露光しないタイミングに設定されている。

【0051】

第二の露光期間は、（ａ）発光制御信号と、（ｂ２）露光制御信号との組を基本単位として、この基本単位の複数回の繰り返しからなる。（ｂ２）露光制御信号は、（ｂ１）露光制御信号と同じである。

【0052】

第三の露光期間は、（ａ）発光制御信号と、（ｂ３）露光制御信号との組を基本単位として、この基本単位の複数回の繰り返しからなる。第三の露光期間は、背景光ＢＧを取得するための期間である。

【0053】

このように、第一の露光期間および第二の露光期間での露光制御信号を、第一の距離の被写体からの反射光は露光できるが、第二の距離（第一の距離より遠い）の被写体からの反射光は露光できないようなタイミングに合わせてある。

【0054】

第一の露光期間での露光制御信号と第二の露光期間での露光制御信号を発光制御信号に対して同タイミングにして繰り返しているのは、油脂などからの反射光の光強度が小さいため、同じタイミングの露光を実施して、光強度信号を稼ぐことが目的である。また光強度信号の計算式をそのまま流用できるメリットもある。もちろん、第一の露光期間だけ、もしくは第二の露光期間だけこのようなパルス設定にしてもよい。

【0055】

また、油脂などによる反射光の光強度は小さく、これを検出するには発光制御信号・露光制御信号の繰り返し回数（またはセット回数）を増やす必要がある。そうすると露光制御信号が露光停止の時に返ってくる被写体からの反射光の光強度が強くなり、固体撮像素子には無視できない程度の光の“漏れ込み”が発生しうる。“漏れ込み”とは、露光制御信号が露光停止の状態でも、わずかながら光を露光してしまう現象をいう。

【0056】

距離測定装置１００は、この“漏れ込み”による光強度信号をＢＧ減算と一緒に相殺するため、第三の露光期間でも発光制御信号を繰り返し有効にしている。つまり、距離測定装置１００は“漏れ込み”が発生する条件下でも、漏れ込みの影響を抑制することができる。

【0057】

次に、実際のパルス波形について説明する。実際のパルス波形は、図４Ａに図示した理想的な矩形パルス波形ではなく、立ち上がりエッジおよび立下りエッジになまりを有している。

【0058】

図５は、実施の形態１における距離データの信頼性判定用の実際のパルス波形の例を示す図である。同図において、（ａ）は発光制御信号を示す。（ｃ）は発光部１０４が出力した光パルスを示す。（ｒ０）はゼロ距離の物体（油脂など）からの反射光を示す。（ｒ１）は第一の距離の被写体からの反射光を示す。（ｒ２）は第二の距離の被写体からの反射光を示す。（ｂ）は、第一および第二の露光期間での露光制御信号を示す。各信号波形は、実際のパルス波形に近い波形となるように模式的に記してある。

【0059】

図５において（ｃ）光パルスは、急峻には上がらず、傾きを持つ。したがって、 （ｒ０）（ｒ１）（ｒ２）の反射光も同様の波形になる。

【0060】

（ｒ０）の反射光に関して、肉眼で注意して見ないと分からない程度の半透明な汚れであれば、ゼロ距離の物体（油脂など）からの反射光は小さい振幅になる。また（ｃ）光パルスの立ち上がりが傾きを持つことから、反射光の前半はさらに振幅が小さい。

【0061】

第一および第二の露光期間での露光制御信号は、第一の距離からの反射光は露光するが、第二の距離からの反射光は露光しないタイミングに設定される。実際には発光部１０４の個体バラつきや各制御信号の伝搬遅延差などがあるので、第一および第二の露光期間での露光制御信号のタイミングは、開始位相を細かい単位でずらしながら光強度信号を取得する方法で決めればよい。

【0062】

次に、図４Ａに示した信頼性判定のための発光露光制御で得られる画素毎の光強度信号と、信頼性判定のための信号強度閾値と、露光制御信号の開始位相とについて説明する。

【0063】

図６Ａは、実施の形態１における距離データの信頼性判定における閾値の説明図である。同図の横軸は、第一および第二の露光期間での露光制御信号の開始位相をしめす。つまり、開始位相は、発光制御信号のパルスに対する相対的な、第一および第二の露光期間での露光制御信号のパルス開始タイミングを示す。

【0064】

縦軸は、受光部１０２が受光した反射光の光強度信号を示す。同図では、４種類の光強度信号を記している。黒丸印は、ガラスカバーの汚れ無しの状態での、第二の距離の物体からの反射光を示す。三角印は、ガラスカバーの汚れ有りの状態での、第二の距離の物体からの反射光を示す。菱形印は、ガラスカバーの汚れ無しの状態での、第一の距離の物体からの反射光を示す。四角印は、ガラスカバーの汚れ有りの状態での、第一の距離の物体からの反射光を示す。

【0065】

このうち、黒丸印の光強度信号は、開始位相の広い範囲にわたって小さい値を示し、他の印は、開始位相が大きくなるに連れて大きくなっている。

【0066】

黒丸印と三角印とで、光強度信号に汚れの有無によるレベル差がはっきり表れている。したがって、同図のような閾値例（光強度閾値）を用いた閾値判定によって、汚れの有無が判定可能である。また、位相設定例は、閾値判定を容易にする範囲内で定めればよい。

【0067】

なお、光強度閾値は第二の距離にある高反射率の被写体からの反射光の信号レベルよりに対して一定のマージンを持って決めればよい。

【0068】

図６Ｂは、実施の形態１における距離データの信頼性判定における閾値判定の説明図である。同図の（ａ）は、１フレームの被写体イメージを示す。この被写体イメージは、例えば、スマートフォンで自撮りした場合に相当し、第一の距離に被写体が存在し、背後に遠景が移る場合の例を示す。このフレームは、図４Ａの発光露光制御により画素毎の光強度信号を有する。

【0069】

同図の（ｂ）は、カバーガラスに汚れがない場合の各画素でも閾値判定結果を示す。同図（ｂ）では、閾値以下（１’ｂ０）の画素数が所定の数より多い。これにより、距離データ信頼性は問題なしと判定される。

【0070】

同図の（ｃ）は、カバーガラスに汚れがある場合の各画素でも閾値判定結果を示す。説明の容易性を鑑みて、この図ではカバーガラスの距離測定装置前面全域が汚れている状況を想定している。同図（ｃ）では、閾値以下（１’ｂ０）の画素数が所定の数より少ない。これにより、距離データ信頼性が低いと判定される。

【0071】

つまり、図６Ｂは、例えば、画素毎に光強度信号を有する１フレームにおいて、閾値以下（１’ｂ０）の画素が多くを占める場合（画素数が所定の数より多い場合）は、距離データの信頼性に問題なしと判定する。また、閾値以下（１’ｂ０）の画素が少ない場合（画素数が所定の数より少ない場合）は、距離データの信頼性が低いと判定する。

【0072】

また、図６Ｂは、距離データ信頼性を判定するための画素の所定の数は、画素間のバラつきを考慮した値にすればよい。

【0073】

次に、距離データの信頼性判定の第１の動作例および第２の動作例について説明する。第１の動作例は、閾値判定の対象が１フレームの全画素である例を示す。第２の動作例は、閾値判定の対象が１フレーム中の特定エリア内の画素である例を示す。

【0074】

図７Ａは、実施の形態１における距離データの信頼性判定の第１の動作例を示すフローチャートである。

【0075】

まず、発光露光制御部１０１は、距離データの信頼性判定用のパルス設定を適用する（Ｓ１０）。データ処理部１０３は、１フレーム分の光強度データを取得し（Ｓ１１）、カウンタをクリアする（Ｓ１２）。カウンタは、光強度データがしきい値以下の画素数（汚れがなしに対応画素数）をカウントするためのカウンタであり、光強度弱カウンタとも呼ぶ。

【0076】

データ処理部１０３は、画素を１つ選択し、光強度データと閾値とを比較し（Ｓ１３）、光強度データが閾値以下である場合は（Ｓ１４でｙｅｓ）、カウンタを１インクリメントし（Ｓ１５）、光強度データが閾値以下でない場合は（Ｓ１４でｎｏ）、カウンタを１インクリメントしない。

【0077】

さらに、データ処理部１０３は、全画素で閾値判定が終了したか否かを判定し（Ｓ１６）、終了していないと判定した場合にはステップＳ１３に戻る。

【0078】

データ処理部１０３は、終了したと判定した場合には、カウンタ値が所定の値以下であるかどうかを判定し（Ｓ１７）、所定の値以下であると判定した場合には、距離データの信頼性が低いと判定し（Ｓ１８）、所定の値以下ないと判定した場合には、距離データの信頼性に問題なしと判定する（Ｓ１９）。

【0079】

ステップＳ１８またはＳ１９の後、データ処理部１０３は、ＴＯＦ用（測距用）パルス設定を適用する（Ｓ２０）よう発光露光制御部１０１に指示する。

【0080】

このような動作によって、カバーガラスの油脂汚れがあると、画面の大部分で光強度データが閾値以上になることを利用して、距離データの信頼性を判定することができる。

【0081】

図７Ｂは、実施の形態１における距離データの信頼性判定の第２の動作例を示すフローチャートである。第２の動作例は、第１の動作例と比べて、閾値判定の対象が１フレームの全画素ではなく、特定エリアの画素である点が異なっている。そのため、図７Ｂは、図７Ａと比べて、ステップＳ１３とＳ１６の代わりにステップＳ１３ＡとＳ１６Ａを有する点が異なっている。以下異なる点を中心に説明する。

【0082】

ステップＳ１３Ａでは、データ処理部１０３は、特定エリア内の画素を１つ選択し、光強度データと閾値とを比較する。特定エリアは、遠景が写りやすい領域、例えば、フレーム中の四隅の何れかの領域などでよい。

【0083】

また、ステップＳ１６Ａでは、データ処理部１０３は、特定エリア内の全画素で閾値判定が終了したか否かを判定し、終了していないと判定した場合にはステップＳ１３に戻る。

【0084】

このような動作によって、所定の信号レベル以下の画素数をカウントするエリアを特定エリアに絞ることで、距離データの信頼性の判定における演算処理量を軽減することができる。

【0085】

以上説明してきたように実施の形態１における距離測定装置は、発光指示に従って照射光を照射する発光部１０４と、照射光に対応する反射光を露光する固体撮像素子１２を含む受光部１０２と、発光部１０４に対して照射光の発光タイミングと発光期間とを制御し、固体撮像素子１２に対して反射光の露光タイミングと露光期間とを制御する発光露光制御部１０１と、受光部１０２が出力した画素信号から距離データと光強度データを算出する演算部１１３を含むデータ処理部１０３とを備え、発光露光制御部１０１は、第一の距離からの反射光を露光し、かつ第一の距離よりも遠い測距レンジ内の第二の距離からの反射光を露光しないタイミングの露光制御をし、データ処理部１０３は、画素ごとの光強度データの信号量に応じて、距離データの信頼性を判定する判定部１０２を備える。

【0086】

ここで、データ処理部１０３は、光強度データがあらかじめ設定された信号レベル以下にある画素の数をカウントして、距離データの信頼性を判定してもよい。

【0087】

ここで、データ処理部１０３は、光強度データがあらかじめ設定された信号レベル以下にある画素の数が、あらかじめ設定された個数以下であることをもって、距離データの信頼性を低いと判定してもよい。

【0088】

ここで、データ処理部１０３は、少なくとも画面内の所定の領域をもって、距離データの信頼性を判定してもよい。

【0089】

ここで、データ処理部１０３は、演算部１１３で算出された距離データが画面全体にわたって所定の距離値よりも小さい時は距離データの信頼性が低いとは判定しないようにしてもよい。

【0090】

ここで、データ処理部１０８は、距離データの信頼性の判定として、真の距離データ、または偽りの距離データであるかを判定してもよい。

【0091】

また、実施の形態１における信頼性判定方法は、距離測定装置の距離データの信頼性を判定する方法であって、距離測定装置から照射光を発光し、距離測定装置において第一の距離からの反射光を露光し、かつ第一の距離よりも遠い測距レンジ内の第二の距離からの反射光を露光しないタイミングの露光をし、露光により距離測定装置で得られた画素ごとの光強度データの信号量に応じて、距離データの信頼性を判定する。

【0092】

（実施の形態２）
本実施の形態では、信頼性判定の前に被写体の有無を判定する構成例について説明する。被写体有無判定の結果を受けて、信頼性判定動作では、被写体が存在しない箇所の画素を対象に閾値判定を行う。

【0093】

図８は、実施の形態２における被写体の有無を検知するためパルス設定例を示す図である。同図では、反射光（ｒ０）を露光しないタイミングで、かつ、反射光（ｒ１）および（ｒ２）を露光するタイミングになるように（ｂ）露光制御信号を設定する。言い換えれば、第一および第二の露光期間での露光制御信号は、ゼロ距離の物体（油脂など）からの反射光は露光しないが、第一の距離（測定距離レンジ近端を想定）および第一の距離よりも遠い距離からの反射光は露光するタイミングに設定される。

【0094】

なお、実際には発光部の個体バラつきや各制御信号の伝搬遅延差などがあるので、第一および第二の期間での露光制御信号のタイミングは、開始位相を細かい単位でずらしながら光強度信号を取得する方法で決めればよい。

【0095】

図９は、実施の形態２における被写体有無判定と信頼性判定とを説明するための図である。同図では、被写体の有無を検知するパルス設定での判定結果として、画素毎の光強度データが第二の所定の信号レベル以上であれば、被写体有り（“１”）と判定し、第二の所定の信号レベル未満であれば被写体無し（“０”）と判定している。なお、第三の距離は第一の距離よりも遠く、測定距離遠端よりも近い距離である。

【0096】

データ処理部１０３は、被写体有無判定を実施して、０（被写体無し）判定した画素のみを対象とし、光強度信号が所定の光強度閾値より小さい画素の数をカウントする。そしてそのカウンタ（光強度弱カウンタ）のカウント値が所定の数より小さいことを持って、距離精度の信頼性が低いと判定する。

【0097】

図１０は、実施の形態２における被写体有無判定および信頼性判定の動作例を示すフローチャートである。図１０の左側は図９に示した被写体有無判定を示す。図１０の被写体なしと判定された全画素に対して図７Ａ、図７Ｂと類似の信頼性判定の動作を示す。

【0098】

これにより、被写体として存在しない画素を特定して信頼性判定を実施するので、距離データの信頼性判定の誤判定を減らすことができる効果がある。

【0099】

また、画面全体が被写体の場合など、距離データの信頼性判定ができない状態かどうかを判定できるという効果を有する。

【0100】

以上説明してきたように実施の形態２における距離測定装置において、データ処理部１０３は、少なくとも画面内の所定の領域をもって、距離データの信頼性を判定する。

【0101】

ここで、所定の領域は、被写体が存在しない箇所であってもよい。

【0102】

ここで、発光露光制御部１０１は、反射光を含まない露光タイミングで露光を制御してもよい。

【0103】

（実施の形態３）
本実施の形態では、距離データを用いて信頼性判定の精度を上げる例について説明する。具体的には、実施の形態３では、演算部で算出された距離データが画面全体にわたって所定の閾値より小さい（近い）場合には距離データの信頼性が低いとは判定しない。これにより信頼性判定の精度を上げる。

【0104】

図１１Ａは、実施の形態３における信頼性判定動作の説明図である。図１１Ｂは、実施の形態３におけるゼロ距離、第一の距離、第二の距離および第三の距離を示す説明図である。図１１Ａの（ａ）では、距離データが所定の閾値以下の画素のカウント数が所定の数以上である被写体イメージを例示している。つまり、全画素の距離データは図１１Ｂの所定の距離閾値よりも小さく、近い位置に被写体が存在する。例えば、第一の距離は、自撮りしているユーザであり、第三の距離は、ユーザがもたれている背後の壁である場合に該当する。

【0105】

この場合、データ処理部１０３は、図１１Ａの（ｂ）に示すように、距離データが、所定の閾値以下（１’ｂ０）の画素数が所定の数より少ないが、距離データ信頼性には問題なしと判定する。言い換えれば、ＴＯＦ用パルス設定で取得した距離データが所定の距離閾値よりも小さい（距離が近い）画素が所定の数よりも大きい場合は、距離データの信頼性判定用パルス設定での光強度弱カウンタの個数が所定の閾値以下であっても距離精度が低いと判定しない。

【0106】

なお、図１１Ａの（ａ）場合に、光強度弱カウンタの所定の閾値を減らしてもよい。

【0107】

これによれば、実施の形態１や２と比較して信頼性判定の誤判定を減らす効果がある。

【0108】

実施の形態３における信頼性判定は、図１２に示すフローチャートのように実行してもよい。なお、光強度信号を判定するエリアは画面全体（１フレームの全画素）であっても特定のエリア内の全画素でもよい。

【0109】

以上説明してきたように実施の形態３における距離測定装置において、データ処理部１０３は、演算部１１３で算出された距離データの大きさに応じて、距離データの信頼性の判定基準を変える。

【0110】

（実施の形態４）
本実施の形態では、距離データの信頼性判定動作の実施タイミング例を説明する。

【0111】

図１３は、実施の形態４における信頼性判定の実施タイミング例を示す図である。同図では、ＴＯＦ測距動作の合間に距離データ信頼性判定動作を挿入するようにしている。

【0112】

なお、１フレームでも光強度信号が閾値以下の画素カウント数が所定の数以下となった場合に距離データ信頼性が低いと判定してもよい。例えば、その状態が複数フレーム続いたときに距離データ信頼性が低いと判定してもよい。複数フレーム続いた時に距離データ信頼性を判定する方法は、誤判定を減らす効果がある。

【0113】

以上のように実施の形態４における距離測定装置は、発光露光制御部１０１は、距離データを算出するための発光露光制御と、信頼性を判定するための発光露光制御とを、異なるフレームで行う。

【0114】

（実施の形態５）
本実施の形態では、１フレームだけで信頼性判定するのではなく、複数フレームで同じ判定結果が連続することを条件に信頼性判定をする例を説明する。

【0115】

図１４は、実施の形態５における信頼性判定の動作例を示すフローチャートである。同図では、光強度弱カウンタ値が所定値以下のフレーム（つまり実施の形態１～４で信頼性が低いと判定される）フレームが所定の値以上の複数フレームにわたって連続する場合に信頼性が低いと判定している。

【0116】

これにより信頼性判定の精度を向上させることができる。

【0117】

以上のように実施の形態５における距離測定装置は、データ処理部１０３は、光強度データがあらかじめ設定された信号レベル以下にある画素の数が、あらかじめ設定された個数以下である状態が複数フレームにわたって連続することをもって、距離データの信頼性を低いと判定する。

【0118】

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0119】

以上、本発明の一つまたは複数の態様に係る距離測定装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。

【産業上の利用可能性】

【0120】

本発明は、距離測定装置として例えばＴＯＦ方式カメラに利用可能である。

【符号の説明】

【0121】

１２ 固体撮像素子
１００ 距離測定装置
１０１ 発光露光制御部
１０２ 受光部
１０３ データ処理部
１０４ 発光部
１１２ 判定部
１１３ 演算部

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6A】

【図6B】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】

【図13】

【図14】