特許 7411656 測距撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-27

(45)【発行日】2024-01-11

(54)【発明の名称】測距撮像装置

(51)【国際特許分類】

   G01S 17/894 20200101AFI20231228BHJP

   G01S 7/487 20060101ALI20231228BHJP

【ＦＩ】

G01S17/894

G01S7/487

【請求項の数】 16

(21)【出願番号】P 2021527466

(86)(22)【出願日】2020-05-14

(86)【国際出願番号】 JP2020019300

(87)【国際公開番号】W WO2020255598

(87)【国際公開日】2020-12-24

【審査請求日】2023-05-11

(31)【優先権主張番号】62/864,112

(32)【優先日】2019-06-20

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520133916

【氏名又は名称】ヌヴォトンテクノロジージャパン株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】和久 誠一郎

(72)【発明者】

【氏名】松尾 純一

(72)【発明者】

【氏名】高野 遥

(72)【発明者】

【氏名】永田 太一

(72)【発明者】

【氏名】森 圭一

(72)【発明者】

【氏名】桝山 雅之

【審査官】藤田 都志行

(56)【参考文献】

【文献】国際公開第２０１７／１６９７８２（ＷＯ，Ａ１）

【文献】特開２０１５－１７５７５２（ＪＰ，Ａ）

【文献】特開２０１７－１０２５９８（ＪＰ，Ａ）

【文献】特開２０１８－０３６１０２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／０１３４５９８（ＵＳ，Ａ１）

【文献】特開２０２０－１０６４４４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８－ ７／５１

Ｇ０１Ｓ １７／００－１７／９５

Ｇ０１Ｃ ３／０６

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／５２１

ＪＳＴＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

パルス光を照射して対象物体からの反射光を受光することによって、対象物体までの距離を測定する測距撮像装置であって、
前記パルス光の発光を指示する発光制御信号、および、前記反射光の露光を指示する露光制御信号を出力する駆動制御部と、
複数の画素を有し、前記露光制御信号のタイミングで露光した画素毎の露光信号を出力する撮像部と、
前記露光信号に対して重み係数を用いて隣り合う複数の画素の露光信号を合成する画素フィルタによって合成信号を生成する画素演算部と、
前記合成信号に基づいて距離画像を生成するＴＯＦ演算部と、を備え、
前記画素演算部は、互いに異なる合成倍率をもつ少なくとも２つの画素フィルタを有し、前記少なくとも２つの画素フィルタの中から何れか１つを、前記画素フィルタとして選択する
測距撮像装置。

【請求項2】

さらに、前記対象物体の想定距離、前記撮像部の温度、前記露光信号に含まれるノイズ量、および、動作モードのうちの少なくとも１つに基づいて撮像環境または撮像用途を判定し、判定結果に応じて画素フィルタの選択を制御するための判定信号を出力する判定部を備え、
前記画素演算部は、前記判定信号に基づいて画素フィルタを選択する
請求項１に記載の測距撮像装置。

【請求項3】

前記撮像部は、第１タイプのフレームと第２タイプのフレームとを含む複数のフレームを生成し、
前記第１タイプのフレームは、Ｋ１（Ｋ１は２以上の整数）回の発光および露光に基づいて生成され、
前記第２タイプのフレームは、Ｋ２（Ｋ２はＫ１より大きい整数）回の発光および露光に基づいて生成され、
前記判定部は、前記撮像部により生成されたフレームが第１タイプであるか第２タイプであるかに応じてフレーム毎に画素演算部における画素フィルタの選択を制御する
請求項２に記載の測距撮像装置。

【請求項4】

前記少なくとも２つの画素フィルタは、第１の画素フィルタと、第２の画素フィルタとを含み、
前記第１の画素フィルタの合成倍率は、前記第２の画素フィルタの合成倍率よりも大きく、
前記画素演算部は、前記第１タイプのフレームを構成する露光信号に対して第１の画素フィルタを選択し、前記第２タイプのフレームを構成する露光信号に対して第２の画素フィルタを選択する
請求項３に記載の測距撮像装置。

【請求項5】

前記測距撮像装置は、更に、前記測距撮像装置の内部および外部の少なくとも一方の温度を測定する温度センサ部を備え、
前記画素演算部は、前記温度に基づいて前記画素フィルタを選択する
請求項１または２に記載の測距撮像装置。

【請求項6】

前記画素演算部は、前記温度が高いほど合成倍率の大きい画素フィルタを選択する
請求項５に記載の測距撮像装置。

【請求項7】

前記画素演算部は、前記露光信号に含まれるノイズ成分の大きさに基づいて前記画素フィルタを選択する
請求項１または２に記載の測距撮像装置。

【請求項8】

前記画素演算部は、前記ノイズ成分が大きいほど合成倍率の大きい画素フィルタを選択する
請求項７に記載の測距撮像装置。

【請求項9】

前記判定部は、１フレームに期間内の前記発光制御信号のパルス数、および、前記露光制御信号のパルス数の少なくとも一方を判定し、判定したパルス数に応じた合成倍率の画素フィルタを選択するように制御する前記判定信号を出力する
請求項２に記載の測距撮像装置。

【請求項10】

前記画素演算部は、前記パルス数が少ないほど合成倍率の大きい画素フィルタを選択する
請求項９に記載の測距撮像装置。

【請求項11】

前記判定部は、前記露光信号の比で示される反射光の飛行時間を判定し、前記飛行時間に応じた画素フィルタを選択するように制御する前記判定信号を出力する
請求項２に記載の測距撮像装置。

【請求項12】

前記画素演算部は、前記飛行時間が短いほど合成倍率の大きい画素フィルタを選択する
請求項１１に記載の測距撮像装置。

【請求項13】

前記少なくとも２つの画素フィルタは、前記露光信号と閾値とを比較し、前記露光信号が閾値よりも小さい場合にゼロを合成信号として出力し、前記露光信号が閾値以上である場合に当該露光信号を合成信号として出力する閾値フィルタを含む
請求項１～１２のいずれか一項に記載の測距撮像装置。

【請求項14】

さらに、前記撮像部の温度、前記露光信号に含まれるノイズ量、および、動作モードのうちの少なくとも１つに基づいて撮像環境または撮像用途を判定し、判定結果に応じて閾値を選択し、選択した閾値を前記閾値フィルタに設定する閾値設定部を備える
請求項１３に記載の測距撮像装置。

【請求項15】

前記ＴＯＦ演算部は、前記第１タイプのフレームに対応する前記距離画像の解像度を低下させる
請求項３に記載の測距撮像装置。

【請求項16】

前記駆動制御部と、前記撮像部と、前記判定部と、前記画素演算部と、前記ＴＯＦ演算部とは、同じ半導体基板上に備えられる
請求項２～４、９～１２のいずれか一項に記載の測距撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物体までの距離を測定する測距撮像装置に関する。

【背景技術】

【0002】

従来、パルス光を照射して対象物体からの反射光を受光するまでのパルス光のＴＯＦ（飛行時間）を測定することによって、対象物体までの距離を測定する測距撮像装置が知られている。例えば、特許文献１～６は、イメージセンサを用いて距離を示す深さマップを生成する測距撮像装置を開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許第９１３４１１４号明細書

【文献】特開２０１３－１１７９６９号公報

【文献】米国特許第９７８４８２２号明細書

【文献】米国特許第１０１１６８８３号明細書

【文献】米国特許第１０１３２６２６号明細書

【文献】米国特許第８９５３０２１号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来技術の測距撮像装置に対して、測距レンジを拡大することが望ましい。

【0005】

本開示は、測距レンジを容易に拡大可能な測距撮像装置を提供する。

【課題を解決するための手段】

【0006】

本開示の一態様に係る測距撮像装置は、パルス光を照射して対象物体からの反射光を受光することによって、対象物体までの距離を測定する測距撮像装置であって、前記パルス光の発光を指示する発光制御信号、および、前記反射光の露光を指示する露光制御信号を出力する駆動制御部と、複数の画素を有し、前記露光制御信号のタイミングで露光した画素毎の露光信号を出力する撮像部と、前記露光信号に対して重み係数を用いて隣り合う複数の画素の露光信号を合成する画素フィルタによって合成信号を生成する画素演算部と、前記合成信号に基づいて距離画像を生成するＴＯＦ演算部と、を備え、前記画素演算部は、互いに異なる合成倍率をもつ少なくとも２つの画素フィルタを有し、前記少なくとも２つの画素フィルタの中から何れか１つを、前記画素フィルタとして選択する。

【発明の効果】

【0007】

本開示の測距撮像装置によれば、測距レンジを容易に拡大することができる。

【図面の簡単な説明】

【0008】

【図1A】図１Ａは、実施の形態に係る測距撮像装置の構成例を示す機能ブロック図である。

【図1B】図１Ｂは、実施の形態に係る画素演算部の詳細な第１の構成例を示す図である。

【図1C】図１Ｃは、実施の形態に係る画素演算部の詳細な第２の構成例を示す図である。

【図1D】図１Ｄは、実施の形態に係る画素演算部の詳細な第３の構成例を示す図である。

【図1E】図１Ｅは、実施の形態に係る判定テーブルの第１例を示す図である。

【図1F】図１Ｆは、実施の形態に係る判定テーブルの第２例を示す図である。

【図1G】図１Ｇは、実施の形態に係る判定テーブルの第３例を示す図である。

【図1H】図１Ｈは、実施の形態に係る判定テーブルの第４例を示す図である。

【図1I】図１Ｉは、実施の形態に係る判定テーブルの第５例を示す図である。

【図2】図２は、実施の形態に係る撮像部で生成されるフレーム構成例を示す説明図である。

【図3】図３は、実施の形態に係る露光タイミングを示す説明図である。

【図4】図４は、実施の形態に係る測距撮像装置の構成の別の一例を示す機能ブロック図である。

【図5】図５は、実施の形態に係る画素毎の露光回数制御による画素フィルタ機能を示す説明図である。

【発明を実施するための形態】

【0009】

以下、本開示の測距撮像装置について、図面を参照しながら説明する。但し、詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。また、各図は必ずしも厳密に図示したものではない。これらは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

【0010】

なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態などは、一例であり、当業者が本開示を十分に理解するためのものであって、請求の範囲に記載の主題を限定することを意図するものではない。

【0011】

（実施の形態）
以下、実施の形態に係る測距撮像装置について、図面を参照しながら具体的に説明する。

【0012】

［測距撮像装置１０の構成例］
図１Ａは、本開示の実施形態に係る測距撮像装置１０の構成の一例を示す機能ブロック図である。同図では、測距撮像装置１０以外に測距の対象物体も図示してある。

【0013】

本開示の実施の形態に係る測距撮像装置１０は、光源部１と、撮像部２と、駆動制御部３と、画素演算部４と、ＴＯＦ演算部５と、判定部６と、フレーム制御部７により構成される。

【0014】

光源部１は、駆動制御部３からの発光制御信号のタイミングで照射光（一例として、パルス光）を照射する。光源部１は、例えば、赤外光を照射するＬＥＤ、レーザーダイオードで構成される。

【0015】

撮像部２は、複数の画素を有するイメージセンサであり、駆動制御部３からの露光制御信号のタイミングで露光した画素毎の露光信号を出力する。具体的には、撮像部２は、第１タイプのフレームと第２タイプのフレームとを含む複数のフレームを生成する。第１タイプのフレームは、Ｋ１回の発光および露光に基づいて生成される。第２タイプのフレームは、Ｋ２回の発光および露光に基づいて生成される。ここで、Ｋ１は２以上の整数である。また、Ｋ２はＫ１より大きい整数である。例えば、Ｋ１は数十程度であり、Ｋ２は数百程度である。それゆえ、第１タイプのフレームは、比較的近い距離の対象物体の測定用である。また、第２タイプのフレームは、比較的遠い距離の対象物体の測定用である。なお、撮像部２の画素数は、例えば６４０×４８０のＶＧＡ（Video Graphics Array）でもよい。

【0016】

駆動制御部３は、パルス光の発光を指示する発光制御信号、および、反射光の露光を指示する露光制御信号を出力する。

【0017】

画素演算部４は、各画素の露光信号に対して重み係数を用いて隣り合う複数の画素の露光信号を合成する画素フィルタによって合成信号を生成する。画素演算部４は、互いに異なる合成倍率をもつ少なくとも２つの画素フィルタを有し、少なくとも２つの画素フィルタの中から何れか１つを、前記画素フィルタとして判定部６からの判定信号に従って例えばフレーム毎に選択する。画素フィルタは、重み係数の値によって露光信号量を何倍にも増加させることができる。対象物体が遠くにある場合、および、対象物体が近くにあるが反射率が小さい場合には、背景光等のノイズ成分に対して十分な露光信号量を得るのが困難になる。このような場合に露光信号量を増加させるために画素フィルタを利用可能である。以下では、画素フィルタの対象となる画素の露光信号量と、画素フィルタ適用後の合成信号量との比率を合成倍率と呼ぶ。合成倍率は、画素フィルタの重み係数に依存し、０倍から数十倍程度である。

【0018】

ＴＯＦ演算部５は、画素演算部４により生成される合成信号に基づいて距離画像を生成する。

【0019】

判定部６は、対象物体の想定距離、撮像部２の温度、露光信号に含まれるノイズ量、および、動作モードのうちの少なくとも１つに基づいて撮像環境または撮像用途を判定し、判定結果に応じて画素フィルタの選択を制御するための判定信号を出力する。

【0020】

フレーム制御部７は、フレームの種別を示すフレーム識別信号を生成する。例えば、フレーム識別信号は、第１タイプのフレームであるか第２タイプのフレームであるかを示す。

【0021】

次に、本実施形態の測距撮像装置１０の基本動作について簡単に説明する。

【0022】

図２は、実施の形態に係る撮像部２で生成されるフレーム構成例を示す説明図である。図２の（ａ）は、撮像部２で生成される時系列の複数フレームを示し、近距離用フレームＡと遠距離用フレームＢとが交互に生成される。駆動制御部３は、図２の（ｂ）および（ｃ）に示すように発光制御信号と露光制御信号を出力する。光源部１は、発光制御信号がＨの時に照射光を出力し、撮像部２は、ＶＧＡの画素数を持つエリアセンサで、照射光が対象物体に反射した光である反射光に対して、露光制御信号がＨの期間のみ露光を行い、Ｈ期間の露光量の総和を、撮像部で光電変換を行い、画素毎で露光信号として出力する。近距離用のフレームＡは、Ｋ１＝２５のときの第１タイプのフレームに相当する。遠距離用のフレームＢは、Ｋ２＝２００のときの第２タイプのフレームに相当する。

【0023】

図３は、実施の形態に係る露光タイミングを示す説明図である。図３は、３種類の露光信号Ａ０～Ａ２を詳細に示したものである。露光タイミングＡ～Ｃにおける発光制御信号のパルス幅および露光制御信号のパルス幅は全て同じである。

【0024】

露光タイミングＡでは、発光タイミングと露光タイミングとが同じである。つまり、発光開始タイミングと露光開始タイミングとが同じであり、発光終了タイミングと露光終了タイミングとが同じである。露光タイミングＢでは、発光制御信号のパルス幅と露光制御信号のパルス幅も同じであるが、発光タイミングと露光タイミングとが異なる。発光終了タイミングと露光開始タイミングとが同じである。

【0025】

露光タイミングＣでは、発光することなく、露光のみを行う。これにより光源部１の照射したパルス光の反射光ではなく背景光のみ露光する。

【0026】

図３に示すように、３パターンの発光制御信号、露光制御信号の位相関係で発光・露光を行い、撮像部２は、各画素で露光信号Ａ０、露光信号Ａ１、露光信号Ａ２を出力する。次の（式１）の露光信号の比は、光源部１の照射光が対象物体で反射して帰ってくるまでの飛行時間にほぼ比例する。

【0027】

露光信号の比＝（Ａ１－Ａ２）／（Ａ０＋Ａ１－２＊Ａ２）・・（式１）

【0028】

なお、図２の（ｂ）および（ｃ）では、図３の露光タイミングＡの露光制御信号と発光制御信号とを図示してあり、タイミングＢ、Ｃの露光制御信号と発光制御信号とは省略されている。

【0029】

［画素演算部４の第１の構成例］
図１Ｂは、実施の形態に係る画素演算部４の詳細な第１の構成例を示す図である。

【0030】

同図のように画素演算部４は、画素フィルタ４Ａ、画素フィルタ４Ｂ、および選択部４１を備える。

【0031】

画素フィルタ４Ａ内の３×３の行列は、処理対象となる画素とその周囲の８画素とを合わせた９画素に対する重み係数を示している。９画素のうち、処理対象となる中心の画素と、その上下左右の４つの画素の重み係数が１である。また、処理対象となる中心の画素の斜め方向の４つの画素の重み係数が０である。これにより、重み係数が１の５画素の露光信号が重み付け加算され、合成信号として出力される。この場合、合成信号の元の露光信号量に対する合成倍率は約５倍になる。

【0032】

一方、画素フィルタ４Ｂ内の行列では、９画素のうち、処理対象となる中心の画素の重み係数のみが１であり、他の８画素の重み係数が０である。これにより、重み係数が１の唯一の画素の露光信号がそのまま合成信号として出力される。この場合、合成倍率は１倍（等倍）になる。

【0033】

判定信号は、図２の近距離用フレームＡつまり第１タイプのフレームの期間ではＬ（つまりローレベル）になり、図２の遠距離用フレームＢつまり第２タイプのフレームの期間ではＨ（つまりハイレベル）になる。画素演算部４は、図１Ｂに示すように判定部６から出力される判定信号がＬの期間は画素フィルタＡを選択し、判定信号がＨの時は画素フィルタＢを選択する。撮像部２から画素演算部４に入力される露光信号Ａ０、Ａ１、Ａ２はそれぞれ、１フレーム単位、つまり、近距離用フレームＡでは２５回の積算値、遠距離用フレームＢでは２００回の積算値であるものとする。入力された露光信号Ａ０、Ａ１、Ａ２と選択された画素フィルタとで畳み込み演算を行い、合成信号Ａ０’、Ａ１’、Ａ２’を出力する。ここで畳み込み演算は、１フレームを構成する全画素に対して画素位置を１画素ずつずらしながら、重み係数による露光信号の加算を行っていくことをいう。

【0034】

同図の画素群ｄ０は、１フレーム中の５×５画素分の露光信号Ａ０、Ａ１またはＡ２の値を示す。画素群ｄ０は、例えば、対象物体の左斜め下方向の稜線を示している。

【0035】

画素群ｄ１は、画素群ｄ０が画素フィルタ４Ａで処理された後の画素群を示す。画素群ｄ１は、画素群ｄ０と比べて、最大５倍の合成信号が得られている。これによりダイナミックレンジが拡大する。

【0036】

画素群ｄ２は、画素群ｄ０が画素フィルタ４Ｂで処理された後の画素群を示す。画素フィルタ４Ｂは、入力された露光信号をそのまま出力するので、画素群ｄ２は画素群ｄ０と同じである。

【0037】

判定部６は、フレーム識別信号がＬの時にＬを、フレーム識別信号がＨの時にＨを、判定信号として出力する。

【0038】

ＴＯＦ演算部５は、合成信号Ａ０’、Ａ１’、Ａ２’から各画素で距離を算出し、距離画像信号を出力する。

【0039】

フレーム制御部７は、１画像単位でＨ、Ｌの切替えを行い、フレーム識別信号として出力する。

【0040】

駆動制御部３は、フレーム識別信号がＬの時、発光制御信号・露光制御信号のパルス数を、２５回程度に設定し、フレーム識別信号がＨの時、発光制御信号・露光制御信号のパルス数を２００回程度に設定する。

【0041】

図１Ｂでは、例えば、第１タイプのフレームは比較的強い反射光を返す近距離の対象物体に適しており、第２タイプのフレームは比較的弱い反射光を返す遠距離の対象物に適している。第１タイプのフレームの露光信号に対して合成倍率が比較的大きい画素フィルタを選択すれば、近距離の対象物体の反射率が小さい場合でも、ダイナミックレンジひいては測距レンジを拡大することができる。また、第２タイプのフレームの露光信号に対して合成倍率が比較的大きい画素フィルタを選択すれば、遠距離の対象物の反射率が小さい場合でも、ダイナミックレンジひいては測距レンジを拡大することができる。

【0042】

［画素演算部４の第２の構成例］
次に、画素演算部４の第２の構成例について説明する。

【0043】

図１Ｃは、実施の形態に係る画素演算部４の詳細な第２の構成例を示す図である。図１Ｃの画素演算部４は、図１Ｂと比べて、画素フィルタ４Ｃおよび画素フィルタ４Ｄが追加された点と、選択部４１が２入力から４入力に変更された点とが異なっている。以下、図１Ｂと同じ点は説明の重複を避けて、異なる点を中心に説明する。

【0044】

画素フィルタ４Ｃは、約９倍の合成倍率を有する。

【0045】

画素フィルタ４Ｄは、約１６倍の合成倍率を有する。

【0046】

選択部４１は、４つの画素フィルタ４Ａ～４Ｄから１つを判定信号に従って選択する。

【0047】

判定信号は、ここでは２ビットの信号であり、フレーム識別信号と、他の要因とを組み合わせて判定することができる。他の要因としては、背景光レベルつまりノイズレベルがある。例えば、近距離用の第１タイプのフレームであり、かつ、背景光が強いほど合成倍率の大きい画素フィルタを選択してもよい。

【0048】

［画素演算部４の第３の構成例］
次に、画素演算部４の第３の構成例について説明する。

【0049】

図１Ｄは、実施の形態に係る画素演算部４の詳細な第３の構成例を示す図である。図１Ｄの画素演算部４は、図１Ｃと比べて、画素フィルタ４Ｅおよび閾値設定部４２が追加された点が異なっている。以下、図１Ｃと同じ点は説明の重複を避けて、異なる点を中心に説明する。なお、画素フィルタ４Ｅは、閾値フィルタと呼ぶ。

【0050】

画素フィルタ４Ｅは、入力される露光信号と閾値とを比較し、露光信号が閾値よりも小さい場合にゼロを合成信号として出力し、露光信号が閾値以上である場合に当該露光信号を合成信号として出力する。

【0051】

閾値設定部４２は、前記撮像部２の温度、前記露光信号に含まれるノイズ量、および、動作モードのうちの少なくとも１つに基づいて撮像環境または撮像用途を判定し、判定結果に応じて閾値を選択し、選択した閾値を画素フィルタ４Ｅに設定する。具体的には、閾値設定部４２は、判定部６からの判定信号に応じて閾値を選択し、選択した閾値を画素フィルタ４Ｅに設定する。

【0052】

これによれば、撮像環境または撮像用途に応じて閾値を設定するので、近距離から遠距離まで、および、反射率の大きい対象物から反射率の小さい対象物まで幅広く適切な閾値を設定し、ノイズを多く含む露光信号を抑制することができる。

【0053】

［判定テーブルの第１例～第５例］
次に、判定テーブルを用いた判定部６の判定例について説明する。

【0054】

図４は、実施の形態に係る測距撮像装置１０の構成の別の一例を示す機能ブロック図である。同図は、図１Ａと比べて温度センサ部８が追加された点と、判定部６に入力される情報が増えている点とが異なる。以下、図１Ａと同じ点は説明の重複を避けて、異なる点を中心に説明する。

【0055】

温度センサ部８は、測距撮像装置１０の内部および外部の少なくとも一方の温度を測定し、測定した温度を示す温度信号を出力する。

【0056】

判定部６は、図１Ａと比べて、フレーム識別信号だけでなく、発光制御信号、露光制御信号、露光信号、および温度信号が入力され、これらの信号の少なくとも１つを用いて撮像環境または撮像用途を判定し、判定結果に応じて画素フィルタの選択を制御するための判定信号を出力する。例えば、判定部６は、これらの信号の値と判定信号とを対応付けた判定テーブルを有し、判定テーブルに従って判定信号を出力する。

【0057】

図１Ｅは、実施の形態に係る判定テーブルの第１例を示す図である。図１Ｅでは、フレーム識別信号が示す距離と判定信号とが対応付けられている。例えば、図１Ｅの判定テーブルは、距離が近いほど合成倍率の大きい画素フィルタを選択する判定信号に対応付けられる。距離Ｄ１～Ｄ４は、それぞれ距離範囲でもよいし、距離範囲の境界でもよい。

【0058】

フレーム識別信号は、例えば、第１距離用フレーム、第２距離用フレーム、第３距離用フレーム、第４距離用フレームの４種類のフレームを識別する信号である。この場合、フレーム識別信号は、４種類のフレームのうちどれを撮像するかを示す動作モードを示す信号でもある。

【0059】

上記の第１距離～第４距離は、例えば、この順に近い距離から遠い距離に対応するものとする。この場合、第１～第４距離用フレームのそれぞれの露光回数をＭ１～Ｍ４とすれば、Ｍ１＜Ｍ２＜Ｍ３＜Ｍ４を満たす。例えば、Ｍ１、Ｍ２、Ｍ３、Ｍ４は、２５、１００、２００、４００でもよい。図１Ｅの判定テーブルは、距離が近いほど合成倍率の大きい画素フィルタを選択するよう対応付けることができる。この場合、上記の第１～第４距離用フレームを、図１Ｅの距離Ｄ１、Ｄ２、Ｄ４、Ｄ３を対応させればよい。

【0060】

なお、図１Ｅの判定テーブルにおいて、「距離」を「飛行時間」と読み替えてもよい。「飛行時間」は、ＴＯＦ演算部５により（式１）から得られ、実際の撮像したフレーム中の対象物体の距離に相当する。実際の撮像したフレーム中に対象物体が複数ある場合には、フレームの中央部分にある対象物体までの「飛行時間」であってもよいし、最も近い対象物体までの「飛行時間」であってもよいし、個々の対象物体までの「飛行時間」であってもよい。また、「飛行時間」は、当該フレームの直前のフレームで得られた「飛行時間」を利用してもよい。そうすれば、図１Ｅの判定テーブルは、飛行時間が短いほど合成倍率の大きい画素フィルタを選択する判定信号と対応付ける。

【0061】

図１Ｆは、実施の形態に係る判定テーブルの第２例を示す図である。図１Ｆでは、温度センサ部８からの温度信号が示す温度と判定信号とが対応付けられている。温度Ｔ１～Ｔ４は、それぞれ温度範囲でもよいし、温度範囲の境界でもよい。図１Ｆの判定テーブルは、温度が高いほど合成倍率の大きい画素フィルタを選択する判定信号に対応付けられる。撮像部２の温度が高いほど露光信号のばらつきが大きくなり、ＳＮ比が劣化する。図１Ｆの判定テーブルでは、温度特性によるＳＮ比の劣化を抑制することができる。

【0062】

図１Ｇは、実施の形態に係る判定テーブルの第３例を示す図である。図１Ｇでは、露光信号中のノイズ量と判定信号とが対応付けられている。ノイズ量Ｎ１～Ｎ４は、それぞれノイズ量の範囲でもよいし、ノイズ量の範囲の境界でもよい。ここでいうノイズ量は、例えば、図３に示した露光信号Ａ２つまり背景光のことである。図１Ｇの判定テーブルは、ノイズ量が大きいほど合成倍率の大きい画素フィルタを選択する判定信号に対応付けられる。背景光が多いほど露光信号Ａ０、Ａ１のＳＮ比が劣化する。図１Ｇの判定テーブルでは、背景光によるＳＮ比の劣化を抑制することができる。

【0063】

図１Ｈは、実施の形態に係る判定テーブルの第４例を示す図である。図１Ｈでは、露光信号比と判定信号とが対応付けられている。ここでいう露光信号比は、（式１）に示したものであり、「飛行時間」および「距離」に比例する。露光信号比Ｒ１～Ｒ４は、それぞれ露光信号比の範囲でもよいし、露光信号比の範囲の境界でもよい。図１Ｈの判定テーブルは、露光信号比が小さいほど合成倍率の大きい画素フィルタを選択する判定信号に対応付けられる。

【0064】

図１Ｉは、実施の形態に係る判定テーブルの第５例を示す図である。図１Ｉでは、露光パルス数と判定信号とが対応付けられている。ここでいう露光パルス数は、１フレーム期間内の露光制御信号に含まれるパルス数をいう。露光パルス数Ｐ１～Ｐ４は、それぞれ露光パルス数の範囲でもよいし、露光パルス数の範囲の境界でもよい。なお、露光パルス数の代わりに発光パルス数を用いてもよい。例えば、図１Ｉの判定テーブルは、露光パルス数が多いほど合成倍率の大きい画素フィルタを選択する判定信号に対応付けられる。

【0065】

なお、判定部６は、図１Ｅ～図１Ｉの判定テーブルから選択された２つ以上を組み合わせた判定テーブルを用いてもよい。

【0066】

［露光回数制御による画素フィルタ機能］
次に、画素フィルタを重み付け加算ではなく、露光回数制御によって構成する例について説明する。

【0067】

図５は、実施の形態に係る画素毎の露光回数制御による画素フィルタ機能を示す説明図である。同図では、撮像部２の複数の画素は、画素Ａ～画素Ｄの４画素単位の集合で構成されるものとする。

【0068】

図５の例では、画素Ａは、１フレーム当たりの露光回数を１００回に制御される。画素Ｂおよび画素Ｃは、１フレーム当たりの露光回数を２００回に制御される。画素Ｄは、１フレーム当たりの露光回数を４００回に制御される。この場合、露光制御信号は、画素Ａ、画素Ｂ、Ｃ、画素Ｄに個別に接続する必要はなく、全画素に共通に４００回の露光パルスを供給する。撮像部２は、画素Ａの４００回の露光信号のうち３００回分を破棄し、残り１００回分を蓄積することにより、１フレームの露光信号を生成する。撮像部２は、画素Ｂおよび画素Ｃの４００回の露光信号のうち２００回分を破棄し、残り２００回分を蓄積することにより、１フレームの露光信号とする。同様に、撮像部２は、画素Ｄの４００回の露光信号のうち、破棄することなく４００回分を蓄積することにより、１フレームの露光信号とする。

【0069】

さらに、図５では、合成倍率が約９倍の画素フィルタを通した後に、４画素加算して画素数を１／４に減らしたフレーム、つまり３２０×２４０の画素数をもつＱＶＧＡとして出力する。

【0070】

このＱＶＧＡ出力は、図５下段の等価な画素フィルタを通してＱＶＧＡに変換することと同等である。

【0071】

このように、画素毎の露光回数を制御、つまり、破棄回数と蓄積回数とを制御することにより、重みづけ加算と等価な画素フィルタを機能させることができる。

【0072】

以上のように、本開示の実施の形態に係る測距撮像装置１０は、照射光を照射して対象物体からの反射光を受光することによって、対象物までの距離を測定する測距撮像装置１０であって、発光制御信号、露光制御信号を出力する駆動制御部３と、上述の発光制御信号のタイミングで光の照射を行う光源部１と、照射された光の対象物体からの反射光を、上述の露光制御信号のタイミングで露光した露光信号を出力する撮像部２と、判定信号を出力する判定部６と、上述の露光信号を入力として、上述の露光信号に対して画素フィルタに応じた合成を行い、合成信号として出力する画素演算部４と、を備え、画素演算部４は、少なくとも２つ以上の画素フィルタを有し、上述の判定信号に基づいて画素フィルタを切り替える。

【0073】

また、測距撮像装置１０は、更に、上述の合成データを入力として距離画像を出力するＴＯＦ演算部５を備える。

【0074】

また、ＴＯＦ演算部５は、フレーム識別信号に基づいて、上述の距離画像の解像度を切り替えて出力する。

【0075】

また、駆動制御部３と、撮像部２と、判定部６と、画素演算部４と、ＴＯＦ演算部５は、同じ半導体基板上に備える。

【0076】

また、測距撮像装置１０は、更に、フレーム制御部７を備え、当該フレーム制御部７はフレーム単位でフレーム識別信号を出力し、駆動制御部３は、上述のフレーム識別信号に基づいて上述の発光制御信号及び上述の露光制御信号の少なくとも一方のパルス数を変更し、判定部６は、上述のフレーム識別信号に基づいて上述の判定信号を出力する。

【0077】

また、測距撮像装置１０は、更に、温度センサ８を備え、温度センサ８は、測距撮像装置１０の内部あるいは外部の少なくともどちらか一方の温度に基づいて温度信号を出力する。

【0078】

また、判定部６は、上述の温度信号に基づいて上述の判定信号を出力する。

【0079】

また、判定部６は、上述の露光信号の大きさに基づいて上述の判定信号を出力する。

【0080】

また、判定部６は、上述の発光制御信号のパルス数、露光制御信号のパルス数の少なくともどちらか一方の大きさに基づいて上述の判定信号を出力する。

【0081】

また、判定部６は、上述の露光信号の比に基づいて上述の判定信号を出力する。

【0082】

これによって、本開示の実施形態に係る測距撮像装置は、遠距離用フレームの解像度を保持しつつ、測距離レンジを拡大することが可能となる。

【0083】

また、近距離は対象物体が大きく撮像されるため、解像度低下の影響を少なく抑えることができる。

【0084】

なお、露光信号は、図３に示すように画素毎で複数の露光タイミング毎で、Ａ０、Ａ１、Ａ２を持ち、
（Ａ１－Ａ２）／（Ａ０＋Ａ１－２＊Ａ２）＜１／４であれば、判定信号をＬ、
（Ａ１－Ａ２）／（Ａ０＋Ａ１－２＊Ａ２）≧１／４であれば、判定信号をＨ
のように、露光信号の比によって判定信号を制御しても良い。

【0085】

なお、画素演算部４は、図１Ｃに示すように３個以上フィルタを切り替えても良い。

【0086】

なお、ＴＯＦ演算部５は、フレーム識別信号がＨの時は、ＶＧＡで距離画像を出力するが、フレーム識別信号がＬの時は、ＶＧＡより低解像度（例えば、ＱＶＧＡ）の距離画像を出力しても良い。

【0087】

なお、図４のように構成し、判定部６は、露光信号の量と判定テーブルとの比較結果から、判定信号を出力しても良い。

【0088】

なお、図４のように、温度センサ部８を搭載し、温度センサ部８は周囲温度を入力とし温度信号を出力し、判定部６は、温度信号と判定信号のテーブルとの比較結果から、判定信号を出力しても良い。

【0089】

なお、図５のように、撮像部２は画素毎に露光回数を変更することを可能として、画素Ａ用露光制御信号：１００回程度とし、画素Ｂ，Ｃ用露光制御信号：２００回程度とし、画素Ｄ用露光制御回数：４００回程度とし、画素演算部４は、露光回数比による画素フィルタとしても良い。

【0090】

以上説明してきたように実施の形態の一態様に係る測距撮像装置１０は、パルス光を照射して対象物体からの反射光を受光することによって、対象物体までの距離を測定する測距撮像装置１０であって、前記パルス光の発光を指示する発光制御信号、および、前記反射光の露光を指示する露光制御信号を出力する駆動制御部３と、複数の画素を有し、前記露光制御信号のタイミングで露光した画素毎の露光信号を出力する撮像部２と、前記露光信号に対して重み係数を用いて隣り合う複数の画素の露光信号を合成する画素フィルタによって合成信号を生成する画素演算部４と、前記合成信号に基づいて距離画像を生成するＴＯＦ演算部５と、を備え、前記画素演算部４は、互いに異なる合成倍率をもつ少なくとも２つの画素フィルタ４Ａ～４Ｅを有し、前記少なくとも２つの画素フィルタの中から何れか１つを、前記画素フィルタとして選択する。

【0091】

これによれば、露光信号量が少ない場合であっても画素フィルタによる合成によって露光信号量を増加させるのでダイナミックレンジを容易に拡大できるという効果がある。ダイナミックレンジの拡大は、すなわち、測距レンジの拡大を意味する。また、少なくとも２つの画素フィルタから画素フィルタを選択可能なので、例えば、撮像環境または撮像用途に応じて測距レンジを拡大できるという効果がある。

【0092】

ここで、測距撮像装置１０は、さらに、前記対象物体の想定距離、前記撮像部２の温度、前記露光信号に含まれるノイズ量、および、動作モードのうちの少なくとも１つに基づいて撮像環境または撮像用途を判定し、判定結果に応じて画素フィルタの選択を制御するための判定信号を出力する判定部６を備え、前記画素演算部４は、前記判定信号に基づいて画素フィルタを選択してもよい。

【0093】

これによれば、撮像環境または撮像用途に応じて画素フィルタを選択するので、適応的に測距レンジを拡大することができる。

【0094】

ここで、前記撮像部２は、第１タイプのフレームと第２タイプのフレームとを含む複数のフレームを生成し、前記第１タイプのフレームは、Ｋ１（Ｋ１は２以上の整数）回の発光および露光に基づいて生成され、前記第２タイプのフレームは、Ｋ２（Ｋ２はＫ１より大きい整数）回の発光および露光に基づいて生成され、前記判定信号は、前記撮像部２により生成されたフレームが第１タイプであるか第２タイプであるかに応じてフレーム毎に画素演算部４における画素フィルタの選択を制御してもよい。

【0095】

これよれば、例えば、第１タイプのフレームは比較的強い反射光を返す近距離の対象物に適しており、第２タイプのフレームは比較的弱い反射光を返す遠距離の対象物に適している。第１タイプのフレームの露光信号に対して合成倍率が比較的大きい画素フィルタを選択すれば、近距離の対象物の反射率が小さい場合でも、ダイナミックレンジひいては測距レンジを拡大することができる。また、第２タイプのフレームの露光信号に対して合成倍率が比較的大きい画素フィルタを選択すれば、遠距離の対象物の反射率が小さい場合でも、ダイナミックレンジひいては測距レンジを拡大することができる。

【0096】

ここで、前記少なくとも２つの画素フィルタは、第１の画素フィルタと、第２の画素フィルタとを含み、前記第１の画素フィルタの合成倍率は、前記第２の画素フィルタの合成倍率よりも大きく、前記画素演算部４は、第１タイプのフレームを構成する露光信号に対して第１の画素フィルタを選択し、前記第２タイプのフレームを構成する露光信号に対して第２の画素フィルタを選択してもよい。

【0097】

これによれば、例えば、合成倍率の大きい第１の画素フィルタを適用するので、近距離にある対象物の反射率が小さい場合であっても、近距離用の第１フレームのダイナミックレンジひいては測距レンジを拡大することができる。

【0098】

ここで、前記測距撮像装置１０は、更に、前記測距撮像装置１０の内部および外部の少なくとも一方の温度を測定する温度センサ部を備え、前記画素演算部４は、前記温度に基づいて前記画素フィルタを選択してもよい。

【0099】

これによれば、温度に応じて画素フィルタを選択するので、測距精度の温度依存性を抑制することができる。

【0100】

ここで、前記画素演算部４は、前記温度が高いほど合成倍率の大きい画素フィルタを選択してもよい。

【0101】

これによれば、温度が高いほど合成倍率の大きい画素フィルタを選択するので、温度依存で発生するばらつきの影響を抑制することができる。

【0102】

ここで、画素演算部４は、前記露光信号に含まれるノイズ成分の大きさに基づいて前記画素フィルタを選択してもよい。

【0103】

これによれば、例えば背景光としてのノイズ成分に応じて画素フィルタを選択するので、背景光のよる精度劣化を抑制することができる。

【0104】

ここで、前記画素演算部４は、前記ノイズ成分が大きいほど合成倍率の大きい画素フィルタを選択してもよい。

【0105】

これによれば、ノイズ成分が大きいほど合成倍率の大きい画素フィルタを選択するので、ノイズ成分による精度劣化等の影響を抑制することができる。

【0106】

ここで、前記判定部は、１フレームに期間内の前記発光制御信号のパルス数、および、前記露光制御信号のパルス数の少なくとも一方を判定し、判定したパルス数に応じた合成倍率の画素フィルタを選択するように制御する前記判定信号を出力してもよい。

【0107】

これによれば、パルス数に応じて画素フィルタを選択するので、距離に依存する露光信号量の過不足を補償することができる。

【0108】

ここで、前記画素演算部４は、前記パルス数が少ないほど合成倍率の大きい画素フィルタを選択してもよい。

【0109】

これによれば、パルス数が少ないほど合成倍率の大きい画素フィルタを選択するので、例えば、反射率が小さい対象物による露光信号量の不足を補償することができる。

【0110】

ここで、前記判定部６は、前記露光信号の比で示される反射光の飛行時間を判定し、前記飛行時間に応じた画素フィルタを選択するように制御する前記判定信号を出力してもよい。

【0111】

これによれば、飛行時間に応じて画素フィルタを選択するので、距離に依存する露光信号量の過不足を補償することができる。

【0112】

ここで、前記画素演算部４は、前記飛行時間が短いほど合成倍率の大きい画素フィルタを選択してもよい。

【0113】

これによれば、前記飛行時間が短いほど合成倍率の大きい画素フィルタを選択するので、例えば、反射率が小さい対象物による露光信号量の不足を補償することができる。

【0114】

ここで、前記少なくとも２つの画素フィルタは、前記露光信号と閾値とを比較し、前記露光信号が閾値よりも小さい場合にゼロを合成信号として出力し、前記露光信号が閾値以上である場合に当該露光信号を合成信号として出力する閾値フィルタを含んでいてもよい。

【0115】

これによれば、閾値フィルタにより閾値以下の露光信号をゼロとみなすので、ノイズを多く含む露光信号を抑制することができる。

【0116】

ここで、さらに、前記撮像部２の温度、前記露光信号に含まれるノイズ量、および、動作モードのうちの少なくとも１つに基づいて撮像環境または撮像用途を判定し、判定結果に応じて閾値を選択し、選択した閾値を閾値フィルタに設定する閾値設定部を備えてもよい。

【0117】

これによれば、撮像環境または撮像用途に応じて閾値を設定するので、近距離から遠距離まで、および、反射率の大きい対象物から反射率の小さい対象物まで幅広く適切な閾値を設定し、ノイズを多く含む露光信号を抑制することができる。

【0118】

ここで、前記ＴＯＦ演算部５は、前記第１タイプのフレームに対応する前記距離画像の解像度を低下させてもよい。

【0119】

これによれば、近距離用の第１タイプのフレームの画総数が低下し解像度が劣化するが、近距離の物体には解像度の劣化はさほど問題にならないし、ダイナミックレンジおよび測距レンジを拡大することができる。

【0120】

ここで、前記駆動制御部３と、前記撮像部２と、前記判定部６と、前記画素演算部４と、前記ＴＯＦ演算部５とは、同じ半導体基板上に備えられてもよい。

【0121】

これによれば、測距撮像装置１０を小型化することができる。

【0122】

以上、開示する技術を例示するため、実施の形態として、図面および詳細な説明を提供した。

【0123】

したがって、図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

【0124】

なお、本開示における技術は、これらに限定されるものではなく、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、本開示における技術の趣旨を逸脱しない限り、当業者が思いつく各種変形を施したものや、複数の実施の形態における構成要素を組み合わせて構築される形態も、本開示における技術の範囲内に含まれる。

【産業上の利用可能性】

【0125】

本開示は、対象物までの距離を測定する測距撮像装置に利用可能である。

【符号の説明】

【0126】

１ 光源部
２ 撮像部
３ 駆動制御部
４ 画素演算部
５ ＴＯＦ演算部
６ 判定部
７ フレーム制御部
８ 温度センサ部
１０ 測距撮像装置
４１、４３、４５ 選択部
４２ 閾値設定部
４Ａ～４Ｅ、４６、４７ 画素フィルタ

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図1F】

【図1G】

【図1H】

【図1I】

【図2】

【図3】

【図4】

【図5】