IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ タービジオ 3ディー リミティドの特許一覧

<>
  • 特許-画像化装置および方法 図1
  • 特許-画像化装置および方法 図1A-1B
  • 特許-画像化装置および方法 図2
  • 特許-画像化装置および方法 図3
  • 特許-画像化装置および方法 図4
  • 特許-画像化装置および方法 図5
  • 特許-画像化装置および方法 図6
  • 特許-画像化装置および方法 図7
  • 特許-画像化装置および方法 図8
  • 特許-画像化装置および方法 図9
  • 特許-画像化装置および方法 図10
  • 特許-画像化装置および方法 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-21
(45)【発行日】2023-11-30
(54)【発明の名称】画像化装置および方法
(51)【国際特許分類】
   G01S 17/86 20200101AFI20231122BHJP
   G01S 17/894 20200101ALI20231122BHJP
   H04N 23/20 20230101ALI20231122BHJP
【FI】
G01S17/86
G01S17/894
H04N23/20
【請求項の数】 15
(21)【出願番号】P 2023501224
(86)(22)【出願日】2021-07-06
(65)【公表番号】
(43)【公表日】2023-07-13
(86)【国際出願番号】 IL2021050829
(87)【国際公開番号】W WO2022009202
(87)【国際公開日】2022-01-13
【審査請求日】2023-01-05
(31)【優先権主張番号】275896
(32)【優先日】2020-07-07
(33)【優先権主張国・地域又は機関】IL
【早期審査対象出願】
(73)【特許権者】
【識別番号】523005586
【氏名又は名称】タービジオ 3ディー リミティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【弁理士】
【氏名又は名称】森本 有一
(72)【発明者】
【氏名】アミット フランク
【審査官】佐藤 宙子
(56)【参考文献】
【文献】国際公開第2020/018600(WO,A1)
【文献】特表2020-503500(JP,A)
【文献】特表2018-535402(JP,A)
【文献】米国特許出願公開第2012/261553(US,A1)
【文献】米国特許出願公開第2012/069322(US,A1)
【文献】欧州特許出願公開第2942644(EP,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48- 7/51
G01S 17/00-17/95
(57)【特許請求の範囲】
【請求項1】
3DカメラC1、信号プロセッサSGNPRC、レーザLSR、光学スキャナOPTSCNおよびコントローラCNTRLを含む画像化装置APPにおいて、
二峰性アレイBMDARRが、i)標準的熱画像化およびii)距離測定のための非同期的画素サンプリングのうちの1つにおいて実行しかつコントローラCNTRLによる指令を受け、前記二峰性アレイBMDARRが複数の低速応答熱検出器THRDTCを含み、前記低速応答熱検出器THRDTCを使用することによって2D熱画像および正確な距離データを生成するように構成されており、前記2D熱画像および距離データが信号プロセッサSGNPRCへと転送され、
ここで、前記コントローラCNTRLがさらに、前記レーザLSR、前記光学スキャナOPTSCNおよび前記3DカメラC1を動作させて、信号プロセッサSGNPRCに伝達されるサンプリングされた検出済み信号DSにおける複数の時間事象対t1iおよびt2iを導出するように構成されている画素サンプリング回路PXSMPを使用することによって、前記距離測定のための距離データを導出するうに構成されており、かつ
前記信号プロセッサSGNPRCが、前記低速応答熱検出器THRDTCの時間応答に対応しこの応答に関する正確さよりも高い正確さで前記距離データを計算し、かつ前記距離データと前記2D熱画像をインタレースして3D熱画像を生成するように構成されている、ことを特徴とする画像化装置APP。
【請求項2】
前記二峰性アレイBMDARRが複数の低速応答熱検出器THRDTCを含み、この低速応答熱検出器THRDTCの各々が2D熱画像内および3D熱画像内で1つの画素を生成する、請求項1に記載の装置APP。
【請求項3】
前記画素サンプリング回路PXSMPが、
サンプリングされた検出済み信号DSの上昇部分taおよび減衰部分tdを非同期的にサンプリングして、間隔INTVLの恒常かつ等しいスパンの逐次的ステップでかつ振幅AMPLVLiの連続的レベルで2つの時間事象t1iおよびt2iを導出し、
各々1つの時間事象が前記2つの時間事象t1iおよびt2iのうちのいずれに関連しているかを標示するべく、フラグ信号R/Fを送出する、ように構成されており、
前記時間事象対t1iおよびt2iおよびフラグ信号R/Fを格納する時間データファイルTMFLが、クロックサンプリング信号CLKSMPの送出時点で中間メモリINTMM内に記憶される、請求項2に記載の装置APP。
【請求項4】
前記時間事象t1iおよびt2iの各々1つの対は、第1のインデックスが1として標示される第1の時間事象t1i、および前記第1のインデックスが2として標示される第2の時間事象t2iを含み、これらのインデックス1および2が前記フラグ信号R/Fと相関されており、
各々1つの時間事象t1iおよびt2iが第2のインデックスiによって識別され、ここで第2のインデックスiは振幅レベルAMPLVLiに関係しており、
前記時間事象t1iが、2つの側を有する転移点TRPNTの第1の側で前記時間データファイルTMFL内にセーブされており、前記時間事象t2iが前記転移点TRPNTの第2の側に記憶されており、
比較的低い数値的インデックスiを有する時間事象が、前記転移点TRPNTに対してより近くに記憶される、請求項3に記載の装置APP。
【請求項5】
前記低速応答熱検出器THRDTCが、非冷却式検出器および冷却式検出器のうちの一つである、請求項1に記載の装置APP。
【請求項6】
3DカメラC1、信号プロセッサSGNPRC、レーザLSR、光学スキャナOPTSCN、低速応答熱検出器THRDTCおよびコントローラCNTRLを含む画像化装置APPを実装するための方法において、
前記低速応答熱検出器THRDTCを使用して、ターゲットTRGTから戻された発出済みレーザパルスLPから検出済み号DSを導出するステップ、
前記検出済み信号DSを非同期的にサンプリングして、そこから距離測定のための前記検出済み信号DSにおける2系列の時間事象、それぞれt1iおよびt2iを導出するステップ、
【数1】
および
【数2】
のうちの1つを使用することによって時間Tbgを導出するステップであって、ここでτは前記低速応答熱検出器THRDTC時定数であり、t1iは第1の時間事象であり、PWは前記レーザパルスLPのパルス幅であり、t2iは第2の時間事象であり、trは前記レーザパルスLPの立ち上がり時間であり、tfは前記レーザパルスLPの立ち下がり時間であるステップ、および、
【数3】
を用いてターゲットTRGTまでの距離Rを計算するステップであって、ここでTbgが飛行時間TOFに等しいステップ、を特徴とする方法。
【請求項7】
低速応答熱検出器THRDTCが、市販の高品質の高速検出器のコストよりも少なくとも1ケタ廉価である低速応答熱検出器THRDTCである、請求項6に記載の方法。
【請求項8】
前記低速応答熱検出器THRDTCが、非冷却式検出器である、請求項6に記載の方法。
【請求項9】
前記検出済み信号DSが、上昇部分taおよび減衰部分tdを有し、前記その上昇部分taおよび前記減衰部分tdの両方について非同期的にサンプリングされる、請求項6に記載の方法。
【請求項10】
前記検出済み信号DSが、恒常で等しい振幅間隔INTVLの逐次的および連続的振幅ステップで非同期的にサンプリングされる、請求項6に記載の方法。
【請求項11】
前記検出済み信号DSからサンプリングされた信号SIGSMPが、時間データファイルTMFL内にセーブされ、その内部で、転移点TRPNTを中心として対称であるパターンでリストされている、請求項6に記載の方法。
【請求項12】
前記低速応答熱検出器THRDTCによって検出された前記検出済み信号DSが、2重の機能性を有する画素サンプリング回路PXSMPの入力の前にアナログ電圧信号Vo(t)へと増幅される、請求項6に記載の方法。
【請求項13】
前記低速応答熱検出器THRDTCによって検出された前記検出済み信号DSが、画素サンプリング回路PXSMPへの入力の前にアナログ電圧信号Vo(t)へ増幅される方法であって、画素サンプリング回路PXSMPが、
前記アナログ電圧信号Vo(t)が立ち上がり中か減衰中かを決定し標示するための第1の機能と、
前記アナログ電圧信号Vo(t)が次の振幅レベルAMPLVLiに達したか否かを決定するための第2の機能と、を有する、請求項6に記載の方法。
【請求項14】
前記画素サンプリング回路PXSMPと前記低速応答熱検出器THRDTCとが、距離測定のために熱画像化および非同期的画素サンプリングを行なうように構成されている二峰性アレイBMDARRとして統合されている、請求項13に記載の方法。
【請求項15】
前記画素サンプリング回路PXSMPが、主電気回路MNCRCTの一要素であり、非同期的画素サンプリングプロセスを動作させるように構成されており、
前記主電気回路MNCRCTが、遅延ラインDLに結合された標準的サンプルホールド回路SMPHOLを含み、後者2つが、導出されたデータの考えられる内部衝突を防止するように構成されている、請求項14に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、3Dカメラおよび距離測定方法に関し、詳細には、検分した景色から2D画像および3D画像化データを導出するために、熱画像化を実行し、距離を測定し、かつ距離と2D熱画像をインタレースする目的で、光学スペクトルの熱領域内で動作する低速応答検出器を利用する装置に関する。
【背景技術】
【0002】
画像化装置または画像化デバイスは、当該技術分野において周知であり、距離測定、2Dでの熱画像化および3D画像化データの獲得の分野などにおけるさまざまな目的のために広く動作させられている。利用可能な高度なデバイスの1つの欠点は、高品質の、ひいては高価な信号検出器を必要とするその構造にある。別の欠点は、その高いコストおよび低い信頼性に起因した、冷却式熱検出器の使用の必要性にある。さらなる欠点は、このようなデバイスが特定の用途専用であることにある。例えば、距離を測定するための1つのレンジファインダ、温度間で差別化するための1つの2Dサーマルイメージャ、そして3D画像化を得るための1つの3Dイメージャである。
【0003】
したがって、単一の装置内に複数の画像化デバイスを組合せることのできる装置を提供することが有利であると思われる。例えばレンジファインダおよび2Dサーマルイメージャの特徴を包含し組み合わせ、さらに非冷却式低速応答検出器を使用することによって手頃な価格であるものの、トップランクの機器に等しい結果を提供する3D画像化カメラである。
【0004】
関連技術の説明
光束φe(t)の入射光放射に対する応答としての光検出器内の電荷担体の量の変化に関して以下で導出される等式は、以下でDereniakと称する書籍「Infrared Detectors and Systems」、E.L.DereniakおよびG.D.Boreman著、Chapter 5、para.5.6、pp.190~192に基づくものである。
【0005】
同様に関連するのは、気象現象を任意に検知するステップを含む物体検知用画像検出器について記述する2020年1月23日付けのMAIMON Shimonに対する国際公開第2020/018600号、およびMargarit、Josep Mariaら、「A 2kfps sub-μ W/Pix uncooled-PbSe digital imager with 10bit DR adjustment and FPN correction for high-speed and low-cost MWIR applications」、IEEE Journal of Solid-State Circuits 50.10(2015):2394~2405である。
【先行技術文献】
【特許文献】
【0006】
【文献】国際公開第2020/018600号
【非特許文献】
【0007】
【文献】「Infrared Detectors and Systems」、E.L.DereniakおよびG.D.Boreman著、Chapter 5、para.5.6、pp.190~192
【文献】Margarit、Josep Mariaら、「A 2kfps submikuron W/Pix uncooled-PbSe digital imager with 10bit DR adjustment and FPN correction for high-speed and low-cost MWIR applications」、IEEE Journal of Solid-State Circuits 50.10(2015):2394~2405
【発明の概要】
【0008】
本明細書で記載されている実施形態の目的は、2D熱画像と距離測定を組合わせる3D画像化用の装置およびその実装方法を開示することにある。この装置は、信号プロセッサ、レーザ装置、光学スキャナとおよびコントローラを備えている。
【0009】
例示的実施形態に係る装置の1つの特徴は、高い距離分解能を伴う3D画像化のための低速応答熱検出器の使用にある。低速応答検出器は、一般的に入手可能であり、価格も有利である。この装置は、2D熱画像と距離データを組合せ、それから3D熱画像化を創出する。
【0010】
例示的実施形態に係る装置のさらなる特徴は、標準的熱画像化または距離測定のための非同期的画素サンプリングのいずれかを生成する低速応答熱検出器THRDTCの二峰性アレイBMDARRの使用にある。二峰性アレイは、コントローラによる指令を受け、複数の低速応答熱検出器を含む。さらに、二峰性アレイは、低速応答熱検出器の各々1つを使用することによって2D熱画像ならびに正確な距離データを生成するように設計されている。アレイ内の各々の低速応答熱検出器によって収集された2D熱画像および距離データの両方共が信号プロセッサに転送される。
【0011】
コントローラはさらに、サーマルイメージャのレーザ、光学スキャナおよび各々1つの低速応答熱検出器を動作させるように構成されている。これにより、コントローラは、サーマルイメージャのレーザ、光学スキャナおよび熱検出器を動作させてそこから距離データを導出することができる。この距離データは、複数の時間事象対t1iおよびt2iを導出するのに専用のものである画素サンプリング回路を使用することによって収集される。これらの時間事象対t1iおよびt2iは、信号プロセッサに伝達されるサンプリングされた検出済み信号DSから導出される。
【0012】
最後に、信号プロセッサは、アレイ内の低速応答熱検出器の応答時間に関する正確さよりもはるかに高い確度で距離を計算するように構成されている。信号プロセッサは、2D熱画像を距離データとインタレースして、距離データと2D熱画像を組合わせた3D熱画像化を生成することができる。
【0013】
二峰性アレイが複数の低速応答熱検出器を含むこと、そしてこれらの熱検出器の各々1つが、2D熱画像内および3D画像内で1つの画素を生成することが指摘される。
【0014】
さらに、2D熱画像と距離測定を組合せた3D画像化用装置を構築し実装する方法が提供される。該装置は、3Dサーマルイメージャ、信号プロセッサ、レーザ、光学スキャナおよびコントローラを含む。該装置は、検出済みアナログ信号からデータを導出するために低速応答熱検出器THRDTCを使用する。アナログ信号は、ターゲットから戻される発出済みレーザパルスLPに対する応答であり得る。装置は、検出済み信号を非同期的にサンプリングしそこからデータを導出するように構成されている。このような導出されたデータは、それぞれt1iおよびt2iとマーキングされる2系列の時間事象を含み得る。
【0015】
装置はさらに、数学的等式を使用することによって、飛行時間TOFに等しい時間的長さTbgをデータから導出するように構成されている。これらの等式には、等式3および等式4.1~4.3のうちの1つが含まれる。その後、ターゲットTRGTまでの距離Rは、等式5を用いて計算される。
【発明が解決しようとする課題】
【0016】
1つの問題は、低速応答検出器デバイスを利用する距離測定のための装置の実装に関するものであり、ここで、低速応答とは、光学スペクトルの熱領域内での動作のための比較的低速の応答を有する冷却式または非冷却式熱検出器の使用を意味する。低速時間応答は、距離測定の所望される時間依存型分解能に比べて低速であるものの、それでもなお、所望される距離測定分解能のためには正確であるレンジファインダとして機能していることを意味している。光学スペクトルの熱領域は、2μm~14μmの光学波長範囲として定義される。
【0017】
別の問題は、景色全体またはその選択された部分の3D熱画像を得る目的で、検分した景色の3D画像化と2D熱画像の両方を3DサーマルイメージャAPP内でどのように統合するかという点にある。2Dは、2次元を意味し、3Dは3次元を意味する。
【0018】
図1Aは、一般的に使用されている距離測定デバイスの動作原理を例示する。一般的なレンジファインダは、レーザ発振デバイスLSRによってターゲットTRGTに向かって発出されたレーザパルスLPがターゲットTRGTに当たってそこから光検出器DTCTまで戻るのにかかる時間である飛行時間TOFを測定する。距離Rは、このとき、導出された飛行時間TOFの1/2に光の速度を乗じることによって計算され得る。
【0019】
明白なことに、距離測定の正確さは、飛行時間TOFの測定の正確さによって左右される。
【0020】
このためにこれらの一般的な正確なレンジファインダは、距離測定の分解能に左右される所望される時間分解能dtよりも短い時定数τを有する高速応答検出器、および時定数τと同じ時間規模を有する図1Bに示された狭いパルス幅PWを有するレーザパルスLP、の両方を必要とする。
【0021】
図1Bは、ターゲットTRGTに向かって発出されそこから戻った短いレーザパルスLPおよび一般的な距離測定デバイスとして動作する高速応答光検出器DTCTによりレーザパルスLPから導出された検出済みアナログ信号DSの時系列を描いている。飛行時間TOFも同様に、図1Bに示されている。
【0022】
レンジファインダからターゲットTRGTを離隔する距離を導出するために概して用いられる等式は、
【数1】
であり、式中Rは距離、cは光の速度、TOF/2は、レーザパルスの発出時点から検出器信号DSの生成開始まで測定された時間が、両方の方向、つまりターゲットTRGTへそして検出器DTCTに戻る方向へ光が進むのにかかる時間と等しいことから、飛行時間TOFを2で除したものである。
【0023】
例えば5mという正確さ距離測定を得るためには、所要時間分解能dtは、光が前後に5m進む時間であると考えられるおよそ33nsである。したがって、このような正確さで距離Rを測定するためには、1ns未満の時定数τを有する低速応答検出器DTCTが必要とされると思われる。多くの低速応答検出器DTCTそして具体的には低速応答熱検出器THRDTCは、数μsから数msの範囲内の時定数τを有することから、これらの低速応答検出器DTCTを用いて同じ距離測定の正確さを達成することができれば有利であると思われる。
【0024】
さらに別の問題は、装置APPをLIDARとして、つまり光画像化検出および距離測定デバイスとして使用し、かつLIDARにより測定された距離とインタレースするために、検分した景色から2D熱画像を導出する能力に関係するものである。換言すると、測定された距離を2D画像画素と組合わせてターゲティングされた物体の3D熱表現または3D熱画像を形成する装置APPの能力である。3D熱表現は、物体の表面および/または長さ、幅および奥行きを含めた物体の寸法ならびにその相対的温度の数学的表現である。
【0025】
一般的なLIDARシステムは、単一の検出器または検出器アレイのいずれかとしての高速応答検出器DTCT、および短パルスレーザLSRを使用して、3D表現を生成する。光学スペクトルの近赤外線領域内で動作するLIDARが市販されているが、検分した景色の2D熱画像をその同じ景色の3D画像化と組合せた形で得ることを可能にするものではない。
【0026】
画素間の相対的温度を表わす2D熱画像内に含まれるデータおよび各画素までの異なる距離を表わす3D画像内に含まれるデータは、互いに相補的である。高度画像処理、アルゴリズムおよび人工知能の目的のためには、両方を1つの熱表現または熱画像としてインタレースされた状態で表現できることが有利であると思われる。低速応答デュアルモード熱検出器アレイまたは略して二峰性アレイBMDARRに基づいてこのような3D熱表現を得るための装置APPが、費用効果性および設計の単純さのためにさらに有利であり得る。
【課題を解決するための手段】
【0027】
第1の問題を解決するために、ここで低速応答熱検出器THRDTCを使用することによって距離Rを測定する方法について説明する。
【0028】
図1は、時間t=0において発出されたレーザパルスLPの振幅と時間の関係を表わすグラフを概略的に描いている。レーザパルスLPの振幅は、立ち上がり時間trを通って平坦域まで立ち上がり、その後立ち下がり時間tfを通って立ち下がり、低速応答検出器THRDTCの時定数τよりも長い時間持続するパルス幅PWを有する。時定数τは、図中に示されていない。
【0029】
図1はさらに、ターゲットTRGTに向けて発出されターゲットTRGTから戻されたレーザパルスLPから低速時間応答検出器THRDTCによって導出された検出済み信号DSを描いている。検出済み信号DSは飛行時間TOFの終りで開始することから、検出済み信号DSの開始時間は、したがって時間Tbgである。定義上、時間Tbgは、飛行時間TOF、すなわち、レーザ発振デバイスによりターゲットTRGTに向かって発出されたレーザパルスLPがターゲットTRGTに当たりそこから戻るのにかかる時間に等しい。したがって、
【数2】
図1に示されているように、検出済み信号DSは、検出済み信号DSの最大強度に到達する時間Tpeakまで、飛行時間TOFの終りから指数関数的に上昇し、その後、検出済み信号DSは指数関数的に減衰する。ここで、検出済み信号DSのサンプリングそして詳細には非同期的サンプリング方法について言及する。
【0030】
図2は、検出済み信号DSの非同期的サンプリングを例示しており、図3は、このようなサンプリングプロセスの特定の結果を描いている。
【0031】
定義上、非同期的サンプリング方法は、検出済み信号DSの上昇部分taおよび減衰部分tdの両方をサンプリングし、サンプリングは、恒常で等しい振幅レベルAMPLVLiの逐次的および連続的振幅ステップで進行する。
【0032】
図2中、振幅レベルAMPLVLi間を離隔する振幅間隔は恒常であるが、非同期的サンプリングの連続する時間事象間を離隔する間隔は恒常ではない。各々1つの振幅レベルAMPLViについて、非同期的サンプリング方法は、2つの時間事象に対応する2つのサンプリングされた信号を導出する。検出済み信号DSの上昇部分taについての第1の時間事象t1iと、検出済み信号DSの減衰部分tdについての第2の時間事象t2iである。したがって、1つの同じ振幅レベルAMPLVLiについてのインデックスiおよび、上昇部分中の時間事象の発生についてのインデックスj=1およびサンプリングされた検出済み信号DSの減衰部分についてのインデックスj=2で、振幅レベルをAMPLVLiそして非同期的時間サンプリングをtjiとしてマーキングすることができる。インデックスiは1~nの範囲内の整数であり、インデックスjは1または2のいずれかである。例えば図2において、i=3の振幅レベルつまりAMPLVL3について、時間事象tjiの対応する値はt13およびt23である。
【0033】
図3は、振幅レベルAMPLVLi間を離隔する振幅間隔が恒常である一方で、2つの時間事象tji間を離隔する距離は、検出済み信号DSの形状により左右されるということを明確に示している。さらに、図3は、サンプリングされた信号SIGSMPが3つの異なる振幅レベルAMPLVLを有する特殊なケースを例示している。より一般的なケースでは、ターゲットの距離R、ターゲットの放射測定特性、例えば放射率そして振幅レベルAMPLVLi間を離隔する振幅間隔INTVLに応じて、複数の振幅レベルAMPLVLを生成することができる。
【0034】
2系列の時間事象、すなわちt1iおよびt2iは、以下の等式を使用することによって、図1、2、および3に示された検出済み信号DSの開始時間を計算するために使用可能である。
【0035】
立ち上がり時間trおよび立ち下がり時間tfがおおよそゼロまたはゼロに近い場合、したがってtr≒tf≒0について、検出済み信号DSの開始時間Tbgは、以下の等式3を用いて計算可能である。
【数3】
他のケースにおいて、検出器信号開始時間Tbgは、以下の3つの等式、すなわち等式4.1から等式4.3を用いて計算可能である。
【数4】
【0036】
時間Tbgは、特定の振幅レベルAMPLVLiに対応する時間t1iおよびt2iの1つの対を選択すること、あるいは、いくつかの振幅レベルAMPLVLiに属するいくつかの時間事象t1iおよびt2iを使用していくつかのTbg時間値にわたり平均化することのいずれかによって計算可能である。
【0037】
ターゲットTRGTまでの距離Rは、このとき、等式2および等式5を使用することによって計算可能である。
【数5】
【0038】
距離Rの計算における唯一の変数は時間事象系列t1iおよびt2iであるということが指摘される。
【0039】
したがって、結論として、低速応答検出器THRDTCすなわち比較的低速の時間応答を有する冷却式または非冷却式熱検出器が距離R測定のために使用可能であると言うことができる。距離測定Rの精度は、時間事象の系列t1iおよびt2iの時間測定の正確さのみに左右される。
【発明の効果】
【0040】
本明細書で説明されている装置APPは、距離測定と2D熱画像を組合わせた3D熱画像化を導出するために低速応答検出器を使用するという技術的利点を有する。該説明は、多くの利用分野における多くの実践的利点の開示には不十分であり、示唆することさえできていない。
【0041】
実際には、装置APPの利点には、距離測定そして、景色の選択された2D熱画像と組合わせた3Dでの景色の提示が含まれる。
【0042】
装置APPの性能は、距離および幾何学的寸法測定値の較正による、および相対または絶対温度測定に対する特定的使用のために増強可能である。
【0043】
公衆衛生目的のためには、該装置APPは、事前に選択されたレベルより体温の高い個人を第1の人のグループの中から集合的に認識し、これらの個人は、個人的にターゲティングされ、距離毎に位置特定され、バイオメトリック特徴の測定により識別される。さらに、装置APPは、第1の認識されたグループの個人に対して、具体的に選択された相互離隔距離範囲よりも短い距離だけさらに近い個人を認識し、第2の個人グループを、第1の識別されたグループによる感染のリスクがあるものとして識別する。これにより、装置APPは、病人または感染者の逐次的検査および識別にとって替わる。例えば、疫病の場合に、装置APPは、最低限の相互離隔距離を無視したために疫病に感染しているリスクのある特定の個人を群衆の中から自動的に指定し識別することを可能にする。これにより、リスクのあるこれらの個人を隔離することで、全住民に対する疫病の拡大を防止することができる。
【0044】
本明細書で説明されている3重の技術的成果と、設計の単純さおよび低コスト生産というその経済的利点とを組合わせることにより、人命救助を実現することができる。したがって、例えば低い可視性条件下における人間または動物の検出および回避のため、および事故防止のために複雑な状況危険に対処する場合などに、高度運転者支援システム(ADAS)に対するこのような技術的特徴の組合せの応用が利用可能であり、現在のシステムに比べ費用効果が高い。
【0045】
運転者のバイオメトリクスの検知のため、および駐車した車両内の幼児の置き去りを回避するべく警告を提供するために、車室内部に装置APPを設置することによって、人命救助を実現することも可能である。
【0046】
火事の場合、装置APPは、炎の壁の向こうに人が隠れていても検出すること、そしてその人数および距離を認識することもできる。
【0047】
例えば産業界では、一群の製品が該装置APPの視野の中に配置されている状態で、既定の閾値寸法公差および/または温度範囲を超える製品が、別個の個別検査手順を用いる代りに、同時に検出され識別される。
【0048】
例えばロボット工学では、装置APPは、サーマルマッピングを含む正確な3D画像によりロボットに追加のデータを提供しこうして周囲部域の画像の正確さを高めることのできる改良型人工眼球として使用可能である。
【0049】
装置APPは同様に、制御センタの状況認識を改善し、費用効果的に公衆の安全性を高めるために既存の光学カメラに対して3D熱およびLidar画像化を付加するために、居住者の経験および福利を改善するために高度の技術を包含する「スマートシティ」としても公知である都市内でも使用可能である。
【0050】
図面中、同様の参照文字は、概して異なる図全体を通して同じ部品を意味する。同様に、図面は概略的であり、原寸に比例しておらず、その代わり概して本発明の原理を示すことに重点が置かれている。図と併せて以下の例示的実施形態の説明を参照して、本発明のさまざまな非限定的実施形態が記述される。
【図面の簡単な説明】
【0051】
図1A-1B】図1Aは、一般的に使用される距離測定方法の動作原理を例示する。図1Bは、ターゲットに対して発出されターゲットから戻された短いレーザパルス、ならびに一般的距離測定方法で使用されるような高速応答光検出器によってそこから検出されたアナログ信号の時系列を描いている。
図1図1は、レーザパルスLP、および低速応答熱検出器THRDTCによってキャプチャされた、このレーザパルスから導出された信号DSのグラフである。
図2図2は、受信した長いレーザパルスに応答して低速応答検出器によって生成されたアナログ信号の恒常な振幅間隔INTVLで進行する非同期的サンプリングを例示する。
図3図3は、3つの振幅レベルAMPLVLiを有する信号SZGSMPの例示的構造を例示する。
図4図4は、低速応答熱検出器THRDTCを使用して非同期的サンプリングによって距離を測定する装置APPの電気的要素を示す主電気回路MNCRCTのブロック図である。
図5図5は、非同期的サンプリングプロセスで使用するための、転移点TRPNTを中心にして対称であるデータ記憶パターンを例示する。
図6図6は、画素サンプリング回路PXSMPを例示する。
図7図7は、フォトアレイPHTARRと呼ばれる標準的設計の熱画像化検出器アレイを描いている。
図8図8は、熱画像化および距離測定のための二峰性アレイBMDARRを例示しており、選択されたラインiが強調されている。
図9図9は、装置APPの例示的実施形態のブロック図を例示する。
図10図10は、二峰性アレイBMDARRにより生成された2D画像の一部分、およびその上に投射されたレーザビームLSRBMの走査パターンを例示する。
図11図11は、3D画像とインタレースされた2D熱画像を生成するための装置APPのコントローラCNTRLの連続する動作段階を描いている。
【発明を実施するための形態】
【0052】
低速応答熱検出器THRDTCを使用する上述の距離測定方法は、装置APP内で実装可能である。
【0053】
図4は、低コスト検出器および非同期的サンプリングを使用することによる距離R測定のための装置APPの電気的要素を示す主電気回路MNCRCTの概略的ブロック図であり、その動作を例示している。低コスト検出器は、市販の高品質高速検出器のコストに比べて少なくとも1桁、さらには2桁廉価である。
【0054】
時間t=0において、装置APPの2つの要素すなわちレーザドライバLSRDRおよびクロックCLK、または時間の計数を開始するタイムカウンタCLKを同時に初期化する開始信号STRTが与えられる。開始信号STRTは同様に、それに結合された中間メモリINTMMをリセットする。開始信号STRTによってひとたび初期化されると、レーザドライバLSRDRは、それに結合されたレーザ発振デバイスLSRまたはレーザLSRに第1のレーザパルスLPを発出するように指令する。その時からこの第1のレーザパルスLPはターゲットTRGTに送信され、そこから装置APPに戻される。ターゲットTRGTから戻った時点で、レーザパルスLPは、低速応答熱検出器THRDTCであり得る検出器THRDTCによって受信される。
【0055】
冷に、熱検出器は、レーザパルスLPから収集した光を、検出済み信号DSと呼ばれる電気信号に変換する。熱検出器THRDTCは、図1Bに関連して以上で例示した通り時間t=Tbgで開始するその発出時間から、t=TOF+PWにおける第1のレーザパルスLPの終りの戻り時点まで、第1のレーザパルスLPを受信する。図1Bに示されているように、TOFはレーザパルスLPの飛行時間であり、PWはパルス幅であり、trは立ち上がり時間であり、tfは立ち下がり時間である。低速応答熱検出器THRDTCは、単一の検出器THRDTC、あるいは以下で説明する低速応答二峰性アレイBMDARRの1つの画素PXLであり得る。第1のレーザパルスLPLPに応答して、低速応答熱検出器THRDTCは、前置増幅器PAに対して検出済み信号DSを出力する。前置増幅器PAは、一般的な前置増幅器回路である。
【0056】
前置増幅器PAは、それ自体画素サンプリング回路PXSMPへの入力として役立つアナログ電力信号Vo(t)まで検出済み信号DSDSを増幅するために使用される。画素サンプリング回路PXSMPの機能性は2重である。画素サンプリング回路PXSMPの第1の機能は、電圧信号Vo(t)が立ち上がっているか立ち下がっているかを決定し標示することである。R/Fとマーキングされたフラグ信号が、電圧信号Vo(t)が立ち上がっている場合にはLOGIC1にセットされ、あるいは電圧信号Vo(t)が立ち下がっている場合にはLOGIC0にセットされる。画素サンプリング回路PXSMPの第2の機能は、信号Vo(t)が次の振幅レベルAMPLVLiに達したか否かを決定することにある。達した場合には、画素サンプリング回路PXSMPは、クロックサンプリング信号CLKSMPを中間メモリINTMMに送信し、これが、中間メモリINTMMに、フラグ信号R/FおよびクロックCLKの現在の読取り値をセーブさせることになる。クロックCLKは、所要距離測定分解能から導出される分解能を有する標準的時間計数コンポーネントである。
【0057】
例えば、所要距離分解能が5mである場合、図1Aに関連して以上で説明したように、クロックCLKの時間計数分解能は33nsとして選択されなければならない。中間メモリINTMMに結合されたこの画素サンプリング回路PXSMPは、図2および3に関連して上述した2系列の時間事象t1iおよびt2iを創出するプロセスを実行する。このプロセスは、中間メモリINTMM内での記憶のための2系列の時間事象t1iおよびt2iを創出し、ここで各々のサンプリングされたクロック時間CLKについて、フラグ信号R/Fは、その時間事象がサンプリングされた信号SIGSMPの立ち上がり部分の系列t1iに属するかあるいはその立ち下がり部分の系列t2iに属するかを示す。中間メモリINTMMは、標準的フィールドプログラマブルゲートアレイFPGAまたは略してゲートコンポーネントFPGAにさらに結合されているゲートG1に結合される。
【0058】
図8に示されている信号プロセッサSGNPRCによって送信された信号は、ゲートG1を開放し、これにより、2系列の時間事象t1iおよびt2iは、データファイルTMFLとしてゲートコンポーネントFPGAに転送される。ゲートコンポーネントFRGAはまず、フラグ信号R/FがLOGIC1からLOGIC0に変化するファイル内の場所を位置特定することによりデータファイルTMFL内の転移点TRPNTを位置特定する。
【0059】
したがって、図5は、LOGIC1がLOGIC0に切り替わる場所またはLOGIC0がLOGIC1に変化する場所についてのデータファイルTMFLを検索することによって、転移点TRPNTが発見されるということを例示している。
【0060】
図5に描かれているように、データファイルTMFLは、時間事象系列t1iおよびt2iの転移点TRPNTを中心として対称である記憶パターンを有する。したがって、いずれかの側で転移点TRPNTに最も近い2つの時間事象t11およびt21は、最大の増幅レベルAMPLVL1に属する。転移点TRPNTを中心として対称に配置された次の2つの第2の時間事象は、次の振幅レベルAMPLVL2に属し、以下同様である。これらの時間事象対t1iおよびt2iはその後、図1および3に関連して上述した通り、検出済み信号DSの時間TbgおよびターゲットTRGTまでの距離を計算するために、等式3、等式4.1~4.3および等式5と共にゲートコンポーネントFPGAによって使用される。これらの等式、すなわち等式3、4.1~4.3および5のゲートコンポーネントFPGA内での実装は、一般的な工学的実践方法である。レーザパルスLPの幅PW、立ち上がり時間trおよび立ち下がり時間tf、検出器の時定数τおよび光の速度cを含めた、距離の計算のために必要とされる他のパラメータは、工場における組立ての間ゲートコンポーネントのメモリ内に事前に記憶され得るシステム定数または物理的定数のいずれかである。
【0061】
画素サンプリング回路の実装
画素サンプリング回路PXSMPの例示的な概略的実施形態が図6に例示されている。
【0062】
図6中の第1の段階において、第1の比較器COMP1が、図4中に描かれている前置増幅器PAから受信したアナログ増幅済み電圧信号Vo(t)と、直前の振幅レベルAMPLVLiとの間の瞬間的差異を計算する。サンプリングプロセスの第1のサンプルについて、第1のサンプリング振幅AMPLVLiはゼロにセットされる。
【0063】
その後、第2段階において、一対の比較器すなわち、すなわち第1の比較器COMP1に結合された第2の比較器COMP2と第3の比較器COMP3が、第1の比較器COMP1の出力を受信し、第1の比較器COMP1の出力瞬間的差異を正および負の定電圧、それぞれ+INTVLと-INTVLと比較する。信号Vo(t)と振幅レベルAMPLVLiの間の瞬間的差異が+INTVLに等しい場合、比較器COMP2の出力は、LOGIC1として定義された電圧レベルまで立ち上がり、したがって、先行する振幅レベルAMPLVLiと比較して1振幅レベルだけの電圧Vo(t)の立ち上がりが標示される。信号Vo(t)と振幅レベルAMPLVLiの間の瞬間的差異が-INTVLに等しい場合、第3の比較器COMP3の出力はLOGIC1として定義された電圧レベルまで立ち上がり、したがって、先行する振幅レベルAMPLVLiと比較して1振幅レベルだけの電圧Vo(t)の減衰が標示される。したがって第2の比較器COMP2の出力は、図4を参照して以上で説明されている通り、画素サンプリング回路PXSMPの出力フラグ信号R/Fとしての役割を果たすことができる。
【0064】
次に、第3段階において、論理XORゲートLXORが、比較器対すなわち第2段階の第2の比較器COMP2と第3の比較器COMP3の出力を受信する。第2の比較器COPM2または第3のCOPM3両方のうちのいずれか一方のものの出力がLOGIC1にセットされるもののそれら両方の出力を一緒にセットすることがない場合、論理XORゲートLXORは第2の論理出力クロックサンプリング信号CLKSMPを出力することになる。第2の論理出力クロックサンプリング信号CLKSMPは、図4に関連して以上で説明した通り、フラグ信号R/FおよびクロックCLKの現在の読取り値を中間メモリINTMMにセーブすることになる。さらに、クロックサンプリング信号CLKSMPがLOGIC1である場合、論理XORゲートLXORの出力端に結合された標準的サンプルホールド回路SMPHOLが、信号Vo(t)の現在値をサンプリングすることになる。信号Vo(t)のこの最後の現在値が、画素サンプリング回路PXSMPの次の反復のための基準として、新しい直前の振幅レベルAMPLVLiとして受諾されることになる。第1段階の比較器COMP1に対するこの新しい振幅レベルAMPLVLiの入力を遅延させて、このプロセスの非同期性に起因して考えられる内部衝突の発生を回避するために、標準的遅延ラインDLが使用される。
【0065】
画像化検出器の実装
図7は、低速応答熱画像化光検出器アレイPHTARR、または略してフォトアレイPHTARRの標準的設計の例示的な概略的実施形態を示す。図7は、熱画像化フォトアレイPHTARRの画素PXLijの2本の任意のライン、すなわちラインLNOAiおよびLNOAi+1の一部分を示す。これら2本のライン内の各々1つの画素PXLijは、光スペクトルの熱波長内の入射光に対して感応性を有する材料で構成された光検出器を含む。フォトアレイPHTARRの基板内で実装される読出し電子回路ROICがゲートを格納し、この回路が、各ラインについて別個に、かつフォトアレイRHTARR全体について別個に、画素PXLをライン内へ、そしてラインをフレームへと結合する。電子機器全体は、略して集積回路ROICと呼ばれる。この集積回路ROICの主要な目的は、熱フォトアレイPHTARRの信号を増幅された電圧信号へと変換し、これらの増幅された電圧信号を同期的に標準国際映像フォーマットで伝送することにある。
【0066】
熱フォトアレイPHTARRは、熱波長に対して感応性を有する材料で構成されている。低速応答性であると同時に非冷却式画像化に好適でもあるこのような材料のいくつかの例としては、PbSe、VOx、および非晶質シリコンが含まれる。
【0067】
図8は、図6に関連して以上で説明された画素サンプリング回路PXSMPをどのように標準的低速応答二峰性アレイBMDARR内に組込むことができるかを示す、例示的な概略的実施形態を例示している。この二峰性アレイBMDARRは、図4に関連して説明されている通り、距離測定を目的とした標準的熱画像化または非同期的画素サンプリングのいずれかを実行することができる。
【0068】
図8において、ラインLNOAiは、二峰性アレイBMDARRの1つの任意に選択されたラインi、したがって二峰性アレイBMDARRの複数のラインLNOAのうちの1本のラインLNOAiの例示的実施形態を描いている。
【0069】
図8において、二峰性アレイBMDARRの各々1つの画素PXLijには、標準的な画像化を目的としてかまたは距離測定のため、のいずれかに使用可能である熱検出器THRDTCおよび前置増幅器PAが含まれる。二峰性アレイBMDARRの画素PXLijがセットされる選択された動作モード、つまり画像化または距離測定は、モードスイッチPXMODによって指令され、図9および11に関連して以下で記述されている外部源から受信される。モードスイッチPXMODの動作モードが、LOGIC0として選択される場合、前置増幅器PAの出力信号は、標準的画像化のために二峰性アレイBMDARRの出力端に直接接続されることになる。しかしながら、モードスイッチPXMODの選択された動作モードがLOGIC1として選択される場合、前置増幅器PAの出力信号は、図6に関連して説明された通り、距離測定のために画素サンプリング回路PXSMPに接続されることになる。画素サンプリング回路PXSMPが単純であることにより、その実装を各画素PXLij内に含めることが可能である。
【0070】
次に、ラインLNOAiの画素PXLは、標準的に使用される画像化モードの場合と同じ形で、ゲートを介して集積回路ROICの出力端に接続される。図4に描かれている他のコンポーネント、すなわち中間メモリINTMM、クロックCLK、およびゲートコンポーネントFPGA含めたコンポーネントは、二峰性アレイBMDARRとは異なりこれとは別個である信号プロセッサSGNPRC上に組立てられる。
【0071】
代替的には、これらのコンポーネントのいくつかを、二峰性アレイBMDARRの一部として実装することができる。
【0072】
3D熱画像化の実装
図9に例示されているように、装置APPは、二峰性アレイBMDARRを利用するサーマルイメージャC1またはカメラC1、および信号プロセッサSGNPRCを含む。信号プロセッサSGNPRCは、図8に描かれているように、クロックCLK、中間メモリINTMMおよびフィールドプログラマブルゲートコンポーネントFPGAを含む。装置APPは、さらに、レーザドライバLSRDRによって制御されるレーザLSRを含む。レーザLSRは、二峰性アレイBMDARRが感応性を有する波長でレーザビームLSRBMを発出し、カメラC1の視野FOVよりもはるかに狭いビーム発散を有する。
【0073】
装置APPの追加のコンポーネントとしては、光学スキャナOPTSCNおよび、装置APPおよびその異なるコンポーネントを動作させるコントローラCNTRLが含まれる。
【0074】
光学スキャナOPTSCNは、カメラC1が検分する景色の選択された部域上にレーザビームLSRBMを誘導する。一般的な工学的実践方法によると、光学スキャナOPTSCNはカメラC1と整列させられると仮定される。さらに、カメラC1および光学スキャナOPTSCNに結合されているコントローラCNTRLは、カメラC1が検分する景色の特定的に選択された部域にレーザビームLSRBMを誘導し得ることが仮定される。これは、特定の予め定義されたスキャン角度にシフトするように光学スキャナOPTSCNに指令することによって達成可能である。すなわち、カメラC1の視野FOV内で選択された部域は、光学スキャナOPTSCNの1つの特定のスキャン角度によって一意的にマッピングされ得る。
【0075】
図10は、2D画像とインタレースされた3D画像化を生成するために実装され得る装置APPのコントローラCNTRLの例示的動作シーケンスを示している。説明を明瞭にするため、二峰性アレイBMDARRが100×100の画素PXLij、すなわち各々100個の画素PXLの100本のラインLNOAを有することが認められている。同様に、装置APPが10秒の時系列と等価である0.1HZの速度で画像を生成することも認められている。
【0076】
第1の動作段階STG1において、コントローラCNTRLは、景色の選択された一部分の2D熱画像を生成するように二峰性アレイBMDARRを動作させる。このために、二峰性アレイBMDARRは、コントローラCNTRLにより、二峰性アレイBMDARRの画素に対して送信されるLOGIC0へのモードスイッチPXMODの動作を指令することによって、画像化モードにセットされる。その後、2D画像が、一般的な標準的方法を用いてキャプチャされ、図8に描かれているように、低速応答二峰性アレイBMDARRによって、信号プロセッサSGNPRC内に含まれているゲートコンポーネントFPGAに伝送される。当該実施例の場合、図10で「キャプチャ」および「伝送」と標示されている2D画像をキャプチャし伝送するのに必要とされる時間的広がりは3.4msである。この時間的広がりは、景色に対する二峰性アレイBMDARRの3msの露出時間とそれに続く画素値の400μsの読取り時間およびこれらの値のゲートコンポーネントFPGAへの伝送時間という仮定に基づくものである。
【0077】
先行する第1の段階STG1に後続する第2の動作段階STG2では、コントローラCNTRLは、二峰性アレイBMDARR、レーザドライバLSRDRを介したレーザLSR、光学スキャナOPTSCNおよび信号プロセッサSGNPRCという3D画像を生成するための装置APPのコンポーネントを動作させる。
【0078】
さらに第2の動作段階STG2において、図11は、第1段階STG1で二峰性アレイBMDARRにより生成された2D画像のうちの21×20個の画素の例示的部分を示している。さらに図11では、二峰性アレイBMDARR上で投射されるレーザビームLSRBMの走査パターンが、Aとマーキングされた矢印によって標示されている。この実施例においては、レーザビームLSRBMの幅は、景色からまたはターゲットTRGTから反射されそしてカメラC1に戻る時に二峰性アレイBMDARRの2つの画素が各々の瞬間的時点で照明されるようなものである、ということが仮定される。
【0079】
コントローラCNTRLは、特定の走査パターンにしたがって光学スキャナOPTSCNの走査角度を調整することによって、一度に2つの画素PXLijで、カメラC1が検分した選択された景色の部分を走査するように、レーザビームLSRBMに指令する。
【0080】
第1のステップとして、図9に示されているコントローラCNTRLは、光学スキャナOPTSCNの走査パターンひいては走査角度をセットすることによって2つの画素PXLijの第1のセットSET1の照明を開始する。図11において、第1のセットSET1は、第1および第2の縦列、それぞれLNOA1およびLNOA2の頂部において、最上横列内に配置されている。その後、コントローラCNTRLは、モードスイッチPXMODをLOGIC「1」にセットすることによって、距離測定モードに入るよう第1のセットSET1に指令する。第2のステップにおいて、コントローラCNTRLは、クロックCLKおよび信号プロセッサSGNPRCの中間メモリINTMMに対して、およびレーザドライバLSRDRに対して開始指令を送信することによって、距離測定プロセスを開始する。この後に、図4~6に関連して以上で説明したプロセスが続く。この実施例において、このプロセス全体の持続時間は2msである。
【0081】
次に、第3段階STG3において、コントローラCNTRLは、処理のためにゲートコンポーネントFRGAにファイルTMFLを送出するべく図4に示されているゲートG1を開く信号を発出する。これに応答して、ゲートコンポーネントFRGAは、図11に関連して説明されたように、第1の画素セットSET1に関係する景色の部分までの距離を計算する。並行して、コントローラCNTRLは光学スキャナOPTSCをシフトさせて、第2の横列内で第1のセットSET1の直下かつこれに隣接して配置されている2つの画素PXLの第2のセットSET2を照明し、その後、SET2のこれら2つの画素PXLについての距離測定が繰返される。この距離測定プロセスはさらに、レーザビームLSRBMが最下横列上の最初の2本のライン、それぞれLNOA1およびLNOA2の終りに達するまで、反復的に繰り返される。
【0082】
その後、レーザビームLSRBMは、コントローラCNTRLによって、次の2本のライン、それぞれLNOA3およびLNOA4の最初の2つの画素へと誘導される。この同じ走査パターンは、レーザビームLSRBMが景色の部分全体の走査を完了して、この景色のその部分の各々全ての画素PXLijまでの距離を生成するまで、反復的に繰り返される。この実施例において、二峰性アレイBMDARRの動作全体について、持続時間はおよそ10sである。画像生成の持続時間全体に対して3.4msである2D画像生成の持続時間を加えると、10sという結果がもたらされ、これは、0.1Hzの速度に対する要件と相関関係を有する。
【0083】
本明細書で提供されているさまざまな数値例は、例示向けに提示されており、装置APPの動作によって達成できる最良の獲得可能な性能を示すこととは程遠いものである、ということを指摘しておかなければならない。最終段階において、ゲートコンポーネントFPGAは、各画素PXLの距離データを記憶された2D熱画像データに加えることによって、画素フォーマットでそのメモリ内に記憶された熱2D画像を、距離データとインタレースする。これにより、景色の3D熱表現が創出される。
【0084】
コントローラCNTRLの3つの動作段階STGの結果は、3DサーマルイメージャC1を動作させてその視野内にキャプチャされた景色を画像化し、この視野内の選択された物体までの距離を測定し、2D熱画像を距離データとインタレースして、距離と2D熱画像を組合わせた3D熱画像化を生成する能力である。
【0085】
図面中にはそのように描かれてはいないものの、他の例示的実施形態が異なる形で動作し得る、すなわち説明された段階の動作シーケンスが異なるものであり得、瞬間的に照明される画素の数そして走査パターンも異なるものであり得るということが指摘される。
【0086】
こうして、3Dサーマルイメージャ1C、信号プロセッサSGNPRC、レーザLSR、光学スキャナOPTSCNおよびコントローラCNTRLを含む画像化装置APPが記述されてきた。
【0087】
例示的実施形態に係る装置の1つの特徴は、高い距離分解能を伴う3D画像化のための低速応答熱検出器の使用にある。低速応答検出器は、一般的に入手可能であり、価格も有利である。この装置は、2D熱画像と距離データを組合せ、それから3D熱画像化を創出する。
【0088】
装置APPは、複数の低速応答熱検出器THRDTCを動作させる電子回路である二峰性アレイBMDARRを含む。使用中、二峰性アレイBMDARRは、標準的熱画像化または距離測定のための非同期的画素サンプリングのいずれかを実行する。二峰性アレイは、コントローラによる指令を受け、複数の低速応答熱検出器を含む。さらに、二峰性アレイは、低速応答熱検出器を使用することによって2D熱画像ならびに正確な距離データを生成するように設計されている。アレイ内の各々の低速応答熱検出器によって収集された2D熱画像および距離データの両方共が信号プロセッサに転送される。
【0089】
コントローラはさらに、サーマルイメージャのレーザ、光学スキャナおよび各々1つの低速応答熱検出器を動作させるように構成されている。これにより、コントローラは、サーマルイメージャのレーザ、光学スキャナおよび熱検出器を動作させてそこから距離データを導出することができる。この距離データは、複数の時間事象対t1iおよびt2iを導出するのに専用のものである画素サンプリング回路を使用することによって収集される。これらの時間事象対t1iおよびt2iは、信号プロセッサに伝達されるサンプリングされた検出済み信号DSから導出される。
【0090】
最後に、信号プロセッサは、アレイ内の低速応答熱検出器に対応する正確さよりも高い確度で距離を計算するように構成されている。こうして信号プロセッサは、2D熱画像を距離データとインタレースして、距離データと2D熱画像を組合わせた3D熱画像化を生成することができる。
【0091】
二峰性アレイが複数の低速応答熱検出器を含むこと、そしてこれらの熱検出器の各々1つが、2D熱画像内および/または3D画像化において1つの画素を生成することが指摘される。
【0092】
検出器THRDTCの各々1つは、モードスイッチPXMODに結合されている。モードスイッチPXMODは、2つの動作モード、すなわち画像化モードという1つの動作モードと距離測定モードである第2のモードのうちの一方に二峰性アレイBMDARRをセットするように構成されている。
【0093】
二峰性アレイBMDARRはさらに、複数の画素サンプリング回路PXSMPを含む。各々1つの画素サンプリング回路PXSMPは、検出済み信号DSの上昇部分taおよび検出済み信号DSの減衰部分tdを認識するように構成されている。
【0094】
信号プロセッサSGNPRCはさらに、クロックCLKを含み、このクロックCLKは中間メモリINTMMに結合されている。画素サンプリング回路PXSMPは中間メモリINTMMに結合されている。画素サンプリング回路PXSMPは、信号プロセッサSGNPRCに対してクロックサンプリング信号CLKSMPおよびフラグ信号R/Fを送信するように構成されている。これら2つの信号に応答して、信号プロセッサSGNPRCは、中間メモリINTMMに、クロックCLKおよびフラグ信号R/Fの現在の読取り値を記憶するよう指令する。
【0095】
各々1つの画素サンプリング回路PXSMPは、中間メモリINTMMに結合され、少なくとも2つの動作を行なうように構成されている。画素サンプリング回路PXSMPの最初の動作は、2系列の時間事象、すなわち第1の時間事象系列t1iおよび第2の時間事象系列t2iを創出することにある。時間事象t1iは、検出済み信号DSの上昇部分taに属し、時間事象t2iは、同じ検出済み信号DSの減衰部分tdに属する。画素サンプリング回路PXSMPが実行する第2の動作は、上昇部分taと減衰部分tdの両方のうちのいずれに、時間事象の各々が関連しているかを標示することにある。
【0096】
中間メモリINTMMは、ゲートG1を介してコンポーネントFPGAに結合されている。ゲートG1の開放は、そのように構成された信号プロセッサSGNPRCによって指令される。これにより、中間メモリINTMM中に記憶されている2系列の時間事象t1iおよびt2iを、データファイルTMFLとしてコンポーネントFPGAに対し転送することが可能となる。
【0097】
ゲートコンポーネントFPGAは、データファイルTMFL内で転移点TRPNTを位置特定するように構成されている。転移点TRPNTは、2系列の時間事象t1iとt2iを離隔させる。転移点TRPNTを見つけるには、フラグ信号R/FがLOGIC1へのセッティングからLOGIC0へのセッティングへ切り替わるデータファイルTMFL内の場所、または逆に、フラグ信号R/FがLOGIC0へのセッティングからLOGIC1へのセッティングへと切り替わる場所を位置特定するだけでよい。
【0098】
以上で説明した通り、画素サンプリング回路PXSMPは、サンプリングされた検出済み信号DSから複数の時間事象対t1iおよびt2iを導出するように構成されている。これらの時間事象対t1iおよびt2iは、ターゲットTRGTまでの距離を計算するために使用可能である。
【0099】
画素サンプリング回路PXSMPはさらに、フラグ信号R/Fを送出することおよび複数の時間事象対t1iおよびt2iを導出することの両方のために構成されている。これらは両方共、検出済み信号DSの非同期的サンプリングによって収集されるものである。検出済み信号DSは、上昇部分taと減衰部分tdを有する。フラグ信号R/Fは、時間事象t1iおよびt2iの各々1つが、上昇部分taと減衰部分tdのいずれに関係しているかを標示するように構成されている。
【0100】
画素サンプリング回路PXSMPは、さらに、少なくとも2つ以上の動作を行なうように構成されている。さらに1つの動作は、サンプリングされた検出済み信号DSの上昇部分taと減衰部分tdを非同期的にサンプリングすることにある。非同期的サンプリングの目的は、間隔INTVLの恒常で等しいスパンの逐次的ステップで、かつ連続する振幅レベルAMPLVLiで、2つの時間事象の対を導出することにある。
【0101】
第2の動作は、各々の時間事象が2つの時間事象t1iおよびt2iのいずれに属するかを標示する目的でフラグ信号R/Fを送出することにある。次に、時間事象対t1iおよびt2iおよびフラグ信号R/Fを格納するデータファイルTMFLが、クロックサンプリング信号CLKSMPの送出時点で中間メモリINTMM内に記憶される。
【0102】
時間事象t1iおよびt2iの各々の対には、第1の時間事象t1iおよび第2の時間事象t2iが含まれる。第1の時間事象t1iにおいて、第1のインデックスは1と標示される。第2の時間事象t2iにおいて、第1のインデックスはτと標示される。第1のインデックスおよび第2のインデックスは、フラグ信号R/Fと相関される。各々1つの時間事象t1iおよびt2iは、第2のインデックスiによって識別される。この第2のインデックスiは、振幅レベルAMPLVLijに関係する。時間事象t1iおよびt2iの各々1つは、2つの側を有する転移点TRPNTの相対する側にセーブされる。時間事象t1iは、転移点TRPNTの第1の側で時間ファイルTMFL内にセーブされ、時間事象t2iは、転移点TRPNTの第2の側で時間ファイルTMFL内にセーブされる。数値的に下位のインデックスiを有する時間事象は、転移点TRPNTにより近いところに記憶され、一方数値的に上位のインデックスiを有する時間事象は、転移点TRPNTからより遠いところに記憶される。
【0103】
熱検出器THRDTCは、非冷却式検出器としてかあるいは冷却式検出器として選択されてよい。
【0104】
こうして、画像化装置APPを構築し実装するための方法も同様に説明されてきた。画像化装置APPは、3DサーマルイメージャC1、信号プロセッサSGNPRC、レーザLSR、光学スキャナOPTSCNおよびコントローラCNTRLを含む。該方法は、低速応答熱検出器THRDTCを使用して、ターゲットTRGTから戻された発出済みレーザパルスLPから検出済みアナログ信号DSを導出する。該方法は、検出済み信号DSを非同期的にサンプリングして、そこから2系列の時間事象、それぞれt1iおよびt2iを導出する。さらに、該方法は、等式(equ.3)および等式(equ.4.1)、(equ.4.2)および(equ.4.3)を使用することによって時間Tbgを導出する。その後該方法は、(equ.5)を用いてターゲットTRGTまでの距離Rを計算する。
【0105】
該方法は、非冷却式検出器または冷却式検出のいずれかとして選択され得る熱検出器THRDTCを使用する。
【0106】
該方法では、検出済み信号DSは、上昇部分taおよび減衰部分tdを有する。検出済み信号DSは、その上昇部分taおよびその減衰部分tdについて非同期的にサンプリングされる。
【0107】
さらに、検出済み信号DSは、恒常で等しい振幅間隔INTVLの逐次的および連続的振幅ステップで非同期的にサンプリングされる。
【0108】
該方法では、サンプリングされた信号SIGSMPは、時間ファイルTMFL内にセーブされる。サンプリングされた信号SIGSMPは、時間ファイルTMFL内で、転移点TRPNTを中心として対称であるパターンでリストされている。
【0109】
検出済み信号DSは、画素サンプリング回路PXSMP内への入力の前にアナログ電圧信号Vo(t)へと増幅され得る。画素サンプリング回路PXSMPは、2重の機能性を有する。
【0110】
検出済み信号DSは、画素サンプリング回路PXSMPへの入力のために、アナログ電圧信号Vo(t)へと増幅される。画素サンプリング回路PXSMPは少なくとも2つの機能を有する。画素サンプリング回路PXSMPの第1の機能は、電圧信号Vo(t)が立ち上がり中か減衰中かの決定および標示を扱う。画素サンプリング回路PXSMPの第2の機能は、信号Vo(t)が次の振幅レベルAMPLVLiに達したか否かの決定を扱う。
【0111】
画素サンプリング回路PXSMPは、主電気回路MNCRCTの一要素である。画素サンプリング回路PXSMPは、非同期的画素サンプリングプロセスを動作させるように構成されている。
【0112】
主電気回路MNCRCTは、標準的サンプルホールド回路SMPHOLを含む。サンプルホールド回路SMPHOLは、遅延ラインDLに結合される。遅延ラインとサンプルホールド回路SMPHOLは、導出されたデータの考えられる内部衝突を防止するように構成されている。
上述の実施形態は下記の例のように記載され得るが、下記の例に限定されない。
[例1]
3DサーマルイメージャC1、信号プロセッサSGNPRC、レーザLSR、光学スキャナOPTSCNおよびコントローラCNTRLを含む画像化装置APPにおいて、
二峰性アレイBMDARRが、i)標準的熱画像化およびii)距離測定のための非同期的画素サンプリングのうちの1つにおいて実行しかつコントローラCNTRLによる指令を受け、前記二峰性アレイBMDARRが複数の低速応答熱検出器THRDTCを含み、前記低速応答熱検出器THRDTCを使用することによって2D熱画像および正確な距離データを生成するように構成されており、前記2D熱画像および距離データが信号プロセッサSGNPRCへと転送され、
ここで、前記コントローラCNTRLがさらに、信号プロセッサSGNPRCに伝達されるサンプリングされた検出済み信号DSから複数の時間事象対t1iおよびt2iを導出するように構成されている画素サンプリング回路PXSMPを使用することによって距離データを導出するために、前記レーザLSR、前記光学スキャナOPTSCNおよび前記サーマルイメージャC1を動作させるように構成されており、かつ
前記信号プロセッサSGNPRCが、前記検出器の時間応答に対応しこの応答に関する正確さよりも高い正確さで前記距離を計算し、かつ前記距離データと前記2D熱画像をインタレースして3D熱画像を生成するように構成されている、ことを特徴とする画像化装置APP。
[例2]
前記二峰性アレイBMDARRが複数の低速応答熱検出器THRDTCを含み、この低速応答熱検出器THRDTCの各々が2D熱画像内および3D熱画像内で1つの画素を生成する、例1に記載の装置APP。
[例3]
前記画素サンプリング回路PXSMPが、
サンプリングされた検出済み信号DSの上昇部分taおよび減衰部分tdを非同期的にサンプリングして、間隔INTVLの恒常かつ等しいスパンの逐次的ステップでかつ振幅AMPLVLiの連続的レベルで2つの時間事象対を導出し、
各々1つの時間事象が前記2つの時間事象t1iおよびt2iのうちのいずれに関連しているかを標示するべく、フラグ信号R/Fを送出する、ように構成されており、
前記時間事象対t1iおよびt2iおよびフラグ信号R/Fを格納するデータファイルTMFLが、クロックサンプリング信号CLKSMPの送出時点で中間メモリINTMM内に記憶される、例2に記載の装置APP。
[例4]
前記時間事象t1iおよびt2iの各々1つの対は、第1のインデックスが1として標示される第1の時間事象t1i、および前記第1のインデックスが2として標示される第2の時間事象t2iを含み、これらのインデックス1および2が前記フラグ信号R/Fと相関されており、
各々1つの時間事象t1iおよびt2iが第2のインデックスiによって識別され、ここで第2のインデックスiは振幅レベルAMPLVLiに関係しており、
前記時間事象t1iが、2つの側を有する転移点TRPNTの第1の側で前記時間ファイルTMFL内にセーブされており、前記時間事象t2iが前記転移点TRPNTの第2の側に記憶されており、
比較的低い数値的インデックスiを有する時間事象が、前記転移点TRPNTに対してより近くに記憶される、例3に記載の装置APP。
[例5]
前記熱検出器THRDTCが、非冷却式検出器および冷却式検出器のうちの一つである、例1に記載の装置APP。
[例6]
3DサーマルイメージャC1、信号プロセッサSGNPRC、レーザLSR、光学スキャナOPTSCNおよびコントローラCNTRLを含む画像化装置APPを実装するための方法において、
低速応答熱検出器THRDTCを使用して、ターゲットTRGTから戻された発出済みレーザパルスLPから検出済みアナログ信号DSを導出するステップ、
前記検出済み信号DSを非同期的にサンプリングして、そこから2系列の時間事象、それぞれt1iおよびt2iを導出するステップ、
【数6】
および
【数7】
のうちの1つを使用することによって時間Tbgを導出するステップであって、ここでτは前記低速応答熱検出器DTCTの時定数であり、t1iは第1の時間事象であり、PWは前記レーザパルスLPのパルス幅であり、t2iは第2の時間事象であり、trは前記レーザパルスLPの立ち上がり時間であり、tfは前記レーザパルスLPの立ち下がり時間であるステップ、および、
【数8】
を用いてターゲットTRGTまでの距離Rを計算するステップであって、ここでTbgが飛行時間TOFに等しいステップ、を特徴とする方法。
[例7]
例1にしたがって、前記検出器THRDTCが、市販の高品質の高速検出器のコストよりも少なくとも1ケタ廉価である低速応答熱検出器THRDTCである、例6に記載の方法。
[例8]
前記検出器THRDTCが、非冷却式検出器である、例6に記載の方法。
[例9]
前記検出済み信号DSが、上昇部分taおよび減衰部分tdを有し、前記その上昇部分taおよび前記減衰部分tdの両方について非同期的にサンプリングされる、例6に記載の方法。
[例10]
前記検出済み信号DSが、恒常で等しい振幅間隔INTVLの逐次的および連続的振幅ステップで非同期的にサンプリングされる、例6に記載の方法。
[例11]
サンプリングされた信号SIGSMPが、時間ファイルTMFL内にセーブされ、その内部で、転移点TRPNTを中心として対称であるパターンでリストされている、例6に記載の方法。
[例12]
前記検出済み信号DSが、2重の機能性を有する画素サンプリング回路PXSMP内への入力の前にアナログ電圧信号Vo(t)へと増幅される、例6に記載の方法。
[例13]
画素サンプリング回路PXSMPへの入力のために、前記検出済み信号DSがアナログ電圧信号Vo(t)へ増幅される方法であって、画素サンプリング回路PXSMPが、
前記電圧信号Vo(t)が立ち上がり中か減衰中かを決定し標示するための第1の機能と、
前記信号Vo(t)が次の振幅レベルAMPLVLiに達したか否かを決定するための第2の機能と、を有する、例6に記載の方法。
[例14]
前記画素サンプリング回路PXSMPが、距離測定のために熱画像化および非同期的画素サンプリングを行なうように構成されている二峰性アレイBMDARRである、例13に記載の方法。
[例15]
前記画素サンプリング回路PXSMPが、主電気回路MNCRCTの一要素であり、非同期的画素サンプリングプロセスを動作させるように構成されており、
前記主電気回路MNCRCTが、遅延ラインDLに結合された標準的サンプルホールド回路SMPHOLを含み、後者2つが、導出されたデータの考えられる内部衝突を防止するように構成されている、例14に記載の方法。
【産業上の利用可能性】
【0113】
以上で説明された装置および方法の例示的実施形態は、例えば、公衆衛生、市民の安全および保護、ロボット工学そして車両の誘導およびナビゲーションなどを含めた、カメラを使用する産業および器具において応用可能である。
【符号の説明】
【0114】
APP 装置
BMDARR 二峰性アレイ
C1 カメラ
CLK クロックまたはタイムカウンタ
CLKSMP クロックサンプリング信号
CNTRL コントローラ
COMP 比較器
DL 遅延ライン
DS 検出済み信号
DTCT 低速応答レーザパルス検出器
FPGA FPGAコンポーネント
FPGAMM ゲートコンポーネントメモリ
G1 ゲートG1
INTMM 中間メモリ
INTVL 振幅間隔
LNOA アレイライン
LP レーザパルス
LSR レーザ
LSRBM レーザビーム
LSRDR レーザドライバ
LXOR 論理XORゲート
MNCRCT 主電気回路
OPTCOM 光学コンポーネント
OPTSCN 光学スキャナ
PA 前置増幅器
PHTARR フォトアレイ
PXL 画素
PXMOD モードスイッチ
PXSMPL 画素サンプリング回路
R 距離
R/F 出力フラグ
ROIC 読出し集積回路
SGNPRC 信号プロセッサ
SIGSMP サンプリングされた信号
SLRDCT 低速応答熱検出器
STRT 開始信号
TID 熱画像化デバイス
THRARR 熱画像化検出器アレイ
THRDCT 低速応答熱光検出器TC
TMFL データファイル
Tpeak 最大強度の時間
TRGT ターゲット
図1
図1A-1B】
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11