特表2023-540200マルチスペクトル幾何学的キャリブレーションのためのターゲット
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-09-22
(54)【発明の名称】マルチスペクトル幾何学的キャリブレーションのためのターゲット
(51)【国際特許分類】
H04N 23/60 20230101AFI20230914BHJP
【ＦＩ】
H04N23/60
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023512438
(86)(22)【出願日】2021-08-18
(85)【翻訳文提出日】2023-04-13
(86)【国際出願番号】 IL2021051008
(87)【国際公開番号】W WO2022038606
(87)【国際公開日】2022-02-24
(31)【優先権主張番号】63/066,844
(32)【優先日】2020-08-18
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】523057611
【氏名又は名称】フォーサイト オートモーティヴ リミテッド
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【弁理士】
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(74)【代理人】
【識別番号】100191086
【弁理士】
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】ダンジガー，モーシェ
(72)【発明者】
【氏名】ブロシュ，ダニエル
(72)【発明者】
【氏名】ヤルデン，シャクド
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122DA16
5C122EA01
5C122FA18
5C122GE24
5C122GE26
5C122HA81
5C122HB01
(57)【要約】
ＩＲカメラユニットのターゲットおよびキャリブレーション方法が開示される。ターゲットは、実質的に平坦な金属プレートであって、第１の表面がＮ９～Ｎ１０の表面粗さを有するような金属プレートと、第１の表面に塗布されたポリマーインクから作製されたパターンとを含み得る。該方法は、カメラユニットに含まれるＩＲカメラから、赤外線スペクトルで撮影されたターゲットの画像を受信するステップと、カメラに関連し画像を形成するパラメータを抽出するステップと、抽出された第１のパラメータに基づいてカメラを較正するステップとを含み得る。
【選択図】図６Ａ
【選択図】図６Ａ
【特許請求の範囲】
【請求項1】
マルチスペクトル幾何学的キャリブレーションのためのターゲットであって、（ａ）実質的に平坦な金属プレートであって、第１の表面がＮ９～Ｎ１０の表面粗さを有する金属プレートと、
（ｂ）前記第１の表面上に塗布されたポリマーインクから作製されたパターンと
を備えるターゲット。
【請求項2】
前記金属プレートは、アルミニウム合金から作製される、請求項１に記載のターゲット。
【請求項3】
前記平坦な金属プレートの第２の表面に取り付けられた少なくとも１つの加熱要素をさらに備える、請求項１または請求項２に記載のターゲット。
【請求項4】
前記平坦な金属プレートの第２の表面に取り付けられた加熱要素のアレイを備える、請求項３に記載のターゲット。
【請求項5】
前記加熱要素を制御して前記ターゲットを加熱するように構成されたコントローラをさらに備える、請求項３または請求項４に記載のターゲット。
【請求項6】
前記コントローラは、前記加熱要素を制御して前記ターゲットを室温よりも１℃～５℃高い温度に加熱するように構成される、請求項５に記載のターゲット。
【請求項7】
前記第１の表面は、０．１未満の放射率を有することを特徴とし、前記パターンは、０．８超の放射率を有することを特徴とする、請求項１～請求項６のいずれか一項に記載のターゲット。
【請求項8】
前記パターンは、異なる色を有する少なくとも２つの要素を備える、請求項１～請求項６のいずれか一項に記載のターゲット。
【請求項9】
第１の要素は、第１のグレーレベルを特徴とし、第２の要素は、第１のグレーレベルより暗い第２のグレーレベルを特徴とする、請求項８に記載のターゲット。
【請求項10】
第１の要素は、第１の色を特徴とし、第２の要素は、前記第１の色とは異なる第２の色を特徴とする、請求項８に記載のターゲット。
【請求項11】
ＩＲカメラユニットのキャリブレーション方法であって、前記カメラユニットに含まれる第１のＩＲカメラから、赤外スペクトルで撮影されたターゲットの第１の画像を受信するステップと、
前記第１のカメラに関連し前記第１の画像を形成する第１のパラメータを抽出するステップと、
前記抽出された第１のパラメータに基づいて、前記第１のカメラを較正するステップと
を含み、
前記ターゲットは、
（ａ）実質的に平坦な金属プレートであって、第１の表面がＮ９～Ｎ１０の表面粗さを有する金属プレートと、
（ｂ）前記第１の表面上に塗布されたポリマーインクから作製されたパターンと
を備える、キャリブレーション方法。
【請求項12】
前記カメラユニットに含まれる第２のＩＲカメラから、赤外線スペクトルで撮影された前記ターゲットの第２の画像を受信するステップと、前記第２のカメラに関連し前記第２の画像を形成する第２のパラメータを抽出するステップと、
前記抽出された第１のパラメータおよび前記抽出された第２のパラメータに基づいて、前記第１のカメラおよび前記第２のカメラを較正するステップと
をさらに含む、請求項１１に記載の方法。
【請求項13】
前記ＩＲスペクトルは、ＮＩＲ、ＳＷＩＲ、ＭＷＩＲおよびＬＷＩＲを含む、請求項１１または請求項１２のいずれか一項に記載の方法。
【請求項14】
前記ターゲットを室温よりも１℃～５℃高い温度に加熱するステップをさらに含む、請求項１１～請求項１３のいずれか一項に記載の方法。
【請求項15】
前記ターゲット全体にわたる温度偏差は、０．５℃未満である、請求項１４に記載の方法。
【請求項16】
前記前記ターゲット内のパターンは、異なる色を有する少なくとも２つの要素を含み、前記方法は、前記ターゲットを少なくとも２つの異なる温度に加熱するステップと、
前記少なくとも２つの異なる温度で撮影された前記ターゲットの画像を受信するステップと、
前記画像内の前記少なくとも２つの要素間の変化を識別するステップと、
前記識別された変化に基づいて前記カメラを較正するステップと
をさらに含む、請求項１１～請求項１５のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、２０２０年８月１８日に出願された米国特許第６３／０６６８４４号の優先権の利益を主張するものである。この特許の内容は参照により本願明細書に援用される。
本願は、２０２０年８月１８日に出願された米国特許第６３／０６６８４４号の優先権の利益を主張するものである。この特許の内容は参照により本願明細書に援用される。
【0002】
本発明は、全般的には、マルチスペクトルキャリブレーションに関する。より具体的には、本発明は、マルチスペクトル幾何学的キャリブレーションのためのターゲットに関する。
【背景技術】
【0003】
カメラは、高分解能で正確なデータをキャプチャするために利用可能な最も精密な機器である。人間の目と同様に、カメラは、レーダ、超音波、およびレーザを含む、他のセンサが照合させることができないような細部を有するシーンの分解能、詳細、および鮮明さをキャプチャする。
【0004】
製造プロセスに起因して、多くの収差がセンサの画質を乱す可能性がある。これらの収差は、歪み、焦点ぼけ、および画質に影響を及ぼし得るほとんどの任意の他のパラメータであり得る。これは、全てのスペクトル帯域においてデータをキャプチャする全てのタイプのカメラまたはセンサ、特に、典型的には可視ＬＷＩＲスペクトル（０．４μｍ～１４μｍ）の範囲にある撮像センサに言えることである。
【0005】
これらの製造および組立の差異および誤差を補正するために、各撮像センサにおいて一連のテストおよびキャリブレーション（とりわけ、レンズ焦点合わせ、鮮明度テスト、ＭＴＦを使用したレンズ品質テスト、１つのセンサ（内部）および互いに幾何学的に較正された２つ以上のセンサ（外部）の幾何学的キャリブレーション、ならびにダイナミックレンジテストを含む）を実行する必要がある。
【0006】
上記の各プロセスは周知であり、可視光撮像装置のために、これまで長年にわたって開発されてきた。過去数十年以内で、０．７μｍ（７００ｎｍ）～１４μｍ（１４０００ｎｍ）のスペクトルにおいて、ＮＩＲ（近赤外）、ＳＷＩＲ（短波赤外）、ＭＷＩＲ（中波赤外）およびＬＷＩＲ（長波赤外）で始まる他の波長において画像をキャプチャすることを可能にする新しいタイプの撮像装置が開発されている。
【0007】
新しい技術の製造は、どのように製造し、センサを用いて情報をキャプチャするかだけでなく、どのように撮像システムを合焦させまたは較正し、それらをテストするかという課題を提起する。波長が長いほど、撮像システムの全ての標準化された周知のプロセスを実行するのは容易ではない。
【0008】
例えば、幾何学的キャリブレーションは、既存の単眼および多視点幾何ベースのコンピュータビジョンアルゴリズムおよびアプリケーションにおいて必要である。製造プロセスに起因して、歪みがカメラに導入され、物体が画像上で歪んで見えるようになる。レンズ歪みは、ピクセルが画像の境界に近づくにつれて増大する。このような光学的歪みは、３次元（３Ｄ）対象点と２次元（２Ｄ）像点との間の不正確な変換マップにつながる。幾何学ベースビジョンでは、正確な３Ｄから２Ｄへのマッピングが必要とされる。したがって、幾何学的キャリブレーションは、アルゴリズムおよびアプリケーションの精度および性能に直接影響を及ぼす重要なステップである。コモングラウンドのディスカッションのために光学システム（センサおよびレンズ）の全ての幾何学的測光パラメータをテストし、既知のターゲットに対して撮像システムを較正することによって補正計算を適用する必要がある。これらのテストおよびキャリブレーションの多くは周知であり、特に可視光撮像システムにおいて数十年にわたって実施されてきた。
【0009】
【0010】
図１は、標準キャリブレーションチェッカーボードターゲット２３の図である。
【0011】
可視光撮像システムは、白色領域１と黒色領域２との間のコントラスト差を検出し、そのことによりコーナー検出アルゴリズムが製造および組立プロセスにおける幾何学的収差および誤差を較正することが可能になる。
【0012】
図２は、標準ＭＴＦターゲットの図である。
【0013】
可視光撮像システムは、白色領域３と黒色領域４との間のコントラスト差を検出し、そのことにより変調伝達関数（ＭＴＦ）アルゴリズムが撮像システムの分解能、空間周波数、および鮮明度を計算することが可能になる。
【0014】
図３は、標準合焦ターゲットの図である。
【0015】
可視光撮像システムは、白色領域５と黒色領域６との間のコントラスト差を検出し、そのことにより焦点および鮮明度アルゴリズムが撮像システムの理想的な焦点を計算することが可能になる。
【0016】
【0017】
ボール紙または他の材料上に印刷された標準チェッカーボードターゲットを使用する場合、可視光撮像システムは、ピクセルおよびサブピクセル精度７まで正確なコーナーを検出および計算することができるが、ＬＷＩＲカメラは、黒色および白色の正方形の正確なコーナーを区別することができず、したがって、正確なコーナー検出の統計的誤差につながり、不正確な幾何学的キャリブレーション補正８をもたらす。これは、黒色領域２および白色領域１が異なる放射率特性を有し、投光照明でまたは太陽の下でしばらく加熱されて、黒色領域２と白色領域１との間に温度差が生じる場合であっても同じである。
【0018】
図５Ａおよび図５Ｂは、可視光カメラ（図５Ａ）およびＬＷＩＲサーマルカメラ（図５Ｂ）で撮影されたＭＴＦボール紙ターゲットの例示的な画像である。ボール紙または他の材料上に印刷された標準ＭＴＦターゲットを使用する場合、可視光撮像システムは、極めて正確かつ精密な撮像システムの分解能、空間周波数９、および鮮明度を有する。しかしながら、図５Ｂに示すように、ＬＷＩＲカメラは、高空間周波数１０において黒線を白線と区別することができず、したがって、統計的誤差につながり、ＬＷＩＲ撮像システムの非理想的な焦点、分解能テストおよび空間周波数特性をもたらす。これは、黒色領域４および白色領域３が異なる放射率特性を有し、投光照明でまたは太陽の下でしばらく加熱されて、黒色領域４と白色領域３との間に温度差が生じる場合であっても同じである。
【0019】
したがって、ＭＷＩＲおよびＬＷＩＲのような非可視光撮像システムに対して可視光カメラのための既知の方法およびターゲットを適用することは、非実用的である。スペクトル応答は、通常のキャリブレーションターゲットとテストターゲットとの間で異なるので、良好な応答および正確な結果を受信するために材料の複数の解決策を組み合わせる必要があり、同時に、周囲環境（キャプチャされた画像のコントラストを損なう、さらに完全に使用不可能なデータおよび情報をもたらす可能性もある）からの望ましくない反射を排除する必要がある。
【0020】
マルチスペクトル幾何学的カメラユニットのキャリブレーションおよびテストの背後にある課題は、対象となる全ての波長帯において同時に十分な画像コントラストを生成するキャリブレーションターゲットを有することにある。環境条件（温度、湿度、照明、風、反射など）が時間とともに変化する屋外でキャリブレーションを行わなければならない場合、状況はさらに複雑になる。幾何学的キャリブレーションを実行するために、全てのセンサによって生成された画像において、ターゲットの特徴が抽出され、位置特定されなければならない。コントラスト（またはＳＮＲ）が良好であるほど、キャリブレーションターゲット特徴の位置特定が良好であり、画像の空間照合がより正確である。
【発明の概要】
【発明が解決しようとする課題】
【0021】
本発明の目的は、可視光カメラの同時キャリブレーションに使用することができる、ＩＲカメラを較正するための安価で製造しやすいターゲットを提供することである。
【課題を解決するための手段】
【0022】
本発明のいくつかの態様は、マルチスペクトル幾何学的キャリブレーションのためのターゲットであって、
（ａ）実質的に平坦な金属プレートであって、第１の表面がＮ９～Ｎ１０の表面粗さを有する金属プレートと、
（ｂ）第１の表面上に塗布されたポリマーインクから作製されたパターンと
を備えるターゲットを対象とし得る。
（ａ）実質的に平坦な金属プレートであって、第１の表面がＮ９～Ｎ１０の表面粗さを有する金属プレートと、
（ｂ）第１の表面上に塗布されたポリマーインクから作製されたパターンと
を備えるターゲットを対象とし得る。
【0023】
いくつかの実施形態では、金属プレートはアルミニウム合金から作製される。いくつかの実施形態では、ターゲットは、平坦な金属プレートの第２の表面に取り付けられた少なくとも１つの加熱要素を含む。いくつかの実施形態では、ターゲットは、平坦な金属プレートの第２の表面に取り付けられた加熱要素のアレイを含む。いくつかの実施形態では、ターゲットは、加熱要素を制御してターゲットを加熱するように構成されたコントローラを含む。いくつかの実施形態では、コントローラは、加熱要素を制御してターゲットを室温よりも１℃～５℃高い温度に加熱するように構成される。
【0024】
いくつかの実施形態では、第１の表面は、０．１未満の放射率を有することを特徴とし、パターンは、０．８超の放射率を有することを特徴とする。いくつかの実施形態では、パターンは、異なる色を有する少なくとも２つの要素を含む。 いくつかの実施形態では、第１の要素は、第１のグレーレベルを特徴とし、第２の要素は、第１のグレーレベルより暗い第２のグレーレベルを特徴とする。いくつかの実施形態では、第１の要素は第１の色を特徴とし、第２の要素は、第１の色とは異なる第２の色を特徴とする。
【0025】
本発明のいくつかの追加の態様は、ＩＲカメラユニットのキャリブレーション方法であって、カメラユニットに含まれる第１のＩＲカメラから、赤外線スペクトルで撮影されたターゲットの第１の画像を受信するステップと、第１のカメラに関連し第１の画像を形成する第１のパラメータを抽出するステップと、抽出された第１のパラメータに基づいて第１のカメラを較正するステップとを含む方法を対象とし得る。いくつかの実施形態では、ターゲットは、実質的に平坦な金属プレートであって、第１の表面がＮ９～Ｎ１０の表面粗さを有する金属プレートと、第１の表面に塗布されたポリマーインクから作製されたパターンとを含む。
【0026】
いくつかの実施形態では、該方法は、カメラユニットに含まれる第２のＩＲカメラから、赤外線スペクトルで撮影されたターゲットの第２の画像を受信するステップと、第２のカメラに関連し第２の画像を形成する第２のパラメータを抽出するステップと、抽出された第１のパラメータおよび抽出された第２のパラメータに基づいて、第１のカメラおよび第２のカメラを較正するステップとをさらに含み得る。
【0027】
いくつかの実施形態では、ＩＲスペクトルは、ＮＩＲ、ＳＷＩＲ、ＭＷＩＲおよび／またはＬＷＩＲを含む。
【0028】
いくつかの実施形態では、該方法はさらに、ターゲットを室温よりも１℃～５℃高い温度に加熱するステップを含む。いくつかの実施形態では、ターゲット全体にわたる温度偏差は０．５℃未満である。
【0029】
いくつかの実施形態では、ターゲット内のパターンは、異なる色を有する少なくとも２つの要素を含み、該方法はさらに、ターゲットを少なくとも２つの異なる温度に加熱するステップと、少なくとも２つの異なる温度で撮影されたターゲットの画像を受信するステップと、画像内の少なくとも２つの要素間の変化を識別するステップと、識別された変化に基づいてカメラを較正するステップとを含む。
【0030】
本発明とみなされる主題は、本明細書の結論部分において特に指摘され、明確に特許請求される。しかしながら、本発明は、添付図面と併せて解読されたときに、構成および操作方法の両方に関して、その目的、特徴、および利点とともに、以下の詳細な説明を参照することによって最もよく理解され得る。
【図面の簡単な説明】
【0031】
【図1】従来技術のキャリブレーションチェッカーボードターゲットの図である。
【図2】従来技術のＭＴＦターゲットの図である。
【図3】従来技術の合焦ターゲットの図である。
【図5A-5B】可視光カメラおよびＬＷＩＲサーマルカメラを用いたＭＴＦボール紙ターゲットの従来技術の画像の図である。
【図6A-6B】本発明のいくつかの実施形態に係る、可視光カメラおよびＩＲサーマルカメラを使用して金属プレート上に印刷されたＭＴＦターゲットの画像の図である。
【図7】本発明のいくつかの実施形態に係るアルミニウムプレートの図である。
【図8】本発明のいくつかの実施形態に係る、アルミニウムプレートの裏側に加熱要素を備えるシステムの図である。
【図9】本発明のいくつかの実施形態に係る、異なる温度コントローラに接続された複数の加熱要素を備えるシステムの図である。
【図10A】本発明のいくつかの実施形態に係る、キャリブレーションターゲットを備えるシステムの図である。
【図10B】本発明のいくつかの実施形態に係る、ＩＲカメラユニットを較正する方法のフローチャートである。
【図13】本発明のいくつかの実施形態に係る、ＩＲサーマルカメラと可視光カメラとの間で同時に行われる外部キャリブレーションプロセスの図である。
【図14】本発明のいくつかの実施形態に係る、サーマルカメラによってキャプチャされた画像を示す図である。
【図15】本発明のいくつかの実施形態に係る、特別な研磨仕上げおよび加熱要素を伴う提案キャリブレーションターゲットのサーマルカメラおよび可視光カメラによってキャプチャされた画像を示す図である。
【図16】本発明のいくつかの実施形態に係る、ダイナミックレンジテストターゲットを示す図である。
【発明を実施するための形態】
【0032】
説明を簡単かつ明確にするために、図に示される要素は、必ずしも原寸に比例して描かれていないことが理解されよう。例えば、いくつかの要素の寸法は、明確にするために他の要素に対して誇張されている場合がある。さらに、適切であると考えられる場合、参照番号は、対応する要素または類似の要素を示すために複数の図面において繰り返され得る。
【0033】
当業者は、本発明が、その趣旨または本質的な特徴から逸脱することなく、他の特定の形態で具現化され得ることを理解するであろう。したがって、前述の実施形態は、本明細書に記載される本発明を限定するものではなく、あらゆる点で例示であると見なされるべきである。したがって、本発明の範囲は、前述の説明ではなく、添付の特許請求の範囲によって示され、特許請求の範囲の均等物の意味および範囲内に入る全ての変更は、その中に包含されるものとする。
【0034】
以下の詳細な説明において、本発明を十分に理解することができるように、多くの具体的詳細を説明する。しかしながら、本発明がこれらの具体的詳細なしに実施され得ることは、当業者によって理解されるであろう。他の事例では、本発明を不明瞭にしないように、周知の方法、手順、および構成要素は詳細に説明されていない。一実施形態に関して説明されるいくつかの特徴または要素は、他の実施形態に関して説明される特徴または要素と組み合わせられてもよい。明確にするために、同じまたは類似の特徴または要素の説明は繰り返されない場合がある。
【0035】
本発明のいくつかの態様は、可視光から長波赤外（ＬＷＩＲ）（例えば、０．４μｍ～１４μｍ）までの波長で画像をキャプチャするように構成された多種多様なカメラを較正するために使用され得る単一のキャリブレーションターゲットに関連し得る。このようなターゲットは、可視光における異なるコントラスト視認性と、ＩＲ範囲についての放射率差とを有する必要がある。
【0036】
この問題を解決するために、比較的高い放射率（例えば、０．８超）を有する材料から作製されたパターンによって部分的に覆われた低い放射率（例えば、０．１未満）を特徴とする第１の表面を有するプレートから特殊なターゲットが作製された。さらに、第１の表面およびパターンは、２つの異なる色を有することによって可視的に（可視光において）区別され得る。したがって、表面上に印刷されたパターンは、例えば、第１の表面の温度上昇に応答して、可視光スペクトルおよびＩＲスペクトルの両方において検出され得る。
【0037】
本明細書で使用される場合、ＩＲスペクトルは、０．８～０．９μｍの近ＩＲ（ＮＩＲ）、０．９～２．５μｍの短波ＩＲ（ＳＷＩＲ）、３～５μｍの中波ＩＲ（ＭＷＩＲ）、および７～１４μｍのＬＷＩＲを含む。ＩＲスペクトルは、０．８～１４μｍの波長を有する。
【0038】
本明細書で使用される場合、可視光は、０．４～０．８μｍの波長を有する光を含む。
【0039】
本発明者らが克服しなければならない主な障害は、鮮明で検出可能なエッジを生成することができるＩＲスペクトルにおける放射率差を有するパターンをどのように作成するかである。従来技術の方法は全て、テスト能力およびキャリブレーション能力に関して不十分であることが分かった。
【0040】
さらに、ＩＲキャリブレーションのために高い放射率差を有する領域を生成するための従来技術は、可視光スペクトルおよびＩＲスペクトル（例えば、ＬＷＩＲ）における高反射領域をもたらす。一般的に、光沢のある材料は放射率が低く、光沢のない材料は放射率が高いので、放射率の差を生じさせると、必然的にターゲットの一部は光沢があって反射性を有することになる。
【0041】
さらに、ターゲットの視野上の他の物体または被写体からの反射もまた、低コントラストおよびさらに位相反転（「黒色」領域の一部が「白色」になり、逆もまた同様である）をもたらし得る。特に、キャリブレーションまたはテストが屋外または制御されていない環境で行われる場合、周囲からの全ての小さな反射を制御することは非常に困難であり得る。
【0042】
いくつかの実施形態では、これらの問題および障害を克服するために、Ｎ９～Ｎ１０の表面粗さを特徴とする第１の表面を有する金属プレートから作製されたターゲットが提案された。非限定的な例では、艶消しアルミニウムバックボードが使用された。バックボードは、可視光を反射しないように粗く艶消しされた。さらに、本発明者らは、驚くべきことに、Ｎ９～Ｎ１０の粗さを有する表面が、人体、モニタ、さらには電球などの環境エミッタからのＩＲ（例えば、ＬＷＩＲさえも）反射を捕捉することを発見した。その結果、ＩＲスペクトルにおいて反射のない低放射率ターゲット（例えば、０．１未満）が得られた。
【0043】
いくつかの実施形態では、ターゲットは、ポリマーインクから作製された任意の所望のパターンおよび／または色で印刷される。ポリマーインクは、非常に高い放射率（例えば、０．８超）を有し得る。非限定的な例では、艶消しアルミニウムバックボードの明るいグレー色と比較して、可視光におけるコントラストを有する黒色ポリマーインクが使用された。
【0044】
いくつかの実施形態では、１つまたは複数の加熱要素が、プレートの背面（例えば、第２の表面）に取り付けられ得る。非限定的な例は、３次元（３Ｄ）印刷された加熱パッドを含み得る。１つまたは複数の加熱要素は、プレートを室温より０．５℃、１℃、１．５℃、２℃、２．５℃、３℃、３．５℃、４℃、４．５℃、５℃以上高い温度に加熱するように制御され得る。いくつかの実施形態では、より広い温度範囲が、熱スペクトルのダイナミックレンジテストに使用されてもよい。
【0045】
いくつかの実施形態では、１つまたは複数の要素は、プレートを均一に加熱し得る。例えば、第１の表面全体にわたる温度差は、０．５℃を超えなくてもよい。 いくつかの実施形態では、第１の表面全体にわたる温度差は、０．４℃を超えなくてもよい。いくつかの実施形態では、第１の表面全体にわたる温度差は、０．３℃を超えなくてもよい。いくつかの実施形態では、第１の表面全体にわたる温度差は、０．２℃を超えなくてもよい。いくつかの実施形態では、第１の表面全体にわたる温度差は、０．１℃を超えなくてもよい。いくつかの実施形態では、第１の表面全体にわたる温度差は、０．０５℃を超えなくてもよい。いくつかの実施形態では、第１の表面全体にわたる温度差は、０．０．１℃を超えなくてもよい。
【0046】
いくつかの実施形態では、導電性金属プレートはほぼ即座に加熱されるが、第１の表面の放射率は０に近く、その上に印刷されたインクの放射率は１（または１００％）に近いので、サーマルＩＲカメラは、周囲環境からの反射なしに、印刷領域と背景プレートとの差を検出することができる。
【0047】
ここで、図６Ａおよび図６Ｂを参照する。図６Ａおよび図６Ｂは、可視光カメラ（図６Ａ）およびＩＲサーマルカメラ（図６Ｂ）を使用した、金属プレート上に印刷された単一のＭＴＦターゲットの画像の図である。ターゲット１０は、実質的に平坦な金属プレート１１を含み得る。金属プレート１１は、Ｎ９～Ｎ１０の表面粗さを有する第１の表面１１ａを含み得る。プレート１１の図は、図７に関して図示され、説明されている。
【0048】
ターゲット１０は、第１の表面上に塗布されたポリマーインク、例えば、図示されている標準ＵＳＡＦ－１９５１ ＭＴＦから作製されたパターン１３をさらに含み得る。いくつかの実施形態では、ターゲット１０は、可視光カメラおよびＩＲサーマルカメラの両方を較正するために使用され得る。当業者は理解するように、標準ＵＳＡＦ－１９５１ ＭＴＦは、単なる一例として示されており、本発明は、全体として、任意の好適なパターン、例えば、チェッカーボード、円形パターンなどを含む。ポリマーインクは、ポリマーマトリックスおよび顔料（例えば、黒色顔料）を含み得る。いくつかの実施形態では、インクの色（例えば、顔料）は、第１の表面１１ａとパターンとの間に可視スペクトルにおいて検出可能なコントラストを形成するように選択され得る。非限定的な例では、表面１１ａが明るいグレー色（例えば、艶消しアルミニウム合金）を有する場合、パターン１３は、黒色顔料、青色顔料、赤色顔料などを含み得る。いくつかの実施形態では、パターン１３は、図１６に関して図示され、説明されるように、異なる色を有する少なくとも２つの要素を含み得る。
【0049】
いくつかの実施形態において、第１の表面１１ａは、０．１未満の放射率を有することを特徴とし、パターン１３は、０．８超の放射率を有することを特徴とする。
【0050】
いくつかの実施形態において、第１の表面１１ａは、０．０９未満の放射率を有することを特徴とする。いくつかの実施形態において、第１の表面１１ａは、０．０８未満の放射率を有することを特徴とする。いくつかの実施形態において、第１の表面１１ａは、０．０６未満の放射率を有することを特徴とする。いくつかの実施形態において、第１の表面１１ａは、０．０３未満の放射率を有することを特徴とする。いくつかの実施形態において、第１の表面１１ａは、０．０１未満の放射率を有することを特徴とする。いくつかの実施形態において、第１の表面１１ａは、０．００１未満の放射率を有することを特徴とする。
【0051】
いくつかの実施形態において、第１の表面１１ａは、０．２未満の放射率を有することを特徴とする。いくつかの実施形態において、第１の表面１１ａは、０．１５未満の放射率を有することを特徴とする。
【0052】
いくつかの実施形態において、パターン１３は、０．７超の放射率を有することを特徴とする。いくつかの実施形態において、パターン１３は、０．８５超の放射率を有することを特徴とする。いくつかの実施形態において、パターン１３は、０．９超の放射率を有することを特徴とする。いくつかの実施形態において、パターン１３は、０．９５超の放射率を有することを特徴とする。いくつかの実施形態において、パターン１３は、０．９８超の放射率を有することを特徴とする。いくつかの実施形態において、パターン１３は、０．９９超の放射率を有することを特徴とする。
【0053】
したがって、印刷領域と金属表面との放射率差により、ターゲットが室温であっても、ＩＲカメラは、背景反射が画像を損なうことなく、パターンのぼやけた画像を検出することができる。
【0054】
図７は、本発明のいくつかの実施形態に係る金属プレート１１の図である。金属プレート１１は、任意の好適な金属を含み得る。非限定的な例では、プレートは、ＳＡＥ ５０５２Ｈ－３２、ＳＡＥ ５０５６、ＳＡＥ ５０５９、ＳＡＥ ５０８３、ＳＡＥ ５０８６、または任意の他の好適なアルミニウム合金を含み得る。いくつかの実施形態では、第１の表面１１ａは、Ｎ９～Ｎ１０ａ（例えば、６～１２μＭのＲａ）の表面粗さを有するように、艶消し、研磨、機械加工、取り付けなどが行われ得る。
【0055】
次に、図８を参照する。図８は、本発明のいくつかの実施形態に係る、カメラを較正するためのシステム５０の図である。システム５０は、金属プレートの第２の表面１１ｂに取り付けられた１つまたは複数の加熱要素１４をさらに備えるターゲット１０を含み得る。加熱要素１４は、ターゲット１０を室温より１℃～５℃高い温度に加熱し得る任意の要素であり得る。いくつかの実施形態では、１つまたは複数の要素１４は、プレートを均一に加熱し得る。例えば、第１の表面１１ａ全体にわたる温度差は、０．５℃を超えなくてもよい。
【0056】
図８に示す非限定的な例では、加熱パッド１４は、任意の接着材料２１を使用してプレート１１の第２の表面１１ｂに貼り付けられる／接着される。
【0057】
いくつかの実施形態では、システム５０は、加熱要素を制御してターゲット１０を加熱するように構成されたコントローラ１５をさらに含み得る。１つまたは複数の加熱要素１４は、ケーブル１７を介してコントローラ１５に接続され得る。コントローラ１５はさらに、ケーブル２２を介して電源に接続され得る。電源は、グリッドアウトレット１９に接続可能なプラグ１８またはバッテリ２０から選択され得る。いくつかの実施形態では、コントローラ１５は、１つまたは複数の加熱要素１４を制御してターゲットを室温より１℃～５℃高い温度に加熱するように構成され得る。
【0058】
いくつかの実施形態では、システム５０は、１つまたは複数の温度センサ（図示せず）を含み得る。温度センサは、ターゲット１０の周囲の室温（例えば、周囲温度）を測定するために、１つまたは複数の場所でプレート１１に取り付けられ得る、および／またはターゲット１０の周囲に配置され得る。いくつかの実施形態では、１つまたは複数のセンサは、コントローラ１５と無線または有線のいずれかで通信し得る。いくつかの実施形態では、コントローラ１５は、１つまたは複数の温度センサから受信した測定値に基づいて１つまたは複数の加熱要素１４を制御し得る。
【0059】
ここで、図９を参照する。図９は、ターゲット１０が複数（例えば、４つ）の加熱要素１４を備えるシステム５０の図である。ターゲット１０は、金属プレートの第２の表面１１ｂに取り付けられた複数の加熱要素１４を含み得る。いくつかの実施形態では、要素１４は、プレートを均一に加熱し得る。例えば、第１の表面全体にわたる温度差は、０．５℃を超えなくてもよい。
【0060】
いくつかの実施形態では、システム５０は、各々が単一の加熱要素１４を制御するように構成された複数のコントローラ１５をさらに含み得る。あるいは、２つ以上の加熱要素１４が接続され、単一のコントローラ１５によって制御され得る。各加熱要素１４は、ケーブル１７を介してそれぞれのコントローラ１５に接続され得る。いくつかの実施形態では、複数のコントローラ１５はさらに、接合点２２およびケーブル２２を介して電源に接続され得る。電源は、グリッドアウトレット１９に接続可能なプラグ１８またはバッテリ２０から選択され得る。
【0061】
ここで、図１０Ａを参照する。図１０Ａは、本発明のいくつかの実施形態に係るチェッカーボードキャリブレーションターゲット１０を備えるシステム５０の図である。図１０Ａのシステム５０は、図８のシステム５０と実質的に同じ構成要素を含み得る。ターゲット１０上には、Ｎ９～Ｎ１０の表面粗さを有するプレート１１の第１の表面１１ａ上に（例えば、ポリマーインクを使用して）標準チェッカーボードパターン２３が印刷され得る。
【0062】
ここで、図１０Ｂを参照する。図１０Ｂは、本発明のいくつかの実施形態に係る、ＩＲカメラユニットを較正する方法のフローチャートである。本明細書で使用される場合、カメラユニットは、少なくとも１つのカメラ、例えば、ＩＲカメラを含むユニットを指すこともある。いくつかの実施形態では、カメラユニットは、２つのＩＲカメラ、１つのＩＲカメラおよび１つの可視光カメラ、２つのＩＲカメラおよび２つの可視光カメラなどを含み得る。
【0063】
ステップ１１０において、赤外線スペクトルで撮影されたターゲット１０の第１の画像がカメラユニットに含まれる第１のＩＲカメラから受信され得る。例えば、図６Ｂに示す画像または画像２５が図１１に示すＩＲカメラ２４から受信され得る。いくつかの実施形態では、ターゲット１０は、例えば、図１２に示すように、例えば、システム５０の１つまたは複数の加熱要素１４を使用して加熱され得、画像は、加熱後にキャプチャされ得る。いくつかの実施形態では、ターゲット全体にわたる温度偏差は０．５℃未満である。加熱後にＩＲカメラ２４によってキャプチャされた画像２６は、図１１に示される画像２５の白色領域１および黒色領域２と比較して、白色領域１と黒色領域２との間のより高いコントラストを有し得る。
【0064】
図１０Ｂのフローチャートに戻ると、ステップ１２０において、第１のカメラに関連する第１のパラメータが、第１の画像から抽出され得る。例えば、レンズ合焦に関連するパラメータ、鮮明度に関連するパラメータ、ＭＴＦテストを使用して抽出されたレンズ品質に関連するパラメータ、カメラの幾何学的パラメータなどが、図１１および図１２に示す画像２５および画像２６などの画像から抽出され得る。
【0065】
ステップ１３０において、抽出された第１のパラメータに基づいて第１のカメラが較正され得る。例えば、第１のカメラ２４は、画像２５および／または画像２６から抽出されたパラメータに基づいて較正され得る。
【0066】
いくつかの実施形態では、カメラユニット内の単一のカメラ（例えば、各カメラ）に対して行われる内部キャリブレーションに加えて、図１３に示すように、２つ以上のカメラ間で外部キャリブレーションプロセスがさらに行われ得る。
【0067】
いくつかの実施形態では、該方法は、カメラユニットに含まれる第２のＩＲカメラから、赤外線スペクトルで撮影されたターゲットの第２の画像を受信するステップをさらに含み得る。例えば、第２の画像２８は、図１３に示すように、第２のＩＲカメラ２７によってキャプチャされ得る。
【0068】
いくつかの実施形態では、第２のカメラに関連する第２のパラメータは第２の画像から抽出され得、第１のカメラおよび第２のカメラのキャリブレーションは、抽出された第１のパラメータおよび抽出された第２のパラメータに基づいて行われ得る。
実験結果
実験結果
【0069】
ここで図１４を参照する。図１４は、本発明のいくつかの実施形態に係る、放射率差のみを使用して特別な研磨仕上げなしでキャリブレーションターゲットのサーマルカメラによってキャプチャされた画像を示す。標準キャリブレーションターゲット２３の画像は、ＬＷＩＲ内のサーマルＩＲカメラで撮影された。黒色パターン１３と研磨されていないアルミニウムプレートの第１の表面１１ａとの間の不明瞭なコントラストは、パターンを形成するインクと第１の表面との間の放射率の差に起因する。パターン１３の領域２は、より高い放射率を有し、したがって、熱画像において白く見える。黒い領域１はアルミニウムプレート（研磨されていない）であり、放射率がより低く、したがって背景環境からの熱エネルギーを反射する。環境からの反射は、ボード全体にわたって顕著であり、正方形２９のいくつかにおいて位相反転を引き起こし、画像がキャリブレーションおよびテスト目的で使用できなくなる。いくつかの実施形態において、放射率差のみでは、キャリブレーション品質コントラストを受信するのに十分ではない。この欠点を克服するために、ボードは、加熱ガン、投光ランプによって、または太陽の自然光にしばらく曝すことによって外部から加熱され得る。
【0070】
これらの加熱方法は、一時的な熱を付与する方法であり、この熱は急速に消えてしまうもので、加熱時間および材料が原因である。
【0071】
ここで図１５を参照する。図１５は、本発明のいくつかの実施形態に係る、キャリブレーションターゲットのＬＷＩＲのサーマルＩＲカメラ（左）および可視光カメラ（右）でキャプチャされた画像を示す。室温より２度高い温度に加熱された加熱要素を有するキャリブレーションターゲット２３の画像は、ＩＲサーマルカメラおよび可視光カメラの両方によって撮影された。ＩＲサーマル熱カメラで撮影された画像のコントラストは、可視光カメラで撮影された画像のコントラストと同様に良好であった。両方の画像において、パターンのコーナーは、可視光画像（コーナー３１）およびにサーマルカメラ画像（コーナー３２）において検出され得る。このキャリブレーションターゲットおよびキャリブレーション方法は、環境条件に関係なく屋内および／または屋外で使用され得る。なぜなら、特別な金属バックボードは、可視からＬＷＩＲまでの波長のいずれにおいてもエネルギーの多くを反射しないからである。加熱は均一で連続的であり、他の波長に影響を与えない。
ダイナミックレンジテスト
ダイナミックレンジテスト
【0072】
可視光カメラおよびサーマルカメラのダイナミックレンジをテストするために、ターゲットは、可視光カメラの標準ダイナミックレンジテストターゲットと全く同様に、異なる色コントラストを有し得る。加えて、複数の加熱要素が、プレート（例えば、プレート１１）の背面に、着色領域と実質的に同じ位置に配置され得る。いくつかの実施形態では、要素の各々は、異なる別個の温度に加熱され、マーキングされ得、これは、ＩＲスペクトルにおいても大きなダイナミックレンジコントラストをもたらし得る。したがって、ダイナミックレンジは、ＩＲおよび可視範囲において同時に測定され、テストされ得る。
【0073】
この技術は、可視光カメラ標準から採用される標準方法およびプロトコルを使用して、非常に高いコントラストおよび精度で、屋内または屋外のほとんど任意の条件下で、任意のカメラ（可視光、ＮＩＲ、ＳＷＩＲ、ＭＷＩＲおよびＬＷＩＲ）のキャリブレーションまたはテストを可能にする。
【0074】
【0075】
可視光および／またはサーマルＩＲカメラのダイナミックレンジテストが行われ、ターゲット３３を使用してカメラ（複数可）の動的応答が同時にまたは別々に測定され得る。標準ダイナミックレンジシステムは、それぞれ異なる色またはグレーレベルで印刷された複数の印刷領域３４を有するテストターゲット３３を含み得る。印刷領域は、可視光カメラを較正するために使用され得る。いくつかの実施形態では、印刷領域は、ターゲット３３の第１の表面３３ａ上に印刷され得る。いくつかの実施形態において、第１の表面３３ａは、Ｎ９～Ｎ１０の表面粗さを有し得る。いくつかの実施形態では、ターゲット３３の第２の表面３３ｂ上で、複数の加熱要素１４が、印刷領域３４の位置に対応する位置に配置され得る。いくつかの実施形態では、各加熱要素１４は、対応するコントローラ１５によってターゲット３３内の特定の領域を加熱するように別々に制御され得る。いくつかの実施形態では、全てのコントローラ１５が電源１８に接続され得る。いくつかの実施形態では、各領域の異なる温度は、対比ＩＲ画像を形成し得、印刷領域３４の異なる色またはグレーレベルは、対比可視光画像を形成し得る。このようなターゲット３３により、標準可視ダイナミックレンジテスト手順と同様のテスト方法を使用してＩＲスペクトルにおけるダイナミックレンジテストを行うことが可能になる。
【0076】
したがって、本発明の実施形態に係るターゲットにより、ＩＲカメラおよび可視光カメラの両方の屋内（または屋外）テストを行うことが可能になる。カメラが同じ装置（例えば、車両）内に組み立てられる場合、同じ条件下で同じターゲットを使用して両方のタイプのカメラを同時に較正することにより、高品質の画像を受信することが可能になる。いくつかの実施形態では、同時に較正されたカメラによってキャプチャされた画像から集められた情報は、これらのカメラによってキャプチャされた被写体をより良くより正確に認識することができるように組み合わせられ得る。より具体的には、４つのカメラ、２つのＩＲサーマルカメラ、および２つの可視光カメラによって撮影された３Ｄ画像は、被写体、例えば、車両の進行方向に位置する被写体の画像認識を形成するために処理され得る。
【0077】
明示的に述べられていない限り、本明細書で説明される方法の実施形態は、特定の順序またはシーケンスに制約されない。さらに、本明細書に記載される全ての方式は、例としてのみ意図され、他のまたは異なる方式が使用されてもよい。加えて、説明される方法の実施形態またはその要素のうちのいくつかは、同じ時点で発生してもよい、または実行されてもよい。
【0078】
本発明の特定の特徴について本明細書で例示および説明したが、当業者は、多くの修正、置換、変更、および均等物を思い付くであろう。したがって、添付の請求項は、本発明の真の趣旨の範囲内にあるこのような修正および変更の全てを網羅することを意図するものであることを理解されたい。
【0079】
様々な実施形態を提示した。これらの実施形態の各々は、当然ながら、提示される他の実施形態からの特徴を含んでもよく、具体的に説明されていない実施形態は、本明細書で説明されている種々の特徴を含んでもよい。
【図1】
【図2】
【図3】
【図4A-4B】
【図5A-5B】
【図6A-6B】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【国際調査報告】