特表 2024-502133 長波赤外線能力を持つ車両対インフラストラクチャシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-17

(54)【発明の名称】長波赤外線能力を持つ車両対インフラストラクチャシステム及び方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240110BHJP

   H04N 7/18 20060101ALI20240110BHJP

【ＦＩ】

H04N23/60

H04N7/18 N

H04N7/18 D

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023541083

(86)(22)【出願日】2021-11-24

(85)【翻訳文提出日】2023-08-07

(86)【国際出願番号】 IB2021060944

(87)【国際公開番号】W WO2022144629

(87)【国際公開日】2022-07-07

(31)【優先権主張番号】17/138,054

(32)【優先日】2020-12-30

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】516326117

【氏名又は名称】アダスカイ・リミテッド

【氏名又は名称原語表記】ＡＤＡＳＫＹ ＬＴＤ

(74)【代理人】

【識別番号】100105131

【弁理士】

【氏名又は名称】井上 満

(74)【代理人】

【識別番号】100105795

【弁理士】

【氏名又は名称】名塚 聡

(72)【発明者】

【氏名】クイベダ，オレグ

(72)【発明者】

【氏名】ディション，ヨナタン

(72)【発明者】

【氏名】イヴァノフ，イゴール

【テーマコード（参考）】

5C054

5C122

【Ｆターム（参考）】

5C054CA04

5C054CA05

5C054CC02

5C054DA07

5C054FD02

5C054HA26

5C122DA11

5C122DA16

5C122EA22

5C122FA06

5C122FF09

5C122FF23

5C122FH04

5C122FH11

5C122FH12

5C122FH14

5C122GA01

5C122HA13

5C122HA35

5C122HA83

5C122HA88

5C122HB01

5C122HB10

(57)【要約】

車両対インフラストラクチャ（Ｖ２Ｉ）システムを動作させるためのシステム及び方法。本方法は、赤外線（ＩＲ）カメラから画像を受信するステップと、受信した画像内に不均一性ノイズが存在するかどうかを判定するステップと、不均一性ノイズが存在すると判定すると、キャリブレーションを実行するステップと、キャリブレーションを実行した後に、残留する不均一性ノイズがあると判定し、ＩＲカメラがＩＲカメラに接近している移動物体を検出していないと判定すると、ＩＲに不均一性補正（ＮＵＣ）を実行するステップと、ＮＵＣを実行した後に、ＩＲカメラの視野（ＦＯＶ）が遮られているかどうかを判定するステップと、赤外線カメラのＦＯＶが遮られていると判定すると、ＩＲカメラを洗浄するステップとを含む。
【選択図】 図６

【特許請求の範囲】

【請求項1】

車両対インフラストラクチャ（Ｖ２Ｉ）システムを動作させる方法であって、
赤外線（ＩＲ）カメラから画像を受信するステップと、
受信した前記画像内に不均一性ノイズが存在するかどうかを判定するステップと、
前記不均一性ノイズが存在すると判定すると、キャリブレーションを実行するステップと、
前記キャリブレーションを実行した後に、残留する不均一性ノイズがあると判定し、前記ＩＲカメラが前記ＩＲカメラに接近している移動物体を検出していないと判定すると、前記ＩＲに対して不均一性補正（ＮＵＣ）を実行するステップと、
前記ＮＵＣを実行した後に、前記ＩＲカメラの視野（ＦＯＶ）が遮られているかどうかを判定するステップと、
前記赤外線カメラの前記ＦＯＶが遮られていると判定すると、前記ＩＲカメラを洗浄するステップと、を含む方法。

【請求項2】

前記ＩＲカメラはシャッターを含み、
前記不均一性補正（ＮＵＣ）の実行中、前記シャッターは前記赤外線（ＩＲ）カメラ上で閉じられる、請求項１に記載の方法。

【請求項3】

前記不均一性ノイズが存在するかどうかの判定中に前記シャッターを開いたままにすることをさらに含む、請求項２に記載の方法。

【請求項4】

前記キャリブレーションの実行中に前記シャッターを開いたままにすることをさらに含む、請求項２に記載の方法。

【請求項5】

前記キャリブレーションは、別の画像による修正又は幾何学的キャリブレーションのうちの１つを含む、請求項１に記載の方法。

【請求項6】

前記ＩＲカメラと前記車両との間の間隔推定中に実行されるシーン距離測定に基づいて幾何学的キャリブレーションを実行するステップをさらに含む、請求項５に記載の方法。

【請求項7】

受信した前記画像内の各画素について、モデル化されていないオフセット、ゲイン、又はドリフトノイズのうちの１つを補正するための画素ベースの補正を形成することをさらに含む、請求項１記載の方法。

【請求項8】

受信した前記画像内の前記各画素についての温度ドリフト補正に基づいて前記ドリフトノイズを補正することをさらに含む、請求項７に記載の方法。

【請求項9】

ガンマドリフト係数を計算することによって前記ドリフトノイズを補正することと、各画素についての所定のドリフト値と前記計算されたドリフト値との積を減算することとをさらに含む、請求項７に記載の方法。

【請求項10】

処理回路に処理を実行させるための命令を記憶した非一時的コンピュータ可読媒体であって、前記処理は、
赤外線（ＩＲ）カメラから画像を受信するステップと、
受信した前記画像内に不均一性ノイズが存在するかどうかを判定するステップと、
前記不均一性ノイズが存在すると判定すると、キャリブレーションを実行するステップと、
前記キャリブレーションを実行した後に、残留する不均一性ノイズがあると判定し、前記ＩＲカメラが前記ＩＲカメラに接近している移動物体を検出していないと判定すると、前記ＩＲに対して不均一性補正（ＮＵＣ）を実行するステップと、
前記ＮＵＣを実行した後に、前記ＩＲカメラの視野（ＦＯＶ）が遮られているかどうかを判定するステップと、
前記赤外線カメラの前記ＦＯＶが遮られていると判定すると、前記ＩＲカメラを洗浄するステップと、を含む、非一時的コンピュータ可読媒体。

【請求項11】

物体を検出するための車両対インフラストラクチャ（Ｖ２Ｉ）システムであって、
処理回路と、
メモリであって、前記メモリは、前記処理回路によって実行されると、
赤外線（ＩＲ）カメラから画像を受信し、
受信した前記画像内に不均一性ノイズが存在するかどうかを判定し、
前記不均一性ノイズが存在すると判定すると、キャリブレーションを実行し、
前記キャリブレーションを実行した後に、残留する不均一性ノイズがあると判定し、前記ＩＲカメラが前記ＩＲカメラに接近している移動物体を検出していないと判定すると、前記ＩＲに対して不均一性補正（ＮＵＣ）を実行し、
前記ＮＵＣを実行した後に、前記ＩＲカメラの視野（ＦＯＶ）が遮られているかどうかを判定し、
前記赤外線カメラのＦＯＶが遮られていると判定すると、前記ＩＲカメラを洗浄する、ように前記システムを構成する命令を含む、該メモリと、を備えるシステム。

【請求項12】

前記ＩＲカメラはシャッターを含み、
不均一性補正（ＮＵＣ）の実行中、前記シャッターは前記赤外線（ＩＲ）カメラ上で閉じられる、請求項１１に記載のシステム。

【請求項13】

前記シャッターは、前記不均一性ノイズが存在するかどうかの前記判定の間、開いたままである、請求項１２に記載のシステム。

【請求項14】

前記シャッターは、前記キャリブレーションの実行中、開いたままである、請求項１２に記載のシステム。

【請求項15】

前記キャリブレーションが、別の画像を用いた修正又は幾何学的キャリブレーションのうちの１つを含む、請求項１１に記載のシステム。

【請求項16】

前記幾何学的キャリブレーションは、前記ＩＲカメラと前記車両との間の距離推定中に実行されるシーン距離測定値に基づいて決定される、請求項１５に記載のシステム。

【請求項17】

前記システムは、さらに、受信した前記画像内の各画素について、モデル化されていないオフセット、ゲイン、又はドリフトノイズのうちの１つを補正するための画素ベースの補正を形成するように構成される、請求項１１に記載のシステム。

【請求項18】

前記ドリフトノイズは、受信した前記画像内の前記各画素についての温度ドリフト補正に基づいて補正される、請求項１７に記載のシステム。

【請求項19】

前記ドリフトノイズは、ガンマドリフト係数を計算し、各画素についての所定のドリフト値と前記計算されたドリフト値との積を減算することによって補正される、請求項１７に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２０年１２月３０日に出願された米国非仮出願第１７／１３８，０５４号の利益を主張する。上記関連出願の内容は、参照により本明細書に組み込まれる。

【0002】

本開示は概して、車両通信システムに関し、特に、赤外線カメラを含む車両対インフラストラクチャシステム及び方法に関する。

【背景技術】

【0003】

ビークルツーインフラストラクチャ（又は、車両対インフラストラクチャ／Vehicle-to-Infrastructure，Ｖ２Ｉ）は、車両が道路システムを構成するインフラストラクチャ及び構成要素と情報を共有することを可能にする通信モデルである。構成要素は、交通信号、車線マーカ、街路灯、道路標識、駐車メータ、建物構造などを含み得る。これらの構成要素に搭載されたセンサーからデータがリアルタイムで収集され、道路状況に関する警告、交通渋滞、潜在的な障害物、及び駐車可能性を配信するために、ネットワークを介して車両に送信され得る。他のシステムはまた、交通流を最適化し、車両の燃費を向上させる一方で、道路上の運転者及び歩行者の両方に対する安全を促進するために、インフラストラクチャ及び車両データの両方を使用し得る。

【0004】

典型的には、Ｖ２Ｉシステムで使用されるセンサーは、ビデオカメラ、無線検出及び測距（ＲＡＤＡＲ）、超音波センサー、及び光検出及び測距（ＬＩＤＡＲ）、並びに移動車両の外側の交通物体の良好な視認性を有する固定位置に取り付けられた他の静止センサーを含む。Ｖ２Ｉシステムはまた、車両に搭載されたセンサーによって適切に捕捉することができない情報を追加し得る。例えば、Ｖ２Ｉシステムは交差点にあるポールに取り付けられたＲＧＢカメラを含むことができ、このカメラは交差点に接近する車両及び歩行者のビデオを捕捉し、分析し、コーナーの周りから接近する車両に情報を送信するように適合されている。

【0005】

Ｖ２Ｉシステムは静止しており、車両上に配置されておらず、システムのコストは個々の車両所有者によってではなく、これらのシステムを使用する公衆のメンバーによって共有され得るので、Ｖ２Ｉシステムは、個々の車両上に設置されるＶ２Ｖシステムに適用されるサイズ、位置ロケーション、及びコスト制限に限定されることなく、センサー感度の増大、分解能の向上、検出範囲の増大、及び視野の拡大を伴う、視野角及び位置に搭載されるセンサーを有することによって、Ｖ２Ｖ（車両対車両／Vehicle-to-Vehicle）システム内の車両上に搭載されるセンサーの分析能力を増強し得る。

【0006】

しかしながら、様々な感知モダリティはそれらの視野が限定されており、全天候条件において実行することができない。これらの装置の性能は、悪天候下又は夜間では特に不良である。例えば、明るい昼光下の晴天条件下でさえ、ビデオカメラは、太陽光及び雪反射からのグレアによって役に立たなくなり得る。また、夜間には、ビデオカメラが遠くの物体を識別するために追加のアクティブ照明が必要であり、これは多くの電気エネルギーを消費する。さらに、ビデオカメラは、大雨又は霧の下では役立たない場合がある。

【0007】

レーダは物体の相対速度を識別し得るが、物体の詳細を識別することができない。さらに、超音波センサーは、近くの物体を低分解能で感知することしかできない。加えて、ＬＩＤＡＲは物体（又は、オブジェクト）の３次元画像を作成し、深度知覚を与えることが可能であり得るが、範囲は依然として限定され、検出は雨又は霧の状態では不明瞭となり得る。

【0008】

全体的に、説明される様々なシステムは、悪い気象条件下又は夜間にうまく機能しない。

【0009】

さらに、異なるモダリティのイメージャがＶ２Ｉアプリケーションの場合のように長期間にわたってインフラストラクチャ上に固定されるとき、生成される画像内にノイズが蓄積し、画像の品質を低下させ、オンボードプロセッサが、経時的に検出される異なる物体を区別することを困難にする可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0010】

上記の議論を考慮すると、上記の欠点を克服する異なるモダリティを使用するＶ２Ｉシステムが必要とされている。

【課題を解決するための手段】

【0011】

本開示のいくつかの例示的な実施形態の概要を以下に示す。この概要はそのような実施形態の基本的な理解を提供するために読者の便宜のために提供されるものであり、本開示の幅を完全に定義するものではない。この概要は、すべての企図される実施形態の包括的な概観ではなく、すべての実施形態の主要又は重要な要素を識別するものでも、いずれか又はすべての態様の範囲を定めるものでもない。その唯一の目的は、後に提示されるより詳細な説明の前置きとして、１つ又は複数の実施形態のいくつかの概念を簡略化された形で提示することである。便宜上、「いくつかの実施形態」又は「特定の実施形態」という用語は、本明細書では本開示の単一の実施形態又は複数の実施形態を指すために使用され得る。

【0012】

本明細書に開示される特定の実施形態は、車両対インフラストラクチャ（Ｖ２Ｉ）システムを動作させるための方法を含む。本方法は、赤外線（ＩＲ）カメラから画像を受信するステップと、受信した画像内に不均一性ノイズが存在するかどうかを判定するステップと、不均一性ノイズが存在すると判定すると、キャリブレーション（又は、較正／校正）を実行するステップと、キャリブレーションを実行した後に、残留する不均一性ノイズがあると判定し、ＩＲカメラがＩＲカメラに接近している移動物体を検出していないと判定すると、ＩＲに対して不均一性補正（ＮＵＣ）を実行するステップと、ＮＵＣを実行した後に、ＩＲカメラの視野（ＦＯＶ）が遮られているかどうかを判定するステップと、赤外線カメラのＦＯＶが遮られていると判定すると、ＩＲカメラを洗浄するステップとを含む。

【0013】

本明細書に開示される特定の実施形態はまた、処理回路に以下の処理を実行させるための命令を自身に記憶する非一時的コンピュータ可読媒体を含み、上記処理は、赤外線（ＩＲ）カメラから画像を受信するステップと、受信した画像内に不均一性ノイズが存在するかどうかを判定するステップと、不均一性ノイズが存在すると判定すると、キャリブレーションを実行するステップと、キャリブレーションを実行した後、残留する不均一性ノイズがあると判定し、ＩＲカメラがＩＲカメラに接近している移動物体を検出していないと判定すると、ＩＲに対して不均一性補正（ＮＵＣ）を実行するステップと、ＮＵＣを実行した後に、ＩＲカメラの視野（ＦＯＶ）が遮られているかどうかを判定するステップと、赤外線カメラのＦＯＶが遮られていると判定すると、ＩＲカメラを洗浄するステップとを含む。

【0014】

本明細書に開示される特定の実施形態はまた、車両対インフラストラクチャシステムを含む。本システムは処理回路と、メモリとを含み、メモリは、処理回路によって実行されると、赤外線（ＩＲ）カメラから画像を受信し、受信した画像内に不均一性ノイズが存在するかどうかを判定し、不均一性ノイズが存在すると判定すると、キャリブレーションを実行し、キャリブレーションを実行した後に、残留する不均一性ノイズがあると判定し、ＩＲカメラがＩＲカメラに接近している移動物体を検出していないと判定すると、ＩＲに対して不均一性補正（ＮＵＣ）を実行し、ＮＵＣを実行した後に、ＩＲカメラの視野（ＦＯＶ）が遮られているかどうかを判定し、赤外線カメラのＦＯＶが遮られていると判定すると、ＩＲカメラを洗浄するようにシステムを構成する命令を含む。

【図面の簡単な説明】

【0015】

本明細書に開示される主題は、本明細書と共に提出した特許請求の範囲において具体的に指摘しかつ明確に特許請求している。開示された実施形態の前述及び他の目的、特徴、及び利点は、添付の図面と併せて以下の詳細な説明から明らかになるであろう。

【0016】

【図1】図１は、本明細書の一実施形態による、赤外線カメラを使用する車両対インフラストラクチャ（Ｖ２Ｉ）通信システムの概略図である。

【0017】

【図2】図２は、本明細書の一実施形態による、Ｖ２Ｉ通信システムで使用される赤外線カメラの分解図である。

【0018】

【図3】図３は、本明細書の一実施形態による、Ｖ２Ｉ通信システムで使用される赤外線カメラシステムの詳細な系統図である。

【0019】

【図4】図４は、本明細書の一実施形態による、Ｖ２Ｉ通信システムで使用される（処理回路／サーバ）の詳細な系統図である。

【0020】

【図5】図５は、一実施形態による、図２のＩＣによって実行される処理タスクのパイプラインを示す。

【0021】

【図6】図６は、本明細書の一実施形態による、Ｖ２Ｉ通信を動作させる方法のフローチャートである。

【0022】

【図7】図７は、本明細書の一実施形態による、Ｖ２Ｉ通信システムの概略図である。

【発明を実施するための形態】

【0023】

本明細書に開示される実施形態は、本明細書における革新的な教示の多くの有利な使用の例にすぎないことに留意することが重要である。一般に、本出願の明細書においてなされる記述は、必ずしも様々な請求される実施形態のいずれをも限定しない。さらに、いくつかの記述はいくつかの発明の特徴に適用され得るが、他のものには適用されない。一般に、特に明記しない限り、単数の要素は、一般性を失うことなく、複数であってもよく、逆もまた同様である。図面において、同様の番号は、いくつかの図を通して同様の部分を指す。

【0024】

開示される様々な実施形態は、長波赤外線カメラを使用して車両対インフラストラクチャ（Ｖ２Ｉ）システムを動作させるための方法及びシステムを含む。赤外線カメラの使用は、大量のエネルギーを使い果たしセンサーのための光学ノイズを生成するアクティブ照明を必要とすることなく、長距離（最大約２５０ｍ）からの車両及び歩行者などの移動物体の検出を可能にする。長波赤外線カメラによって生成される画像はまた、他の光源、もや（又は、ヘイズ／haze）、夜間光、雨、雪、霧、又は、光検出及び測距（ＬＩＤＡＲ）などの他のタイプの撮像システムの視認性を低下させ得る他の要因に対しても不変である。Ｖ２Ｉ方法及びシステムはまた、物体検出、追跡、及び距離決定の両方を向上させる画像処理を含み、これは、静止してポール上に固定されたカメラに最適化される。さらに、シャッター機構を使用して、カメラの視野を閉じ、赤外線カメラが使用されていないときに重要なカメラ保守を行うことができる。したがって、シャッターが閉じられ得るときを決定するためのアルゴリズムが開発され得る。

【0025】

図１は、本明細書の一実施形態による、遠赤外線（ＦＩＲ）デバイス１１０を使用する車両対インフラストラクチャ（Ｖ２Ｉ）通信システム１００の概略図である。Ｖ２Ｉ通信システム１００は、ＦＩＲデバイス１１０と、インフラストラクチャ１２０と、端末１３０と、ネットワーク１４０と、車両内に配置されたディスプレイ１５２とを含む。

【0026】

ＦＩＲデバイス１１０は、インフラストラクチャ１２０上に実装されてもよく、又は固定位置においてそれ自体のマウント上に独立して実装されてもよい。ＦＩＲデバイス１１０は、約１５マイクロメートル～１ｍｍの波長で電磁放射の遠赤外スペクトルを検出するように適合され、これはまた、２０ＴＨｚ～３００ＧＨｚの範囲に対応する。

【0027】

インフラストラクチャ１２０は交通カメラ、道路標識、街路灯、建物、橋、料金所、駐車場、充電ステーション、道路標示、及び他の輸送機器とし得るが、これらに限定されない。

【0028】

ネットワーク１４０は限定はしないが、ワイヤレス、セルラー又はワイヤードネットワーク、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロエリアネットワーク（ＭＡＮ）、インターネット、ワールドワイドウェブ（ＷＷＷ）、同様のネットワーク、及びそれらの任意の組合せであり得る。ネットワーク１４０はまた、セルラーネットワーク、たとえば、ＬＴＥ又は５Ｇを含み得る。また、ネットワーク１４０にはサーバ１４２が接続されている。ディスプレイ１５２は、車両上のスクリーンであり得る。

【0029】

動作中、インフラストラクチャ１２０に搭載されたＦＩＲデバイス１１０は、交差点を横断する歩行者、及び交差点に接近する車両１４０の画像を連続的に捕捉する。画像に加えて、それ自体であろうと他のセンサーと組み合わせてであろうと、ＦＩＲデバイス１１０はまた、車両及び歩行者の両方に関連する他の情報を捕捉し得る。次に、ＦＩＲデバイス１１０は、処理のためにネットワーク１３０を介してサーバ１４２に画像情報を転送する。

【0030】

図２は、本明細書の実施形態による、Ｖ２Ｉ通信システム１００において使用されるＦＩＲデバイス１１０の例示的分解図である。ＦＩＲデバイス１１０は、シャッター機構（シャッター）２１０、又は不均一性補正（ＮＵＣ）機構を囲む中央ハウジング２００と、ＦＩＲカメラ２２０と、マウント２５０とを含む。マウント２５０はＦＩＲデバイス１１０の近位端上の背面カバー２６０上に固定され、前面カバー２７０は近位端とは反対側のＦＩＲデバイス１１０の遠位端を囲む。

【0031】

シャッター２１０はＦＩＲカメラ２２０を保護するためのものであり、ウィンドウ２１３と、モータ２１５とを備えている。モータ２１５はカメラメンテナンス又はリソース集約的な画像処理を実行するときに、ＦＩＲカメラ２２０の視野（ＦＯＶ）を覆うようにウィンドウ２１３を移動させる。また、ウィンドウ２１３はＦＩＲセンサー２２０が車両や歩行者などの移動物体を一定期間にわたって検出しなかった場合に、待機状態にあるときにＦＩＲカメラ２２０を覆ってもよい。

【0032】

シャッター２１０はまた、電源投入時にＮＵＣ動作を行うために自動的に作動されてもよく、又は、シャッター２１０がＦＩＲカメラ２２０のＦＯＶを閉じて覆わないときに画質が著しく劣化して補正できない場合に作動されてもよい。例えば、ＦＩＲカメラ２２０によって撮影された画像がノイズを含んでいることが検出されると、シャッター２１０が作動してＮＵＣ動作を行い、キャリブレーションを行うことができる。

【0033】

すなわち、キャリブレーションが行われているＮＵＣ動作中に、シャッター２１０はモータ２１５によって「閉」位置に移動させることができ、ここで、ＦＩＲセンサー２２０はシャッター２１０によって遮断され、その結果、ＮＵＣ動作が外部の外乱なしに是正措置をとるように行われ得る。

【0034】

あるいは、シャッター２１０がＮＵＣ操作とともに手動で操作されてもよい。

【0035】

前面カバー２７０は、レンズ２８０を含む。ワイヤ又はコイルを含み得る除氷ウィンドウヒータ（ヒータ）２１７も、レンズ２８０とウィンドウ２１３との間に存在する。ヒータ２１７はレンズ２８０の着氷を防止し、ＦＩＲカメラ２２０の構成要素を保護する。また、一実施形態では、レンズ２８０がＩＲ範囲の電磁波に対しても透過性である低伝導性材料から作製されてもよく、その結果、別個のヒータ２１７を必要とすることなく、レンズを加熱するために電流を直接印加し得る。例えば、ゲルマニウムなどの材料を使用してレンズ２８０を形成し得る。いくつかの実施形態では、レンズ２８０はまた、ダイヤモンドライクカーボン（ＤＬＣ）コーティングを有してもよい。さらに、同様の電気熱伝導特性を有するゲルマニウム及び他の半導体を使用するレンズは材料の導電性を制御するためにドープされてもよい（例えば、Ｎ型又はＰ型半導体）。

【0036】

ヒータ２１７は、コントローラ１３２のヒータリレー１３８を介して、ディベロッパーキット（又は、現像キット）１３４によって電力供給及び制御される。ヒータ２１７は、ウィンドウ２１３の温度感知に基づいて、ヒータリレー１３８によって電源投入され得る。例えば、ヒータ２１７は感知された温度が約５Ｃ（４１ｆ）を下回るときにトリガされてもよく、一旦トリガされると、ヒータ２１７は温度が約１４Ｃ（５７ｆ）を上回ると加熱を停止してもよい。

【0037】

図３は、一実施形態に従って実施されるＦＩＲカメラ２２０の例示的なブロック図の側面図である。ＦＩＲカメラ２２０は、光学ユニット３１０と、集積回路（ＩＣ）３３０に結合されたＦＩＲセンサー３２０を含む。ＦＩＲカメラ２２０の出力は、ＦＩＲセンサー３２０によって取り込まれ、ＩＣ３３０によって処理された熱画像のビデオストリーム（サーマルビデオストリーム）である。

【0038】

一実施形態では、２つのサーマルビデオストリーム（又は、サーモビデオストリーム／thermal video streams）がＦＩＲカメラ２２０によって出力される。第一ストリーム３０４は、ＦＩＲカメラ２２０によってキャプチャされ、画像補正及び強調のためにＩＣ３３０によって処理されたサーマル画像（又は、熱画像）を含み得る。例示的な実施形態では、第一サーマルビデオストリーム３０４が８ビットグレースケールビデオストリームであり得る。第一サーマルビデオストリーム３０４は、ディスプレイ１５２に供給される。さらなる実施形態では、複数のサーマルビデオストリームがＦＩＲカメラ２２０によって出力される。出力ストリームは非ＦＩＲセンサー（例えば、可視波長、ＣＣＤ、又はＣＭＯＳセンサー）から受信された画像からの結果を含み得る。

【0039】

第二ストリーム３０５は、ＦＩＲセンサー３２０によって捕捉され、ＮＵＣ補正のためにＩＣ３３０によって処理されたサーマル画像を含む。例示的な実施形態では、第二サーマルビデオストリーム３０５は１４ビットのデータストリームである。第二ストリーム３０５は、コンピュータビジョン処理のためにサーバ１４２に供給される。具体的には、サーバ１４２は、ＡＶＳならびに他の自律システム及びアプリケーションに関連する様々なコンピュータビジョンアルゴリズムを実行するように構成され得る。アルゴリズムは限定はしないが、道路上の物体、障害物、又は危険物の検出を含み得る。例えば、ＦＩＲカメラ２２０によって出力される処理されたサーマルビデオストリームは車両、歩行者、動物、二輪車、黒氷点（black-ice spots）、ごみ、デブリ、くぼみ（又は、ポットホール／potholes）、ガリーカバー（gully covers）、縁石等の検出に利用し得る。一実施形態では、サーバ１４２が車載コンピュータ、又は車両（図示せず）にインストールされた専用コンピュータであり得る。いくつかの例示的な実施形態では、コンピュータがクラウドコンピューティングプラットフォーム（図示せず）内で動作可能な仮想又は物理的コンピューティングマシンであり得る。

【0040】

以下で論じるように、いくつかの実施形態によれば、ＩＣ３３０によって実行される処理は道路上の物体、障害物、及び危険物の正確かつ迅速な検出を可能にするように、キャプチャされたサーマル画像の品質を向上させるように構成される。ＩＣ３３０による処理は、日中及び夜間の照明条件の間、ならびにすべての気象条件における物体の受動的検出を保証する。この目的のために、ＩＣ３３０は、１つ又は複数の画像処理タスクを実行するように構成される。そのようなタスクにはＮＵＣ、日焼け防止、不良画素置換、近視野補正、時間的ノイズ除去、空間的ノイズ除去、エッジ強調、自動利得制御、局所コントラスト、強調、及び輝度及び極性調整が含まれるが、これらに限定されない。一実施形態では、これらのタスクがＦＩＲ画像（フレーム）を処理するためにいくつか又はすべてのタスクが利用され得るパイプライン方式で実行され、したがって、低レイテンシ（又は、待ち時間／遅延時間／latency）処理を保証する。

【0041】

ＩＣ３３０によって実行され得る画像処理は、ＦＩＲセンサー３２０によってキャプチャされたＦＩＲ画像のシャッターレス補正である。一実施形態では、ＦＩＲカメラ２２０がシャッター（又はシャッターとして見ることができる任意の可動部分）を含まなくてもよい。ＩＣ３３０によって実行されるシャッターレス補正は、シャッターなしでのフラットフィールド補正の実行を可能にする。すなわち、シャッターレス補正は、均一なＦＩＲ画像を可能にする。しかしながら、シャッターレス画像処理がＦＩＲ画像の補正を提供できず（例えば、急速な周囲変化がある場合）、ＦＩＲカメラ２２０の静的配置が与えられている場合には、シャッターは、システムがよりリソース集約的な補正を実行することを可能にするためのバックアップとして使用され得る。この場合、シャッターレス補正の方法は、シャッターを開いたままにし、かつＦＩＲカメラ２２０が画像を記録し続けることを可能にしながら、単純な補正を処理することによって、シャッター呼び出し間の時間を長くし得る。

【0042】

シャッターレスＦＩＲカメラ２２０は、機械的により信頼性が高く、ＡＶＳシステムに要求される安全基準をより良好に満たすことができることを理解されたい。したがって、最小限の処理が必要な、撮影画像にノイズが少なく、また、遮蔽されない場合に、撮像中にシャッターを開いたままにしておき、シャッターを閉じる必要がないように保つ時間は、Ｖ２Ｉ設定において最適な信頼性及び安全性をもたらし得る（又は、撮像中にシャッターを開いたままにしておくのに必要な時間は撮像された画像がノイズや遮蔽されていない場合には最小限の処理が必要であり、シャッターを閉じたままにしておくことは、Ｖ２Ｉ設定において最適な信頼性及び安全性をもたらし得る。）しかしながら、シャッターレス補正方法はより計算上の要求が高く、より強力なプロセッサ／アクセラレータを必要とし得るが、シャッターベースの補正は通常、あまり精巧でない光回路、オンチップ、ＦＰＧＡ、検出器回路の一部でさえあり得る小型コントローラによってオンザフライで実行され得る非常に基本的なものである。

【0043】

一実施形態では、光学ユニット３１０がそれぞれが所定の視野（ＦＯＶ）を有する１つ又は複数のレンズ要素を含む。例えば、これらのレンズ素子のＦＯＶは、約３０～６０度の範囲であり得る。一実施形態では、レンズ素子はカルコゲニドである。レンズは、保護ウィンドウ（図３には示していない）によって保護し得る。

【0044】

一実施形態において、ＦＩＲカメラ２２０は、複数の光学ユニット３１０を含み得る。各光学ユニット１１０は、独立して使用されてもよく、又は１つ以上の他の光学ユニット３１０と併せて使用されてもよい。例えば、単一のＦＩＲセンサー３２０が、２つ以上の光学ユニット３１０に接続されてもよい。さらに、一実施形態では、複数のＦＩＲセンサー３２０を単一のＩＣ３３０に接続し得る。

【0045】

例示的な実施形態では、複数の光学ユニット３１０及び／又は複数のＦＩＲセンサー３２０をタンデムで使用して、単一の光学ユニット３１０又はＦＩＲセンサー３２０が別様に提供し得るよりも高い最終解像度を有する結果として生じる画像を捕捉及び作成することができる。一例として、２つのＶＧＡ（６４０ピクセル×４８０ピクセル）サイズのＦＩＲセンサー３２０を使用して、単一の１２８０ピクセル×４８０ピクセルのＦＩＲ画像をキャプチャし得る。ＩＣ３３０は、２つの隣接する画像を自動的に一緒にステッチするように構成されてもよく、本明細書で論じられる補正のすべてを最終的な合成画像に適用してもよい。代替的に、まず各個々の画像を補正して、次いで、一緒にステッチしてもよい。さらなる実施形態では、画像がステッチされずに、ディスプレイ又はコンピュータに出力されるときに水平方向又は垂直方向に連結される。さらなる実施形態では、複数の光学ユニット３１０又はＦＩＲセンサー３２０がステレオビジョン用途のために、又はシーンの複数の視野角を提供するために使用され得る。

【0046】

さらに別の実施形態では、ＦＩＲカメラ２２０によって複数の画像ストリームが受信され処理される。そのような実施形態は異なる撮像モダリティ、例えば、可視スペクトル画像とのＦＩＲ画像の融合、様々な焦点距離を有するＦＩＲ画像の融合などを含む、複数のビデオストリームの融合である出力ストリームを作成することを含み得る。任意の数の入力ストリームを受信し、処理して、融合出力ストリームを生成し得る。

【0047】

ＦＩＲセンサー３２０は、非冷却ＦＩＲセンサーであり得る。すなわち、センサー３２０は、波長７．０～１４．０μｍのＦＩＲスペクトルで動作する。一例では、ＦＩＲセンサー２２０が第一バス３０１を介してＩＣ２３０に結合され、キャプチャされたＦＩＲ画像及びメタデータを入力する。一実施形態では、接合部温度センサー（温度センサー）３４０がＦＩＲセンサー３２０の筐体内に含まれ、その中の接合部温度を測定する。

【0048】

制御バス３０２はまた、ＦＩＲセンサー３２０とＩＣ３３０との間に接続される。バス３０２上では、センサー３２０の状態に関連する信号、クロック、同期化、及び他のデジタル制御信号が転送される。一実施形態では、バス３０２が例えば、ＦＩＲセンサー３２０における現在の周囲温度を示すアナログ信号を搬送し得る。あるいは、アナログ信号が制御バス３０２の一部でなくてもよい。

【0049】

ＩＣ３３０は、メモリ、処理回路、ならびに様々な回路、エンジン、及び本明細書に記載のタスクの実行を可能にするエンジンを含む。ＩＣ３３０の詳細なブロック図を図４に示す。ＩＣ３３０は、チップセット、システムオンチップ（ＳｏＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックデバイス（ＰＬＤ）、特定用途向け集積回路（ＡＳＩＣ）、又は任意の他のタイプのデジタル及び／又はアナログハードウェア構成要素として実現され得る。

【0050】

ＩＣ３３０、したがってＦＩＲカメラ２２０は４つの異なるモード、すなわち、キャリブレーション、パワーオンテスト、機能、及びスタンバイで動作する。キャリブレーションモードはラボで実行され、ＩＣ３３０が前回のキャリブレーションポイントに基づいてキャリブレーション処理を実行する。処理中、ＦＩＲカメラ２２０は、所定の温度で安定化され、ＦＰＧＡ及び周囲温度の両方がＦＩＲセンサー３２０から周期的に読み出されて、温度安定性を決定する。

【0051】

パワーオンテストモードでは、ＦＩＲカメラ２２０がその起動（又は、パワーアップ／power-up）中に、ＩＣ３３０の様々な回路が適切に動作するかどうかチェックされる。これは、例えば、メモリ、ロジックモニタ、デジタル及びアナログコンポーネントのための内部セルフテストを実行することを含む。機能モードでは、ＩＣ３３０が画像処理タスクを実行し、外部システム及び構成要素（例えば、センサー及びコンピュータ）と通信する。スタンバイモードでは、画像処理は行われず、外部システム及び構成要素との通信のみが行われる。スタンバイモードは、車両が動いていないときに作動され得る。

【0052】

ＦＩＲセンサー３２０及びＩＣ３３０は、熱コア３２５内に封入される。熱コア３２５は、ＦＩＲカメラ２２０のための均一な温度を保証するために利用される。熱コアの温度キャリブレーションは、キャリブレーションモード中に実行される。別の実施形態では、熱コアはまた、ＦＩＲデバイス１１０の構成要素を熱、低温から保護するために、中央ハウジング２００、前面カバー２７０、及び背面カバー２６０内に配置されることができ、構成要素を防水するように作製され得る。

【0053】

図４は、一実施形態に従って設計されたＩＣ３３０の例示的なブロック図を示す。ＩＣ３３０は、本明細書で説明する様々な画像処理タスクを実行するように構成された、処理回路４１０と、残留残差不均一性ノイズ補正プロセッサ（residual non-uniformity noise correction processor／ＲＮＵＮＣＰ）４２０と、本明細書で説明する様々な画像処理タスクを実行するように構成された画像強調プロセッサ（ＩＥＰ）４３０とを含む。ＩＣ３３０はさらに、メモリ４４０と、温度センサー４６０とを備える。

【0054】

ＩＣ３３０は、マルチメディアリンク４０２を介して、サーバ１４２及びディスプレイ１５２などの外部要素とインターフェースする。例示的な実施形態では、メディアリンクがギガビットマルチメディアシリアルリンク（ＧＭＳＬ）である。上述のように、一実施形態ではＩＣ２３０をＦＩＲ画像の２つの熱ビデオストリームを出力するように構成することができ、第一ストリーム（３０４）はＲＮＵＮＣＰ４２０及びＩＥＰ４３０によって処理され、ディスプレイ１５２に入力され、第二ストリーム（３０５）はＲＮＵＮＣＰ４２０によって処理され、ディスプレイ１５２に入力される。両方のサーマルビデオストリームは、マルチメディアリンク４０２を介して出力される。さらなる実施形態では、単一の熱ビデオストリームがサーバ１４２に出力される。例えば、特定の自律車両システムはディスプレイを含まないことがあり、したがって、サーマルビデオストリームからサーバ１４２への入力のみを必要とする。

【0055】

いくつかの任意の実施形態では、ＩＣ３３０がＩＥＰ４３０を含まない。そのような実施形態では、補正はＲＮＵＮＣＰ４２０によって実行され、出力はサーバ１４２に供給される。ＩＥＰ４３０を備えないＦＩＲカメラ２２０の構成は、ディスプレイが必要とされない場合がある自律車両システムにおいて利用し得る。

【0056】

一実施形態では、メモリ４４０がキャリブレーションテーブルを記憶するように構成される。キャリブレーションテーブルは、少なくとも、カメラ製造中にラボで計算された各画素（又は、ピクセル）についての様々なキャリブレーション値を含む。キャリブレーション値はＦＩＲセンサーの不規則性を克服し、広範囲の周囲温度に対してＩＲ放射に対する画素の応答を統一する目的で、２つの温度点（Ｔ１、Ｔ２）から計算されたゲイン及びオフセットを含み得る。キャリブレーションテーブルはまた、キャリブレーションプロセス中の各温度点における各画素について決定されたドリフト値を含む。一実施形態では、テーブルはまた、ＦＩＲカメラ２２０を設定するための様々なパラメータの値を記憶する。

【0057】

メモリ４４０は、処理回路４１０、ＲＮＵＮＣＰ４２０、及びＩＥＰ４３０によって実行されるコンピュータ可読命令をさらに記憶し得る。コンピュータ可読命令は、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などと呼ばれるかどうかにかかわらず、任意のタイプの命令を意味すると広く解釈されるべきである。命令は（たとえば、ソースコードフォーマット、バイナリコードフォーマット、実行可能コードフォーマット、又は任意の他の適切なコードフォーマットの）コードを含み得る。命令は処理回路４１０、ＲＮＵＮＣＰ４２０及び／又はＩＥＰ４３０によって実行されると、これらのプロセッサに、本明細書で説明する様々な実施形態及びタスクを実行させる。メモリ４４０は揮発性（たとえば、ＲＡＭなど）、不揮発性（たとえば、ＲＯＭ、フラッシュメモリなど）、又はそれらの組合せであり得る。

【0058】

オプションの構成では、カメラＩＣ３３０が動き検出ユニット（ＭＤＵ）４５０を含む。ＭＤＵ４５０は、ＦＩＲカメラ２２０（したがって車両）が動いているかどうかを決定するために利用される１つ又は複数の加速度計を含む。ＭＤＵ４５０が利用されないとき、動き検出は、撮像された画像に基づく。動き指示は、ＲＮＵＮＣＰ４２０及びＩＥＰ４３０に提供される。温度センサー４６０は、ＦＩＲカメラ２２０の筐体内の周囲温度を測定する。

【0059】

処理回路４１０は、ＩＣ２３０の様々な要素を制御するように構成される。回路４１０はＦＩＲセンサー３２０に電源を投入し、初期キャリブレーションテーブルをアップロードし、そのようなテーブル内のパラメータの値に基づいてＦＩＲセンサー３２０ならびにＲＮＵＮＣＰ４２０及びＩＥＰ４３０を設定するようにさらに構成される。一実施形態では、回路４１０が温度センサー４６０によって測定された温度を周期的にサンプリングし、測定された温度範囲のキャリブレーション値を含むキャリブレーションテーブルのセットをメモリ４４０からアップロードする。高速実行を可能にするために、いくつかのテーブルをバックグラウンドで（すなわち、ＦＩＲ画像の処理中に）アップロードし得る。処理回路４１０はシャッターモータドライバ（ドライバ）４１２及びウィンドウヒータリレー（リレー）４１４をさらに含み、これらは両方ともＦＩＲデバイス１１０の構成要素を制御する。例えば、シャッター２１０のモータ２１５は、処理回路４１０のモータドライバ４１２によって電力供給され、制御され得る。

【0060】

一実施形態では、ＲＮＵＮＣＰ４２０が画素ベースの補正を実行するように構成される。画素ベースの補正は、各画素について、モデル化されていないオフセット、ゲイン、ドリフト、ノイズ、又はエラーを補正する。一実施形態では、画素のオフセット及びゲインが温度センサー４６０によって測定されたそれぞれの温度に一致するキャリブレーションテーブル内のそれぞれの値に基づいて補正される。この補正はセンサーの不規則性を補償し、広範囲の周囲温度に対するＩＲ放射に対する画素の応答を統一する。

【0061】

撮像中にシャッターが使用される場合にシャッター呼び出し間の期間を延長するドリフト補正は、画素の各々にドリフト補正を追加することを含む。具体的には、各画素についての補正が各画素について別々にロードされたキャリブレーションテーブルから提供された所定のドリフト値を減算し、ＦＩＲセンサーによって生成されたフレームから計算されたガンマ値を乗算した結果である。所定のドリフト値は、ＦＩＲセンサー３２０における現在の測定温度に基づいてテーブルから選択される。

【0062】

いくつかの実施形態によれば、ドリフト補正は、ＦＩＲセンサー３２０に出力される（又は、ＦＩＲセンサー３２０から出力される）画像内の画素の各々についての温度ドリフト補正に基づく。これはＦＩＲカメラ２２０全体の温度値と、ＦＩＲセンサー３２０及びＩＣ３３０個々の温度値が、動作中にシフトする場合に必要であり得る。

【0063】

ドリフト補正は、ＦＩＲカメラ２２０のキャリブレーション段階で記録されたドリフトパターンを用いてドリフト係数γを推定することに基づいてもよい。一実施形態では、ドリフト係数γの推定が各入力画像に基づいて小さな増分更新で反復的に実行され、その結果、例えば、周囲温度シフトに起因する任意の残留ノイズ又は新しいノイズが各後続の画像で検出され、除去される。

【0064】

入力画像の周囲ドリフトは、推定ドリフト係数γを用いて補正される。ドリフト補正画像（Ｉｏｕｔ）は、以下のように表すことができる：

ここで、Ｉ＿ｉｎは入力画像（ＦＩＲセンサー３２０によって生成される）であり、γはドリフト係数であり、これは全ての画素について同じであり、「Ｄ」は画素ごとに固有のドリフトパターンであり、「Ｏ」はオフセット利得パターンであり、「Ｇ」は画素ごとに固有のシーン利得パターン値であり、Ｄ、Ｏ、及びＧ値はＦＩＲセンサー３２０の初期キャリブレーション中に決定される。

【0065】

いくつかの構成では利得及びオフセットがドリフト補正の前に補正され、その場合、そのような値はドリフト係数γを推定するために必要とされない。したがって、ドリフト補正計算のより一般化されたバージョンは２点補正された入力画像（Ｉ２ｐｔ）、ドリフト係数、及びキャリブレーションからのドリフトパターンを使用し、以下の式として表すことができる：

式（２）において、Ｄ＾はドリフトパターン（Ｄ）の値をゲインパターン（Ｇ）で割ったものである。

【0066】

補正に使用されるドリフト係数γは、初期キャリブレーションからのドリフトパターンと、ハイパスフィルタが適用された後の入力画像内のドリフトの結果として生じるパターンとから導出される。

【0067】

ドリフト係数の一般化された式はドリフトパターンとハイパスフィルタを適用した後の入力画像画素値との積と、ドリフトパターンとハイパスフィルタを適用した後のドリフトパターンとの積との商であり、次式で表される：

ここで、Ｈ＿１及びＨ＿２は、シーンのクリーン画像とドリフトパターンとの間の相関を最小化するように設計された前処理演算子である。一般性を失うことなく、これらの演算子は、ハイパスフィルタリング及びマスキングを含み得る。一般性を失うことなく、そのような演算の例はＨ＿１＝アイデンティティマップ（identity map）であり、Ｈ＿２＝ハイパスフィルタであり得る。

【0068】

式３（Ｅｑ．３）において、γは、２内積の比として求められるスカラー値である。したがって、これは、この段階におけるすべての画素に対して１つの値である。一実施形態では、スカラー値が画像の異なるセグメント上で式３を使用し、結果を補間することによって、画素ごとに（ゆっくり変化する）値に変換し得る。そのような実施形態の例を以下に説明する。ドリフト補正においてγを適用することによって、画像処理のためにＦＩＲカメラをシャッターリングする頻度を減少させることができ、その一方でＦＩＲカメラをより長期間保持し、それによって、Ｖ２Ｉ設定におけるＦＩＲカメラの信頼性及び安全性能を改善する。

【0069】

一実施形態では、ＦＩＲカメラ１１０の位置が固定されるＶ２Ｉ用途の場合、静止画像のみがノイズ補正に使用され得る。これは、複数のクリーン画像を使用してモデルをトレーニングすることによって、固定パターンノイズパターンから実際のシーン画像を分離することを可能にする深層学習モデルを使用することによって実装され得る。ここで、ノイズ補正中に行われる関連するシャッター呼び出しは、ＦＩＲカメラ１１０の明瞭な視野を必要とする重要なタスクが実行される間、カメラシャッターを防止することによって「安全」又は「スマート」にし得る。例えば、高速接近車両を追跡するとき、シャッターは開いたままであるべきであり、固定パターンノイズ補正は、車両がＦＩＲカメラ１１０の視野を通過するまでスキップ又は遅延され得る。

【0070】

シーン内の物体の実際の温度測定を提供する必要がある場合、ＦＩＲカメラ１１０は、グレーレベル画素値を温度に変換するように適合され得る。これを行うために、ＦＩＲカメラ１１０は製造中に、又はシーンでキャリブレーション手順を受けることができる。代替として、又は外部キャリブレーションの補足として、１つ又は複数の黒体、又は基準物体を、より正確な温度基準として使用し得る。黒体は、シーン内の固定位置に設置されてもよく、又はレンズの前の検出器窓に取り付けられてもよく、又はレンズと検出器との間に取り付けられてもよく、その結果、黒体放射が検出器画素によって受信される。これらの画素は可視画像領域内にあってもよく、又は隠れていてもよい（すなわち、シーン、又は黒体放射に露出された冗長画素（ただし、出力画像には示されていない））。

【0071】

以下で詳細に説明するように、ＲＮＣＰ４２０は、複数のエンジンを実装して、補正及び他の画像強調タスクを実行する。一実施形態ではシーンベースの補正が「日焼け効果」を被る画素を補正することも含む。このような効果はＦＩＲカメラを直射日光に曝露することによって引き起こされ、これにより、曝露された画素は過剰曝露による深い飽和状態（deep saturation）になる。この効果の結果は、露光時間に応じて数分又は数週間持続し得る固定パターンノイズに類似する太陽のゴーストフットプリント（ghost footprint）によって特徴付けられる。開示される実施形態によれば、日焼け補正はまた、数秒（例えば、２－５秒）で画像からゴーストフットプリントを除去する。

【0072】

少なくとも、ＲＮＵＮＣＰ４２０は、画素ピクセルベースの補正、列ノイズ抑制（column noise suppression）、及び近距離場補正（near field correction）を実行するように実装される。一実施形態では、ＲＮＵＮＣＰ４２０が物体の正確な検出を可能にする高品質のサーマルビデオストリームを提供するために、追加の画像処理タスクを実行するように構成し得る。画像処理タスクは図５に示すように、様々なエンジンによってパイプライン方式で実行される。

【0073】

不良画素補正（ＢＰＣ）エンジン５０１は、不良画素マップで設計された画素をマスクするように構成される。そのような画素は、ＦＩＲセンサーの製造によって要求される基本的な品質要件を満たさない。マップ内の不良画素は、製造によって、又はラボにおいてＦＩＲセンサー上で実行される試験中に識別し得る。不良画素マップはメモリ４４０に保存される。

【0074】

画素ベース補正（ＰＢＣ）エンジン５０３は上述のように、各画素についてオフセット、ゲイン、及びドリフト値の補正を実行するように構成される。列ノイズ抑制（ＣＮＳ）エンジン５０４は、ＦＩＲセンサーによるＦＩＲ撮像における固定パターン列ノイズを抑制する。不良画素補正（ＢＰＣ）エンジン５０５はその最も近い隣接画素の事前定義された数（例えば、８）の画素に基づいて最適補間を使用して各不良画素を近似することによって不良画素を補正しようと試みる。

【0075】

近距離場補正（ＮＦＣ）エンジン５０６は、カメラケース及びレンズの反射などの様々な物理的効果によって、シーン画像に重畳された望ましくないパターンを補正するように構成される。このようなパターンは、キャリブレーションモード中にモデル化される。動作モード中、ＮＦＣエンジン３０６はパターンと入力画像との間の最良適合を識別し、それに応じて画像からパターンを減算する。ＮＦＣエンジン５０６は、２つのそのようなパターンを独立して、又は線形結合として取り扱う。必要なパターン画像及びパラメータは、電源投入時に処理回路４１０によって提供され、必要に応じて更新される。

【0076】

ｈフリップエンジン５０８は、受信されたセンサー画像の水平フリップを実施するように構成される。一実施形態では、エンジン５０８がさらに、最小値と最大値との間で画素値をクリップするようにさらに構成される。これらの値はあらかじめ設定されている。

【0077】

時間ノイズ除去（time denoise）エンジン５０９は、赤外線ビデオの時間ノイズ除去処理を実行するように構成される。ＦＩＲセンサー３２０から取得されたビデオは、ホワイトノイズ、ごま塩ノイズ（salt and pepper noise）（時折ちらつく）及び行／列ノイズのような様々なタイプの時間的ノイズを含む。一実施形態では、エンジン５０９が適応閾値を有するＩＩＲフィルタと、フリッカ防止機構とによって実現される。時間ノイズ除去エンジン３０９は、フレーム毎の画素値の変化を推定ノイズ分散と比較して、そのような値がノイズによって引き起こされるのか、又は風景の何らかの実際の変化によって引き起こされるのかどうかを決定する。比較に基づいて、信号対雑音比が決定される。

【0078】

空間ノイズ除去エンジン５１０は、空間ノイズをノイズ除去するように構成される。このようなノイズは、内部電子ノイズ、画素ゲイン及びオフセットの誤差、及び温度変動によって引き起こされるドリフトに起因する。一実施形態では、エンジン５１０がさらに、各ノイズのある画素を、隣接する画素の加重平均で置き換えることができる。一実施形態では、所定のグレーレベル閾値により近いグレーレベルを有する画素のみが置換される。

【0079】

特定の構成では、処理の一部として、記載されたエンジンの一部のみが必要とされることに留意されたい。様々なパラメータ、マップ、及びキャリブレーション値は、メモリ４４０に記憶された様々なエンジン及びプロセスを動作させるために必要ではなく、単に簡略化のために本明細書では示されていない。

【0080】

例示的な実施形態では、空間ノイズ除去エンジン５１０の出力がサーバ１４２（図１）及びＩＥＰ ４３０に供給される１４ビットグレースケールビデオストリームである。

【0081】

図４に戻ると、ＩＥＰ４３０は、１４ビットストリームを処理して、人間が見ることができるエンハンストサーマルビデオストリームを生成する。一実施形態では、ＩＥＰ４３０が１４ビットストリームを、スクリーン上に効率的に表示し得る高品質の８ビットストリームに変換する。

【0082】

一実施形態では、ＩＥＰ４３０が、画像強調処理を実行するように構成された、図５に示すエンジンを含む。第一エンジンは、エッジ保存及びノイズ低減フィルタに利用されるバイラテラルフィルタ５１１である。自動利得制御（ＡＧＣ）エンジン５１２は、グレーレベル範囲からのエンプティビン（又は、空ビン／empty bins）の影響を低減するように構成される。すなわち、エンジン５１２は、本質的に情報を失うことなく、画像内の最低階調と最高階調との間の距離を最小に低減するように構成される。ダイナミックレンジの縮小は、画像ヒストグラムを可能な限り伸張することを可能にする。

【0083】

局所的コントラスト強調（ＬＣＥ）エンジン５１３は、コントラスト制限付き適応ヒストグラム均等化（ＣＬＡＨＥ）のためのプロセスを実行するように構成される。画像処理において、コントラスト制限付き適応ヒストグラム均等化は、画像の局所コントラストを改善するために使用される技術である。適応ヒストグラム均等化は、その局所（近傍）グレースケール分布に基づいて各画素のマッピングを見つけるために実行される。

【0084】

一実施形態では、ＬＣＥエンジン５１３が画像を重なり合うブロックに分割して、ブロッキング効果をさらに低減するように構成される。場合によっては、グレースケール分布が高度に局所化されるとき、完全なヒストグラム均等化によって非常に低コントラストの画像を変換することは望ましくないことがある。そのような場合、マッピング曲線は高い勾配を有するセグメントを含む可能性があり、これは、２つの非常に近いグレースケールが著しく異なるグレースケールにマッピングされ得ることを意味する。これは、ヒストグラム均等化によって許容されるコントラストを制限することによって解決される。

【0085】

最後の画像処理エンハンスメントエンジンは、極性輝度（Polarity-and-Brightness／ＰＢ）エンジン５１４である。一実施形態では、エンジン５１４がホワイトホットピクセルとブラックホットピクセルとの間で変化し、所定のオフセットによって画像の画素の輝度を調整するように構成される。

【0086】

なお、図５に示す各種エンジンの処理は、ＦＩＲセンサー３２０が入力する赤外線画像に対して行われる。結果の画像は、やはり赤外線画像（本明細書では「ＦＩＲ画像」と呼ぶ）である。したがって、処理は画像の性質を変化させず（例えば、赤外線から可視スペクトル画像へ）、むしろ赤外線画像の品質を改善する。

【0087】

再び図４を参照すると、一実施形態では、処理回路４１０がシングルコア又はマルチコアＣＰＵとし得る。ＲＮＵＮＣＰ４２０及びＩＥＰ４３０の各々は、１つ又は複数のハードウェア論理構成要素及び回路として実現され得る。例えば、限定ではなく、使用し得る例示的なタイプのハードウェア論理構成要素は、ＦＰＧＡ、ＡＳＩＣ、ＡＳＳＰ、ＳＯＣ、汎用マイクロプロセッサ、マイクロコントローラ、ＤＳＰ、ＧＰＵなど、又は情報の計算又は他の操作を実行し得る任意の他のハードウェア論理構成要素を含む。

【0088】

図６は、本明細書の一実施形態による、Ｖ２Ｉ通信システムを動作させる方法の例示的なフローチャート６００である。一実施形態では、本方法が特定の実行可能コード又はソフトウェアを実行するようにプログラムされたＩＣ３３０内の処理回路４１０によって実行され得る。

【0089】

Ｓ６１０において、シャッター２１０が開いた状態で、ＦＩＲカメラ２２０によって撮影された画像に不均一性ノイズがあるかどうかが検出される。不均一性ノイズは、ＦＩＲセンサー３２０におけるセンサー均等化の欠如によって引き起こされるノイズである。不均一性ノイズは、ポール上に固定される固定ＦＩＲデバイス１１０のせいでＶ２Ｉシステムに存在する可能性があり、したがって、動きベースのノイズ抑圧アルゴリズムから恩恵を受けることができない。例えば、温度変化、埃、及び風による微小な位置変化は、ノイズを導入する可能性がある。Ｓ６２０においてノイズが検出された場合、方法はＳ６３０に進み、ＦＩＲカメラ２２０上で標準キャリブレーションを実行し得る。

【0090】

ここで、Ｓ６３０における標準キャリブレーションは最初に、ビデオ画像、固有キャリブレーションを受信することを含み得、キャリブレーションはＩＣ３３０において内部的に、ＦＩＲ修正又はＬＩＤＡＲなどを用いた追加の画像モダリティを用いた修正、又はネットワーク１４０を介して実行される外部キャリブレーションを含み得る。キャリブレーションエンジン（図示せず）は、アイドル状態、処理状態、完了状態、処理エラー状態、又は処理タイムアウト状態を含む複数の状態を報告し得る。また、キャリブレーションエンジンは、処理実行時間、又は画像データに対する任意のヒューリスティックに従って、処理するフレームを選択し得る。

【0091】

加えて、キャリブレーションは、ＦＩＲが整列され、ＦＯＶが正しいことを検証するために、設置、検出、及び間隔（又は、距離／範囲／range）推定中に実行されるシーン距離測定に基づくジオメトリキャリブレーションを含み得る。

【0092】

そして、Ｓ６４０において、ノイズが残っているか否かを判定する。ノイズが除去されている場合、処理はＳ６８０に進む。さもなければ、処理はＳ６５０に進み、ＦＩＲカメラ２２０によって検出された動体が存在するか否かが判定される。そうである場合、シャッター１１０はＦＩＲ撮像が継続できるように開いたままであり、したがって、追加の補正中にシャッターが閉じられたときに、車両又は歩行者などの物体が互いに向かって移動する危険な場合を防止する。さもなければ、ＦＩＲカメラ２２０に接近している移動体がＦＩＲカメラ２２０によって検出されない場合、処理はＳ６７０に進む。

【0093】

Ｓ６７０において、シャッターが閉じられるか又はＦＩＲカメラ２２０の視野内に配置されて、ＮＵＣ動作が実行され得る。ここで、シャッター１１０はＦＩＲ内のすべての検出器要素に対して均一な温度源を提示し、その結果、ＦＩＲは、オフセット補正を実行し得る。このようにして、標準キャリブレーションと比較して、より均一な画像が得られる。別の実施形態では、ＮＵＣはまた、ＦＩＲ撮像の開始時に行われてもよい。

【0094】

閉シャッターＮＵＣが終了すると、処理はＳ６８０に進み、シャッターを再び開ける。ここでは、ＦＩＲカメラ２２０の視野が汚れなどによって遮られているかどうかが判定される。そうである場合、視野を清掃するために追加の洗浄が行われてもよく、又はＦＩＲ２２０カメラが正しく機能していないことをユーザに警告するために、Ｓ５９０においてネットワークを介してレポートが生成されてもよく、その結果、ＦＩＲは手動で保守点検されてもよい。Ｓ６９０の後、処理は終了する。

【0095】

図７は、一実施形態によるサーバ１４２の例示的な概略図である。システム１４２は、メモリ６２０、記憶装置７３０、及びネットワークインターフェース７４０に結合された処理回路７１０を含む。一実施形態では、サーバ１４２の構成要素がバス７５０を介して通信可能に接続され得る。

【0096】

処理回路７１０は、１つ又は複数のハードウェア論理構成要素及び回路として実現され得る。例えば、限定ではなく、使用し得る例示的なタイプのハードウェア論理構成要素は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、汎用マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）など、又は情報の計算又は他の操作を実行し得る任意の他のハードウェア論理構成要素を含む。

【0097】

メモリ７２０は揮発性（たとえば、ＲＡＭなど）、不揮発性（たとえば、ＲＯＭ、フラッシュメモリなど）、又はそれらの組合せであり得る。一構成では、本明細書で開示される１つ又は複数の実施形態を実装するためのコンピュータ可読命令が記憶装置７３０に記憶され得る。

【0098】

別の実施形態では、メモリ７２０がソフトウェアを記憶するように構成される。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などと呼ばれるかどうかにかかわらず、任意のタイプの命令を意味すると広く解釈されたい。命令は（たとえば、ソースコードフォーマット、バイナリコードフォーマット、実行可能コードフォーマット、又は任意の他の適切なコードフォーマットの）コードを含み得る。命令は処理回路４１０によって実行されると、処理回路４１０に、本明細書で説明する様々なプロセスを実行させる。

【0099】

記憶装置７３０は磁気記憶装置、光記憶装置などであってもよく、例えば、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、又は所望の情報を記憶するために使用され得る任意の他の媒体として実現されてもよい。

【0100】

ネットワークインターフェース７４０は例えば、データの受信、データの送信などを目的として、サーバ１４２がＩＣ２３０と通信することを可能にする。さらに、ネットワークインターフェース７４０は、サーバ１４２が車両データを収集する目的でディスプレイ１５２と通信することを可能にする。

【0101】

本明細書に記載される実施形態は、図７に示される特定のアーキテクチャに限定されず、開示される実施形態の範囲から逸脱することなく、他のアーキテクチャが等しく使用され得ることを理解されたい。

【0102】

本明細書に開示される様々な実施形態は、ハードウェア、ファームウェア、ソフトウェア、又はそれらの任意の組合せとして実装し得る。さらに、ソフトウェアは、好ましくは部分、又は特定のデバイス及び／又はデバイスの組合せからなるプログラム記憶ユニット又はコンピュータ可読媒体上で有形に具現化されるアプリケーションプログラムとして実装される。アプリケーションプログラムは、任意の適切なアーキテクチャを備えるマシンにアップロードされ、マシンによって実行され得る。好ましくは、マシンが１つ又は複数の中央処理装置（「ＣＰＵ」）、メモリ、及び入力／出力インターフェースなどのハードウェアを有するコンピュータプラットフォーム上で実装される。コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含むこともできる。本明細書で説明される様々なプロセス及び機能は、そのようなコンピュータ又はプロセッサが明示的に示されているかどうかにかかわらず、ＣＰＵによって実行され得る、マイクロ命令コードの一部又はアプリケーションプログラムの一部、又はそれらの任意の組合せのいずれかであり得る。加えて、様々な他の周辺ユニットが、追加のデータ記憶ユニット及び印刷ユニットなどのコンピュータプラットフォームに接続され得る。さらに、非一時的なコンピュータ可読媒体は、一時的な伝播信号を除いて、任意のコンピュータ可読媒体である。

【0103】

本明細書に列挙されるすべての例及び条件付き言語は開示された実施形態の原理、及び当技術分野を促進するために本発明者によって貢献された概念を読者が理解するのを助けるための教育目的のためのものであり、そのような具体的に列挙された例及び条件に限定されないと解釈されるべきである。さらに、開示された実施形態の原理、態様、及び実施形態、ならびにそれらの特定の例を列挙する本明細書におけるすべての記述は、それらの構造的及び機能的等価物の両方を包含することが意図される。さらに、そのような等価物は現在知られている等価物及び将来開発される等価物、すなわち、構造にかかわらず同じ機能を実行する開発された任意の要素の両方を含むことが意図される。

【0104】

「第一」、「第二」などの名称を使用する本明細書における要素へのいかなる言及も、それらの要素の量又は順序を一般に限定しないことを理解されたい。むしろ、これらの呼称は一般に、２つ以上の要素又は要素のインスタンスを区別する便利な方法として本明細書で使用される。したがって、第一及び第二要素への言及は、２つの要素のみがそこで使用され得ること、又は第一要素が何らかの方法で第二要素に先行しなければならないことを意味しない。また、特に明記しない限り、要素のセットは、１つ又は複数の要素を含む。

【0105】

本明細書で使用される場合、句「のうちの少なくとも１つ」の後に、列挙された項目のいずれかが個別に利用され得ることを意味する項目のリストが続くか、又は列挙された項目のうちの２つ以上の任意の組合せが利用され得る。例えば、システムが「Ａ、Ｂ、及びＣの少なくとも１つ」を含むと記載されている場合、システムは、Ａ単独、Ｂ単独、Ｃ単独、２Ａ、２Ｂ、２Ｃ、３Ａ、Ａ及びＢの組み合わせ、Ｂ及びＣの組み合わせ、Ａ、Ｂ及びＣの組み合わせ、２Ａ及びＣの組み合わせ、Ａ、３Ｂ、及び２Ｃの組み合わせ、及び同様のものを含み得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】