(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-06-02
(54)【発明の名称】イメージ処理方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20220526BHJP
G06T 1/00 20060101ALI20220526BHJP
【ＦＩ】
H04N7/18 J
G06T1/00 330Z
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021560013
(86)(22)【出願日】2020-03-31
(85)【翻訳文提出日】2021-10-26
(86)【国際出願番号】 EP2020059030
(87)【国際公開番号】W WO2020207850
(87)【国際公開日】2020-10-15
(31)【優先権主張番号】102019109748.7
(32)【優先日】2019-04-12
(33)【優先権主張国・地域又は機関】DE
(81)【指定国・地域】
(71)【出願人】
【識別番号】514189527
【氏名又は名称】コノート、エレクトロニクス、リミテッド
【氏名又は名称原語表記】ＣＯＮＮＡＵＧＨＴ ＥＬＥＣＴＲＯＮＩＣＳ ＬＴＤ．
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100217940
【弁理士】
【氏名又は名称】三並 大悟
(72)【発明者】
【氏名】マイケル、バックリー
(72)【発明者】
【氏名】トレバー、デンプシー
(72)【発明者】
【氏名】トニー、ライリー
【テーマコード（参考）】
5B057
5C054
【Ｆターム（参考）】
5B057AA16
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC02
5B057CD06
5B057DA07
5B057DA08
5B057DA16
5B057DB02
5B057DB09
5C054CA04
5C054CA05
5C054CE11
5C054ED11
5C054HA30
(57)【要約】
イメージ処理の方法はイメージ取得システムで動作可能であり、車両の周囲環境の一部の視野（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）の連続したイメージを撮像するように構成されたカメラと、前記ＦＯＶは、前記カメラの前記ＦＯＶ内に見える一つ以上の発熱素子を備える前記車両のウインドウと交差する。この方法は、イメージを取得することと、前記イメージ内において、一つ以上のピクセル配列が、各発熱素子のイメージに対応しているかどうかを特定することであって、前記又は各ピクセル配列内の各ピクセルは、それぞれの閾値内の色及び強度を有することと、前記イメージ内において、前記又は各ピクセル配列のピクセル値を、発熱素子に対応しないピクセルから導出したピクセル値に置き換えることで、それぞれの発熱素子に対応する前記又は各ピクセル配列を補正することと、前記補正されたイメージを表示することと、を備える。
【特許請求の範囲】
【請求項1】
車両１０２のイメージ取得システム１００で動作可能なイメージ処理の方法であって、前記イメージ取得システム１００は、前記車両１０２の周囲環境の一部の視野（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）１１２の連続したイメージ２００を撮像するように構成されたカメラ１１０を備え、前記ＦＯＶ１１２は、前記カメラ１１０の前記ＦＯＶ１１２内に見える一つ以上の発熱素子（１３０－１、１３０－２、１３０－ｎ）を備える前記車両１０２のウインドウと交差し、
前記方法は、
イメージ２００を取得すること（１）と、
前記イメージ２００内において、一つ以上のピクセル配列が、各発熱素子のイメージに対応しているかどうかを特定すること（２）であって、前記又は各ピクセル配列内の各ピクセルは、それぞれの閾値内の色及び強度を有することと、
前記イメージ２００内において、前記又は各ピクセル配列のピクセル値を、発熱素子に対応しないピクセルから導出したピクセル値に置き換えることで、それぞれの発熱素子に対応する前記又は各ピクセル配列を補正すること（３）と、
前記補正されたイメージを表示することと、
を備える方法。
【請求項2】
前記イメージ及び前記補正されたイメージの一つ又は双方を、ドライバ支援システムに提供することをさらに備える、請求項１に記載の方法。
【請求項3】
前記イメージ２００内の、一つ以上のピクセル配列が、各発熱素子のイメージに対応しているかどうかを特定すること（２）は、前記又は各発熱素子の形状を特定することと、
前記形状に対応する走査経路に沿って、前記イメージ２００内の前記又は各ピクセル配列の走査を行うことと、
を備える、請求項１又は２に記載の方法。
【請求項4】
前記又は各発熱素子は線形の形状である、請求項１に記載の方法。
【請求項5】
前記又は各発熱素子のイメージは、前記イメージ２００の水平方向Ｘ軸に平行な前記イメージの線に沿って延び、且つ、前記イメージ２００全長に沿って延びている、請求項４に記載の方法。
【請求項6】
前記形状に対応する走査経路に沿って、前記イメージ２００内の前記又は各ピクセル配列の走査を行うことは、ａ）走査経路に沿った、前記又は各ピクセル配列の所与のピクセル［ｉ］及び連続したピクセル［ｉ＋ｎ］（ｎ≧１）が、前記それぞれの閾値内の色及び強度を有することを特定することに応答して、カウンタを一単位インクリメントすることと、
ｂ）走査経路に沿った複数の連続したピクセルについて、特定するステップ（ａ）を繰り返すことと、
ｃ）カウンタの最小閾値に達したとき、イメージ２００内の一つ以上のピクセル配列が、それぞれの発熱素子のイメージに対応することを特定することと、
を備える、請求項３に記載の方法。
【請求項7】
ｄ）走査経路に沿った前記又は各ピクセル配列の最後のピクセルが、前記それぞれの閾値内の色及び強度を有するようになるまで、ステップ（ｂ）を繰り返すことと、ｅ）後続の補正のために前記又は各ピクセル配列の各ピクセルにマーキングを行うことと、
をさらに備える、請求項６に記載の方法。
【請求項8】
前記イメージ２００は、カメラ１１０のＦＯＶ１１２内から選択された関心領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）に対応し、シーンの平坦化された矩形イメージに変換されている、請求項１に記載の方法。
【請求項9】
前記又は各発熱素子の形状を特定することは、（ｉ）一定の色を有するシーンのイメージを撮像することと、
（ｉｉ）前記一定の色であると認識されていないピクセルを、前記又は各発熱素子のピクセルとしてマーキングすることと、
（ｉｉｉ）前記又は各発熱素子のピクセルの分布に対応して、前記形状を特定することと、
（ｉｖ）前記形状をメモリに保存すること、
により、イメージ取得システム１００のキャリブレーションを行うことと、
及び／又は、
前記メモリからそれぞれの発熱素子の形状を検索することと、
を備える、請求項３に記載の方法。
【請求項10】
前記発熱素子に対応しないピクセルは、それぞれの発熱素子のイメージに対応するイメージ２００内のピクセルに隣接するピクセルである、請求項１に記載の方法。
【請求項11】
前記又は各ピクセル配列のピクセル値を、発熱素子に対応しないピクセルから導出したピクセル値に置き換えることは、それぞれの発熱素子のイメージの両側に位置するピクセルからピクセル値を補間することとであって、補間することは、それぞれの発熱素子の所与のピクセルからの距離にしたがって、補間されるピクセル値に重み付けすること、又は、
それぞれの発熱素子のイメージの両側にあるピクセルからのピクセル値を平均化すること、又は、
それぞれの発熱素子のイメージの片側に位置するピクセルからピクセル値を外挿すること、又は、
適切に学習させた分類器を用いて、イメージ２００内からピクセルを選択して、非線形に欠陥ピクセルを補正すること、
を備える、請求項１に記載の方法。
【請求項12】
請求項１に記載の方法を実行するように構成されたイメージ取得システム。
【請求項13】
カメラ１１０が、可視及び／又は非可視スペクトルでイメージ２００を撮像する、請求項１２に記載のイメージ取得システム。
【請求項14】
請求項１２に記載のイメージ取得システムと、カメラ１１０のＦＯＶ１１２内に見える一つ以上の発熱素子（１３０－１、１３０－２、１３０－ｎ）とを備えるウインドウと、を備える車両。
【請求項15】
コンピューティングデバイス上で実行された場合に、請求項１に記載の方法を実行するように構成された、非一時的コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本願発明は、イメージ処理方法に関する。
【背景技術】
【0002】
現在、車両は、イメージ取得システムの使用に依存するドライバ支援システムを備えている。このようなイメージ取得システムは、取得されたイメージをドライバディスプレイに表示することができるプロセッサに結合された、一つ以上のカメラを備えることができる。プロセッサはまた、このようなイメージを使用して、車両の周囲環境の一部における舗装道路標識又は三次元物体を認識し、車両の自律的又は半自律的な制御を支援することができる。
【0003】
カメラは、車両の周囲環境の一部を撮像するために、車両内に配置されてもよい。発熱素子は、カメラの視野（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）と交差するウインドスクリーン（又はウインドウ）の一部に配置されて、曇りを低減するか、又はウインドスクリーンの除氷をすることができる。これは、ウインドスクリーンの一部を通る視界を実質的に向上することができるが、このような発熱素子はカメラによって撮像され、それらは対応するラインとして撮像されたイメージに現れる。イメージが表示又は処理されるとき、これらのラインが、イメージの明瞭性を望ましくなく低下させることがある。
【0004】
米国特許出願公開第２０１６／００９１７１４号明細書は、発熱素子が、カメラのＦＯＶの外側に位置する強磁性材料の誘導型発熱素子である解決策を提供する。この発熱素子は、カメラのＦＯＶと交差するウインドウの一部に向けて熱を向けるように構成されている。このアプローチは、発熱素子のタイプ及び発熱素子とカメラとの間の特定の配置に変更を必要とし、これは、車両のイメージ取得システムの全体的なコスト及び複雑さに影響を与える。
【発明の概要】
【0005】
第１の観点によれば、本出願は、請求項１に記載の補正されたイメージを提供するために、イメージ取得システムにおいて動作可能な方法を提供する。
【0006】
第２の観点においては、請求項１に記載の方法を実行するように構成されたイメージ取得システムが提供される。
【0007】
さらに別の観点においては、コンピューティングデバイス上で実行された場合に、請求項１に記載の方法を実行するように構成されたコンピュータプログラム製品が提供される。
【0008】
有益な実施形態は従属請求項に記載されている。
【図面の簡単な説明】
【0009】
以下、添付図面を参照して、本発明の実施形態の例について説明する。
【図面の詳細な説明】
【0010】
図１は、本発明の実施形態に係るイメージの品質を向上するためのイメージ取得システム１００を含む車両１０２を示している。イメージ取得システム１００は、カメラ１１０と、カメラ１１０によって撮像されたイメージを処理するプロセッサ１２０と、を備える。カメラ１１０は、如何なる種類の撮像装置でもよい。例えば、カメラは、相補型金属酸化膜半導体（ＣＭＯＳ：ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラ、電荷結合素子（ＣＣＤ：ｃｈａｒｇｅｄ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）カメラなどのような、デジタルカメラと一般に呼ばれるタイプのものでもよい。カメラ１１０は、可視及び／又は例えば赤外スペクトルのような非可視スペクトルのイメージを撮像し、これらをプロセッサ１２０に提供することができる。プロセッサ１２０は、カメラ１１０によって提供される色又は強度のイメージ平面情報の任意の組み合わせを用いてイメージを処理する。
【0011】
本実施形態においては、カメラ１１０は、車両１０２のバックミラー（図示せず）の前方に面する表面に取り付けられた前面カメラである。カメラ１１０は、車両１０２の前方に向かって、車両１０２のフロントウインドスクリーン１０４を通して、下向きの地面の平面図を撮像するように構成される。カメラ１１０のＦＯＶ１１２は、発熱素子１３０－１、・・・、１３０－ｎを備える車両１０２のフロントウインドスクリーン１０４の一部と交差する。カメラ１１０は、車両１０２から車両１０２のフロントウインドスクリーン１０４を通して概略前方のイメージを撮像するために、車両内の任意の所望の位置に取り付けられ得ることを理解されたい。例えば、カメラ１１０は、車両１０２の車室内のオーバーヘッドコンソール（図示せず）内に配置することもできる。
【0012】
あるいは、車両１０２の後方に向かって下向きの地面の平面図を撮像するために、又は、車両１０２からバックウインドスクリーン１０６を通して概略後方のイメージを取得するために、カメラは、車両１０２内の任意の所望の位置に取り付けられてもよい。例えば、カメラは、車両１０２の車室内に、好ましくはバックウインドスクリーン１０６上に取り付けることもできる。よって、カメラのＦＯＶは、フロントウインドスクリーン１０４上の素子１３０と同様の発熱素子を有する車両１０２のバックウインドスクリーン１０６の一部と交差する。
【0013】
本実施形態においては、カメラ１１０のＦＯＶ１１２と交差するフロントウインドスクリーン１０４の一部は、フロントウインドスクリーン１０４のガラスに埋め込まれた発熱素子１３０を備える。あるいは、発熱素子１３０は、所望の機能を提供するために、ウインドスクリーンの表面に固定又は形成されてもよい。発熱素子は、誘導型及び／又は抵抗型でもよい。
【0014】
発熱素子１３０は、カメラ１１０のスペクトル内で視認可能な１つ以上の線状の発熱素子１３０－１、１３０－２、１３０－ｎを備える。本実施形態においては、発熱素子は視認可能であり、カメラ１１０は可視スペクトル内でイメージを撮像する。あるいは、又はさらに、発熱素子は非可視スペクトルにおいてのみ視認可能であってもよく、例えば、発熱素子が加熱され、カメラが赤外イメージを撮像するように構成され得る場合にのみ、認識可能であってもよい。
【0015】
本実施形態においては、発熱素子１３０－１、１３０－２、１３０－ｎは、フロントウインドスクリーン１０４の水平方向軸に平行な線に沿って延び、且つ、実質的にフロントウインドスクリーン全長に沿って延びる実線である。他の実施形態においては、以下に説明するように、発熱素子１３０－１、１３０－２、１３０－ｎは、異なる特性を有してもよい。例えば、発熱素子１３０－１、１３０－２、１３０－ｎは、ウインドスクリーンの軸に沿って完全に又は部分的に延びていてもよく、その軸に関して任意の向きを有していてもよい。発熱素子１３０－１、１３０－２、１３０－ｎは、ジグザグ線、曲線、直線又はそれらの任意の組み合わせなどの何らかの所定の形状、色、色強度、及び厚さの変化などのパターン、又はそれらの組み合わせを、有してもよい。
【0016】
図２に示すように、カメラ１１０のＦＯＶ１１２と交差する発熱素子１３０－１、１３０－２、１３０－ｎは、カメラ１１０の撮像スペクトル内で視認可能であり、これにより、カメラ１１０によって、対応するイメージのライン２３０－１、２３０－２、２３０－ｎが撮像される。具体的には、発熱素子１３０－１、１３０－２、１３０－ｎは、フロントウインドスクリーン１０４に対するカメラ１１０の向き及び角度位置に応じて、イメージ平面に投影する。本実施形態においては、カメラ１１０は、対応する画像化されたヒータライン２３０－１、２３０－２、２３０－ｎが、イメージ２００の水平方向Ｘ軸に平行なイメージの各線に沿って延び、且つ、イメージ２００全長に沿って延びているように、フロントウインドスクリーン１０４に位置合わせされると仮定される。
【0017】
別の選択肢においては、バックウインドスクリーン１０６は、バックウインドスクリーンの一部の曇り又は霜を減らすために、バックウインドスクリーン１０６のガラスに埋め込まれ得る、ガラス上に形成され得る、又は固定され得る一つ以上のヒータラインとして発熱素子を備えてもよい。この場合、カメラは、車両１０２からバックウインドスクリーン１０６の一部を通して、概略後方を向きながらイメージを撮像する。ここでも、カメラのスペクトル内で視認可能であり、かつカメラのＦＯＶと交差する発熱素子は、対応する画像化されたヒータラインとしてカメライメージ内に現れる。
【0018】
さらに別の変形例においては、それを通してカメラがイメージを取得する車両のウインドウは、サイドウインドウ又は専用ウインドウのいずれでもよい。ウインドウは、周囲環境のイメージがウインドウを通して撮像されることを可能にする、透明材料、半透明材料又はそれらの組み合わせで作られてもよい。
【0019】
いずれの場合においても、ドライバディスプレイ（図示せず）に表示されたとき、発熱素子に対応するイメージラインは、イメージの質を劣化させ得ることを理解されたい。
【0020】
また別に、取得されたイメージ内のこのようなアーチファクトは、このようなイメージの解析に基づくドライバ支援システムの問題を引き起こし得る。
【0021】
図２は、車両１０２の周囲環境の一部のイメージ２００である。車両１０２の周囲環境の一部は、車両１０２が通り抜け可能な舗道を区切るエッジライン２２０のようなレーンマークを備え、駐車ライン２４０も同様である。イメージライン２３０－１、２３０－２、２３０－ｎは、イメージ２００の潜在的特徴として処理されてもよい。例えば、システムは、イメージライン２３０－１、２３０－２、２３０－ｎの一つ以上のピクセルを駐車ライン２４０として扱ってもよい。
【0022】
本イメージ取得システム１００においては、プロセッサ１２０は、補正されたイメージをドライバディスプレイに表示する前に、画像化されたヒータライン２３０－１、２３０－２、２３０－ｎの検出及び除去を行う役割を負う。さらに、プロセッサ１２０は、駐車支援機能及び／又は、アクティブクルーズコントロール又は実際に他の車両機能のような自動又は半自動運転を実行してもよい。あるいは、プロセッサ１２０は、画像化されたヒータライン２３０－１、２３０－２、２３０－ｎを検出し除去するための専用プロセッサを備えてもよく、又は、実際にプロセッサ１２０は、車両制御システム内のマルチプロセッサコアの如何なるプロセッサを備えてもよく、取得されたイメージを向上するために必要に応じて利用可能である。
【0023】
いずれの場合においても、プロセッサ１２０は、カメラ１１０によって撮像されたイメージを表すデジタルイメージデータを処理して、画像化されたヒータライン２３０－１、２３０－２、２３０－ｎに対応するイメージ内の欠陥ピクセルを検出し、イメージ内の欠陥ピクセルを補正するようにプログラムされている。
【0024】
ここで図３を参照すると、本発明の実施形態に係る取得されたイメージを向上するためのイメージ処理方法を示すブロック図が示されている。
【0025】
ステップ１において、カメラ１１０からのイメージ２００は、イメージ取得システム１００のプロセッサ１２０に送られる。イメージ２００は、それぞれの発熱素子１３０－１、１３０－２、１３０－ｎに対応する一つ以上の画像化されたヒータライン２３０－１、２３０－２、２３０－ｎを備える。（実際には、イメージ２００は、カメラ１１０のＦＯＶ１１２内から選択された関心領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）に対応し、シーンの平坦化された矩形イメージに変換されていることに留意されたい。）
【0026】
ステップ２において、画像化されたヒータラインの所定の特性に対応する特性を有するイメージの水平ライン（行）内の隣接するピクセルの任意の配列を検出するために、イメージを走査することによって、プロセッサ１２０は、発熱素子１３０－１、１３０－２、１３０－ｎに対応するイメージ２００内のピクセルを検出する。本実施形態においては、プロセッサ１２０は、ピクセル配列内の各ピクセルが所与の閾値内の色及び所与の閾値以下の強度を有するかどうかを特定する。本実施形態においては、色閾値は、画像化されたヒータラインの所定の色度（Ｃｈｒｏｍａｔｉｃｉｔｙ）、例えば、黒（最低色度値）に対応し、強度は低い。それにもかかわらず、他のヒータラインはオレンジ色相のような強い非黒色の色度成分を有してもよく、ピクセルがこの色を有するかを特定するための適切な閾値が設定され得ることを理解されたい。
【0027】
それゆえ、ＹＵＶ又はＬＡＢ空間のような強度／色度フォーマットでイメージ情報がプロセッサ１２０に供給されることは有益な可能性があり、これにより、強度閾値を満たすピクセルの場合にのみ、色度をチェックする前に、最初に強度をスカラー値に対してチェックさせることができる、ことを理解されたい。
【0028】
したがって、イメージライン内の所与のピクセル（ピクセル［ｘ］）及び連続したピクセル（ピクセル［ｘ＋ｎ］（ｎ≧１））が所与の色及び暗さの場合、最初の連続するピクセルは基準を満たす。これに応答して、カウンタは一単位インクリメントされる。このプロセスは、最小閾値に達するまでイメージライン内の複数の連続するピクセルに対して繰り返される。最小閾値は、イメージ２００のイメージライン内のピクセルの総数よりも低い所定の閾値である。例えば、本実施形態においては、イメージ幅は１０２４ピクセルであり、最小閾値の最大値は１０２３（イメージ幅－１）である。カウンタが、基準を満たすピクセルの最小閾値に到達した場合、ピクセル配列が画像化されたヒータライン２３０に対応すると特定される。このプロセスは、色／強度基準を満たす最後の隣接するピクセルが検出されるまで、イメージラインに沿って継続する。そして、画像化されたヒータラインに沿った全てのピクセルが、その後の補正のためにマークされる。
【0029】
例えば、図２において、プロセッサ１２０は、イメージライン２３０－１の第１のピクセルが黒であり、その強度が所定の強度閾値内にあると特定する。したがって、第１のピクセルは、発熱素子１３０－１に対応するイメージライン２３０－１の潜在的ピクセルとして分類される。プロセッサは、イメージライン上の連続するピクセルを選択し、連続するピクセルが黒であり、その強度が所定の強度閾値内にあると特定する。したがって、連続するピクセルは、イメージライン２３０－１の別の潜在的ピクセルとして分類され、プロセッサはカウンタ値を増加させる。一度カウンタが最小閾値に達すると、ピクセル配列（及びそのライン上の任意の更なる隣接するヒータラインピクセル）が、対応する発熱素子１３０－１を表す画像化されたヒータライン２３０－１に対応すると特定される。
【0030】
対照的に、イメージライン２３０－１の潜在的ピクセルとして分類される第１のピクセルが駐車ライン２４０のピクセルである場合、カウンタがその最小閾値に達するまでに、ライン内の少なくとも１つの後続のピクセルは、対応する閾値内に色及び強度を有することはないであろう。その結果、ピクセル配列は、画像化されたヒータラインを表すものとして分類されないであろう。したがって、ライン内のピクセルの残りの数が、画像化されたヒータラインに必要な閾値ピクセル数よりも大きい限り、このプロセスは、後続のピクセルから開始される。
【0031】
同様に、イメージライン２３０－１の潜在的ピクセルとして分類される第１のピクセルがトラック２５０のリアバンパー２５２の場合、カウンタが最小閾値に達する前に、少なくとも１つの連続するピクセルは、対応する閾値内に色及び強度を有することはないであろう。したがって、ピクセル配列は、画像化されたヒータラインを表すものとして分類されないであろう。ここでも、したがって、ライン内のピクセルの残りの数が、画像化されたヒータラインに必要な閾値ピクセル数よりも大きい限り、このプロセスは、後続のピクセルから開始される。（そのため、閾値が高い場合には、任意の所与のイメージ内のピクセルの端数のみが、それらが画像化されたヒータラインに属するかどうかを特定するためにテストされる必要があることを理解されたい。）
【0032】
ステップ３においては、ステップ２において画像化されたヒータライン２３０－１、２３０－２、２３０－ｎに対応すると分類されたイメージ２００内の１つ以上のピクセル配列が補正される。具体的には、本実施形態においては、プロセッサ１２０は、画像化されたヒータライン２３０－１、２３０－２、２３０－ｎに対応するピクセルを補正するために、画像化されたヒータライン２３０－１、２３０－２、２３０－ｎに対応すると分類されたピクセルの近隣のピクセルからの情報を用いる。
【0033】
簡易な実施においては、これは、対応する画像化されたヒータラインに属さない、撮像された各ヒータライン２３０－１、２３０－２、２３０－ｎの各ピクセルに最も近いピクセルを探すこと、及び、最も近いピクセル値を画像化されたヒータラインのピクセル値に割り当てることによって実行されてもよい。
【0034】
あるいは、補正は、複数の隣接するピクセルの、平均化、線形又は多項式の外挿、又は、画像化されたヒータラインに属するピクセルを囲むピクセルの補間を用いて実行されてもよい。
【0035】
そのため、画像化されたヒータラインの所与のピクセルが、画像化されたヒータラインの他のピクセルに隣接する場合、所与のピクセルの片側に配置された非ヒータラインピクセルからのイメージ情報を外挿することが望ましい場合がある。
【0036】
一方、画像化されたヒータラインが所与のイメージの１つ又は最小限の数の行のみに沿って通っている場合、画像化されたヒータラインに対応するイメージ行の上方及び下方のピクセルからのイメージ情報を補間又は平均化する方がより適切な場合がある。
【0037】
そのため、画像化されたヒータラインが、イメージの１つより多い隣接する行を占有している場合でも、所与のヒータラインピクセルからのその距離にしたがって、補間されるピクセル情報を重み付けすることにより、画像化されたヒータラインの両側からイメージ情報を補間することが可能である。
【0038】
これらの各実施は、所与のイメージの、一般的に線形のタイプの補正を備えるが、しかし、適切に学習させた分類器を用いると、所与のイメージ内のピクセルは欠陥ピクセルの非線形なタイプの補正をするために利用することができ、そのため、イメージの、潜在的により高度な補正を可能にすることを理解されたい。
【0039】
一度完了すると、ステップ３にしたがって補正されたイメージは、ドライバディスプレイ上に表示するために提供されてもよいし、且つ、ドライバ支援システムにおいて使用するために他のアプリケーション又は処理モジュールに提供されてもよい。
【0040】
さらに、このプロセスは、必要に応じて、イメージのストリーム内の連続するイメージに対して繰り返されてもよい。
【0041】
上記の実施形態のさらに別の変形が可能であることを理解されたい。
【0042】
例えば、上記の実施形態は、画像化されたヒータラインの隣接するピクセルがイメージの同一行上にあると予測されるのみで、取得された任意のイメージ内の画像化されたヒータラインの位置についての仮定を行わない。これは、環境状況の変化に応答して起こりうる、画像化されたヒータラインの位置が変化することを可能にする。
【0043】
別の実施形態においては、システムは、例えばホワイトカードのブランクイメージを最初に撮像することによって、車両にインストールされたときに、一度キャリブレーションされるようにしてもかまわない。さらに、取得されたキャリブレーションイメージにおいて白であると分類されない任意のピクセルは、画像化されたヒータラインを備えるものとしてマークされ得る。このことは、ステップ２に関して上述したように、それぞれの取得されたイメージを走査する必要性を回避する。
【0044】
さらに、プロセッサ１２０は、キャリブレーション時に、画像化されたヒータラインに対応すると分類されたそのようなピクセルの位置に基づいて、車両の動作中に取得された後続のイメージ内のピクセルを補正するだけでよい。
【0045】
このようなピクセルを分類するためのより洗練されたアプローチは、色度及び強度が画像化されたヒータラインに対応するように実質的に時間不変である、取得されたイメージ内のピクセルの行を分類する分類器に、連続的に取得されたイメージを送ることを含み得る。このような分類器は、ニューラルネットワークに基づく分類器を備える任意の適切な分類器を備えることができる。
【0046】
実際に、このような分類器は、画像化されたヒータラインに対応するピクセルの非バイナリマップを提供することができ、いくつかのピクセルは他のピクセルよりも画像化されたヒータラインピクセルである可能性が高く、そのため様々な程度の補正が、画像化されたヒータラインの異なるピクセルに適用される可能性があることを示す。
【0047】
上記の実施形態は、イメージ自体の中からの情報に基づいてイメージを補正することに関して説明されてきたが、１つ以上の直前に取得されたイメージから、又は、可能であれば後続の取得されたイメージからでさえ（前もって取得された所与のイメージの表示前に利用可能である場合）、イメージ情報を抽出することも可能であり、且つ、車両のオドメトリを使用して、そのようなイメージからイメージ情報を特定することも可能であり、それは、所与のイメージ内の発熱素子１３０によって遮蔽されるが、所与のイメージ内のピクセルを補正するための、他の取得されたイメージにおいては遮蔽されないことを理解されたい。
【0048】
最後に、上記の実施形態は、発熱素子が、取得された各イメージ内で線形及び水平であるという仮定に基づいて説明されている。一方、このような素子がより複雑な形状を有する場合には、イメージを通して画像化されたヒータラインに沿って隣接するピクセルを分類する走査経路は、単にイメージの行に沿って進行するよりも複雑である場合がある。このような画像化されたヒータラインの形状、パターン及び／又は向きは、プロセッサ１２０にアクセス可能なメモリに記憶され、画像化されたヒータラインの１つ以上の隣接するピクセルを発見した場合、プロセッサが、画像化されたヒータラインの隣の予想されるピクセルがどこに位置すべきかを特定することを可能にする。
【0049】
また、いくつかの実施においては、発熱素子は連続的である必要はなく、またこのことはプロセッサ１２０によって考慮されることも理解されたい。
【図1】
【図2】
【図3】
【国際調査報告】