特許 7060958 振幅変調光のフリッカ補正のためのビデオストリーム画像処理システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-19

(45)【発行日】2022-04-27

(54)【発明の名称】振幅変調光のフリッカ補正のためのビデオストリーム画像処理システムおよび方法

(51)【国際特許分類】

   H04N 5/235 20060101AFI20220420BHJP

   B60R 1/12 20060101ALI20220420BHJP

   B60R 1/20 20220101ALI20220420BHJP

   H04N 5/21 20060101ALI20220420BHJP

   H04N 5/243 20060101ALI20220420BHJP

   H04N 7/18 20060101ALI20220420BHJP

【ＦＩ】

H04N5/235 700

B60R1/12

B60R1/20

H04N5/21

H04N5/243

H04N7/18 J

【請求項の数】 8

(21)【出願番号】P 2017566664

(86)(22)【出願日】2016-06-22

(65)【公表番号】

(43)【公表日】2018-09-13

(86)【国際出願番号】 US2016038639

(87)【国際公開番号】W WO2016209877

(87)【国際公開日】2016-12-29

【審査請求日】2018-02-06

【審判番号】

【審判請求日】2020-09-25

(31)【優先権主張番号】62/182,863

(32)【優先日】2015-06-22

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】500115826

【氏名又は名称】ジェンテックス コーポレイション

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100158551

【弁理士】

【氏名又は名称】山崎 貴明

(72)【発明者】

【氏名】シャーマン トム ビー

(72)【発明者】

【氏名】ブッシュ グレゴリー エス

(72)【発明者】

【氏名】マクミラン ダニエル ジー

(72)【発明者】

【氏名】ラドクリフ デイル エム

(72)【発明者】

【氏名】マイダンジッチ イゴル

【合議体】

【審判長】千葉 輝久

【審判官】渡辺 努

【審判官】樫本 剛

(56)【参考文献】

【文献】特開２００９－２１４７９５（ＪＰ，Ａ）

【文献】特開２００８－２１１４４２（ＪＰ，Ａ）

【文献】特開２０１３－２１６２８６（ＪＰ，Ａ）

【文献】特開平１１－７８６９３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

H04N5/222-5/257

H04N5/21-5/217

H04N7/18

B60R1/00-1/04

B60R1/08-1/12

(57)【特許請求の範囲】

【請求項1】

車両の後方の風景のビデオストリーム画像を供給するためのカメラを装備した前記車両のための表示システムであって、前記表示システムは、
前記ビデオストリーム画像を受信し、前記ビデオストリーム画像を処理するための画像処理ユニットと、
前記処理されたビデオストリーム画像を表示するための表示装置、とを備え、
前記ビデオストリーム画像の処理を実行するように、前記画像処理ユニットは、
前記ビデオストリーム画像におけるフリッカ光源を検出し、
前記検出されたフリッカ光源を第一のクラス及び第二のクラスを少なくとも含むいくつかの考え得る分類のうちの１つに分類し、
前記フリッカ光源の前記分類に基づいて、前記検出されたフリッカ光源を異なって処理するように構成され、
前記検出されたフリッカ光源の前記第一のクラスは、人が直接見たとき、人によって知覚できないフリッカを有し、検出されたフリッカ光源の前記第二のクラスは、人が直接見たとき、人によって知覚できるフリッカを有し、
前記処理は、
前記第一のクラスにあるフリッカ光源が検出される前記ビデオストリーム画像を選択し、そして、
前記選択されたビデオストリーム画像における前記第一のクラスの任意のフリッカ光源のフリッカを補正するよう前記選択されたビデオストリーム画像を修正することを含み、
前記画像処理ユニットは、前記第一のクラスに分類される前記検出されたフリッカ光源のそれぞれを表す画素がある状態に維持されて、前記処理されたビデオストリーム画像が表示されるとき、前記画素によって表される前記第一のクラスに分類される前記検出されたフリッカ光源のそれぞれが知覚できるフリッカを有さないように、前記選択されたビデオストリーム画像を修正し、
第一のクラスに分類される前記検出されたフリッカ光源のそれぞれは、オフ期間からの低画素値をオン期間からの高画素値と置換することで維持され、
前記第二のクラスに分類されるフリッカ光源は、方向指示灯及び緊急車両光を含み、前記画像処理ユニットは、方向指示灯または緊急車両光として分類されるフリッカ光源からのフリッカを補正するような前記ビデオストリーム画像の修正を行わず、
前記画像処理ユニットは、前記ビデオストリーム画像の画像フレームを通して前記検出されたフリッカ光源を追跡するようさらに構成され、
前記画像処理ユニットは、前記第一のクラスに分類される前記検出されたフリッカ光源のそれぞれを表す前記画素がある状態に維持されて、前記処理されたビデオストリーム画像が表示されたとき、前記画素によって表される前記第一のクラスに分類される前記検出されたフリッカ光源のそれぞれが、知覚できるフリッカを有しないように、かつ、前記第一のクラスに分類される前記検出されたフリッカ光源のそれぞれの前記追跡に基づいて前記ビデオストリーム画像における所期の位置に見えるように、前記選択されたビデオストリーム画像を修正する、表示システム。

【請求項2】

前記画像処理ユニットは、前記フリッカ光源における前記フリッカの周波数が閾値周波数を上回る場合に前記検出されたフリッカ光源を前記第一のクラスに分類し、前記フリッカ光源における前記フリッカの周波数が前記閾値周波数を下回る場合に前記検出されたフリッカ光源を前記第二のクラスに分類する、請求項１に記載の表示システム。

【請求項3】

車両に取り付けるためのバックミラーアセンブリであって、請求項１又は２に記載の前記表示システムを備える、バックミラーアセンブリ。

【請求項4】

表示システムであって、
ビデオストリーム画像を受信し、前記ビデオストリーム画像を処理するための画像処理ユニットと、
前記処理されたビデオストリーム画像を表示するための表示装置、とを備え、
前記ビデオストリーム画像の処理を実行するように、前記画像処理ユニットは、
前記ビデオストリーム画像におけるフリッカ光源を検出し、
前記検出されたフリッカ光源を少なくとも２つのクラスに分類し、検出されたフリッカ光源の第一のクラスは、人が直接見たときに人によって知覚できないフリッカを有し、検出されたフリッカ光源の第二のクラスは、人が直接見たときに人によって知覚できるフリッカを有しており、前記第二のクラスに分類されるフリッカ光源は、方向指示灯および緊急車両光を含み、
前記フリッカ光源の前記分類に基づいて、前記検出されたフリッカ光源を異なって処理するように構成され、当該処理は、
前記ビデオストリーム画像の画像フレームを通して前記検出されたフリッカ光源を追跡し、そして、
前記第一のクラスに分類されるフリッカ光源が検出される前記ビデオストリーム画像を、前記第一のクラスに分類される検出されたフリッカ光源のそれぞれを表す画素を置換することで、前記検出されたフリッカ光源を表す前記画素が常にある状態にあるようにし、前記処理されたビデオストリーム画像が表示されたとき、前記第一のクラスに分類される前記検出されたフリッカ光源のそれぞれが、知覚できるフリッカを有しないように修正すると共に、前記第一のクラスに分類される前記検出されたフリッカ光源のそれぞれの前記追跡に基づいて前記ビデオストリーム画像における所期の位置に見えるように修正し、前記第一のクラスに分類される前記検出されたフリッカ光源のそれぞれは、オフ期間からの低画素値をオン期間からの高画素値と置換することで維持され、
前記第二のクラスに分類されるフリッカ光源からのフリッカを補正するような前記ビデオストリーム画像の修正を行わないことを含む、表示システム。

【請求項5】

前記画像処理ユニットは、前記フリッカ光源における前記フリッカの周波数が閾値周波数を上回る場合に前記検出されたフリッカ光源を前記第一のクラスに分類し、前記フリッカ光源における前記フリッカの周波数が前記閾値周波数を下回る場合に前記検出されたフリッカ光源を前記第二のクラスに分類する、請求項４に記載の表示システム。

【請求項6】

車両に取り付けるためのバックミラーアセンブリであって、請求項４又は５に記載の前記表示システムを備える、バックミラーアセンブリ。

【請求項7】

ビデオストリーム画像を処理する方法であって、
前記ビデオストリーム画像におけるフリッカ光源を検出し、
前記検出されたフリッカ光源を少なくとも２つのクラスに分類し、検出されたフリッカ光源の第一のクラスは人が直接見たときに人によって知覚できないフリッカを有し、検出されたフリッカ光源の第二のクラスは人が直接見たときに人によって知覚できるフリッカを有しており、前記第二のクラスに分類されるフリッカ光源は、方向指示灯および緊急車両光を含み、
前記フリッカ光源の前記分類に基づいて、前記検出されたフリッカ光源を異なって処理することを含み、当該処理は、
前記ビデオストリーム画像の画像フレームを通して前記検出されたフリッカ光源を追跡し、そして、
前記第一のクラスに分類されるフリッカ光源が検出されるビデオストリーム画像を、前記第一のクラスに分類される前記検出されたフリッカ光源のそれぞれを表す画素を置換することで、前記検出されたフリッカ光源を表す画素が常にある状態にあるようにし、前記処理されたビデオストリーム画像が表示されたとき、前記第一のクラスに分類される前記検出されたフリッカ光源のそれぞれが、知覚できるフリッカを有しないように修正すると共に前記第一のクラスに分類される前記検出されたフリッカ光源のそれぞれの前記追跡に基づいて前記ビデオストリーム画像における所期の位置に見えるように修正し、
フリッカについて前記第二のクラスに分類されるフリッカ光源を補正しないことを含む、方法。

【請求項8】

前記検出されたフリッカ光源は、前記フリッカ光源における前記フリッカの周波数が閾値周波数を上回る場合に前記第一のクラスに分類され、前記フリッカ光源における前記フリッカの周波数が前記閾値周波数を下回る場合に前記第二のクラスに分類される、請求項７に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は概して表示装置にストリーミングされたビデオ画像の処理に関し、より具体的には、車両の外部の風景のビデオストリーム画像の処理に関する。一部の実施形態では、本発明はさらにより具体的には、車両内の後方を向いたカメラから取得される、バックミラーの代替として機能する表示装置にストリーミングされるビデオ画像の処理に関する。

【発明の概要】

【0002】

本発明の１つの態様によると、車両の後方の風景のビデオストリーム画像を供給するためのカメラを装備した車両のための表示システムが提供される。本表示システムは、ビデオストリーム画像を受信し、ビデオストリーム画像を処理するための画像処理ユニットと、処理されたビデオストリーム画像を表示するための表示装置とを備える。ビデオストリーム画像の処理を実行するために、画像処理ユニットは、ビデオストリーム画像中の振幅変調光源を検出し、検出した振幅変調光源を考え得るいくつかの分類のうちの１つに分類し、振幅変調光源の分類に基づいて、フリッカする振幅変調光源が検出されるビデオストリーム画像を選択し、そして、選択されたビデオストリーム画像中の任意の振幅変調光源のフリッカを補正するために、選択されたビデオストリーム画像を修正するよう構成される。

【0003】

本発明の１つの態様によると、ビデオストリーム画像を受信し、ビデオストリーム画像を処理するための画像処理ユニットと、処理されたビデオストリーム画像を表示するための表示装置とを備える、表示システムが提供される。ビデオストリーム画像の処理を実行するために、画像処理ユニットは、ビデオストリーム画像中の振幅変調光源を検出し、検出された振幅変調光源を少なくとも２つのクラスに分類し、ここで、検出された振幅変調光源の第一のクラスは人が直接見たときに人によって知覚できないフリッカを有し、検出された振幅変調光源の第二のクラスは人が直接見たときに人によって知覚できるフリッカを有しており、ビデオストリーム画像の画像フレームを通して検出された振幅変調光源を追跡し、第一のクラスに分類される検出された振幅変調光源のそれぞれを表す画素を置換することで、第一のクラスに分類される振幅変調光源が検出されるビデオストリーム画像を、検出された振幅変調光源を表す画素が常に一定の状態にあるようにし、処理されたビデオストリーム画像が表示されるときに、第一のクラスに分類される検出された振幅変調光源のそれぞれが知覚できるフリッカを有しないように修正するよう構成される。

【0004】

本発明の１つの態様によると、ビデオストリーム画像中の振幅変調光源を検出すること、検出された振幅変調光源を少なくとも２つのクラスに分類すること、ここで、検出された振幅変調光源の第一のクラスは人が直接見たときに人によって知覚できないフリッカを有し、検出された振幅変調光源の第二のクラスは人が直接見たときに人によって知覚できるフリッカを有しており、ビデオストリーム画像の画像フレームを通して検出された振幅変調光源を追跡すること、さらに、第一のクラスに分類される検出された振幅変調光源のそれぞれを表す画素を置換することで、第一のクラスに分類される振幅変調光源が検出されるビデオストリーム画像を、検出された振幅変調光源を表す画素が常に一定の状態にあるようにし、処理されたビデオストリーム画像が表示されたときに、第一のクラスに分類される検出された振幅変調光源のそれぞれが知覚できるフリッカを有しないように修正すること、を含むビデオストリーム画像を処理する方法が提供される。

【0005】

本発明のこれらおよびその他の特徴、利点、および目的は、以下の明細書、特許請求の範囲、および添付図面を参照することにより、当業者によってさらに理解および認識される。

【図面の簡単な説明】

【0006】

図面において、

【図1】図１は、本発明の一実施形態による画像化システムのブロック図である。

【図2】図２は、図１に示す画像処理ユニットによって実行される方法ステップを示すフローチャートである。

【図3】図３は、画像化システムが実装され得る車両の断面平面図である。

【図4】図４Ａは、画像化システムの種々の構成要素が実装され得る車両バックミラーアセンブリの正面および側面斜視図である。図４Ｂは、図４Ａに示される車両バックミラーアセンブリの正面図である。

【発明を実施するための形態】

【0007】

ここでは本発明の好適実施態様を詳細に参照し、その例を添付図面に図示する。可能な限り、同一または類似した部品を参照するために、図面全体を通して同一の参照番号が使用される。図面では、描画された構造要素は原寸に比例しておらず、ある特定の構成要素は、強調および理解の目的で、その他の構成要素と比較して拡大されている。

【0008】

物体が撮像されるときに、撮像素子からキャプチャされるビデオストリーム画像のレンダリングにおいて生じる一般的な問題は、振幅変調光（ＡＭ）光源である。このタイプの光源の非常に一般的な例は、発光ダイオード（ＬＥＤ）で構成された車両ランプアセンブリのような、何らかの周期的なレートでパルスオン／オフする光源であり、この光源ではＬＥＤがパルス幅変調（ＰＷＭ）されるが、ＰＷＭは考え得る振幅変調方法のサブセットである。ＰＷＭの期間およびデューティサイクルにより、ＬＥＤが何らかの周期的レートでオンおよびオフし、このランプアセンブリのストリーミング画像を撮影するカメラが逐次画像をキャプチャするが、ＬＥＤは１つ以上の連続画像では「オン」であり、その後の１つ以上の画像では「オフ」であり得る。ＡＭ光源の他の例には、緊急車両上の回転灯（同じくＰＷＭ ＬＥＤから構成され得る）、車両上の方向指示灯、またはトンネルや駐車場における蛍光光源が挙げられる。

【0009】

上記でリストした例示的ＡＭ光源の多くについて、光源の人観察者は「オン／オフ」パターンのフリッカを知覚しないが、これは、オン／オフパターンの周波数が人の視覚システムが知覚できるよりも高いからである（ＰＷＭ ＬＥＤヘッドランプ／テールランプアセンブリが典型的な例である）。しかし、ＡＭ光素子を電子カメラシステムで撮像する際、撮像素子アレイ中の特定の画素における光素子のキャプチャにおいて使用される露光時間、フレームレート、そしてシャッタ方式（ローリングまたはグローバル）により、この画素を示す一部の画像は光素子の「オン」状態を撮像し、この画素を示す逐次画像は光素子の「オフ」状態をキャプチャするすることとなり得る。何らかの表示フレームレートで、これらの画像を表示装置にレンダリングすることを企図する際に、表示システムが人観察者に「フリッカする」光として認識可能な「オン／オフ」パターンを示すこととなる場合がある。

【0010】

図１は、第一の実施形態による画像システム１０を示す。図示されるように、画像システム１０は、風景の画像をキャプチャし、風景のビデオストリーム画像を出力するカメラ２６と、ビデオストリーム画像を受信し、画像を処理して（以下に詳細に説明するように）処理したビデオストリーム画像を出力する画像処理ユニット３０および処理されたビデオストリーム画像を表示する表示装置３２を含む表示システム１２とを備える。

【0011】

本明細書に記載の方法および処理シーケンスは、レンダリングされたＡＭヘッドランプおよびテールランプにおいて見受けられる「フリッカする」現象を軽減することを意図するものである（特にＰＷＭ ＬＥＤアセンブリを対象とするが、該技術の照明に限定されるものではない）。以下に記載するように、これらの方法が実装され得るプラットフォームは、自動車用ミラー代替システムの一部であり、車両ミラーは、カメラ（レンズとデジタル撮像素子）２６、画像処理ユニット（シリアルプロセッサおよび／またはＡＳＩＣ／ＦＰＧＡ）３０、および電子表示装置（ＬＣＤ／ＬＥＤパネル）３２で代替される。本明細書に記載の方法は、上記システム１０中の画像処理ユニット３０に組み込まれてもよい。図２に示されるように、本方法ステップは、以下のシーケンス（画像処理ユニット３０上で生じ得るように）、１）ビデオストリーム画像を受信し（ステップ１００）、２）連続するビデオストリーム画像におおけるＰＷＭ ＬＥＤ（またはＡＭ）光の検出し（ステップ１０２）、３）ＰＷＭ ＬＥＤ（またはＡＭ）素子（ヘッドランプまたはテールランプアセンブリの一部である）を時変輝度レベルを有する風景における他の照明物体（例えば、緊急車両光）と区別／分類し（ステップ１０４）、４）経時でパルス光を追跡し（ステップ１０６）、５）これらのレンダリングされた光に関連付けられたフリッカアーチファクトを特定のタイプの光源に適切な方法で補正し（ステップ１０８）、および６）処理されたビデオストリーム画像を表示装置３２に供給する（ステップ１１０）、で実行され得る。これらのステップのそれぞれに対して考え得る技術について以下に詳述する。

【0012】

キャプチャされた画像のシーケンスにおける時変光の検出を含むステップ１０２を実行するためには複数の方法が存在する。バックミラー代替システム（電子カメラ２６、画像処理ユニット３０および表示システム３２に基づく）の問題領域において、検出する必要があり得るＰＷＭ ＬＥＤ光は、車両ヘッドランプおよびテールランプシステムから発生する光である。これらの光は、車両がミラー代替システムを備える場合の、同一の車道上にある車両に関連する。したがって、関心のＰＷＭ ＬＥＤ光に対する検索空間は車道検出による影響を受け得、オートエイムまたは車線検出システムが光検索空間を検出された道路境界上の垂直領域（車線検出システムより）、または消失点の周辺（オートエイムシステムより）に狭めることができ、静止非車両光源から識別される。この低減された探索空間では、権利者が共通する米国特許第６,５８７,５７３号、第６,５９３,６９８号、第６,６１１,６１０号、第６,６３１,３１６号、第６,６５３,６１４号、第６,７２８,３９３号、第６，７７４，９８８号、第６，８６１，８０９号、第６，９０６，４６７号、第６，９４７，５７７号、第７，３２１，１１２号、第７，４１７，２２１号、第７，５６５，００６号、第７，５６７，２９１号、第７，６５３，２１５号、第７，６８３，３２６号、第７，８８１，８３９号、第８，０４５，７６０号、第８，１２０，６５２号および第８，５４３，２５４号に開示されるようなＰＷＭ ＬＥＤ光を検出するための既存のハイビーム制御システムにおける方法が存在する。

【0013】

また、フレーム減算等の検出方法を時変光源の検出のために使用してもよく、フレーム減算では、逐次画像が互いに減算されて時間差分マップを生成する。結果としてのマップはその後、ルーチン（ソフトウェアまたはＡＳＩＣ／ＦＰＧＡファブリックに実装される）によって処理され、二値化および／またはフィルタリングの何らかの組み合わせを実行して、２つのソース画像間で画素輝度に大幅な変化があった、マップ中の空間領域を特定する。差分データの絶対値は、フレーム間の画素強度の変化の大きさを示し、差分データの標示はフレーム間の画素値の変化が光源が明るくなることに関連付けられているか、暗くなることに関連付けられているかを示す。これらの時間差分マップを生成するのに使用されるフレームデータは、べイヤーパターン画像からの生データ、画像から抽出された輝度データ、または画像処理経路から抽出された他の何らかの画像であり得る。一般的な車道風景において、一対のフレーム（単一の画素位置を参照する）間の画素値における最大デルタが、極度の明るさから完全なオフまであるこれらのＰＷＭ ＬＥＤ（ＡＭ）光に関連する傾向がある。モーションアーチファクトも、画素位置における画像値の時間変化に寄与し得るが、車両ダイナミックに比べて画像キャプチャレートが高速であり、固有の照明を生成しない物体に関連する輝度変化もかなり低減されるため（第一のフレームの画素において車両本体を、次のフレームで車両バンパーの一部を撮像することは、ＰＷＭ ＬＥＤがそのオン／オフシーケンスで呈するほどの大幅な輝度変化を生じない）、車両によって撮像される車道の検索空間におけるこのモーションは非常に小さい。

【0014】

ＡＭ光の存在を検出するための別の方法は、撮像素子実装を駆使するが、この場合、いくつかの撮像素子は、画素露光時間の間に風景の輝度が状態を変化させたか否かについての情報を（画素レベルに）提供し得る（特に、ＨＤＲ ＣＭＯＳ撮像素子等の撮像素子について）。

【0015】

以下に記載するように、パルス光を正確にレンダリングするための方法は、光が「オフ」としてキャプチャされる期間の間パルス光位置を「明るく」するために画像コンテンツを加えることと、光の時変性質によって引き起こされる不正確な色測定に対処することに該当しやすい。分類動作（ステップ１０４）が適用されて輝度および／または色誤差を導く時変光源のタイプを識別する。所望のパルス光だけ（例えば、モーションアーチファクトではない）が確実に補正されるように、光源分類が実行されて補正ステップ１０８に影響を与えてもよい。ＰＷＭ ＬＥＤ光の分類方法は、権利者が共通する米国特許第６，５８７，５７３号、第６，５９３，６９８号、第６，６１１，６１０号、第６，６３１，３１６号、第６，６５３，６１４号、第６，７２８，３９３号、第６，７７４，９８８号、第６，８６１，８０９号、第６，９０６，４６７号、第６，９４７，５７７号、第７，３２１，１１２号、第７，４１７，２２１号、第７，５６５，００６号、第７，５６７，２９１号、第７，６５３，２１５号、第７，６８３，３２６号、第７，８８１，８３９号、第８，０４５，７６０号、第８，１２０，６５２号および第８，５４３，２５４号に開示されるような、ハイビーム制御システムにおいて公知である。しかし、時間変化、色、輝度、および位置の使用における他のオプションも存在する。分類に輝度および色を使用するオプションは、カメラシステムにおけるべイヤーパターン、高ダイナミックレンジ（ＨＤＲ）撮像素子の使用によって大きく向上するが、これは、明るい物体はＨＤＲ撮像素子では飽和されず、べイヤーパターン寄与分は非常に明るい光の色を判定するためにデモザイク処理することができるからである。車両を分類する物体検出システムを使用して、検索窓を特定された車両に関連付けられた領域に限定することで、ＰＷＭ ＬＥＤヘッドランプ／テールランプの分類に影響を及ぼしてもよい。

【0016】

基本的に、この分類を用いて、光を直接見たときに人が知覚できるフリッカする光と、光を直接見たときにフリッカしているものと人が知覚できない光とを見分けることができる。このように、光源の画像がこうした分類に基づいて選択的に修正されて、光を直接見ている人に通常は見えるように表示風景内に光源が見えるようにし得る。

【0017】

パルス光の時間追跡のステップ（ステップ１０６）は、権利者が共通する米国特許第６，５８７，５７３号、第６，５９３，６９８号、第６，６１１，６１０号、第６，６３１，３１６号、第６，６５３，６１４号、第６，７２８，３９３号、第６，７７４，９８８号、第６，８６１，８０９号、第６，９０６，４６７号、第６，９４７，５７７号、第７，３２１，１１２号、第７，４１７，２２１号、第７，５６５，００６号、第７，５６７，２９１号、第７，６５３，２１５号、第７，６８３，３２６号、第７，８８１，８３９号、第８，０４５，７６０号、第８，１２０，６５２号、第８，５４３，２５４号および第９，１８５，３６３号に開示されるような公知のハイビーム制御システムにおいて記載される車両光追跡に対する技術を使用して実行することができる。時間および空間追跡は、修正された画像におけるフリッカする光源の所期の位置に対応する画素を明るくするために画像を選択的に修正する際に有用である。

【0018】

ステップ１０８は、表示装置３２上にレンダリングするために光フリッカを解消することを含む。表示装置フリッカ低減について対処する必要があるＡＭ（またはパルス）光が特定されると、フリッカ低減のための本方法が、低画素値（「オフ」状態からの）を「オン」状態に関連付けられたレベルに対応する値と置換することで実行され得る。画素値置換は、生レベル（置換された画素に関連付けられたべイヤーパターンカラー）、または処理サブシステムにおける後の処理ステップにおいて実行することが可能である。ポストデモザイク処理ステップにおいて画素置換を実行するには利点があり、赤色、緑色、および青色寄与分の正確なバランスを生成することによってＰＷＭ光に対するカラーを維持することが可能である。画素置換が実行される際のＡＭ光物体の表示された境界を維持するために、いくつかの画像処理ステップを用いて、ステップ１０６の追跡情報および物体形状検出ルーチンを用いて次のフレームの物体輪郭を予測することができる。

【0019】

あるいは、検出ステップからの時間差分マップを用いて、置換する画素の領域を画定することが可能であり（これらがフレーム間で状態が変化した画素を表すために）、２つだけのフレームの差分より多くを組み込むマップを用いることでより良好な結果が可能である。この方法の考え得る１つの実装は、フレームのシーケンスにわたる画素値の差分マップ（位置の）を生成し、最も高いＭ値の平均が何らかの閾値を上回る場合に、パルスＰＷＭ ＬＥＤ光の画像を生成していると判定された画素値をＮフレームシーケンスにおける最も高いＭ値の平均と置換する（ＭはＮ未満）ことを含む。全体画像輝度および物体色の分析を使用する場合、この置換方法は、ＰＷＭ ＬＥＤ検出、分類、追跡および置換の代わりとしても使用され得る。

【0020】

前向きの方向指示灯は、本明細書に開示の概念を用いて検出、分類および補正することができる時変光源の一例である。ＰＷＭ光とは違って、その撮像素子上の行単位の値はビード周波数によって大きく変動し得、方向指示灯の周波数はカメラのフレームレートよりも大幅に低い（１５～１２０Ｈｚに対して１～２Ｈｚ）。これは、光の領域が方向指示灯の周波数でオンオフすることになる。光の境界内のこの空間的整合性は、方向指示灯および黄色みを示す検出された周波数と相まって、光を追跡された通りに方向指示灯として分類すること可能とし得る。システムが光の種類を分かると、システムはその黄色飽和を増大させることでこれを修正し、そのオン／オフ挙動はそのままで、より多くの視覚的アピールを生成することができる。

【0021】

ＰＷＭ ＬＥＤテールランプは、通常、背景に比べて相対的に明るくないため、正確に画像化および視覚化することが困難な物体である。また、ローリングシャッタカメラでは、画素の行それぞれがはっきりと異なるレベルの輝度を有する場合があり、そして、これはべイヤーフィルタの空間効果によって増大して、色度および輝度の両方における多くのアーチファクトにつながり得る。しかし、これらの行単位の変動、大きく異なる局所色、およびフレームごとに大幅に変化する色および強度等の特徴のいくつかと、画像中の位置、明るい赤色画素の支配、消失点に向かうモーション、光変調の周波数推定等のこの他の特徴により、これらの光を高精度に分類することが可能となり得る。ＰＷＭ ＬＥＤテールランプの修正は、色を均一に飽和された赤色にすると同時に検出された範囲から輝度を選択することによって実行可能であり、これは視覚的にアピールし、不快なアーチファクトを除去することとなり得る。

【0022】

次に図３を参照すると、上記実施形態の車両実装の概略図が示される。車両２０は運転者２２によって運転されるものとして示される。１つ以上のカメラ２６は風景２４が見えるよう動作する。図示する実施例において、風景２４は概して車両２０の後ろ側である。しかし、カメラ２６は、限定されるものではないが、側部、背部、正面部、底部、上部、および内部を含む、車両２０の周りの他の位置における風景を見るために種々の位置に方向付けられてもよい。図示する実施例において、風景を表す信号はチャネル２８を介して画像処理ユニット３０に送信される。画像処理ユニット３０は、１つ以上の表示装置３２上に風景２４の向上した画像を生成する。随意の周辺光センサ３４および１つ以上の直接グレアセンサ３６からの入力も、画像処理ユニット３０に利用可能である。

【0023】

特定の有用な実施形態で、バックミラーアセンブリ５０（図４Ａ、図４Ｂ）は、後部および側部まで広域をカバーして、車両２０のすぐ後ろの歩行者または他の物体が見え、かつ側部から接近する車が見えるようにする、カメラ２６を有する画像化システム１０によって増補または代替される。このシステムは、駐車場からバックして出るときに、走行車線に戻る前に接近する車両が見えるように設計される。このことは、ほぼ１８０度の視界を有するカメラシステム２６、または車両の後部付近に取り付けられたいくつかのカメラシステム２６を必要とする。車両２０の正面付近に取り付けられたカメラまたは複数のカメラ２６を有する類似のシステムは、対面交通の走行車線に入る前に、「見えない」交差点において対面交通を見るよう構成される。本発明について、従来的なバックミラーの表示機能を補完する、望ましい適用がある。

【0024】

図４Ａおよび図４Ｂは、表示装置３２と表示装置３２の正面に位置付けられた随意のミラー素子５２を備えた筐体５４を有するバックミラーアセンブリ５０の一例を示す。ユーザスイッチ５６が、ミラー素子５２および／または表示装置３２を傾けて、作動時の表示装置３２上のグレアを低減するために随意に提供されてもよい。こうしたバックミラーアセンブリ５０の例は公知であり、権利者が共通する米国特許出願公報第２０１５／０２１９９６７Ａ１号、第２０１５／０２６６４２７号Ａ１号および第２０１５／０２７７２０３Ａ１号に開示される。当該技術で公知のように、随意の周辺光センサ３４および直接グレアセンサ３６が、バックミラーアセンブリ５０に組み込まれてもよい。さらに、画像処理ユニット３０は、バックミラーアセンブリ５０内に配置されてもよい。バックミラーアセンブリ５０は、図４Ａおよび図４Ｂに示されるように内部バックミラーアセンブリであってもよく、外部バックミラーアセンブリであってもよい。

【0025】

上記の説明は、好適な実施形態についてのみのものと考えられる。当業者や本発明の製作者または使用者に対して、発明の変形が発生するであろう。従って、図面に示し上述した実施形態は、単に図示の目的のためであり、均等論を含む、特許法の原理に従い解釈されるものとして、特許請求によって定義される発明の範囲を制限する意図はないことが理解される。

【図1】

【図2】

【図3】

【図4A】

【図4B】