特許 7562498 間接視システムおよびフレームレートを調整するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-27

(45)【発行日】2024-10-07

(54)【発明の名称】間接視システムおよびフレームレートを調整するための方法

(51)【国際特許分類】

   H04N 7/01 20060101AFI20240930BHJP

【ＦＩ】

H04N7/01 270

【請求項の数】 14

【外国語出願】

(21)【出願番号】P 2021178423

(22)【出願日】2021-11-01

(65)【公開番号】P2022077975

(43)【公開日】2022-05-24

【審査請求日】2021-11-01

【審判番号】

【審判請求日】2023-11-02

(31)【優先権主張番号】10 2020 129 908.7

(32)【優先日】2020-11-12

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】500020380

【氏名又は名称】メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲー

【氏名又は名称原語表記】ＭＥＫＲＡ Ｌａｎｇ ＧｍｂＨ ＆ Ｃｏ． ＫＧ

(74)【代理人】

【識別番号】110001380

【氏名又は名称】弁理士法人東京国際特許事務所

(72)【発明者】

【氏名】ヴェルナー・ラング

(72)【発明者】

【氏名】ピーター・ゲイツェンドルファー

(72)【発明者】

【氏名】アンドレアス・レッドリンスーファ

【合議体】

【審判長】千葉 輝久

【審判官】片岡 利延

【審判官】高橋 宣博

(56)【参考文献】

【文献】国際公開第２０１６／０４７０８７号

【文献】特開２００７－２５１２５４号公報

【文献】特開平５－３３６４９９号公報

【文献】特開２００６－８１０４７号公報

【文献】特開平４－７４０８２号公報

(58)【調査した分野】(Int.Cl.，ＤＢ名)

H04N 7/01

(57)【特許請求の範囲】

【請求項1】

第１のフレームレートで画像を連続してキャプチャする画像センサを有する少なくとも１つの画像キャプチャデバイス（２）と、
前記画像の前記キャプチャに時間的に後続する処理のために画像を一時的に記憶する画像メモリ（４）と、
少なくとも２つの連続してキャプチャされた画像から少なくとも１つの新たな画像を連続的に計算する画像処理デバイス（６）であって、計算される前記新たな画像は、前記第１のフレームレートとは異なる第２のフレームレートを有する、画像処理デバイス（６）と、
前記連続的に計算される前記新たな画像を前記第２のフレームレートで出力する画像出力デバイス（５）と、
前記第１のフレームレートと前記第２のフレームレートに依存するグリッドであってパーセント係数を決定するために用いられるグリッドを記憶するグリッドメモリと、
を備え、
前記少なくとも１つの前記計算される前記新たな画像は、
前記少なくとも２つの連続してキャプチャされた画像のそれぞれに前記パーセント係数を乗算して合計することで生成され、
前記パーセント係数は、
前記少なくとも２つの連続してキャプチャされた画像の時間位置に対する、前記計算される前記新たな画像の時間位置に応じて連続的に計算されることで、随時更新されていき、
前記パーセント係数は、
前記画像キャプチャデバイスの前記第１のフレームレートと前記画像出力デバイスの前記第２のフレームレートに依存し、
前記パーセント係数を決定するために用いられる前記グリッドは、
前記第１のフレームレートと前記第２のフレームレートとの間の初期位相オフセットを有する、
車両の間接視システム。

【請求項2】

キャプチャされた画像の各ピクセルの輝度情報と色情報が、各画像に対応する前記パーセント係数を別個に乗じられるか、または、両情報が対応する前記パーセント係数で結合されてから、前記少なくとも２つの連続してキャプチャされた画像のそれぞれの対応するピクセルを合計することで、前記新たな画像が生成される、
請求項１に記載の車両の間接視システム。

【請求項3】

前記画像センサの生データの輝度情報と色情報が、各画像に対応する前記パーセント係数を別個に乗じられるか、または、両情報が対応する前記パーセント係数で結合されてから、前記少なくとも２つの連続してキャプチャされた画像で合計することで、前記新たな画像が生成される、
請求項１に記載の車両の間接視システム。

【請求項4】

前記パーセント係数は、
定数として前記画像処理デバイス（６）にあらかじめ記憶されているか、または、リアルタイムに前記画像処理デバイス（６）によって計算される、
請求項１ないし３のいずれか１項に記載の車両の間接視システム。

【請求項5】

前記パーセント係数の合計は１００％である、
請求項１ないし４のいずれか１項に記載の車両の間接視システム。

【請求項6】

前記画像キャプチャデバイス（２）の前記第１のフレームレートおよび前記画像出力デバイス（５）の前記第２のフレームレートは、静的であり前記システムの動作中に変化しない、または、前記画像キャプチャデバイス（２）の前記第１のフレームレートが、車両条件、車両信号、ユーザによる手動入力、ならびに／または、前記画像キャプチャデバイスの輝度センサからの信号および／もしくは前記画像出力デバイス（５）の輝度センサからの信号、に応じて動的に変化する、
請求項１ないし５のいずれか１項に記載の車両の間接視システム。

【請求項7】

前記画像処理デバイス（６）は、前記画像キャプチャデバイス（２）内もしくは前記画像出力デバイス（５）内に一体化される、および／または、
前記画像メモリは、前記画像処理デバイス（６）内に一体化される、
請求項１ないし６のいずれか１項に記載の車両の間接視システム。

【請求項8】

画像キャプチャデバイス（２）の画像センサ（３）のフレームレートで画像を連続的にキャプチャするステップと、
前記画像の前記キャプチャに時間的に後続する処理のために、キャプチャされた前記画像を画像メモリ（４）にバッファリングするステップと、
少なくとも２つの連続してキャプチャされた画像から、画像処理デバイス（６）が少なくとも１つの新たな画像を連続的に計算するステップであって、計算される前記新たな画像は、画像出力デバイス（５）のフレームレートを有するステップと、
前記画像出力デバイス（５）の前記フレームレートで前記連続的に計算される前記新たな画像を出力するステップと、
前記画像キャプチャデバイス（２）の前記フレームレートと前記画像出力デバイス（５）の前記フレームレートに依存するグリッドであってパーセント係数を決定するために用いられるグリッドをグリッドメモリに記憶させるステップと、
を含み、
前記少なくとも１つの前記新たな画像を連続的に計算するステップは、
前記少なくとも２つの連続してキャプチャされた画像のそれぞれに前記パーセント係数を乗算して合計するステップを含み、
前記パーセント係数は、
前記少なくとも２つの連続してキャプチャされた画像の時間位置に対する、前記計算される前記新たな画像の時間位置に応じて連続的に計算されることで、随時更新されていき、
前記パーセント係数は、
前記画像キャプチャデバイス（２）の前記フレームレートと前記画像出力デバイス（５）の前記フレームレートに依存し、
前記パーセント係数を決定するために用いられる前記グリッドは、
前記画像キャプチャデバイス（２）の前記フレームレートと前記画像出力デバイス（５）の前記フレームレートとの間の初期位相オフセットを有する、
画像フレームレートを増大させる方法。

【請求項9】

キャプチャされた画像の各ピクセルの輝度情報と色情報を、別個に対応する前記パーセント係数で乗じ、または、両情報を対応する前記パーセント係数で結合し、次いで、前記新たな画像を生成するために、前記少なくとも２つの連続してキャプチャされた画像のそれぞれの対応するピクセルを合計するステップ、
をさらに含む、
請求項８に記載の画像フレームレートを増大させる方法。

【請求項10】

前記画像センサ（３）の生データの輝度情報と色情報を、別個に対応する前記パーセント係数で乗じ、または、両情報を対応する前記パーセント係数で結合し、次いで、前記新たな画像を生成するために、前記少なくとも２つの連続してキャプチャされた画像のそれぞれの対応する計算結果を合計するステップ、
をさらに含む、
請求項８に記載の画像フレームレートを増大させる方法。

【請求項11】

前記パーセント係数を、定数として前記画像処理デバイス（６）に記憶するステップ、または
前記パーセント係数を、前記画像処理デバイス（６）によってリアルタイムに計算するステップ、
をさらに含む、
請求項８ないし１０のいずれか１項に記載の画像フレームレートを増大させる方法。

【請求項12】

前記パーセント係数の合計は１００％である、
請求項８ないし１１のいずれか１項に記載の画像フレームレートを増大させる方法。

【請求項13】

前記画像キャプチャデバイス（２）の前記フレームレートおよび前記画像出力デバイス（５）の前記フレームレートは、静的であり前記システムの動作中に変化しない、または、前記画像キャプチャデバイス（２）の前記フレームレートが、車両条件、車両信号、ユーザによる手動入力、ならびに／または、前記画像キャプチャデバイスの輝度センサからの信号および／もしくは前記画像出力デバイス（５）の輝度センサからの信号、に応じて動的に変化する、
請求項８ないし１２のいずれか１項に記載の画像フレームレートを増大させる方法。

【請求項14】

前記画像処理デバイス（６）は、前記画像キャプチャデバイス（２）内にもしくは前記画像出力デバイス（５）内に一体化される、および／または、
前記画像メモリは、前記画像処理デバイス（６）内に一体化される、
請求項８ないし１３のいずれか１項に記載の画像フレームレートを増大させる方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特に車両のＵＮ／ＥＣＥ－Ｒ４６によるミラー交換システム（ミラー置換システム）として使用することができる間接視システム、および、間接視システムの画像取得デバイスの画像センサによって取得される画像のフレーム繰り返し率（リフレッシュレート）を調整するための方法に関する。

【背景技術】

【0002】

カメラシステムまたはミラー交換システム（ＵＮ／ＥＣＥ－Ｒ４６による）のために、車両製造者は、６０Ｈｚまたはフレーム毎秒（ｆｐｓ）のリフレッシュレートを必要とする。モニタ内に設置されているＬＣＤパネルは、すでに標準として６０ｆｐｓ超で利用可能である。しかしながら、１つの問題は、ミラー交換システムにおいて使用されるカメラが備える、標準として設定されている画像センサが、同時に６０ｆｐｓ未満のフルダイナミックレンジでしか、それらの全解像度を出力することができないことである。しかしながら、ＵＮ／ＥＣＥ－Ｒ４６によるミラー置換システムに対する法的要件に準拠するためには、高解像度と同時に、より高いダイナミックレンジが必要とされる。

【0003】

上述したようにそれらのリフレッシュレートに関して一致しない、例えば、６０ｆｐｓの標準リフレッシュレートを有するＬＣＤパネルの使用、および、標準的な画像センサの同時使用の結果として、これら２つの構成要素を、さらなる技術的方策なしにともに動作させることができないという問題が生じる。

【0004】

現行技術水準によれば、上記の問題は、フルダイナミックレンジおよび例えば６０ｆｐｓのリフレッシュレートで高解像度を可能にする特別な高価格の画像センサを使用することによって解決される。

【0005】

代替的に、従来技術によれば、６０ｆｐｓ未満のフレームレートを有する標準的に利用可能な画像センサが使用され、フレームレートが、カメラシステムの処理ユニットによって、モニタ上に各画像フレームを連続的に２回出力することによって、計算的に、例えば３０ｆｐｓから６０ｆｐｓへと増大される。従来技術によれば、例えば４０ｆｐｓから６０ｆｐｓへのフレームレートの計算による増大は、モニタ上に、１つの画像フレームおきに画像フレームを連続的に２回出力することによって、実施することができる。

【先行技術文献】

【特許文献】

【0006】

【文献】米国特許出願公開第２０１５／０２９４４７９号明細書

【文献】欧州特許出願公開第２３７７７２５号明細書

【文献】米国特許出願公開第２００８／０１７０１６１号明細書

【文献】米国特許出願公開第２０１８／００９１７６８号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

画像センサのリフレッシュレートをＬＣＤパネルのリフレッシュレートに適合させるための、上述した既知の技法の１つの欠点は、車両運転者に対する画像の印象が、３０ｆｐｓまたは４０ｆｐｓカメラシステムの印象に対応し、したがって、あまり「滑らか」でないか、または、「ガタついて」見え、車両自体と他の道路使用者との間の高い相対速度を評価することがより困難になることである。しかしながら、このシステムを使用するときの画像内容の表現の画像遠近に起因して、グループＩ～ＩＶのＵＮ／ＥＣＥ－Ｒ４６によるミラー交換システムの相対速度は、グループＶおよびＶＩのミラー交換システム、リアビューカメラまたはサラウンドビュー（全景）システムよりも低い。

【0008】

本発明の目的は、画像センサのフレームレートをディスプレイパネル（ＬＣＤパネル、ＯＬＥＤパネル、ＬＥＤパネルなど）のフレームレートに適合させ、同時に、車両運転者に滑らかでガタつきのない画像シーケンスの印象を与える、車両のカメラシステムおよび方法を提供することである。

【課題を解決するための手段】

【0009】

上述の課題は、請求項１の特徴を有する車両のための間接視システムによって、および、請求項１１の特徴による方法によって解決される。好ましい実施形態が、従属請求項において与えられる。

【0010】

本発明による車両の間接視システムは、画像センサのフレームレートに対応する第１のフレームレートにおいて画像を連続的に取得するための画像センサを備える少なくとも１つの画像取得デバイスを備える。自動車用途に使用される標準的な画像センサは、典型的には、６０ｆｐｓ未満のリフレッシュレートを有する。この低フレームレートは、システム内で送信されるデータをより少なくし、より低コストの構成要素の使用を可能にする必要があることを意味する。

【0011】

本発明によれば、画像キャプチャデバイスによってキャプチャされる画像が、画像がキャプチャされた後の時点における画像のさらなる処理のために、画像メモリに一時的に記憶される。本発明によれば、このさらなる処理は、画像センサの低リフレッシュレートにもかかわらず、６０ｆｐｓのリフレッシュレートで、人間の眼にとって滑らかな運動シーケンスを画像出力デバイス上に表示することを可能にするために、画像センサのリフレッシュレートが、この場合は車両製造者によって指定される６０ｆｐｓの所望のリフレッシュレートに適合されるように、実行される。

【0012】

本発明によれば、画像内に一時的に記憶されている画像の処理は、少なくとも２つの連続的にキャプチャされる画像から少なくとも１つの新たな画像を連続的に計算する画像処理デバイスによって実施される。計算の結果として、新たに計算された画像は、画像がキャプチャされた第１のフレームレートよりも高い第２のフレームレートを有する。例えば、第１のフレームレートは４０ｆｐｓであり、第２のフレームレートは６０ｆｐｓである。しかしながら、本発明によれば、任意の数のフレームレートを、任意の数のより高いまたはより低いフレームレートに対して調整することができる。これによって、より多くの異なる画像センサを、異なるＬＣＤパネルと組み合わせ、以て、技術的ソリューションの数を増大させ、コスト上の利点をもたらすことが可能になる。

【0013】

最後に、本発明によれば、間接視システムは、第２の高リフレッシュレート（６０ｆｐｓ）において画像を出力することが可能な画像出力デバイスを備える。具体的には、画像出力デバイスは、画像センサの適合されたリフレッシュレートにおいて画像処理デバイスによって連続的に再計算されている画像を出力する。

【0014】

上述したような、画像処理デバイスにおける新たな画像の連続的な再計算は、具体的には、各々にパーセント係数が乗算されている、２つの連続する画像を合計して、再計算された画像を生成することによって実施される。それによって、パーセント係数は、基礎となる少なくとも２つの連続して取得された画像の時間位置に対する、再計算された画像の時間位置に対応する。

【0015】

本発明によれば、上述のパーセント係数は、特に、画像キャプチャデバイスまたは画像センサの画像リフレッシュレート、および、画像出力デバイスの画像リフレッシュレートに依存する。これらのパーセント係数は、予め決定されてメモリに記憶されてもよく、または、システム実行時間において画像処理デバイスによって計算されてもよい。

【0016】

本発明によれば、新たな画像の生成において、特に、キャプチャされた画像内の各ピクセルの輝度情報および／または色情報が、対応するパーセント係数と乗算され、少なくとも２つの連続してキャプチャされた画像内の互いに対応するそれぞれのピクセルが合計されて、新たな画像が生成される。一般的に知られているフレームレート補間とは対照的に、連続する画像のシーケンスは分析されず、運動ベクトルを決定するために同一のまたは関連する画像部分を探す試行が行われ、運動ベクトルはその後、２つの連続する画像の間の所望の時点における物体の位置を再構築するために使用することができる。運動ベクトルを考慮に入れずに輝度情報のみおよび／または色情報のみを使用することによって、新たな画像を生成するための計算量が低減される。この場合、いわゆる「ゴースト画像」の生成は、人間の眼に対する滑らかな運動シーケンスの印象を損なわないため、許容される。

【0017】

代替的に、本発明によれば、キャプチャされる画像の各ピクセルの輝度情報および／または色情報は、新たな画像の計算に使用されなくてもよく、画像センサの生データ自体の輝度情報および／または色情報が使用されてもよい。

【0018】

上述したように、新たな画像を生成するために、少なくとも２つの連続してキャプチャされる画像が、対応するパーセント係数と乗算され、結果もたらされる画像が合計される。この場合、パーセント係数は、少なくとも２つの連続して取得された画像の時間位置に対する、新たに計算された画像の時間位置に対応する。好ましくは、本発明によれば、パーセント係数は、定数として画像処理デバイスに記憶することができる。特に、本発明によれば、係数決定（パーセント係数の決定）のためのグリッドをメモリに記憶することができ、係数決定のためのグリッドは、画像キャプチャデバイスの画像リフレッシュレート、および、画像出力デバイスの画像リフレッシュレート、すなわち、画像出力デバイスの（第２の）画像リフレッシュレートに適合されるべき画像センサの（第１の）画像リフレッシュレートに依存する。

【0019】

本発明によれば、上述の係数決定のための所定のグリッドは、特に、第１の画像リフレッシュレートと第２の画像リフレッシュレートとの間のいわゆる初期位相オフセットを有し得、結果、パーセント係数は、画像キャプチャデバイスの画像リフレッシュレート、および、画像出力デバイスの画像リフレッシュレートだけでなく、第１の画像リフレッシュレートと第２の画像リフレッシュレートとの間のこの初期位相オフセットにも依存する。初期位相オフセットを付加的に使用することによって、可能な限り多くの新たな画像を計算することができ、そのうちの可能な限り少数が、元々取得されていた画像に対応する。

【0020】

本発明によれば、例えば、２つの連続する画像が乗算されるパーセント係数の合計は、１００％に等しくてもよい。合計が１００％よりも大きい場合、これら２つの連続する画像から生成される新たな画像において画像が明るくなり、合計が１００％未満で或る場合、画像が暗くなる。

【0021】

本発明によれば、画像キャプチャデバイスの画像リフレッシュレートは画像出力デバイスの画像リフレッシュレートよりも低く、両方の画像リフレッシュレートは静的または固定であってもよく、結果、それらはシステムの動作中に変化しない。代替的に、例えば、速度、前進および逆進、停止、駐車プロセス、操縦プロセス、方向転換プロセスなどの車両状態に応じて、例えば、方向指示器、バックギア、輝度センサ、加速度センサなどの車両信号に応じて、例えばボタン押下などのユーザによる手動入力に応じて、ならびに／または、例えば、画像センサを介して画像キャプチャデバイスによって、画像出力デバイス内の輝度センサによって検出される輝度などの間接視システム自体からの信号に応じて、画像キャプチャデバイスの画像リフレッシュレートを動的に変化させることが可能である。フレームレートを動的に変化させることによって、特に、環境が暗いときにフレームレートを低減することによって、画像センサの露出時間を延長することができ、以て、より高い感度を達成し、したがって、暗い環境内でのより良好な視認性を達成することができる。

【0022】

本発明によれば、例えば、画像処理デバイスは、画像キャプチャデバイスまたは画像出力デバイス内に一体的に形成され、中間画像メモリは、画像処理デバイス内に一体的に形成される。

【0023】

本発明によれば、少なくとも２つの連続する画像のうちの第１の画像のキャプチャ、および、当該画像から新たに計算される画像の運転者への表示の時点から２００ｍｓを超える時間が経過すべきではないことにも言及すべきである。

【0024】

本発明による画像フレームレートを適合させるための方法において、画像キャプチャデバイスの画像センサの画像フレームレートにおいて画像の連続的な取得（キャプチャ）、画像の取得後の時間に行われる処理のための取得された画像の中間記憶（キャッシュ記憶）、少なくとも２つの連続して取得された画像からの少なくとも１つの新たな画像の連続的な計算であって、新たに計算される画像は、画像出力デバイスの画像フレームレートを有する、連続的な計算、および、画像出力デバイスのフレームレートにおける連続的に再計算されている画像の出力が存在する。

【0025】

特に、本発明による方法において、少なくとも１つの新たな画像の計算は、この場合、各々にパーセント係数を乗算した少なくとも２つの連続する画像の合計を形成することによって実施され、パーセント係数は、少なくとも２つの連続して取得された画像の時間位置に対する、新たに計算された画像の時間位置に対応する。

【0026】

さらに本発明の方法によれば、キャプチャされた画像内の各ピクセルの輝度情報および／または色情報の、対応するパーセント係数との乗算が、別個にまたは組み合わせて実施され、その後、少なくとも２つの連続してキャプチャされた画像内のそれぞれの対応するピクセルが合計されて、新たな画像が生成される。代替的に、本発明の方法によれば、画像センサの生データの輝度情報および／または色情報の、対応するパーセント係数との乗算が、別個にまたは組み合わせて実施され、その後、少なくとも２つの連続してキャプチャされた画像内のそれぞれの結果が合計されて、新たな画像が生成される。特に、本発明による方法におけるパーセント係数は、画像キャプチャデバイスのフレームレート、および、画像出力デバイスのフレームレートに依存する。本発明によるシステムと同様に、本発明による方法において、パーセント係数は、画像キャプチャデバイスのフレームレート、および、画像出力デバイスのフレームレートだけでなく、付加的に、それらのフレームレート間の初期位相オフセットにも依存し得る。

【0027】

本発明の方法によれば、パーセント係数は、定数として画像処理デバイスに記憶されてもよく、または、画像処理デバイスによって実行時間において計算されてもよい。

【0028】

本発明の方法によれば、少なくとも２つの連続する画像が乗算されるパーセント係数の合計は１００％に等しくてもよく、または、新たに生成される画像を明るくする場合は１００％よりも大きくてもよく、もしくは、画像を暗くする場合は１００％未満であってもよい。

【0029】

本発明による方法において、画像キャプチャデバイスのフレームレート、および、画像出力デバイスのフレームレートは静的であってもよく、動作中に変化しなくてもよい。代替的に、画像キャプチャデバイスの画像繰り返し率は、本発明の上記のシステムと同様に、車両条件、車両信号、ユーザによる手動入力、ならびに／または、画像キャプチャデバイスの輝度センサからの信号および／もしくは画像出力デバイスの輝度センサからの信号に応答して動的に変化してもよい。

【0030】

さらに、本発明による方法において、本発明による上記システムと同様に、画像処理デバイスは、画像キャプチャデバイスもしくは画像出力デバイス内に一体化されてもよく、および／または、画像メモリは、画像処理デバイス内に一体化されてもよい。

【図面の簡単な説明】

【0031】

【図1】本発明による間接視システムの概略図。

【図2】本発明による新たな画像の計算を説明するための概略ブロック図。

【図3】従来技術によるフレームレート増大の第１の例を示す図。

【図4】本発明によるフレームレート増大の第１の実施形態を示す図。

【図5】本発明によるフレームレート増大の第２の実施形態を示す図。

【図6】従来技術によるフレームレート増大の第２の例を示す図。

【図7】本発明によるフレームレート増大の第３の実施形態を示す図。

【図8】本発明によるフレームレート増大の第４の実施形態を示す図。

【図9】本発明による方法の一実施形態による流れ図。

【図10】本発明による新たな画像の計算を例示するための流れ図。

【発明を実施するための形態】

【0032】

図１は、本発明の好ましい実施形態による車両の間接視システムの概略ブロック図を示す。

【0033】

間接視システム１は、それぞれの画像センサのフレームレートに対応する第１のフレームレートにおいて画像を連続的に取得するための画像センサ３を各々が有する２つの画像キャプチャデバイス２を有する。１つのみの画像キャプチャデバイスが存在してもよく、または、複数の画像キャプチャデバイスも存在してもよい。以下において、図面の左側に示されている画像キャプチャデバイス２のみが説明される。好ましい実施形態において、画像センサ３のフレームレートは、例えば、４５フレーム毎秒（ｆｐｓ）または５０ｆｐｓに等しい。

【0034】

図１に示すように、画像キャプチャデバイス２は、画像キャプチャデバイス２によってキャプチャされる画像を一時的に記憶する画像メモリ４に接続されている。画像キャプチャデバイス２によってキャプチャされる画像は、画像出力デバイス５上で車両の運転者にほぼリアルタイムに表示される、連続的に取得される画像である。画像キャプチャデバイス２によって取得される画像はまた、事故分析、物的損害の調査などにおいて後に使用するために、画像メモリ４に永続的に記憶されたままにすることもできる。

【0035】

間接視システム１は、画像処理デバイス６をさらに備え、画像処理デバイスは、画像メモリ４に接続されており、画像メモリ４に記憶されている少なくとも２つの連続的にキャプチャされた画像から少なくとも１つの新たな画像を連続的に計算するために、画像メモリ４に記憶されているキャプチャされた画像を使用する。画像処理デバイス６は、図１には別個の構成要素として示されているが、これはまた、画像メモリ４内に一体化されてもよく、または、画像メモリ４が、画像処理デバイス６内に一体化されてもよい。

【0036】

図１に示すように、画像処理デバイス６は、画像処理デバイス６において再計算された画像を画像出力デバイス５上に、画像キャプチャデバイス２の画像センサ３がピックアップすることができるよりも高いフレームレートにおいて表示するために、画像出力デバイス５にさらに接続されている。少なくとも２つの連続して取得された画像から新たな画像を計算するために画像処理デバイス６において実施される計算プロセスは、後により詳細に説明する。

【0037】

図１は、各々が画像記憶デバイス（画像メモリ）４に接続されている、第１のセンサ７および第２のセンサ８をさらに示す。第１のセンサ７および第２のセンサ８は、代替的にまた、画像処理デバイス６および／または画像キャプチャデバイス２にも接続されてもよい。例えば、第１のセンサ７は、速度、前進および逆進、静止、駐車、操縦、方向転換などのような車両条件を検出し、第２のセンサ８は、方向指示器、バックギア、輝度センサ、加速度センサなどの車両信号を検出する。第１のセンサ７および第２のセンサ８はまた、付加的にまたは代替的に、第１のセンサ７および第２のセンサ８によって検出される信号に応じて画像キャプチャデバイス２の画像フレームレートを動的に調整するために、それぞれ、運転者からの手動入力、または、画像キャプチャデバイス２の画像センサ３を介して検出される輝度を検出してもよい。例えば、暗い環境内で画像センサ３のフレームレートを低減することによって、画像センサ３の露出時間を延長することができ、以て、より高い感度を達成し、したがって、暗い環境内でのより良好な視認性を達成することができる。

【0038】

図２は、本発明による新たな画像の計算を例示するための概略図を示す。

【0039】

図２に示す画像９、１０は、図１に示す少なくとも１つの画像キャプチャデバイス２によって取得され、後に取得された画像として画像メモリ４に記憶される。図１の画像処理デバイス６は、画像メモリ４に記憶されたこれらの画像９、１０を取り出し、画像９にパーセント係数１を乗算する。さらに、画像処理デバイス６は、画像１０にパーセント係数２を乗算する。パーセント係数の計算または決定は、後により詳細に説明する。

【0040】

特に、画像９内の各ピクセルの輝度情報および／または色情報が、対応するパーセント係数１と乗算され、画像１０内の各ピクセルが、パーセント係数２と乗算される。画像キャプチャデバイス２および画像出力デバイス５のフレームレートに応じて、パーセント係数１、２は互いに異なってもよい。例えば、後により詳細に説明するように、パーセント係数１およびパーセント係数２の合計はそれぞれ１００％および１に等しい。

【0041】

図２に示すように、各画像に対応するパーセント係数を各ピクセルに乗算した後、画像９、１０は合計されて、新たな画像１１が生成される。特に、その輝度情報および／または色情報がパーセント係数１と乗算されている画像９内のピクセル１２と、パーセント係数２と乗算されている画像１０内のピクセル１３とが合計される。特に、画像９内のそれらのピクセルは、画像内で同じ位置に配置されている画像１０のピクセルに加算される。例えば、たとえピクセル１２が画像内容の動きに起因して図１０内のピクセル１４に対応するとしても、図２に示すように、図９内のピクセル１２はピクセル１３に加算される。上記のプロセスは、画像出力デバイス５上に表示される新たな画像１１を計算するために、画像９および１０内の各ピクセルについて実施される。

【0042】

図３は、従来技術による５０ｆｐｓから６０ｆｐｓへのフレームレート増大の第１の例を示す。

【0043】

図３の上の列は、０ｍｓ、２０ｍｓ、．．．、１８０ｍｓにおいて５０ｆｐｓの画像フレームレートで画像キャプチャデバイス２によって取得される１０枚の画像を示す。図３の下の列は、６０ｆｐｓのフレームレートにおいて出力される１１枚の画像を示す。従来技術に従って５０ｆｐｓから６０ｆｐｓへとフレームレートを増大させるために、０ｍｓにおいてキャプチャされる画像が、０ｍｓおよび１６．６ｍｓにおいて連続して２回再生される。同様に、１００ｍｓにおいて画像キャプチャデバイスによってキャプチャされる画像も、１００ｍｓおよび１１６．６ｍｓにおいて連続して２回再生される。画像キャプチャデバイスによって２０ｍｓ、４０ｍｓ、６０ｍｓ、８０ｍｓ、１２０ｍｓ、１４０ｍｓ、１６０ｍｓ、および１８０ｍｓにおいてキャプチャされる画像は各々１回出力されるが、６０ｆｐｓのフレームレートを得るために、図３に示すように、画像出力デバイス上で時間シフトされている。

【0044】

本発明とは対照的に、図３においては、図４を参照して下記に説明するように、画像は画像キャプチャデバイスによってキャプチャされる少なくとも２つの連続する画像から再計算または新たに計算されない。

【0045】

図４は、５０ｆｐｓから６０ｆｐｓへのフレームレート増大のための本発明の第１の実施形態を示す。

【0046】

図４は、中央の列に、図３と同様に、５０ｆｐｓのフレームレートにおいて画像キャプチャデバイスによってキャプチャされる１０枚の画像を示す。第１の実施形態によれば、０ｍｓにおける画像および２０ｍｓにおける画像は、図４の上のライン内の新たな画像１を形成するための図２に記載されているプロセスに従って、０ｍｓにおいてキャプチャされる画像をパーセント係数１．０と乗算し、２０ｍｓにおいてキャプチャされる画像をパーセント係数０．０と乗算し、新たな画像１を形成するために結果もたらされる画像を合計することによって処理される。０．０および１．０のパーセント係数に起因して、この場合の新たに計算される画像１は、０ｍｓにおいて取得される画像と同一である。

【0047】

図４に示すように、新たな画像１は、２０ｍｓにおいて画像出力デバイス５上で出力される。さらに図４に示すように、０ｍｓおよび２０ｍｓにおいて取り出された２つの画像が、さらに計算されて、図４の上のラインに示すように、新たな画像２になる。この目的のために、０ｍｓにおいて取得される画像はパーセント係数０．１７と乗算され、２０ｍｓにおいて取得される画像はパーセント係数０．８３と乗算される。図２に記載されているように、結果もたらされる画像が合計されて、新たな画像２が形成される。新たに計算される画像２は、３６．６ｍｓにおいて出力される。同様に、図４の上のラインに示すように、画像３は、画像キャプチャデバイスによって２０ｍｓにおいてキャプチャされる画像、および、４０ｍｓにおいてキャプチャされる後続の画像から、２０ｍｓにおいてキャプチャされる画像をパーセント係数０．３３と乗算し、４０ｍｓにおいてキャプチャされる画像をパーセント係数０．６７と乗算し、新たな画像３を形成するために結果もたらされる画像を合計することによって計算される。

【0048】

図４の上のラインは、５０ｆｐｓのフレームレートを６０ｆｐｓに変換するためのパーセント係数を決定するためのグリッド（ラスタ）に対応する。グリッドは、例えば、上述したようにメモリ内で予め規定されるか、または、実行時間において計算される。グリッドは、図７を参照することによって後に明らかになるように、画像キャプチャデバイスのフレームレート、および、画像出力デバイスのフレームレートに応じて変化する。

【0049】

図４に示すパーセント係数は、少なくとも２つの連続してキャプチャされた画像の時間位置に対する、新たに計算された画像の時間位置に対応する。すなわち、パーセント係数は、時間的基準に基づいて、すなわち、画像が出力される時点と画像がキャプチャされる時点との間の時間的関係または距離に基づいて実行される、キャプチャされる画像のある種の重み付けに対応する。例えば、図４の上のラインの新たに生成される画像２は、３６．６ｍｓにある、すなわち、図４の中央ラインにおける２０ｍｓにおいてキャプチャされる画像と４０ｍｓにおいてキャプチャされる画像との間にある。したがって、２０ｍｓにおいてキャプチャされる画像が乗算されるパーセント係数は、この時間的距離（３６．６ｍｓ－２０ｍｓ）を、５０ｆｐｓにおける２つの連続する画像の時間的距離（２０ｍｓ）によって除算することによって計算される。新たな画像２を生成するために０ｍｓにおいてキャプチャされる画像が乗算されるパーセント係数は、４０ｍｓにおいてキャプチャされる画像と新たに生成される画像２との間の時間的距離（４０ｍｓ－３６．６ｍｓ）を、５０ｆｐｓにおける２つの連続する画像の時間的距離（２０ｍｓ）によって除算することによって計算される。

【0050】

図４に示すように、上述したものと同じように、パーセント係数は、残りのキャプチャされる画像のグリッドから決定され、新たな画像３～１１を生成するために使用される。

【0051】

図４に示すように、新たに生成される画像１は、２０ｍｓにおいて出力され、上述したようにパーセント係数１および０を使用して、０ｍｓおよび２０ｍｓにおいて取得される画像から計算される。新たに生成される画像２は、３６．６ｍｓにおいて出力され、パーセント係数０．１７および０．８３を用いて、０ｍｓおよび２０ｍｓにおいて取得される画像から生成される。新たに生成される画像３は、５３．３ｍｓにおいて出力され、パーセント係数０．３３および０．６７を用いて、２０ｍｓおよび４０ｍｓにおいてキャプチャされる画像から生成される。同様に、新たに生成される画像４～１１は、６０ｆｐｓのフレームレートにおいて画像出力デバイス上で出力される。

【0052】

図５は、５０ｆｐｓから６０ｆｐｓへのフレームレート増大のための第２の実施形態を示す。

【0053】

第２の実施形態は、付加的に、係数決定のためのグリッドが、図５に示すように、初期位相オフセットを備えるという点において、第１の実施形態と異なる。初期位相シフトは、図４に示すグリッドが時間的にシフトされることを意味する。図５に示す第２の実施形態によれば、図４のグリッドが、第１の新たに生成される画像が８．３ｍｓにおいて生成されるように、右にシフトされている。０ｍｓおよび２０ｍｓにおいて取得される画像の時間位置に対する８．３ｍｓの時間位置は、上述したように計算される、パーセント係数０．５８および０．４２をもたらす。図４と同様に、新たな画像１を計算するために使用されるパーセント係数の合計は、１００％に等しい。初期位相オフセットを有する第２の実施形態には、可能な限り少数の新たに計算される画像が、キャプチャされる画像に一致するという利点がある。再び図４を参照すると、例えば、２０ｍｓおよび１２０ｍｓの時点において出力される再計算された画像１および７は、２０ｍｓおよび１００ｍｓにおいてキャプチャされる画像と同一である。図５に示すように、位相シフトに起因して、新たに生成される画像１～１１のいずれも、キャプチャされる画像のいずれとも同一でない。

【0054】

図５に示すように、出力される新たな画像１は、０ｍｓおよび２０ｍｓにおいて得られる画像からパーセント係数０．５８および０．４２を用いて計算され、新たに出力される新たな画像２は、２０ｍｓおよび４０ｍｓにおいて得られるかまたはキャプチャされる画像からパーセント係数０．７５および０．２５を用いて計算され、新たに出力される画像３は、４０ｍｓおよび６０ｍｓにおいて得られる画像からパーセント係数０．９２および０．０８を用いて計算され、新たに出力される画像４は、４０ｍｓおよび６０ｍｓにおいて取得される画像からパーセント係数０．０８および０．９２を用いて計算され、新たな画像５は、６０ｍｓおよび８０ｍｓにおいて得られる画像からパーセント係数０．２５および０．７５を用いて計算され、以下同様である。

【0055】

図６は、従来技術による４５ｆｐｓから６０ｆｐｓへのフレームレート増大の第２の例を示す。

【0056】

図６の上のラインは、４５ｆｐｓにおいて画像キャプチャデバイスによってキャプチャされる９枚の画像を示す。図６の下のラインは、６０ｆｐｓにおける画像出力デバイス上の出力を示す。４５ｆｐｓから６０ｆｐｓへの増大は、従来技術の第２の例によれば、０ｍｓ、６６．６ｍｓおよび１３３．３ｍｓにおいて記録される画像を連続して２回再生することによって達成される。例えば、４５ｆｐｓから６０ｆｐｓへのフレームレート増大を得るために、０ｍｓにおいて記録される画像は、０ｍｓおよび１６．６ｍｓにおいて２回再生され、６６．６ｍｓにおいて記録される画像は、６６．６ｍｓおよび８３．３ｍｓにおいて再生され、１３３．３ｍｓにおいて記録される画像は、１３３．３ｍｓおよび１５０ｍｓにおいて再生される。

【0057】

対照的に、図７は、本発明による４５ｆｐｓから６０ｆｐｓへのフレームレート増大の第３の実施形態を示す。図４の第１の実施形態と同様に、４５ｆｐｓから６０ｆｐｓへのフレームレート増大は、位相シフトを使用しない。図７に示すように、図７の上の列のグリッドは、新たに生成される画像の間の時間的間隔が異なるという点において、図４の係数決定のためのグリッドとは異なる。これは、第３の実施形態によれば、５０ｆｐｓから６０ｆｐｓへの増大の代わりに、４５ｆｐｓから６０ｆｐｓへのフレームレート増大があるという事実から生じる。

【0058】

パーセント係数の計算、パーセント係数を使用した新たな画像の生成、および、新たに生成される画像の対応する出力は、第１の実施形態について上述したのと同様に実施され、繰り返さない。

【0059】

図８は、本発明による４５ｆｐｓから６０ｆｐｓへのフレームレート増大の第４の実施形態を示す。第４の実施形態は、第２の実施形態と同様に、初期位相オフセットが使用されるという点において、第３の実施形態と異なる。

【0060】

上述したように、また、図４、図５および図７、図８から明らかに分かるように、新たな画像を計算するためのパーセント係数の合計は、それぞれ１００％および１である。画像を明るくすることが所望される場合、パーセント係数は、合計が１００％よりも大きくなるように増大されてもよい。画像を暗くする場合、合計は１００％未満とすることができる。

【0061】

図９は、画像キャプチャデバイスの画像センサの画像フレームレートを、画像出力デバイスの画像フレームレートに一致させるための、本発明によるフローチャートを示す。

【0062】

ステップＳ１において、画像が第１のフレームレート（画像センサのフレームレート）において連続的にキャプチャされる。ステップＳ２において、キャプチャされた画像がバッファメモリに記憶される。ステップＳ３において、少なくとも１つの新たな画像が、バッファに記憶されている、２つの連続してキャプチャされた画像から計算される。ステップＳ３については、図１０を参照してより詳細に説明する。ステップＳ４において、新たに計算された各画像が、画像出力デバイスのフレームレートに一致するフレームレートにおいて出力される。

【0063】

図１０は、図９に示すステップＳ３をより詳細に例示するフローチャートを示す。

【0064】

ステップＳ３１において、新たな画像を生成するために、キャプチャされた各画像が、上述したように決定される、それぞれの所定のパーセント係数と乗算される。ステップＳ３２において、乗算によって得られた少なくとも２つの連続する画像の合計が実施される。これに関しては、図２の上記の説明も参照される。

【0065】

本明細書および／または特許請求の範囲に開示されているすべての特徴は、元の開示の目的のために、ならびに、実施形態および／または特許請求の範囲内の特徴の組み合わせとは無関係に特許請求される発明を限定する目的のために、別個かつ互いから独立していると考えられるべきであることは明示的に強調しておく。すべての範囲の指示または単位のグループの指示は、特にまた範囲指示の限定として、元の開示の目的のために、および、特許請求される発明を限定する目的のために、任意の可能な中間値または単位のサブグループを開示することは明示的に述べておく。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】