(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-07-20
(54)【発明の名称】画像強調方法、画像強調装置、および画像強調システム
(51)【国際特許分類】
H04N 23/95 20230101AFI20230712BHJP
H04N 23/45 20230101ALI20230712BHJP
G06T 5/00 20060101ALI20230712BHJP
G06T 1/00 20060101ALI20230712BHJP
G06T 3/40 20060101ALI20230712BHJP
G06T 5/50 20060101ALI20230712BHJP
【ＦＩ】
H04N23/95
H04N23/45
G06T5/00 710
G06T1/00 510
G06T3/40
G06T5/50
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022579822
(86)(22)【出願日】2021-06-23
(85)【翻訳文提出日】2023-02-21
(86)【国際出願番号】 EP2021067128
(87)【国際公開番号】W WO2021259994
(87)【国際公開日】2021-12-30
(31)【優先権主張番号】20305687.4
(32)【優先日】2020-06-23
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】516077769
【氏名又は名称】プロフジー
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ダニエル・ペッローネ
(72)【発明者】
【氏名】ティボー・ルブラン
(72)【発明者】
【氏名】シルヴァン・ブローアン
【テーマコード（参考）】
5B057
5C122
【Ｆターム（参考）】
5B057BA02
5B057BA12
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CD05
5B057CE02
5B057CE03
5B057CE04
5B057DA16
5B057DB02
5B057DB06
5B057DB09
5C122DA03
5C122DA30
5C122EA22
5C122EA55
5C122FC02
5C122FC13
5C122FF11
5C122FG03
5C122FH01
5C122FH02
5C122FH22
5C122FH23
5C122HA35
5C122HA88
5C122HB01
5C122HB02
5C122HB10
(57)【要約】
- フレームベースセンサによって、基準画像がアーチファクトを含み露出持続時間を有する、シーンの基準画像フレームを取得するステップと、
- 少なくとも露出持続時間中、フレームベースセンサと同期するイベントベースセンサによって、イベントのストリームを取得するステップであって、イベントが、基準画像に対応するシーンの輝度変化を符号化する、ステップと、
- イベントのストリームを用いて基準画像フレームからアーチファクトなしの補正済み画像フレームを導出するステップと
を含む画像強調方法。
- 少なくとも露出持続時間中、フレームベースセンサと同期するイベントベースセンサによって、イベントのストリームを取得するステップであって、イベントが、基準画像に対応するシーンの輝度変化を符号化する、ステップと、
- イベントのストリームを用いて基準画像フレームからアーチファクトなしの補正済み画像フレームを導出するステップと
を含む画像強調方法。
【特許請求の範囲】
【請求項1】
- フレームベースセンサによって、アーチファクトを含み露出持続時間を有する、シーンの基準画像フレームを取り込むステップと、- 少なくとも前記露出持続時間中、前記フレームベースセンサと同期するイベントベースセンサによって、イベントのストリームを取得するステップであって、前記イベントが、前記基準画像に対応する前記シーンの輝度変化を符号化する、ステップと、
- イベントの前記ストリームを使用して前記基準画像フレームから前記アーチファクトなしの補正済み画像フレームを導出するステップと
を含む、画像強調方法。
【請求項2】
前記基準画像フレームが、基準時間(t_r)において取得され、補正済み画像フレームを導出する前記ステップが、画像時間シフティングのステップを含み、前記基準画像フレームは、前記露出持続時間以内または以外の目標時間(t)における前記補正済み画像フレームへのシフトが、前記イベントと前記基準画像フレームとの間の関係を確立すること、および前記基準時間と前記目標時間との間の時間間隔[t_r,t]中に取得される前記イベントによって符号化される前記輝度変化を蓄積することによって行われる、請求項1に記載の画像強調方法。
【請求項3】
前記基準画像フレームが、ぼかしたフレームであり、前記方法が、前記ぼかしたフレームを鮮明なフレームに変形する画像ぼかし修正のステップを含む、請求項1に記載の画像強調方法。
【請求項4】
前記補正済み画像フレームを再ぼかしするステップを含む、請求項1に記載の画像強調方法。
【請求項5】
前記画像フレームおよび前記イベントにおいて非線形処理を補償するための非線形補償ステップを含む、請求項1に記載の画像強調方法。
【請求項6】
前記基準画像フレームが、第1の解像度および/または第1の色空間を有し、イベントの前記ストリームが、前記第1の解像度および/または前記第1の色空間とは異なる第2の解像度および/または第2の色空間を有し、前記方法が、前記基準画像フレームとイベントの前記ストリームとの間の解像度および/または色空間の差を補償するための解像度および色復元のステップをさらに含む、請求項1から5のいずれか一項に記載の画像強調方法。
【請求項7】
前記フレームベースセンサが、センサ素子の行を含んでいるローリングシャッターセンサであり、補正済み画像フレームを導出する前記ステップが、前記ローリングシャッターセンサの各行について順次進められる、請求項1に記載の画像強調方法。
【請求項8】
前記露出持続時間以内または以外の異なる時間において分布する複数の前記補正済み画像フレームを生成するステップを含む、請求項1に記載の画像強調方法。
【請求項9】
異なる露出持続時間において導出される複数の前記補正済み画像フレームを位置合わせするステップを含む、請求項1に記載の画像強調方法。
【請求項10】
- フレームベースセンサを含んでいるフレームベースカメラ、- イベントベースセンサを含んでいるイベントベースカメラであって、前記フレームベースカメラおよび前記イベントベースカメラが、同じシーンの少なくとも一部を観察し、それぞれ、画像フレームと、前記シーンに対応するイベントのストリームとを生成し、前記フレームベースカメラおよび前記イベントベースカメラが、同期している、イベントベースカメラ、ならびに
- 請求項1に記載の方法を実行するためのプロセッサ
を備える画像強調装置。
【請求項11】
- 画像フレームと、観察するシーンに対応するイベントのストリームとを生成するようになされたカメラ、- 請求項1に記載の方法を実行するためのプロセッサ
を備える画像強調装置。
【請求項12】
- アーチファクトを含み露出持続時間を有する基準画像を取得するようになされ、少なくとも前記露出持続時間中、前記基準画像に対応するシーンの輝度変化を符号化するイベントのストリームを取得するようにさらになされた取込みモジュール、- イベントの前記ストリームを使用して前記基準画像から前記アーチファクトなしの補正済み画像フレームを導出するようになされた画像強調モジュール
を備える画像強調システム。
【請求項13】
前記基準画像が、基準時間において取得され、前記画像強調モジュールが、画像時間シフティングモジュールを備え、前記基準画像フレームは、前記露出持続時間以内または以外の目標時間において前記補正済み画像フレームへのシフトが、前記イベントと前記基準画像フレームとの間の関係を確立することによって、および前記基準時間と前記目標時間との時間間隔中に得られる前記イベントによって符号化される前記輝度変化を累積することによって行われる、請求項12に記載の画像強調システム。
【請求項14】
前記画像強調モジュールが、前記画像フレームおよび前記イベントにおける非線形処理を補償するための非線形補償モジュールを備える、請求項12に記載の画像強調システム。
【請求項15】
前記基準画像が、第1の解像度および/または第1の色空間を有し、イベントの前記ストリームが、前記第1の解像度および/または前記第1の色空間とは異なる第2の解像度および/または第2の色空間を有し、前記画像強調モジュールが、前記基準画像とイベントの前記ストリームとの間の解像度および/または色空間の差を補償するための解像度および色復元モジュールをさらに備える、請求項12に記載の画像強調システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理技術に関し、詳細には、画像強調に関する。
【背景技術】
【0002】
従来の画像ならびに動画カメラおよびシステムは、一般に、いくつかの要因によって制限されている。具体的には、センサ設計レベルにおいては、より低コストで、より優れた感度の画像センサをより小さくするために、画像センサは、ローリングシャッター読出しを使用することが多い。この読出しは、利点をもたらす一方、フレームを取り込む間に起きるモーションに起因してアーチファクトにつながる可能性がある。
【0003】
加えて、動画および画像が従来のカメラによって取り込まれるとき、露出持続時間の変更などのカメラの設定は、通常の露出/ISOトレードオフのような捕捉のための異なるISOトレードオフをもたらし、露出持続時間の変更では、多かれ少なかれ光は積分される(integrated)が、モーションがぼかした画像を創出するおそれは依然として存在する。短い露出持続時間を維持すると、モーションのぼかしを低減させることができるが、光が少ない状況では、これにより、暗すぎる画像が創出されることになる。後者の場合、センサのISOゲインを高めることによって、より小さい入力信号を補償することが一般的である。しかしながら、このことにより、センサのノイズも増幅させる。
【0004】
その上、シーンによっては、光が多い部分と暗い領域が同時にあることもある。これらのシーンの場合、光が多い部分をよく露出させる露出と、暗い領域をより良く露出させる別の露出とから選択しなければならないことが多い。この問題に対する通常の解決策は、いくつかの画像を組み合わせ、何らかの非線形関数を用いて測定済み光強度を圧縮して、HDR画像を創出することである。しかしながら、この解決策には、いくつかの、普通は、2個から8個の画像の位置合せが必要であり、したがって、従来の画像および動画の捕捉のための高フレームレートの動画には、コンピュータ計算上、複雑すぎる。
【0005】
当技術分野においては、従来の撮像および動画の捕捉の上述した制限を補償しようとするいくつかの解決策がすでに存在する。たとえば、WO2014042894A1、米国特許第10194101B1号、米国特許第9554048B2号には、特定のローリングシャッター効果を除去する方法について開示されており、WO2016107961A1、EP2454876B1、および米国特許第8687913B2号には、ローリングシャッター効果なしでぼかしを除去する方法について開示されており、他の何らかの論文では、ローリングシャッターおよびぼかしを除去せずに、高ダイナミックレンジ(high dynamic range、HDR)画像および動画をコンピュータ計算することについて論じられている。しかしながら、それらは、通常、特定のアーチファクトに合わせられており、および/または重要なコンピュータ計算複雑性を孕んでいる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】WO2014042894A1
【特許文献2】米国特許第10194101B1号
【特許文献3】米国特許第9554048B2号
【特許文献4】WO2016107961A1
【特許文献5】EP2454876B1
【特許文献6】米国特許第8687913B2号
【特許文献7】WO2020/002562A1
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の目的は、これらの弱点を改良することである。
【課題を解決するための手段】
【0008】
この点に関連して、本発明の1つの態様によれば、画像強調方法が提供され、この方法は、
- フレームベースセンサによって、アーチファクトを含み露出持続時間を有する、シーンの基準画像フレームを取得するステップと、
- 少なくとも基準画像フレームの露出持続時間中、フレームベースセンサと同期するイベントベースセンサによって、イベントのストリームを取得するステップであって、イベントが、基準画像に対応するシーンの輝度変化を符号化する、ステップと、
- イベントのストリームを用いて基準画像からアーチファクトなしの補正済み画像フレームを導出するステップと
を含む。
- フレームベースセンサによって、アーチファクトを含み露出持続時間を有する、シーンの基準画像フレームを取得するステップと、
- 少なくとも基準画像フレームの露出持続時間中、フレームベースセンサと同期するイベントベースセンサによって、イベントのストリームを取得するステップであって、イベントが、基準画像に対応するシーンの輝度変化を符号化する、ステップと、
- イベントのストリームを用いて基準画像からアーチファクトなしの補正済み画像フレームを導出するステップと
を含む。
【0009】
そのため、本発明によるそのような構成によれば、フレーム画像およびイベントデータを組み合わせて、特に、光の少ない中にモーションがあるシーンについて、ダイナミックレンジを大きくして、ウォブル(ジェロ効果としても知られている)、スキュー、空間的エイリアシング、時間的エイリアシングなどの画像アーチファクトがフレーム画像から除去される。
【0010】
本発明による一実施形態においては、基準画像フレームは、基準時間において取得され、補正済み画像フレームを導出するステップは、画像時間シフティングのステップを含み、ここでは、基準画像フレームは、露出持続時間以内または以外の目標時間における補正済み画像フレームへのシフトが、イベントと基準画像フレームとの間の関係を確立すること、および基準時間と目標時間との間の時間間隔[t_r,t]中に取得されるイベントによって符号化される輝度変化を蓄積することによって、異なる時間において、すなわち、目標時間において捕捉された画像をシフトさせるように行われる。
【0011】
さらには、本発明によれば、基準画像フレームは、ぼかしたフレームであり、方法は、たとえば、露出持続時間が長すぎるとき、鮮明な基準画像を取得するように、ぼかしたフレームを鮮明な画像に回復するための画像ぼかし修正のステップを含む。
【0012】
代替として、本発明による方法は、特に、速いモーションシーンにおいて画像をよりリアルにするより大きい露出持続時間効果を鮮明な画像からシミュレートするように、補正済み画像フレームを再度ぼかすステップを含む。
【0013】
代替として、本発明による方法は、画像フレームとイベントとの両方において非線形処理を補償するための非線形補償のステップを含む。
【0014】
その上、本発明の別の実施形態においては、基準画像は、第1の解像度および/または第1の色空間を有し、イベントのストリームは、第1の解像度および/または第1の色空間とは異なる第2の解像度および/または第2の色空間を有し、方法は、基準画像とイベントのストリームとの解像度および/または色空間の差を補償するための解像度および色復元のステップをさらに含む。
【0015】
本発明のさらなる別の実施形態においては、画像フレームは、センサ素子(画素)の行を含んでいるローリングシャッターセンサを含んでいるフレームベースカメラによって生成される。加えて、たとえば、補正済み画像フレームを導出するステップは、ローリングシャッターセンサの行ごとに順次進められる。
【0016】
本発明のさらなる別の実施形態においては、方法は、露出持続時間における異なる時間に分布する複数の補正済み画像フレームを生成するステップを含む。
【0017】
代替として、本発明による方法は、異なる露出持続時間において導出される複数の補正済み画像フレームを位置合わせするステップを含む。
【0018】
本発明の別の態様によれば、画像強調装置がさらに提供され、この画像強調装置は、
- フレームベースセンサを含んでいるフレームベースカメラ、
- イベントベースセンサを含んでいるイベントベースカメラであって、フレームベースカメラおよびイベントベースカメラが、同じシーンを観察し、それぞれ、画像フレームと、シーンに対応するイベントのストリームとを生成し、フレームベースカメラおよびイベントベースカメラが、同期している、イベントベースカメラ、ならびに
- 上述した方法を実行するためのプロセッサ
を備える。
- フレームベースセンサを含んでいるフレームベースカメラ、
- イベントベースセンサを含んでいるイベントベースカメラであって、フレームベースカメラおよびイベントベースカメラが、同じシーンを観察し、それぞれ、画像フレームと、シーンに対応するイベントのストリームとを生成し、フレームベースカメラおよびイベントベースカメラが、同期している、イベントベースカメラ、ならびに
- 上述した方法を実行するためのプロセッサ
を備える。
【0019】
代替として、本発明のさらなる別の態様によれば、別の画像強調装置がさらに提供され、この画像強調装置は、
- 画像フレームと、シーンに対応するイベントのストリームとを生成するようになされたカメラ、
- 上述した方法を実行するためのプロセッサ
を備える。
- 画像フレームと、シーンに対応するイベントのストリームとを生成するようになされたカメラ、
- 上述した方法を実行するためのプロセッサ
を備える。
【0020】
さらには、本発明のさらなる別の態様によれば、画像強調システムがさらに提供され、この画像強調システムは、
- アーチファクトを含み得、露出持続時間を有する基準画像を取得するように、および基準画像フレームの露出持続時間中、シーンに対応するイベントのストリームを取得するようになされた取込みモジュール、
- イベントのストリームを用いて基準画像からアーチファクトのない補正済み画像フレームを導出するようになされた画像強調モジュール
を備える。
- アーチファクトを含み得、露出持続時間を有する基準画像を取得するように、および基準画像フレームの露出持続時間中、シーンに対応するイベントのストリームを取得するようになされた取込みモジュール、
- イベントのストリームを用いて基準画像からアーチファクトのない補正済み画像フレームを導出するようになされた画像強調モジュール
を備える。
【0021】
本発明によるシステムの1つの実施形態においては、画像強調モジュールは、イベントによって符号化された輝度変化を蓄積することによって、露出持続時間以内または以外の任意の時間(t)において、基準画像フレームを補正済み画像フレームにシフトするための画像時間シフティングモジュールを含む。
【0022】
本発明によるシステムの別の実施形態においては、画像強調モジュールは、画像フレームおよびイベントにおける非線形処理を補償するための非線形補償モジュールを備える。
【0023】
本発明によるシステムのさらなる別の実施形態においては、基準画像は、第1の解像度および/または第1の色空間を有し、イベントのストリームは、第1の解像度および/または第1の色空間とは異なる第2の解像度および/または第2の色空間を有し、画像強調モジュールは、基準画像とイベントのストリームとの解像度および/または色空間の差を補償するための解像度および色復元モジュールをさらに備える。
【0024】
本発明は、標準フレームベース画像センサを、たとえば、DVSセンサからのイベントストリームとペアリングすることによってその性能を拡張して、画像センサの従来のトレードオフを拡張し、シーン特性により良く一致する動画および画像の取込みを可能にする。この点に関連して、本発明は、コンピュータ計算の複雑さ要件を限定した、光の少ない中にモーションがあるシーンの、ダイナミックレンジの大きい画像および動画の取込みを可能にする。
【0025】
本発明の他の特徴および利点については、添付の図面を参照して、本明細書における以降の説明に見られる。
【図面の簡単な説明】
【0026】
【図1】フレームベースセンサによって取り込まれる画像、および本発明による方法によって補正される画像についての露出ウィンドウを示す図である。
【図2】本発明による第1の例示的な方法の機能ブロック図である。
【図3】本発明による第2の例示的な方法の機能ブロック図である。
【図4】本発明による第3の例示的な方法の機能ブロック図である。
【図5】本発明による第4の例示的な方法の機能ブロック図である。
【図6】フレームベースセンサによって取り込まれる2つの画像、および本発明による方法によって補正される多数の画像についての露出ウィンドウを示す図である。
【発明を実施するための形態】
【0027】
本発明の文脈は、従来の画像フレームベースカメラと、イベントベースカメラとを備える例示的な画像取込みアーキテクチャを含み、ここでは、フレームベースカメラ、およびイベントベースカメラは、物体またはシーン全体が、フレームベースカメラおよびイベントベースカメラに対して移動している同じシーンを観察しており、フレームベースカメラは、シーン(移動している物体を含む)の画像フレームを取り込み、生成し、イベントベースカメラは、画像フレームの捕捉中(フレーム周期)に、および可能性として前後に取り込まれた移動している物体を含む同じシーンに対応するイベントのストリームを生成する。
【0028】
具体的には、フレームベースカメラは、たとえば、CMOSセンサなどのセンサの行を有するローリングシャッターセンサを有し、センサの行は、行ごとに、順次、高速にシーンを横切って走査する。そのため、フレーム周期と呼ばれる1つの周期中にセンサの最初の行からセンサの最後の行まで走査したとき、画像が取り込まれ、または生成される。
【0029】
イベントベースカメラは、フレームベースカメラによって観察される同じシーンに向いている非同期視覚センサを含んでおり、同じシーンから光を受け取る。非同期視覚センサは、感光性素子をそれぞれが含む感知素子(画素)の配列を含む。各感知素子(画素)は、シーンにおける光の変動に対応するイベントを創出する。非同期視覚センサは、コントラスト検出(Contrast Detection、CD)センサまたはダイナミック視覚センサ(dynamic vision sensor、DVS)とすることもあり得る。
【0030】
代替として、本発明は、DAVISセンサまたは非同期タイムベース画像センサ(asynchronous time-based image sensor、ATIS)など、フレームとイベントとの両方を記録する単一のセンサを含む別の可能な例示的画像取込みアーキテクチャを使用してもよい。
【0031】
本発明においては、フレームデータをイベントデータに同期させる必要がある。
【0032】
具体的には、画像フレームベースセンサとDVSまたはCDセンサとの組合せの場合には、2つのセンサのタイムベースを、センサ間で同期信号を交換することによって同期させることが可能である。
【0033】
たとえば、1つの可能性は、フレーム捕捉の露出持続時間中に、フラッシュをトリガするのに通常使用されるフレームベースカメラからのフラッシュアウト信号に依存し、この信号を使用して、露出持続時間の開始をCDセンサに伝えることである。次いで、CDセンサは、受信した信号をそれ自体のタイムベースにタイムスタンプすることができ、それにより、処理用素子は、イベントタイムスタンプをフレームベースセンサの露出持続時間に関係付けることができる。
【0034】
本発明は、フレームとイベントとの関係に基づいているので、そのような同期は重要であり、本明細書において以降、それらの関係について論じる。
【0035】
イベントベースカメラ(DVSまたはCD)のイベントは、シーン内の輝度の時間的進展に関係付けられる。イベントベースセンサは、基準状態に対する輝度の変化を符号化する「イベント」を記録する。この基準状態を、基準時間t_rにおける基準画像L(t_r)と呼ぶ。次いで、イベントベースカメラは、
log(L(x,t)/L(x,t_r))>c+
ならば、時間tにおいて(画素)位置xに正のイベントを創出し、
log(L(x,t)/L(x,t_r))<c-
ならば、負のイベントを創出する。
log(L(x,t)/L(x,t_r))>c+
ならば、時間tにおいて(画素)位置xに正のイベントを創出し、
log(L(x,t)/L(x,t_r))<c-
ならば、負のイベントを創出する。
【0036】
ただし、c+およびc-は、それぞれ正のしきい値および負のしきい値である。この場合、対数関数の使用は、ほんの一例にすぎず、これらの関係は、何らかの単調関数および連続関数に適用することができることに留意されたい。また、特定のイベントeに関連付けられる極性は、epによって定義される。epは、
ep=τ(log(L(x,t)/L(x,t_r)),c+,c-)
と書くことができ、ただし、x>=c+ならば、τ(x,c+,c-)=1であり、x∈(-c-,c+)ならば、0であり、x≦-c-ならば-1である。
ep=τ(log(L(x,t)/L(x,t_r)),c+,c-)
と書くことができ、ただし、x>=c+ならば、τ(x,c+,c-)=1であり、x∈(-c-,c+)ならば、0であり、x≦-c-ならば-1である。
【0037】
時間間隔T=[t_r,t_n]において、位置xで一連のイベントE[t_r,t_n]=e1,…,ekを受け取った場合、
Σe∈E[t_r,t_n]ep=τ(log(L(x,t1)/L(x,t_r)),c+,c-)+…+τ(log(L(x,t_n)/L(x,t_(n-1))),c+,c-)≒log(L(x,t_n)/L(x,t_r)),c+,c-)
が得られる。
Σe∈E[t_r,t_n]ep=τ(log(L(x,t1)/L(x,t_r)),c+,c-)+…+τ(log(L(x,t_n)/L(x,t_(n-1))),c+,c-)≒log(L(x,t_n)/L(x,t_r)),c+,c-)
が得られる。
【0038】
h(x,E[t_r,t_n],c+,c-)=Σe+∈E[t_r,t_n],ep>0c++Σe-∈E[t_r,t_n],ep<0c-
を定義することによって、
(1) h(x,E[t_r,t_n],c+,c-)≒log(L(x,t_n)/L(x,t_r),c+,c-)
が得られる。
を定義することによって、
(1) h(x,E[t_r,t_n],c+,c-)≒log(L(x,t_n)/L(x,t_r),c+,c-)
が得られる。
【0039】
式(1)は、各画素に独立して適用される。
【0040】
この場合には、式(1)は、異なる時間における2つの画像と、これらの時間相互間に受信したイベントとの関係を確立する。次に、この関係を使用して、本発明により画像を操作し改良する方法について論じる。
【0041】
本発明の文脈においては、本発明は、次のモジュールに基づいた画像強調方法を実行するようになされたプロセッサまたはコンピュータ計算ユニットも備える。
【0042】
画像時間シフティングモジュール
式(1)から、イベントE[t_r,t]によって符号化される輝度変化を累積し、輝度L(x,t_r)を更新することによって、t_r<tの場合の鮮明な基準フレームL(x,t_r)から任意の時間tにおける鮮明な画像L(x,t)を
(2) L(x,t)≒L(x,t_r)eh(x,E[t_r,t],c+,c-)
として導出することが可能である。
式(1)から、イベントE[t_r,t]によって符号化される輝度変化を累積し、輝度L(x,t_r)を更新することによって、t_r<tの場合の鮮明な基準フレームL(x,t_r)から任意の時間tにおける鮮明な画像L(x,t)を
(2) L(x,t)≒L(x,t_r)eh(x,E[t_r,t],c+,c-)
として導出することが可能である。
【0043】
t_r>tである場合には、
h(x,E[t_r,t],c+,c-)=-(Σe+∈E[t_r,t],ep>0 c++Σe-∈E[t_r,t],ep<0 c-)
である。
h(x,E[t_r,t],c+,c-)=-(Σe+∈E[t_r,t],ep>0 c++Σe-∈E[t_r,t],ep<0 c-)
である。
【0044】
式(2)により、時間t_rにおける基準画像および時間間隔[t_r,t]において記録されるイベントを所与として、任意の時間tにおける画像を推定することができる。この式は、本発明による方法の基本モジュールのうちの1つ、異なる時間に捕捉された画像を「シフトさせる」ことを可能にする画像時間シフティングモジュールを形成する。
【0045】
画像ぼかし修正モジュール
式(2)は、基準画像が、時間t_rにおいて利用可能であることを仮定している。このことは、露出持続時間が十分に短い場合(すなわち、画像が鮮明である場合)、当てはまることもある。しかしながら、露出持続時間が長すぎる場合、シーンの中にモーションがある場合、またはシーンとカメラとの間に相対的なモーションがある場合には、鮮明な基準画像を利用することはできない。
式(2)は、基準画像が、時間t_rにおいて利用可能であることを仮定している。このことは、露出持続時間が十分に短い場合(すなわち、画像が鮮明である場合)、当てはまることもある。しかしながら、露出持続時間が長すぎる場合、シーンの中にモーションがある場合、またはシーンとカメラとの間に相対的なモーションがある場合には、鮮明な基準画像を利用することはできない。
【0046】
したがって、t_rにおいて鮮明な画像をシフトさせるように保証することが必要である。数学的には、ぼかしフレームは、
B=1/T∫f+T/2 f-T/2L(t)dt
と定義することができ、ただし、Bは、ぼかした画像であり、fは、露出持続時間内の所与の時間であり、基準時間として使用され、Tは、露出持続時間であり、L(t)は、時間tにおける鮮明な画像である。
B=1/T∫f+T/2 f-T/2L(t)dt
と定義することができ、ただし、Bは、ぼかした画像であり、fは、露出持続時間内の所与の時間であり、基準時間として使用され、Tは、露出持続時間であり、L(t)は、時間tにおける鮮明な画像である。
【0047】
式(2)をL(t)の場所に代入し、
(3) L(f)≒T*B/∫f+T/2 f-T/2eh(E[f,t],c+,c-)dt
を得ることができる。
(3) L(f)≒T*B/∫f+T/2 f-T/2eh(E[f,t],c+,c-)dt
を得ることができる。
【0048】
式(3)は、画像ぼかし修正モジュールを定義し、それにより、ぼかした画像から露出持続時間内の何らかの任意の時間において鮮明な画像を回復させることが可能になる。画像ぼかし修正モジュールおよび画像時間シフティングモジュールにより、何らかの所要の時間tにおいて鮮明な画像を再構成させることができる。
【0049】
画像再ぼかしモジュール
写真家または動画制作者は、時々、自分の画像/動画に何らかのぼかしを維持する/追加することを望むことがある。この点に関連して、画像は、露出中に起きた可能な異なる画像をすべて単純に平均化することによって、任意の露出持続時間T_nによりシミュレートされ得る。たとえば、時間t_rにおいて鮮明な画像が再構成され、露出T_nにより時間t_rにおいて画像がセンタリングされる場合、それは、
(4) B≒L(t_r)/T∫t_r+T_n/2 t_r-T_n/2eh(E[t_r,t],c+,c-)dt
を行うことによってコンピュータ計算され得る。
写真家または動画制作者は、時々、自分の画像/動画に何らかのぼかしを維持する/追加することを望むことがある。この点に関連して、画像は、露出中に起きた可能な異なる画像をすべて単純に平均化することによって、任意の露出持続時間T_nによりシミュレートされ得る。たとえば、時間t_rにおいて鮮明な画像が再構成され、露出T_nにより時間t_rにおいて画像がセンタリングされる場合、それは、
(4) B≒L(t_r)/T∫t_r+T_n/2 t_r-T_n/2eh(E[t_r,t],c+,c-)dt
を行うことによってコンピュータ計算され得る。
【0050】
式(4)は、画像再ぼかしモジュールを定義し、ここでは、より長い露出持続時間が、鮮明な画像からシミュレートされる。
【0051】
解像度および色復元モジュール
上記に定義されたモジュールはそれぞれ、各画素に対して独立して働く。また、上記のモジュールは、DVSセンサなどのイベントベースセンサ画素と、フレーム画素との間に1対1の対応関係があること、ならびにc+およびc-は、各画素について知られていることを仮定している。しかしながら、このことは、センサの組合せについてはさらにそうならないこともある。たとえば、「Image Sensor with a Plurality of Super Pixels」と題されたWO2020/002562A1においては、イベント画素とフレーム画素は、同じセンサにあるが、その間に1対1の対応関係は存在しない。
上記に定義されたモジュールはそれぞれ、各画素に対して独立して働く。また、上記のモジュールは、DVSセンサなどのイベントベースセンサ画素と、フレーム画素との間に1対1の対応関係があること、ならびにc+およびc-は、各画素について知られていることを仮定している。しかしながら、このことは、センサの組合せについてはさらにそうならないこともある。たとえば、「Image Sensor with a Plurality of Super Pixels」と題されたWO2020/002562A1においては、イベント画素とフレーム画素は、同じセンサにあるが、その間に1対1の対応関係は存在しない。
【0052】
そのため、より一般的な方式においては、システムは、異なる空間解像度をもつ2つの別個のセンサを組み合わせることが可能である。その上、通常の従来のセンサは、色画像を創出するのにベイヤーフィルタ(Bayer filter)を使用する。同様に、イベントベースセンサにベイヤーフィルタを載せることができる。この場合には、上述した異なる動作(ぼかし修正、時間シフティング、および再ぼかし)は、色チャンネルごとに適用する必要がある。しかしながら、イベントベースセンサの大半は、ベイヤーフィルタを有しておらず、輝度の変化しか記録しない。そのため、上述した異なるモジュールは、グレースケール画像にしか適用することができない。
【0053】
そのため、異なる数の画素(センサ分解能としても知られている)を備えるフレームベースセンサおよびイベントベースセンサの使用を可能にするために、およびフレームセンサとイベントセンサとの間の色空間の差を考慮するために、本発明は、解像度および色復元モジュールを提案する。
【0054】
そのようなモジュールは、イベントの記録済みバッファから、ぼかし修正モジュール、画像シフティングモジュール、および再ぼかしモジュールに使用する準備ができているイベントのバッファへのマッピングを独立してまたは連続して示すことができる。また、それは、この変形を方法の異なる段において、または出力において行うこともできる。
【0055】
加えて、センサは、理想的ではなく、より具体的には、異なる要因によって変動し得るしきい値を有し、ノイズを受けるものの、解像度および色復元モジュールの出力は、依然として、「色基準付き(color-referenced)」イベントの数学的定義に理想的に従うことが期待される。そのため、この解像度および色復元モジュールは、ノイズおよびアーチファクト除去アルゴリズムとしても働いている。
【0056】
概して、このモジュールは、次のいずれかによって対処される解像度、色復元、理想化の問題のそれぞれについて次のようにいくつかのやり方で実装され得る:
- 機械学習ベースの2つのセンサの較正された歪み、内在パラメータおよび外在パラメータに基づくことができる、再投影アルゴリズムなど、順番に独立して実装される手法を使用すること、または較正された歪み、内在パラメータおよび外在パラメータに基づく手法を、機械学習ベースもしくはモデルベースとすることができるカラー化アルゴリズムとパイプライン化され、やはり可能性として機械学習ベースのノイズ除去モジュールとパイプライン化される、洗練に向けた機械学習手法と混ぜ合せること、
- これらのモジュールのうちの2つにおいて機械学習手法を使用し、得られたモデルを残りのモジュールとペアリングすること、
- エンドツーエンド機械学習手法を使用して、マッピング全体をモデル化すること。
- 機械学習ベースの2つのセンサの較正された歪み、内在パラメータおよび外在パラメータに基づくことができる、再投影アルゴリズムなど、順番に独立して実装される手法を使用すること、または較正された歪み、内在パラメータおよび外在パラメータに基づく手法を、機械学習ベースもしくはモデルベースとすることができるカラー化アルゴリズムとパイプライン化され、やはり可能性として機械学習ベースのノイズ除去モジュールとパイプライン化される、洗練に向けた機械学習手法と混ぜ合せること、
- これらのモジュールのうちの2つにおいて機械学習手法を使用し、得られたモデルを残りのモジュールとペアリングすること、
- エンドツーエンド機械学習手法を使用して、マッピング全体をモデル化すること。
【0057】
これらの手法は、何らかの順序で、順番に置くことができる。
【0058】
次に、解像度および色復元モジュールを実装する異なるサブモジュールのいくつかの例を与える。
【0059】
- イベントベースの解像度および色復元サブモジュール
このサブモジュールは、先に述べたモジュールを適用する前に、イベントのバッファを変形する。
このサブモジュールは、先に述べたモジュールを適用する前に、イベントのバッファを変形する。
【0060】
実際、フレームセンサおよびイベントセンサは、同じシーンにさらされる。したがって、ぼかしたフレームの露出持続時間中に捕捉されるイベントの元のバッファe=(e_i)_i=1..Nを、イベントe'_iの座標がフレームセンサの座標系にあるようにバッファe'=(e'_i)_i=1..N'にマッピングすることが可能である。集合e'は、eと同じ数のイベントを有する必要がないことに注意されたい。
【0061】
また、画像シフティングモジュール、画像ぼかし修正モジュール、および画像再ぼかしモジュールの色画像への適用は、どの色チャンネル変化が光度の変化をトリガしているのかを決定するようにイベントストリームを前処理することによって行うことができる。
【0062】
この前処理は、3D色空間を選択した後、フレームベース座標とすでに位置合わせされているイベントのバッファe'=(e'_i)i=1..N'の、色基準付きイベントe''=(e''_i)_i=1..N''のバッファへのマッピングを見つけることと考えることができ、それにより、
e''_iは、
- log(Ch(x,t)/Ch(x,t_r))>c+_chであり、次いで、極性1およびチャンネルChに帰するときか、
- log(Ch(x,t)/Ch(x,t_r))<c-_chであり、次いで、極性0およびチャンネルChに帰するときか
のいずれかに画素xに存在する。
e''_iは、
- log(Ch(x,t)/Ch(x,t_r))>c+_chであり、次いで、極性1およびチャンネルChに帰するときか、
- log(Ch(x,t)/Ch(x,t_r))<c-_chであり、次いで、極性0およびチャンネルChに帰するときか
のいずれかに画素xに存在する。
【0063】
Chは、3つの色チャンネルのうちのいずれかであり、c+_chおよびc-_chは、e'からe''へのマッピングアルゴリズムに依存する色しきい値である。そのため、e''におけるイベントは、追加の色チャンネル情報を有する。また、この場合には、e'における各イベントについて、使用されたマッピング関数に従って、e''にいくつかのイベントを生成しても、または1つも生成しなくてもよい。
【0064】
したがって、集合eから集合e''に進むためには、概して、入力におけるイベントを所与として、異なる色基準を含むイベントのリストを出力に生成するモデルが必要である、または関数f(e)→[e'']を学習する必要がある。
【0065】
各カメラの内部パラメータ(カメラ行列Kおよびレンズ歪みパラメータD)、2つのカメラ間の回転Rおよび移動T、ならびにシーンの奥行きマップを知ることによって、フレームカメラの各画素について、イベントカメラ上の座標を与えるマップMをコンピュータ計算することができる。次いで、このマップを使用して、各イベントの座標を変形して、それをフレームカメラの座標に取り入れることができる。次いで、イベントを、(x,y)がイベントの位置であり、tが時間であり、pが極性であるベクトルv=[x, y, t, p]と表し、またはバイナリベクトルb=[0...0 1 0...0]、または異なる空間でvを符号化している浮遊小数点ベクトルv^f=[f_1, f_2, f_3, f_4]と表すことができる。次いで、f(e)は、各列が、ベクトル[x,y, t, p, ch]である行列を出力において与えるv、b、またはv^fに関する線形または非線形関数とすることができ、ただし、chは色チャンネルである。行列は、列が有効なイベントであるか否かを示す追加の行を有することができる。この関数は、Mから得られるワーピング関数の線形演算子の連結とすることも、または入力/出力ペアの十分な例を所与として学習することもできる。
【0066】
- 中間解像度および色復元サブモジュール
別の可能な例は、上記のモジュールによって使用される中間マップに働くことによるものである。まず、時間シフティングモジュール、ぼかし修正モジュール、および再ぼかしモジュールがすべて、コンピュータ計算効率のために時間ビン(timebin)において離散化され得る量h(E[t_i, t_j], c-, c+)に働くと考える。
別の可能な例は、上記のモジュールによって使用される中間マップに働くことによるものである。まず、時間シフティングモジュール、ぼかし修正モジュール、および再ぼかしモジュールがすべて、コンピュータ計算効率のために時間ビン(timebin)において離散化され得る量h(E[t_i, t_j], c-, c+)に働くと考える。
【0067】
時間シフティングモジュール、ぼかし修正モジュール、および再ぼかしモジュールへの入力は、イベントのビニングされた和の集まりとすることができる。たとえば、固定された時間ビン幅ΔTによるビニングを使用すると、入力として量(h(E[t_0+i*ΔT, t_0+(I+1)*ΔT], c-,c+)_I=1..Bを使用することができる。離散化はまた、Δkがイベントの数の観点でビンの幅である量(Σ_e+∈i*Δk..(i+1)*Δk,ep>0 c++Σe-∈i*Δk..(i+1)*Δk,ep<0 c-)_i=1..Bを使用することによって、固定されたイベント数により行うことができる。
【0068】
この中間解像度および色復元サブモジュールは、このことを考慮に入れることによって、そのため、その構成モジュールの入力および出力を、それらが、機械学習パイプラインを通じて別個に動作するまたは一緒に抽象化されるかどうかにかかわらず有することによって実装され得る。実際には、量h(E[t_I, t_j], c-, c+)は、行列H＼in Rm_eb×n_eb×Bと表すことができ、ただし、m_eb×n_ebは、イベントベースセンサの分解能であり、Bは、固定された時間幅か、固定されたイベント数かのいずれかによる時間ビンの数である。そのため、このモジュールは、フレームの同じ次元、および選択された数のビンB'を有する等価の行列に変形する関数f:Rm_eb×n_eb×B→Rm_fb×n_fb×B'×chとして定義され得る。また、この場合には、カメラの較正を使用して、fは、カメラ較正から得られるワーピング演算子を含むことができ、またはガイド付きフィルタであっても、もしくはジョイントバイラテラルフィルタであってもよく、または入力/出力のペアを使用して学習してもよい。
【0069】
- ポスト解像度および色復元サブモジュール
最後に、上述したモジュールは、フレームFをイベントの解像度に変換し、色情報を除去し、次いで、Fdにより示されるフレームのそのようなバージョンをぼかし修正することによって適用され、次いで、Ddにより示されるぼかし修正されたFdを元のフレーム解像度に変形し、色情報を再適用することができる。
最後に、上述したモジュールは、フレームFをイベントの解像度に変換し、色情報を除去し、次いで、Fdにより示されるフレームのそのようなバージョンをぼかし修正することによって適用され、次いで、Ddにより示されるぼかし修正されたFdを元のフレーム解像度に変形し、色情報を再適用することができる。
【0070】
この場合には、2つのカメラ画素をマッピングする幾何学的マッピングMが、Fdをぼかし修正するために適用される。また、フレームカメラの元の解像度を維持し、何らかの単純な補間を量h(E[t_I, t_j], c-, c+)に適用することも可能である。一旦、Ddが得られると、それを色バージョンに変形する関数f(フレームカメラの解像度における正確な詳細とともに)が必要である。この関数は、ガイド付きフィルタであっても、もしくはジョイントバイラテラルフィルタであってもよく、または入力/出力のペアを使用して学習してもよい。
【0071】
- 非線形補償モジュール
上述したモジュールは、ISPによって行われる何らかの非線形処理の前にまたは後に、フレームベースセンサから捕捉される画像に適用され得る。後者の場合には、イベントにおいても非線形処理を補償することが必要である。そのため、非線形補償モジュールは、次のように定義するものとする。
上述したモジュールは、ISPによって行われる何らかの非線形処理の前にまたは後に、フレームベースセンサから捕捉される画像に適用され得る。後者の場合には、イベントにおいても非線形処理を補償することが必要である。そのため、非線形補償モジュールは、次のように定義するものとする。
【0072】
カメラ応答関数が同一であると仮定すると、画像時間シフティングモジュール、ぼかし修正モジュール、および再ぼかしモジュールについて説明する式(2)、(3)、および(4)は、
F_1=F_2*f((e_i)_i=1..N)
と書くことができ、ただし、F_1、F_2は、フレームであり、(e_i)_i=1..Nは、イベントストリームであり、fは、変形関数である。
F_1=F_2*f((e_i)_i=1..N)
と書くことができ、ただし、F_1、F_2は、フレームであり、(e_i)_i=1..Nは、イベントストリームであり、fは、変形関数である。
【0073】
そのため、対象のフレームは、F_2であると仮定すると、それを単純な除算によって取り出すことができる。
【0074】
カメラ応答関数が何らかの関数gである場合、上記の関係は、
g(F_1)=g(F_2*f((e_i)_i=1..N))
になる。
g(F_1)=g(F_2*f((e_i)_i=1..N))
になる。
【0075】
非線形処理は、ガンマ補正を含むことが多い。この設定においては、
(F_1)^γ=(F_2)^γ*f((e_I)_I=1..N)^γ
が得られる。
(F_1)^γ=(F_2)^γ*f((e_I)_I=1..N)^γ
が得られる。
【0076】
対象のフレームの取出しは、
(F_2)^γ=(F_1)^γ/f((e_I)_I=1..N)^γ
によって得られる。
(F_2)^γ=(F_1)^γ/f((e_I)_I=1..N)^γ
によって得られる。
【0077】
イベントのバッファ(e_i)_i=1..Nの何らかの関数fに適用される非線形補償モジュールは、フレームベースセンサの出力関数における非線形性を補償するために、および上述したフレーム処理モジュールを適用することができるようにするために、値f((e_i)_i=1..N)^γを創出すると定義される。そのため、概して、このやり方で、上記のガンマ補正として因数分解され得る何らかの関数gにより対処することができる。しかしながら、この手法は、再ぼかしモジュールを適用するとき、および関数gが因数分解できない場合、使用することができない。この場合には、gが可逆である場合、g-1(F_1)=F_2*f((e_i)_i=1..N)をコンピュータ計算し、次いで、F_2が得られると、得られたF_2にF_1と同じ応答関数をもつg(F_2)を適用することができる。
【0078】
本発明をさらに説明するために、本明細書においては以降、本発明による例示的な方法のいくつかの実施形態について説明し、これらの実施形態は、イベントストリームを使用して異なる理想的な設定で取り込まれた、取り込まれた画像を修正する画像システムの画像品質を強調するために、上述したモジュールを使用する。
【0079】
図1は、ローリングシャッターセンサにおける行が1つのフレームについて露出される方法を示している。各黒色の要素は、所与の行の露出ウィンドウを表し、露出ウィンドウは、一方の行から他方の行へと、センサ回路機構によって順次読み取られるので、ローリングシャッターによりシフトする。露出ウィンドウはすべて、同じ露出持続時間、すなわち露出時間であるが、センサ行ごとに異なる時間に開始し、終了することに留意すべきである。薄い灰色の縦棒は、本発明が回復することを意図する目標時間におけるグローバルシャッターセンサの露出ウィンドウを表し、ここで、すべての行の露出ウィンドウが位置合わせされる。図1のこの実施形態においては、ローリングシャッターセンサは、上の(最初の)行から下の(最後の)行まで走査し、それにより、時間的に歪められた画像(アーチファクトを伴う画像)が取り込まれる。
【0080】
図1に示されている各行について、露出ウィンドウ以内の時間t_s^rが、基準としてマーク付けされる。代替として、グローバルシャッターセンサの場合、露出ウィンドウは、すべての行について同じ時間に開始し、終了する。加えて、目標時間t_refもまた、新規目標露出持続時間により定義される(灰色の縦棒形により示されている)。
【0081】
次の各段落においては、黒色の要素によって表されるローリングシャッターセンサの露出ウィンドウによって取り込まれる画像フレームを、図1に示されている本発明による方法を使用することによって、灰色の棒形によって表されている別の画像フレームに変形し/補正する方法について明らかにし、ここでは、ローリングシャッターセンサの各行rについて、露出持続時間の開始se^r、露出持続時間の終了ee^r、および基準時間t_s^r＼in[se^r, ee^r]が得られる。目標露出持続時間T_refもまた、目標時間t_refとともに定義される。
【0082】
図2は、次のステップを含む本発明による第1の例示的な方法を示し、ここでは、画像フレームBが、各行の露出ウィンドウが図1における黒色の要素として示されているフレームベースカメラにおけるローリングシャッターセンサのセンサ素子の行によって取り込まれ、画像フレームBにおいて描かれているシーンに対応するイベントのストリームE=[e_1, e_n]は、イベントベースカメラによって生成され、フレームベースカメラおよびイベントベースカメラは、異なる解像度および色空間を有する。
ステップS1:B'=g-1(B)を適用することによって応答関数gを反転させる。
ステップS2:B'の各行rについて、
a.画像ぼかし修正モジュールを適用する。これは、次のステップに対応する:
i.ステップS2.1:イベントストリームにおける対応する行r^eを推定し、イベントストリームから行d^r^e(t_s^r)=1/T∫se^r ee^reh(E^r^e[t_s^r,t],c+,c-)dtをコンピュータ計算する。
ii.ステップS2.2:イベントストリームが画像の異なる解像度および色である場合、中間解像度および色復元サブモジュールを適用して、Bの行rに対応する行d^r(t_s^r)を取得する。
iii.ステップS2.3:最後に、t_s^rにおける鮮明な行をL^r(t_s^r)≒B'^r/d^r(t_s^r)としてコンピュータ計算する。
b.各時間t_d＼in[t_ref-T_ref/2, t_ref+T_ref/2]について、画像時間シフティングモジュールを適用する。これは、次のステップに対応する:
i.ステップS2.4:イベントストリームにおける対応する行r^eを推定し、イベントストリームから行e^r^e(t_d)=eh(x,E[t_s^r,t_d],c+,c-)をコンピュータ計算する。
ii.ステップS2.5:イベントストリームが画像の異なる解像度および色である場合、中間解像度および色復元サブモジュールを適用して、Bの行rに対応する行e^r(t_d)を取得する。
c.ステップS2.6:画像再ぼかしモジュールを適用し、時間t_refにおける画像L^r(t_ref)=L^r(t_s^r)/T∫t_ref+T_ref/2 t_ref-T_ref/2 e^r(t)dtの行rを推定する。
ステップS1:B'=g-1(B)を適用することによって応答関数gを反転させる。
ステップS2:B'の各行rについて、
a.画像ぼかし修正モジュールを適用する。これは、次のステップに対応する:
i.ステップS2.1:イベントストリームにおける対応する行r^eを推定し、イベントストリームから行d^r^e(t_s^r)=1/T∫se^r ee^reh(E^r^e[t_s^r,t],c+,c-)dtをコンピュータ計算する。
ii.ステップS2.2:イベントストリームが画像の異なる解像度および色である場合、中間解像度および色復元サブモジュールを適用して、Bの行rに対応する行d^r(t_s^r)を取得する。
iii.ステップS2.3:最後に、t_s^rにおける鮮明な行をL^r(t_s^r)≒B'^r/d^r(t_s^r)としてコンピュータ計算する。
b.各時間t_d＼in[t_ref-T_ref/2, t_ref+T_ref/2]について、画像時間シフティングモジュールを適用する。これは、次のステップに対応する:
i.ステップS2.4:イベントストリームにおける対応する行r^eを推定し、イベントストリームから行e^r^e(t_d)=eh(x,E[t_s^r,t_d],c+,c-)をコンピュータ計算する。
ii.ステップS2.5:イベントストリームが画像の異なる解像度および色である場合、中間解像度および色復元サブモジュールを適用して、Bの行rに対応する行e^r(t_d)を取得する。
c.ステップS2.6:画像再ぼかしモジュールを適用し、時間t_refにおける画像L^r(t_ref)=L^r(t_s^r)/T∫t_ref+T_ref/2 t_ref-T_ref/2 e^r(t)dtの行rを推定する。
【0083】
ステップ2におけるこれらのステップS2.1～S2.6は、Bの最終行が処理されるまで繰り返され、次いで、次のステップ3に移行することになる。
ステップS3:gをLに適用し、目標露出持続時間T_refにより目標時間t_refにおいてグローバルシャッターセンサによって取り込まれたものに類似の最終的な補正済み画像L'を得る。
ステップS3:gをLに適用し、目標露出持続時間T_refにより目標時間t_refにおいてグローバルシャッターセンサによって取り込まれたものに類似の最終的な補正済み画像L'を得る。
【0084】
これらのステップにより、フレームベースカメラによって取得した画像フレームを、イベントのストリームを使用して正しい画像に補正することが可能である。
【0085】
上記の実施形態においては、センサの行という用語は、単に提示を明瞭にするために使用される。上記の式が各行における画素ごとに適用されることを理解すべきである。同様に、異なるレンズ歪み、異なるセンササイズおよび配向、およびシーンにおける物体の距離に起因して、フレームベースセンサにおける行は、必ずしも、イベントベースセンサにおける1つの行に対応するとはかぎらず、イベントベースセンサにおける1つまたはいくつかの非連続的曲線に対応することもある。「イベントストリームにおける対応する行を推定する」という用語は、フレームベースセンサにおける行に対応する1つまたはいくつかの曲線上にあるイベントベースセンサにおける画素のそれぞれについて演算を行うことを意味する。その結果、イベントベースセンサの1つの行における画素によって生成されるイベントデータの各処理は、それが関係するフレームベースセンサの行に応じて異なるt_s^rを使用することができる。
【0086】
代替として、露出持続時間T_refは、画像再ぼかしモジュールを適用する必要がないように十分に短くすることができる。その場合には、ステップc(ステップS2.6)は存在しない。目標露出持続時間T_refが長いと、結果的に生じる画像に何らかの芸術的なぼかしを加える効果しか得られない。
【0087】
図3は、本発明による第2の例示的な方法を示し、この方法は、再ぼかしモジュールが使用されず、カメラ応答関数gが因数分解可能であり、したがって、非線形応答関数がgを反転することなく補正され得るという点で、第1の例示的な方法とは異なる。この第2の例示的な方法は、次のステップを含む:
ステップS2:Bの各行rについて、
ステップS2.1:イベントストリームにおける対応する行r^eを推定し、イベントストリームから行d^r^e(t_s^r)=1/T∫se^r ee^reh(E^r^e[t_s^r,t],c+,c-)dtをコンピュータ計算する。
ステップS2.2:イベントストリームが画像の異なる解像度および色である場合、中間解像度および色復元サブモジュールを適用して、Bの行rに対応する行d^r(t_s^r)を取得する。
ステップS2.2b:非線形補正モジュールによりd^r(t_s^r)を補正する。
ステップS2.3:次いで、最後に、t_s^rにおける鮮明な行をL^r(t_s^r)≒B'^r/d^r(t_s^r)としてコンピュータ計算する。
ステップS2:Bの各行rについて、
ステップS2.1:イベントストリームにおける対応する行r^eを推定し、イベントストリームから行d^r^e(t_s^r)=1/T∫se^r ee^reh(E^r^e[t_s^r,t],c+,c-)dtをコンピュータ計算する。
ステップS2.2:イベントストリームが画像の異なる解像度および色である場合、中間解像度および色復元サブモジュールを適用して、Bの行rに対応する行d^r(t_s^r)を取得する。
ステップS2.2b:非線形補正モジュールによりd^r(t_s^r)を補正する。
ステップS2.3:次いで、最後に、t_s^rにおける鮮明な行をL^r(t_s^r)≒B'^r/d^r(t_s^r)としてコンピュータ計算する。
【0088】
この第2の例示的な方法におけるこれらのステップは、Bの最終行が処理されるまで繰り返される。
【0089】
上記の例示的な方法においては、中間解像度および色復元サブモジュールが使用される。一方、図2に示されている例示的な実施形態と比較して、イベントベースの解像度および色補正サブモジュールを使用するために、図4に示されている第3の例示的な方法においては、ステップS2.2およびS2.5における中間解像度および色復元サブモジュールがステップS2から削除され、代わりに、ステップS1bにおけるイベントベースの解像度および色補正サブモジュールが、e^r^e(t_s^r)をコンピュータ計算するステップS2.1前に適用される。具体的には、図4に示されているように、ステップS1bにおけるイベントベースの解像度および色補正サブモジュールは、ステップS2の前に適用されて、E'、すなわち「イベントベースの解像度および色復元サブモジュール」の項で前述したe'を取得し、ステップS2.1においては、E'を使用して、イベントストリームにおける対応する行r^eが推定され、イベントストリームから行d^r^e(t_s^r)がコンピュータ計算される。
【0090】
別の変形形態として、図5は、本発明による第4の例示的な方法を示し、ここでは、ポスト解像度および色補正サブモジュールが使用される。この場合には、図2に示されている例示的な実施形態と比較して、ステップS2.2およびS2.5の中間解像度および色復元サブモジュールが削除され、画像Bは、イベントの解像度にダウンスケールされ、中間解像度および色復元サブモジュールは、ステップS2.2'およびS2.5'における単純な補間と置換され、ステップS2bが、ポスト解像度および色補正モジュールを適用するために追加される。具体的には、図5に示されているように、ポスト解像度および色補正サブモジュールステップS2bは、ステップ2の後に適用されて、グレースケールLを色のL'に移す。
【0091】
加えて、本発明はまた、完全にデータ駆動型手法によるフレーム強調のいくつかの実施形態を提案する。具体的には、本発明は、単一のぼかしたフレームから複数のフレームをぼかし修正し、作成し、またはエンドツーエンドの方式で機械学習モデルによりフレームのダイナミックレンジを強調することを提言する。イベントベースセンサによって提供される追加の情報を使用すると、モデルサイズ、およびそのためコンピュータ計算量を低減させることができる。
【0092】
すなわち、本発明は、機械学習を使用してモデル化することを提案する:
- ぼかしたフレームBおよびその露出持続時間以内または以外のイベントのストリーム(e_i)_i=1..Nの、ぼかしたフレームの露出持続時間以内または以外の所与の時間における鮮明な画像Sへの変形。
- ぼかしたフレームBおよびその露出持続時間中のイベントのストリーム(e_i)_i=1..Nの、ぼかしたフレームの露出持続時間を通した時間で規則的に間隔をおいたN個の鮮明なフレームの組(S_0,…,S_N)への変形。
- イベント(e_i)_i=1..Nとともにその露出持続時間またはイベントのこのストリームの任意の前処理中のフレームF1の、強調されたダイナミックレンジを有するフレームF2への変形。
- ぼかしたフレームBおよびその露出持続時間以内または以外のイベントのストリーム(e_i)_i=1..Nの、ぼかしたフレームの露出持続時間以内または以外の所与の時間における鮮明な画像Sへの変形。
- ぼかしたフレームBおよびその露出持続時間中のイベントのストリーム(e_i)_i=1..Nの、ぼかしたフレームの露出持続時間を通した時間で規則的に間隔をおいたN個の鮮明なフレームの組(S_0,…,S_N)への変形。
- イベント(e_i)_i=1..Nとともにその露出持続時間またはイベントのこのストリームの任意の前処理中のフレームF1の、強調されたダイナミックレンジを有するフレームF2への変形。
【0093】
本発明はまた、イベントバッファ(e_i)_i=1..Nがいずれかの適切な前処理によって置き換えられる上記のマッピングへの変更も提案する。
【0094】
加えて、本発明による上述したモジュール、サブモジュール、および手法は、いくつかのさらなる実施形態においては、スローモーション動画、強調されたダイナミックレンジの動画を得ることが可能であり、それについて後述する。
【0095】
スローモーション動画の場合、上述した例示的な方法は、特定の時間t_refにおけるアーチファクトのない画像を生成することができる。しかしながら、入力における各画像について、出力における複数の補正された画像を生成することも可能である。そのため、本発明による一実施形態は、次の図6に示されているように、出力におけるいくつかのフレームを生成し、生成された動画のフレームレートを上げることができる。
【0096】
図6は、フレームベースカメラによって取り込まれる2つの連続する画像についての露出ウィンドウを示している。図1におけるものと同様に、それは、ローリングシャッターの各行についての露出ウィンドウを表す斜めの黒色の要素で構成され、それらは、13の異なる時間における、これらの異なる時間における13個のフレームを表す、複数の補正された露出ウィンドウ、すなわち、薄い灰色の縦棒に変形され、それにより、フレームレートが大幅に上がることになる。
【0097】
そのため、フレームカメラのみによる高フレームレート動画を撮影する際に起きる露出持続時間に対する制約をかけることなく、高フレームレート動画を生成することが可能である(露出持続時間は、1未満/(秒当たりのフレームの数)でなくてはならない)。本発明を使用することによって、たとえば、60フレーム/秒の動画(そのため、最大露出が16ms)を最初に撮影し、次いで、異なる(通常は、より高い)フレーム数/秒の動画を生成することが可能であり、最大フレーム数/秒は、イベントカメラの時間分解能によってしか制約されない。
【0098】
強調されたダイナミックレンジの動画の場合、入力における別のフレームのみを含むフレームおよびイベントのストリームの生成を強調することを目的とした上述の実施形態に加えて、センサによって順次取り込まれるいくつかの画像(またはフレーム)を位置合わせし、マージすることも可能である。本発明よって補正/強調されるいくつかの画像を使用すると、画像または動画の品質を向上させ、それらのダイナミックレンジを拡張することが可能になる。
【0099】
これにより、画像ノイズを低減させるために、いくつかのフレームが、平均化される前に、捕捉され、空間的に位置合わせされる当技術分野における方法が改良される。シーンがフレーム捕捉中に変化するとき、シーン内の移動している物体により、またはシーンとカメラとの間の相対的モーションにより、位置合せを得ることは困難である。当技術分野における方法は、概して、コンピュータ計算上、集約的なモーション推定およびモーション補償を使用して、フレームを位置合わせさせる。本発明は、イベントストリームおよび画像時間シフティングモジュールを使用して、明示的なモーション補償なしに、より効率的なやり方でいくつかのフレームを一意的なt_refに「位置合わせする」ことが可能である。
【0100】
本発明は、露出持続時間がフレーム捕捉間で変わるとき、特に有利である。露出持続時間の変更は、シーンのダイナミックレンジをより良く取り込むのに使用されることが多く、シーンの最も高いおよび最も低い輝度が、(フレームベース)センサの物理的制限により、単一の露出で表すことができる最も高いおよび最も低い光強度を超える場合、異なる露出持続時間E_i, i＼in [0, N)によりN個のフレームを取り込み、それらを1つの「合成(composite)」フレームにマージし、したがって、最も高い光強度と最も低い光強度との両方を単一のフレームに組み合わせることが一般的である。N個のフレームの露出が変動することは、当技術分野におけるモーション補償技法について、位置合せをさらにより困難にさせている。
【0101】
この場合には、上述のモジュールおよび方法は、シーンのいくつかの画像を取り込み、それらを一意的な目標時間t_refに位置合わせして、高ダイナミックレンジ(HDR)結果を得るのに使用することができる。
【0102】
そのため、本発明は、従来のフレームベース画像センサと、DVSセンサなどのイベントベースセンサとの組合せを使用して、画像/動画フレームおよびイベントのストリームを生成し、次いで、画像/動画フレームをイベントデータと組み合わせて、より効率的にアーチファクトを除去し、ダイナミックレンジを強調させることを提案する。
【0103】
その上、本発明による上述のモジュール/方法は、プロセッサによる実行のためのプログラム命令などの多くの方法で、ソフトウェアモジュール、マイクロコードとして、コンピュータ可読媒体上のコンピュータプログラム製品として、論理回路として、特定用途向け集積回路として、ファームウェアとしてなどで実装することが可能である。本発明の実施形態は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、またはハードウェアとソフトウェア要素の両方を含む実施形態の形態をとることができる。好ましい実施形態では、本発明はソフトウェアで実装され、これには、ファームウェア、常駐ソフトウェア、マイクロコードなどが含まれるが、これらに限定されない。
【0104】
さらには、本発明の実施形態は、コンピュータ、処理デバイス、または任意の命令実行システムによって、またはそれらに関連して使用するためのプログラムコードを提供するコンピュータ使用可能またはコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品の形態をとることができる。この説明の目的のために、コンピュータ使用可能またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによってまたはそれらに関連して使用するためのプログラムを含み、記憶し、通信し、または輸送することができる任意の装置とすることができる。媒体は、電子的、磁気的、光学的、あるいは半導体システム(または装置もしくはデバイス)であってもよい。コンピュータ可読媒体の例としては、半導体またはソリッドステートメモリ、磁気テープ、取外し可能なコンピュータディスケット、RAM、読取り専用メモリ(ROM)、剛性磁気ディスク、光ディスクなどが挙げられるが、これらに限定するものではない。光ディスクの現在の例としては、コンパクトディスク読取り専用メモリ(CD-ROM)、コンパクトディスク読取り/書込み(CD-R/W)およびDVDが挙げられる。
【0105】
本明細書において前述した諸実施形態は、本発明の例示である。添付の特許請求の範囲から生じる本発明の範囲を離れることなく、様々な修正をそれらに対して行うことができる。
【符号の説明】
【0106】
B 画像フレーム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】