(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-05-31
(54)【発明の名称】ピクセルデータ処理方法、対応する装置及びプログラム
(51)【国際特許分類】
H04N 23/741 20230101AFI20240524BHJP
H04N 23/73 20230101ALI20240524BHJP
H04N 23/60 20230101ALI20240524BHJP
【ＦＩ】
H04N23/741
H04N23/73
H04N23/60 500
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023574588
(86)(22)【出願日】2022-06-01
(85)【翻訳文提出日】2024-01-31
(86)【国際出願番号】 EP2022064985
(87)【国際公開番号】W WO2022253932
(87)【国際公開日】2022-12-08
(31)【優先権主張番号】2105800
(32)【優先日】2021-06-02
(33)【優先権主張国・地域又は機関】FR
(81)【指定国・地域】
(71)【出願人】
【識別番号】517347805
【氏名又は名称】ユニヴェルシテ ドゥ ブルゴーニュ
【氏名又は名称原語表記】ＵＮＩＶＥＲＳＩＴＥ ＤＥ ＢＯＵＲＧＯＧＮＥ
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】ジナク，ドミニク
(72)【発明者】
【氏名】エイルマン，バルテレミ
(72)【発明者】
【氏名】テル，ステファン
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122DA03
5C122EA20
5C122EA21
5C122EA67
5C122FA18
5C122FF09
5C122FH18
5C122GA24
5C122HA60
5C122HB02
(57)【要約】
本発明は、ＨＤＲビデオストリームと呼ばれる高ダイナミックレンジ画像のセットを含むビデオストリームを生成する方法に関する。このビデオストリームは、それぞれが画像生成速度を有し、マトリクス状に配置された複数のピクセルを含む、少なくとも２つの画像センサを読み取ることによって得られる複数の標準ダイナミックレンジ画像から得られる。各センサは、受光された光を電荷に変換し、露光時間にわたって前記電荷を蓄積するための光電変換要素に関連付けられる。この方法は、露光時間を決定することと、光学センサを読み取ることと、一時メモリ領域管理を含む反復動作モードでこれらのセンサからのデータを組み合わせること、とを含む高ダイナミックレンジ画像を生成する複数の反復を含む。
【特許請求の範囲】
【請求項1】
少なくとも２つの画像センサを読み取ることによって得られる複数の標準ダイナミックレンジ画像から、ＨＤＲビデオストリームと呼ばれる高ダイナミックレンジ画像のセットを含むビデオストリームを生成するための方法であって、各センサは、画像生成速度を有し、マトリクス状に配置された複数のピクセルを備え、受光された光を電荷に変換し、前記電荷を露光時間にわたって蓄積するための光電変換素子に関連付けられており、前記方法は、高ダイナミックレンジ画像を反復して作成し、－短露光時間ＴＣ、長露光時間ＴＬ、および中間露光時間ＴＩを含む、少なくとも３つのセンサ露光時間を決定するステップ（Ｄ１）であって、ＴＣ＜ＴＩ＜ＴＬであるように、決定するステップ；
－前記少なくとも３つのセンサ露出時間（ＴＣ、ＴＩ、ＴＬ）に応じて、少なくとも３つの連続する画像（ＩＣ、ＩＩ、ＩＬ）を配信する、前記少なくとも２つのセンサからの、少なくとも１回のセンサの読み取り（Ｄ２）ステップの反復；
－少なくとも３つの専用メモリ領域（ＺＭ＃１、ＺＭ＃２、ＺＭ＃３）内に、前記少なくとも３つの連続する画像（ＩＣ、ＩＩ、ＩＬ）を保存するステップ（Ｄ３）であって、各メモリ領域は、前記少なくとも３つのセンサ露光時間からのセンサ露光時間専用である、ステップ；
－前記少なくとも３つの専用メモリ領域（ＺＭ＃１、ＺＭ＃２、ＺＭ＃３）内にそれぞれ保存された前記少なくとも３つの連続する画像（ＩＣ、ＩＩ、ＩＬ）から抽出された情報から高ダイナミックレンジ画像を生成するステップ（Ｄ４）；および
－前記ＨＤＲビデオストリームに前記高ダイナミックレンジ画像を追加するステップ（Ｄ５）と、を含み、
いかなる瞬間も、前記短時間に取得された画像（ＩＣ）、前記中間時間に取得された画像（ＩＩ）、及び前記長時間（ＩＬ）に取得された画像（ＩＬ）が、それぞれ前記少なくとも３つの専用メモリ領域（ＺＭ＃１、ＺＭ＃２、ＺＭ＃３）内に、いかなる瞬間も、存在するように、実行される、
方法。
【請求項2】
前記少なくとも３つのセンサ露光時間（ＴＣ、ＴＩ、ＴＬ）を決定するステップは、前記短露光時間ＴＣ及び長露光時間ＴＬに応じて前記中間露光時間ＴＩを決定することを含むことを特徴とする、請求項１に記載のＨＤＲビデオストリームを生成する方法。
【請求項3】
前記短露光時間（ＴＣ）は、前記少なくとも２つのセンサからのセンサの読み取り中に、ホワイト飽和ピクセルの割合が所定の閾値未満である標準ダイナミックレンジ画像を生成するように計算されることを特徴とする、請求項１に記載のＨＤＲビデオストリームを生成する方法。
【請求項4】
前記長露光時間（ＴＬ）は、前記少なくとも２つのセンサからのセンサの読み取り中に、ブラック飽和ピクセルの割合が所定の閾値未満である標準ダイナミックレンジ画像を生成するように計算されることを特徴とする、請求項１に記載のＨＤＲビデオストリームを生成する方法。
【請求項5】
前記中間露光時間（ＴＩ）が、前記短露光時間（ＴＣ）と前記長露光時間（ＴＬ）との積の平方根として得られることを特徴とする、請求項１に記載のＨＤＲビデオストリームを生成する方法。
【請求項6】
前記長露光時間（ＴＬ）は、前記少なくとも２つのセンサからの前記センサのうちの少なくとも１つの前記画像生成速度よりも短いことを特徴とする、請求項１に記載のＨＤＲビデオストリームを生成する方法。
【請求項7】
高ダイナミックレンジ画像を生成する現在の反復の高ダイナミックレンジ画像の生成が、少なくとも３つの現在の連続する画像（ＩＣ、ＩＩ、ＩＬ）から抽出された情報から実行され、高いダイナミックレンジ画像を生成する次の反復の少なくとも３つの連続する画像（ＩＣ、ＩＩ、ＩＬ）を配信する、前記少なくとも２つのセンサからの、センサの読み取りの前記反復と同時に実行されることを特徴とする、請求項１に記載のＨＤＲビデオストリームを生成するための方法。
【請求項8】
前記ＨＤＲストリームの画像速度は、前記少なくとも２つの画像センサからの少なくとも１つの画像センサの前記画像速度に少なくとも等しいことを特徴とする、請求項１に記載のＨＤＲビデオストリームを生成する方法。
【請求項9】
プロセッサによって実行されるとき、請求項１～８のいずれか一項に記載の方法を実行するためのプログラムコード命令を含む、コンピュータプログラム製品。
【請求項10】
少なくとも２つの画像センサを読み取ることによって得られる複数の標準ダイナミックレンジ画像からＨＤＲビデオストリームと呼ばれる高ダイナミックレンジ画像のセットを含むビデオストリームを生成するための装置であって、前記少なくとも２つの画像センサは、それぞれ画像生成速度を有し、各センサはマトリクス状に配置された複数のピクセルを備え、受光された光を電荷に変換し、前記電荷を露光時間にわたって蓄積するための光電変換素子にそれぞれ関連付けられ、請求項１～８のいずれか一項に記載のＨＤＲビデオストリームを生成するための方法のステップを実行するように適合された計算ユニットを備える、ことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の分野は、移動通信端末、デジタルカメラ、カメラ、顕微鏡等のようなキャプチャ装置による画像のキャプチャの分野である。より具体的には、本開示が高ダイナミックレンジ（ＨＤＲ）画像を取得するための方法に関する。
【0002】
本発明は、特に、映画、ビデオ監視、航空または道路輸送、非破壊試験、医療分野、または物理学、天文学などの基礎科学の分野に適用可能であるが、これらに限定されない。
〔背景技術〕
〔背景技術〕
【0003】
既存の画像キャプチャ装置の再生性能は、主に経済的な理由から、その狭いダイナミックレンジによって制限される。その結果、静止画像またはビデオの形態でキャプチャされるシーンが強いコントラストを有するとき、キャプチャ装置によって再生される画像は、過露光領域を有する可能性があり、シーンの非常に明るい領域に対応する画像のピクセルは飽和し、そのシーンの十分に光が当たらない暗い領域では、細かい部分がほとんどまたは全く見えない。
【0004】
この問題を解決し、既存のキャプチャ装置から、ＨＤＲ画像と呼ばれる高ダイナミックレンジ画像を生成するために、従来の技法では、異なる露光時間に関連するＬＤＲ（低ダイナミックレンジ）と呼ばれる複数の従来の画像を組み合わせている。再生されるシーンは、同じキャプチャ装置によって、異なる露光時間で複数回キャプチャされる：短露光時間は、画像の非常に明るい領域を飽和させないことを可能にし、長露光時間はより明るくない領域で有用な信号を検出することを可能にする。得られた様々なＬＤＲ画像はその後、それらの各々から画像の最良の表現された部分を抽出するために処理され、これらの様々な部分は、シーンのＨＤＲ画像を構築するために結合される。ＨＤＲ画像を生成するためのこの方法は、実行されるべき露出の時間及び回数の点でコストがかかることが一般に認められている。したがって、「リアルタイム」ではないという性質のため、ＨＤＲビデオシーケンスを生成するのにも適していないことが認められており、その処理時間は、ＨＤＲ画像をリアルタイムで再生することを可能にしないような時間である。
【0005】
さらに、撮影されるシーンが移動要素を含むとき、後者は様々なキャプチャされたＬＤＲ画像内の異なる位置を占める可能性があり、その結果、ＨＤＲ画像の生成中にアーチファクトが出現する可能性があることも認められる。これらのゴースト効果は、ＨＤＲ画像を再構成する前に補正することができるが、複雑で高価な電子処理を犠牲にする。これらのアーチファクトを除去するためのアルゴリズムは、例えば、“Ｇｈｏｓｔ ａｒｔｉｆａｃｔ ｒｅｍｏｖａｌ ｆｏｒ ｒｅａｌ－ｔｉｍｅ ＨＤＲ ｖｉｄｅｏ ｇｅｎｅｒａｔｉｏｎ”、Ｃｏｍｐａｓ ２０１６：Ｐａｒａｌｌｅｌｉｓｍ／Ａｒｃｈｉｔｅｃｔｕｒｅ／Ｓｙｓｔｅｍ（ロリアン、仏、２０１６年７月５－８日）という記事に記載されている。
【0006】
しかしながら、撮像装置に搭載されるセンサの開発は、現在、センサが、「非破壊読み取り」（ＮＤＲＯ）モードで動作することを可能にする。この動作モードでは、センサの光電変換素子によって蓄積された電荷を、それらをリセットする必要なしに読み出すことができ、したがって、センサの露光時間中に、センサの露光の影響下で電荷を蓄積し続けることによって、ピクセルの信号の複数の読み取りを実行することが可能である。単一の露光時間中にセンサのピクセルに関連する信号の複数の読み取りを実行することを可能にする、この非破壊読み取りモードの使用は、ＨＤＲ画像を生成するための以前の方法の時間コストの問題、およびアーチファクトの出現の問題の両方に関して、興味深い解決法を提供する。実際、同じ露光時間中に、センサの複数の連続する非破壊読み取りによって得られる複数の画像から、シーンの高い動画像を生成することが可能である。
【0007】
したがって、特許文献米国特許出願公開第７，８６８，９３８号明細書では、第１のリーダが破壊読み取りモードで動作して、各読み取り後のピクセルの信号を標準露光時間の終わりにリセットすることによって、センサの光電変換素子によって蓄積された電荷を読み取ることを提案し、第２のリーダが非破壊読み取りモードで動作して、様々な短露光時間、すなわち標準露光時間よりも短露光時間に関連する複数のＮＤＲＯ画像を取得することを提案している。短露光時間に関連付けられた様々なＮＤＲＯ画像は、標準露光時間中に撮影されるシーンの対応する部分の過剰露光のために、第１のリーダによって取得された画像の特定のピクセルが飽和するかどうかを予測するために使用される。そのような場合、ＨＤＲ画像が生成され、標準露光時間において第１のリーダによって得られた画像の飽和ピクセルが、より短露光時間に関連付けられたＮＤＲＯ画像から抽出された対応する非飽和ピクセルによって置き換えられる。この解決策は、露光の問題を部分的に解決し、特に、過剰に露光されたピクセルがより少なく露光されたピクセルによって置き換えられ、得られる画像のダイナミックレンジがわずかに拡張される。しかし、この方法は過大な計算能力を必要とし、露出不足の問題を補正せず、とりわけ、少なくとも２つの読み取り、すなわち、一方は破壊的であり、他方は非破壊的である。さらに、アーチファクトの存在の問題は解決されない。
【0008】
米国特許出願公開第７，８６８，９３８号明細書での露光不足の問題を、特に解決するために、文献仏国特許出願公開３０６２００９Ａ１号明細書では、時間及び計算能力の両方の点で、より低コストであり、適応性であるという利点を有する高ダイナミックレンジ画像を生成することを可能にする技術を提案している。この文献では、１つの同じセンサの複数の非破壊読み取りを実行し、品質基準に応じて、現在の画像のピクセルを次の画像のピクセルに置き換えることを適応させることが提案されている。この方法は、ダイナミックレンジ幅に関して効果的であり効率的である。一方、この方法は、リアルタイムでストリームの再生を実行することを可能にせず、特に露光時間を決定するための信号雑音比の計算に関して、比較的重要なリソースを実装する。さらに、この方法は、非破壊読み取りを可能にするセンサ、広く市販されてはおらず、著しく高価なセンサを使用することを必要とする。例えば、特許文献仏国３０６２００９Ａ１号明細書において実行される方法は、Ｎｅｗ Ｉｍａｇｉｎｇ ＴｅｃｈｎｏｌｏｇｉｅｓからのＮＳＣ１２０１センサの使用を必要とし、したがって、特定の使用に予定されている。
〔発明の概要〕
〔発明の概要〕
【0009】
本開示は、少なくとも２つの画像センサを読み取ることによって得られる複数の標準ダイナミックレンジ画像から、ＨＤＲビデオストリームと呼ばれる高ダイナミックレンジ画像のセットを含むビデオストリームを生成するための方法を提案することによって、この必要性を満たす。センサは各々画像生成速度を有し、マトリクス状に配置された複数のピクセルを備え、各々のセンサが、受光された光を電荷に変換し、露光時間にわたって前記電荷を蓄積するための光電変換要素に関連付けられる。この方法は、高ダイナミックレンジ画像を反復して作成するステップを含み、このステップは、露光時間を決定することと、光学センサを読み出すステップ、及び一時メモリ領域管理を伴う反復動作モードでこれらのセンサからのデータを組み合わせるステップとを含む。
【0010】
より詳細には、画像生成速度をそれぞれが有する少なくとも２つの画像センサを読み取ることによって得られる複数の標準ダイナミックレンジ画像から、ＨＤＲビデオストリームと呼ばれる高ダイナミックレンジ画像のセットを含むビデオストリームを生成する方法が提案される。各センサは、マトリクス状に配置された複数のピクセルを備え、受光した光を電荷に変換し、光露光時間にわたって前記電荷を蓄積するための光電変換素子にそれぞれ関連付けられる。本開示によれば、このような方法は、高ダイナミックレンジ画像を生成する複数の反復を含み、以下のステップを含む：
‐短露光時間ＴＣ、長露光時間ＴＬ、および中間露光時間ＴＩ（ＴＣ＜ＴＩ＜ＴＬ）を含む、少なくとも３つのセンサ露光時間を決定するステップ；
‐前記少なくとも３つのセンサ露出時間（ＴＣ、ＴＩ、ＴＬ）に応じて、少なくとも３つの連続する画像（ＩＣ、ＩＩ、ＩＬ）を配信する、前記少なくとも２つのセンサからの、少なくとも１回のセンサの読み取り（Ｄ２）ステップの反復；
‐少なくとも３つの専用メモリ領域内に、前記少なくとも３つの連続する画像を保存するステップ。各メモリ領域は、前記少なくとも３つのセンサ露光時間からのセンサ露光時間の専用である；
‐前記少なくとも３つの専用メモリ領域内にそれぞれ保存された前記少なくとも３つの連続する画像から抽出された情報から高ダイナミックレンジ画像を生成するステップ；
‐前記高ダイナミックレンジ画像を前記ＨＤＲビデオストリームに追加するステップ。
‐短露光時間ＴＣ、長露光時間ＴＬ、および中間露光時間ＴＩ（ＴＣ＜ＴＩ＜ＴＬ）を含む、少なくとも３つのセンサ露光時間を決定するステップ；
‐前記少なくとも３つのセンサ露出時間（ＴＣ、ＴＩ、ＴＬ）に応じて、少なくとも３つの連続する画像（ＩＣ、ＩＩ、ＩＬ）を配信する、前記少なくとも２つのセンサからの、少なくとも１回のセンサの読み取り（Ｄ２）ステップの反復；
‐少なくとも３つの専用メモリ領域内に、前記少なくとも３つの連続する画像を保存するステップ。各メモリ領域は、前記少なくとも３つのセンサ露光時間からのセンサ露光時間の専用である；
‐前記少なくとも３つの専用メモリ領域内にそれぞれ保存された前記少なくとも３つの連続する画像から抽出された情報から高ダイナミックレンジ画像を生成するステップ；
‐前記高ダイナミックレンジ画像を前記ＨＤＲビデオストリームに追加するステップ。
【0011】
したがって、低減された数のセンサを使用して、高品質ＨＤＲ画像ストリームを効果的に作成することが可能であり、これは、使用されるセンサの画像を作成するための初期周波数をそのまま維持することによって可能である。
【0012】
特定の特徴によれば、前記少なくとも３つのセンサ露光時間の決定するステップは、前記短露光時間ＴＣ及び長露光時間ＴＬに応じて、中間露光時間ＴＩを決定することを含む。
【0013】
したがって、各画像に対して、ＨＤＲストリームを生成するための満足な露光時間を迅速に割り当てることが可能である。
【0014】
特定の特徴によれば、短露光時間は、前記少なくとも２つのセンサからのセンサ読み取り中に、ホワイト飽和ピクセルの割合が所定の閾値未満である標準ダイナミックレンジ画像を生成するように計算される。
【0015】
特定の特徴によれば、長露光時間は、前記少なくとも２つのセンサからのセンサ読み取り中に、ブラック飽和ピクセルの割合が所定の閾値未満である標準ダイナミックレンジ画像を生成するように計算される。
【0016】
特定の特徴によれば、中間露光時間は、短露光時間と長露光時間との積の平方根として得られる。
【0017】
特定の特徴によれば、長露光時間は、前記少なくとも２つのセンサからの前記センサのうちの少なくとも１つの画像生成速度よりも短い。
【0018】
したがって、生成される画像レートは、露光時間にかかわらず、一定のままであることが保証される。
【0019】
特定の特徴によれば、高ダイナミックレンジ画像を生成する現在の反復の高ダイナミックレンジ画像の生成は、少なくとも３つの現在の連続する画像から抽出された情報から実行され、高ダイナミックレンジ画像を生成する次の反復の少なくとも３つの連続する画像を配信する、前記少なくとも２つのセンサからの、センサの読み取りの反復と同時に実行され、高ダイナミックレンジ画像を生成することからなる。
【0020】
特定の特徴によれば、ＨＤＲストリームの画像速度は、前記少なくとも２つの画像センサからの少なくとも１つの画像センサの画像速度に少なくとも等しい。
【0021】
実行形態の特定の例によれば、本開示は、ＨＤＲビデオストリームと呼ばれる高ダイナミックレンジ画像のセットを含むビデオストリームを、画像生成速度をそれぞれが有する少なくとも２つの画像センサを読み取ることによって得られる複数の標準ダイナミックレンジ画像から生成するための装置、またはシステムの形態で提示され、各センサはマトリクス状に配置された複数のピクセルを備え、各センサは受光された光を電荷に変換し、露光時間にわたって前記電荷を蓄積するための光電変換素子に関連付けられ、記載された方法に従ってＨＤＲビデオストリームを生成するための方法のステップを実行するように適合された計算ユニットを備えることを特徴とする。
【0022】
好ましい実行形態によれば、本開示による方法の様々なステップは、１つまたは複数のソフトウェアまたはコンピュータプログラムによって実行され、本開示による実行デバイスのデータプロセッサによって実行されることが意図され、スクリプト化されたソースコードおよび／またはコンパイルされたコードによって実行および決定されるプロセスの分布の範囲内で、通信端末、電子実行デバイス、および／または制御装置において実行される、方法の様々なステップの実行を制御するように設計されたソフトウェア命令を含む。
【0023】
したがって、本開示の目的はまた、コンピュータまたはデータプロセッサによって実行される可能性が高いプログラムであり、これらのプログラムは、上述のような方法のステップの実行を制御するための命令を含む。
【0024】
プログラムは任意のプログラミング言語を使用することができ、ソースコード、オブジェクトコード、またはソースコードとオブジェクトコードとの間のバイトコードの形態、例えば、部分的にコンパイルされた形態、または任意の他の望ましい形態であり得る。
【0025】
本開示の目的はまた、データプロセッサによって読み取ることができ、上述のようなプログラムの命令を含む情報媒体である。
【0026】
情報媒体は、プログラムを記憶することができる任意のエンティティまたはデバイスであり得る。例えば、媒体はＲＯＭ、例えば、ＣＤ ＲＯＭまたはマイクロエレクトロニクス回路ＲＯＭなどの記憶手段、あるいはまた、例えば、モバイル媒体（メモリカード）またはハードドライブまたはＳＳＤなどの磁気記録手段を含んでもよい。
【0027】
一方、情報媒体は、電気または光ケーブルを介して、無線によって、または他の手段によってルーティングされ得る、電気または光信号などの伝送可能な媒体であり得る。本開示によるプログラムは特に、インターネットタイプのネットワーク上でダウンロードされてもよい。
【0028】
代替的に、情報媒体はプログラムが組み込まれる集積回路であってもよく、回路は問題の方法の実行において実行または使用されるように適合される。
【0029】
一実行形態によれば、本開示は、ソフトウェア及び／又はハードウエア構成要素の手段によって実行される。この点に関して、用語「モジュール」は、本明細書ではソフトウェア構成要素、ならびにハードウェア構成要素、またはソフトウェアおよびハードウェア構成要素のセットに対応し得る。
【0030】
ソフトウェアコンポーネントは１つ以上のコンピュータプログラム、プログラムの１つ以上のサブプログラム、またはより一般的には関連するモジュールについて以下で説明するものに従って、機能または機能のセットを実行することが可能なプログラムまたはソフトウェアの任意の要素に対応する。そのようなソフトウェアコンポーネントは、物理エンティティ（端末、サーバ、ゲートウェイ、セットトップボックス、ルータなど）のデータプロセッサによって実行され、この物理エンティティ（メモリ、記録媒体、通信バス、入出力電子カード、ユーザインターフェースなど）のハードウェアリソースにアクセスする可能性が高い。
【0031】
同様に、ハードウェア構成要素は、関連するモジュールについて以下で説明されることに従って、機能または機能のセットを実行することが可能なハードウェアアセンブリの任意の要素に対応する。これは、ソフトウェアを実行するための集積プロセッサ、例えば、集積回路、チップカード、メモリカード、ファームウェアを実行するための電子カードなどをプログラムすることができるか、またはそれを用いてプログラムすることができるハードウェア構成要素に関することができる。
【0032】
上述のシステムの各構成要素は当然ながら、それ自体のソフトウェアモジュールを実装する。
【0033】
上述の実行の様々な例は、本開示の実装のために互いに組み合わせることができる。
〔図面の簡単な説明〕
〔図面の簡単な説明〕
【0034】
本開示の他の特徴および利点は、単純な例示的かつ非限定的な例として与えられる、実行形態の好ましい例の以下の説明および添付の図面を読めば、より明確になるのであろう：
［図１］図１は、実行される方法を概略的に説明する；
［図２］図２は、ＳＤＲセンサの速度と同等の速度のＨＤＲストリームを生成するためにセンサからのピクセルデータを処理するための２つの状況を説明する；
［図３］図３は、本開示の方法主題を実装することが可能なデバイスのアーキテクチャを示す；
［図４］図４は、本開示の主題である方法の実行を同時に示す。
［図１］図１は、実行される方法を概略的に説明する；
［図２］図２は、ＳＤＲセンサの速度と同等の速度のＨＤＲストリームを生成するためにセンサからのピクセルデータを処理するための２つの状況を説明する；
［図３］図３は、本開示の方法主題を実装することが可能なデバイスのアーキテクチャを示す；
［図４］図４は、本開示の主題である方法の実行を同時に示す。
【発明の詳細な説明】
【0035】
上記で開示したように、本開示のＨＤＲビデオストリームを生成するための方法は、少なくとも３つのＳＤＲビデオストリームから、これらのＳＤＲストリームを構成する画像を組み合わせることを含む。実際、ＳＤＲカメラは、シーンのダイナミックレンジ全体をキャプチャすることができないので、不十分に照らされた（ブラック飽和ピクセル）領域および高度に照らされた（白飽和ピクセル）領域の詳細を必然的に失う。このようにして取得されたデータは、人工視覚アプリケーションによって使用することがより困難である。したがって、既存のソリューションよりも低コストで、かつリアルタイムでＨＤＲストリームを生成することができる、様々な適用分野（例えば、ビデオ監視、自律車両または工業ビジョン）で使用することができる拡張ダイナミックレンジカメラが大いに必要とされている。
【0036】
本発明者らによって開発された方法は、この問題に対処することを目的とする。より具体的には、標準的で安価なセンサの使用、およびこれらのセンサからのピクセルデータを一時的に記憶するためのメモリに適合された管理の実行に基づいており、このメモリは、リアルタイム取得と生成との間の同期ピボットとして、同様にリアルタイムで機能する。より詳細には、本開示によれば、少なくとも２つのセンサが同時に使用され、これらの２つのセンサは少なくとも３つの保存先を含む一時記憶空間内に保存される２つの画像を同時に生成することを可能にする。本開示によれば、画像の生成および一時記憶空間内でのそれらの保存は、センサから来る画像を生成するための速度で最小限として実行される。さらにより具体的には、複数のセンサが、複数のカメラ（１つのカメラ内の１つのセンサ）内に取り付けられる。本開示によれば、これらのカメラは例えば、全て同じタイプである。カメラは例えば、６０画像／秒で画像ストリームを生成するように構成される。すなわち、カメラによって生成された各画像は、センサが読み取られる前に、破壊的な読み取りによって、最大時間（すなわち、積分時間）にわたって露光される。カメラが３０画像／秒で画像ストリームを生成するように構成されるとき、カメラによって生成される各画像はセンサが読み取られる前に、破壊的読み取りによって、最大時間（すなわち、積分時間）にわたって露光される。したがって、期間Ｔ＝１／６０ｔｈ秒は、センサ読み取り時間が追加される積分時間と、場合によっては待機時間とを含む。積分時間はシーンの明るさに直接関連し、十分に明るいシーンの場合、ミリ秒未満であり得る。読み取り時間は、センサの読み取り回路の技術に関連する。読み取りは、期間Ｔ＝１／６０ｔｈにわたって実行される。積分時間が十分に短い場合、積分時間と読み取り時間の加算は１秒の１／６０ｔｈ未満であり、待機時間が生じる（最大１秒の６０分の１まで）。積分時間が長すぎる場合、例えば、取得を切り捨てないように、読み取り速度を１／３０ｔｈ秒に低減することが必要とされる。したがって、最後に、センサは１／６０ｔｈの１秒のスピードを有することができ、その結果、積分時間が０から（１／６０秒のｓｅｃｏｎｄ－ｒｅａｄ＿ｏｕｔ＿ｔｉｍｅ）の間の速度を維持することができる。同じロジックが、１／３０ｔｈの１秒のセンサにも当てはまる。
【0037】
画像生成速度にかかわらず、後者は、生成される前の各画像の最大露光時間を決定する。提案された方法の１つの目的は、カメラと同じ速度で生成されるＨＤＲストリームを配信することであり、したがって、画像がカメラによって生成される速度でＨＤＲ画像を生成することが必要である。したがって、画像の最大露光時間は、センサによってこれらの画像を生成するための速度よりも短い。以下に説明するように、各画像の露光時間は、ＨＤＲストリームを生成するための方法の実行全体を通して、ＨＤＲストリームが各画像に関連して必要とされる露光時間と一致することを確実にするように構成される。
【0038】
実行される方法は、図１に関連して説明される。図１が高ダイナミックレンジ画像を生成する複数の全体的な反復を含む：
－短露光時間ＴＣ、長露光時間ＴＬ、および中間露光時間ＴＩ、を含む少なくとも３つのセンサ露光時間を決定するステップ（Ｄ１）であって、ＴＣ＜ＴＩ＜ＴＬである；
－センサを読み取るステップ（Ｄ２）の少なくとも１回の反復、前記少なくとも２つのセンサから、少なくとも３つのセンサ露出時間（ＴＣ、ＴＩ、ＴＬ）に応じて、少なくとも３つの連続する画像（ＩＣ、ＩＩ、ＩＬ）を配信するステップ。このステップ（Ｄ２）の反復の数は、利用可能なセンサの数に依存する：３つの画像を２つのセンサで読み取る場合は、少なくとも２回の反復を意味し、３つの画像を３つのセンサで読み取る場合は、各センサの１回の反復を意味する；他の構成は、以下に説明される；
－少なくとも３つの専用メモリ領域（ＺＭ＃１、ＺＭ＃２、ＺＭ＃３）内で、前記少なくとも３つの連続する画像（ＩＣ、ＩＩ、ＩＬ）を保存するステップ（Ｄ３）、各メモリ領域は、前記少なくとも３つのセンサ露光時間からのセンサ露光時間専用である；
－前記少なくとも３つの専用メモリ領域（ＺＭ＃１、ＺＭ＃２、ＺＭ＃３）内にそれぞれ保存された前記少なくとも３つの連続する画像（ＩＣ、ＩＩ、ＩＬ）から抽出された情報から高ダイナミックレンジ画像を生成するステップ（Ｄ４）；
－前記高ダイナミックレンジ画像を前記ＨＤＲビデオストリームに追加するステップ（Ｄ５）。
－短露光時間ＴＣ、長露光時間ＴＬ、および中間露光時間ＴＩ、を含む少なくとも３つのセンサ露光時間を決定するステップ（Ｄ１）であって、ＴＣ＜ＴＩ＜ＴＬである；
－センサを読み取るステップ（Ｄ２）の少なくとも１回の反復、前記少なくとも２つのセンサから、少なくとも３つのセンサ露出時間（ＴＣ、ＴＩ、ＴＬ）に応じて、少なくとも３つの連続する画像（ＩＣ、ＩＩ、ＩＬ）を配信するステップ。このステップ（Ｄ２）の反復の数は、利用可能なセンサの数に依存する：３つの画像を２つのセンサで読み取る場合は、少なくとも２回の反復を意味し、３つの画像を３つのセンサで読み取る場合は、各センサの１回の反復を意味する；他の構成は、以下に説明される；
－少なくとも３つの専用メモリ領域（ＺＭ＃１、ＺＭ＃２、ＺＭ＃３）内で、前記少なくとも３つの連続する画像（ＩＣ、ＩＩ、ＩＬ）を保存するステップ（Ｄ３）、各メモリ領域は、前記少なくとも３つのセンサ露光時間からのセンサ露光時間専用である；
－前記少なくとも３つの専用メモリ領域（ＺＭ＃１、ＺＭ＃２、ＺＭ＃３）内にそれぞれ保存された前記少なくとも３つの連続する画像（ＩＣ、ＩＩ、ＩＬ）から抽出された情報から高ダイナミックレンジ画像を生成するステップ（Ｄ４）；
－前記高ダイナミックレンジ画像を前記ＨＤＲビデオストリームに追加するステップ（Ｄ５）。
【0039】
本方法は、短時間（ＩＣ）で取得された画像、中間時間（ＩＩ）で取得された画像、および長時間（ＩＬ）で取得された画像が、前記少なくとも３つの専用メモリ領域（ＺＭ＃１、ＺＭ＃２、ＺＭ＃３）内にそれぞれ存在するように実行されてもよい。本方法は、同時に動作する２つのプロセス、すなわち、専用メモリ領域内の画像の連続的な生成を保証するステップＤ１～Ｄ３の反復を含む生成プロセスと、ステップＤ４およびＤ５の反復を実行するために専用メモリ領域内に存在する画像を無差別かつ連続的に使用するストリーム生成プロセスとによって実行され得る。他の可能な実行もまた、例えば、ステップＤ２において異なる数の反復を実行することによって実行することも想定することができる：３回の反復の代わりに、２つのキャプチャのみを実行することができ（各センサ上で１つのキャプチャ）、２つのキャプチャの各々に対応するメモリ領域を満たすことを可能にし（例えば、ＺＭ＃１、ＺＭ＃２）、次いで、以下の全体的な反復で、再び２つのキャプチャのみが実行され、２つのキャプチャの各々に対応するメモリ領域を満たすことを可能にする（例えば、ＺＭ＃２、ＺＭ＃３）。以下に説明するように、特に利用可能なカメラの数に応じて、他の実行形態も想定することができる。
【0040】
より具体的には、取得された画像を合成することは、後者が生成されるとき、リアルタイムで実行される。この組み合わせ技術を実行するためのシステムは少なくとも２つのカメラを備え、各カメラは所与の速度および解像度でシーンをキャプチャすることができるセンサを備える。システムはこれらの少なくとも２つのカメラから、少なくとも３つのＳＤＲビデオストリームを抽出するように構成された処理ユニットを備える。処理ユニットはまた、少なくとも３つの異なる画像を受信するように意図された少なくとも３つのメモリ領域を備え、各画像は、３つのＳＤＲビデオストリームのうちの１つからのものである。処理ユニットは、３つの異なるメモリ領域の３つの画像の組み合わせを実行して、３つのメモリ領域の３つのＳＤＲ画像からＨＤＲ画像を生成する。３つの異なるメモリ領域に保存された３つの画像の各々は、カメラセンサの異なる露出時間からのものである。例えば、２台のカメラを使用する場合、露光時間ｄ１について第１の画像Ｉ１が得られ、露光時間ｄ２について第１の画像Ｉ２が得られ、露光時間ｄ３について第３の画像Ｉ３が得られ、その結果、ｄ１＜ｄ２＜ｄ３となる。本開示によれば、ｄ３がカメラの画像生成速度よりも短いことが保証される。例えば、カメラが６０画像／秒を生成する場合、次のことが保証される。
さらに、この使用の場合、２つのカメラ、したがって２つのセンサの使用する場合、以下が保証される。
この第２の状態は、少なくとも２つのカメラを用いて３つの画像を生成することが可能であることを保証することを可能にし、３つの画像は、最大でもカメラの画像生成速度で生成される。
したがって、２つの（少なくとも）標準カメラ（非ＨＤＲ）を使用して、提案された生成方法は、キャプチャされるべき同じシーンから少なくとも３つの画像を取得し、リアルタイムで処理されて単一のＨＤＲビデオストリームを提供する３つのストリームを提供することを可能にする。もちろん、以下に説明するように、２つのカメラで可能なことは、３つ以上のカメラでも可能である。提案された方法の原理は、各時点において、３つのメモリ領域内に画像（メモリ領域当たり１つの画像）を有し、これらの３つの画像の各々は、異なる露光時間（「短い」時間、「長い」時間、および、「短い」時間と「長い」時間から決定される「中間の」時間）でキャプチャされている。
【数1】
さらに、この使用の場合、２つのカメラ、したがって２つのセンサの使用する場合、以下が保証される。
【数2】
この第２の状態は、少なくとも２つのカメラを用いて３つの画像を生成することが可能であることを保証することを可能にし、３つの画像は、最大でもカメラの画像生成速度で生成される。
したがって、２つの（少なくとも）標準カメラ（非ＨＤＲ）を使用して、提案された生成方法は、キャプチャされるべき同じシーンから少なくとも３つの画像を取得し、リアルタイムで処理されて単一のＨＤＲビデオストリームを提供する３つのストリームを提供することを可能にする。もちろん、以下に説明するように、２つのカメラで可能なことは、３つ以上のカメラでも可能である。提案された方法の原理は、各時点において、３つのメモリ領域内に画像（メモリ領域当たり１つの画像）を有し、これらの３つの画像の各々は、異なる露光時間（「短い」時間、「長い」時間、および、「短い」時間と「長い」時間から決定される「中間の」時間）でキャプチャされている。
【0041】
本開示によれば、露光時間を決定するための少なくとも２つの方法がある：黒および白の彩度を最小化するために短時間および長時間の計算を実行し、続いて中間の時間（例えば、ｓｑｒｔ（ＴＣ＊ＴＬ）形式で）を決定することによって；または、例えば、カメラの「自動露光」を用いて、または実行される別の自動露光方法によって中間時間の計算を実行し、続いて、１つ以上のＥＶ（露光値）を除去／追加することによって、ＴＣ（短時間）およびＴＬ（長時間）の「経験的」決定を実行することによって。
【0042】
本開示によれば、各画像の露光時間は、各キャプチャ反復において少なくとも部分的に決定される。言い換えると、ｎ回目のキャプチャ反復において、「短い」、「長い」、および「中間の」露光時間が構成され、これらの時間の各々において少なくとも２つのカメラによって画像が得られ、３つのメモリ領域、すなわち、「短い」露光時間においてキャプチャされた画像のための第１のメモリ領域、「中間の」露光時間においてキャプチャされた画像のための第１のメモリ領域、および「長い」露光時間においてキャプチャされた画像のための第３の第１のメモリ領域に保存される。これらの３つの画像は、ＨＤＲ画像を提供するために処理され、このＨＤＲ画像はＨＤＲストリームに追加される。これらの３つの画像の処理中、このｎ回目の反復の３つの画像の内容に応じて、「短い」、「長い」、および「中間の」露光時間の新たな評価が実行され、これらの新たな「短い」、「長い」、および「中間の」露光時間は、ＨＤＲストリームをキャプチャするための処理全体を通して、次の反復（ｎ＋１）の「短い」、「長い」、および「中間の」露光時間を構成するために使用される。
【0043】
したがって、本開示によれば、取得時間の値は、先行する取得に対して実行された統計分析から、新しい取得ごとに推定される。３回の取得の場合、以下のように推定が実行される：短時間はホワイト飽和ピクセルの数を最小化することによって推定され（例えば、＜１０％）、長時間はブラック飽和ピクセルの数を最小化することによって推定される（例えば、＜１０％）。中間露光時間はその後、計算的な方法で推定され、それは、例えば、長時間と短時間との積の平方根という単純な計算を含んでもよい。
【0044】
本開示によれば、短時間および長時間は、複数の要因、特にＨＤＲストリームの画像周波数の要因に応じて推定される。実際、ＨＤＲピクチャの生成に関する技術とは異なり、複数の画像が取得され、所望の品質に応じて選択されてもよく、ＨＤＲビデオストリームの生成は、迅速に評価され、考慮される必要があるシーンの輝度変動に連続的に適応する必要がある。したがって、最良の画像が複数の利用可能な画像から選択される（特許文献仏国特許出願公開３０６２００９号のように）以前の技術は、保持されるべき画像の選択が行われる余剰数の画像を有することを必要とするので、ＨＤＲビデオストリームを作成するために適用できない。したがって、本開示によれば、短いおよび長露光時間の迅速な評価が実行される。より詳細には、これらの露光時間（短時間および長時間）を評価するステップが以前に取得されたＩＣ（短時間露光時間）およびＩＬ（長時間露光時間）画像のヒストグラムに基づく。ヒストグラムは、ピクセルの分布の正確な推定を可能にする。ＩＣ画像のホワイト飽和ピクセル（例えば、８ビット画像に対して２４０より大きい値のピクセル）の数が高すぎる（例えば、１０～１５％より大きい）場合、次の反復におけるＩＣ画像の露光時間は、強く照らされた領域においてより多くの情報を取り込むことができるように低減されなければならない。一方、ホワイト飽和ピクセルの数が非常に少ない（例えば、２％未満）場合、中間画像との大きすぎる差異によりダイナミックにおける情報の「穴」をもたらすことを回避するために、露光時間は増加され得る。同様に、ＩＬ画像のブラック飽和ピクセル数（例えば、８ビット画像に対して１６未満の値のピクセル）が多すぎる場合、次の反復におけるＩＬ画像の露光時間を増加させなければならない。最後に、ＩＬ画像のブラックで飽和したピクセルの数が少なすぎる場合、次の反復におけるＩＬ画像の露光時間を短縮しなければならない。１回の反復から別の反復までの露光時間の変動は露光値（ＥＶ）の形式で表現されてもよく、１つの露光値ユニット（１ＥＶ）の増加（減少）は露光時間のうちの２つによる乗算（除算）によって変換される。飽和ピクセル数が非常に多い場合には、２ＥＶ（露光時間に渡って４倍）だけ増減することが可能であり、逆に、選択された閾値付近の飽和ピクセル数を微調整したい場合には変動を１／２（半分）ＥＶ、さらには１／３（３分の１）ＥＶに制限することが可能である。
【0045】
各取得時に行われるこれらの計算は、シーンの照明変化の全てを非常に迅速に考慮に入れることを可能にする。本開示によれば、長露光時間は、３つのメモリ領域を設定するために使用されるカメラの数（したがってセンサの数）に応じて調整される。例えば、６つのセンサがあり、１／３０秒で経時的にオフセットされて取得する場合、出力速度を増加させることが可能である。原理は、３つの画像が存在するとすぐに、他の取得の処理を同時に実行することができることである。
【0046】
図２に関連して、図１に開示されるように、ＨＤＲ画像を生成するためにＳＤＲ画像を処理するための２つの状況が説明される。この実行例では、画像を表すバーの幅が各画像の露光のための短い、中間の、および長時間をほぼ表している。
【0047】
第１の状況Ｓ＃１では、３つのＳＤＲストリームからＨＤＲストリームを生成する方法の実行が説明される。この第１の状況では、３つのＳＤＲストリームがそれぞれ３つの異なるセンサ（３つのカメラ）によって得られると仮定する。画像Ｉ１１、Ｉ２１、Ｉ３１およびＩ４１は短い積分時間で得られた画像であり、画像Ｉ１２、Ｉ２２、Ｉ３２およびＩ４２は中間の積分時間で得られた画像であり、画像Ｉ１３、Ｉ２３、Ｉ３３およびＩ４３は長い積分時間で得られた画像である。この第１の状況では、３つのＳＤＲ画像（Ｔｒｔ１、Ｔｒｔ２、Ｔｒｔ３）からＨＤＲ画像を作成するための処理が画像の取得に続いて順次実行される。各処理（Ｔｒｔ１、Ｔｒｔ２、Ｔｒｔ３）は同一の実行（ピクセルのデゴースティング、ＳＤＲ画像の合成）に続き、同一の処理時間は、より簡単にするために示されている。時間ｔ１、ｔ２、およびｔ３は、ＳＤＲカメラの最大フレームレート（例えば、６０画像／秒、３０画像／秒など）を表す。
【0048】
第２の状況Ｓ＃２において、３つのＳＤＲストリームは、依然として、３つの異なるセンサ（３つのカメラ）によってそれぞれ取得されると仮定される。３つのＳＤＲ画像からＨＤＲ画像を作成する処理（Ｔｒｔ１、Ｔｒｔ２、Ｔｒｔ３）は、画像の取得に続いて同時に実行される。これは、状況＃１との主な違いである。処理は、取得から非同期化される。唯一の制約は、ｔにおいて取得された画像に対する処理がｔ＋１における取得よりも時間的に短いことを確実にすることである。したがって、取得されるべき画像（典型的には３つ）と同数のセンサを使用することによって、サイクル時間は、長い積分時間を有する画像を取得するための時間に等しい最小値である。より多くのセンサ（例えば、３つの代わりに４つ）を使用することによって、これらの４つのセンサのうちの２つを、取得が開始する長時間における画像の取得に専念することが想定され得、その取得は、半周期だけオフセットされる。例えば、１／３０の周期では第１のセンサがｔ＝１／６０で開始することによって、１／３０秒ごとに画像を提供するが、第２のセンサはｔ＝ｎ×１／３０＋１／６０で画像を提供することができ、したがって、１秒の６０分の１ごとに画像を生成することが可能である。動作実行条件により採用される戦略が決定される。特に、高性能でより高い取得速度を有するセンサ（しかし、より高価）、個々にはより安価であるがより多くのセンサ（４つ、５つ、または６つ）のどちらを用いるかは、コストに依存する。
【0049】
各処理（Ｔｒｔ１、Ｔｒｔ２、Ｔｒｔ３）は、同一の実行（ピクセルのデゴースティング、ＳＤＲ画像の結合）に続き、同一の処理時間が、より簡単にするために示されている。時間ｔ１、ｔ２、およびｔ３は、ＳＤＲカメラの最大フレームレート（例えば、６０画像／秒、３０画像／秒など）を表す。
【0050】
第１の状況Ｓ＃１では、第１の反復から、０～ｔ１などの期間の後に、ＨＤＲ画像が取得される。第２の状況Ｓ＃２では、ＨＤＲ画像が時刻ｔ’２、次いで、ｔ’３などからのみ取得される。したがって、第１のＨＤＲ画像の生成中にわずかなオフセットが存在する。この起動時のオフセットにより、最終的には、画像生成速度を低下させることなく、ＨＤＲ画像を生成するための処理を実行するために、より長時間を利用することが可能になる。実際には、ｔ１とｔ’１との間のオフセットが、最初にカメラの画像生成速度（すなわち、「フレーム速度」）を超えるＨＤＲ画像を処理するための時間に対応する。したがって、画像生成頻度を変更することなく、入力としてのカメラの画像生成速度に等しい処理時間を有することが可能であり、最大でｔ１とｔ’１とが１サイクルに等しい。
【0051】
図３に関連して、ＨＤＲストリームを作成するための方法を実行するための装置（ＤＩＳＰ）の実行例が、実行形態の例に従って説明される。ＨＤＲカメラとも呼ばれるこのようなＨＤＲストリーム取得装置は、まずＮ個のセンサ（Ｃ１、・・・、ＣＮ）を有する取得サブユニット（ＳＳＡＣＱ）を備える。センサは、２つのサブモジュール、すなわち、各センサの露光時間を設定するために使用される露光時間プログラミングサブモジュール（ＣｔｒｌＥＣ）と、厳密には、各センサについて、このセンサのピクセルのマトリクスを読み取ることを担う取得（ＡｃＱ）サブモジュールとを備える取得モデル（ＭＡＣＱ）に接続され、メモリ管理ユニット（ＭＭＵ）モジュールに、取得されたピクセルデータセットを送信する。上述のように、カメラによる新しい取得のたびに露光時間を変更する必要があり、これは、撮影されるシーンの変化する露光条件に迅速に適応するためである。典型的には、３つの画像について、短時間を有する画像１、中間時間を有する画像２、長時間を有する画像３、その後、短時間を有する画像４、中間時間を有する画像５、長時間を有する画像６などがある。取得時間の値は、上記で説明したように、先行する取得に対して実行された統計分析から、新しい取得ごとに推定される。各取得時に行われるこれらの計算は、シーンの照明変化の全てを非常に迅速に考慮に入れることを可能にする。露光時間が決定されると、取得（ＡＣＱ）サブモジュールはセンサをプログラムし、取得を開始し、その後、対応するセンサによって取得された画像を検索することができる
【0052】
メモリ管理ユニット（ＭＭＵ）モジュールは、その一部として、取得モジュールからピクセルデータセットを受信する。各ピクセルデータセットは、センサによって取得された画像に関連する。ピクセルデータは、取得モジュールによって識別子を伴って提供され、ソースセンサ、または露光時間、またはこれら２つのデータの両方を決定することを可能にする。メモリ管理ユニット（ＭＭＵ）モジュールは、露光時間、ソースセンサ、またはこれら２つの組み合わされた情報項目に応じて、メモリ領域（ＺＭ１、．．．、ＺＭＮ）内に取得されたピクセルデータセットを保存する。
【0053】
より詳細には、本発明者らは、センサの数にかかわらず、メモリに記憶された少なくとも３つの画像を連続的に有することを可能にする、メモリを管理するための特定のデバイスを開発した。これらの画像の各々は短い、中間の、または長露光時間を有する。起動時（初期反復）には、メモリ１内の画像１（短時間）の取得が行われる。画像２（中間時間）はメモリ２内にあり、画像３（長時間）はメモリ３内にある。次の反復で、イメージ４（短い）を格納するために、ＭＭＵモジュールは最も古いイメージ（イメージ１－短い）を上書きする。画像５（中間時間）については、画像２が上書きされる。この装置では、（取得に使用されるセンサに関係なく）各々が新しくセンサによって取得された後に、短い、中間の、および長時間で取得された最後の３つの画像がメモリに保存される。
【0054】
ＭＭＵモジュールは取得と同時に、処理サブユニット（ＳＳＴＲＴ）を取り込むために画像の読み取りを実行する（以下参照）。複数の円形メモリにおけるこの書き込み／読み取りアプローチの利点は、センサと同じ速度でＨＤＲ画像を生成することができることであり、各新たな取得において、ソースセンサにかかわらず、ＨＤＲビデオストリームにおいて新たなＨＤＲ画像を生成するのに十分な量のデータがメモリ内に存在する。
【0055】
多くのセンサを有するデバイスの場合、ＭＭＵモジュールは、同時に実行される様々な取得を同期させるように実行される。新たな取得毎に、３つのメモリのうちの少なくとも１つが、新たな画像で更新され、その結果、前述の場合と同様に、ＨＤＲ生成が取得速度で実行される。
【0056】
いずれにせよ、本発明者らは、センサによって取得されたデータストリームに対してリアルタイムで作業することを選択した。
【0057】
２倍のメモリを使用して、２つのストリーム（取得ストリームと処理ストリーム）を同期解除することもできる（状況＃２、図２）。取得されるべき画像を記憶するために使用されるメモリの第１の部分と、既に取得された画像を処理するための第２の部分と、を含む。メモリの第２の部分で実行される処理が終了するとすぐに、メモリを切り替え、メモリの第１の部分（最新の画像取得を含む）で処理を開始することが可能であり、メモリの第２の部分は、以下の取得を実行するために使用される。この解決策は、この実行例では実行される処理が取得によって一時的に可能であるため、保持されていない（しかしながら、取得頻度がより高い場合、この解決策は興味深いものであり得る）。実際、この実行例では、実行される処理が、取得ストリーム内で、すなわち、新しい画像の読み取り及び既に保存されている画像の読み取りと同時に実行することができる。センサによって取得された新しい画像は、センサからＭＭＵに、ライン毎に転送される。処理モジュールＳＳＴＲＴは同時に、２つの他の保存された画像内の対応するラインのピクセルで読み取られたラインのピクセルのすべてを処理することができる。各ピクセルを処理する時間はピクセルの完全なラインを提供する速度よりもはるかに短く、これにより、取得されたピクセルの各新しいラインに対してＨＤＲピクセルの新しいラインを生成することが可能になる。
【0058】
より複雑な処理（例えば、ＨＤＲ画像の品質を改善するため、またはオブジェクトの検出／認識などのＨＤＲストリームに対して後処理を実行するため）を実行することが想定される場合、デュアルメモリシステムが想定され得る。
【0059】
ＨＤＲストリーム取得装置はまた、処理サブユニット（ＳＳＴＲＴ）を備える。この処理サブユニットは、センサの生成速度と同じ速度を有するＨＤＲストリームを生成するために、メモリ領域に保存された画像の処理を、センサによってフレームを取り込むための理論速度（例えば、６０画像／秒、３０画像／秒など）で連続的に実行する。
【0060】
この処理サブユニット（ＳＳＴＲＴ）は、この実行形態の例では、デゴースティングモジュール（ＤＥＧ）を備え、その機能は、移動物体がキャプチャされるシーン内に存在するとき、そのような物体に対応するピクセルの可能なデゴースティングを実行することである。デゴースティングモジュール（ＤＥＧ）は、Ｎ個（例えば、３つ）の取得された画像を使用して、これらのＮ個の画像内の物体の動きを推定する。この推定は、全てのピクセルに対して実行される。必然的に、２つのセンサを用いた取得の場合には、取得が順次実行されるので、より多くの動きがある（一般に、ｎ個の取得を取得することが望まれ、最大でｎ－１個のセンサしかない場合には、続きの取得がある）。複数センサの場合（２つ以上）では、同時取得により、（主に、ぼかしから、露光時間と共に増加する）動きが最小化される。いずれにせよ、動きが検出されると、この動きを補正するためのアルゴリズムが、関連するピクセルに対して実行され、その後、それらがＨＤＲ作成モジュールに送信される。本発明者らは、複数の可能なアルゴリズムを評価した。しかしながら、リアルタイムでＨＤＲ生成を可能にするために（すなわち、画像をキャプチャするために使用されるＮ個のセンサのフレームレートで）、２つのアルゴリズム、すなわち、ピクセル順序法および重み関数法がデバイスに埋め込まれる：これらの２つの方法は、処理時間を制限しながら満足のいく結果を与える。これらの方法を選択することは、取得の速度よりも速い速度で動くアーチファクトを検出し、補正することができるように、それらが迅速な計算要件に適合するという事実に関連する。
【0061】
動きが検出されない場合、Ｎセットの未処理のピクセル（Ｎ個の画像に対応する）は、ＨＤＲ作成（ＨＤＲＣ）モジュールに直接送信される。ＨＤＲ作成（ＨＤＲＣ）モジュールは、Ｎ個のストリームを同時に使用して、各ピクセルのＨＤＲ値を評価する。使用される方法は「Ｄｅｂｅｖｅｃ ａｎｄ Ｍａｌｉｋ」アルゴリズムを使用し、これは、処理時間においてより効率的であるようにデバイスに適合される。
【0062】
Ｄｅｂｅｖｅｃ法は、ビジュアルシーンのピクセルが一定の照射量の値を有するという事実に基づいており、異なる取得時間で得られたピクセルの値と、使用されるカメラの伝達曲線とから、この照射量を推定することが可能である。Ｄｅｂｅｖｅｃ法の数式は、カメラの伝達関数の逆数の対数を計算することを必要とする。本開示によれば、リアルタイム・コンテキストでは、効率上の理由から、この対数のすべての値はすべての可能なピクセル値（８ビット・センサでは０から２５５の間、１０ビット・センサでは０から１，０２３の間）について事前計算され、システムのメモリに記憶され、計算はその後、メモリ・ビンの単一の読み取りに制限される。そのような実行は、ストリームのリアルタイム処理を保証することを可能にする。
【0063】
ＨＤＲ画像が生成されると、それを使用することが可能でなければならない。これは、２つの方法で行うことができる：
－画面に表示（表示モジュールＡＦＦを使用）；
－生の出力（通信ネットワークに向けて、適切なモジュールＥＴＨを使用）。
－画面に表示（表示モジュールＡＦＦを使用）；
－生の出力（通信ネットワークに向けて、適切なモジュールＥＴＨを使用）。
【0064】
オンスクリーンディスプレイに関して、ＨＤＲデータを従来のスクリーン上に表示することは不可能である。実際、従来のスクリーンは、ＲＶＢチャネルごとに８～１０ビットにわたって一般に符号化されたピクセル値全体を受け入れる。ＨＤＲ生成の場合、３２ビットに渡って符号化されたリアルビデオストリームが生成される。したがって、画面で受け入れられるようにフォーマットを「圧縮」する必要がある。これは、ディスプレイモジュールＡＦＦ（トーンマッピング）が行うことである。埋め込まれたアルゴリズムは、本発明者らによって具体的に選択される。２つの大きな「トーンマッピング」アルゴリズムファミリーがある：第１に、ローカルアルゴリズムは、各ピクセルの局所的近似を利用して、それらの処理を適応させ、高品質の「トーンマッピング」を生成する。ローカルアルゴリズムは複雑な計算を必要とし、その結果、著しいハードウェアリソース要件が生じ、多くの場合、リアルタイム制約と両立しない。第２に、全体的なアルゴリズムはすべてのピクセルに共通の処理を使用し、それはそれらのリアルタイム実行を単純化するが、得られる結果の全体的な品質を損なう。したがって、リアルタイム処理要件に関して、本発明者らは、Ｄｕａｎら（２０１０年）に記載されているタイプのアルゴリズムを、上記の実行条件に適合させたアルゴリズムを選択した。
【0065】
ネットワーク出力（ＥＴＨ）に関して、非圧縮ＨＤＲストリームを、それらが生成される速度で出力するためのイーサネット（登録商標）ネットワークコントローラが実行される。そのようなコントローラは、特に、距離を有するＨＤＲストリームを生成するためのアルゴリズムの品質を評価することを可能にする。
【0066】
図４は、メモリ領域のピボット機能により、ＳＤＲカメラのセンサの速度に実質的に近い、より高い速度でＨＤＲストリームを生成するように転回される、実行の別の実行例を図示する。言い換えれば、この実行形態の例では、シーンを撮影するために使用されるＳＤＲカメラの速度よりも高い速度（毎秒の複数の画像）でＨＤＲストリームを生成することが可能である。このために、様々な画像を記憶するメモリ領域は、上述した露光時間プログラムサブモジュール（ＣｔｒｌＥＣ）によってカメラの露光時間にわたって実行されるプログラムに応じて、非同期的に使用される。この技術は、上記で開示したように、２つのカメラで使用することもできる。
【0067】
図４に関連して提供される説明のための実行例として、１つのセンサ（単一のセンサ）のみが、３つのＳＤＲストリームを生成するために使用され、各ストリームは毎秒２０画像（すなわち、毎秒６０画像を３で割ったもの）の速度を有すると考えられる。したがって、各像の各露光は１秒の１／６０ｔｈ未満である。しかしながら、この実行例では、ＨＤＲビデオが毎秒最小６０個の画像を含むように生成される。このため、一般的な場合で説明したように、画像をメモリ領域に保存し、メモリ領域ＺＭ＃１～ＺＭ＃３で画像を読み出す際に、ピクセルのデゴースティングやＨＤＲ画像の合成処理をリアルタイムで行う。メモリ領域のピボット機能を使用するこのモードは、ＳＤＲストリームのキャプチャを実行するために１つのＳＤＲセンサのみが存在するユースケースにおいて、ＨＤＲストリームを生成するための処理の実行によく適合されることに留意されたい。
【0068】
図４のこの実行例では、第１の取得反復において、短時間を有する画像Ｉ［１］が取得サブユニットＳＳＡＣＱのセンサによって取得される。この画像は、ＭＭＵモジュールによってメモリ領域ＺＭ＃１に格納される。第２のキャプチャ反復において、中間時間に、画像Ｉ［２］がセンサによってキャプチャされる。この画像は、メモリ領域ＺＭ＃２に格納される。第２のキャプチャ反復において、長時間で、画像Ｉ［３］がセンサによってキャプチャされる。この画像は、メモリ領域ＺＭ＃３に格納される。３つのメモリ領域がそれぞれ画像（短時間、中間時間、および長時間）を有するので、処理サブユニットはメモリ内のこれらの３つの画像を検索し、ＨＤＲ画像への変換を実行する（ＩＨＤＲ［１２３］）。したがって、第１のＨＤＲ画像は、ＨＤＲ画像への変換のために、
のキャプチャにおいて取得された。これに、処理サブユニットによって処理タイム（＜＜１／６０ｔｈで１秒）が加算されている。
同時に、取得サブユニットＳＳＡＣＱのセンサは、新しい画像Ｉ［４］のキャプチャを短時間で実行し、画像は、ＭＭＵモジュールによってメモリ領域ＺＭ＃１に記憶される。３つのメモリ領域は、それぞれ画像（短時間Ｉ［４］、中間時間Ｉ［２］、および長時間Ｉ［３］）を有するので、処理サブユニットはメモリ内のこれらの３つの画像を検索し、ＨＤＲ画像への変換を再度実行する（ＩＨＤＲ［４２３］）。したがって、＜＜１／６０ｔｈのキャプチャで、第２のＨＤＲ画像が得られた。
【数3】
のキャプチャにおいて取得された。これに、処理サブユニットによって処理タイム（＜＜１／６０ｔｈで１秒）が加算されている。
同時に、取得サブユニットＳＳＡＣＱのセンサは、新しい画像Ｉ［４］のキャプチャを短時間で実行し、画像は、ＭＭＵモジュールによってメモリ領域ＺＭ＃１に記憶される。３つのメモリ領域は、それぞれ画像（短時間Ｉ［４］、中間時間Ｉ［２］、および長時間Ｉ［３］）を有するので、処理サブユニットはメモリ内のこれらの３つの画像を検索し、ＨＤＲ画像への変換を再度実行する（ＩＨＤＲ［４２３］）。したがって、＜＜１／６０ｔｈのキャプチャで、第２のＨＤＲ画像が得られた。
【0069】
同時に、取得サブユニットＳＳＡＣＱのセンサは、ＭＭＵモジュールによってメモリ領域ＺＭ＃２に記憶される新しい画像Ｉ［５］の取り込みを中間時間に実行する。３つのメモリ領域は、それぞれ画像（短時間Ｉ［４］、中間時間Ｉ［５］および長時間Ｉ［３］）を有するので、処理サブユニットはメモリ内のこれら３つの画像を検索し、ＨＤＲ画像への変換を再度実行する（ＩＨＤＲ［４５３］）。したがって、＜＜１／６０ｔｈ秒でのキャプチャにおいて、第３のＨＤＲ画像が再度得られた。
【0070】
同時に、取得サブユニットＳＳＡＣＱのセンサは、ＭＭＵモジュールによってメモリ領域ＺＭ＃２に記憶される新しい画像Ｉ［６］のキャプチャを長時間で実行する。３つのメモリ領域は、それぞれ画像（短時間Ｉ［４］、中間時間Ｉ［５］および長時間Ｉ［６］）を有するので、処理サブユニットはメモリ内のこれら３つの画像を検索し、ＨＤＲ画像への変換を再度実行する（ＩＨＤＲ［４５６］）。したがって、＜＜１／６０ｔｈ秒でのキャプチャにおいて、第３のＨＤＲ画像が再度得られた。このプロセスは、ＨＤＲストリームキャプチャおよび変換プロセス全体にわたって継続され、毎秒６０画像でＨＤＲストリームを配信する。この実行形態の例では、生じ得る問題がアーチファクトの存在である。したがって、ピクセルデゴースティングを実行する必要があることが多いが、２つ以上のセンサが使用される場合には、この必要性がないか、または必要性が少ない。
【0071】
実行形態の別の例では、開示された技術を実行するために、少なくとも２つの同一のセンサが使用される。これらの少なくとも２つのセンサは同一ではあるが、それぞれ異なるキャプチャ速度で動作するようにプログラムされる。より詳細には、露光時間プログラムサブモジュール（ＣｔｒｌＥＣ）が、短時間、長時間、およびその長時間に応じて中間時間を得るために、センサの最大露光時間のプログラムを実行することが上記で開示された。これらの露光時間は、カメラの生成速度よりも短い（またはさらにはるかに短い）。例えば、１２０枚／秒の生成速度であれば、１／５００秒の短時間、１／２６０秒の中間時間、１／１４０秒の長時間とすることができる。しかし、上記では、短時間および長時間のオブジェクトは、それぞれ白色またはブラック飽和ピクセル（画像のすべてのピクセルについて所与のパーセンテージ未満のピクセル数）の存在を最小限に抑えることであることが示されている。しかし、場合によっては、１／１２０秒の最も長露光時間ではブラック飽和ピクセルを最小限に抑えるには不十分であることがある。したがって、実行形態の追加の例では、少なくとも２つのセンサは、それらが異なる生成速度でＳＤＲ画像を生成するように構成される。より詳細には、センサのうちの１つは、毎秒１２０画像の速度で画像を生成するように構成され、他方のセンサは毎秒６０画像の速度で画像を生成するように構成される。第２のセンサはより低い速度で画像を生成するが、より長露光時間から利益を得る。欠点は、ブラック飽和ピクセルの量が所定の値（例えば、１０％）よりも低い場合に、画像をより効率的に生成できることである。この状況では、利用可能な計算リソースに応じて、２つのタイプのＨＤＲストリームを生成することが可能であり、第１のタイプのＨＤＲストリームは、最も低速であるように構成されたセンサの生成速度に基づいて、毎秒６０画像の速度、すなわち「最低」可能値に設定される。この解決策の利点は、アーチファクトの存在によるピクセルデゴースティング処理がより少ないことである。別の利点は、２つのセンサのみを使用することができることである：毎秒１２０画像の速度で動作するセンサが、長時間にキャプチャ時間中に２つのキャプチャを実行することを可能にし、第１のセンサは短時間に画像を取得し、中間の時間に画像を取得し、第２のセンサは、長時間に画像を取得する。３つの画像が考慮される３つのメモリ領域に存在するとき、後者は図４の状況のうちの１つまたは他の状況に従って、１つのＨＤＲ画像のみを生成するために、処理サブユニットによって取得され、処理される。
【0072】
第２のタイプのＨＤＲストリームは、最も迅速であるように構成されたセンサの生成速度に基づいて、毎秒１２０画像の速度、すなわち「最も高い」可能な値に設定される。この場合、図４に記載の方法が実行される。生成速度が毎秒１２０画像の速度であるセンサによって得られた各新しい画像は、新しいＨＤＲ画像の計算を実行するために、即座に使用される。この状況では、毎秒６０画像の速度で設定されたセンサの現在の画像がＨＤＲセンサストリームの２つの画像を生成するために使用される。
【図面の簡単な説明】
【0073】
本開示の他の特徴および利点は、単純な例示的かつ非限定的な例として与えられる、実行形態の好ましい例の以下の説明および添付の図面を読めば、より明確になるのであろう：
【図1】
【図2】
【図3】
【図4】
【国際調査報告】