特許 7169388 高ダイナミックレンジ画像の電子画像安定化を実施するための方法、デバイス、カメラ、およびソフトウェア

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-01

(45)【発行日】2022-11-10

(54)【発明の名称】高ダイナミックレンジ画像の電子画像安定化を実施するための方法、デバイス、カメラ、およびソフトウェア

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221102BHJP

   H04N 5/235 20060101ALI20221102BHJP

   G03B 7/093 20210101ALI20221102BHJP

   G03B 5/00 20210101ALI20221102BHJP

   G06T 5/50 20060101ALI20221102BHJP

   G06T 5/00 20060101ALI20221102BHJP

   G06T 3/00 20060101ALI20221102BHJP

【ＦＩ】

H04N5/232 480

H04N5/235 500

H04N5/235 600

G03B7/093

G03B5/00 K

G06T5/50

G06T5/00 740

G06T3/00 750

【請求項の数】 12

【外国語出願】

(21)【出願番号】P 2021042997

(22)【出願日】2021-03-17

(65)【公開番号】P2021184591

(43)【公開日】2021-12-02

【審査請求日】2022-05-30

(31)【優先権主張番号】20170780

(32)【優先日】2020-04-22

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】ユアン， ソン

(72)【発明者】

【氏名】フェルベルク， ヨハン

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２０１７－００５５３９（ＪＰ，Ａ）

【文献】特開２００１－３４６０９６（ＪＰ，Ａ）

【文献】特開２０１４－０３００７３（ＪＰ，Ａ）

【文献】特開２００８－１０９１７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２３５

Ｇ０３Ｂ ７／０９３

Ｇ０３Ｂ ５／００

Ｇ０６Ｔ ５／５０

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

シーンを描写する高ダイナミックレンジ（ＨＤＲ）画像の電子画像安定化（ＥＩＳ）を実施する方法であって、当該方法は、
前記シーンを描写する第１の画像および第２の画像を受信することであって、前記第１の画像および第２の画像は複数のピクセル領域を含むローリングシャッター画像センサによって取り込まれ、前記ローリングシャッター画像センサは、或る画像の取り込み中に、１つのピクセル領域からピクセルデータを１回読み出し、前記第１の画像および前記第２の画像は異なる露出時間で取り込まれる、第１の画像および第２の画像を受信すること、
第１の運動データおよび第２の運動データを受信することであって、前記第１の運動データおよび前記第２の運動データのそれぞれは、前記第１の画像および前記第２の画像を取り込むときに、前記ローリングシャッター画像センサの複数の姿勢をそれぞれ示し、各姿勢は、前記ローリングシャッター画像センサの或るピクセル領域に対応し、且つ前記ピクセル領域のピクセルデータの読み出し中に決定された前記ローリングシャッター画像センサの配向および／または位置を示す、第１の運動データおよび第２の運動データを受信すること、
前記第１の画像および前記第２の画像をマージすることによって前記ＨＤＲ画像を作成すること、
前記ＨＤＲ画像内のピクセルブロックの中の、前記ローリングシャッター画像センサの或るピクセル領域に空間的に対応する特定のピクセルブロックのそれぞれについて、
前記特定のピクセルブロックが、前記第１の画像のピクセルデータからコピーされるか、前記第２の画像のピクセルデータからコピーされるか、前記第１の画像と前記第２の画像の両方からのピクセルデータのブレンドであるかどうかを判定すること
によって、前記ＨＤＲ画像に対してＥＩＳを実施すること
を含み、
ここで、前記特定のピクセルブロックが前記第１の画像のピクセルデータからコピーされると判定すると、ＥＩＳは、前記第１の運動データの前記対応するピクセル領域の前記姿勢を使用することによって前記特定のピクセルブロックに対して実施され、
前記特定のピクセルブロックが前記第２の画像のピクセルデータからコピーされると判定すると、ＥＩＳは、前記第２の運動データの前記対応するピクセル領域の前記姿勢を使用することによって前記特定のピクセルブロックに対して実施され、
前記特定のピクセルブロックが前記第１の画像と前記第２の画像の両方からのピクセルデータのブレンドであると判定すると、前記方法は更に、
前記特定のピクセルブロック内の前記第１の画像からのピクセルデータの比を示す第１のブレンディング値または前記第１の画像のピクセルデータからコピーされる前記特定のピクセルブロックに隣接するピクセルブロックの比を示す第２のブレンディング値を受信すること、
前記第１のブレンディング値に従って、前記第１の運動データの前記対応するピクセル領域の前記姿勢および前記第２の運動データの前記対応するピクセル領域の前記姿勢を重み付けすることによって前記特定のピクセルブロックについての姿勢を計算すること
を含み、
ＥＩＳは、前記計算された姿勢を使用することによって前記特定のピクセルブロックに対して実施される、方法。

【請求項2】

前記第１の運動データ内の各姿勢は、前記第１の画像を取り込むときに前記対応するピクセル領域からピクセルデータを読み出すときの、前記ローリングシャッター画像センサのヨー、ピッチ、および任意選択でロールを示す角度配向データを含み、
前記第２の運動データ内の各姿勢は、前記第２の画像を取り込むときに前記対応するピクセル領域からピクセルデータを読み出すときの、前記ローリングシャッター画像センサのヨー、ピッチ、および任意選択でロールを示す角度配向データを含む、請求項１に記載の方法。

【請求項3】

前記第１の運動データ内の各姿勢は、前記第１の画像を取り込むときに前記対応するピクセル領域からピクセルデータを読み出すときの、前記ローリングシャッター画像センサの空間内の位置を示す位置データを含み、
前記第２の運動データ内の各姿勢は、前記第２の画像を取り込むときに前記対応するピクセル領域からピクセルデータを読み出すときの、前記ローリングシャッター画像センサの空間内の位置を示す位置データを含む、請求項１または２に記載の方法。

【請求項4】

命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令は、処理能力を有するデバイス上で実行されると、請求項１から３のいずれか一項に記載の方法を実施するためのものである、非一時的コンピュータ可読記憶媒体。

【請求項5】

シーンを描写する高ダイナミックレンジ（ＨＤＲ）画像の電子画像安定化（ＥＩＳ）を実施するように構成されるデバイスであって、当該デバイスは第１の回路を備え、前記第１の回路は、
前記シーンを描写する第１の画像および第２の画像を受信するように構成される画像受信機能であって、前記第１の画像および前記第２の画像は複数のピクセル領域を含むローリングシャッター画像センサによって取り込まれ、前記ローリングシャッター画像センサは、或る画像の取り込み中に、１つのピクセル領域からピクセルデータを１回読み出し、前記第１の画像および前記第２の画像は異なる露出時間で取り込まれる、画像受信機能、
第１の運動データおよび第２の運動データを受信するように構成される運動データ受信機能であって、前記第１の運動データおよび前記第２の運動データのそれぞれは、前記第１の画像および前記第２の画像を取り込むときに、前記ローリングシャッター画像センサの複数の姿勢をそれぞれ示し、各姿勢は、前記ローリングシャッター画像センサの或るピクセル領域に対応し、且つ前記ピクセル領域のピクセルデータの読み出し中に決定された前記ローリングシャッター画像センサの配向および／または位置を示す、運動データ受信機能、
前記第１の画像および前記第２の画像をマージすることによって前記ＨＤＲ画像を作成するように構成されるＨＤＲ画像作成機能、
前記ＨＤＲ画像内のピクセルブロックの中の、前記ローリングシャッター画像センサの或るピクセル領域に空間的に対応する特定のピクセルブロックのそれぞれについて、
前記特定のピクセルブロックが、前記第１の画像のピクセルデータからコピーされるか、前記第２の画像のピクセルデータからコピーされるか、前記第１の画像と前記第２の画像の両方からのピクセルデータのブレンドであるかどうかを判定すること
によって、前記ＨＤＲ画像に対してＥＩＳを実施するように構成されるＥＩＳ実施機能
を実行するように構成され、
ここで、前記特定のピクセルブロックが前記第１の画像のピクセルデータからコピーされると判定すると、ＥＩＳは、前記第１の運動データの前記対応するピクセル領域の前記姿勢を使用することによって前記特定のピクセルブロックに対して実施され、
前記特定のピクセルブロックが前記第２の画像のピクセルデータからコピーされると判定すると、ＥＩＳは、前記第２の運動データの前記対応するピクセル領域の前記姿勢を使用することによって前記特定のピクセルブロックに対して実施され、
前記特定のピクセルブロックが前記第１の画像と前記第２の画像の両方からのピクセルデータのブレンドであると判定すると、ブレンド済み姿勢計算機能が、
前記特定のピクセルブロック内の前記第１の画像からのピクセルデータの比を示す第１のブレンディング値または前記第１の画像のピクセルデータからコピーされる前記特定のピクセルブロックに隣接するピクセルブロックの比を示す第２のブレンディング値を受信し、
前記第１のブレンディング値に従って、前記第１の運動データの前記対応するピクセル領域の前記姿勢および前記第２の運動データの前記対応するピクセル領域の前記姿勢を重み付けすることによって前記特定のピクセルブロックについての姿勢を計算する
ように構成され、
ＥＩＳは、前記計算された姿勢を使用することによって前記特定のピクセルブロックに対して実施される、デバイス。

【請求項6】

カメラであって、
複数のピクセル領域を含むローリングシャッター画像センサであって、或る画像の取り込み中に、１つのピクセル領域からピクセルデータを１回読み出し、シーンを描写する第１の画像および第２の画像を異なる露出時間で取り込むように構成される、ローリングシャッター画像センサと、
高ダイナミックレンジ（ＨＤＲ）画像の電子画像安定化（ＥＩＳ）を実施するように構成されるデバイスに、前記第１の画像および前記第２の画像を送信するように構成される第２の回路と
を備え、
前記デバイスは第１の回路を備え、前記第１の回路は、
前記第１の画像および前記第２の画像を受信するように構成される画像受信機能、
第１の運動データおよび第２の運動データを受信するように構成される運動データ受信機能であって、前記第１の運動データおよび前記第２の運動データのそれぞれは、前記第１の画像および前記第２の画像を取り込むときに、前記ローリングシャッター画像センサの複数の姿勢をそれぞれ示し、各姿勢は、前記ローリングシャッター画像センサの或るピクセル領域に対応し、前記ピクセル領域のピクセルデータの読み出し中に決定された前記ローリングシャッター画像センサの配向および／または位置を示す、運動データ受信機能、
前記第１の画像および前記第２の画像をマージすることによって前記ＨＤＲ画像を作成するように構成されるＨＤＲ画像作成機能、
前記ＨＤＲ画像内のピクセルブロックの中の、前記ローリングシャッター画像センサの或るピクセル領域に空間的に対応する特定のピクセルブロックのそれぞれについて、
前記特定のピクセルブロックが、前記第１の画像のピクセルデータからコピーされるか、前記第２の画像のピクセルデータからコピーされるか、前記第１の画像と前記第２の画像の両方からのピクセルデータのブレンドであるかどうかを判定すること
によって、前記ＨＤＲ画像に対してＥＩＳを実施するように構成されるＥＩＳ実施機能
を実行するように構成され、
ここで、前記特定のピクセルブロックが前記第１の画像のピクセルデータからコピーされると判定すると、ＥＩＳは、前記第１の運動データの前記対応するピクセル領域の前記姿勢を使用することによって前記特定のピクセルブロックに対して実施され、
前記特定のピクセルブロックが前記第２の画像のピクセルデータからコピーされると判定すると、ＥＩＳは、前記第２の運動データの前記対応するピクセル領域の前記姿勢を使用することによって前記特定のピクセルブロックに対して実施され、
前記特定のピクセルブロックが前記第１の画像と前記第２の画像の両方からのピクセルデータのブレンドであると判定すると、ブレンド済み姿勢計算機能が、
前記特定のピクセルブロック内の前記第１の画像からのピクセルデータの比を示す第１のブレンディング値または前記第１の画像のピクセルデータからコピーされる前記特定のピクセルブロックに隣接するピクセルブロックの比を示す第２のブレンディング値を受信し、
前記第１のブレンディング値に従って、前記第１の運動データの前記対応するピクセル領域の前記姿勢および前記第２の運動データの前記対応するピクセル領域の前記姿勢を重み付けすることによって前記特定のピクセルブロックについての姿勢を計算する
ように構成され、
ＥＩＳは、前記計算された姿勢を使用することによって前記特定のピクセルブロックに対して実施される、カメラ。

【請求項7】

第１の運動データおよび第２の運動データを決定するように構成される運動センサをさらに備え、前記第１の運動データおよび前記第２の運動データのそれぞれは、前記第１の画像および前記第２の画像を取り込むときに、前記ローリングシャッター画像センサの複数の姿勢をそれぞれ示し、前記運動センサは、前記ローリングシャッター画像センサの前記複数のピクセル領域の内の或るピクセル領域のピクセルデータの読み出し中に前記ローリングシャッター画像センサの配向および／または位置を決定し、且つ前記姿勢を前記それぞれの運動データ内に記憶するように構成され、
前記第２の回路は、
前記第１の運動データおよび前記第２の運動データを前記デバイスに送信するように構成される運動データ送信機能
を実行するように構成される、請求項６に記載のカメラ。

【請求項8】

前記運動センサは、前記ローリングシャッター画像センサの配向を決定するジャイロスコープを備える、請求項７に記載のカメラ。

【請求項9】

前記運動センサは、前記ローリングシャッター画像センサの空間内の位置を決定する加速度計を備える、請求項７に記載のカメラ。

【請求項10】

前記ローリングシャッター画像センサは、前記第１の画像を取り込むための第１のローリングシャッター画像センサおよび前記第２の画像を取り込むための第２のローリングシャッター画像センサを備える、請求項６から９のいずれか一項に記載のカメラ。

【請求項11】

前記ローリングシャッター画像センサは単一ローリングシャッター画像センサを備え、前記単一ローリングシャッター画像センサは、前記第１の画像全体を最初に取り込み、その後、前記第２の画像全体を取り込む、請求項６から９のいずれか一項に記載のカメラ。

【請求項12】

前記ローリングシャッター画像センサは単一ローリングシャッター画像センサを備え、前記単一ローリングシャッター画像センサは、前記複数のピクセル領域のうちの第２の、異なるピクセル領域から、画像データを読み出し続ける前に、前記複数のピクセル領域のうちの第１のピクセル領域から、前記第１の画像と前記第２の画像の両方の画像について画像データを読み出す、請求項６から９のいずれか一項に記載のカメラ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概して、ローリングシャッター画像センサによって取り込まれる高ダイナミックレンジ、ＨＤＲ、画像用の電子画像安定化、ＥＩＳのためのアルゴリズムに関する。

【背景技術】

【0002】

種々の種類の電子デバイス、例えば、スマートフォン、タブレットコンピュータ、またはデジタルカメラは、益々精巧な撮像機能を装備することができる。そのような撮像機能は、例えば、ＨＤＲ静止画像またはビデオの取り込みを含む。ここで、用語「ＨＤＲ」は、標準的なデジタル撮像または写真撮影技法によって可能になるものに比べて、明度（ｌｕｍｉｎｏｓｉｔｙ）の広いダイナミックレンジを再現するための多重露出技法を意味する。ＨＤＲ画像は、ワイドダイナミックレンジ（ＷＤＲ：ｗｉｄｅ ｄｙｎａｍｉｃ ｒａｎｇｅ）画像とも呼ぶことができる。

【0003】

画像を取り込むとき、ＣＭＯＳ画像センサを使用することができる。ＣＭＯＳ画像センサは、低価格、感度の増加、より高い解像度等のような利点をもたらすことができる。多くのＣＭＯＳ画像センサは、ローリングシャッター技術を使用する。ローリングシャッターは、画像センサが画像を走査する方法を指す技術用語である。ローリングシャッター画像センサは、センサの一方の側（通常、上部）から他の側までラインごとに画像を順次走査する。

【0004】

多重露出マージＨＤＲ撮像と組み合わせて電子画像安定化（ＥＩＳ：ｅｌｅｃｔｒｏｎｉｃ ｉｍａｇｅ ｓｔａｂｉｌｉｚａｔｉｏｎ）を実施することに関して言えば、２つの主要な可能性：
１．露出マージステップ前に各露出を個々に安定化させる
２．マージステップ後に、既にマージした露出を共に安定化させる
が存在する。

【0005】

これらの中で、方法（１）は、概して、より高い品質安定化をもたらすことになる。露出は時間的に離れているため、１つの露出中の画像センサ（例えば、ローリングシャッター画像センサ）の運動は、別の露出の画像センサの運動に一致しないことになる。方法（１）を使用して、各露出は、それらがＨＤＲ画像になるようにマージされる前に正しく安定化することができる。

【0006】

しかしながら、方法（１）は、帯域幅要件の増加という対価を伴う。少なくとも２つの露出は、それらをマージすることができる前に、長い時間の間（ＥＩＳステップを通して）、離れたままである必要がある。これは、典型的には、撮像パイプラインの大部分が、マージ済みの画像に対して１回のみである代わりに、２回、１回の露出について１回、実行される必要があることを意味する。例えば、別個の露出は、両方の画像に対してＥＩＳが実施されるまで、アクセス可能なメモリに記憶される必要がある。さらに、ＨＤＲ画像を達成するための要求される処理パワーは、ＥＩＳが各露出に対して実施されるため増加する。

【0007】

代替の方法（２）は、帯域幅の点でより効率的であるが、ＥＩＳが実施されるときに、露出が既にマージされているため、従来技術において完全に正しいＥＩＳを実施することは難しい。これは、ＨＤＲ画像の画像品質の低下をもたらす。

【0008】

したがって、この文脈における改善についての必要性が存在する。

【発明の概要】

【0009】

上記を考慮して、本発明の目的は、上記で論じた欠点のうちの１つまたは幾つかを解決するまたは少なくとも低減することである。概して、上記目的は、添付独立特許請求項によって達成される。

【0010】

本発明の第１の態様によれば、シーンを描写する高ダイナミックレンジ、ＨＤＲ、画像の電子画像安定化、ＥＩＳを実施する方法が提供され、方法は、
シーンを描写する第１の画像および第２の画像を受信することであって、第１および第２の画像は複数のピクセル領域を含むローリングシャッター画像センサによって取り込まれ、ローリングシャッター画像センサは、或る画像の取り込み中に、１つのピクセル領域からピクセルデータを１回読み出し、第１および第２の画像は異なる露出時間で取り込まれる、受信すること、
第１および第２の運動データを受信することであって、第１および第２の運動データのそれぞれは、第１および第２の画像を取り込むときに、ローリングシャッター画像センサの複数の姿勢をそれぞれ示し、各姿勢は、ローリングシャッター画像センサの或るピクセル領域に対応し、且つピクセル領域のピクセルデータの読み出し中に決定されたローリングシャッター画像センサの配向および／または位置を示す、受信すること、
第１および第２の画像をマージすることによってＨＤＲ画像を作成すること、
ＨＤＲ画像内のピクセルブロックの中の、ローリングシャッター画像センサの或るピクセル領域に空間的に対応する特定のピクセルブロックのそれぞれについて、
・ 特定のピクセルブロックが、第１の画像のピクセルデータからコピーされるか、第２の画像のピクセルデータからコピーされるか、第１の画像と第２の画像の両方からのピクセルデータのブレンドであるかを判定すること
によって、前記ＨＤＲ画像に対してＥＩＳを実施すること
を含み、ここで、
・ 特定のピクセルブロックが第１の画像のピクセルデータからコピーされると判定すると、ＥＩＳは、第１の運動データの対応するピクセル領域の姿勢を使用することによって特定のピクセルブロックに対して実施され、
・ 特定のピクセルブロックが第２の画像のピクセルデータからコピーされると判定すると、ＥＩＳは、第２の運動データの対応するピクセル領域の姿勢を使用することによって特定のピクセルブロックに対して実施される。

【0011】

ローリングシャッター画像センサは、時間的に単一の瞬間のシーンの画像を取り込むのではなく、代わりに、シーンにわたって、通常、垂直にまたは水平に走査し、したがって、異なる瞬間のピクセルデータを読み出すセンサである。換言すれば、シーンの画像の全ての部分が正確に同じ瞬間に記録されるわけではない。そのため、用語「ピクセル領域（ｐｘｅｌ ｒｅｇｉｏｎ）」によって、本明細書の文脈では、例えば、ローリングシャッター画像センサのピクセルの行またはピクセルの列が理解されるべきである。ピクセル領域は、ローリングシャッター画像センサの複数の行または列を含むこともできる。ピクセルデータのそのような読み出し中に、カメラのカメラ運動が連続して測定される。カメラ運動は、例えば、ローリングシャッター画像センサの各ピクセル領域について測定することができる、または、全ての他のピクセル領域等について測定することができる。しかしながら、カメラ運動は、複数のピクセル領域からのピクセルデータの読み出し中の少なくとも２つの場合に測定されることになり、それにより、１つのピクセル領域は、別のピクセル領域に関連する運動データと異なる（測定済みのカメラ運動レベルを示す）運動データに関連するとすることができる。これらの２つのピクセル領域の間のピクセル領域について、カメラ運動を、２つの尺度から補間することができる。

【0012】

以下で、ローリングシャッター画像センサは、簡単にするために、画像センサと呼ぶことができる。

【0013】

或るピクセル領域についてのカメラ運動は、或るピクセル領域からピクセルデータが読み出されるときの画像センサの姿勢を規定するデータによって示される。ここで、画像センサの姿勢は、配向（例えば、ピッチ、ヨー、および／またはロール）および／または位置（例えば、画像センサのｘ、ｙ、および／またはｚ位置）を示す。そのため、姿勢は、１自由度（ＤＯＦ：ｄｅｇｒｅｅ ｏｆ ｆｒｅｅｄｏｍ）～６ＤＯＦで示すことができる。

【0014】

そのため、第１および第２の運動データは、第１および第２の画像の取り込み中の画像センサの少なくとも２つの測定済み姿勢を含む。各測定済み姿勢は、上記で規定したピクセル領域に対応する。運動データ内に明示的に存在しない任意の残りの姿勢は、依然として示され、知られている任意の補間方策を通して計算することができる。

【0015】

第１および第２の画像は、有利には、時間的に接近して、例えば、２つの引き続く期間内に取り込まれる、または、例えば、ＤＯＬ－ＨＤＲ技術を使用して、時間的にインターリーブされる。いずれにしても、第１の画像、すなわち、第１の画像の全ての画像データは、例えば、短い露出時間で取り込まれ、第２の画像、すなわち、第２の画像の全ての画像データは、例えば、長い露出時間で取り込まれる、または、その逆も同様である。

【0016】

３つ以上（＞２）の画像を、ＨＤＲ画像を作成するために（異なる露出時間で）取り込むことができることが理解されるべきである。簡単にするために、本開示は、２つの画像の場合を述べるだけである。

【0017】

第１および第２の画像をマージすることによって、ＨＤＲ画像が作成される。ＨＤＲ画像を作成するための多くの知られている多重露出技法が存在し、それらは技量のある読者に知られている。典型的には、マージングは、過剰に露出される（ｏｖｅｒ－ｅｘｐｏｓｅｄ）（すなわち、画像センサのフルウェルキャパシティ（ｆｕｌｌ－ｗｅｌｌ ｃａｐａｃｉｔｙ））ＨＤＲ画像内のピクセルの数を低減するために、閾値に基づく。複数の露出をマージするとき、線形重み付け（ｌｉｎｅａｒ ｗｅｉｇｈｔｉｎｇ）を使用することができる。マージャーの結果のトーンマッピング（ｔｏｎｅ－ｍａｐｐｉｎｇ）を、使用事例に応じて使用することもできる。

【0018】

マージングステップの後に、ＥＩＳが、ＨＤＲ画像に対して実施される。

【0019】

ＥＩＳ用の補正テーブルを計算するときに、複数の露出のうちの１つの露出（例えば、より長い露出時間を有する露出）について単に最適化することによってＥＩＳを実施すると、長い露出に由来する最終的なＨＤＲ画像（安定化されたＨＤＲ画像）のいずれの部分も、正しく見えることになるが、（短い露出に由来する）ハイライト部が、まるで基礎となるシーンから切り離されたようにちらつくことになることを本発明者等は認識した。これを軽減するために、ブロックがどの画像からコピーされるかを決定し、そのブロックについて、対応する第１または第２の運動データを使用することによって空間的補正を計算して、最終的なＨＤＲ画像においてそのブロックについての空間的補正を決定することによって、ピクセルのブロック（例えば、マクロブロック）ベースでＥＩＳが実施される。有利には、その後、そのピクセルのブロックを取り込むときに、ローリングシャッター画像センサの対応する姿勢に基づいて、ブロックベースで最終的なＨＤＲを安定化することが可能である。これは、次に、最終的なＨＤＲ画像の知覚品質（ｐｅｒｃｅｉｖｅｄ ｑｕａｌｉｔｙ）を改善することができる。

【0020】

幾つかの実施形態によれば、特定のピクセルのブロックが第１の画像と第２の画像の両方からのピクセルデータのブレンドであると判定すると、方法は、
特定のピクセルのブロック内の第１の画像からのピクセルデータの比を示す第１のブレンディング値を受信すること、
第１のブレンディング値に従って、第１の運動データの対応するピクセル領域の姿勢および第２の運動データの対応するピクセル領域の姿勢を重み付けすることによって特定のピクセルのブロックについての姿勢を計算することをさらに含み、
ＥＩＳは、計算済み姿勢を使用することによって特定のピクセルのブロックに対して実施される。

【0021】

換言すれば、第１の運動データの対応するピクセル領域の姿勢および第２の運動データの対応するピクセル領域の姿勢は、和が１になる重みを用いる線形結合として混合され、重みは、第１のブレンディング値に依存する。混合された計算済み姿勢は、その後、ＥＩＳのために使用される。

【0022】

第１および第２の画像からのピクセルデータ間のブレンディング（したがって、比）は、使用されるＨＤＲアルゴリズムに従って決定することができる。典型的には、ブレンディングは、より長い露出による画像のピクセルのブロックが過剰露出にどれほど近いかに基づいて決定される。代替的にまたは付加的に、ブレンディングは、より短い露出による画像の対応するピクセルのブロックが過少露出にどれほど近いかに基づいて決定される。

【0023】

この実施形態において、ブレンドされるピクセルのブロックについて、長い露出と短い露出の両方について収集される運動データからの重み付け結果が使用される。その結果、これらのピクセルのブロックについてのＥＩＳは、正しく実施された、すなわち、第１または第２の画像から取得されるピクセルのブロックについてのＥＩＳと整合する、と認識することができる。

【0024】

幾つかの実施形態によれば、方法は、特定のピクセルのブロックが第１の画像と第２の画像の両方からのピクセルデータのブレンドであると判定すると、
第１の画像のピクセルデータからコピーされる特定のピクセルのブロックに隣接するピクセルのブロックの比を示す第２のブレンディング値を受信すること、
第２のブレンディング値に従って、第１の運動データの対応するピクセル領域の姿勢および第２の運動データの対応するピクセル領域の姿勢を重み付けすることによってピクセルのブロックについての姿勢を計算することをさらに含み、
ＥＩＳは、計算済み姿勢を使用することによって特定のピクセルのブロックに対して実施される。

【0025】

換言すれば、第１の運動データの対応するピクセル領域の姿勢および第２の運動データの対応するピクセル領域の姿勢は、和が１になる重みを用いる線形結合として混合され、重みは、第１の画像のピクセルデータからコピーされる特定のピクセルのブロックに隣接するピクセルのブロックの比に依存する。混合された計算済み姿勢は、その後、ＥＩＳのために使用される。

【0026】

この実施形態において、第２の画像からコピーされる周囲のピクセルのブロックの数と比較した、第１の画像からコピーされる周囲のピクセルのブロックの数の比が、第１および第２の運動データからのデータに重み付けするために使用される。その結果、これらのピクセルのブロックについてのＥＩＳは、正しく実施された、すなわち、（第１または第２の画像から取得される）周囲のピクセルのブロックについてのＥＩＳと整合する、と認識することができる。

【0027】

幾つかの実施形態によれば、第１の運動データ内の各姿勢は、第１の画像を取り込むときに、対応するピクセル領域からピクセルデータを読み出すときの、ローリングシャッター画像センサのヨー、ピッチ、および任意選択でロールを示す角度配向データを含み、
第２の運動データ内の各姿勢は、第２の画像を取り込むときに、対応するピクセル領域からピクセルデータを読み出すときの、ローリングシャッター画像センサのヨー、ピッチ、および任意選択でロールを示す角度配向データを含む。

【0028】

例えば、壁に搭載されるカメラの場合、この実施形態は、ＨＤＲ画像の知覚される高品質ＥＩＳを達成するのに十分であるとすることができる。ほとんどのカメラは、角度配向を測定するためのセンサを既に備え、本実施形態は、したがって、任意のさらなるハードウェアコストを招かないとすることができる。

【0029】

付加的にまたは代替的に、幾つかの実施形態によれば、第１の運動データ内の各姿勢は、第１の画像を取り込むときに、対応するピクセル領域からピクセルデータを読み出すときの、ローリングシャッター画像センサの空間内の位置を示す位置データを含み、
第２の運動データ内の各姿勢は、第２の画像を取り込むときに、対応するピクセル領域からピクセルデータを読み出すときの、ローリングシャッター画像センサの空間内の位置を示す位置データを含む。

【0030】

身体装着式カメラ（ＢＷＣ：ｂｏｄｙ ｗｏｒｎ ｃａｍｅｒａ）、オンダッシュ搭載式カメラ（Ｏｎ－Ｄａｓｈ Ｍｏｕｎｔｅｄ Ｃａｍｅｒａ）等のような可動カメラの場合、有利には、カメラ（したがって、ローリングシャッター画像センサ）の位置は、ＥＩＳを実施するときに考慮される。位置は、カメラのｘ値、ｙ値、およびｚ値のうちの少なくとも１つによって示すことができる。

【0031】

本発明の第２の態様によれば、非一時的コンピュータ可読記憶媒体が提供され、非一時的コンピュータ可読記憶媒体は、非一時的コンピュータ可読記憶媒体上に記憶された命令を有し、命令は、処理能力を有するデバイス上で実行されると、第１の態様による方法を実施するためのものである。

【0032】

第２の態様は、概して、第１の態様と同じ特徴および利点を有することができる。

【0033】

本発明の第３の態様によれば、シーンを描写する高ダイナミックレンジ、ＨＤＲ、画像の電子画像安定化、ＥＩＳを実施するように構成されるデバイスが提供され、デバイスは、第１の回路を備え、第１の回路は、
シーンを描写する第１の画像および第２の画像を受信するように構成される画像受信機能であって、第１および第２の画像は複数のピクセル領域を含むローリングシャッター画像センサによって取り込まれ、ローリングシャッター画像センサは、或る画像の取り込み中に、１つのピクセル領域からピクセルデータを１回読み出し、第１および第２の画像は異なる露出時間で取り込まれる、画像受信機能、
第１および第２の運動データを受信するように構成される運動データ受信機能であって、第１および第２の運動データのそれぞれは、第１および第２の画像を取り込むときに、ローリングシャッター画像センサの複数の姿勢をそれぞれ示し、各姿勢は、ローリングシャッター画像センサの或るピクセル領域に対応し、ピクセル領域のピクセルデータの読み出し中に決定されたローリングシャッター画像センサの配向および／または位置を示す、運動データ受信機能、
第１および第２の画像をマージすることによってＨＤＲ画像を作成するように構成されるＨＤＲ画像作成機能、
ＨＤＲ画像内のピクセルブロックの中の、ローリングシャッター画像センサの或るピクセル領域に空間的に対応する特定のピクセルブロックのそれぞれについて、
特定のピクセルブロックが、第１の画像のピクセルデータからコピーされるか、第２の画像のピクセルデータからコピーされるか、第１の画像と第２の画像の両方からのピクセルデータのブレンドであるかを判定すること
によって、ＨＤＲ画像に対してＥＩＳを実施するように構成されるＥＩＳ実施機能
を実行するように構成され、
ここで、特定のピクセルブロックが第１の画像のピクセルデータからコピーされると判定すると、ＥＩＳは、第１の運動データの対応するピクセル領域の姿勢を使用することによって特定のピクセルブロックに対して実施され、
特定のピクセルブロックが第２の画像のピクセルデータからコピーされると判定すると、ＥＩＳは、第２の運動データの対応するピクセル領域の姿勢を使用することによって特定のピクセルブロックに対して実施される。

【0034】

第３の態様は、概して、第１の態様と同じ特徴および利点を有することができる。

【0035】

本発明の第４の態様によれば、カメラが提供され、カメラは、
第３の態様によるデバイスと、
複数のピクセル領域を含むローリングシャッター画像センサであって、或る画像の取り込み中に、１つのピクセル領域からピクセルデータを１回読み出し、第１および第２の画像を異なる露出時間で取り込むように構成される、ローリングシャッター画像センサと、
第２の回路とを備え、第２の回路は、
第１および第２の画像をデバイスに送信するように構成される画像送信機能
を実行するように構成される。

【0036】

幾つかの実施形態によれば、カメラは、第１および第２の運動データを決定するように構成される運動センサ回路をさらに備え、第１および第２の運動データのそれぞれは、第１および第２の画像を取り込むときに、ローリングシャッター画像センサの複数の姿勢をそれぞれ示し、運動センサ回路は、ローリングシャッター画像センサの複数のピクセル領域の或るピクセル領域のピクセルデータの読み出し中にローリングシャッター画像センサの配向および／または位置を決定し、姿勢をそれぞれの運動データ内に記憶するように構成され、
第２の回路は、
上記第１および第２の運動データをデバイスに送信するように構成される運動データ送信関数
を実行するように構成される。

【0037】

幾つかの実施形態によれば、運動センサ回路は、ローリングシャッター画像センサの配向を決定するジャイロスコープを備える。

【0038】

幾つかの実施形態によれば、運動センサ回路は、ローリングシャッター画像センサの空間内の位置を決定する加速度計を備える。

【0039】

幾つかの実施形態によれば、ローリングシャッター画像センサは、第１の画像を取り込むための第１のローリングシャッター画像センサおよび第２の画像を取り込むための第２のローリングシャッター画像センサを備える。

【0040】

幾つかの実施形態によれば、ローリングシャッター画像センサは単一ローリングシャッター画像センサを備え、上記単一ローリングシャッター画像センサは、第１の画像全体を最初に取り込み、その後、第２の画像全体を取り込む。

【0041】

幾つかの実施形態によれば、ローリングシャッター画像センサは単一ローリングシャッター画像センサを備え、上記単一ローリングシャッター画像センサは、複数のピクセル領域のうちの第２の、異なるピクセル領域から、画像データを読み出し続ける前に、複数のピクセル領域のうちの第１のピクセル領域から、第１と第２の両方の画像について画像データを読み出す。

【0042】

第４の態様は、概して、第１の態様と同じ特徴および利点を有することができる。

【0043】

本発明の上記のならびにさらなる目的、特徴、および利点は、添付図面を参照して、本発明の実施形態の例証的かつ非制限的な以下の詳細な説明を通してよりよく理解されることになり、図面では、同じ参照符号が、同様の要素のために使用されることになる。

【図面の簡単な説明】

【0044】

【図1】或る実施形態によるＨＤＲ画像のＥＩＳを実施するために使用されるデータを概略的に示す図である。

【図2】別の実施形態によるＨＤＲ画像のＥＩＳを実施するために使用されるデータを概略的に示す図である。

【図3】ＨＤＲ画像のＥＩＳを実施するための方法のフローチャートである。

【図4】ＨＤＲ画像のＥＩＳを実施するための回路を備えるカメラを概略的に示す図である。

【図5】第１の画像からコピーされる周囲の画像データの比が、ピクセルのブロックについての重みを決定するために使用される実施形態における運動データについての重みを概略的に示す図である。

【発明を実施するための形態】

【0045】

ローリングシャッター画像センサを有するカメラにおいて、ピクセルのライン（行または列）がわずかに異なる時間で読み取られるため、読み出しの一部は、振動（例えば、ジャイロスコープまたは加速度計が感じる）によって影響を受け、一部は影響を受けない場合がある。さらに、振動の大きさは、読み出しの間に異なる場合がある。同様に、ローリングシャッター画像は、画像の取り込み中に振動以外の理由で運動する場合がある。

【0046】

したがって、ローリングシャッター画像センサの姿勢は、画像を取り込む間に変化し、ピクセルのラインの読み出しの間で異なる場合がある。

【0047】

さらに、ＨＤＲ画像を作成するために、異なる露出時間による少なくとも２つの画像が必要とされる。これらの画像は、異なるタイムスパン、すなわち、引き続くタイムスパンまたはオーバーラップするタイムスパンの間に取り込まれることになる。いずれにしても、第１の画像（例えば、短い露出時間によって取り込まれる画像）内のピクセルのラインは、第２の画像（例えば、より長い露出時間によって取り込まれる画像）内の対応するピクセルのラインと異なる振動によって影響を受ける場合がある。同様に、ローリングシャッター画像は、第１および第２の画像の取り込み中の振動以外の理由で異なるように運動する場合がある。

【0048】

したがって、ローリングシャッター画像センサの姿勢は、複数の画像を取り込む間に変化し、第１および第２の画像内のピクセルのラインの読み出しの間で異なる場合がある。

【0049】

これは、ＨＤＲ画像のＥＩＳが実施されるとき、特に、少なくとも第１および第２の画像をマージすることによってＨＤＲ画像が作成された後に、ＥＩＳが実施されるときに問題を引き起こす場合がある。本開示は、そのような場合に、改善されたＥＩＳを容易にすることができる。

【0050】

本明細書で述べるように、ＨＤＲ画像は、任意の知られているアルゴリズムを使用して作成することができる。非常に暗いエリアと非常に明るいエリアの両方を含むシーンは、カメラにとって難題である。セキュリティにおけるそのようなワイドダイナミックレンジ（ＷＤＲ）シーンの典型的な例は、出入口、駐車場、およびトンネルを含み、外部からの光とより暗い内部との間に大きいコントラストが存在する。直接の太陽光および暗い影を有する室外シーンもまた問題となる。カメラが全シーンコンテンツをよりよく再現することができるために、幾つかの方法が開発されてきた。どの単一の技法も、全てのシーンおよび状況にとって最適でなく、全ての方法が、アーチファクトと呼ぶ種々の視覚的異常の導入を含む、その欠点を有する。多重露出法と単一露出法が共に存在する。局所コントラスト強調法をさらに使用することができる。本開示において、ＨＤＲ画像は多重露出法を使用して作成される。

【0051】

以下の詳細な例において、ＨＤＲ画像は、異なる露出時間で取り込まれる第１および第２の画像から作成される。上記で説明したように、ＨＤＲ画像を作成するために、さらなる画像（さらに他の露出時間を有する）を使用することもできる。簡単にするために、本開示は、２画像の場合に的を絞り、第１の画像は、第２の画像と比較して長い露出時間で取り込まれる。しかしながら、本開示は、Ｘ（Ｘ＞２）画像の場合に適応することができる。

【0052】

概して、ＨＤＲ画像が、短時間露出（ｓｈｏｒｔ ｅｘｐｏｓｕｒｅ ｉｍａｇｅ）画像に由来する少ないデータ量と共に、長時間露出（ｌｏｎｇ ｅｘｐｏｓｕｒｅ ｉｍａｇｅ）画像からほとんど作成される場合が好ましい。ＨＤＲ画像において、長時間露出画像からのデータは、概してノイズが少ない。長時間露出画像は０．０１秒の露出時間によって取り込まれ、短時間露出画像は０．００１秒の露出時間によって取り込まれるとします。これは、長時間露出画像のピクセルが、短時間露出画像のピクセルより約１０倍明るいことを意味する。その結果、短時間露出画像からのピクセルデータは、ＨＤＲ画像に付加されるときに１０倍、増倍（強調、乗算等）される必要がある。これは、次に、短時間露出画像からのデータにおけるノイズの増加にもつながる。

【0053】

有利には、長時間露出画像の露出時間は、そのため、取り込まれるシーンの輝度に基づいて適応される。短時間露出画像の露出時間は、取り込まれるシーンの輝度に基づいて適応されるかまたは長い露出時間の予め規定された割合であるとすることができる。他の実施形態において、短時間および長時間露出画像の露出時間は予め規定される。

【0054】

シーンを描写する高ダイナミックレンジ、ＨＤＲ、画像のＥＩＳを実施する方法は、図１および図３と共にここで述べられる。

【0055】

図１の上側部分は、直接の太陽光および暗い影を有する室外シーンを概略的に示す、シーンの３つの画像１００、１１０、１２０を示す。最も左の第１の画像１００は、中央の第２の画像１１０と比較して、より長い露出範囲で取り込まれた画像を示す。第２の画像において概略的に示すように、エリア１１４は、過小露出され、一方、エリア１１６は、第１の画像１００において過剰露出されるため、第２の画像１１０においてのみ取り込まれる。第１の画像１００および第２の画像１１０は、高ダイナミックレンジ、ＨＤＲ、画像の電子画像安定化、ＥＩＳを実施するように構成されるデバイス（図４と共に以下でさらに述べる）によって受信されるＳ３０２。

【0056】

最も右の画像１２０は、第１の画像１００および第２の画像１１０から（マージャーによって）作成されたＳ３０６、ＨＤＲ画像を示す。ＨＤＲ画像１２０において、エリア１１６は第２の画像１１０からコピーされ、残りのエリア１０２、１０４は第１の画像１００からコピーされる。

【0057】

第１の画像１００および第２の画像１１０は、以下でさらに規定されるように、ローリングシャッター画像センサによって取り込まれる。

【0058】

図１の下側部分は、第１の運動データ１３０および第２の運動データ１４０を示し、それぞれは、第１の画像１００および第２の画像１１０を取り込むときにローリングシャッター画像センサの複数の姿勢を示す。この簡略化した例において、ローリングシャッター画像は、運動データが２つの姿勢を含むように２つのピクセル領域を含み、１つの姿勢は画像の上側部分のためのものであり、１つの姿勢は画像の下側部分のためのものである。その結果、運動データ１３０は２つの姿勢１３２、１３４を示す。姿勢１３２はローリングシャッター画像センサの上側ピクセル領域に対応し、第１の画像１００について上側ピクセル領域のピクセルデータの読み出し中に決定されるローリングシャッター画像センサの配向および／または位置を示す。相応して、姿勢１３４は、第１の画像１００の下側ピクセル領域についてピクセルデータを読み出すときのローリングシャッター画像センサの配向および／または位置を示す。同じことが、第２の運動データ１４０に当てはまり、第２の運動データ１４０は、第２の画像１１０の上側および下側ピクセル領域に対応する２つの姿勢１４２、１４４を示す。

【0059】

第１の運動データ１３０および第２の運動データ１４０の姿勢は、第１の／第２の画像１００、１１０を取り込むときに、対応するピクセル領域からピクセルデータを読み出すときのローリングシャッター画像センサのヨー、ピッチ、および任意選択でロールを示す角度配向データを含むことができる。代替的にまたは付加的に、第１の運動データ１３０および第２の運動データ１４０の姿勢は、第１の／第２の画像１００、１１０を取り込むときに、対応するピクセル領域からピクセルデータを読み出すときのローリングシャッター画像センサの空間内の位置を示す位置データを含むことができる。位置は、ローリングシャッター画像センサのｘ値、ｙ値、およびｚ値の少なくとも１つによって示すことができる。

【0060】

第１の運動データ１３０および第２の運動データ１４０もまた、受信されＳ３０４、ここで述べるようにＨＤＲ画像１２０に対してＥＩＳを実施するために使用される。

【0061】

ＥＩＳを実施するために、ＨＤＲ画像１２０内の各ピクセルのブロックについて、第１の運動データ１３０および／または第２の運動データ１４０からのどの姿勢が使用されるべきかが決定される。

【0062】

本明細書で述べるピクセルのブロックはＨＤＲ画像のマクロブロックに対応することができる。ＥＩＳを実施するためにＨＤＲ画像１２０のピクセルをピクセルのブロックに分割する任意の他の適切な方法を使用することができる。典型的には、ピクセルのブロックは、８×８、１６×１６、３２×３２、または６４×６４ピクセルを有する。ピクセルのブロックのサイズは、ＨＤＲ画像１２０全体にわたって同じであるかまたはＨＤＲ画像１２０にわたって変動するとすることができる。

【0063】

説明を容易にするために、図１の例では、ＨＤＲ画像１２０は、４つのピクセルのブロックに分割され、それぞれは、ローリングシャター画像センサの或るピクセル領域に空間的に対応する（すなわち、２つのブロックは上側領域用であり、２つのブロックは下側領域用である）。これらのピクセルのブロックは、表１５０によって図１に示され、各ピクセルのブロックのために使用される姿勢は、第１の運動データ１３０及び第２の運動データ１４０から取得される参照番号を使用してマーク付けされる。

【0064】

各ピクセルのブロックについて、ピクセルのブロックが、第１の画像のピクセルデータからコピーされるか、第２の画像のピクセルデータからコピーされるか、第１の画像と第２の画像の両方からのピクセルデータのブレンドであるかが判定されるＳ３１０。図１の例において、ＨＤＲ画像１２０は、ブレンドされる領域を含まない（この実施形態は、以下の図２と共に述べられる）。

【0065】

ＨＤＲ画像１２０内の左上のピクセルのブロックについて、ピクセルのブロックが第２の画像１１０のピクセルデータからコピーされると判定される。その結果、そのピクセルのブロックについて、第２の運動データ１４０の対応するピクセル領域の姿勢１４２を使用することによってＥＩＳが実施されるＳ３１２。

【0066】

ＨＤＲ画像１２０内の残りのピクセルのブロックについて、これらのピクセルのブロックが第１の画像１００のピクセルデータからコピーされると判定される。その結果、これらのピクセルのブロックについて、第１の運動データ１４０の対応するピクセル領域の姿勢１３２、１３４を使用することによってＥＩＳが実施されるＳ３１２。

【0067】

図２は、図１と同じでかつ同じ運動データ１３０、１４０を有する２つの画像１００、１１０を示す。しかしながら、結果として得られるＨＤＲ画像１２０は、ブレンド済みエリア２０２を含み、第１の画像１００内のエリア１０２からの画像データおよび第２の画像１１０内のエリア１１２からの画像データがブレンドされて、ＨＤＲ画像１２０内のブレンド済みエリア２０２の画像データを形成する。ブレンディングがどのように実施されるかは、使用されるＨＤＲアルゴリズムに依存する。典型的には、長時間露出画像からの画像データの或るパーセンテージが、短時間露出画像からの画像データの或るパーセンテージと混合され、使用されるパーセンテージは、より長い露出による画像のピクセルのブロックが過剰露出にどれだけ近いか、および／または、より短い露出による画像の対応するピクセルのブロックが過少露出にどれだけ近いかに依存する。

【0068】

この実施形態において、特定のピクセルのブロックが、第１の画像と第２の画像の両方からのピクセルデータのブレンドであると判定すると、使用される姿勢１５２は、第１の運動データ１３０の対応するピクセル領域の姿勢１３４および第２の運動データ１４０の対応するピクセル領域の姿勢１４４を重み付けすることによって計算することができるＳ３１６。重み付けは複数の方法で実施することができる。１つの実施形態において、重み付けは、ブレンドされる領域内の画像データのうちのどれだけが第１の画像１００に由来するかに依存する（または、その逆も同様である）。この実施形態において、ブレンドされるピクセルのブロックにおける第１の画像１００からのピクセルデータの比を示す第１のブレンディング値が受信される。例えば、値は、ピクセルデータの６０％が第１の画像１００からのものであることを示す。その結果、この実施形態において、ブレンド済み姿勢１５２は、Ｘ^＊１３４＋（１－Ｘ）^＊１４４として計算されることになる。ここで、Ｘ＝０．６である。ブレンド済み姿勢１５２は、その後、ＨＤＲ画像１２０内のブレンド済みピクセルエリア２０２に対してＥＩＳを実施するために使用されるＳ３１８。

【0069】

別の実施形態は図５に示される。図５において、ＨＤＲ画像は表５００で示される。表５００内の各セルはＨＤＲ画像内のピクセルのブロックを示す。セル値Ｔ_０は、このピクセルのブロックが第１の画像からコピーされることを示す。セル値Ｔ_１は、このピクセルのブロックが第２の画像からコピーされることを示す。図５に見ることができるように、２つのピクセルのブロックは第２の画像からコピーされ、９つのピクセルのブロックは第１の画像からコピーされる。残りのブロックは、第１の画像と第２の画像の両方からのピクセルデータのブレンドを含む。この実施形態において、ブレンドされるピクセルのブロックのそれぞれについて、第１の画像のピクセルデータからコピーされる特定のピクセルのブロックに隣接するピクセルのブロックの比を示す第２のブレンディング値は、第１の運動データの対応するピクセル領域の姿勢および第２の運動データの対応するピクセル領域の姿勢がどのように重み付けられるかを決定するために使用される。図５の概略的な例において、第２列の中央の２つのピクセルのブロックについて、第２のブレンディング値は、セル値Ｔ０．３で示す７０％になるように計算される。その結果、この実施形態において、そのピクセルのブロックについてのブレンド済み姿勢は、Ｘ^＊（第１の運動データの値）＋（１－Ｘ）^＊（第２の運動データの値）として計算されることになる。ここで、Ｘ＝０．７である。ブレンド済み姿勢は、その後、ＨＤＲ画像内のブレンド済みピクセルエリアに対してＥＩＳを実施するために使用されるＳ３１８。

【0070】

他のブレンドされるピクセルのブロックについて、他のブレンディング値は、セル値Ｔ_０．５およびＴ_０．７によって計算され、示される。

【0071】

図４は、シーンを描写する高ダイナミックレンジ、ＨＤＲ、画像の電子画像安定化、ＥＩＳを実施するように構成されるデバイス４０１を例として示す。この例において、デバイス４０１は、１つまたは複数の画像センサ４０２および１つまたは複数の運動センサ４０４を同様に備えるカメラ４００内に含まれる。他の実施形態において、デバイス４０１は、カメラ４００と別個であり、ＨＤＲ画像のＥＩＳを実施するための必要とされるデータを（有線または無線通信を通して）受信する。

【0072】

デバイス４０１は、図１～３および図５と共に上記で例示した方法を実行するように構成される回路を備える。

【0073】

回路は、１つまたは複数のプロセッサによってまたは特定用途向け集積回路として具現化することができる。上記で開示した方法を、ソフトウェア、ファームウェア、ハードウェア、またはその組み合わせとして実装することができることが留意されるべきである。

【0074】

例えば、上記で述べた方法は、非一時的コンピュータ可読記憶媒体上に記憶されたソフトウェア、すなわち、非一時的コンピュータ可読記憶媒体上に記憶された命令で実施することができ、命令は、処理能力を有するデバイス上で（例えば、デバイス４０１の回路によって）実行されると、上記による方法を実施するためのものである。

【0075】

ここで、図４を参照すると、デバイス４０１の回路は、第１の画像１００および第２の画像１１０を受信するように構成される画像受信機能を実行するように構成することができる。回路は、第１および第２の画像１００、１１０をマージすることによってＨＤＲ画像を作成するように構成されるＨＤＲ画像作成機能を実行するようにさらに構成することができる。図４において、画像受信機能およびＨＤＲ画像作成機能は、ＨＤＲ作成ユニット４１６によって具現化される。本開示で参照される機能ユニットの間でのタスクの分割が、必ずしも物理的ユニットへの分割に対応するするわけではなく；逆に、１つの物理的コンポーネントが複数の機能を有することができ、１つのタスクが、幾つかの物理的コンポーネントによって協調して実施することができることが留意されるべきである。

【0076】

デバイス４０１の回路は、第１の運動データ１３０および第２の運動データ１４０を受信するように構成される運動データ受信機能を実行するようにさらに構成することができる。図４において、そのような運動データ受信機能は、少なくともＥＩＳ実施ユニット４２０で実装される。ＥＩＳ実施ユニット４２０は、ＨＤＲ作成ユニット４１６から受信されるＨＤＲ画像１２０に対してＥＩＳを実施するように構成されるＥＩＳ実施機能をさらに実装する。ＥＩＳ実施機能は、上述したように、ＨＤＲ画像１２０に対してＥＩＳを実施するように構成される。

【0077】

ＥＩＳ ＨＤＲ画像４２２は、その後、デバイス４０１から出力することができる、例えば、カメラ４００から遠隔のデバイスに転送されるかまたはカメラのメモリ４２４（または、カメラの外部のメモリ）に記憶することができる。

【0078】

幾つかの実施形態において、例えば、図２に述べるように、同様に、ＨＤＲ画像１２０内の第１および第２の画像１００、１１０からのブレンド済みの画像データが可能である。そのため、デバイス４０１は、ブレンド済み画像データを含むＨＤＲ画像１２０内のピクセルのブロックのＥＩＳのために使用されるブレンド済み姿勢を計算するための機能を含むことができる。図４において、そのような機能は、ブレンド済み姿勢計算ユニット４１８で実装される。ブレンド済み姿勢計算ユニット４１８は、どのピクセルのブロックがブレンド済み画像データを含むか、および、そのようなブレンド済みピクセルデータが、第１および第２の画像１００、１１０からどのようにブレンドされるかという情報４０８をＨＤＲ作成ユニット４１６から受信する。ブレンド済み姿勢計算ユニット４１８は、第１および第２の運動データ１３０、１４０をさらに受信し、例えば、上述したように、ブレンド済み姿勢１５２を計算する。ブレンド済み姿勢１５２は、相応して利用されるＥＩＳ実施ユニット４２０に送信される。

【0079】

カメラ４００は、複数のピクセル領域を備える少なくとも１つのローリングシャッター画像センサ４０２をさらに備える。各ローリングシャッター画像センサ４０２は、或る画像の取り込み中に１つのピクセル領域からピクセルデータを１回読み出す。少なくとも１つのローリングシャッター画像センサ４０２は、異なる露出時間で第１の画像１００および第２の画像１１０を取り込むように構成される。

【0080】

１つの実施形態において、第１のローリングシャッター画像センサ４０２は第１の画像１００を取り込むために使用され、第２のローリングシャッター画像センサ４０２は第２の画像１１０を取り込むために使用される。この場合、第１および第２のセンサ４０２は、それぞれの画像１００、１１０を、互いに引き続いて、または、オーバーラップする時間間隔中に取り込むことができる。ＨＤＲ画像のために画像１００、１１０を取り込むためのより柔軟性の或る解決策を、こうして達成することができる。

【0081】

別の実施形態において、ローリングシャッター画像センサ４０２は単一ローリングシャッター画像センサ４０２を備え、上記単一ローリングシャッター画像センサは、第１の画像１００全体を最初に取り込み、その後、第２の画像１１０全体を取り込む。その結果、ＨＤＲ画像のために画像１００、１１０を取り込むための複雑さの低い解決策を、こうして達成することができる。さらに、カメラ４００のコストを下げることができる。

【0082】

さらの別の実施形態において、ＤＯＬ－ＨＤＲ技術が使用される。この実施形態において、ローリングシャッター画像センサ４０２は単一ローリングシャッター画像センサ４０２を備え、上記単一ローリングシャッター画像センサ４０２は、複数のピクセル領域のうちの第２の、異なるピクセル領域から、画像データを読み出し続ける前に、複数のピクセル領域のうちの第１のピクセル領域から、第１の画像１００と第２の画像１１０の両方について画像データを読み出す。この実施形態は、複数の画像セット出力を使用する従来のＷＤＲ／ＨＤＲ技術と比較して、低照度環境における特性の改善等の利点を提供することができる。

【0083】

取り込まれる画像１００、１１０は、上記第１及び第２の画像をデバイス４０１に送信するように構成される画像送信機能を実行するように構成される第２の回路を使用して、デバイス４０１に送信される。第１および第２の回路は、別個の回路または同じ回路である、それらは、例えば、１つまたは複数のプロセッサあるいは同様なものによって具現化することができる。図４の実施形態において、第１及び第２の画像１００、１１０は、デバイス４０１のＨＤＲ作成ユニット４１６によって受信される。

【0084】

第１及び第２の画像１００、１１０の取り込み中に少なくとも１つのローリングシャッター画像センサ４０２の姿勢を測定するために、カメラ４００は、第１の運動データ１３０および第２の運動データ１４０を決定するように構成される少なくとも１つの運動センサ４０４を備えることができる。上述したように、各運動データ１３０、１４０は、第１及び第２の画像を取り込むときのローリングシャッター画像センサ４０２の複数の姿勢をそれぞれ示し、運動センサ４０４は、ローリングシャッター画像センサの複数のピクセル領域の或るピクセル領域のピクセルデータの読み出し中にローリングシャッター画像センサの配向および／または位置を決定するように構成される。決定された姿勢はそれぞれの運動データ１３０、１４０内に記憶される。

【0085】

少なくとも１つの運動センサ４０４は、ローリングシャッター画像センサの空間内の位置を決定する加速度計を備えることができる。加速度計は、加速度計から重力加速度についてのベクトルを推定し、このベクトルを、加速度計がその「通常配向（ｎｏｒｍａｌ ｏｒｉｅｎｔａｔｉｏｎ）」に（例えば、予め規定された配向に）あった場合にベクトルがなるであろうものと比較することによって、ローリングシャッター画像センサの配向を決定するために使用することもできる。代替的にまたは付加的に、少なくとも１つの運動センサ４０４は、ローリングシャッター画像センサの配向を決定するジャイロスコープを備える。ローリングシャッター画像センサ４０２の姿勢を測定するための他の適切な運動センサを使用することができる。

【0086】

運動データ１３０、１４０を決定するためにセンサを使用することに対する代替法として、画像解析アルゴリズムが使用されて、第１および第２の画像１００、１１０の取り込み中にローリングシャッター画像センサの運動を決定することができる。

【0087】

そのため、各姿勢は、ローリングシャッター画像センサ４０２の位置および／または回転を示すことができ、位置および／または回転は、空間内の１自由度～６自由度で示すことができる。

【0088】

運動データ１３０、１４０は、上記第１および第２の運動データをデバイスに送信するように構成される運動データ送信機能を実行するように構成される第２の回路を使用して、デバイスに送信される。図４の実施形態において、第１および第２の運動データ１３０、１４０は、デバイス４０１のＥＩＳ実施ユニット４２０によって受信される。任意選択で、第１および第２の運動データ１３０、１４０はまた、デバイス４０１のブレンド済み姿勢計算ユニット４１８によって受信される。

【0089】

図４に示すカメラ４００およびデバイス４０１のアーキテクチャが、単に例としてのものであること、および、本明細書で述べるＨＤＲ画像のＥＩＳを実施する方法を実施するように構成されるデバイスについての任意の適切なアーキテクチャを使用することができることが留意されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】