特許 7284767 運動ゴーストに対抗するＨＤＲ方法及び携帯端末

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-23

(45)【発行日】2023-05-31

(54)【発明の名称】運動ゴーストに対抗するＨＤＲ方法及び携帯端末

(51)【国際特許分類】

   H04N 23/741 20230101AFI20230524BHJP

   G03B 7/091 20210101ALI20230524BHJP

   G03B 15/00 20210101ALI20230524BHJP

   G06T 5/00 20060101ALI20230524BHJP

   H04N 23/95 20230101ALI20230524BHJP

【ＦＩ】

H04N23/741

G03B7/091

G03B15/00 H

G06T5/00 740

H04N23/95

【請求項の数】 11

(21)【出願番号】P 2020564637

(86)(22)【出願日】2019-05-20

(65)【公表番号】

(43)【公表日】2021-09-16

(86)【国際出願番号】 CN2019087555

(87)【国際公開番号】W WO2019223635

(87)【国際公開日】2019-11-28

【審査請求日】2021-01-18

(31)【優先権主張番号】201810566525.X

(32)【優先日】2018-05-22

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520159673

【氏名又は名称】影石創新科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＡＲＡＳＨＩ ＶＩＳＩＯＮ ＩＮＣ．

【住所又は居所原語表記】Ｒｏｏｍ １１０１， １１０２， １１０３， １１ｔｈ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ ２， Ｊｉｎｌｉｔｏｎｇ Ｆｉｎａｎｃｉａｌ Ｃｅｎｔｅｒ， １１００ Ｘｉｎｇｙｅ Ｒｏａｄ， Ｈａｉｗａｎｇ Ｃｏｍｍｕｎｉｔｙ， Ｘｉｎ’ａｎ Ｓｔｒｅｅｔ， Ｂａｏ’ａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】謝 亮

【審査官】吉川 康男

(56)【参考文献】

【文献】特開２０１５－０１１７１７（ＪＰ，Ａ）

【文献】特開２０１５－１６５６６０（ＪＰ，Ａ）

【文献】特開２０１５－０２８７７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／７４１

Ｇ０３Ｂ ７／０９１

Ｇ０３Ｂ １５／００

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ ２３／９５

(57)【特許請求の範囲】

【請求項1】

運動ゴーストに対抗するHDR方法であって、前記方法は、
連続撮影した露光正常画像I₁、露光不足画像I₂、及び露光オーバー画像I₃を取得するステップと、
露光正常画像I₁の画像輝度が露光不足画像I₂の画像輝度および露光オーバー画像I₃の画像輝度とそれぞれ一致するように、マッピング調整を行い、第１の画像I₁₂と第２の画像I₁₃を取得するステップと、

【請求項2】

前記露光正常画像I₁、露光不足画像I₂、及び露光オーバー画像I₃は、HDRモードで撮影した３つの画像である、
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記マッピング調整は、ヒストグラムマッピングを利用して露光不足画像I₂および露光オーバー画像I_３の画像輝度と一致するように露光正常画像I₁のヒストグラムにそれぞれマッピング調整を行い、輝度が調整された第１の画像I₁₂と第２の画像I₁₃を取得することである、
ことを特徴とする請求項１に記載の方法。

【請求項4】

【請求項5】

【請求項6】

【請求項7】

【請求項8】

【請求項9】

【請求項10】

コンピュータ読み取り可能な記録媒体であって、前記コンピュータ読み取り可能な記録媒体にプログラムが記憶され、前記プログラムは、プロセッサーによって実行される時に、請求項１～９の何れかに記載の運動ゴーストに対抗するHDR方法のスッテプを実現する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。

【請求項11】

１つ又は複数のプロセッサーと、
記憶装置と、そして、
１つ又は複数のプログラムと、を含む携帯端末であって、
前記プロセッサーは、前記プログラムを実行する時に、請求項１～９の何れかに記載の運動ゴーストに対抗するHDR方法のスッテプを実現する、
ことを特徴とする携帯端末。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理の分野に属し、特に、運動ゴーストに対抗するHDR方法及び携帯端末に関する。

【背景技術】

【0002】

最新のデジタルカメラは、１回露光するだけでは、自然シーンの全体の動的範囲をカバーすることができない。従来の高動的範囲画像は、露光オーバー領域と露光不足領域の全ての詳細を含むことができない。高動的範囲画像は、一連の露出が異なる低動的範囲画像を融合することによって単一の画像でカバーできる動的範囲を拡大するとともに、画像の詳細を強調する。高動的範囲技術及びその良好な視覚体験は、映画とテレビの特殊効果などの分野に応用され、非常に重要な理論的研究価値と広範なビジネス基盤を有する。

【0003】

ゴーストを含まない融合画像を取得することを確保した従来の融合技術は、一般的に、露出が異なる融合したい画像の背景は完全に静止している必要がある。しかし、現実のシーンで取得される画像の多くは、移動物体などの動的要素を含んでおり、動的要素は、融合後に取得される高動的範囲画像にゴーストを含むことを招く。従来のゴーストを除去する技術は、通常、融合結果において、融合したい画像に含まれる全ての移動物体を直接除去し、これにより、取得される高動的範囲画像が元の画像の真実性をある程度失わせる。

【発明の概要】

【0004】

本発明は、運動ゴーストに対抗するHDR方法、コンピュータ読み取り可能な記録媒体及び携帯端末を提供し、従来の高動的範囲画像に運動ゴーストが含まれている問題を解決し、これにより、ゴーストを除去した高動的範囲画像の視覚効果を改善することを目的とする。

【発明が解決しようとする課題】

【0005】

第１の態様では、本発明は、1つの運動ゴーストに対抗するHDR方法を提供し、前記方法は、
連続撮影した露光正常画像I_1、露光不足画像I₂、及び露光オーバー画像I₃を取得するステップと、
露光正常画像I₁の画像輝度をそれぞれ露光不足画像I₂、露光オーバー画像I₃の画像輝度と一致マッピングするように、それぞれマッピング調整し、第１の画像I₁₂と第２の画像I₁₃を取得するステップと、

【0006】

オプションで、露光正常画像I₁、露光不足画像I₂、及び露光オーバー画像I₃は、HDRモードで撮影した３つの画像である。

【0007】

オプションで、マッピング調整するものは、ヒストグラムマッピングを利用して露光不足画像I ₂ 、露光オーバー画像I ₃ の画像輝度と一致するように露光正常画像I₁のヒストグラムをそれぞれマッピング調整し、輝度が調整された第１の画像I₁₂と第２の画像I₁₃を取得する。

【0008】

【0009】

【0010】

【0011】

オプションで、第１の重み付け値図ｗ₁、第２の重み付け値図ｗ₂、第３の重み付け値図ｗ₃を計算するステップは、具体的には、以下の式を採用する。

【0012】

【0013】

【0014】

【0015】

オプションで、重み付け融合は、具体的には、
以下の式を採用して画像における画素を重み付け融合する。

【0016】

ここで、Iは、HDR画像である。

【0017】

第２の態様では、本発明は、コンピュータ読み取り可能な記録媒体を提供し、前記プログラムは、プロセッサーによって実行される時に、上記の運動ゴーストに対抗するHDR方法のスッテプを実現する。

【0018】

第３の態様では、本発明は、携帯端末を提供し、携帯端末は、
１つ又は複数のプロセッサーと、
記憶装置と、そして、
１つ又は複数のプログラムと、を含み、前記プロセッサーは、前記プログラムを実行する時に、上記の運動ゴーストに対抗するHDR方法のスッテプを実現する。

【発明の効果】

【0019】

本発明において、運動画素を除去するとともに、露光正常画像、露光不足画像を露光オーバー画像にマッピングして、露光オーバー画像に融合し、融合した画像は、明るい場所で、露光不足画像の値を使用することがより考慮され、暗い場所で、露光オーバー画像の値を使用することがより考慮され、暗い場所と明るい場所の両方でより豊富な情報が得られ、最終的に運動ゴーストに対抗するHDR画像を生成し、これにより、ゴーストを除去した高動的範囲画像の視覚効果を改善する。

【図面の簡単な説明】

【0020】

【図1】図１は、本発明の第１の実施例によって提供される運動ゴーストに対抗するHDR方法のフローチャートである。

【図2】図２は、本発明の第３の実施例によって提供される携帯端末の構造図である。

【発明を実施するための形態】

【0021】

本発明の目的、技術的解決策、及び有益な効果をより明確にさせるために、以下、図面及び実施例を参照して、本発明を更に詳細に説明する。ここで説明する具体的な実施例は、本発明を解釈するためにのみ使用され、本発明を限定するものではないことを理解されたい。

【0022】

本発明に記載された技術的解決策を説明するために、以下、具体的な実施例によって説明する。

【0023】

第１の実施例：
図１を参照すると、本発明の第１の実施例によって提供される運動ゴーストに対抗するHDR（High-Dynamic Range，高動的範囲画像）方法は、以下のステップを含む。

【0024】

S１０１：連続撮影した露光正常画像（I₁）、露光不足画像（I₂）、及び露光オーバー画像（I₃）を取得する。

【0025】

露光正常画像（I₁）、露光不足画像（I₂）、及び露光オーバー画像（I₃）は、HDRモードで撮影した３つの画像である。

【0026】

S１０２：露光正常画像（I₁）の画像輝度をそれぞれ露光不足画像（I₂）、露光オーバー画像（I₃）の画像輝度と一致マッピングするように、それぞれマッピング調整し、第１の画像（I₁₂）と第２の画像（I₁₃）を取得する。

【0027】

マッピング調整では、ヒストグラムマッピングを利用して露光不足画像（I ₂ ）、露光オーバー画像（I ₃ ）の画像輝度と一致するように露光正常画像（I₁）のヒストグラムをそれぞれマッピング調整し、輝度が調整された第１の画像（I₁₂）と第２の画像（I₁₃）を取得する。

【0028】

【0029】

【0030】

【0031】

【0032】

【0033】

【0034】

【0035】

第１の重み付け値図（ｗ₁）、第２の重み付け値図（ｗ₂）及び第３の重み付け値図（ｗ₃）は、具体的には、それぞれ以下の式を採用する。

【0036】

【0037】

【0038】

【0039】

N個の画素を入力すると、N個の上記の方程式がリストできる。上記の式を最小二乗法によって解いてln(a₁),b₁を取得し、推定したa₁とb₁の値を最初に取得する。

【0040】

【0041】

【0042】

ガウスニュートン法によって、上記推定したパラメーターa₁とb₁を最適化することができ、これにより、a₁とb₁の確定値を取得する。

【0043】

【0044】

【0045】

N個の画素を入力すると、N個の上記の方程式がリストできる。上記の式を最小二乗法によって解いてln(a₂),b₂を取得し、推定したa₂とb₂の値を最初に取得する。

【0046】

【0047】

【0048】

ガウスニュートン法によって、上記推定したパラメーターa₂とb₂を最適化することができ、これにより、a₂とb₂の確定値を取得する。

【0049】

【0050】

画像の重み付け融合は、具体的には、以下の式を採用する。

【0051】

ここで、Iは、HDR画像であり、最終的に、1つの運動ゴーストに対抗するHDR画像Iを生成することができる。

【0052】

本発明において、露光正常画像について、輝度が中間値に近いほど、重み付け値が大きくなる。露光不足画像について、輝度が高いほど、重み付け値が大きくなる。露光オーバー画像について、輝度が低いほど、重み付け値が大きくなる。露光不足画像の値を使用することが明るい場所でより考慮され、露光オーバー画像の値を使用することが暗い場所でより考慮されるため、暗い場所と明るい場所の両方でより豊富な情報が得られる。

【0053】

第２の実施例：
本発明の第２の実施例は、1つのコンピュータ読み取り可能な記録媒体を提供し、前記コンピュータ読み取り可能な記録媒体にプログラムが記憶され、前記プログラムは、プロセッサーによって実行される時に、本発明の第１の実施例で提供されるような運動ゴーストに対抗するHDR方法のスッテプを実現する。

【0054】

第３の実施例：
図２は、本発明の第３の実施例によって提供される携帯端末の構造図を示す。1つの携帯端末１００は、１つ又は複数のプロセッサー１０１、記憶装置１０２、及び１つ又は複数のプログラムを含む。前記プロセッサー１０１と前記記憶装置１０２は、バスによって電気的に接続される。前記１つ又は複数のプログラムは、前記記憶装置１０２に記憶され、且つ、前記１つ又は複数のプロセッサー１０１によって実行されるように配置される。前記プロセッサー１０１は、前記プログラムを実行する時に、本発明の第１の実施例で提供されるような運動ゴーストに対抗するHDR方法のスッテプを実現する。

【0055】

本発明において、当業者であれば、上述した実施例に記載された方法の全て又は一部のスッテプは、プログラムによって関連するハードウェアを命令して完成できることを理解することができる。前記プログラムは、1つのコンピュータ読み取り可能な記録媒体に記憶することができ、前記記憶媒体は、ROM/RAM、磁気ディスク、光ディスクなどである。

【0056】

上記は、本発明の好ましい実施例に過ぎず、本発明を制限するものではない。本発明の精神と原則を逸脱することなく行われる、いかなる修正、同等変更及び改善なども、本発明の保護範囲内に属するべきである。

【図1】

【図2】