特許 6111336 画像処理方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6111336

(24)【登録日】2017年3月17日

(45)【発行日】2017年4月5日

(54)【発明の名称】画像処理方法および装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20170327BHJP

   H04N 5/235 20060101ALI20170327BHJP

【ＦＩ】

   H04N5/232 Z

   H04N5/235

【請求項の数】14

【全頁数】19

(21)【出願番号】特願2015-532275(P2015-532275)

(86)(22)【出願日】2013年4月7日

(65)【公表番号】特表2015-530834(P2015-530834A)

(43)【公表日】2015年10月15日

(86)【国際出願番号】CN2013073824

(87)【国際公開番号】WO2014044045

(87)【国際公開日】20140327

【審査請求日】2015年4月28日

(31)【優先権主張番号】201210351891.6

(32)【優先日】2012年9月20日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】503433420

【氏名又は名称】華為技術有限公司

【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】陳 海

(72)【発明者】

【氏名】張 雁

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２０１２−０１０１０４（ＪＰ，Ａ）

【文献】 特開２０１２−０１９３９２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／０３１７０２７（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１２／０００８００６（ＵＳ，Ａ１）

【文献】 特開２００６−２１７２７７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２３５

(57)【特許請求の範囲】

【請求項1】

画像処理方法であって、前記方法は、
異なる露出時間中の同一のシーンにおいて異なる輝度を有する少なくとも２つの露出フレームを回収することと、
前記露出フレーム毎に、前記露出フレーム内に繰返し配列された生データ単位を合成して、前記合成後の第１の輝度データを得ることと、
すべての前記第１の輝度データに従ってすべての前記露出フレームの補正パラメータを取得し、前記補正パラメータを用いることによりすべての前記露出フレームに重み付け処理を行い、補正された生データのハイダイナミックレンジＨＤＲ画像を得ることとを含み、
すべての前記第１の輝度データに従ってすべての前記露出フレームの補正パラメータを取得することは、
すべての前記第１の輝度データに従って各前記露出フレームの重み付け係数を取得することと、
各前記露出フレームに輝度処理を行い、前記処理後の第２の輝度データを得ることと、
前記重み付け係数、前記第２の輝度データ、および前記第１の輝度データに従って、すべての前記露出フレームに対応する補正率を取得し、前記重み付け係数および前記補正率を含む補正パラメータを得ることとを含む、画像処理方法。

【請求項2】

前記補正パラメータを用いることによりすべての前記露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得ることは、
各前記露出フレームに対応する、前記露出フレーム内の各画素の、重み付け係数を取得し、前記補正率に各前記露出フレーム内の各画素を掛けることにより得られる積を取得することと；すべての前記露出フレーム内の対応する位置における画素に対応する積を合計して、前記合計後に得られるすべての画素により形成される画像を前記補正された生データのＨＤＲ画像として用いることとを含む、請求項１に記載の画像処理方法。

【請求項3】

前記露出フレーム内に繰返し配列された生データ単位を合成して、前記合成後の第１の輝度データを得ることは、具体的には、
前記露出フレームの参照輝度値を取得し、予め設定されたガンマ係数を用いることにより前記参照輝度値を補正して、前記第１の輝度データを得ることを含む、請求項２に記載の画像処理方法。

【請求項4】

前記露出フレームの参照輝度値を取得することは、
前記生データ単位内の画素の平均値を取得して、前記平均値を前記参照輝度値として用いること；または、
前記生データ単位内のＧ画素の平均値を取得して、前記平均値を前記参照輝度値として用いることを含む、請求項３に記載の画像処理方法。

【請求項5】

第１の露出フレームＲ_１および第２の露出フレームＲ_２である異なる輝度を有する２つの露出フレームが、異なる露出時間中の同一のシーンにおいて回収された場合、
すべての前記第１の輝度データに従って各前記露出フレームの重み付け係数を取得することは、

【数1】

（式中、ｗ_１′およびｗ_２′は、前記重み付け係数を算出するための中間値を示し、ｗ_１は、前記第１の露出フレームの重み付け係数を示し、ｗ_２は、前記第２の露出フレームの重み付け係数を示し、δは、ガウス分布係数を示し、Ｉ_１′は、前記第１の露出フレームの前記第１の輝度データを示し、Ｉ_２′は、前記第２の露出フレームの前記第１の輝度データを示す。）
を含む、請求項１に記載の画像処理方法。

【請求項6】

前記重み付け係数、前記第２の輝度データ、および前記第１の輝度データに従って、すべての前記露出フレームに対応する補正率を取得することは、

【数2】

（式中、ｗ_１は、前記第１の露出フレームの重み付け係数を示し、ｗ_２は、前記第２の露出フレームの重み付け係数を示し、
αは、前記補正率を示し、Ｉ_１″は、前記第１の露出フレームの前記第２の輝度データを示し、Ｉ_２″は、前記第２の露出フレームの前記第２の輝度データを示し、Ｉ_１′は、前記第１の露出フレームの前記第１の輝度データを示し、Ｉ_２′は、前記第２の露出フレームの前記第１の輝度データを示す。）
を含む、請求項５に記載の画像処理方法。

【請求項7】

前記補正パラメータを用いることによりすべての前記露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得ることは、
前記補正パラメータが、重み付け係数ｗ_１およびｗ_２、ならびに補正率αであるとき、

【数3】

（式中、Ｒ_１は、前記第１の露出フレームを示し、ｗ_１は、前記第１の露出フレームの前記重み付け係数を示し、Ｒ_２は、前記第２の露出フレームを示し、ｗ_２は、前記第２の露出フレームの前記重み付け係数を示し、αは、前記補正率を示し、Ｒは、前記補正された生データのＨＤＲ画像を示す。）
を用いて、前記補正された生データのＨＤＲ画像Ｒを得ることを含む、請求項５に記載の画像処理方法。

【請求項8】

前記画像処理方法はさらに、すべての前記第１の輝度データに従ってすべての前記露出フレームの補正パラメータを取得する前に、
明露出フレーム内の画素の第１の輝度データと暗露出フレーム内の対応する位置における画素の第１の輝度データとの相関性を、統計ヒストグラム手法で取得し、輝度マッピング関数を得ることを含み、
これに対応して、すべての前記第１の輝度データに従ってすべての前記露出フレームの補正パラメータを取得することは、具体的には、
前記輝度マッピング関数およびすべての前記第１の輝度データに従ってすべての前記露出フレームの前記補正パラメータを取得することである、請求項１に記載の画像処理方法。

【請求項9】

長い露出フレームおよび短い露出フレームである異なる輝度を有する２つの露出フレームが、異なる露出時間中の同一のシーンにおいて回収された場合、
前記輝度マッピング関数は、ｂ＝ｆ（ａ）（式中、ａは、前記長い露出フレーム内の画素の輝度値を示し、ｂは、前記短い露出フレーム内にあり、かつ、その位置がａの位置に対応して一致した画素の輝度値を示す。）であり、
これに対応して、前記輝度マッピング関数およびすべての前記第１の輝度データＩ_１′およびＩ_２′に従ってすべての前記露出フレームの前記補正パラメータを取得することは、
次の式に従って各前記露出フレームの重み付け係数ｗ_１およびｗ_２を取得することと、

【数4】

各前記露出フレームに輝度処理を行い、前記処理後の第２の輝度データを得ることと、
前記重み付け係数、前記第２の輝度データ、および前記第１の輝度データに従って、すべての前記露出フレームに対応する補正率を取得し、前記重み付け係数および前記補正率を含む補正パラメータを得ることとを含む、請求項８に記載の画像処理方法。

【請求項10】

前記生データ単位は、ＢＧＧＲパターンに配列されたデータ単位、ＧＲＢＧパターンに配列されたデータ単位、またはＧＲＢＷパターンに配列されたデータ単位である、請求項１〜９のいずれか一項に記載の画像処理方法。

【請求項11】

画像処理装置であって、前記装置は、
プロセッサを備え、前記プロセッサは、異なる露出時間中の同一のシーンにおいて異なる輝度を有する少なくとも２つの露出フレームを回収し；各前記露出フレーム毎に、前記露出フレーム内に繰返し配列された生データ単位を合成して、前記合成後の第１の輝度データを得；すべての前記第１の輝度データに従ってすべての前記露出フレームの補正パラメータを取得し、前記補正パラメータを用いることによりすべての前記露出フレームに重み付け処理を行い、補正された生データのハイダイナミックレンジＨＤＲ画像を得るように構成され、前記画像処理装置はさらに、
メモリを備え、前記メモリは、前記プロセッサにより回収された前記異なる輝度を有する少なくとも２つの露出フレームを格納するように構成され、
前記プロセッサは、具体的には、
各前記露出フレーム毎に、前記露出フレームの参照輝度値を取得し、予め設定されたガンマ係数を用いることにより前記参照輝度値を補正して、前記第１の輝度データを得る、および／または、
すべての前記第１の輝度データに従って各前記露出フレームの重み付け係数を取得し；各前記露出フレームに輝度処理を行い、前記処理後の第２の輝度データを得；前記重み付け係数、前記第２の輝度データ、および前記第１の輝度データに従って、すべての前記露出フレームに対応する補正率を取得し、前記重み付け係数および前記補正率を含む補正パラメータを得る、および／または、
各前記露出フレームに対応する、前記露出フレーム内の各画素の、重み付け係数を取得し、前記補正率に各前記露出フレーム内の各画素を掛けることにより得られる積を取得し；すべての前記露出フレーム内の対応する位置における画素に対応する積を合計して、前記合計後に得られるすべての画素により形成される画像を前記補正された生データのＨＤＲ画像として用いるように構成されている、画像処理装置。

【請求項12】

画像処理装置であって、前記装置は、
プロセッサを備え、前記プロセッサは、異なる露出時間中の同一のシーンにおいて異なる輝度を有する少なくとも２つの露出フレームを回収し；各前記露出フレーム毎に、前記露出フレーム内に繰返し配列された生データ単位を合成して、前記合成後の第１の輝度データを得；すべての前記第１の輝度データに従ってすべての前記露出フレームの補正パラメータを取得し、前記補正パラメータを用いることによりすべての前記露出フレームに重み付け処理を行い、補正された生データのハイダイナミックレンジＨＤＲ画像を得るように構成され、前記画像処理装置はさらに、
メモリを備え、前記メモリは、前記プロセッサにより回収された前記異なる輝度を有する少なくとも２つの露出フレームを格納するように構成され、
前記プロセッサはさらに、
明露出フレーム内の画素の第１の輝度データと暗露出フレーム内の対応する位置における画素の第１の輝度データとの相関性を、統計ヒストグラム手法で取得し、輝度マッピング関数を得る、および、
前記輝度マッピング関数およびすべての前記第１の輝度データに従って各前記露出フレームの重み付け係数を取得し；各前記露出フレームに輝度処理を行い、前記処理後の第２の輝度データを得；前記重み付け係数、前記第２の輝度データ、および前記第１の輝度データに従って、すべての前記露出フレームに対応する補正率を取得し、前記重み付け係数および前記補正率を含む補正パラメータを得るように構成されている、画像処理装置。

【請求項13】

画像処理方法であって、前記方法は、
異なる露出時間中の同一のシーンにおいて異なる輝度を有する少なくとも２つの露出フレームを回収すること；
各前記露出フレーム毎に、前記露出フレーム内に繰返し配列された生データ単位を合成して、前記合成後の第１の輝度データを得ること；および
すべての前記第１の輝度データに従ってすべての前記露出フレームの補正パラメータを取得し、前記補正パラメータを用いることによりすべての前記露出フレームに重み付け処理を行い、補正された生データのハイダイナミックレンジＨＤＲ画像を得ることを備え、
前記露出フレーム内に繰返し配列された生データ単位を合成して、前記合成後の第１の輝度データを得ることは、具体的には、
前記露出フレームの参照輝度値を取得し、予め設定されたガンマ係数を用いることにより前記参照輝度値を補正して、前記第１の輝度データを得ることを含む、画像処理方法。

【請求項14】

画像処理方法であって、前記方法は、
異なる露出時間中の同一のシーンにおいて異なる輝度を有する少なくとも２つの露出フレームを回収すること；
各前記露出フレーム毎に、前記露出フレーム内に繰返し配列された生データ単位を合成して、前記合成後の第１の輝度データを得ること；
明露出フレーム内の画素の第１の輝度データと暗露出フレーム内の対応する位置における画素の第１の輝度データとの相関性を、統計ヒストグラム手法で取得し、輝度マッピング関数を得ること；および、
前記輝度マッピング関数および、すべての前記第１の輝度データに従ってすべての前記露出フレームの補正パラメータを取得し、前記補正パラメータを用いることによりすべての前記露出フレームに重み付け処理を行い、補正された生データのハイダイナミックレンジＨＤＲ画像を得ることを備える、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

技術分野
本発明の実施形態は、通信技術に関し、特に、画像処理方法および装置に関する。

【背景技術】

【0002】

背景
マルチフレーム露出合成に基づくハイダイナミックレンジ（略してＨＤＲ）画像化に関する研究は、非常に成熟している。たとえば、コンシューマーマーケットにおいては、ｉＰｈｏｎｅ（登録商標）がＨＤＲ撮像機能と一体化されている。一部のチップのＡｎｄｒｏｉｄ（登録商標）参照プラットフォームも、比較的簡易なＨＤＲ画像化機能を有している。

【0003】

現在、コンシューマーマーケットにおけるプロフェッショナル用途の監視カメラおよび携帯電話カメラの両方が、ＣＣＤまたはＣＭＯＳ画像センサを用いて、あるシーンの光信号を取込み、この光信号をデジタル信号の生データに変換する（すなわち、Ｒａｗデータ）。一連のデジタル信号処理技術（画像信号処理、略してＩＳＰ）による処理の後、生信号は、人間の目に適した最終的な映像信号に変換される（一般的に、ＲＧＢ形式またはＹＵＶ形式）。

【0004】

Ｒａｗデータは、単一チャンネルデータであり、これは、一般的に、繰返し配列され、かつ異なる色の多数の隣接する画素により形成され、各画素の位置は、１つの値しか有さない。しかしながら、ＩＳＰにおける色補完処理後のデータは、３チャンネルデータに増加する。すなわち、各画素の位置は、３つの値を有する。

【0005】

ほとんどのＨＤＲ処理技術は、ＩＳＰ処理後の３チャンネルデータに適用され、たとえば、マイクロソフト社（シーグラフ２００３ＨＤＲ映像）は、多数の露出フレームを補正するための処理後の方法を提案している。まず、多数の露出フレームを用いることによりカメラ応答曲線が較正され、次に、カメラ応答曲線に従ってＨＤＲ画像が合成され、最後に、トーンマッピング法を用いることによりダイナミックレンジが圧縮され、局所コントラストが改善される。

【0006】

上記の方法の欠点は、次のようなものである。生データの３倍の量を処理する必要があり、さらに、局所コントラストを改善するために、局所トーンマッピングまたはコントラスト向上などの方法を用いる必要がある。高度な複雑性を伴う。さらに、ＩＳＰ処理におけるガンマ補正は、画像の輝度に大きく影響する。このような方法は、カメラ応答曲線およびトーンマッピングに依存し、方法が直接的処理のためにＲａｗデータに単純に適用されると、画像の色およびコントラストが著しく歪んでしまう原因となり得る。

【発明の概要】

【0007】

概要
上記を考慮して、先行技術における欠点のために、本発明は、Ｒａｗデータから得られる画像の色、輝度、およびコントラストが著しく歪んでしまう先行技術における課題を解決するための画像処理方法および装置を提供する。

【課題を解決するための手段】

【0008】

一局面によれば、本発明の実施形態は、画像処理方法であって、方法は、異なる露出時間中の同一のシーンにおいて異なる輝度を有する少なくとも２つの露出フレームを回収することと、各露出フレーム毎に、当該露出フレーム内に繰返し配列された生データ単位を合成して、合成後の第１の輝度データを得ることと、すべての第１の輝度データに従ってすべての露出フレームの補正パラメータを取得し、補正パラメータを用いることによりすべての露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得ることとを含む、画像処理方法を提供する。

【0009】

別の局面によれば、本発明の実施形態はさらに、画像処理装置であって、装置は、プロセッサを含み、プロセッサは、異なる露出時間中の同一のシーンにおいて異なる輝度を有する少なくとも２つの露出フレームを回収し、各露出フレーム毎に、当該露出フレーム内に繰返し配列された生データ単位を合成して、合成後の第１の輝度データを得；すべての第１の輝度データに従ってすべての露出フレームの補正パラメータを取得し、補正パラメータを用いることによりすべての露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得るように構成され、画像処理装置はさらに、メモリを含み、メモリは、プロセッサにより回収された異なる輝度を有する少なくとも２つの露出フレームを格納するように構成された、画像処理装置を提供する。

【0010】

上記の技術的解決策から、本発明の実施形態における画像処理方法および装置によれば、各露出フレームの第１の輝度データが取得され、さらに、第１の輝度データに従ってすべての露出フレームの補正パラメータが取得され、補正パラメータを用いることにより、露出フレームに重み付け処理を行い、補正されたＲａｗデータのＨＤＲ画像が得られることにより、Ｒａｗデータから得られる画像の色、輝度、およびコントラストが著しく歪んでしまう先行技術における課題が解決されることがわかるであろう。

【0011】

本発明の実施形態における技術的解決策をより明確に説明するために、以下に、実施形態を説明するために必要な添付の図面を簡潔に紹介する。以下の説明における添付の図面は、本発明の一部の実施形態を示すことが明らかであり、当業者であれば、創造的労力なしにこれらの添付の図面から他の図面をさらに導出するであろう。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態に従ったＲａｗデータ単位の配列構造の概略図である。

【図2】本発明の実施形態に従った画像処理方法の概略フローチャートである。

【図3】本発明の実施形態に従った画像処理方法の概略フローチャートである。

【図4】本発明の実施形態に従った画像処理方法の概略フローチャートである。

【図5A】本発明の実施形態に従った輝度統計ヒストグラムの概略図である。

【図5B】本発明の実施形態に従った輝度累積ヒストグラムの概略図である。

【図5C】本発明の実施形態に従った輝度マッピング関数の概略図である。

【図6】本発明の実施形態に従った取得されたＨＤＲ画像と既存のＨＤＲ画像との比較の概略図である。

【図7A】本発明の実施形態に従った画像処理装置の概略構造図である。

【図7B】本発明の実施形態に従った画像処理装置の概略構造図である。

【発明を実施するための形態】

【0013】

実施形態の説明
本発明の目的、技術的解決策、および利点をより明確にするために、以下に、本発明の実施形態における添付の図面を参照して、本発明の技術的解決策を明確にかつ完全に説明する。記載される実施形態は、本発明の実施形態の一部であることが明らかである。本発明の実施形態に基づき、当業者であれば、本発明の技術的課題を解決することのできる他の実施形態を得て、創作的労力なしに技術的特徴の一部またはすべてを同等に変更することにより、本発明の技術的効果を実現することができる。変更により得られた実施形態は、本発明に開示される範囲から逸脱しないことは明らかである。

【0014】

Ｒａｗデータに基づいてＨＤＲ画像を合成するための方法は、産業界でさらに提案されている。この方法では、多数の露出フレームの露出時間比が、正規化のために各フレーム画像の画素値として用いられ、次に、重み付けされた合成を実行することによりＨＤＲ画像が得られ、トーンマッピング法を用いて、表示に適したローダイナミックレンジ（略してＬＤＲ）画像が得られる。

【0015】

しかしながら、上記の方法では、露出時間を用いることにより異なる露出フレームの画素を正規化するプロセスにおいて、較正が必要とされ、露出時間およびゲインの数を画素輝度の倍数と同一にすることができない。特に、上記の方法は、多くの行記憶およびフレーム記憶を使用する必要があるため、結果として、大きな記憶領域および複雑な算出プロセスが生じてしまう。

【0016】

本発明の実施形態における関連する生データは、異なる色の多数の隣接する画素により一般的に形成される単一チャンネルデータである。図１に示されるように、図１は、生データの配列構造の概略図を示す。この生データは、Ｒ、Ｇ、およびＢの３色の画素により形成されるＧＲＢＧパターンで繰返し配列されるベイヤー形式の生データであり、各画素の位置は、１つの値しか有さない。

【0017】

本発明の実施形態では、異なる露出時間の生データフレームが主にＨＤＲ生データフレームに合成される。さらに、ＨＤＲ生データを合成する上記のプロセスは、先行技術のＩＳＰ処理技術と互換性があり得る。さらに、最終的な映像信号のダイナミックレンジは、元の色および局所コントラストを変えることなく有効に拡大されることができ、記憶コストおよびデータの算出量を有効に減少することができる。本発明では、事前にカメラ応答曲線を較正する必要なく、単一チャンネルデータのみを処理すればよいため、記憶コストおよびデータの算出量が有効に減少される。

【0018】

本発明の本実施形態で述べる生データフレームとは、生データにより形成される画像フレームを指す。

【0019】

図１および図２を参照して、図１は、本発明の実施形態に従った生データ単位の配列構造の概略図であり、図２は、本発明の実施形態に従った画像処理方法の概略フローチャートを示す。以下に、本実施形態の画像処理方法を説明する。

【0020】

２０１．異なる露出時間中の同一のシーンにおいて異なる輝度を有する少なくとも２つの露出フレームを回収する。

【0021】

実際の適用においては、ＨＤＲ処理には、２つの露出または３つ以上の露出であり得る異なる露出のデータ入力が必要とされる。一般的に、最適な露出フレームは、参照露出フレームと呼ばれ、他の露出フレームは、拡張露出フレームと呼ばれる。

【0022】

特定の適用シナリオにおいて、異なる露出時間中の異なる輝度を有する多数の露出フレームが回収され得る。この場合、最適な露出フレームが参照露出フレームとして選択され、他の露出フレームは、拡張露出フレームとして用いられる。

【0023】

２０２．各露出フレーム毎に、当該露出フレーム内に繰返し配列された生データ単位を合成して、合成後の第１の輝度データを得る。

【0024】

たとえば、このステップにおける生データ単位は、ＢＧＧＲパターンに配列されたデータ単位、ＧＲＢＧパターンに配列されたデータ単位、またはＧＲＢＷパターンに配列されたデータ単位であり得る。本発明の本実施形態は、他のパターンの生データにも適用可能である。

【0025】

図１に示されるように、図１は、ＧＲＢＧパターンに配列されたデータ単位を示す。すなわち、ＧＲＢＧベイヤーパターンでは、４つの隣接するＧＲＢＧ画素位置における単一チャンネルデータが１つの生データ単位を形成する。

【0026】

異なる画像センサ製造業者の生データは、異なるパターンに配列されている。しかしながら、すべてのパターンについて、４つ以上の隣接する画素が、繰返し配列され得る基本単位を形成する。したがって、本発明の本実施形態における一例として、ＧＲＢＧに配列された一般的なベイヤーパターンが用いられる。本発明の本実施形態では、単純な拡張後に、ＢＧＧＲベイヤーパターンおよびＧＲＢＷパターンなどの他のパターンの生データも用いられ得る。

【0027】

２０３．すべての第１の輝度データに従ってすべての露出フレームの補正パラメータを取得し、補正パラメータを用いることによりすべての露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得る。

【0028】

上記の生データは、単一チャンネルデータであり、さらに、最終的に取得される生データのＨＤＲ画像もまた、単一チャンネルデータ画像であることが理解され得る。

【0029】

上記の実施形態から、生データ単位は、本実施形態の基本単位であることがわかり得る。まず、異なる露出フレームの生基本単位が、たとえば合成されて、事前処理され、人間の目に適した第１の輝度データが出力される。次に、補正された生データのＨＤＲ画像に必要な補正パラメータが算出され、生データ単位内の各生データが合成されることにより、既存の輝度処理後効果が生データの出力ＨＤＲ画像に合成されることが実現される。

【0030】

さらに、例示的な実施形態では、上記ステップ２０３における、すべての第１の輝度データに従ってすべての露出フレームの補正パラメータを取得することは、図３に示される、次のステップ２０３１〜ステップ２０３３を具体的に含み得る。

【0031】

２０３１．すべての第１の輝度データに従って各露出フレームの重み付け係数を取得する。

【0032】

２０３２．各露出フレームに輝度処理を行い、処理後の第２の輝度データを得る。
随意的には、各露出フレームに輝度処理を行うために、輝度ヒストグラム均等化方法を用いて、処理後の第２の輝度データを得てもよい。

【0033】

２０３３．重み付け係数、第２の輝度データ、および第１の輝度データに従って、すべての露出フレームに対応する補正率を取得し、重み付け係数および補正率を含む補正パラメータを得る。

【0034】

随意的には、別の適用シナリオでは、上記ステップ２０３における、補正パラメータを用いることによりすべての露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得ることは、図示されない次のステップ２０３４を含む。

【0035】

２０３４．各露出フレームに対応する、当該露出フレーム内の各画素の、重み付け係数を取得し、補正率に各露出フレーム内の各画素を掛けることにより得られる積を取得することと；すべての露出フレーム内の対応する位置における画素に対応する積を合計して、合計後に得られるすべての画素により形成される画像を補正された生データのＨＤＲ画像として用いる。

【0036】

上記実施形態から、本実施形態の画像処理方法によれば、各露出フレームの第１の輝度データが取得され、さらに、第１の輝度データに従って、すべての露出フレームの補正パラメータが取得され、補正パラメータを用いることにより露出フレームに重み付け処理が行われ、補正されたＲａｗデータのＨＤＲ画像が得られることにより、Ｒａｗデータから得られる画像の色、輝度、およびコントラストが著しく歪んでしまう先行技術における課題が解決されることがわかり得る。

【0037】

別の適用シナリオでは、上記ステップ２０２における、露出フレーム内に繰返し配列された生データを合成して、合成後の第１の輝度データを得ることは、具体的には、図示されない次のステップ２０２１を含む。

【0038】

２０２１．露出フレームの参照輝度値を取得し、予め設定されたガンマ係数を用いることにより参照輝度値を補正して、第１の輝度データを得る。

【0039】

たとえば、露出フレームの参照輝度値を取得することは、次を含み得る。
１） 生データ単位内の画素の平均値を取得して、平均値を参照輝度値として用いる。たとえば、図１に示されるＧＲＢＧベイヤーパターンにおいては、参照輝度値は、（Ｇ＋Ｒ＋Ｂ＋Ｇ）／４であり得る。

【0040】

または、２） 生データ単位内のＧ画素の平均値を取得して、平均値を参照輝度値として用いる。たとえば、図１に示されるＧＲＢＧベイヤーパターンでは、参照輝度値は、（Ｇ＋Ｇ）／２であり得る。

【0041】

上記の参照輝度値は、従来の算出方法を用いることにより、または単純な合成により得られ得る。

【0042】

すなわち、図１に示されるベイヤーパターンでは、合成後のデータ量は、生データの１／４であり、これにより、画像処理プロセスにおけるデータ量が有効に減少される。

【0043】

上記の実施形態から、生データ単位が、本実施形態における画像処理方法の基本単位として用いられることがわかり得る。まず、異なる露出フレームの生基本単位が、合成などの事前処理され、人間の目に適した第１の輝度データが出力される。次に、補正された生データのＨＤＲ画像に必要な補正パラメータが算出され、生データ単位における各生データが合成され、同一の生データ単位において同一の重み付け係数および補正率を用いることにより、合成前後の色の統一性が確保され得る。人間の目に適した輝度データを用いて合成係数が算出され、これにより、既存の輝度処理後効果が生データの出力ＨＤＲ画像に合成されることが実現され得る。

【0044】

別の適用シナリオでは、画像処理方法は、次のステップＳ０１〜Ｓ０６に示される。補正パラメータは、重み付け係数および補正率を含み、各露出フレームは、１つの重み付け係数に対応し、すべての露出フレームは、１つの補正率に対応する。

【0045】

２つの露出フレームは、以下に一例として用いられる。
Ｓ０１．異なる露出時間中の同一のシーンにおいて、第１の露出フレームおよび第２の露出フレームである異なる輝度を有する２つの露出フレームを回収する。

【0046】

第１の露出フレームの輝度は、第２の露出フレームの輝度より低く、第１の露出フレームの露出時間は、第２の露出フレームの露出時間より短い。Ｒ_１は、第１の露出フレームを示し、Ｒ_２は、第２の露出フレームを示す。

【0047】

Ｓ０２．各露出フレーム毎に、当該露出フレーム内に繰返し配列された生データ単位を合成して、合成後の第１の輝度データを得る。

【0048】

第１の露出フレームの第１の輝度データは、Ｉ_１′であり、第２の露出フレームの第１の輝度データは、Ｉ_２′である。

【0049】

例示的に、露出フレームの参照輝度値が取得され、参照輝度値は、表を参照する手法で予め設定されたガンマ係数１／２．２を用いることにより補正され、第１の輝度データが得られる。

【0050】

Ｓ０３．第１の露出フレームについては、第１の輝度データＩ_１′に従って第１の露出フレームの重み付け係数ｗ_１を取得し；第２の露出フレームについては、第１の輝度データＩ_２′に従って第２の露出フレームの重み付け係数ｗ_２を取得する。

【0051】

たとえば、重み付け係数ｗ_１およびｗ_２は、次の式に従って取得される。

【0052】

【数1】

【0053】

（式中、ｗ_１′およびｗ_２′は、重み付け係数を算出するための中間値を示し、δは、ガウス分布係数を示す。）
Ｓ０４．輝度ヒストグラム均等化手法で、第１の露出フレームに輝度処理を行い、処理後の第２の輝度データＩ_１″を得；輝度ヒストグラム均等化手法で第２の露出フレームに輝度処理を行い、処理後の第２の輝度データＩ_２″を得る。

【0054】

Ｓ０５．重み付け係数ｗ_１およびｗ_２、第２の輝度データＩ_１″およびＩ_２″、ならびに第１の輝度データＩ_１′およびＩ_２′に従って、すべての露出フレームに対応する補正率αを取得する。

【0055】

【数2】

【0056】

Ｓ０６．重み付け係数ｗ_１およびｗ_２ならびに補正率αを用いることによりすべての露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得る。これは、次の式に示される。

【0057】

【数3】

【0058】

（式中、Ｒ_１は、第１の露出フレームを示し、ｗ_１は、第１の露出フレームの重み付け係数を示し、Ｒ_２は、第２の露出フレームを示し、ｗ_２は、第２の露出フレームの重み付け係数を示し、αは、補正率を示し、Ｒは、補正された生データのＨＤＲ画像を示す。）
したがって、上記の画像処理方法を用いることにより、歪みのない色、輝度、およびコントラストを有する画像を得ることができる。

【0059】

図４は、本発明の別の実施形態に従った画像処理方法の概略フローチャートである。図４に示されるように、本実施形態の画像処理方法のステップは、次のように説明される。

【0060】

４０１．異なる露出時間中の同一のシーンにおいて異なる輝度を有する少なくとも２つの露出フレームを回収する。

【0061】

４０２．各露出フレーム毎に、当該露出フレーム内に繰返し配列された生データを合成して、合成後の第１の輝度データを得る。

【0062】

４０３．明露出フレーム内の画素の第１の輝度データと暗露出フレーム内の対応する位置における画素の第１の輝度データとの相関性を、統計ヒストグラム手法で取得し、輝度マッピング関数を得る。

【0063】

統計ヒストグラム手法は、統計的手法により得られるヒストグラムである。
なお、本明細書における輝度マッピング関数を取得するための方法は、当業者に周知の方法である。

【0064】

４０４．輝度マッピング関数およびすべての第１の輝度データに従ってすべての露出フレームの補正パラメータを取得し、補正パラメータを用いることによりすべての露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得る。

【0065】

上記の実施形態から、画像処理方法において、単一チャンネル生データが用いられて、補正された生データのＨＤＲ画像が直接取得されることにより、処理プロセスにおける算出量が減少されることがわかり得る。上記の画像処理方法では、ヒストグラム均等化、コントラスト調整、および暗領域の輝度向上などの輝度処理方法が用いられる。したがって、生ＨＤＲ画像の色一貫性および輝度統一性を維持することができる。

【0066】

別の適用シナリオでは、画像処理方法は、次のステップＭ０１〜Ｍ０６に示される。補正パラメータは、重み付け係数および補正率を含み、各露出フレームは、１つの重み付け係数に対応し、すべての露出フレームは、１つの補正率に対応する。

【0067】

２つの露出フレームが、以下に一例として用いられる。
Ｍ０１．異なる露出時間中の同一のシーンにおいて、第１の露出フレームおよび第２の露出フレームである異なる輝度を有する２つの露出フレームを回収する。

【0068】

第１の露出フレームの輝度は、第２の露出フレームの輝度より低く、第１の露出フレームの露出時間は、第２の露出フレームの露出時間より短い。Ｒ_１は、第１の露出フレーム、短い露出フレーム、および暗露出フレームを示し、Ｒ_２は、第２の露出フレーム、長い露出フレーム、および明露出フレームを示す。

【0069】

Ｍ０２．各露出フレーム毎に、当該露出フレーム内に繰返し配列された生データ単位を合成して、合成後の第１の輝度データを得る。

【0070】

第１の露出フレームの第１の輝度データは、Ｉ_１′であり、第２の露出フレームの第１の輝度データは、Ｉ_２′である。

【0071】

例示的に、Ｍ０２は、次のサブステップを行うことにより実現され得る。
Ｍ０２１．第１の露出フレームおよび第２の露出フレームの参照輝度値を算出する。

【0072】

ステップＭ０２１において、参照輝度値を算出するための方法は、従来の輝度算出方法または（Ｒ＋Ｇ＋Ｇ＋Ｂ）／４などの単純な合成であり得る。別の実施形態では、Ｇ画素の値を参照輝度値として直接用いてもよい。

【0073】

上記で算出されたデータ量は、生データの１／４であり、これにより、次の画像処理プロセスにおいて算出量が有効に減少される。

【0074】

Ｍ０２２．ガンマ係数を用いることにより上記参照輝度値にガンマ補正を行い、第１の輝度データを得る。

【0075】

なお、既存のガンマ補正は、ＩＳＰ処理において、画像の輝度およびコントラストに最大の影響を及ぼすステップであるとともに、生データを人間の目に適したデータに変換する１つの重要なステップである。したがって、ステップＭ０２２は、ＩＳＰ処理と同じガンマ係数を用いて参照輝度値を処理する。

【0076】

実際の適用では、ガンマ係数の値は、１／２．２であり得る。この実施形態では、ガンマ補正は、テーブル参照法を用いることにより実現されてもよい。さらに、生データのビット幅、すなわち、露出フレームの生データは、一般的に、１０ビット、１２ビット、または１４ビットなど比較的大きい。

【0077】

算出リソースを節約するために、生データ内の初めの８ビットのみがテーブル参照を行うために用いられ、出力値も８−ビットデータであり得る。

【0078】

すなわち、ガンマ補正後の参照輝度ビット幅は、ベイヤーデータと同じでなくてもよい。ガンマ補正後の輝度データは、Ｉ′として示され、すなわち、第１の露出フレームの第１の輝度データは、Ｉ_１′であり、第２の露出フレームの第１の輝度データは、Ｉ_２′である。

【0079】

Ｍ０３．明露出フレーム（第２の露出フレーム）内の画素の第１の輝度データと暗露出フレーム（第１の露出フレーム）内の対応する位置における画素の第１の輝度データとの相関性を、統計ヒストグラム手法で取得し、輝度マッピング関数を得る。

【0080】

たとえば、輝度マッピング関数は、ｂ＝ｆ（ａ）であり、式中、ａは、明露出フレーム内の画素の輝度値であり、ｆ（ａ）は、暗露出フレーム内の対応する位置における画素の輝度値を示す。

【0081】

ａおよびｆ（ａ）の各群は、１つのマッピング対と呼ばれ、求められたマッピング対がマッピングとして用いられる。

【0082】

すなわち、（ａ、ｂ）が、長い露出フレーム（第２の露出フレーム）から短い露出フレーム（第１の露出フレーム）の対応する明度マッピング関数ｆの値である場合、ｂ＝ｆ（ａ）である。

【0083】

図５Ａ、図５Ｂ、および図５Ｃを参照して、本実施形態の輝度マッピング関数ｂ＝ｆ（ａ）は、第１の露出フレームおよび第２の露出フレームの統計ヒストグラムから容易に得られ得る。

【0084】

以下の図５Ａは、第１の露出フレームおよび第２の露出フレームのヒストグラムである。単純な累積の後に、図５Ｂの累積ヒストグラムが得られ得る。輝度マッピング後に、図５Ｃに示されるように、輝度マッピング値（第２の線は概略曲線である）が得られ得る。図中、横軸上の第２の露出フレーム（拡張フレーム）の画像に多数の過露出画素が存在する。

【0085】

Ｍ０４．輝度マッピング関数およびすべての第１の輝度データに従ってすべての露出フレームの補正パラメータを取得し、補正パラメータを用いることによりすべての露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得る。

【0086】

具体的には、上記ステップＭ０４は、次のサブステップＭ０４１〜Ｍ０４４を行うことにより実現され得る。

【0087】

Ｍ０４１．第１の露出フレームについては、第１の輝度データＩ_１′および輝度マッピング関数ｂ＝ｆ（ａ）に従って第１の露出フレームの重み付け係数ｗ_１を取得し；第２の露出フレームについては、第１の輝度データＩ_２′および輝度マッピング関数ｂ＝ｆ（ａ）に従って第２の露出フレームの重み付け係数ｗ_２を取得する。

【0088】

たとえば、重み付け係数ｗ_１およびｗ_２は、次の式に従って取得される。

【0089】

【数4】

【0090】

（式中、ｗ_１′およびｗ_２′は、重み付け係数を算出するための中間値を示し、δは、ガウス分布係数を示す。）
一般的に、長い露出フレーム（第１の露出フレームおよび第２の露出フレームにおいて、より長い露出時間を有する露出フレーム）における暗（Ｉ_１′）シーンは、短い露出フレーム（第１の露出フレームおよび第２の露出フレームにおいて、より短い露出時間を有する露出フレーム）における暗（Ｉ_２′、より暗く、露出不足となる傾向がある）シーンより適している。

【0091】

同様に、短い露出フレームにおける明（Ｉ_２′）シーンは、長い露出における明（Ｉ_１′、より明るく、過露出となる傾向がある）シーンより適しているため、ガウス分布に基づく上記の式を用いて重み付け係数を算出し、正規化を実現する。

【0092】

Ｍ０４２．輝度ヒストグラム均等化手法で第１の露出フレームに輝度処理を行い、処理後の第２の輝度データＩ_１″を得；輝度ヒストグラム均等化手法で第２の露出フレームに輝度処理を行い、処理後の第２の輝度データＩ_２″を得る。

【0093】

例示的に、輝度ヒストグラム均等化方法が採用されるとき、画像のコントラストは著しく変更されるおそれがある。たとえば、ダイナミックレンジが比較的小さいシーンは、高過ぎるコントラストを有する。したがって、マッピング後のヒストグラムを制御するためには、いくつかのキーポイントが使用され得る。たとえば、マッピング後の累積ヒストグラムにおいて２５％に相当する輝度値は、マッピング前の長い露出累積ヒストグラムにおいて２５％に相当する輝度値と、マッピング前の短い露出累積ヒストグラムにおいて２５％に相当する輝度値との間でなければならない。すなわち、Ｉ′_{2_25}≦Ｉ″₂₅≦Ｉ′_{1_25}である。

【0094】

Ｍ０４３．重み付け係数ｗ_１およびｗ_２、第２の輝度データＩ_１″およびＩ_２″、ならびに第１の輝度データＩ_１′およびＩ_２′に従って、すべての露出フレームに対応する補正率αを取得する。

【0095】

【数5】

【0096】

なお、第１の露出フレームの露出時間は、第２の露出フレームの露出時間と異なり、これは、輝度が異なることを意味する。単純な合成が対応する画素に行われると、最終的な画像の輝度統一性が損なわれる。したがって、この実施形態では、補正率αが、異なる露出フレームを「１つの同一の露出値」として補正するように設定される。

【0097】

Ｍ０４４．重み付け係数ｗ_１およびｗ_２ならびに補正率αを用いることによりすべての露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得る。これは、次の式に示される。

【0098】

【数6】

【0099】

（式中、Ｒ_１は、第１の露出フレームを示し、ｗ_１は、第１の露出フレームの重み付け係数を示し、Ｒ_２は、第２の露出フレームを示し、ｗ_２は、第２の露出フレームの重み付け係数を示し、αは、補正率を示し、Ｒは、生データのＨＤＲ画像を示す。）
輝度マッピング関数に依存する上記の重み付け算出手法の利点の１つは、長い露出フレームおよび短い露出フレームの輝度がマッピング値（ａ，ｂ）と同等であるとき、同一の合成重みを得ることができるため、出力ＨＤＲフレームの質がより高くなることである。

【0100】

上記の実施形態から、単一チャンネル生データのみが記憶されればよく、これにより、算出量が減少されることがわかり得る。ヒストグラム均等化、コントラスト調整、および暗領域の輝度向上などの輝度処理方法が直接用いられてもよい。生データのＨＤＲ画像の色一貫性および輝度統一性を維持することができる。

【0101】

特に、本発明において、従来の処理後ＨＤＲ合成法と比較すると、予めカメラ応答曲線を較正する必要なく、単一チャンネルデータのみを処理すればよく、これにより、記憶コストおよびデータの算出量が有効に減少される。

【0102】

図６に示されるように、図６の図Ａは、先行技術の処理後手法で合成されたＨＤＲ画像であり、図Ｂは、処理後合成手法が生データ処理に単純に適用されたＨＤＲ画像である（グレースケールの色およびコントラストは、図Ｂにおいて著しく変更されている）。

【0103】

図Ｃは、輝度補正が行われていないＨＤＲ画像であり（カラーチップ中の最終行など、輝度統一性が損なわれている）、図Ｄは、本発明の本実施形態において輝度補正後に取得されたＨＤＲ画像である（色およびコントラストは、現実のシーンにより近い）。

【0104】

さらに、上記の例示的な実施形態では、重み付け係数を算出するために、実施形態の一部では輝度マッピング関数が用いられており、重み付け係数を算出するために、実施形態の別の一部では輝度マッピング関数が用いられていない。この実施形態は一切限定を設定するものではなく、輝度マッピング関数は、実際のニーズに従って選択されればよい。

【0105】

さらに、本発明の本実施形態で列挙される実現の手法の任意の１つにおいては、重み付け係数は、ガウス分布法を用いることにより取得される。別の実施形態では、ポアソン分布または円錐曲線などの方法を採用して重み付け係数を取得してもよく、この実施形態では、一切限定は設定されない。

【0106】

本発明の別の局面によれば、本発明の実施形態はさらに、図７Ａおよび図７Ｂに示される画像処理装置を提供する。図７Ａおよび図７Ｂに示される画像処理装置は、プロセッサ７１とメモリ７２とを含む。

【0107】

プロセッサ７１は、異なる露出時間中の同一のシーンにおいて異なる輝度を有する少なくとも２つの露出フレームを回収し、各露出フレーム毎に、当該露出フレーム内に繰返し配列された生データ単位を合成して、合成後の第１の輝度データを得；すべての第１の輝度データに従ってすべての露出フレームの補正パラメータを取得し、補正パラメータを用いることによりすべての露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得るように構成され、メモリ７２は、プロセッサにより回収された異なる輝度を有する少なくとも２つの露出フレームを格納するように構成される。

【0108】

実際の適用では、プロセッサ７１は、具体的には、各露出フレーム毎に、当該露出フレームの参照輝度値を取得し、予め設定されたガンマ係数を用いることにより参照輝度値を補正して、第１の輝度データを得る；および／または、すべての第１の輝度データに従って各露出フレームの重み付け係数を取得し；各露出フレームに輝度処理を行い、処理後の第２の輝度データを得；重み付け係数、第２の輝度データ、および第１の輝度データに従って、すべての露出フレームに対応する補正率を取得し、重み付け係数および補正率を含む補正パラメータを得る；および／または、各露出フレームに対応する、当該露出フレーム内の各画素の、重み付け係数を取得し、補正率に各露出フレーム内の各画素を掛けることにより得られる積を取得し；すべての露出フレーム内の対応する位置における画素に対応する積を合計して、合計後に得られるすべての画素により形成される画像を補正された生データのＨＤＲ画像として用いるように構成される。

【0109】

随意的には、プロセッサはさらに、明露出フレーム内の画素の第１の輝度データと暗露出フレーム内の対応する位置における画素の第１の輝度データとの相関性を、統計ヒストグラム手法で取得し、輝度マッピング関数を得；輝度マッピング関数およびすべての第１の輝度データに従って各露出フレームの重み付け係数を取得し；各露出フレームに輝度処理を行い、処理後の第２の輝度データを得；重み付け係数、第２の輝度データ、および第１の輝度データに従って、すべての露出フレームに対応する補正率を取得し、重み付け係数および補正率を含む補正パラメータを得；さらに、各露出フレームに対応する、当該露出フレーム内の各画素の、重み付け係数を取得し、補正率に各露出フレーム内の各画素を掛けることにより得られる積を取得し；すべての露出フレーム内の対応する位置における画素に対応する積を合計して、合計後に得られるすべての画素により形成される画像を補正された生データのＨＤＲ画像として用いるように構成される。

【0110】

本実施形態のプロセッサは、具体的には、上記の実施形態の任意の１つに記載される画像処理方法を行ってもよい。詳細はここでは再度説明しない。

【0111】

上記の実施形態から、本発明の本実施形態の画像処理装置によれば、各露出フレームの第１の輝度データが取得され、さらに、第１の輝度データに従ってすべての露出フレームの補正パラメータが取得され、補正パラメータを用いることにより露出フレームに重み付け処理を行い、補正されたＲａｗデータのＨＤＲ画像を得ることにより、Ｒａｗデータから得られる画像の色、輝度、およびコントラストが著しく歪んでしまう先行技術における課題が解決されることがわかるであろう。

【0112】

当業者であれば、方法の実施形態のステップのすべてまたは一部を、関連するハードウェアに指示するプログラムにより実現してもよいことが理解されるであろう。プログラムは、コンピュータ読取可能記憶媒体に格納されてもよい。プログラムが実行されると、方法の実施形態のステップが行われる。上記の記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク、または光ディスクなどのプログラムコードを格納可能な任意の媒体を含む。

【0113】

最後に、上記の実施形態は、本発明の技術的解決策を説明することを意図するに過ぎず、本発明を限定するものでないことに留意されるべきである。上記の実施形態を参照して本発明を具体的に説明したが、当業者であれば、本発明の実施形態の技術的解決策の範囲から逸脱することなしに、上記の実施形態に記載される技術的解決策にさらに改良を行ったり、これらの一部またはすべての技術的特徴に同等の置き換えを行ってもよいことが理解されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7A】

【図7B】