知財求人 - 知財ポータルサイト「IP Force」
▶ エスゼット ディージェイアイ テクノロジー カンパニー リミテッドの特許一覧
特許6090820バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6090820
(24)【登録日】2017年2月17日
(45)【発行日】2017年3月8日
(54)【発明の名称】バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置
(51)【国際特許分類】
H04N 9/07 20060101AFI20170227BHJP
H04N 5/243 20060101ALI20170227BHJP
H04N 5/355 20110101ALI20170227BHJP
【ＦＩ】
H04N9/07 A
H04N9/07 C
H04N5/243
H04N5/335 550
【請求項の数】15
【全頁数】31
(21)【出願番号】特願2016-531711(P2016-531711)
(86)(22)【出願日】2014年6月27日
(65)【公表番号】特表2017-502557(P2017-502557A)
(43)【公表日】2017年1月19日
(86)【国際出願番号】CN2014080967
(87)【国際公開番号】WO2015196456
(87)【国際公開日】20151230
【審査請求日】2016年5月24日
【早期審査対象出願】
(73)【特許権者】
【識別番号】513068816
【氏名又は名称】エスゼット ディージェイアイ テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】ＳＺ ＤＪＩ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ
(74)【代理人】
【識別番号】110000877
【氏名又は名称】龍華国際特許業務法人
(72)【発明者】
【氏名】カオ、ジシェン
(72)【発明者】
【氏名】ユ、リフ
(72)【発明者】
【氏名】ゾン、ウェンフイ
(72)【発明者】
【氏名】ワン、ミンギュ
【審査官】
鈴木 明
(56)【参考文献】
【文献】
特開２０１４−０３００７３（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ ９／０４−９／１１
Ｈ０４Ｎ ５／２２２−５／２５７
Ｈ０４Ｎ ５／３０−５／３７８
(57)【特許請求の範囲】
【請求項1】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法であって、
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記アンダー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと
を含む、方法。
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記アンダー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと
を含む、方法。
【請求項2】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法であって、
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記オーバー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む、方法。
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記オーバー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む、方法。
【請求項3】
前記補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含むことを特徴とする請求項１又は２に記載の方法。
【請求項4】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法であって、
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップは、
前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップは、
所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式ステップ
（式中、Ｐ１、Ｐ２は、それぞれ前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）は、Ｐ１におけるＴ１より小さいすべてのアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）は、Ｐ２におけるＴ２より大きいすべてのオーバー露出画素集を表す）
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出するステップと、
前記自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び前記自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式ステップ
（式中、ω１は、前記アンダー露出イメージフレームにおける輝度がＰ１であるピクセルの重みであり、ω２は、前記オーバー露出イメージフレームにおける輝度がＰ２であるピクセルの重みである）
を用いて前記各ピクセルの重みを算出するステップと、
を含む、記載の方法。
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップは、
前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップは、
所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式ステップ
【数22】
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出するステップと、
前記自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び前記自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式ステップ
【数23】
を用いて前記各ピクセルの重みを算出するステップと、
を含む、記載の方法。
【請求項5】
前記各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップは、
二次元のガウスフィルタを用いて各ピクセルの前記重みに対してコンボリューションを行うステップと、
以下の関係式ステップ
（式中、
は、コントラストを強めることに用いられ、ｑ１，ｉ及びｑ２，ｉは、それぞれＲＧＢ図の三色チャネルである）
を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすステップと、
を含む、請求項４に記載の方法。
二次元のガウスフィルタを用いて各ピクセルの前記重みに対してコンボリューションを行うステップと、
以下の関係式ステップ
【数24】
【数25】
を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすステップと、
を含む、請求項４に記載の方法。
【請求項6】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画装置であって、
奇数二列と偶数二列とに異なる露出時間を配置して露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得するためのセンサーモジュールであって、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるセンサーモジュールと、
前記センサーモジュールと接続され、前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するための分解モジュールと、
前記分解モジュールと接続され、前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのアンダー露出画素回復モジュールと、
前記分解モジュールと接続され、前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのオーバー露出画素回復モジュールと、
前記アンダー露出画素回復モジュール及び前記露出を割り当てる画素回復モジュールと接続され、前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレーム及び前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するための合成モジュールと、
を含み、
前記アンダー露出画素回復モジュールは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出することと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得することと、
Ｒ、Ｂチャネルにおけるピクセルの画素値及びＧチャネルにおける前記画素回復値の差をそれぞれ算出することと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得することと、
前記Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記アンダー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とすることと、
を行うように構成されている、装置。
奇数二列と偶数二列とに異なる露出時間を配置して露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得するためのセンサーモジュールであって、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるセンサーモジュールと、
前記センサーモジュールと接続され、前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するための分解モジュールと、
前記分解モジュールと接続され、前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのアンダー露出画素回復モジュールと、
前記分解モジュールと接続され、前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのオーバー露出画素回復モジュールと、
前記アンダー露出画素回復モジュール及び前記露出を割り当てる画素回復モジュールと接続され、前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレーム及び前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するための合成モジュールと、
を含み、
前記アンダー露出画素回復モジュールは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出することと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得することと、
Ｒ、Ｂチャネルにおけるピクセルの画素値及びＧチャネルにおける前記画素回復値の差をそれぞれ算出することと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得することと、
前記Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記アンダー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とすることと、
を行うように構成されている、装置。
【請求項7】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画装置であって、
奇数二列と偶数二列とに異なる露出時間を配置して露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得するためのセンサーモジュールであって、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるセンサーモジュールと、
前記センサーモジュールと接続され、前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するための分解モジュールと、
前記分解モジュールと接続され、前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのアンダー露出画素回復モジュールと、
前記分解モジュールと接続され、前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのオーバー露出画素回復モジュールと、
前記アンダー露出画素回復モジュール及び前記露出を割り当てる画素回復モジュールと接続され、前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレーム及び前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するための合成モジュールと、
を含み、
前記オーバー露出画素回復モジュールは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出することと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得することと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出することと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得することと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差の復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記オーバー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とすることと、
を行うように構成されている、装置。
奇数二列と偶数二列とに異なる露出時間を配置して露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得するためのセンサーモジュールであって、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるセンサーモジュールと、
前記センサーモジュールと接続され、前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するための分解モジュールと、
前記分解モジュールと接続され、前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのアンダー露出画素回復モジュールと、
前記分解モジュールと接続され、前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのオーバー露出画素回復モジュールと、
前記アンダー露出画素回復モジュール及び前記露出を割り当てる画素回復モジュールと接続され、前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレーム及び前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するための合成モジュールと、
を含み、
前記オーバー露出画素回復モジュールは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出することと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得することと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出することと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得することと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差の復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記オーバー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とすることと、
を行うように構成されている、装置。
【請求項8】
前記補間は、バイリニア型補間、立方体補間のうちの少なくとも一方を含むことを特徴とする請求項６又は７に記載の装置。
【請求項9】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画装置であって、
奇数二列と偶数二列とに異なる露出時間を配置して露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得するためのセンサーモジュールであって、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるセンサーモジュールと、
前記センサーモジュールと接続され、前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するための分解モジュールと、
前記分解モジュールと接続され、前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのアンダー露出画素回復モジュールと、
前記分解モジュールと接続され、前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのオーバー露出画素回復モジュールと、
前記アンダー露出画素回復モジュール及び前記露出を割り当てる画素回復モジュールと接続され、前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレーム及び前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するための合成モジュールと、
を含み、
前記合成モジュールは、
前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得することと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得することと、
各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得することと、
を行うように構成され、
前記合成モジュールは、
所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式
（式中、Ｐ１、Ｐ２は、それぞれ前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）は、Ｐ１におけるＴ１より小さいすべてのアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）は、Ｐ２におけるＴより大きいすべてのオーバー露出画素集を表す）
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出することと、
前記自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び前記自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式
（式中、ω１は、前記アンダー露出イメージフレームにおける輝度がＰ１であるピクセルの重みであり、ω２は、オーバー露出イメージフレームにおける輝度がＰ２であるピクセルの重みである）
を用いて各ピクセルの重みを算出することと、
を行うように更に構成されている、装置。
奇数二列と偶数二列とに異なる露出時間を配置して露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得するためのセンサーモジュールであって、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるセンサーモジュールと、
前記センサーモジュールと接続され、前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するための分解モジュールと、
前記分解モジュールと接続され、前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのアンダー露出画素回復モジュールと、
前記分解モジュールと接続され、前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのオーバー露出画素回復モジュールと、
前記アンダー露出画素回復モジュール及び前記露出を割り当てる画素回復モジュールと接続され、前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレーム及び前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するための合成モジュールと、
を含み、
前記合成モジュールは、
前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得することと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得することと、
各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得することと、
を行うように構成され、
前記合成モジュールは、
所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式
【数26】
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出することと、
前記自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び前記自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式
【数27】
を用いて各ピクセルの重みを算出することと、
を行うように更に構成されている、装置。
【請求項10】
前記合成モジュールは、
二次元のガウスフィルタを用いて各ピクセルの前記重みに対してコンボリューションを行うことと、
以下の関係式
（式中、
は、コントラストを強めることに用いられ、ｑ１，ｉ及びｑ２，ｉは、それぞれＲＧＢ図の三色チャネルとなる）
を用いてフレームの合成算出を行い、コントラストを引き伸ばすことと、
をさらに行うように構成されている、請求項９に記載の装置。
二次元のガウスフィルタを用いて各ピクセルの前記重みに対してコンボリューションを行うことと、
以下の関係式
【数28】
【数29】
を用いてフレームの合成算出を行い、コントラストを引き伸ばすことと、
をさらに行うように構成されている、請求項９に記載の装置。
【請求項11】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法であって、
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、を含み、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する前記ステップは、
前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記アンダー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む、方法。
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、を含み、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する前記ステップは、
前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記アンダー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む、方法。
【請求項12】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法であって、
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、を含み、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する前記ステップは、
前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記オーバー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む、方法。
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、を含み、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する前記ステップは、
前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記オーバー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む、方法。
【請求項13】
前記補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含むことを特徴とする請求項１１又は１２に記載の方法。
【請求項14】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法であって、
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、を含み、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する前記ステップは、
前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップは、
所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式ステップ
（式中、Ｐ１、Ｐ２は、それぞれ前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）は、Ｐ１におけるＴ１より小さいすべてのアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）は、Ｐ２におけるＴ２より大きいすべてのオーバー露出画素集を表す）
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出するステップと、
前記自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び前記自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式ステップ
（式中、ω１は、前記アンダー露出イメージフレームにおける輝度がＰ１であるピクセルの重みであり、ω２は、前記オーバー露出イメージフレームにおける輝度がＰ２であるピクセルの重みである）
を用いて前記各ピクセルの重みを算出するステップと、
を含む、方法。
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、を含み、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する前記ステップは、
前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップは、
所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式ステップ
【数30】
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出するステップと、
前記自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び前記自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式ステップ
【数31】
を用いて前記各ピクセルの重みを算出するステップと、
を含む、方法。
【請求項15】
前記各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、
二次元のガウスフィルタを用いて各ピクセルの前記重みに対してコンボリューションを行うステップと、
以下の関係式ステップ
（式中、
は、コントラストを強めることに用いられ、ｑ１，ｉ及びｑ２，ｉは、それぞれＲＧＢ図の三色チャネルとなる）
を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすステップと、
を含む、請求項１４に記載の方法。
二次元のガウスフィルタを用いて各ピクセルの前記重みに対してコンボリューションを行うステップと、
以下の関係式ステップ
【数32】
【数33】
を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすステップと、
を含む、請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はハイダイナミックレンジ（ｈｉｇｈ ｄｙｎａｍｉｃ Ｒａｎｇｅ、以下略称をＨＤＲという）の動画録画の技術分野に関し、特にバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置に関する。
【背景技術】
【0002】
デジタルカメラにおいて、光が強い環境で撮影するとき、通常のカメラはダイナミックレンジの制限を受けるため、極端に明るい又は暗い細部を記録することができないが、ＨＤＲ動画録画はハイライト及びローライトのエリアで共に正常撮影より更に良い明暗のステップが取得しやすい。実際シーンのダイナミックレンジは常に１００ｄＢ以上であり、センサーはデジタル映像機器イメージングの核心器具である。従来のデジタルカメラが採用するセンサーの部品はＣＣＤ（Ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、電荷カップリング素子）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ、相補金属酸化物半導体）であり、通常は約６０ｄＢのダイナミックレンジのみあり、ダイナミックレンジが比較的狭いセンサーを用いてダイナミックレンジが比較的広いシーンを記録する場合、何度もイメージングする必要がある。１００ｄＢのシーンを例に挙げると、まずシャッタースピードを高め、１枚０〜６０ｄＢのアンダー露出写真を撮影し、再びシャッタースピードを下げ、１枚４０〜１００ｄＢのオーバー露出写真を撮影し、最後に２枚の写真を１枚に合成させて且つ再びトーンマッピングの関係を算出する。
【0003】
現在のメーカーはＨＤＲ動画を撮影するとき、ハイフレームレートセンサーを採用し、快速で連続して複数枚の異なる露出値の画像を撮影でき、ＨＤＲ方法によって一枚の写真に合成する。但し移動中のオブジェクトを撮影するとき、写真にブラーが発生する可能性がある。マルチフレームのイメージを収集した後、特殊なＨＤＲ算出方法を用いてマルチフレームのイメージを一個のフレームに合成する必要がある。
【0004】
現代のＣＭＯＳセンサーは、通常カラーフィルタアレイの構造であり、バイヤーフィルタアレイで撮影するイメージの略称をバイヤーパターンという。各画素は１０〜１４ビットの単色情報を記録し、ＲＧＢの三原色情報は、この画素と周囲画素に対して補間の算出を行うことで取得する必要がある。
【0005】
ＨＤＲ動画の撮影方法は主に二個の核心技術点を含み、多露出フレームの収集及びＨＤＲフレームの合成アルゴリズムがある。多露出フレームの収集は異なる露出値によって高速に連続撮影をしてマルチフレームのイメージを取得する。二個の弱点が存する。一方では、シーンの中に高速移動の物体が存する場合、二個のフレーム間は点と点の整合が取れず、合成後のイメージは移動ブラーが発生しやすい。その他、高速での連続撮影は極めて高いフレームレートを必要とし、動画を撮影するシャッターの下限を制限する。
【0006】
既存のＨＤＲのアルゴリズムはまず複数の露出フレームによってカメラの輝度応答関数を予測し、その後トーンマッピング法で新しいーンマッピング表を算出し、最後に新しいＨＤＲイメージを算出する。カメラの輝度応答関数が通常各トーンに対してパラメータの予測をする必要があるため、算出の複雑さは８ビットのイメージ（２５６個のトーン）の場合は受けられるが、バイヤーパターン（１４ビット）に対して算出量が膨大すぎるため、直接ＨＤＲ動画録画に応用できない。その他の常用されるフレームの合成方法として加重平均法がある。二フレームのイメージの合成を例に挙げると、合成画素値ｐｎｅｗは式（１）を用いて算出できる：ｐｎｅｗ＝ｗ１ｐ１＋（１−ｗ１）ｐ２ （１）
式中、ｐ１、ｐ２はそれぞれアンダー露出図及びオーバー露出図上にある指定位置の画素値であり、ｗ１は０〜１の間の数字であり、画素１が合成画素の中で占める重みを表す。従来方法は重みを割り当てるとき通常考えられる要素は主に画素のオーバー露出及びアンダー露出であり、そして通常閾値を設定して露出の異常を検出する。オーバー露出又はアンダー露出の画素重みは正常画素値よりはるかに低い。８ビットのイメージを例に挙げると、式（２）を用いて重みを算出する：
【数1】
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明が解決する技術的問題は、バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置を提供することであり、本発明によれば高速移動ブラーの問題を克服し、高速で連続撮影のフレームレートを低減させることができる。
【課題を解決するための手段】
【0008】
上記の技術的問題を解決するため、本発明の実施例はバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法を提供し、この方法は、奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、奇数二列は前記イメージフレームの総列数を４で割って余りが０又は１の列であり、偶数二列は前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含む。
【0009】
ここで、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値及びＧチャネルにおける画素回復値の差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、アンダー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む。
【0010】
ここで、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出のイメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値及びＧチャネルにおける画素回復値の差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、オーバー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む。
【0011】
ここで、補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含む。
【0012】
ここで、アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、ＲＧＢチャネルにおけるピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含む。
【0013】
ここで、アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップは、所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式
【数2】
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出するステップと、
自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式
【数3】
を用いて各ピクセルの重みを算出するステップと、
を含む。
【0014】
ここで、各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームステップを取得するステップは、二次元のガウスフィルタ及び各ピクセルの重みを用いてコンボリューションを行うステップと、
以下の関係式
【数4】
【数5】
を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすステップと、
を含む。
【0015】
上記の技術的問題を解決するため、本発明の実施例は、奇数二列と偶数二列とに異なる露出時間を配置して露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得するためのセンサーモジュールであって、奇数二列は前記イメージフレームの総列数を４で割って余りが０又は１の列であり、偶数二列は前記イメージフレームの総列数を４で割って余りが２又は３の列であるセンサーモジュールと、
センサーモジュールと接続され、イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するための分解モジュールと、
分解モジュールと接続され、アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのアンダー露出画素回復モジュールと、
分解モジュールと接続され、オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのオーバー露出画素回復モジュールと、
アンダー露出画素回復モジュール及びオーバー露出画素回復モジュールと接続され、アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレーム及びアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するための合成モジュールと、
を含むバイヤーカラーフィルタアレイのハイダイナミックレンジの動画録画装置を更に提供する。
【0016】
ここで、アンダー露出画素回復モジュールは、隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出することと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得することと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出することと、
Ｒ、Ｂチャネルにおけるピクセルの画素値及びＧチャネルにおける画素回復値の差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得することと、
Ｒ、Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を用いて足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、アンダー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とすることと、
を行うように構成されている。
【0017】
ここで、オーバー露出画素回復モジュールは、隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出することと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得することと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出することと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得することと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、オーバー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とすることと、
を行うように構成されている。
【0018】
ここで、補間は、バイリニア型補間、立方体補間のうちの少なくとも一方を含む。
【0019】
ここで、合成モジュールは、ＲＧＢチャネルにおけるピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得することと、
アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得することと、
各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得することと、
を行うように構成されている。
【0020】
ここで、合成モジュールは、所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式
【数6】
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出することと、
自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式
【数7】
を用いて各ピクセルの重みを算出することと、
を行うように更に構成されている。
【0021】
ここで、合成モジュールは、二次元のガウスフィルタ及び各ピクセルの重みを用いてコンボリューションを行うことと、
以下の関係式
【数8】
【数9】
を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすことと、
を行うように更に構成されている。
【0022】
上記の技術的問題を解決するため、本発明の実施例はバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法を提供し、この方法は、奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、奇数二列はイメージフレームの総列数を４で割って余りが０又は１の列であり、偶数二列はイメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
ここで、アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、
ＲＧＢチャネルにおけるピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含む。
【0023】
ここで、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値及びＧチャネルにおける画素回復値の差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、アンダー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む。
【0024】
ここで、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出のイメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値及びＧチャネルにおける画素回復値の差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、オーバー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む。
【0025】
ここで、補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含む。
【0026】
ここで、アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップは、所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式
【数10】
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出するステップと、
自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式
【数11】
を用いて各ピクセルの重みを算出するステップと、
を含む。
【0027】
ここで、各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、二次元のガウスフィルタ及び各ピクセルの重みを用いてコンボリューションを行うステップと、
以下の関係式
【数12】
【数13】
を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすステップと、
を含む。
【0028】
上記の解決手段により、従来技術と比較し、本発明の効果は以下のとおりである：奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得する。イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解する。アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。再びアンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得し、高速移動ブラーの問題を克服し、高速連続撮影のフレームレートを低減させることができる。
【図面の簡単な説明】
【0029】
【発明を実施するための形態】
【0030】
図１を参照して、図１は本発明の第一実施例のバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法のフローチャートである。図１に示すように、バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法は以下を含む：
【0031】
ステップＳ１０：奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、奇数二列は前記イメージフレームの総列数を４で割って余りが０又は１の列であり、偶数二列は前記イメージフレームの総列数を４で割って余りが２又は３の列である。
【0032】
本発明に用いられるバイヤーパターンにおいて、一つのカラーフィルタユニットは一つのＲ及びＢユニットを含み、二個のＧユニット、空間上に２×２配列で現れ、すなわち各カラーフィルタユニットは二行及び二列を占める。具体的に、列の符号をｃと定義し、０≦ｃ≦Ｃであり、ここでＣはイメージフレームの総列数であり、Ｃは一般的に偶数であり、好ましくは、Ｃは４の倍数である。奇数二列を（ｃ１、ｃ２）と定義し、ここでｃ１は４で割り切れられ、ｃ２は４で割って余りが０又は１、ｃ２＝ｃ１＋１となり、偶数二列を（ｃ３、ｃ４）と定義し、ここでｃ３は４で割って余りが２となり、ｃ４は４で割って余りが３、ｃ４＝ｃ３＋１となる。このような配置は奇数二列及び偶数二列が共に完全に一組のバイヤーカラーアレイを含むことを保証できる。
【0033】
Ｓ１０ステップにおいて、図２に示すように、二列をユニットとし、奇数二列及び偶数二列をそれぞれ露出する方法を用い、奇数二列についてアンダー露出を行い、偶数二列についてオーバー露出を行い、奇数二列と偶数二列との異なる露出値の一個のイメージフレームを得る。例えば、センサーは奇数二列と偶数二列とに異なる露出時間を割り当てることにより、二個の異なる露出値のイメージフレームを取得することにより、この時の各イメージフレームは、オリジナルフレームの半分程度の幅にすぎない。このように、従来方法によって６０フレーム／秒のフレームレートを用いて撮影する動画であれば、本発明では３０フレーム／秒のフレームレートだけを必要として同じ効果を達成できる。当然ながら、本発明のその他の実施例において、偶数二列についてアンダー露出を行い、奇数二列についてオーバー露出を行うこともできる。この単フレームマルチ露出の方法は、一列毎の露出が必ず一組の完全なカラーフィルタユニットを含むことを保証する。
【0034】
ステップＳ１１：イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解する。
【0035】
ステップＳ１１において、ステップＳ１０で得たイメージフレームに対して分解を行い、アンダー露出イメージフレーム及びオーバー露出イメージフレームを得る。具体的に、オリジナルイメージフレームにおいて、アンダー露出の奇数二列は変えず、偶数二列を欠失列に変え、アンダー露出イメージフレームを得る。オリジナルイメージフレームにおいて、オーバー露出の偶数二列は変えず、奇数二列を欠失列に変え、オーバー露出イメージフレームを得る。そのため、アンダー露出イメージフレームにおけるアンダー露出二列及び欠失二列が順次間隔分布され、オーバー露出イメージフレームにおけるオーバー露出二列及び欠失二列が順次間隔分布される。
【0036】
ステップＳ１２：アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。
【0037】
アンダー露出イメージフレームに対して、図３に示すように、アンダー露出イメージフレームにおけるＲＧＢ情報に対する回復は以下を含む：
【0038】
ステップＳ１２０：隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出する。
【0039】
アンダー露出イメージフレームにおいて、偶数二列を欠失列とし、ステップＳ１２０において、隣り合う奇数二列の補間を用いて偶数二列の欠失値を算出する。図４に示すように、例えば平均補間方式を採用し、すなわちＲ３＝（Ｒ１＋Ｒ５）／２、Ｇ４＝（Ｇ２＋Ｇ６）／２、Ｇ９＝（Ｇ７＋Ｇ１１）／２、Ｂ１０＝（Ｂ８＋Ｂ１２）／２となる。
【0040】
ステップＳ１２１：補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得する。
【0041】
アンダー露出イメージフレームにおけるＧチャネルの情報がＲ、Ｂチャネルより多いことを考慮して、まず補間の方法を用いてＧチャネルの情報を回復する。この補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含み、当然ながら、本発明のその他の実施例において、その他の補間の方法を応用してＧチャネルの情報を回復できる。
【0042】
ステップＳ１２２：Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出する。
【0043】
アンダー露出イメージフレームにおけるＲ、Ｂチャネルの画素数が比較的少ないことを考慮して、直接Ｒ、Ｂチャネルの画素に対して回復を行わず、Ｒ、Ｂチャネルの既知画素とＧチャネルとの差を対象とし、Ｒ、Ｂチャネルの画素を回復するように構成される。具体的に、図５に示すように、Ｒチャネルを例に挙げると、Ｒチャネルの既知画素とＧチャネルとの差値がＲ１であり、Ｒ１＝Ｒ−Ｇと記録し、ここでＲはイメージング位置の赤色の画素値であり、Ｇは対応位置がＧチャネルの画素回復値である。
【0044】
ステップＳ１２３：前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得する。すなわち、Ｒチャネルの既知画素とＧチャネルとの差値Ｒ１に対して補間を行い、これによってＲチャネルにおける欠失ピクセルの差である回復値を得る。
【0045】
ステップＳ１２４：Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける前記画素回復値を用いて足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、アンダー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とする。
【0046】
Ｒチャネルにおける欠失ピクセルの差である回復値Ｒ１を得た後、赤画素の予測値Ｒは、Ｒチャネルにおける欠失ピクセルの差から得た回復値Ｒ１とＧチャネルにおける画素回復値Ｇとの和、すなわちＲ＝Ｒ１＋Ｇとする。図５で記載の回復情報における右側一列が欠失列である。欠失列が左側にあるとき、類似している算出方法で欠失列の画素回復値を取得しやすい。この時の欠失列の画素回復値は、隣り合う奇数二列の補間によって算出して得た偶数二列を入れ替えて得た欠失値である。Ｂチャネルは図５に記載の同様の方法を用いて処理を行い、ここではその説明を省略する。最終的にアンダー露出イメージフレームのＲＧＢ三チャネルにおける欠失列の画素回復値を取得しており、後続するフレームの合成処理に用いられる。
【0047】
また図１に示すように、ステップＳ１３は下記のとおりである：オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。
【0048】
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得する。それぞれＲ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差を算出する。Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差を補間として算出し、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得する。Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足し合わせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、オーバー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とする。具体的に図５で記載のオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値の取得方法と同様であり、ここではその説明を省略する。最終的オーバー露出イメージフレームのＲＧＢ三チャネルにおける欠失列の画素回復値を得て、後続するフレームの合成処理に用いられる。
【0049】
ステップＳ１４：アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する。
【0050】
従来のＨＤＲ動画が採用するフレームの合成演算では、アーティファクト及び遷移が不自然な問題が発生しやすく、アーティファクトが発生する原因としては、フレームの合成時に、遷移エリアに輝度が反転する現象が存在し、従来方法では高輝度及び低輝度の閾値を選択するときにこの問題を回避できず、輝度が大いに変わるエリアでこの問題が現れる。遷移が不自然なのは孤立点と孤立ブロックの情況を考慮していないためである。自然なシーンの光線は複雑であるため、オーバー露出とアンダー露出エリアが入り混じる状況が発生しやすく、簡単な合成は遷移が不自然となる問題を起こしやすい。図６に示すように、オーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、以下を含む。
【0051】
ステップＳ１４０：ＲＧＢチャネルにおけるピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得する。
【0052】
ステップＳ１４０において、輝度の取得は従来技術を用い、輝度を（Ｒ＋Ｇ＋Ｂ）／３とし、当然その他の方法を用いてＲＧＢチャネルにおけるピクセルの画素値によって輝度を取得してもよい。
【0053】
ステップＳ１４１：アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得する。
【0054】
ステップＳ１４１において，所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式【数14】
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出する。分かるように、Ｔ１，ｎｅｗは、Ｐ２の中のＰ１と対応するアンダー露出位置の画素値の上限を表し、Ｔ２，ｎｅｗは、Ｐ１の中のＰ２と対応するオーバー露出位置の画素値の下限を表す。
【0055】
その後、自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のアンダー露出閾値Ｔ２，ｎｅｗによって下記関係式【数15】
を用いて各ピクセルの重みを算出する。
【0056】
ステップＳ１４２：各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する。
【0057】
オーバー露出及びアンダー露出エリアが入り混じって遷移が不自然な問題を回避するために、重みマップω１、ω２に対してガウスブラー化を行う。ステップＳ１４２において、まず二次元ガウスフィルタ及び各ピクセルの重みを用いてコンボリューションを行う。具体的に、窓の幅をＨとし、分散をσとした二次元ガウスフィルタを用いて、ω１、ω２に対してコンボリュートする。Ｈはイメージフレームのサイズと関連し、通常σ＝Ｈ／６を選択し、当然ながら、分散σも必要に応じてその他の値を選択することができる。
【0058】
その後、以下の関係式【数16】
【数17】
を用いてフレーム合成の算出を行い、そしてコントラストを引き伸ばす。
【0059】
従来方法と本発明の方法によって撮影する写真を比較すると、図７に示すように、左上の写真はアンダー露出の写真であり、右上の写真はオーバー露出の写真であり、左下は従来方法を応用して合成した写真であり、右下は本発明の方法を応用して得る写真である。分かるように、本発明の方法によって撮影する写真のコントラストは良好であり、アーティファクトが存在せず、遷移エリアが自然であり、従来の方法より優れる。
【0060】
本発明の実施例において、奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得する。イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解する。アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。再びアンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得し、高速移動ブラーの問題を克服し、高速連続撮影のフレームレートを下げ、同時にアーティファクト及び遷移が不自然な問題を解決する。
【0061】
図８を参照して、図８は本発明の第一実施例のバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画装置の構造概要図である。図８に示すように、バイヤーカラーフィルタアレイのハイダイナミックレンジの動画録画装置１０は、センサーモジュール１１、分解モジュール１２、アンダー露出画素回復モジュール１３、オーバー露出画素回復モジュール１４及び合成モジュール１５を含む。センサーモジュール１１は奇数二列と偶数二列とによって異なる露出時間を割り当てて露出を行い、奇数二列と偶数二列とが異なる露出値のイメージフレームを取得する。分解モジュール１２は、センサーモジュール１１と接続され、イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解する。アンダー露出画素回復モジュール１３は、分解モジュール１２と接続され、アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするように構成される。オーバー露出画素回復モジュール１４は、分解モジュール１２と接続され、オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするように構成される。合成モジュール１５はアンダー露出画素回復モジュール１３及びオーバー露出画素回復モジュール１４と接続され、アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するように構成される。
【0062】
本発明の実施例において、本発明において用いるバイヤーパターンにおいて、一個のカラーフィルタユニットは一個のＲとＢユニットを含み、二個のＧユニット、空間上に２×２配列で現れ、すなわち各カラーフィルタユニットは二行及び二列を占める。センサーモジュール１１は奇数二列及び偶数二列をそれぞれ露出する方法を用い、すなわち奇数二列についてアンダー露出を行い、偶数二列についてオーバー露出を行い、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを得る。この露出方法は一列毎の露出が必ず一組の完全なカラーフィルタユニットを含むことを保証する。分解モジュール１２はイメージフレームに対して分解を行い、アンダー露出イメージフレーム及びオーバー露出イメージフレームを得る。具体的には、オリジナルイメージフレームにおいて、アンダー露出の奇数二列は変えず、偶数二列を欠失列に変え、アンダー露出イメージフレームを得る。オリジナルイメージフレームにおいて、オーバー露出の偶数二列は変えず、奇数二列を欠失列に変え、オーバー露出イメージフレームを得る。そのためアンダー露出イメージフレームにおけるアンダー露出二列及び欠失二列が順次間隔分布され、オーバー露出イメージフレームにおけるオーバー露出二列及び欠失二列が順次間隔分布される。
【0063】
具体的に、アンダー露出画素回復モジュール１３は以下に用いられる：隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出する。例えば平均の補間方式を用いる。アンダー露出イメージフレームにおけるＧチャネルの情報がＲ、Ｂチャネルより多いことを考慮し、まず補間の方法を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得する。この補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含み、当然ながら、本発明のその他の実施例において、その他の補間の方法を応用してＧチャネルの情報を回復してもよい。再びＲ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出する。更にＲ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差を補間として算出し、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得する。ここの補間の方法は、上記と同様であり、バイリニア型補間、立方体補間のうちの少なくとも一方を含む。最後にＲ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足し合わせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、アンダー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とする。Ｂチャネルは上記と同様の方法を用いて処理を行い、ここではその説明を省略する。最終的にアンダー露出イメージフレームそれぞれのＲＧＢ三チャネルにおける欠失列の画素回復値を得て、後続するフレームの合成処理に用いられる。
【0064】
オーバー露出画素回復モジュール１４は以下に用いられる：隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出する。例えば平均の補間方式を採用する。アンダー露出イメージフレームにおけるＧチャネルの情報がＲ、Ｂチャネルより多いことを考慮し、まず補間を利用してＧチャネルにおける欠失ピクセルの画素回復値を取得する。この補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含み、当然ながら、本発明のその他の実施例において、その他の補間の方法を応用してＧチャネルの情報を回復してもよい。再びＲ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出する。そしてＲ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差を補間として算出し、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得する。ここの補間の方法は、上記と同様であり、バイリニア型補間、立方体補間のうちの少なくとも一方を含む。最後にＲ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足し合わせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、オーバー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とする。Ｂチャネルは上記と同様の方法を用いて処理を行い、ここではその説明を省略する。最終的にオーバー露出イメージフレームのＲＧＢ三チャネルにおける欠失列の回復値を得て、後続するフレームの合成処理に用いられる。
【0065】
合成モジュール１５は以下に用いられる：ＲＧＢチャネルにおけるピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得する。輝度の取得は従来技術を採用し、例えば輝度を（Ｒ＋Ｇ＋Ｂ）／３とし、当然ながら、その他のＲＧＢチャネルにおけるピクセルの画素値によって輝度を取得する方法も採用できる。その後アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得する。具体的に、所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式【数18】
を用いて自動適応するアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出する。分かるように、Ｔ１，ｎｅｗはＰ２の中のＰ１と対応するアンダー露出位置の画素値の上限を表し、Ｔ２，ｎｅｗはＰ１の中のＰ２と対応するオーバー露出位置の画素値の下限を表す。その後自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のアンダー露出閾値Ｔ２，ｎｅｗによって下記関係式
【数19】
を用いて各ピクセルの重みを算出する。最後に各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する。
【0066】
オーバー露出及びアンダー露出エリアが入り混じって遷移が不自然な問題を回避するために、重みマップω１、ω２に対してガウスブラー化を行う。二次元のガウスフィルタ及び各ピクセルの重みを用いてコンボリュートし、具体的に、窓の幅をＨとし、分散をσとした二次元ガウスフィルタを用いて、ω１、ω２に対してコンボリュートする。Ｈはイメージフレームのサイズと関連し、通常σ＝Ｈ／６を選択し、当然ながら、分散σも必要に応じてその他の値を選択することができる。その後以下の関係式【数20】
【数21】
を用いてフレーム合成の算出を行い、そしてコントラストを引き伸ばす。本発明の方法によって撮影する写真のコントラストは良好であり、アーティファクトが存在せず、遷移エリアが自然であり、従来の方法より優れる。
【0067】
要するに、本発明は奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得する。イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解する。アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。再びアンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得し、高速移動ブラーの問題を克服し、高速連続撮影のフレームレートを低減させることができ、イメージフレームを合成するときの重みに対して更に処理を行うとアーティファクト及び遷移が不自然な問題も解決できる。
【0068】
本発明の提供する複数の実施例の中で、理解されるように、開示したシステム、装置及び方法は、その他の方法により実現できる。例えば、上記で説明する装置の実施例は概略的なものにすぎず、例えば、前記モジュール又はユニットの区別は、論理的な機能上の区別にすぎず、実際に実現するときに別の区別方法であってもよく、例えば複数のユニット又はモジュールは結合するか又は他のシステムに集積でき、又は複数の特徴は省略でき、又は実行しない。その他の点は、表示又は検討する相互間の結合又は直接な結合又は通信の接続は複数のインターフェイス、装置又はユニットにより間接的結合又は通信接続でき、電気的、機械的又はその他の形式でもよい。
【0069】
前記分離部品として説明されるユニットは物理的に分解しても又はしなくてもよく、ユニットが示す部品は物理的ユニットでも又はそうでなくてもよく、一個の場所に位置することができ、又は複数のネットワークユニット上にも分布できる。実際に必要に応じてここでの一部又は全てのユニットを選択して本実施例の解決手段の目的を実現できる。
【0070】
また、本発明の各実施例における各機能ユニットを一個の処理ユニットに集積でき、各ユニットが単独で物理的に存在することも可能であり、二個又は二個以上のユニットが一個のユニットの中で集積できる。上記の集積されたユニットはハードウエアの形式の実現を採用して実現でき、又はソフトウェア機能ユニットの形式で実現できる。
【0071】
前記集積されたユニットをソフトウェア機能ユニットの形式で独立して製品販売又は使用する場合、１台のコンピュータで読取り可能な記憶媒体に保存できる。このような理解により、本発明の技術的解決手段は本質上又は従来技術に対して寄与する部分又はこの技術的解決手段の全部又は一部に対してソフトウェア製品の形式で体現でき、このコンピュータのソフトウェア製品は記憶媒体に保存され、コンピュータ機器（パソコン、サーバー、又はネット機器などが可能）又はプロセッサー（ｐｒｏｃｅｓｓｏｒ）に本発明の各実施例で記述する全部又は一部のステップを実行させるための複数の命令を含む。また前記記憶媒体は、ＵＳＢメモリ、ポータブルハードディスク、読取り専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フロッピー（登録商標）ディスク又は光ディスクなど各種プログラムコードを記憶できる媒体を含む。
【0072】
以上の記述は本発明の実施例にすぎず、そのため本発明の特許の範囲を限定するものではなく、本発明の明細書及び添付図の内容で作成する等価構造又は等価流れの変換、又は直接的又は間接的にその他の関連する技術分野に応用するものであれば、いずれも同じ理由で本発明の特許の保護範囲内に含まれる。