特許 6376618 マルチフレームノイズ低減方法および端末

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6376618

(24)【登録日】2018年8月3日

(45)【発行日】2018年8月22日

(54)【発明の名称】マルチフレームノイズ低減方法および端末

(51)【国際特許分類】

   H04N 5/232 20060101AFI20180813BHJP

   G06T 5/50 20060101ALI20180813BHJP

   G06T 5/20 20060101ALI20180813BHJP

【ＦＩ】

   H04N5/232 290

   G06T5/50

   G06T5/20

【請求項の数】9

【全頁数】22

(21)【出願番号】特願2016-559560(P2016-559560)

(86)(22)【出願日】2014年5月15日

(65)【公表番号】特表2017-516358(P2017-516358A)

(43)【公表日】2017年6月15日

(86)【国際出願番号】CN2014077599

(87)【国際公開番号】WO2015172366

(87)【国際公開日】20151119

【審査請求日】2016年9月28日

(73)【特許権者】

【識別番号】503433420

【氏名又は名称】華為技術有限公司

【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】100146835

【弁理士】

【氏名又は名称】佐伯 義文

(74)【代理人】

【識別番号】100140534

【弁理士】

【氏名又は名称】木内 敬二

(72)【発明者】

【氏名】朱 ▲聡▼超

(72)【発明者】

【氏名】▲鄭▼ 祖全

(72)【発明者】

【氏名】▲羅▼ 巍

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 特開２００７−２０８７０４（ＪＰ，Ａ）

【文献】 中国特許出願公開第１０３６８５９５１（ＣＮ，Ａ）

【文献】 特開２０１２−２３１４０６（ＪＰ，Ａ）

【文献】 特開２０１３−０６２６２６（ＪＰ，Ａ）

【文献】 Toni Buades, Yifei Lou, J.M.Morel and Zhongwei Tang，A note on multi-image denosing，LOCAL AND NON-LOCAL APPROXIMATION IN IMAGE PROCESSING, 2009，フィンランド，２００９年 ８月１９日，p.1-15

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ５／２０

Ｇ０６Ｔ ５／５０

(57)【特許請求の範囲】

【請求項1】

マルチフレームノイズ低減方法であって、
同じシーンをK回連続的に撮影するために、端末においてM個のカメラを使用するステップであって、M≧2、K≧2であり、前記M個のカメラの各々は、各撮影時において、1つのフレームの画像を同時に収集する、使用するステップと、
前記K回の撮影時に取得された画像における位置決めを実行するステップと、
前記位置決めされた画像に対して時間的および空間的なフィルタリングを実行するステップと、を備え、
前記M個のカメラは同じ平面にあり、
前記K回の撮影時に取得された画像における位置決めを実行する前記ステップの前に、前記方法はさらに、
前記K回の各撮影時において撮影されたM個のフレームの画像間の移動量を獲得するステップと、
前記移動量に従って、前記M個のフレームの画像の位置決めをするステップと、
前記位置決めされたM個のフレームの画像に従って、1つのフレームの合成画像を生成するステップとを備え、
前記K回の撮影時に取得された画像における位置決めを実行する前記ステップは、
K個のフレームの位置決めされた画像を決定するように、前記K回の撮影に対応するK個のフレームの合成画像における位置決めを実行するステップを備え、
前記位置決めされた画像に対して時間的および空間的なフィルタリングを実行する前記ステップは、
前記K個のフレームの位置決めされた画像に対して時間的および空間的なフィルタリングを実行するステップを備え、
前記位置決めされたM個のフレームの画像に従って、1つのフレームの合成画像を生成する前記ステップは、
前記M個のカメラ間の視差によって引き起こされた、対応するピクセルにおいて前記位置決めされたM個のフレームの画像間の差分を除去するように、前記位置決めされたM個のフレームの画像に対して視差補正を実行するステップと、
視差補正後に取得された前記M個のフレームの画像の、前記対応するピクセルにおけるピクセル値に従って、前記合成画像の、前記対応するピクセルにおけるピクセル値を生成するステップとを備え、
前記位置決めされたM個のフレームの画像に対して視差補正を実行する前記ステップは、
ベンチマーク画像を除く前記位置決めされたM個のフレームの画像におけるj番目のフレームの画像の対応するピクセルにおけるピクセル値と、前記ベンチマーク画像のそのピクセル値と間の差分が、あらかじめ設定されたしきい値よりも大きい場合、前記j番目のフレームの画像の、前記対応するピクセルにおける前記ピクセル値をリプレースするために、前記ベンチマーク画像の、前記対応するピクセルにおける前記ピクセル値を使用し、そうではない場合、前記j番目のフレームの画像の、前記対応するピクセルにおける前記ピクセル値を、変えずに維持するステップを備え、前記ベンチマーク画像は、前記位置決めされたM個のフレームの画像におけるフレームの画像であり、jは、1からM-1までの値が付される、方法。

【請求項2】

前記M個のカメラは、第1のカメラおよび第2のカメラを備え、各回において撮影された前記M個のフレームの画像は、前記第1のカメラおよび前記第2のカメラにそれぞれ対応する第1の画像および第2の画像を備え、
前記K回の各撮影時において撮影されたM個のフレームの画像間の移動量を獲得する前記ステップは、
前記第1の画像と前記第2の画像との間の移動量を獲得するステップを備え、
前記移動量に従って、前記M個のフレームの画像の位置決めをする前記ステップは、
前記第1の画像を基準画像として選択するステップと、
前記移動量に従って、前記第2の画像における移動操作を実行し、前記第1の画像および前記第2の画像の共通の画像領域を決定するステップとを備える、請求項１に記載の方法。

【請求項3】

前記第1の画像と前記第2の画像との間の移動量を獲得する前記ステップは、
L=(f×(t/d))/uに基づいて前記移動量を取得するステップを備え、
Lは、前記第1の画像と前記第2の画像との間の前記移動量であり、fは、前記第1のカメラまたは前記第2のカメラの焦点距離であり、tは、前記第1のカメラのレンズと前記第2のカメラのレンズとの光学中心間の距離であり、dは、前記第1の画像のピクセルサイズであり、前記第1の画像の前記ピクセルサイズは、前記第2の画像のピクセルサイズと同じであり、uは、被写界深度である、請求項２に記載の方法。

【請求項4】

前記位置決めされた画像に対して時間的および空間的なフィルタリングを実行する前記ステップの前に、前記方法はさらに、
前記位置決めされた画像におけるゴースト除去を実行するステップを備える、請求項１から３のいずれか一項に記載の方法。

【請求項5】

K=3である、請求項１から４のいずれか一項に記載の方法。

【請求項6】

端末であって、
同じシーンをK回連続的に撮影するように構成されたM個のカメラであって、M≧2、K≧2であり、前記M個のカメラの各々は、各撮影時において、1つのフレームの画像を同時に収集する、カメラと、
前記M個のカメラに接続され、前記K回の撮影時に取得された画像に対して位置決めを実行し、前記位置決めされた画像に対して時間的および空間的なフィルタリングを実行するように構成されたプロセッサと、を備え、
前記M個のカメラは同じ平面にあり、
前記K回の撮影時に取得された前記画像に対して位置決めを実行する前に、前記プロセッサはさらに、
前記K回の各撮影時において撮影されたM個のフレームの画像間の移動量を獲得し、
前記移動量に従って、前記M個のフレームの画像の位置決めをし、
前記位置決めされたM個のフレームの画像に従って、1つのフレームの合成画像を生成するように構成され、
前記K回の撮影時に取得された画像における位置決めを実行し、前記位置決めされた画像に対して時間的および空間的なフィルタリングを実行することは、
K個のフレームの位置決めされた画像を決定するように、前記K回の撮影に対応するK個のフレームの合成画像における位置決めを実行することと、
前記K個のフレームの位置決めされた画像に対して時間的および空間的なフィルタリングを実行することとを備え、
前記プロセッサがさらに、前記位置決めされたM個のフレームの画像に従って、1つのフレームの合成画像を生成するように構成されていることは、前記プロセッサがさらに、
前記M個のカメラ間の視差によって引き起こされた、対応するピクセルにおいて前記位置決めされたM個のフレームの画像間の差分を除去するように、前記位置決めされたM個のフレームの画像に対して視差補正を実行し、
視差補正後に取得された前記M個のフレームの画像の、前記対応するピクセルにおけるピクセル値に従って、前記合成画像の、前記対応するピクセルにおけるピクセル値を生成するように構成されていることを備え、
前記プロセッサがさらに、前記位置決めされたM個のフレームの画像に対して視差補正を実行するように構成されることは、前記プロセッサがさらに、
ベンチマーク画像を除く前記位置決めされたM個のフレームの画像におけるj番目のフレームの画像の対応するピクセルにおけるピクセル値と、前記ベンチマーク画像のそのピクセル値と間の差分が、あらかじめ設定されたしきい値よりも大きい場合、前記j番目のフレームの画像の、前記対応するピクセルにおける前記ピクセル値をリプレースするために、前記ベンチマーク画像の、前記対応するピクセルにおける前記ピクセル値を使用し、そうではない場合、前記j番目のフレームの画像の、前記対応するピクセルにおける前記ピクセル値を、変えずに維持するように構成されることを備え、前記ベンチマーク画像は、前記位置決めされたM個のフレームの画像におけるフレームの画像であり、jは、1からM-1までの値が付される、端末。

【請求項7】

前記M個のカメラは、第1のカメラおよび第2のカメラを備え、各回において撮影された前記M個のフレームの画像は、前記第1のカメラおよび前記第2のカメラにそれぞれ対応する第1の画像および第2の画像を備え、
前記プロセッサがさらに前記K回の各撮影時において撮影されたM個のフレームの画像間の移動量を獲得するように構成されていることは、
前記プロセッサがさらに、前記第1の画像と前記第2の画像との間の移動量を獲得するように構成されていることを備え、
前記プロセッサがさらに、前記移動量に従って、前記M個のフレームの画像の位置決めをするように構成されていることは、前記プロセッサがさらに、
前記第1の画像を基準画像として選択し、
前記移動量に従って、前記第2の画像における移動操作を実行し、前記第1の画像および前記第2の画像の共通の画像領域を決定するように構成されていることを備える、請求項６に記載の端末。

【請求項8】

前記プロセッサがさらに前記第1の画像と前記第2の画像との間の移動量を獲得するように構成されていることは、前記プロセッサがさらに
L=(f×(t/d))/uに基づいて前記移動量を取得するように構成されていることを備え、
Lは、前記第1の画像と前記第2の画像との間の前記移動量であり、fは、前記第1のカメラまたは前記第2のカメラの焦点距離であり、tは、前記第1のカメラのレンズと前記第2のカメラのレンズとの光学中心間の距離であり、dは、前記第1の画像のピクセルサイズであり、前記第1の画像の前記ピクセルサイズは、前記第2の画像のピクセルサイズと同じであり、uは、被写界深度である、請求項７に記載の端末。

【請求項9】

前記位置決めされた画像に対して時間的および空間的なフィルタリングを実行する前に、前記プロセッサはさらに、
前記位置決めされた画像におけるゴースト除去を実行するように構成された、請求項６から８のいずれか一項に記載の端末。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像処理分野に関し、さらに詳しくは、マルチフレームノイズ低減方法および端末に関する。

【背景技術】

【0002】

端末のレンズとセンサとはともに、端末の大きさおよびコストによって制限され、エリアが比較的小さく、撮影された画像は、比較的貧弱な品質しか有しない。夜景または低照度環境では、弱い光のために、撮影された画像は、さらに劣悪な品質を有する。

【0003】

端末の撮影効果を向上させるために、マルチフレームノイズ低減技術が、徐々に、端末の画像処理へ適用されている。特に、先ず、同じシーンが複数回数撮影されて、複数のフレームの画像を取得する。その後、異なる位置において異なる画像ノイズが生成される特徴を利用して、複数のフレームの画像が1つのフレームの画像へ合成されることによりノイズ低減の目標を達成する。

【0004】

マルチフレームノイズ低減技術は、単一のカメラを使用することによって、連続的な撮影により複数のフレームの画像が収集されることを必要とする。しかしながら、複数のフレームの画像が収集される時間インタバルは、端末の最大フレームレートによって制限され、通常、比較的長い。この時間インタバル内で、ハンドヘルド端末によって実行されている撮影中に手振れが生じると、収集された複数のフレームの画像によって合成される画像が、不鮮明になり得る。

【発明の概要】

【課題を解決するための手段】

【0005】

本発明の実施形態は、マルチフレームノイズ低減後に取得された合成画像の品質を向上させるための端末を提供する。

【0006】

第1の態様に従って、同じシーンをK回連続的に撮影するように構成されたM個のカメラであって、M≧2、K≧2であり、M個のカメラの各々は、各撮影時において、1つのフレームの画像を同時に収集する、カメラと、M個のカメラに接続され、K回の撮影時に取得された画像に対して位置決めを実行し、位置決めされた画像に対して時間的および空間的なフィルタリングを実行するように構成されたプロセッサと、を含む端末が提供される。

【0007】

第1の態様を参照して示すように、第1の態様の実施方式において、M個のカメラは同じ平面にあり、K回の撮影時に取得された画像における位置決めを実行する前に、プロセッサはさらに、K回の各撮影時において撮影されたM個のフレームの画像間の移動量を獲得し、移動量に従って、M個のフレームの画像を位置決めし、位置決めされたM個のフレームの画像に従って、1つのフレームの合成画像を生成するように構成され、K回の撮影時に取得された画像に対して位置決めを実行し、位置決めされた画像に対して時間的および空間的なフィルタリングを実行することは、K個のフレームの位置決めされた画像を決定するように、K回の撮影に対応するK個のフレームの合成画像に対する位置決めを実行することと、K個のフレームの位置決めされた画像に対して時間的および空間的なフィルタリングを実行することと、を含む。

【0008】

第1の態様、または、第1の態様の前述した実施方式のうちのいずれかを参照して示すように、第1の態様の別の実施方式において、M個のカメラは、第1のカメラおよび第2のカメラを含み、各回において撮影されたM個のフレームの画像は、第1のカメラおよび第2のカメラにそれぞれ対応する第1の画像および第2の画像を含み、プロセッサがさらにK回の各撮影時において撮影されたM個のフレームの画像間の移動量を獲得するように構成されていることは、プロセッサがさらに、第1の画像と第2の画像との間の移動量を獲得するように構成されていることを含み、プロセッサがさらに移動量に従って、M個のフレームの画像の位置決めをするように構成されていることは、プロセッサがさらに、第1の画像を基準画像として選択し、移動量に従って、第2の画像における移動操作を実行し、第1の画像および第2の画像の共通の画像領域を決定するように構成されていることを含む。

【0009】

第1の態様、または、第1の態様の前述した実施方式のいずれかを参照して示すように、第1の態様の別の実施方式において、プロセッサがさらに第1の画像と第2の画像との間の移動量を獲得するように構成されていることは、プロセッサがさらに、L=(f×(t/d))/uに基づいて移動量を取得するように構成されていることを含み、Lは、第1の画像と第2の画像との間の移動量であり、fは、第1のカメラまたは第2のカメラの焦点距離であり、tは、第1のカメラのレンズと第2のカメラのレンズとの光学中心間の距離であり、dは、第1の画像のピクセルサイズであり、第1の画像のピクセルサイズは、第2の画像のピクセルサイズと同じであり、uは、被写界深度である。

【0010】

第1の態様、または、第1の態様の前述した実施方式のうちのいずれかを参照して示すように、第1の態様の別の実施方式において、プロセッサがさらに、位置決めされたM個のフレームの画像に従って、1つのフレームの合成画像を生成するように構成されていることは、プロセッサがさらに、M個のカメラ間の視差によって引き起こされた、対応するピクセルにおいて位置決めされたM個のフレームの画像間の差分を除去するように、位置決めされたM個のフレームの画像に対して視差補正を実行し、視差補正後に取得されたM個のフレームの画像の、対応するピクセルにおけるピクセル値に従って、合成画像の、対応するピクセルにおけるピクセル値を生成するように構成されていることを含む。

【0011】

第1の態様、または、第1の態様の前述した実施方式のうちのいずれかを参照して示すように、第1の態様の別の実施方式において、プロセッサがさらに位置決めされたM個のフレームの画像に対して視差補正を実行するように構成されていることは、プロセッサがさらに、ベンチマーク画像を除く位置決めされたM個のフレームの画像におけるj番目のフレームの画像の対応するピクセルにおけるピクセル値と、ベンチマーク画像のそのピクセル値と間の差分が、あらかじめ設定されたしきい値よりも大きい場合、j番目のフレームの画像の、対応するピクセルにおけるピクセル値をリプレースするために、ベンチマーク画像の、対応するピクセルにおけるピクセル値を使用し、そうではない場合、j番目のフレームの画像の、対応するピクセルにおけるピクセル値を、変えずに維持するように構成されていることを含み、ベンチマーク画像は、位置決めされたM個のフレームの画像におけるフレームの画像であり、jは、1からM-1までの値が付される。

【0012】

第1の態様、または、第1の態様の前述した実施方式のうちのいずれかを参照して示すように、第1の態様の別の実施方式において、位置決めされた画像に対して時間的および空間的なフィルタリングを実行する前に、プロセッサはさらに、位置決めされた画像におけるゴースト除去を実行するように構成される。

【0013】

第1の態様、または、第1の態様の前述した実施方式のうちのいずれかを参照して示すように、第1の態様の別の実施方式において、K=3である。

【0014】

第2の態様に従って、同じシーンをK回連続的に撮影するために、端末においてM個のカメラを使用するステップであって、M≧2、K≧2であり、M個のカメラの各々は、各撮影時において、1つのフレームの画像を同時に収集する、使用するステップと、K回の撮影時に取得された画像における位置決めを実行するステップと、位置決めされた画像に対して時間的および空間的なフィルタリングを実行するステップと、を含むマルチフレームノイズ低減方法が提供される。

【0015】

第2の態様を参照して示すように、第2の態様の実施方式において、M個のカメラは同じ平面にあり、K回の撮影時に取得された画像における位置決めを実行するステップの前に、この方法はさらに、K回の各撮影時において撮影されたM個のフレームの画像間の移動量を獲得するステップと、移動量に従って、M個のフレームの画像の位置決めをするステップと、位置決めされたM個のフレームの画像に従って、1つのフレームの合成画像を生成するステップとを含み、K回の撮影時に取得された画像における位置決めを実行するステップは、位置決めされたK個のフレームの画像を決定するように、K回の撮影に対応するK個のフレームの合成画像における位置決めを実行するステップを含み、位置決めされた画像に対して時間的および空間的なフィルタリングを実行するステップは、K個のフレームの位置決めされた画像に対して時間的および空間的なフィルタリングを実行するステップを含む。

【0016】

第2の態様、または、第2の態様の前述した実施方式のうちのいずれかを参照して示すように、第2の態様の別の実施方式において、M個のカメラは、第1のカメラおよび第2のカメラを含み、各回において撮影されたM個のフレームの画像は、第1のカメラおよび第2のカメラにそれぞれ対応する第1の画像および第2の画像を含み、K回の各撮影時において撮影されたM個のフレームの画像間の移動量を獲得するステップは、第1の画像と第2の画像との間の移動量を獲得するステップを含み、移動量に従って、M個のフレームの画像の位置決めをするステップは、第1の画像を基準画像として選択し、移動量に従って、第2の画像における移動操作を実行し、第1の画像および第2の画像の共通の画像領域を決定するステップを含む。

【0017】

第2の態様、または、第2の態様の前述した実施方式のいずれかを参照して示すように、第2の態様の別の実施方式において、第1の画像と第2の画像との間の移動量を獲得するステップは、L=(f×(t/d))/uに基づいて移動量を取得するステップを含み、Lは、第1の画像と第2の画像との間の移動量であり、fは、第1のカメラまたは第2のカメラの焦点距離であり、tは、第1のカメラのレンズと第2のカメラのレンズとの光学中心間の距離であり、dは、第1の画像のピクセルサイズであり、第1の画像のピクセルサイズは、第2の画像のピクセルサイズと同じであり、uは、被写界深度である。

【0018】

第2の態様、または、第2の態様の前述した実施方式のうちのいずれかを参照して示すように、第2の態様の別の実施方式において、位置決めされたM個のフレームの画像に従って、1つのフレームの合成画像を生成するステップは、M個のカメラ間の視差によって引き起こされた、対応するピクセルにおいて位置決めされたM個のフレームの画像間の差分を除去するように、位置決めされたM個のフレームの画像に対して視差補正を実行するステップと、視差補正後に取得されたM個のフレームの画像の、対応するピクセルにおけるピクセル値に従って、合成画像の、対応するピクセルにおけるピクセル値を生成するステップと、を含む。

【0019】

第2の態様、または、第2の態様の前述した実施方式のうちのいずれかを参照して示すように、第2の態様の別の実施方式において、位置決めされたM個のフレームの画像に対して視差補正を実行するステップは、ベンチマーク画像を除く位置決めされたM個のフレームの画像におけるj番目のフレームの画像の対応するピクセルにおけるピクセル値と、ベンチマーク画像のそのピクセル値と間の差分が、あらかじめ設定されたしきい値よりも大きい場合、j番目のフレームの画像の、対応するピクセルにおけるピクセル値をリプレースするために、ベンチマーク画像の、対応するピクセルにおけるピクセル値を使用し、そうではない場合、j番目のフレームの画像の、対応するピクセルにおけるピクセル値を、変えずに維持するステップを含み、ベンチマーク画像は、位置決めされたM個のフレームの画像におけるフレームの画像であり、jは、1からM-1までの値が付される。

【0020】

第2の態様、または、第2の態様の前述した実施方式のうちのいずれかを参照して示すように、第2の態様の別の実施方式において、位置決めされた画像に対して時間的および空間的なフィルタリングを実行するステップの前に、この方法はさらに、位置決めされた画像におけるゴースト除去を実行するステップを含む。

【0021】

第2の態様、または、第2の態様の前述した実施方式のうちのいずれかを参照して示すように、第2の態様の別の実施方式において、K=3である。

【0022】

第3の態様に従って、同じシーンをK回連続的に撮影するように構成されたM個のカメラであって、M≧2、K≧2であり、M個のカメラの各々は、各撮影時において、1つのフレームの画像を同時に収集する、カメラと、K回の撮影時にM個のカメラによって取得された画像における位置決めを実行するように構成された第1の位置決めモジュールと、第1の位置決めモジュールによって位置決めされた画像に対して時間的および空間的なフィルタリングを実行するように構成された時間的および空間的なフィルタリングモジュールと、を含む端末が提供される。

【0023】

第3の態様を参照して示すように、第3の態様の実施方式において、M個のカメラは同じ平面にあり、端末はさらに、K回の各撮影時において撮影されたM個のフレームの画像間の移動量を獲得し、移動量に従って、M個のフレームの画像の位置決めを行うように構成された第2の位置決めモジュールと、第2の位置決めモジュールによって位置決めされたM個のフレームの画像に従って、1つのフレームの合成画像を生成するように構成された合成モジュールとを含み、第1の位置決めモジュールは特に、K個のフレームの位置決めされた画像を決定するように、K回の撮影に対応するK個のフレームの合成画像における位置決めを実行するように構成され、時間的および空間的なフィルタリングモジュールは特に、K個のフレームの位置決めされた画像に対して時間的および空間的なフィルタリングを実行するように構成される。

【0024】

第3の態様、または、第3の態様の前述した実施方式のうちのいずれかを参照して示すように、第3の態様の別の実施方式において、M個のカメラは、第1のカメラおよび第2のカメラを含み、各回において撮影されるM個のフレームの画像は、第1のカメラおよび第2のカメラにそれぞれ対応する第1の画像および第2の画像を含み、第2の位置決めモジュールは特に、第1の画像と第2の画像との間の移動量を獲得し、第1の画像を基準画像として選択し、移動量に従って、第2の画像における移動操作を実行して、第1の画像および第2の画像の共通の画像領域を決定するように構成される。

【0025】

第3の態様、または、第3の態様の前述した実施方式のいずれかを参照して示すように、第3の態様の別の実施方式において、第2の位置決めモジュールは特に、L=(f×(t/d))/uに基づいて移動量を取得するように構成され、Lは、第1の画像と第2の画像との間の移動量であり、fは、第1のカメラまたは第2のカメラの焦点距離であり、tは、第1のカメラのレンズと第2のカメラのレンズとの光学中心間の距離であり、dは、第1の画像のピクセルサイズであり、第1の画像のピクセルサイズは、第2の画像のピクセルサイズと同じであり、uは、被写界深度である。

【0026】

第3の態様、または、第3の態様の前述した実施方式のうちのいずれかを参照して示すように、第3の態様の別の実施方式において、合成モジュールは特に、M個のカメラ間の視差によって引き起こされた、対応するピクセルにおいて位置決めされたM個のフレームの画像間の差分を除去するように、位置決めされたM個のフレームの画像に対して視差補正を実行し、視差補正後に取得されたM個のフレームの画像の、対応するピクセルにおけるピクセル値に従って、合成画像の、対応するピクセルにおけるピクセル値を生成するように構成される。

【0027】

第3の態様、または、第3の態様の前述した実施方式のうちのいずれかを参照して示すように、第3の態様の別の実施方式において、合成モジュールは特に、ベンチマーク画像を除く位置決めされたM個のフレームの画像におけるj番目のフレームの画像の対応するピクセルにおけるピクセル値と、ベンチマーク画像のそのピクセル値と間の差分が、あらかじめ設定されたしきい値よりも大きい場合、j番目のフレームの画像の、対応するピクセルにおけるピクセル値をリプレースするために、ベンチマーク画像の、対応するピクセルにおけるピクセル値を使用し、そうではない場合、j番目のフレームの画像の、対応するピクセルにおけるピクセル値を、変えずに維持するように構成される。ベンチマーク画像は、位置決めされたM個のフレームの画像におけるフレームの画像であり、jは、1からM-1までの値が付される。

【0028】

第3の態様、または、第3の態様の前述した実施方式のうちのいずれかを参照して示すように、第3の態様の別の実施方式において、端末はさらに、位置決めされた画像におけるゴースト除去を実行するように構成されたゴースト除去モジュールを含む。

【0029】

第3の態様、または、第3の態様の前述した実施方式のうちのいずれかを参照して示すように、第3の態様の別の実施方式において、K=3である。

【0030】

本発明の実施形態において、複数のカメラが、端末に搭載される。複数のカメラは、各撮影時において、画像を同時に収集するので、特定の数の画像が端末によって収集される時間インタバルは、特定の数の画像が単一のカメラによって収集される時間インタバルよりも短く、時間インタバル内に手振れまたは目標物動きが発生する可能性もまた、それに従って、減少する。したがって、合成された画像は、より良好な品質を有する。

【0031】

本発明の実施形態における技術的解決策をより明確に記述するために、以下は、本発明の実施形態を記述するために必要とされる添付図面を簡潔に記述する。明らかに、以下の記述における添付図面は、単に本発明のいくつかの実施形態しか図示しておらず、当業者であれば、創造的な努力なく、依然としてこれら添付図面から他の図面を導出し得る。

【図面の簡単な説明】

【0032】

【図1】本発明の実施形態に従う端末の概要ブロック図である。

【図2】本発明の実施形態に従うマルチフレームノイズ低減方法の概要フローチャートである。

【図3】本発明の実施形態に従うマルチフレームノイズ低減方法のフローチャートである。

【図4】本発明の実施形態に従うマルチフレームノイズ低減方法の概要フローチャートである。

【図5】本発明の実施形態に従う端末の概要ブロック図である。

【図6】オリジナル画像と、本発明の実施形態に従うマルチフレームノイズ低減方法を使用することによって取得された合成画像との比較図である。

【発明を実施するための形態】

【0033】

以下は、本発明の実施形態における添付図面を参照して本発明の実施形態における技術的解決策を明確に記述する。明らかに、記述された実施形態は、本発明の実施形態のすべてではなく一部である。創造的な努力なく本発明の実施形態に基づいて当業者によって取得される他のすべての実施形態は、本発明の保護範囲内にあるものとする。

【0034】

図1は、本発明の実施形態に従う端末の概要ブロック図である。図1における端末10は、以下を含む。

【0035】

同じシーンをK回連続的に撮影するように構成されたM個のカメラ11。M≧2、K≧2であり、M個のカメラの各々は、各撮影時において、1つのフレームの画像を同時に収集する。
M個のカメラ11に接続され、K回の撮影時に取得された画像に対して位置決めを実行し、位置決めされた画像に対して時間的および空間的なフィルタリングを実行するように構成されたプロセッサ12。

【0036】

本発明のこの実施形態では、複数のカメラが端末に搭載される。複数のカメラは、各撮影時において、画像を同時に収集するので、特定の数の画像が端末によって収集される時間インタバルは、特定の数の画像が単一のカメラによって収集される時間インタバルよりも短く、時間インタバル内に手振れまたは目標物動きが発生する可能性もまた、それに従って、減少する。したがって、合成画像は、単一のカメラによって連続的な撮影により収集された複数のフレームの画像によって合成された画像と比較して、より良好な品質を有する。それに加えて、この方式はまた、後続するマルチフレームノイズ低減処理中のゴースト現象の発生の可能性をある程度低減する。さらに、連続的な撮影工程中に、たとえ手振れまたはシーンにおける目標物動きが発生しても、各撮影時における画像収集中の複数のカメラの同期によって、手振れまたは目標物動きのような現象は、複数のカメラに一貫した影響を有する。これは、連続的に撮影された画像の、同じ瞬間に撮影された画像に、ゴースト現象が存在しないことをソースにおいて保証する。したがって、最終的に取得される画像におけるゴースト現象の深刻さをある程度低減する。

【0037】

オプションで、実施形態において、位置決めされた画像に対して時間的および空間的なフィルタリングを実行する前に、プロセッサ12はさらに、位置決めされた画像におけるゴースト除去を実行するように構成され得る。撮影シーンが動きシーンである場合、ゴースト除去は、位置決めされた画像に対して実行され、たとえば、動いている目標物が、検出され、画像間で除去され得る。詳細に関しては、既存のゴースト除去アルゴリズムを参照されたい。固定シーンが撮影された場合、ゴースト除去処理は実行されないことがあり得る。位置決めされた画像に対してゴースト除去を実行することは、動いている目標物が、撮影中に撮影シーンに侵入してきた場合に発生するゴーストを効果的に回避し、これによって、撮影画像の品質を向上させる。

【0038】

MおよびKの値は、本発明のこの実施形態では特に限定されておらず、たとえば、Mは2、3、6等であり得、Kは2、3、4等であり得ることが理解されるべきである。特に、カメラの数と端末コストの関係が、Mの選択のために考慮され得る。カメラの数がより多くなると、結果として、対応する端末コストがより高額になり、複数のフレームの画像が撮影される時間インタバルがより短くなる。実際上、Mは2に設定され得る。連続的に撮影された画像の数と、これら画像を撮影するために必要とされる時間インタバルとの間の関係は、Kの選択のために考慮され得る。実際上、Kは3に設定され得る。

【0039】

M個のカメラ11の各々が、各撮影時において1つのフレームの画像を同時に収集することは特に、各撮影時に、M個のカメラ11の各カメラが、1つのフレームの画像を収集し、合計してM個のフレームの画像が収集され、それに加えて、M個のフレームの画像を収集するための時間が同じであることを意味する。

【0040】

プロセッサ12は、画像信号処理(Image Signal Processing, ISP)装置であり得るか、または、中央処理装置(Central Processing Unit, CPU)であり得るか、または、ISP装置を含むのみならず、CPUをも含み得、すなわち、前述したプロセッサの機能が、ISP装置およびCPUによって連携して完了され得る。

【0041】

プロセッサ12の処理工程は、本発明のこの実施形態では特に限定されていないことが理解されるべきである。オプションで、実施形態では、動き推定および位置決めが先ず、K回の撮影時に撮影された画像に対して、カメラジッタモデルを使用することによって実行され得る。あるいは、動き推定および位置決めは、SURF特徴ポイントマッチングおよびHomography行列に基づいて実行され得る。その後、時間的なノイズ低減後に生成された1つのフレームの画像を取得するために、先ず、位置決めされた画像に対して、時間的なフィルタリングが実行され得る。そして、最終的な処理結果を取得してユーザへ提示するために、画像に対してさらに、空間的なフィルタリングが実行される。または、空間的なフィルタリングが、位置決めされた画像に対して個別に実行され、最終的な処理結果を得るために、空間的なフィルタリング後に取得された画像が、時間的なフィルリング方式で合成される。

【0042】

画像の時間的および空間的なフィルタリングノイズ低減については、従来技術を参照されたい。特に、画像の時間的なフィルタリングは、複数のフレームの画像間の時間的な相関を使用することによって、複数のフレームの画像の対応するピクセルに対してフィルタリングが実行されることを意味し得る。たとえば、連続的に撮影された複数のフレームの画像の、対応するピクセルにおけるピクセル値の平均値または中央値が計算されるか、または、時間的な無限インパルス応答(Infinite Impulse Response, IIR)フィルタを使用することによってフィルタリングが実行される。空間的なフィルタリングは、画像のピクセル間の空間的な相関を使用することによって、フレームの画像のピクセルに対してフィルタリングが実行されることを意味し得る。たとえば、第一に、空間的なテンプレート(または、空間フィルタと称される)が、画像内をロームし、テンプレートの中心が、画像のピクセルの位置と一致する。第二に、テンプレートにおける係数と、画像における対応するピクセル値とが乗じられる。第三に、すべての積が加算される。第四に、加算の総和が、テンプレートの出力応答として使用され、テンプレートの中心位置に対応するピクセルへ割り当てられる。空間フィルタは、産業界における古典的な双方向フィルタ(Bilateral Filter)または非ローカルミーンズフィルタ(Non-local Means Filter)のようなフィルタを使用し得る。

【0043】

オプションで、実施形態では、M個のカメラが、同じ平面にあり、プロセッサ12の特定の処理工程は以下の通りであり得る。

【0044】

210。K回の各撮影時において撮影されたM個のフレームの画像間の移動量を獲得する。

【0045】

220。移動量に従って、M個のフレームの画像の位置決めをする。

【0046】

たとえば、M個のカメラは2つのカメラ、すなわち、第1のカメラおよび第2のカメラを含み、各回において撮影されたM個のフレームの画像は、第1のカメラおよび第2のカメラにそれぞれ対応する第1の画像および第2の画像を含む。ステップ210は、第1の画像と第2の画像との間の移動量を獲得するステップを含み得る。ステップ220は、第1の画像を基準画像として選択するステップと、第2の画像に対して移動操作を実行して、第1の画像および第2の画像の共通の画像領域を決定するステップとを含み得る。

【0047】

2つのカメラが同じ平面にあるので、2つのカメラの光学軸が平行であり、相対的な設置位置は、固定され、すでに知られている。したがって、第1の画像と第2の画像との間の移動量が、すでに知られている相対的な位置に従って計算され得る。すなわち、移動量が、画像が撮影される前に先行して計算され得る。本明細書において、移動量は、以下の方式で取得され得る。

【0048】

第1の方式
移動量は、L=(f×(t/d))/uを使用することによって取得される。
Lは、第1の画像と第2の画像との間の移動量であり、fは、第1のカメラまたは第2のカメラの焦点距離であり、tは、2つのカメラのレンズの光学中心間の距離であり、dは、第1の画像のピクセルサイズであり、第1の画像のピクセルサイズは、第2の画像のピクセルサイズと同じであり、uは、被写界深度である。

【0049】

第1のカメラの焦点距離は、第2のカメラの焦点距離と同じであり得る。または、第1のカメラの焦点距離は、第2のカメラの焦点距離と異なり得る。

【0050】

第2の方式
通常、t、f、およびdの実際の値と、理論値との間には誤差があるので、第1の画像と第2の画像との間の移動量はまた、特に以下のような以下の較正方法を使用することによって計算され得る。

【0051】

第1の画像および第2の画像を収集する場合、第1のカメラおよび第2のカメラは、チェッカボードを同時に収集し、その後、第1の画像に図示されるコンテンツと、第2の画像に図示されるコンテンツは、チェッカボードである。その後、移動量はさらに、第1の画像におけるチェッカボードと、第2の画像におけるチェッカボードとの間の差分に従って測定される。それに加えて、測定された移動量は、撮影モジュール設定テーブル(撮影モジュール設定テーブルは、ROMメモリ内に記憶され得る)へ書き込まれ、第1の画像と第2の画像との間の移動量は、この設定テーブルに基づいて、撮影中に読み取られる。

【0052】

この方法の利点は、実際の製品と理論的な設計との間の不一致、すなわち誤差が、大量生産による異なるデュアルカメラモジュールに存在する可能性があるので、工場配達の前に、各デュアルカメラモジュールに対して較正が実行され、これが画像変換の精度を向上し得る、という点にある。

【0053】

230。位置決めされたM個のフレームの画像に従って、1つのフレームの合成画像を生成する。

【0054】

オプションで、実施形態では、位置決めされたM個のフレームの画像の、対応するピクセルにおけるピクセル値が平均化され得る。そして、対応するピクセル値が平均化された後に取得された画像が、前述した合成画像として使用される。位置決めされたM個のフレームの画像の、対応するピクセルにおけるピクセル値を平均化するステップは、ランダムノイズを低減し得る。

【0055】

たとえば、M個のカメラは、2つのカメラ、すなわち、第1のカメラおよび第2のカメラを含み、各回において撮影されたM個のフレームの画像は、第1のカメラおよび第2のカメラにそれぞれ対応する第1の画像および第2の画像を含む。各撮影時に対応する、各ポイントにおける合成画像のピクセル値は、以下の式を使用することによって取得され得る。
I₁₂(x,y)=(I₁(x,y)+I₂(x,y))/2
I₁(x,y)およびI₂(x,y)は各撮影時に収集された第1の画像および第2の画像のそれぞれのポイント(x,y)におけるピクセル値であり、I₁₂(x,y)は、この撮影時に対応する、ポイント(x,y)における合成画像のピクセル値である。

【0056】

画像合成は、ステップ210乃至ステップ230に従って、各回において撮影されたM個のフレームの画像に対して実行され、合計してK個のフレームの合成画像が取得されることが注目されるべきである。それに加えて、各回において撮影されたM個のフレームの画像に対して画像合成を実行する工程は、同時に実行され得るか、または、連続的に実行され得る。これは、本発明のこの実施形態では特に限定されない。

【0057】

240。K個のフレームの位置決めされた画像を決定するように、K回の撮影に対応して、K個のフレームの合成画像に対して位置決めを実行する。

【0058】

オプションで、実施形態では、K個のフレームの合成画像の位置決めをするように、先ず、カメラジッタモデルを使用することによって、K個のフレームの合成画像に対して動き推定が実行され得る。あるいは、動き推定および位置決めが、SURF特徴ポイントマッチングおよびHomography行列に基づいて実行され得る。

【0059】

250。K個のフレームの位置決めされた画像に対して時間的および空間的なフィルタリングを実行する。

【0060】

K個のフレームの位置決めされた画像の時間的および空間的なフィルタリングノイズ低減については、従来技術を参照されたい。たとえば、先ず、時間的なノイズ低減後に生成されたフレームの画像を取得するために、K個のフレームの位置決めされた画像の、対応するピクセルにおけるピクセル値の平均値または中央値が計算されるか、または、時間的なIIRフィルタを使用することによってフィルタリングが実行され、その後、最終的な処理結果を得るように、時間的なノイズ低減後に生成された画像に対して、産業界における古典的な双方向フィルタまたは非ローカルミーンズフィルタのようなフィルタを使用ことによってフィルタリングが実行される。

【0061】

前述した技術的解決策では、同じ平面におけるM個のカメラの相対的な位置がすでに知られており、それに加えて、M個のカメラが、各撮影時における画像収集において同期を有しているので、各回においてM個のカメラによって撮影されたM個のフレームの画像間の動きベクトルは移動である。各回において撮影されたM個のフレームの画像間の移動量が獲得され、この移動量を使用することによって位置決めが実行される。これは、従来のマルチフレームノイズ低減アルゴリズムにおける、複雑な動き推定モデルに基づく位置決めアルゴリズムと比べて、マルチフレームノイズ低減アルゴリズムを高速化し、マルチフレームノイズ低減アルゴリズムの精度を向上し得る。

【0062】

オプションで、実施形態では、ステップ230は、M個のカメラ間の視差によって引き起こされた、対応するピクセルにおいて位置決めされたM個のフレームの画像間の差分を除去するように、位置決めされたM個のフレームの画像に対して視差補正を実行するステップと、視差補正後に取得されたM個のフレームの画像の、対応するピクセルにおけるピクセル値に従って、合成画像の、対応するピクセルにおけるピクセル値を生成するステップと、を含み得る。近い目標物または遠い目標物だけがシーンに存在する場合、ステップは実行されないことがあり得る。近い目標物および遠い目標物がシーン内に同時に存在する場合、異なるカメラが異なる視野を有するので、異なるカメラ間に視差が存在し得る。そして、画像品質はさらに、視差を除去することによって向上され得る。

【0063】

特に、位置決めされたM個のフレームの画像において視差補正を実行する前述したステップは、ベンチマーク画像を除く位置決めされたM個のフレームの画像におけるj番目のフレームの画像の対応するピクセルにおけるピクセル値と、ベンチマーク画像のそのピクセル値と間の差分が、あらかじめ設定されたしきい値よりも大きい場合、j番目のフレームの画像の、対応するピクセルにおけるピクセル値をリプレースするために、ベンチマーク画像の、対応するピクセルにおけるピクセル値を使用し、そうではない場合、j番目のフレームの画像の、対応するピクセルにおけるピクセル値を、変えずに維持するステップを含み得る。ベンチマーク画像は、位置決めされたM個のフレームの画像におけるフレームの画像であり、jは、1からM-1までの値が付される。位置決めされたM個のフレームの画像におけるフレームの画像は、前述したベンチマーク画像として選択され得ることが理解されるべきであり、たとえば、位置決めされたM個のフレームの画像における第1のフレームの画像は、前述したベンチマーク画像として選択され得る。

【0064】

たとえば、M個のカメラは、2つのカメラ、すなわち第1のカメラと第2のカメラとを含み、毎回撮影されるM個のフレームの画像は、第1のカメラおよび第2のカメラにそれぞれ対応する第1の画像および第2の画像を含む。I₁(x,y)およびI₂(x,y)は、位置決めされた第1の画像および第2の画像のそれぞれの、ポイント(x,y)におけるピクセル値である。第1の画像は、ベンチマーク画像として使用され、第2の画像の、ポイント(x,y)におけるピクセル値は、以下の式によって決定され得る。

【0065】

【数1】

【0066】

Tはあらかじめ設定されたしきい値であり、このしきい値は、経験に従って選択され得るか、または、本発明のこの実施形態では特に限定されない適応性のあるしきい値を使用し得る。

【0067】

以下は、本発明の実施形態におけるマルチフレームノイズ低減方法を、特定の例を参照してより詳細に記述する。図3における例は、本発明のこの実施形態を、例に図示された特定の値または特定のシナリオに限定することなく、単に、当業者が、本発明のこの実施形態を理解することを支援することが意図されているだけであることに注目されるべきである。当業者は、確かに、図3にリストされた例に従って、さまざまな等価な修正または変更を行い得る。これらもまた、本発明の実施形態の保護範囲内にある。

【0068】

図3は、本発明の実施形態に従うマルチフレームノイズ低減方法の概要フローチャートである。図3における実施形態では、2つのカメラ(カメラ11aおよびカメラ11b)が同じ平面における端末10に搭載され、合計して3回の撮影を連続的に実行し、したがって、6つのフレームの画像を取得する。

【0069】

先ず、カメラ11aおよびカメラ11bは、第1の撮影時に、第1のフレームの画像と第2のフレームの画像とをそれぞれ収集し、カメラ11aおよびカメラ11bは、第2の撮影時に、第3のフレームの画像と第4のフレームの画像とをそれぞれ収集し、カメラ11aおよびカメラ11bは、第3の撮影時に、第5のフレームの画像と第6のフレームの画像とをそれぞれ収集する。本明細書において、第1のフレームの画像、第3のフレームの画像、および第5のフレームの画像は、各撮影時において収集された前述した第1の画像に対応し、第2のフレームの画像、第4のフレームの画像、および第6のフレームの画像は、各撮影時において収集された前述した第2の画像に対応することが注目されるべきである。

【0070】

次に、3回の撮影において撮影された画像は、3つのグループへグループ化され、第1のフレームの画像および第2のフレームの画像が、1つのグループにあり、第3のフレームの画像および第4のフレームの画像が、1つのグループにあり、第5のフレームの画像および第6のフレームの画像が、1つのグループにある。その後、図3に図示される位置決め1、視差補正、および平均化処理の演算が、これら3つの画像のグループに対して個別に実行される。上述した3つの画像のグループは、同時に処理され得るか、または、連続的に処理され、これは、本発明のこの実施形態では特に限定されないことが注目されるべきである。以下は、第1の画像のグループの処理工程を、説明のための例として使用する。

【0071】

先ず、第1のフレームの画像と第2のフレームの画像との間の移動量が獲得される。2つのカメラが同じ平面にあるので、これら2つのカメラの光学軸は平行であり、相対的な設置位置は、固定され、すでに知られている。したがって、第1のフレームの画像と第2のフレームの画像との間の移動量が、すでに知られている相対的な位置に従って計算され得る。すなわち、移動量は、画像が撮影される前に先立って計算され得る。本明細書において、移動量は、以下の方式で取得され得る。

【0072】

第1の方式
移動量は、L=(f×(t/d))/uを使用することにより取得される。
Lは、第1のフレームの画像と第2のフレームの画像との間の移動量であり、fは、第1のカメラまたは第2のカメラの焦点距離であり、tは、カメラ11aおよびカメラ11bのレンズの光学中心間の距離であり、dは、第1のフレームの画像のピクセルサイズであり、第1のフレームの画像のピクセルサイズは、第2のフレームの画像のピクセルサイズと同じであり、uは、被写界深度である。

【0073】

第2の方式
通常、t、f、およびdの実際の値と、理論値との間には誤差があるので、第1のフレームの画像と第2のフレームの画像との間の移動量はまた、特に以下のような以下の較正方法を使用することによって計算され得る。

【0074】

第1のフレームの画像および第2のフレームの画像を収集する場合、カメラ11aおよびカメラ11bはチェッカボードを同時に収集し、その後、第1のフレームの画像に図示されるコンテンツと、第2のフレームの画像に図示されるコンテンツは、チェッカボードである。その後、移動量はさらに、第1のフレームの画像におけるチェッカボードと、第2のフレームの画像におけるチェッカボードとの間の差分に従って測定される。それに加えて、測定された移動量は、撮影モジュール設定テーブルへ書き込まれ(撮影モジュール設定テーブルは、ROMメモリ内に記憶され得る)、第1のフレームの画像と第2のフレームの画像との間の移動量は、この設定テーブルに基づいて、撮影中に読み取られる。

【0075】

この方法の利点は、実際の製品と理論的な設計との間の不一致、すなわち誤差が、大量生産による異なるデュアルカメラモジュールに存在するので、工場配達の前に、各デュアルカメラモジュールに対して較正が実行され、これが画像変換の精度を向上し得る、という点にある。

【0076】

それに加えて、第1のフレームの画像が、基準画像として選択される。計算された移動量に従って、第2のフレームの画像が変換された後、位置決めされた2つのフレームの画像が取得され、第1および第2のフレームの画像の左側および右側における無効なピクセル領域(すなわち、位置決め後、第1および第2のフレームの画像が一致しない領域)がクリップされる。

【0077】

次に、近い目標物および遠い目標物の両方が、シーンに存在する場合、カメラ11aおよびカメラ11bの異なる設置位置によって引き起こされる視差を補償するように、視差補正が、位置決めされた2つのフレームの画像に対して実行され得る。特に、第1のフレームの画像が、ベンチマーク画像として使用され、第2のフレームの画像の、ポイント(x,y)におけるピクセル値は、以下の式を使用することによって決定され得る。

【0078】

【数2】

【0079】

Tは、あらかじめ設定されたしきい値であり、このしきい値は、経験に従って選択され得るか、または適応性のあるしきい値を使用し得、これは、本発明のこの実施形態では、特に限定されない。

【0080】

その後、第1の撮影時に対応する合成画像を取得するように、ランダムノイズを低減するために、位置決めされた2つのフレームの画像(または、視差補正後に取得された2つのフレームの画像)に対して平均化処理が実行される。特に、第1の撮影時に対応する合成画像の、各ポイントにおけるピクセル値が、以下の式を使用することによって取得され得る。
I₁₂(x,y)=(I₁(x,y)+I₂(x,y))/2
I₁(x,y)およびI₂(x,y)は、第1のフレームの画像および第2のフレームの画像それぞれの、ポイント(x,y)におけるピクセル値であり、I₁₂(x,y)は、第1の撮影時に対応する合成画像の、ポイント(x,y)におけるピクセル値である。同様に、第2および第3の撮影時に対応する合成画像が取得され得る。

【0081】

次に、最終的な結果を取得するために、3つのフレームの合成画像に対して、位置決め2、ゴースト除去、および時間的および空間的なフィルタリングのような処理が実行される。たとえば、動き補償および位置決めが、先ず、カメラジッタモデルを使用することによって、3つのフレームの合成画像に対して実行される。あるいは、動き補償および位置決めが、SURF特徴ポイントマッチングおよびHomography行列に基づいて実行され得る。その後、動きシーンが撮影された場合、位置決めされた3つのフレームの画像に対してゴースト除去が実行され得る。たとえば、動いている目標物が検出され、これら画像間で除去され得る。詳細に関しては、既存のゴースト除去アルゴリズムを参照されたい。変動しないシーンが撮影された場合、ゴースト除去は実行されないことがあり得る。次に、ゴースト除去の後に取得された3つのフレームの画像に対して時間的なフィルタリングが実行される。たとえば、各ピクセルの、3つのフレームの画像におけるピクセル値が平均化され得るか、または、時間的なIIRフィルタを使用することによって、これら3つのフレームの画像に対してフィルタリングが実行される。空間的なフィルタリングのために、産業界における古典的な双方向フィルタまたは非ローカルミーンズフィルタのようなフィルタリング方式が使用され得る。図6は、図3における解決策を使用することによって、収集された(図6の左における)オリジナルの画像と、ノイズ低減によって取得された(図6の右側における)画像との効果比較の図解である。図6から、オリジナルの画像に存在するノイズが、本発明のこの実施形態を使用することによって取得された合成画像において大幅に低減されていることが見られ得る。

【0082】

以下は、本発明の実施形態に従うマルチフレームノイズ低減方法を図4を参照して詳細に記述する。図4におけるマルチフレームノイズ低減方法は、図1乃至図3に記述された端末によって実行され得ることが注目されるべきである。この方法の特定の手順は、前述した端末のプロセッサの処理手順と同じであるか対応しており、反復を回避するために、反復される記述は適切に省略される。

【0083】

図4は、本発明の実施形態に従うマルチフレームノイズ低減方法の概要フローチャートである。図4における方法は、以下を含む。

【0084】

410。同じシーンをK回連続的に撮影するために、端末においてM個のカメラを使用する。M≧2、K≧2であり、M個のカメラの各々は、各撮影時において、1つのフレームの画像を同時に収集する。

【0085】

420。K回の撮影時に取得された画像における位置決めを実行する。

【0086】

430。位置決めされた画像に対して時間的および空間的なフィルタリングを実行する。

【0087】

本発明のこの実施形態では、複数のカメラが、端末に搭載される。複数のカメラは、各撮影時において、画像を同時に収集するので、特定の数の画像が端末によって収集される時間インタバルは、特定の数の画像が単一のカメラによって収集される時間インタバルよりも短く、時間インタバル内に手振れまたは目標物動きが発生する可能性もまた、それに従って、減少する。したがって、合成画像は、単一のカメラによって連続的な撮影により収集された複数のフレームの画像によって合成された画像と比較して、より良好な品質を有する。それに加えて、この方式はまた、後続するマルチフレームノイズ低減処理中のゴースト現象の発生の可能性をある程度低減する。さらに、連続的な撮影工程中に、たとえ手振れまたはシーンにおける目標物動きが発生しても、各撮影時における画像収集中の複数のカメラの同期によって、手振れまたは目標物動きのような現象は、複数のカメラに一貫した影響を有する。これは、連続的に撮影された画像の、同じ瞬間に撮影された画像に、ゴースト現象が存在しないことをソースにおいて保証する。したがって、最終的に取得される画像におけるゴースト現象の深刻さをある程度低減する。

【0088】

オプションで、実施形態では、M個のカメラは同じ平面にあり、K回の撮影時に取得された画像における位置決めを実行するステップの前に、図4における方法はさらに、K回の各撮影時において撮影されたM個のフレームの画像間の移動量を獲得するステップと、移動量に従って、M個のフレームの画像の位置決めをするステップと、位置決めされたM個のフレームの画像に従って、1つのフレームの合成画像を生成するステップとを含み得、K回の撮影時に取得された画像における位置決めを実行するステップは、K個のフレームの位置決めされた画像を決定するように、K回の撮影に対応するK個のフレームの合成画像における位置決めを実行するステップを含み、位置決めされた画像に対して時間的および空間的なフィルタリングを実行するステップは、K個のフレームの位置決めされた画像に対して時間的および空間的なフィルタリングを実行するステップを含む。

【0089】

オプションで、実施形態では、M個のカメラは、第1のカメラおよび第2のカメラを含み、各回において撮影されたM個のフレームの画像は、第1のカメラおよび第2のカメラにそれぞれ対応する第1の画像および第2の画像を含み、K回の各撮影時において撮影されたM個のフレームの画像間の移動量を獲得するステップは、第1の画像と第2の画像との間の移動量を獲得するステップを含み、移動量に従って、M個のフレームの画像の位置決めをするステップは、第1の画像を基準画像として選択し、移動量に従って、第2の画像における移動操作を実行し、第1の画像および第2の画像の共通の画像領域を決定するステップを含む。

【0090】

前述した技術的解決策では、同じ平面におけるM個のカメラの相対的な位置がすでに知られており、それに加えて、M個のカメラが、各撮影時における画像収集において同期を有していることによって、各回においてM個のカメラによって撮影されるM個のフレームの画像間の動きベクトルは、移動である。各回において撮影されたM個のフレームの画像間の移動量が獲得され、この移動量を使用することによって位置決めが実行される。これは、従来のマルチフレームノイズ低減アルゴリズムにおける、複雑な動き推定モデルに基づく位置決めアルゴリズムと比べて、マルチフレームノイズ低減アルゴリズムを高速化し、マルチフレームノイズ低減アルゴリズムの精度を向上し得る。

【0091】

オプションで、実施形態では、第1の画像と第2の画像との間の移動量を獲得するステップは、L=(f×(t/d))/uに基づいて移動量を取得するステップを含み、Lは、第1の画像と第2の画像との間の移動量であり、fは、第1のカメラまたは第2のカメラの焦点距離であり、tは、第1のカメラのレンズと第2のカメラのレンズとの光学中心間の距離であり、dは、第1の画像のピクセルサイズであり、第1の画像のピクセルサイズは、第2の画像のピクセルサイズと同じであり、uは、被写界深度である。

【0092】

オプションで、実施形態では、位置決めされたM個のフレームの画像に従って、1つのフレームの合成画像を生成するステップは、M個のカメラ間の視差によって引き起こされた、対応するピクセルにおいて位置決めされたM個のフレームの画像間の差分を除去するように、位置決めされたM個のフレームの画像に対して視差補正を実行するステップと、視差補正後に取得されたM個のフレームの画像の、対応するピクセルにおけるピクセル値に従って、合成画像の、対応するピクセルにおけるピクセル値を生成するステップと、を含む。

【0093】

オプションで、実施形態では、位置決めされたM個のフレームの画像に対して視差補正を実行するステップは、ベンチマーク画像を除く位置決めされたM個のフレームの画像におけるj番目のフレームの画像の対応するピクセルにおけるピクセル値と、ベンチマーク画像のそのピクセル値と間の差分が、あらかじめ設定されたしきい値よりも大きい場合、j番目のフレームの画像の、対応するピクセルにおけるピクセル値をリプレースするために、ベンチマーク画像の、対応するピクセルにおけるピクセル値を使用し、そうではない場合、j番目のフレームの画像の、対応するピクセルにおけるピクセル値を、変えずに維持するステップを含み、ベンチマーク画像は、位置決めされたM個のフレームの画像におけるフレームの画像であり、jは、1からM-1までの値が付される。

【0094】

オプションで、実施形態では、位置決めされた画像に対して時間的および空間的なフィルタリングを実行するステップの前に、この方法はさらに、位置決めされた画像におけるゴースト除去を実行するステップを含む。

【0095】

オプションで、実施形態では、K=3である。

【0096】

以下は、本発明の実施形態に従う端末を、図5を参照して詳細に記述する。端末は、前述したマルチフレームノイズ低減方法におけるステップを実施することができ、反復を回避するために、反復される記述は省略される。

【0097】

図5は、本発明の実施形態に従う端末の概要ブロック図である。図5における端末500は、M個のカメラ510、第1の位置決めモジュール520、および時間的および空間的なフィルタリングモジュール530を含む。

【0098】

M個のカメラ510は、同じシーンをK回連続的に撮影するように構成され、M≧2、K≧2であり、M個のカメラの各々は、各撮影時において、1つのフレームの画像を同時に収集する。

【0099】

第1の位置決めモジュール520は、K回の撮影時にM個のカメラ510によって取得された画像における位置決めを実行するように構成される。

【0100】

時間的および空間的なフィルタリングモジュール530は、第1の位置決めモジュール520によって位置決めされた画像に対して時間的および空間的なフィルタリングを実行するように構成される。

【0101】

本発明のこの実施形態では、複数のカメラが端末に搭載される。複数のカメラは、各撮影時において、画像を同時に収集するので、特定の数の画像が端末によって収集される時間インタバルは、特定の数の画像が単一のカメラによって収集される時間インタバルよりも短く、時間インタバル内に手振れまたは目標物動きが発生する可能性もまた、それに従って、減少する。したがって、合成画像は、単一のカメラによって連続的な撮影により収集された複数のフレームの画像によって合成された画像と比較して、より良好な品質を有する。それに加えて、この方式はまた、後続するマルチフレームノイズ低減処理中のゴースト現象の発生の可能性をある程度低減する。さらに、連続的な撮影工程中に、たとえ手振れまたはシーンにおける目標物動きが発生しても、各撮影時における画像収集中の複数のカメラの同期によって、手振れまたは目標物動きのような現象は、複数のカメラに一貫した影響を有する。これは、連続的に撮影された画像の、同じ瞬間に撮影された画像に、ゴースト現象が存在しないことをソースにおいて保証する。したがって、最終的に取得される画像におけるゴースト現象の深刻さをある程度低減する。

【0102】

オプションで、実施形態では、M個のカメラは同じ平面にあり、端末はさらに、K回の各撮影時において撮影されたM個のフレームの画像間の移動量を獲得し、移動量に従って、M個のフレームの画像の位置決めをするように構成された第2の位置決めモジュールと、第2の位置決めモジュールによって位置決めされたM個のフレームの画像に従って、1つのフレームの合成画像を生成するように構成された合成モジュールとを含み、第1の位置決めモジュールは特に、位置決めされたK個のフレームの画像を決定するように、K回の撮影に対応するK個の合成フレームの画像における位置決めを実行するように構成され、時間的および空間的なフィルタリングモジュールは特に、K個のフレームの位置決めされた画像に対して時間的および空間的なフィルタリングを実行するように構成される。

【0103】

前述した技術的解決策では、同じ平面におけるM個のカメラの相対的な位置がすでに知られており、それに加えて、M個のカメラは、各撮影時における画像収集において同期を有し、毎回、M個のカメラによって撮影されるM個のフレームの画像間の動きベクトルは、移動である。毎回撮影されたM個のフレームの画像間の移動量が獲得され、この移動量を使用することによって位置決めが実行される。これは、従来のマルチフレームノイズ低減アルゴリズムにおける、複雑な動き推定モデルに基づく位置決めアルゴリズムと比べて、マルチフレームノイズ低減アルゴリズムを高速化し、マルチフレームノイズ低減アルゴリズムの精度を向上し得る。

【0104】

オプションで、実施形態では、M個のカメラは、第1のカメラおよび第2のカメラを含み、各回において撮影されたM個のフレームの画像は、第1のカメラおよび第2のカメラにそれぞれ対応する第1の画像および第2の画像を含む。第2の位置決めモジュールは特に、第1の画像と第2の画像との間の移動量を獲得し、第1の画像を基準画像として選択し、移動量に従って、第2の画像における移動操作を実行し、第1の画像および第2の画像の共通の画像領域を決定する、ように構成される。

【0105】

オプションで、実施形態では、第2の位置決めモジュールは特に、L=(f×(t/d))/uに基づいて移動量を取得するように構成され、Lは、第1の画像と第2の画像との間の移動量であり、fは、第1のカメラまたは第2のカメラの焦点距離であり、tは、第1のカメラのレンズと第2のカメラのレンズとの光学中心間の距離であり、dは、第1の画像のピクセルサイズであり、第1の画像のピクセルサイズは、第2の画像のピクセルサイズと同じであり、uは、被写界深度である。

【0106】

オプションで、実施形態では、合成モジュールは特に、M個のカメラ間の視差によって引き起こされた、対応するピクセルにおいて位置決めされたM個のフレームの画像間の差分を除去するように、位置決めされたM個のフレームの画像に対して視差補正を実行し、視差補正後に取得されたM個のフレームの画像の、対応するピクセルにおけるピクセル値に従って、合成画像の、対応するピクセルにおけるピクセル値を生成するように構成される。

【0107】

オプションで、実施形態では、合成モジュールは特に、ベンチマーク画像を除く位置決めされたM個のフレームの画像におけるj番目のフレームの画像の対応するピクセルにおけるピクセル値と、ベンチマーク画像のそのピクセル値と間の差分が、あらかじめ設定されたしきい値よりも大きい場合、j番目のフレームの画像の、対応するピクセルにおけるピクセル値をリプレースするために、ベンチマーク画像の、対応するピクセルにおけるピクセル値を使用し、そうではない場合、j番目のフレームの画像の、対応するピクセルにおけるピクセル値を、変えずに維持するように構成され、ベンチマーク画像は、位置決めされたM個のフレームの画像におけるフレームの画像であり、jは、1からM-1までの値が付される。

【0108】

オプションで、実施形態では、端末はさらに、位置決めされた画像におけるゴースト除去を実行するように構成されたゴースト除去モジュールを含む。

【0109】

オプションで、実施形態では、K=3である。

【0110】

前述した実施形態における時間的なフィルタリングは、各撮影時におけるM個のカメラ間の時間的な相関を使用することによって、ノイズ低減を実行し得ることが理解され得る。空間的なフィルタリングは、近隣のピクセル間の相関を使用することによって、ノイズ低減を実行し得る。

【0111】

当業者は、本明細書において開示された実施形態に記述された例と組み合わせて、ユニットおよびアルゴリズムステップが、電子ハードウェアによって、または、コンピュータソフトウェアと電子ハードウェアとの組み合わせによって実施され得ることを認識し得る。これら機能がハードウェアによって実行されるかソフトウェアによって実行されるかは、特定のアプリケーションと、技術的解決策の設計制約条件とに依存する。当業者は、各特定のアプリケーションについて記述された機能を実施するために、異なる方法を使用し得るが、この実施は、本発明の範囲を超えると考えられるべきではない。

【0112】

便利で簡潔な記述の目的のために、前述したシステム、装置、およびユニットの詳細な作業工程について、前述した方法実施形態における対応する工程に対する参照もなされてよく、本明細書では詳細は再度記述されないことが当業者によって明らかに理解され得る。

【0113】

本願において提供されるいくつかの実施形態では、開示された装置および方法は、他の方式で実施され得ることが理解されるべきである。たとえば、記述された装置実施形態は、単なる典型例である。たとえば、ユニット分割は、単なる論理的な機能分割であり、実際の実施では他の分割でもよい。たとえば、複数のユニットまたは構成要素が、別のシステムへ結合または統合され得るか、または、いくつかの特徴は、無視され得るか、または実行されない。それに加えて、表示または論じられた相互のカップリングまたは直接的なカップリングまたは通信接続は、いくつかのインターフェースを介して実施され得る。装置またはユニット間の間接的なカップリングまたは通信接続は、電気的、機械的、または他の形式で実施され得る。

【0114】

個別のパーツとして記述されているユニットは、物理的に個別であることも、ないこともあり得る。そして、ユニットとして表示されたパーツは、物理的なユニットであることも、ないこともあり得、1つの位置に配置され得るか、または、複数のネットワークユニットに分散され得る。ユニットのいくつかまたはすべては、実施形態の解決策の目的を達成するための実際のニーズに従って選択され得る。

【0115】

それに加えて、本発明の実施形態における機能的なユニットは、1つの処理ユニットへ統合され得るか、または、これらユニットの各々が、物理的に単独で存在し得るか、または、2つ以上のユニットが、1つのユニットへ統合される。

【0116】

機能がソフトウェア機能ユニットの形態で実施され、独立した製品として販売または使用される場合、これら機能は、コンピュータ可読記憶媒体に記憶され得る。そのような理解に基づいて、本質的な本発明の技術的解決策、または従来技術に対して寄与する部分、またはこれら技術的解決策のいくつかは、ソフトウェア製品の形態で実施され得る。ソフトウェア製品は、記憶媒体に記憶され、本発明の実施形態に記述された方法のステップのすべてまたはいくつかを実行するようにコンピュータデバイス(これは、パーソナルコンピュータ、サーバ、またはネットワークデバイスであり得る)に対して指示するためのいくつかの命令を含む。前述した記憶媒体は、プログラムコードを記憶し得る、USBフラッシュドライブ、リムーバブルハードディスク、読取専用メモリ(ROM, Read-Only Memory)、ランダムアクセスメモリ(RAM, Random Access Memory)、磁気ディスク、または光ディスクのような任意の媒体を含む。

【0117】

前述した記述は、単に、本発明の特定の実施方式であるが、本発明の保護範囲を限定することは意図されていない。本発明において開示された技術的範囲内で当業者によって容易に理解される任意のバリエーションまたは置換えは、本発明の保護範囲内にあるものとする。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に従うものとする。

【符号の説明】

【0118】

10 端末
11 カメラ
12 プロセッサ
500 端末
510 M個のカメラ
520 第1の位置決めモジュール
530 時間的および空間的なフィルタリングモジュール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】