特許 6803982 光学撮像方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6803982

(24)【登録日】2020年12月3日

(45)【発行日】2020年12月23日

(54)【発明の名称】光学撮像方法および装置

(51)【国際特許分類】

   H04N 5/225 20060101AFI20201214BHJP

   H04N 5/232 20060101ALI20201214BHJP

【ＦＩ】

   H04N5/225 800

   H04N5/232 290

【請求項の数】16

【全頁数】23

(21)【出願番号】特願2019-523805(P2019-523805)

(86)(22)【出願日】2016年12月22日

(65)【公表番号】特表2019-534518(P2019-534518A)

(43)【公表日】2019年11月28日

(86)【国際出願番号】CN2016111449

(87)【国際公開番号】WO2018082165

(87)【国際公開日】20180511

【審査請求日】2019年6月18日

(31)【優先権主張番号】201610958373.9

(32)【優先日】2016年11月3日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】503433420

【氏名又は名称】華為技術有限公司

【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100140534

【弁理士】

【氏名又は名称】木内 敬二

(72)【発明者】

【氏名】▲陳▼ ▲剛▼

(72)【発明者】

【氏名】唐 忠▲偉▼

(72)【発明者】

【氏名】▲羅▼ 巍

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開平０８−３０７７７６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／００７８６７８（ＵＳ，Ａ１）

【文献】 特表２００１−５０６８１２（ＪＰ，Ａ）

【文献】 特開２０１０−０６３０８８（ＪＰ，Ａ）

【文献】 特開２００４−０３２５１７（ＪＰ，Ａ）

【文献】 特開２０１３−１９６２９４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／００６４３２７（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／３８７，５／２２５−５／２３２

Ｇ０６Ｔ １／００，３／４０，５／５０

(57)【特許請求の範囲】

【請求項1】

撮像方法であって、前記撮像方法がカラーカメラおよび白黒カメラを備える撮像装置に適用され、前記白黒カメラの解像度が前記カラーカメラの解像度よりも高く、前記撮像方法が、
ズーム倍率を取得するステップと、
ターゲットシーンのカラー画像および白黒画像を同時に取り込むステップであって、前記白黒画像の解像度が前記カラー画像の解像度よりも高い、ステップと、
前記ズーム倍率に基づいて前記白黒画像および前記カラー画像に対して別々にトリミング処理を実行するステップであって、前記トリミングされた白黒画像および前記トリミングされたカラー画像が同じ視野を有する、ステップであって、
前記ズーム倍率が前記カラーカメラの解像度に対する前記白黒カメラの解像度の比よりも小さい場合、前記白黒画像に対して時間領域マルチフレームノイズ低減を実行し、次いで前記ズーム倍率に対応する画像解像度にズームアウトし、
前記ズーム倍率が前記カラーカメラの解像度に対する前記白黒カメラの解像度の比よりも大きい場合、前記白黒画像に対して超解像処理を実行し、前記ズーム倍率に対応する前記画像解像度にズームインする、
ステップと、
前記ターゲットシーンの出力画像を取得するために、前記トリミングされたカラー画像および前記トリミングされた白黒画像をマージするステップとを含む、方法。

【請求項2】

前記ターゲットシーンの出力画像を取得するために、前記トリミングされたカラー画像および前記トリミングされた白黒画像をマージする前記ステップが、
前記トリミングされたカラー画像を彩度成分画像および輝度成分画像に分離するステップと、
前記出力画像を取得するために、前記彩度成分画像および前記トリミングされた白黒画像をマージするステップとを含む、請求項1に記載の方法。

【請求項3】

前記ターゲットシーンの出力画像を取得するために、前記トリミングされたカラー画像および前記トリミングされた白黒画像をマージする前記ステップが、
前記トリミングされたカラー画像を彩度成分画像および輝度成分画像に分離するステップと、
光学可変輝度成分画像を取得するために、前記輝度成分画像の高周波情報を前記トリミングされた白黒画像の高周波情報と置き換えるステップと、
前記出力画像を取得するために、前記彩度成分画像および前記光学可変輝度成分画像をマージするステップとを含む、請求項1に記載の方法。

【請求項4】

ターゲットシーンのカラー画像および白黒画像を同時に取り込む前記ステップの前に、前記方法が、
前記ターゲットシーンの輝度に基づいて、前記カラーカメラによって取り込まれる画像フレームの数、および前記白黒カメラによって取り込まれる画像フレームの数を決定するステップをさらに含む、請求項1から3のいずれか一項に記載の方法。

【請求項5】

前記ターゲットシーンの出力画像を取得するために、前記トリミングされたカラー画像および前記トリミングされた白黒画像をマージする前記ステップが、
前記彩度成分画像に対して超解像処理を実行するステップ、および／または
前記輝度成分画像に対して超解像処理を実行するステップ、および／または
前記トリミングされた白黒画像に対して超解像処理を実行するステップを含む、請求項4に記載の方法。

【請求項6】

前記白黒カメラによって取り込まれたN個の画像フレームが存在すると判断されたとき、前記トリミングされた白黒画像に対して超解像処理を実行する前記ステップが、
前記ターゲットシーンが高輝度シーンであるとき、前記N個の画像フレーム内のN1個の白黒画像フレームを使用して超解像処理を実行するステップ、または
前記ターゲットシーンが高輝度シーンではないとき、前記N個の画像フレーム内のN2個の白黒画像フレームを使用して超解像処理を実行するステップを含み、N、N1、およびN2の各々が正の整数であり、N1＜N2≦Nである、請求項5に記載の方法。

【請求項7】

ターゲットシーンの初期カラー画像を取り込む前記ステップの前に、前記方法が、
前記ターゲットシーンの前記輝度に基づいて前記出力画像の撮像パラメータを調整するステップであって、前記撮像パラメータが、以下のパラメータ：ノイズ低減パラメータ、鮮明化パラメータ、またはコントラストのうちの少なくとも1つを備える、ステップをさらに含む、請求項1から6のいずれか一項に記載の方法。

【請求項8】

光学ズームモジュールであって、前記光学ズームモジュールが、ズーム倍率を取得するように構成された、光学ズームモジュールと、
カラーカメラであって、前記カラーカメラが、ターゲットシーンのカラー画像を取り込むように構成された、カラーカメラと、
白黒カメラであって、前記白黒カメラが、前記カラー画像が取り込まれたときと同時に前記ターゲットシーンの白黒画像を取り込むように構成され、前記白黒画像の解像度が前記カラー画像の解像度よりも高い、白黒カメラと
を備える、撮像装置であって、
前記光学ズームモジュールが、前記ズーム倍率に基づいて前記白黒画像および前記カラー画像に対して別々にトリミング処理を実行することであって、前記トリミングされた白黒画像および前記トリミングされたカラー画像が同じ視野を有する、実行することであって、
前記ズーム倍率が前記カラーカメラの解像度に対する前記白黒カメラの解像度の比よりも小さい場合、前記白黒画像に対して時間領域マルチフレームノイズ低減を実行し、次いで前記ズーム倍率に対応する画像解像度にズームアウトし、
前記ズーム倍率が前記カラーカメラの解像度に対する前記白黒カメラの解像度の比よりも大きい場合、前記白黒画像に対して超解像処理を実行し、前記ズーム倍率に対応する前記画像解像度にズームインする、
実行することと、
前記ターゲットシーンの出力画像を取得するために、前記トリミングされたカラー画像および前記トリミングされた白黒画像をマージすることと、
を行うようにさらに構成される、撮像装置。

【請求項9】

前記光学ズームモジュールが、具体的に、
前記トリミングされたカラー画像を彩度成分画像および輝度成分画像に分離することと、
前記出力画像を取得するために、前記彩度成分画像および前記トリミングされた白黒画像をマージすることとを行うように構成される、請求項8に記載の撮像装置。

【請求項10】

前記光学ズームモジュールが、具体的に、
前記トリミングされたカラー画像を彩度成分画像および輝度成分画像に分離することと、
光学可変輝度成分画像を取得するために、前記輝度成分画像の高周波情報を前記トリミングされた白黒画像の高周波情報と置き換えることと、
前記出力画像を取得するために、前記彩度成分画像および前記光学可変輝度成分画像をマージすることとを行うように構成される、請求項8に記載の撮像装置。

【請求項11】

前記撮像装置が
シーン制御モジュールであって、前記シーン制御モジュールが、前記ターゲットシーンの輝度に基づいて、前記カラーカメラによって取り込まれる画像フレームの数、および前記白黒カメラによって取り込まれる画像フレームの数を決定するように構成される、シーン制御モジュールをさらに備える、請求項8から10のいずれか一項に記載の撮像装置。

【請求項12】

前記光学ズームモジュールが、具体的に、
前記彩度成分画像に対して超解像処理を実行すること、および／または
前記輝度成分画像に対して超解像処理を実行すること、および／または
前記トリミングされた白黒画像に対して超解像処理を実行することを行うように構成される、請求項11に記載の撮像装置。

【請求項13】

前記トリミングされた白黒画像がN個のフレームを有するとき、前記光学ズームモジュールが、具体的に、
前記ターゲットシーンが高輝度シーンであるとき、前記N個の画像フレーム内のN1個の白黒画像フレームを使用して超解像処理を実行すること、または
前記ターゲットシーンが高輝度シーンではないとき、前記N個の画像フレーム内のN2個の白黒画像フレームを使用して超解像処理を実行することを行うように構成され、N、N1、およびN2の各々が正の整数であり、N1＜N2≦Nである、請求項12に記載の撮像装置。

【請求項14】

前記撮像装置が、前記ターゲットシーンの前記輝度に基づいて前記出力画像の撮像パラメータを調整することであって、前記撮像パラメータが、以下のパラメータ：ノイズ低減パラメータ、鮮明化パラメータ、またはコントラストのうちの少なくとも1つを備える、調整することを行うようにさらに構成される、請求項8から13のいずれか一項に記載の撮像装置。

【請求項15】

前記カラーカメラが光学画像安定化モジュールを備え、かつ／または前記白黒カメラが光学画像安定化モジュールを備える、請求項8から14のいずれか一項に記載の撮像装置。

【請求項16】

カラーカメラであって、前記カラーカメラが、ターゲットシーンの動的または静的なカラー画像を取り込むように構成された、カラーカメラと、
白黒カメラであって、前記白黒カメラが、前記カラー画像が取り込まれたときと同時に前記ターゲットシーンの動的または静的な白黒画像を取り込むように構成され、前記白黒画像の解像度が前記カラー画像の解像度よりも高い、白黒カメラと、
メモリであって、前記メモリが、前記カラーカメラによって取り込まれた前記カラー画像および前記白黒カメラによって取り込まれた前記白黒画像を記憶するように構成された、メモリと、
プロセッサであって、前記プロセッサが、
ズーム倍率を取得することと、前記ズーム倍率に基づいて前記白黒画像および前記カラー画像に対して別々にトリミング処理を実行することであって、前記トリミングされた白黒画像および前記トリミングされたカラー画像が同じ視野を有する、実行することであって、
前記ズーム倍率が前記カラーカメラの解像度に対する前記白黒カメラの解像度の比よりも小さい場合、前記白黒画像に対して時間領域マルチフレームノイズ低減を実行し、次いで前記ズーム倍率に対応する画像解像度にズームアウトし、
前記ズーム倍率が前記カラーカメラの解像度に対する前記白黒カメラの解像度の比よりも大きい場合、前記白黒画像に対して超解像処理を実行し、前記ズーム倍率に対応する前記画像解像度にズームインする、
実行することと、
前記ターゲットシーンの出力画像を取得するために、前記トリミングされたカラー画像および前記トリミングされた白黒画像をマージすることと、
を行うように構成された、プロセッサと、
スクリーンであって、前記スクリーンが、前記出力画像を表示するように構成された、スクリーンと
を備える、光学撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本出願の実施形態は、光学撮像分野に関し、より詳細には、光学撮像方法および装置に関する。

【背景技術】

【0002】

撮像技術の進歩に伴い、カメラ付き携帯型端末デバイスを使用して撮影するとき、人々はより高い撮像精細度を求める。ズームレンズの場合、ユーザが遠くの物体の詳細を明瞭に区別することを可能にするために、レンズの焦点距離を調整することによって遠くの物体をズームインすることができる。

【0003】

しかしながら、ズームレンズは一般に大きく、通常、デジタルカメラで使用されている。この技術を（携帯電話などの）携帯型端末デバイスに直接適用することは、薄型および軽量の携帯型端末デバイスをユーザが追求することに反する。したがって、一般的なやり方は、デジタルズーム技術を使用して遠くの物体をズームインすることである。しかしながら、この技術は、撮像の解像力および精細度の向上に上限がある。倍率が比較的大きいと、画像が十分鮮明ではない。

【発明の概要】

【0004】

したがって、端末デバイスの薄型および軽量の特性を確保しながら、端末デバイスがより高い撮像の解像力および精細度を得ることを可能にするために、技術的な手段が緊急に必要とされている。

【課題を解決するための手段】

【0005】

本出願の実施形態は、撮像装置の軽量および薄型の特性を確保しながら、取得される画像のより高い解像力および精細度を実現するために、光学撮像方法および装置を提供する。

【0006】

第1の態様によれば、撮像方法が提供され、撮像方法はカラーカメラおよび白黒カメラを含む撮像装置に適用され、白黒カメラの解像度はカラーカメラの解像度よりも高く、撮像方法は、ズーム倍率を取得するステップと、ターゲットシーンのカラー画像および白黒画像を同時に取り込むステップであって、白黒画像の解像度がカラー画像の解像度よりも高い、ステップと、ズーム倍率に基づいて白黒画像およびカラー画像に対して別々にトリミング処理を実行するステップであって、トリミングされた白黒画像およびトリミングされたカラー画像が同じ視野を有する、ステップと、ターゲットシーンの出力画像を取得するために、トリミングされたカラー画像およびトリミングされた白黒画像をマージするステップとを含む。

【0007】

したがって、本出願のこの実施形態によって提供される光学撮像方法によれば、カラーカメラによって取り込まれたカラー画像および白黒カメラによって取り込まれた白黒画像がマージされ、その結果、取得された出力画像はより良い光学ズーム性能をもつことができる。

【0008】

第1の態様を参照して、第1の態様の第1の可能な実装形態では、ターゲットシーンの出力画像を取得するために、トリミングされたカラー画像およびトリミングされた白黒画像をマージするステップは、トリミングされたカラー画像を彩度成分画像および輝度成分画像に分離するステップと、出力画像を取得するために、彩度成分画像およびトリミングされた白黒画像をマージするステップとを含む。

【0009】

したがって、トリミングされたカラー画像から分離された輝度成分画像はトリミングされた白黒画像に置き換えられ、より高い解像力を有する出力画像を取得するために、トリミングされた白黒画像は彩度成分画像とマージされる。

【0010】

第1の態様および第1の態様の実装形態を参照して、第1の態様の第2の可能な実装形態では、ターゲットシーンの初期カラー画像を取り込むステップの前に、方法は、ターゲットシーンの輝度に基づいて、カラーカメラによって取り込まれる画像フレームの数、および白黒カメラによって取り込まれる画像フレームの数を決定するステップをさらに含む。

【0011】

したがって、シーンが比較的高い輝度を有するとき、撮像の信号対雑音比は比較的大きく、したがって比較的少量のフレームが取り込まれ、シーンが比較的低い輝度を有する場合、撮像の信号対雑音比は比較的小さく、したがって比較的大量のフレームが取り込まれる。これにより、画像マージ中のノイズ処理および画像詳細の回復が容易になる。

【0012】

第1の態様を参照して、第1の態様の第3の可能な実装形態では、彩度成分画像および前処理された白黒画像をマージするステップの前に、ターゲットシーンの出力画像を取得するために、トリミングされたカラー画像およびトリミングされた白黒画像をマージするステップは、彩度成分画像および／またはトリミングされた白黒画像に対して超解像処理を実行するステップを含む。

【0013】

具体的には、カラーカメラによって取り込まれたカラー画像がM個のフレームを有する場合、M個の彩度成分画像フレームおよびM個の輝度成分画像フレームが処理を介して取得され、M個の彩度成分画像フレームに対して超解像処理を実行することにより、1つの彩度成分画像フレームが取得されてもよい。同様に、M個の輝度成分画像フレームに対して超解像処理を実行することにより、1つの輝度成分画像フレームが取得されてもよい。

【0014】

さらに、白黒カメラによって取り込まれた白黒画像がN個のフレームを有する場合、N個の白黒画像フレームに対して超解像処理を実行することにより、1つの白黒画像フレームが取得されてもよい。

【0015】

したがって、超解像処理を介して取得された彩度成分画像および超解像処理を介して取得された白黒画像がさらにマージされた場合、より良い光学ズーム性能を有する出力画像を取得することができる。

【0016】

第1の態様および第1の態様の実装形態を参照して、第1の態様の第4の可能な実装形態では、ターゲットシーンの出力画像を取得するために、トリミングされたカラー画像およびトリミングされた白黒画像をマージするステップは、トリミングされたカラー画像を彩度成分画像および輝度成分画像に分離するステップと、光学可変輝度成分画像を取得するために、輝度成分画像の高周波情報をトリミングされた白黒画像の高周波情報と置き換えるステップと、出力画像を取得するために、彩度成分画像および光学可変輝度成分画像をマージするステップとを含む。

【0017】

言い換えれば、光学可変輝度成分画像を取得するために、輝度成分画像の高周波情報がトリミングされた白黒画像の高周波情報に置き換えられる。さらに、出力画像を取得するために、光学可変輝度成分画像が彩度成分画像とマージされる。

【0018】

第1の態様および第1の態様の実装形態を参照して、第1の態様の第5の可能な実装形態では、彩度成分画像および前処理された白黒画像をマージするステップの前に、ターゲットシーンの出力画像を取得するために、トリミングされたカラー画像およびトリミングされた白黒画像をマージするステップは、彩度成分画像に対して超解像処理を実行するステップ、および／またはトリミングされた白黒画像に対して超解像処理を実行するステップを含む。

【0019】

第1の態様および第1の態様の実装形態を参照して、第1の態様の第6の可能な実装形態では、トリミングされた白黒画像がN個のフレームを有するとき、トリミングされた白黒画像に対して超解像処理を実行するステップは、ターゲットシーンが高輝度シーンであるとき、N個の画像フレーム内のN1個の白黒画像フレームを使用して超解像処理を実行するステップ、またはターゲットシーンが高輝度シーンではないとき、N個の画像フレーム内のN2個の白黒画像フレームを使用して超解像処理を実行するステップを含み、N、N1、およびN2の各々は正の整数であり、N1＜N2≦Nである。

【0020】

したがって、本出願のこの実施形態では、解像力および精細度に関する白黒画像の利点を利用して、最終ズーム撮像輝度成分の解像力および精細度を改善することができ、それにより、最終出力画像の精細度および解像力が改善される。

【0021】

第1の態様および第1の態様の実装形態を参照して、第1の態様の第7の可能な実装形態では、方法は、ターゲットシーンの輝度に基づいて出力画像の撮像パラメータを調整するステップであって、撮像パラメータは、以下のパラメータ：ノイズ低減パラメータ、鮮明化パラメータ、またはコントラストのうちの少なくとも1つを含む、ステップをさらに含む。

【0022】

したがって、本出願のこの実施形態における方法によれば、撮像パラメータは様々なシーンに基づいて構成することができる。これにより、最終的な光学可変画像の撮像品質を保証することができる。

【0023】

第2の態様によれば、光学ズームモジュールであって、光学ズームモジュールが、ズーム倍率を取得するように構成された、光学ズームモジュールと、カラーカメラであって、カラーカメラが、ターゲットシーンのカラー画像を取り込むように構成された、カラーカメラと、白黒カメラであって、白黒カメラが、カラー画像が取り込まれたときと同時にターゲットシーンの白黒画像を取り込むように構成され、白黒画像の解像度はカラー画像の解像度よりも高い、白黒カメラとを含む、撮像装置が提供され、光学ズームモジュールは、ズーム倍率に基づいて白黒画像およびカラー画像に対して別々にトリミング処理を実行することであって、トリミングされた白黒画像およびトリミングされたカラー画像が同じ視野を有する、実行することと、ターゲットシーンの出力画像を取得するために、トリミングされたカラー画像およびトリミングされた白黒画像をマージすることとを行うようにさらに構成される。

【0024】

第2の態様を参照して、第2の態様の第1の可能な実装形態では、光学ズームモジュールは、具体的に、トリミングされたカラー画像を彩度成分画像および輝度成分画像に分離することと、出力画像を取得するために、彩度成分画像およびトリミングされた白黒画像をマージすることとを行うように構成される。

【0025】

第2の態様を参照して、第2の態様の第2の可能な実装形態では、光学ズームモジュールは、具体的に、トリミングされたカラー画像を彩度成分画像および輝度成分画像に分離することと、光学可変輝度成分画像を取得するために、輝度成分画像の高周波情報をトリミングされた白黒画像の高周波情報と置き換えることと、出力画像を取得するために、彩度成分画像および光学可変輝度成分画像をマージすることとを行うように構成される。

【0026】

第2の態様を参照して、第2の態様の第3の可能な実装形態では、撮像装置はシーン制御モジュールであって、シーン制御モジュールは、ターゲットシーンの輝度に基づいて、カラーカメラによって取り込まれる画像フレームの数、および白黒カメラによって取り込まれる画像フレームの数を決定するように構成される、シーン制御モジュールをさらに含む。

【0027】

第2の態様を参照して、第2の態様の第4の可能な実装形態では、光学ズームモジュールは、具体的に、彩度成分画像に対して超解像処理を実行すること、および／または輝度成分画像に対して超解像処理を実行すること、および／またはトリミングされた白黒画像に対して超解像処理を実行することを行うように構成される。

【0028】

第2の態様を参照して、第2の態様の第5の可能な実装形態では、トリミングされた白黒画像がN個のフレームを有するとき、光学ズームモジュールは、具体的に、ターゲットシーンが高輝度シーンであるとき、N個の画像フレーム内のN1個の白黒画像フレームを使用して超解像処理を実行すること、またはターゲットシーンが高輝度シーンではないとき、N個の画像フレーム内のN2個の白黒画像フレームを使用して超解像処理を実行することを行うように構成され、N、N1、およびN2の各々は正の整数であり、N1＜N2≦Nである。

【0029】

第2の態様を参照して、第2の態様の第6の可能な実装形態では、撮像装置は、ターゲットシーンの輝度に基づいて出力画像の撮像パラメータを調整することであって、撮像パラメータは、以下のパラメータ：ノイズ低減パラメータ、鮮明化パラメータ、またはコントラストのうちの少なくとも1つを含む、調整することを行うようにさらに構成される。

【0030】

第2の態様を参照して、第2の態様の第7の可能な実装形態では、カラーカメラは光学画像安定化モジュールを含み、かつ／または白黒カメラは光学画像安定化モジュールを含む。

【0031】

したがって、白黒カメラとカラーカメラのセンサが異なるので、揺れから生じる白黒カメラおよびカラーカメラへの影響は異なる。独立した光学画像安定化モジュールは、各カメラの揺れによって生じる撮像のぼけを個別に防止することができる。

【0032】

第3の態様によれば、カラーカメラであって、カラーカメラが、ターゲットシーンの動的または静的なカラー画像を取り込むように構成された、カラーカメラと、白黒カメラであって、白黒カメラが、カラー画像が取り込まれたときと同時にターゲットシーンの動的または静的な白黒画像を取り込むように構成され、白黒画像の解像度がカラー画像の解像度よりも高い、白黒カメラと、メモリであって、メモリが、カラーカメラによって取り込まれたカラー画像および白黒カメラによって取り込まれた白黒画像を記憶するように構成された、メモリと、プロセッサであって、プロセッサが、ズーム倍率を取得することと、ズーム倍率に基づいて白黒画像およびカラー画像に対して別々にトリミング処理を実行することであって、トリミングされた白黒画像およびトリミングされたカラー画像が同じ視野を有する、実行することと、ターゲットシーンの出力画像を取得するために、トリミングされたカラー画像およびトリミングされた白黒画像をマージすることとを行うように構成された、プロセッサと、スクリーンであって、スクリーンが、出力画像を表示するように構成された、スクリーンとを含む、光学撮像装置が提供される。

【0033】

プロセッサはメモリ内の命令を実行するように構成され、その実行により、プロセッサが第1の態様または第1の態様の任意の可能な実装形態における方法を実行することが可能になる。

【0034】

第4の態様によれば、コンピュータプログラムを記憶するように構成されたコンピュータ可読媒体が提供され、コンピュータプログラムは、第1の態様または第1の態様の任意の可能な実装形態における方法を実行するための命令を含む。

【図面の簡単な説明】

【0035】

【図1】本出願の一実施形態による撮像方法の概略図である。

【図2】本出願の一実施形態による撮像装置の概略図である。

【図3】本出願の一実施形態による視野の概略図である。

【図4】本出願の一実施形態による撮像装置の概略図である。

【図5】本出願の別の実施形態による撮像装置の概略図である。

【図6】本出願の一実施形態による方法の概略フローチャートである。

【図7】本出願の一実施形態による端末デバイスの概略図である。

【発明を実施するための形態】

【0036】

以下で、本出願の実施形態における添付図面を参照して、本出願の実施形態における技術的解決策を明確かつ完全に記載する。

【0037】

図1は、本出願の一実施形態による撮像方法の概略フローチャートを示す。撮像方法は、カラーカメラおよび白黒カメラを含む撮像装置に適用され、白黒カメラの解像度はカラーカメラの解像度よりも高い。図1に示されたように、方法100は以下のステップを含む。

【0038】

ステップ110：ズーム倍率を取得する。

【0039】

ステップ120：ターゲットシーンのカラー画像および白黒画像を同時に取り込み、白黒画像の解像度はカラー画像の解像度よりも高い。

【0040】

ステップ130：ズーム倍率に基づいて白黒画像およびカラー画像に対して別々にトリミング処理を実行し、トリミングされた白黒画像およびトリミングされたカラー画像は同じ視野を有する。

【0041】

ステップ140：ターゲットシーンの出力画像を取得するために、トリミングされたカラー画像およびトリミングされた白黒画像をマージする。

【0042】

図2は、本出願の一実施形態による撮像装置の概略図を示す。図2に示されたように、白黒カメラおよびカラーカメラは、端末デバイスの前面に配置されてよく、端末デバイスの背面に配置されてもよい。白黒カメラおよびカラーカメラは、水平または垂直に配列されてもよい。このことは本出願では限定されない。

【0043】

白黒カメラの場合、その撮像原理は、白黒カメラが白黒カメラと同じ解像度を有するカラーカメラよりも高い解像力および優れた詳細レンダリング性能を有すると決定することを理解されたい。具体的には、白黒カメラおよびカラーカメラが同じ解像度および同じピクセルサイズ（英語：pixelsize）を有する場合、対角線方向では、白黒カメラによって取り込まれた画像の解像力は、カラーカメラによって取り込まれた画像の解像力の2倍の高さをもつ。

【0044】

さらに、より高解像度の白黒カメラが使用される場合、たとえば、カラーカメラの撮像解像度に対する白黒カメラの撮像解像度の比がTである場合、白黒カメラによって取り込まれた画像およびカラーカメラによって取り込まれた画像をマージすることによって取得された出力画像は、カラーカメラの光学ズーム性能を基準にして、水平方向および垂直方向にT倍向上し、対角線方向に2T倍向上した光学ズーム性能を有する。たとえば、カラーカメラ101の解像度は12M（3968×2976）であり、白黒カメラ102の解像度は20M（5120×3840）である。この場合、カラーカメラの元のズーム性能を基準にして、光学ズーム性能が5120／3968倍向上する。

【0045】

ズーム性能は、特定の画像精細度が満たされたときに画像をズームインする性能である。

【0046】

具体的には、ステップ110において、取得されたズーム倍率は、ユーザによって選択された倍率、たとえば、1．5倍ズーム（1．5x）、2倍ズーム（2x）、3倍ズーム（3x）などである。

【0047】

ユーザは、撮像装置のズーム倍率ボタンを使用することにより、または撮像装置のスクリーン上でジェスチャコマンドを入力することにより、ズーム倍率を選択できることを理解されたい。さらに、撮像装置の撮影ボタンが押されるか、または撮像装置のスクリーン上でジェスチャコマンドが入力されると、白黒カメラおよびカラーカメラは、ターゲットシーンの画像を同時に取り込む。露光時間内に、カラーカメラはM個のカラー画像フレームを取り込むことができ、白黒カメラはN個の白黒画像フレームを取り込むことができ、ここで、MおよびNは正の整数である。

【0048】

ステップ130において、ズーム倍率Sに基づいて白黒画像に対してトリミング処理が実行されることは、白黒カメラによって最初に取り込まれた白黒画像が、画像の中心を原点としてトリミングされることを意味し、その結果、トリミング前処理された白黒画像の長さと幅の両方は、それぞれ元の白黒画像の長さおよび幅の1／Sになり、前処理された白黒画像全体のサイズは、元の白黒画像のサイズの1／S²になる。たとえば、ズーム倍率が2xの場合、画像の中心を原点として元の白黒画像をトリミングすることによって取得された前処理された白黒画像の長さと幅の両方は、それぞれ元の白黒画像の長さおよび幅の1／2になり、前処理された白黒画像のサイズは、元の白黒画像のサイズの1／4になる。

【0049】

本明細書では、トリミングされた白黒画像は前処理された白黒画像と呼ばれる場合があり、トリミングされたカラー画像は前処理されたカラー画像と呼ばれる場合があることを理解されたい。

【0050】

さらに、ステップ130において、前処理された白黒画像および前処理されたカラー画像は同じ視野（英語：Field Of View、略してFOV）を有する。図3は、本出願の一実施形態による視野の概略図を示す。図3に示されたように、図3Aは、カメラAおよびカメラBが同じターゲットシーンを別々に撮影したときに提供される概略図であり、図3BはカメラAによって取り込まれた画像であり、図3CはカメラBによって取り込まれた画像である。カメラAおよびカメラBの配列方式により、取得された画像BおよびCも異なる視野を有する。したがって、同じ視野を有する2つの画像はトリミングにより、たとえば、図3Bと図3Cの重複部分、すなわち図3Dを確保することによって取得することができる。

【0051】

したがって、本出願のこの実施形態によって提供される光学撮像方法によれば、カラーカメラによって取り込まれたカラー画像および白黒カメラによって取り込まれた白黒画像がマージされ、その結果、取得された出力画像はより良い光学ズーム性能をもつことができる。

【0052】

場合によっては、本出願の一実装形態では、ターゲットシーンの出力画像を取得するために、トリミングされたカラー画像およびトリミングされた白黒画像をマージするステップは、トリミングされたカラー画像を彩度成分画像および輝度成分画像に分離するステップと、出力画像を取得するために、彩度成分画像およびトリミングされた白黒画像をマージするステップとを含む。

【0053】

言い換えれば、前処理されたカラー画像の輝度成分画像は前処理された白黒画像に置き換えられ、より高い解像力を有する出力画像を取得するために、前処理された白黒画像は彩度成分画像とマージされる。

【0054】

さらに、前処理された白黒画像は実際には輝度情報画像であり、前処理された白黒画像は、カラー画像の輝度成分画像よりも多くの画像詳細をレンダリングすることができる。したがって、カラー画像の輝度成分画像が前処理された白黒画像に置き換えられ、前処理された白黒画像がさらにカラー画像の彩度成分画像とマージされ、より良い光学ズーム性能を有する出力画像を取得することができる。

【0055】

具体的には、前処理された画像が、hsv空間、lab空間、およびyuv空間などの、彩度と輝度が分離された空間に変換され、輝度成分画像および彩度成分画像を取得するために、カラーカメラによって取り込まれたカラー画像の輝度信号および彩度信号が分離される。この動作の目的は、画像に対する輝度処理中に画像の彩度に影響を与えることなく、または画像に対する彩度処理中に画像の輝度に影響を与えることなく、次のアルゴリズムが画像の彩度および輝度に対する独立処理に使用されることを可能にすることである。

【0056】

上記のいくつかのカラーモデルの具体的な説明は以下の通りである。

【0057】

HSVカラーモデルは、色相（英語：Hue、略してH）、飽和度（英語：Saturation、略してS）、および値（英語：Value、略してV）を含む。

【0058】

Labカラーモデルは、3つの要素：明度（L）、ならびに色に関連するaおよびbを含む。Lは明度（英語：Luminosity、略してL）を表し、aはマゼンタから緑色までの範囲を表し、bは黄色から青色までの範囲を表す。

【0059】

YUVカラーモデルでは、「Y」は輝度（LuminanceまたはLuma）、すなわち、グレースケール値を表し、「U」および「V」は彩度（ChrominanceまたはChroma）を表す。

【0060】

具体的には、撮像装置のズーム性能をさらに向上させるために、超解像処理が必要とされる超解像処理は、ハードウェアまたはソフトウェアの方法を使用して、たとえば、補間ベースの画像超解像技術、復元ベースの画像超解像技術、深層学習ベースの画像超解像技術などを使用して、元の画像の解像度を向上させることができる。これは、本出願のこの実施形態では限定されない。

【0061】

前処理されたカラー画像の場合、超解像モジュールは、ユーザによって選択されたズーム比に対応する画像解像度に前処理されたカラー画像をズームインすることができる。言い換えれば、結果は、実際にはデジタルズームの結果であり、画像の解像力および精細度に固有の制限を有する。

【0062】

カラーカメラの場合、露光時間内にM個の画像フレームが取り込まれてもよく、ここで、Mは1以上の正の整数であり、次いで、M個の画像フレームに対する超解像処理によって1つの処理された画像フレームが取得されることを理解されたい。

【0063】

前処理された白黒画像の場合、ユーザによって選択されたズーム倍率がzであり（たとえば、1．5xズーム、2xズームなどが選択され）、カラーカメラの撮像解像度に対する白黒カメラの撮像解像度の比がTであると仮定する。第1のケースでは、z＜Tであるとき、前処理された白黒画像に対して時間領域マルチフレームノイズ低減が実行され、次いで画像がユーザによって選択されたズーム比に対応する画像解像度にズームアウトされ、その結果、マージされるべき彩度成分画像は、ズームアウトされた前処理された白黒画像と同じサイズを有する。処理された白黒画像は、撮像の信号対雑音比を改善しながら、撮像詳細および解像力の利点を保持する。

【0064】

第2のケースでは、z＞Tである場合、白黒カメラによって取り込まれた白黒画像に対して超解像処理が実行され、画像は、ユーザによって選択されたズーム比に対応する画像解像度にズームインされ、その結果、マージされるべき彩度成分画像は、ズームインされた前処理された白黒画像と同じサイズを有する。この処理は、実際に光学ズーム性能を拡大し、より大きいズーム比を取得するために光学ズームとデジタルズームを組み合わせる。解像力および精細度に関する白黒カメラの利点のために、結果はデジタルズームであるが、従来のカメラのデジタルズーム結果と比較して、白黒カメラの解像力および精細度は大幅に改善される。

【0065】

z＝Tであるとき、前処理された白黒画像に対して、画像のズームインまたはズームアウトの代わりにマルチ時間領域ノイズ低減処理が実行されることを理解されたい。

【0066】

白黒カメラの場合、露光時間内にN個の画像フレームが取り込まれてもよく、ここで、Nは1以上の整数であり、次いで、N個の画像フレームに対する超解像処理によって1つの処理された画像フレームが取得されることを理解されたい。

【0067】

NおよびMは同じであっても異なっていてもよいことをさらに理解されたい。

【0068】

言い換えれば、前処理された白黒画像に対して超解像処理が実行され、次いで前処理された白黒画像が彩度成分画像とマージされ、前処理されたカラー画像の輝度成分画像は前処理された白黒画像に置き換えられ、より高い解像力を有する出力画像を取得するために、前処理された白黒画像は彩度成分画像とマージされる。

【0069】

白黒カメラによって取り込まれた白黒画像がN個のフレームを有するとき、トリミングされた白黒画像に対して超解像処理を実行するステップは、ターゲットシーンが高輝度シーンであるとき、N個の画像フレーム内のN1個の白黒画像フレームを使用して超解像処理を実行するステップ、またはターゲットシーンが高輝度シーンではないとき、N個の画像フレーム内のN2個の白黒画像フレームを使用して超解像処理を実行するステップを含み、N、N1、およびN2の各々は正の整数であり、N1＜N2≦Nである。

【0070】

これは、低輝度シーンではノイズが高く、白黒画像の高周波信号を回復するために、超解像処理に複数のフレームが必要とされるが、高輝度シーンではノイズが低く、白黒画像の高周波信号を回復するために、超解像処理に複数のフレームが必要とされない、たとえば、1フレームが必要とされてもよいからである。

【0071】

場合によっては、本出願の一実施形態では、ターゲットシーンの出力画像を取得するために、前処理されたカラー画像および前処理された白黒画像をマージするステップは、前処理されたカラー画像を彩度成分画像および輝度成分画像に分離するステップと、光学可変輝度成分画像を取得するために、輝度成分画像の高周波情報を前処理された白黒画像の高周波情報と置き換えるステップと、出力画像を取得するために、彩度成分画像および彩度成分画像をマージするステップとを含む。

【0072】

前処理されたカラー画像の輝度成分画像が単に前処理された白黒画像に置き換えられる上記の実施形態とは異なり、この実施形態では、光学可変輝度成分画像を取得するために、カラー画像の輝度成分画像の高周波情報のみが前処理された白黒画像の高周波情報に置き換えられ、さらに、出力画像を取得するために、光学可変輝度成分画像が彩度成分画像とマージされる。

【0073】

画像の高周波情報および低周波情報は、様々な画像位置の間の強度変化についての測定基準であり、低周波数情報は、主に画像全体の強度についての包括的な測定基準であり、高周波情報は、主に画像の縁部および画像の輪郭についての測定基準である。高周波情報は相対的な概念であり、異なるフィルタを使用して取得される高周波情報も異なる。たとえば、本出願の一実施形態では、画像の高周波情報を取得するためにガウスフィルタが使用されてもよい。画像の高周波情報は画像詳細を反映する。したがって、カラー画像の輝度成分画像の高周波情報は、前処理された白黒画像の高周波情報に置き換えられ、その結果、取得される光学可変輝度成分画像の解像力および解像度も向上させることができる。

【0074】

カラー画像の光学可変輝度成分画像および彩度成分画像がマージされ、言い換えれば、色空間変換の逆変換が実行されて、最終的に出力画像が取得される。したがって、本出願のこの実施形態では、解像力および精細度に関する白黒画像の利点を利用して、最終ズーム撮像輝度成分の解像力および精細度を改善することができ、それにより、最終出力画像の精細度および解像力が改善される。

【0075】

彩度成分画像は、代替として、超解像処理によって取得された画像であってもよい。

【0076】

さらに、ステップ140の後に、撮像装置は、ディスプレイインターフェース上に、より高い精細度およびより良い解像力を有する出力画像を表示する。

【0077】

場合によっては、本出願の一実施形態では、ターゲットシーンのカラー画像および白黒画像を同時に取り込むステップの前に、方法は、ターゲットシーンの輝度に基づいて、露出時間内にカラーカメラによって取り込まれる画像フレームの数、および露出時間内に白黒カメラによって取り込まれる画像フレームの数を決定するステップをさらに含む。

【0078】

撮像装置は、ターゲットシーンの輝度に基づいて、光学可変シーンにおいて2つのカメラの各々によって取り込まれる画像フレームの数を決定することができる。シーンが比較的高い輝度を有するとき、撮像の信号対雑音比は比較的大きく、したがって比較的少量のフレームが取り込まれ、シーンが比較的低い輝度を有するとき、撮像の信号対雑音比は比較的小さく、したがって比較的大量のフレームが取り込まれる。これにより、画像マージ中のノイズ処理および画像詳細の回復が容易になる。

【0079】

場合によっては、本出願の一実施形態では、シーン制御モジュール204は、ターゲットシーンのズームモードに基づいて光学ズームモジュールの撮像パラメータを調整するようにさらに構成され、撮像パラメータは、以下のパラメータ：ノイズ低減パラメータ、鮮明化パラメータ、またはコントラストのうちの少なくとも1つを含む。

【0080】

言い換えれば、加えて、モジュールは、ノイズ低減、鮮明化、コントラスト、およびダイナミックレンジを調整するように、画像信号処理（Image Signal Processing、略してISP）モジュール203を制御することができる。高輝度シーンでは、ISPモジュールはノイズ低減および鮮明化モジュールを無効にするように制御される。低輝度シーンでは、ISPモジュールはノイズ低減および鮮明化モジュールを有効にし、パラメータを適切なレベルに調整するように制御される。

【0081】

加えて、ズームモードにおけるコントラストおよびダイナミックレンジパラメータと、通常の写真モードにおけるコントラストおよびダイナミックレンジパラメータとの間の差に基づいて、異なるズームモードにおいてコントラストおよびダイナミックレンジパラメータを目標通りに調整することができる。

【0082】

したがって、本出願のこの実施形態における方法によれば、撮像パラメータは様々なシーンに基づいて構成することができる。これにより、最終的な光学可変画像の撮像品質を保証することができる。

【0083】

図4は、本出願の一実施形態による撮像装置の概略図を示す。図2に示されたように、撮像装置400は、
光学ズームモジュール401であって、光学ズームモジュール401が、ズーム倍率を取得するように構成された、光学ズームモジュール401と、
カラーカメラ402であって、カラーカメラ402が、ターゲットシーンのカラー画像を取り込むように構成された、カラーカメラ402と、
白黒カメラ403であって、カラー画像が取り込まれるときと同時にターゲットシーンの白黒画像を取り込むように構成され、白黒画像の解像度はカラー画像の解像度よりも高い、白黒カメラ403と
を含む。

【0084】

光学ズームモジュール403は、ズーム倍率に基づいて白黒画像およびカラー画像に対して別々にトリミング処理を実行することであって、トリミングされた白黒画像およびトリミングされたカラー画像が同じ視野を有する、実行することと、ターゲットシーンの出力画像を取得するために、トリミングされたカラー画像およびトリミングされた白黒画像をマージすることとを行うようにさらに構成される。

【0085】

したがって、本出願のこの実施形態によって提供される撮像装置は、光学ズームモジュールを使用することにより、カラーカメラによって取り込まれたカラー画像および白黒カメラによって取り込まれた白黒画像をマージし、その結果、取得された出力画像はより良い光学ズーム性能をもつことができる。

【0086】

場合によっては、本出願の一実施形態では、光学ズームモジュールは、具体的に、トリミングされたカラー画像を彩度成分画像および輝度成分画像に分離することと、出力画像を取得するために、彩度成分画像およびトリミングされた白黒画像をマージすることとを行うように構成される。

【0087】

場合によっては、撮像装置のズーム性能をさらに向上させるために、光学ズームモジュール401内に超解像モジュールが存在してもよい。超解像モジュールは、ハードウェアまたはソフトウェアの方法を使用して元の画像の解像度を改善することができる。

【0088】

カラーカメラ402が露光時間内にM個の画像フレームを取り込むと、超解像モジュールは、超解像処理中にM個の画像フレームを1つの画像フレームにマージし、ここで、Mは1以上の整数である。

【0089】

白黒カメラ403が露光時間内にN個の画像フレームを取り込むと、超解像モジュールは、超解像処理中にN個の画像フレームを1つの画像フレームにマージし、ここで、Nは1以上の整数である。

【0090】

場合によっては、本出願の一実施形態では、光学ズームモジュール401は、具体的に、トリミングされたカラー画像を彩度成分画像および輝度成分画像に分離することと、光学可変輝度成分画像を取得するために、輝度成分画像の高周波情報をトリミングされた白黒画像の高周波情報と置き換えることと、出力画像を取得するために、彩度成分画像および光学可変輝度成分画像をマージすることとを行うように構成される。

【0091】

光学ズームモジュールは、図1に示された実施形態に記載された対応する方法を実行できることを理解されたい。簡潔にするために、詳細は繰り返されない。

【0092】

場合によっては、本出願の一実施形態では、図5に示されたように、図5は、本出願の一実施形態による撮像装置の概略図を示す。撮像装置500は、光学ズームモジュール501、カラーカメラ502、白黒カメラ503、シーン制御モジュール504、画像信号処理モジュール505、符号化モジュール506、およびプレビューモジュール507を含む。

【0093】

カラーカメラ502、白黒カメラ503、および光学ズームモジュール501によって実行され得る機能は、図4に示された実施形態において実行され得る機能と同様であり、詳細は繰り返されない。画像信号処理モジュール505は、ターゲットシーンのカラー画像をyuv画像に変換し、画像補正、ノイズ低減、鮮明化、および色管理などの基本的な画像処理動作を実行するように構成される。符号化モジュール506は、主に、yuv画像を圧縮し符号化して、特定のフォーマット（たとえば、jpgフォーマット）の画像を生成するように構成される。プレビューモジュール507は、表示画面に画像フレームを送信して、リアルタイムの写真をユーザに提示するように構成される。

【0094】

シーン制御モジュール504は、ターゲットシーンの輝度に基づいて、露光時間内にカラーカメラによって取り込まれる画像フレームの数、および露光時間内に白黒カメラによって取り込まれる画像フレームの数を決定するように構成される。

【0095】

具体的には、シーン制御モジュール504は、光学可変シーンにおいて2つのカメラの各々によって取り込まれる画像フレームの数を制御する。シーンが比較的高い輝度を有するとき、撮像の信号対雑音比は比較的大きく、したがって比較的少量のフレームが取り込まれ、シーンが比較的低い輝度を有するとき、撮像の信号対雑音比は比較的小さく、したがって比較的大量のフレームが取り込まれる。

【0096】

場合によっては、本出願の一実施形態では、シーン制御モジュール504は、ターゲットシーンのズームモードに基づいて光学ズームモジュールの撮像パラメータを調整するようにさらに構成され、撮像パラメータは、以下のパラメータ：ノイズ低減パラメータ、鮮明化パラメータ、またはコントラストのうちの少なくとも1つを含む。

【0097】

言い換えれば、加えて、モジュールは、ノイズ低減、鮮明化、コントラスト、およびダイナミックレンジを調整するように、画像信号処理（Image Signal Processing、略してISP）モジュール505を制御することができる。高輝度シーンでは、ISPモジュールはノイズ低減および鮮明化モジュールを無効にするように制御される。低輝度シーンでは、ISPモジュールはノイズ低減および鮮明化モジュールを有効にし、パラメータを適切なレベルに調整するように制御される。

【0098】

加えて、ISPモジュール505は、ズームモードにおけるコントラストおよびダイナミックレンジパラメータと、通常の写真モードにおけるコントラストおよびダイナミックレンジパラメータとの間の差に基づいて、ズームモードにおいてコントラストおよびダイナミックレンジパラメータを目標通りに調整するように制御することができる。

【0099】

言い換えれば、ISPモジュールの撮像パラメータは様々なシーンに基づいて構成される。これにより、最終的な光学可変画像の撮像品質を保証することができる。

【0100】

場合によっては、本出願の一実施形態では、カラーカメラは光学画像安定化モジュールを含み、かつ／または白黒カメラは光学画像安定化モジュールを含む。

【0101】

言い換えれば、白黒カメラおよびカラーカメラの各々に光学画像安定化（英語：Optical Image Stabilization、略してOIS）モジュールが追加されてもよい。ズームシーンでは、撮像の精細度は携帯電話の揺れにより敏感であり、OISモジュールを追加すると、携帯電話の揺れによって生じる撮像のぼけを防止し、ズーム撮影の品質を大幅に向上させることができる。さらに、カラーカメラと白黒カメラのセンサが異なるので、同じ揺れから生じるカラーカメラおよび白黒カメラへの影響は異なる。独立したOISモジュールを追加すると、カラーカメラと白黒カメラの両方が揺れによって生じる撮像のぼけをうまく防止するのを助けることができる。

【0102】

図6は、本出願の一実施形態による方法の概略フローチャートである。方法の実行主体は、図4または図5に示された撮像装置であってもよい。図6に示されたように、方法は以下のステップを含む。

【0103】

ステップ601：光学可変シーンにおいて2つのカメラの各々によって取り込まれる画像フレームの数を制御する。シーンが比較的高い輝度を有するとき、撮像の信号対雑音比は比較的大きく、したがって比較的少量のフレームが取り込まれ、シーンが比較的低い輝度を有するとき、撮像の信号対雑音比は比較的小さく、したがって比較的大量のフレームが取り込まれる。

【0104】

加えて、ISPモジュールは、ノイズ低減、鮮明化、コントラスト、およびダイナミックレンジを調整するように制御される。高輝度シーンでは、ノイズ低減および鮮明化モジュールが無効にされる。低輝度シーンでは、ノイズ低減および鮮明化モジュールが有効にされ、パラメータが適切なレベルに調整される。ズームモードにおけるコントラストおよびダイナミックレンジパラメータと、通常の写真モードにおけるコントラストおよびダイナミックレンジパラメータとの間の差に基づいて、ズームモードにおいてコントラストおよびダイナミックレンジパラメータが目標通りにISPモジュール内で調整される必要がある。

【0105】

ステップ602：カラーカメラのバイエルセンサがM個の画像フレームを取り込む。

【0106】

ステップ603：白黒カメラのモノクロセンサがN個の画像フレームを取り込む。

【0107】

ステップ604：画像のトリミングを実行する、すなわち、ユーザによって選択された倍率に基づいて、カラーカメラによって取り込まれた画像および白黒カメラによって取り込まれた画像を別々にトリミングし、その結果、トリミングされた白黒画像およびトリミングされたカラー画像は同じ視野を有する。

【0108】

ステップ605：カラーカメラの輝度信号と彩度信号を分離するために、彩度と輝度を分離して、カラーカメラの画像信号を、hsv空間、lab空間、およびyuv空間などの、彩度と輝度が分離された空間に変換する。次いで、輝度処理中に画像の彩度に影響を与えることなく、または彩度処理中に画像の輝度に影響を与えることなく、画像の彩度および輝度に対して独立処理を実行することができる。言い換えれば、M個のトリミングされたカラー画像フレームは、M個の彩度成分画像フレームおよびM個の輝度成分画像フレームに分離される。

【0109】

ステップ606：超解像処理を実行する、すなわち、M個の彩度成分画像フレームとM個の輝度成分画像フレームの両方に対して超解像処理を実行して、1つの処理された彩度成分画像フレームおよび1つの処理された輝度成分画像フレームを取得する。

【0110】

ステップ607：現在のターゲットシーンが高輝度シーンであるかどうかを判定し、現在のターゲットシーンが高輝度シーンである場合、N1個のフレームが使用されてもよく、またはターゲットシーンが高輝度シーンではない、すなわち低輝度シーンである場合、N2個のフレームが使用されてもよく、N1＜N2≦Nであり、N、N1、およびN2の各々は正の整数である。これは、低輝度シーンではノイズが高く、白黒画像の高周波信号を回復するために、超解像処理に複数のフレームが必要とされるが、高輝度シーンではノイズが低く、白黒画像の高周波信号を回復するために、超解像処理に複数のフレームが必要とされない、たとえば、1フレームが必要とされてもよいからである。

【0111】

ステップ609：光学ズーム処理を実行する。光学ズーム処理は、少なくとも2つのオプションの実装形態を含む。実装形態1では、光学可変輝度成分画像を取得するために、超解像処理を受けた輝度成分画像が超解像処理を受けた白黒画像に置き換えられる。実装形態2では、光学可変輝度成分画像を取得するために、超解像処理を受けた輝度成分の高周波信号が超解像処理を受けた白黒画像の高周波信号に置き換えられる。

【0112】

ステップ609は、図1に示された実施形態における対応するプロセスおよび方法をさらに含んでもよく、詳細は本明細書では繰り返されないことを理解されたい。

【0113】

ステップ610：彩度成分画像およびステップ609で取得された光学可変輝度画像をマージして、最終的な出力画像を取得する。

【0114】

ステップ611：画像を出力し、撮像装置の表示画面に出力画像を表示する。

【0115】

図7は、本発明の一実施形態による端末デバイス700を示す。端末デバイスが携帯電話である一例が使用される。図7は、本発明のこの実施形態に関連する携帯電話700の部分構造のブロック図を示す。図7を参照すると、携帯電話700は、無線周波数（Radio Frequency、RF）回路710、電源720、プロセッサ730、メモリ740、入力ユニット750、表示ユニット760、センサ770、オーディオ周波数回路780、およびワイヤレスフィデリティ（wireless fidelity、WiFi）モジュール790などの構成要素を含む。本発明のこの実施形態では、センサ770は白黒カメラおよびカラーカメラを含む。図7に示された携帯電話の構造が携帯電話に対するいかなる制限も構成せず、携帯電話は、図に示された構成要素よりも多いかもしくは少ない構成要素、またはいくつかの構成要素の組合せ、または異なる配置の構成要素を含んでもよいことを、当業者なら理解されよう。

【0116】

以下で、図7を参照して、携帯電話700の構成要素を詳細に記載する。

【0117】

RF回路710は、情報を受信および送信するプロセスにおいて、または通話中に信号を受信および送信するように構成することができ、特に、基地局のダウンリンク情報を受信した後、RF回路710は処理のためにプロセッサ730にダウンリンク情報を送信する。加えて、RF回路710は基地局にアップリンク関連データを送信する。一般に、RF回路には、アンテナ、少なくとも1つの増幅器、トランシーバ、カプラ、低雑音増幅器（Low Noise Amplifier、LNA）、デュプレクサなどが含まれるが、それらに限定されない。加えて、RF回路710は、無線通信に介してネットワークおよび別のデバイスと通信することもできる。無線通信には、限定はしないが、モバイル通信用グローバルシステム（Global System of Mobile communication、GSM（登録商標））、汎用パケット無線サービス（General Packet Radio Service、GPRS）、符号分割多元接続（Code Division Multiple Access、CDMA）、広帯域符号分割多元接続（Wideband Code Division Multiple Access、WCDMA（登録商標））、ロングタームエボリューション（Long Term Evolution、LTE）、電子メール、ショートメッセージングサービス（Short Messaging Service、SMS）などを含む、任意の通信規格または通信プロトコルが使用されてもよい。

【0118】

メモリ740は、ソフトウェアプログラムおよびモジュールを記憶するように構成されてもよい。プロセッサ730は、メモリ740に記憶されたソフトウェアプログラムおよびモジュールを実行することにより、携帯電話700の様々な機能アプリケーションおよびデータ処理を実行する。メモリ740は、主に、プログラム記憶領域およびデータ記憶領域を含んでもよい。プログラム記憶領域は、オペレーティングシステム、（音声再生機能および画像再生機能などの）少なくとも1つの機能によって必要とされるアプリケーションプログラムなどを記憶することができる。データ記憶領域は、携帯電話700の使用に基づいて作成された（オーディオデータおよび電話帳などの）データなどを記憶することができる。加えて、メモリ740は、高速ランダムアクセスメモリを含んでもよく、少なくとも1つの磁気ディスクストレージデバイス、フラッシュメモリデバイスなどの不揮発性メモリ、または別の揮発性半導体ストレージデバイスをさらに含んでもよい。

【0119】

入力ユニット750は、入力された数字または文字の情報を受け取り、携帯電話700のユーザ設定および機能制御に関連するキー信号入力を生成するように構成されてもよい。具体的には、入力ユニット750は、タッチパネル751および別の入力デバイス752を含んでもよい。タッチスクリーンとも呼ばれるタッチパネル751は、タッチパネル751の上または近くでユーザによって実行されたタッチ操作（たとえば、指、スタイラス、または任意の他の適切な物体もしくは付属品を使用してユーザによってタッチパネル751の上または近くで実行された操作）を収集し、事前設定されたプログラムに従って対応する接続装置を駆動することができる。場合によっては、タッチパネル751は、2つの部品：タッチ検出装置およびタッチコントローラを含んでもよい。タッチ検出装置は、ユーザのタッチ方位を検出し、タッチ操作によって生成された信号を検出し、タッチコントローラに信号を送信する。タッチコントローラは、タッチ検出装置からタッチ情報を受け取り、タッチ情報を接点座標に変換し、プロセッサ730に接点座標を送信し、プロセッサ730によって送信されたコマンドを受け取り、そのコマンドを実行することができる。加えて、タッチパネル751は、抵抗型、容量型、赤外線型、および表面弾性波型などの複数のタイプを使用して実装されてもよい。タッチパネル751に加えて、入力ユニット750は別の入力デバイス752を含んでもよい。具体的には、別の入力デバイス752には、限定はしないが、物理キーボード、（音量制御キーまたはオン／オフキーなどの）ファンクションキー、トラックボール、マウス、およびジョイスティックのうちの1つまたは複数が含まれてもよい。

【0120】

表示ユニット760は、ユーザによって入力された情報またはユーザに提供された情報、および携帯電話700の様々なメニューを表示するように構成されてもよい。表示ユニット760は表示パネル761を含んでもよい。場合によっては、表示パネル761は、LCD、OLEDなどの形態で構成されてもよい。さらに、タッチパネル751は表示パネル761を覆ってもよい。タッチパネル751の上または近くでタッチ操作を検出した後、タッチパネル751は、タッチイベントタイプを特定するために、プロセッサ730にタッチ操作に関する情報を送信する。次いで、プロセッサ730は、タッチイベントタイプに基づいて表示パネル761上に対応する視覚出力を提供する。図7において、タッチパネル751および表示パネル751は、携帯電話700の入出力機能を実現する2つの独立した構成要素として機能する。しかしながら、いくつかの実施形態では、タッチパネル751および表示パネル761が一体化されて、携帯電話700の入出力機能を実現してもよい。

【0121】

携帯電話700は、光センサ、運動センサ、および別のセンサなどの少なくとも1つのセンサ770をさらに含んでもよい。具体的には、光センサには、周辺光センサおよび近接センサが含まれてもよい。周辺光センサは、周辺光の明るさに基づいて表示パネル761の輝度を調整することができる。近接センサは、携帯電話700がユーザの耳の近くに移動すると、表示パネル761および／またはバックライトをオフにすることができる。運動センサのタイプとして、加速度センサは、方向（一般に3軸）の加速度の大きさを検出することができ、携帯電話が静止しているときの重力の大きさおよび方向を検出することができ、（横長／縦長モード切替え、関連ゲーム、または磁力計姿勢校正などの）携帯電話の姿勢アプリケーション、（歩数計機能、またはノックなどの）振動認識関連機能などを認識するように構成されてもよい。ジャイロスコープ、気圧計、湿度計、温度計、または赤外線センサなどの、携帯電話700内に構成することができる別のセンサについては、詳細は本明細書では繰り返されない。

【0122】

オーディオ周波数回路780、ラウドスピーカ781、およびマイクロフォン782は、ユーザと携帯電話700との間のオーディオインターフェースを提供することができる。オーディオ周波数回路780は、受信されたオーディオデータの変換後に取得された電気信号をラウドスピーカ781に送信することができる。ラウドスピーカ781は、電気信号を音声信号に変換し、音声信号を出力する。加えて、マイクロフォン782は、集音された音声信号を電気信号に変換する。オーディオ周波数回路780は、電気信号を受信し、電気信号をオーディオデータに変換し、次いで、オーディオデータをRF回路710に出力してオーディオデータを別の携帯電話に送信するか、またはさらなる処理のためにオーディオデータをメモリ740に出力する。

【0123】

WiFiは短距離ワイヤレス伝送技術に属する。WiFiモジュール790を用いて、携帯電話700は、ユーザが電子メールを受信および送信し、ウェブページをブラウズし、ストリーミングメディアにアクセスすることなどを助けることができる。WiFiモジュール790は、ユーザにブロードバンドインターネットへのワイヤレスアクセスを提供する。図7はWiFiモジュール790を示しているが、WiFiモジュール790は、携帯電話700の必須の構成要素ではなく、本発明の本質の範囲を変更することなく、必要に応じて完全に省略されてもよいことが理解されよう。

【0124】

プロセッサ730は携帯電話700の制御センタであり、様々なインターフェースおよび回線を使用して携帯電話全体のすべての部品に接続され、様々な携帯電話ベースのサービスを実現するために、メモリ740に記憶されたソフトウェアプログラムおよび／またはモジュールを起動または実行し、メモリ740に記憶されたデータを呼び出すことにより、携帯電話700の様々な機能およびデータ処理を実行する。場合によっては、プロセッサ730は1つまたは複数の処理ユニットを含んでもよい。好ましくは、アプリケーションプロセッサおよびモデムプロセッサが、プロセッサ730に統合されてもよい。アプリケーションプロセッサは、主にオペレーティングシステム、ユーザインターフェース、アプリケーションプログラムなどを処理する。モデムプロセッサは、主に無線通信を処理する。モデムプロセッサは、代替として、プロセッサ730に統合されなくてもよいことが理解されよう。

【0125】

携帯電話700は、すべての構成要素に電力を供給する（バッテリなどの）電源720をさらに含む。好ましくは、電源は、電源管理システムを使用してプロセッサ730に論理的に接続されてもよく、その結果、充放電管理および電力消費管理などの機能が電源管理システムを使用して実現される。

【0126】

図示されていないが、携帯電話700はブルートゥース（登録商標）モジュールなどをさらに含んでもよく、詳細は本明細書では繰り返されない。

【0127】

本明細書において開示された実施形態に記載された例と組み合わせて、方法ステップおよびユニットは、電子ハードウェア、コンピュータソフトウェア、またはそれらの組合せによって実装されてもよいことを当業者なら認識されよう。ハードウェアとソフトウェアとの間の互換性を明確に記載するために、上記は、一般に、機能に応じて各実施形態のステップおよび構成物を記載している。機能がハードウェアによって実行されるか、またはソフトウェアによって実行されるかは、技術的解決策の特定の用途および設計制約条件に依存する。当業者は、様々な方法を使用して、特定の用途ごとに記載された機能を実装することができるが、その実装形態が本出願の範囲を超えると考えられるべきではない。

【0128】

本明細書において開示された実施形態に記載された方法またはステップは、ハードウェア、プロセッサによって実行されるソフトウェアプログラム、またはそれらの組合せによって実装されてもよい。ソフトウェアプログラムは、ランダムアクセスメモリ（RAM）、メモリ、読出し専用メモリ（ROM）、電気的プログラマブルROM、電気的消去可能プログラマブルROM、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM、または当技術分野で知られている任意の他の形態の記憶媒体に存在してもよい。

【0129】

本出願は、添付の図面を参照して、かつ例示的な実施形態と組み合わせて詳細に記載されているが、本出願はこれに限定されない。本出願から逸脱することなく、当業者によって本出願の実施形態に対して行うことができる様々な等価な修正または置換は、本出願の範囲内に含まれるべきである。

【符号の説明】

【0130】

100 方法
101 カラーカメラ
102 白黒カメラ
203 画像信号処理モジュール
204 シーン制御モジュール
400 撮像装置
401 光学ズームモジュール
402 カラーカメラ
403 白黒カメラ
500 撮像装置
501 光学ズームモジュール
502 カラーカメラ
503 白黒カメラ
504 シーン制御モジュール
505 画像信号処理モジュール
506 符号化モジュール
507 プレビューモジュール
700 端末デバイス、携帯電話
710 無線周波数（RF）回路
720 電源
730 プロセッサ
740 メモリ
750 入力ユニット
751 タッチパネル
752 別の入力デバイス
760 表示ユニット
761 表示パネル
770 センサ
780 オーディオ周波数回路
781 ラウドスピーカ
782 マイクロフォン
790 ワイヤレスフィデリティ（WiFi）モジュール
A カメラ
B カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】