特許 7145208 デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-21

(45)【発行日】2022-09-30

(54)【発明の名称】デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220922BHJP

   G02B 7/30 20210101ALI20220922BHJP

   G03B 19/07 20210101ALI20220922BHJP

   G03B 35/08 20210101ALI20220922BHJP

   G06T 5/50 20060101ALI20220922BHJP

   H04N 5/225 20060101ALI20220922BHJP

【ＦＩ】

H04N5/232 290

G02B7/30

G03B19/07

G03B35/08

G06T5/50

H04N5/225 800

【請求項の数】 12

(21)【出願番号】P 2020518405

(86)(22)【出願日】2018-11-09

(65)【公表番号】

(43)【公表日】2020-12-17

(86)【国際出願番号】 CN2018114921

(87)【国際公開番号】W WO2019105207

(87)【国際公開日】2019-06-06

【審査請求日】2020-03-30

【審判番号】

【審判請求日】2022-03-01

(31)【優先権主張番号】201711242048.3

(32)【優先日】2017-11-30

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】516227559

【氏名又は名称】オッポ広東移動通信有限公司

【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．

【住所又は居所原語表記】Ｎｏ． １８ Ｈａｉｂｉｎ Ｒｏａｄ，Ｗｕｓｈａ， Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ， Ｇｕａｎｇｄｏｎｇ ５２３８６０ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100152205

【弁理士】

【氏名又は名称】吉田 昌司

(74)【代理人】

【識別番号】100137523

【弁理士】

【氏名又は名称】出口 智也

(72)【発明者】

【氏名】オウヤン、ダン

(72)【発明者】

【氏名】タン、グオフイ

【合議体】

【審判長】千葉 輝久

【審判官】樫本 剛

【審判官】田中 啓介

(56)【参考文献】

【文献】特開２００３－１８４４５（ＪＰ，Ａ）

【文献】特開２０１６－１２９２８９（ＪＰ，Ａ）

【文献】特開２０１２－１６０８６３（ＪＰ，Ａ）

【文献】特開２０１１－９１５７０（ＪＰ，Ａ）

【文献】特開２０１３－１２１１７３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

H04N 5/225 800

(57)【特許請求の範囲】

【請求項1】

デュアルカメラベースの撮像のための方法であって、前記デュアルカメラが第１のカメラと第２のカメラとを含み、前記第１のカメラが、前記第２のカメラの解像度よりも高い解像度を有し、前記第２のカメラの感度よりも低い感度を有し、前記方法が、
周囲輝度に従って前記デュアルカメラの中から主カメラと補助カメラとを決定することと、
前記主カメラで撮影された第１の画像に従って第３の画像を生成することと、
前記主カメラが前記補助カメラの画角（ＦＯＶ）以下の画角を有する場合、前記第１の画像を前記第３の画像であると判断することと、
前記主カメラが前記補助カメラの画角（ＦＯＶ）よりも大きい画角を有する場合、前記補助カメラで撮影された第２の画像と同じ視野を有する前記第３の画像を取得するために前記第１の画像を切り取ることと、
前記第１の画像と前記第２の画像とに従って前記第３の画像の深度情報を計算することと、
第４の画像を取得するために前記第３の画像の前記深度情報に従って前記第３の画像に対してぼかし処理を行うことと
を含み、
前記周囲輝度に従って前記デュアルカメラの中から前記主カメラと前記補助カメラとを決定することが、
前記周囲輝度が輝度閾値よりも高い場合、前記第１のカメラを前記主カメラであると判断し、前記第２のカメラを前記補助カメラであると判断すること、または
前記周囲輝度が前記輝度閾値以下である場合、前記第２のカメラを前記主カメラであると判断し、前記第１のカメラを前記補助カメラであると判断すること
を含む、方法。

【請求項2】

前記第１のカメラと前記第２のカメラとの前記感度の国際標準化機構、ＩＳＯ、値を読み取ることと、
前記ＩＳＯ値に従って前記周囲輝度を決定することと
をさらに含む、請求項１に記載の方法。

【請求項3】

前記第１の画像を前記主カメラで撮影し、前記第２の画像を前記補助カメラで撮影することが、
前記第２のカメラを合焦のために駆動することと、
前記第２のカメラが前記合焦を完了したことに応答して、前記第２のカメラのモータの第２の駆動電流値を取得することと、
前記第２の駆動電流値に従って前記第１のカメラのモータの第１の駆動電流値を決定することと、
前記第１の駆動電流値を使用して前記第１のカメラを合焦のために駆動することと
をさらに含む、請求項１または２に記載の撮像方法。

【請求項4】

前記第１の画像と前記第２の画像とに従って前記第３の画像の深度情報を計算することが、
前記第１の画像内と前記第２の画像内の両方の複数の点について、前記第１の画像と前記第２の画像との間の前記複数の点の各々の変位を計算することと、
前記変位に関連した情報を前記深度情報であると見なすことと
を含む、請求項１から３のいずれか一項に記載の撮像方法。

【請求項5】

前記第３の画像の前記深度情報に従って前記第３の画像に対してぼかし処理を行うことが、
前記第３の画像の前景領域と背景領域を決定することと、
前記深度情報と合焦領域とに従って前記前景領域の第１の深度情報と前記背景領域の第２の深度情報とを取得することと、
前記第１の深度情報と前記第２の深度情報とに従ってぼかし強度を生成することと、
前記ぼかし強度に従って前記第３の画像の前記背景領域に対してぼかし処理を行うことと
を含む、請求項１から４のいずれか一項に記載の撮像方法。

【請求項6】

前記ぼかし強度に従って前記第３の画像の前記背景領域に対してぼかし処理を行うことが、
前記第３の画像の前記背景領域内の各画素のぼかし係数を、前記ぼかし強度と前記画素の深度情報とに従って取得することであって、前記ぼかし係数が前記ぼかし強度に関連し、前記ぼかし係数が高いほど前記ぼかし強度が高いことと、
各画素の前記ぼかし係数に従って前記第３の画像の前記背景領域に対してぼかし処理を行うことと
を含む、請求項５に記載の撮像方法。

【請求項7】

前記第３の画像の前記深度情報に従って前記第３の画像に対してぼかし処理を行うことが、
前記第３の画像の背景領域を決定することと、
前記深度情報と合焦領域とに従って前記背景領域の第２の深度情報を取得することと、 前記第３の画像の前記背景領域の前記第２の深度情報と前記合焦領域の深度情報との差を取得することと、
対応するぼかし強度を取得するために、前記差に従って、前記差とぼかし強度との間の事前に格納されたマッピング関係を照会することと、
前記対応するぼかし強度に従って前記第３の画像の前記背景領域に対してぼかし処理を行うことと
を含む、請求項１から４のいずれか一項に記載の撮像方法。

【請求項8】

前記第１の画像を前記主カメラで撮影し、前記第２の画像を前記補助カメラで撮影することが、
ビューファインディングと撮影を連続して行って、前記主カメラによって撮影されたｎフレームの画像と前記補助カメラによって撮影されたｍフレームの画像とをそれぞれ取得するために前記主カメラと前記補助カメラと同時に使用することと、
前記第１の画像を取得するために前記主カメラによって撮影された前記ｎフレームの画像に対して合成ノイズ低減を行うことと、
前記第２の画像を取得するために前記補助カメラによって撮影された前記ｍフレームの画像に対して前記合成ノイズ低減を行うことと
をさらに含み、ｍとｎとが１より大きい整数である、請求項１から７のいずれか一項に記載の撮像方法。

【請求項9】

前記合成ノイズ低減を行うことが、
同じ位置の前記撮影画像の画素が前記画素の値に従ってノイズポイントに対応すると判断することと、
前記ノイズポイント上の正しい色を推定し、前記ノイズポイントに対して画素置換処理を行うことと
を含む、請求項８に記載の撮像方法。

【請求項10】

前記合成ノイズ低減を行うことが、
同じ位置の前記撮影画像の画素の値を読み取ることと、
前記同じ位置の前記取得された画像の画素の値として前記値の加重平均を計算することと
を含む、請求項８に記載の撮像方法。

【請求項11】

第１のカメラと、
第２のカメラと、
プロセッサと、
コンピュータプログラムを格納したメモリと
を含み、
前記第１のカメラが前記第２のカメラの解像度よりも高い解像度を有し、前記第２のカメラの感度よりも低い感度を有し、
前記コンピュータプログラムが、前記プロセッサによって実行されると、前記プロセッサに、請求項１から１０のいずれか一項に記載の方法を実施させる、移動端末。

【請求項12】

コンピュータプログラムが格納されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムが請求項１から１０のいずれか一項に記載の方法を実施するためにプロセッサによって実行される、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、移動端末の技術分野に関し、特に、デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体に関する。

【背景技術】

【0002】

デュアルカメラは、移動端末機器で広く使用されるようになっている。デュアルカメラは通常、望遠レンズと広角レンズとを含む。望遠レンズは写真を撮るために使用され、広角レンズは、それに続く画像ぼかし処理のために、写真の深度情報の計算を支援するのに使用される。

【0003】

既存のデュアルカメラは、高輝度環境では良好な画像効果を有するが、暗い環境では画像効果が低い。

【発明の概要】

【課題を解決するための手段】

【0004】

本開示の実施形態の第１の態様によれば、デュアルカメラベースの撮像のための方法が開示され、デュアルカメラは第１のカメラと第２のカメラとを含み、第１のカメラの解像度は第２のカメラの解像度よりも高く、第２のカメラのＩＳＯは第１のカメラのＩＳＯよりも高い。本方法は、周囲輝度に従ってデュアルカメラの中から主カメラと補助カメラとが決定される動作と、主カメラで撮影された第１の画像に従って第３の画像が生成される動作と、第１の画像と補助カメラで撮影された第２の画像とに従って第３の画像の深度情報が計算される動作と、第４の画像を取得するために第３の画像の深度情報に従って第３の画像に対してぼかし処理が行われる動作と、を含む。

【0005】

本開示の実施形態のデュアルカメラベースの撮像のための方法によれば、主カメラと補助カメラの性能を現在の周囲輝度と合致させることができ、画像効果が保証され、従来技術の暗い環境でのデュアルカメラの画像効果が比較的低いという技術的問題が解決される。

【0006】

本開示の実施形態の第２の態様によれば、移動端末が開示される。本移動端末は、第１のカメラと、第２のカメラと、プロセッサと、コンピュータプログラムを格納するメモリとを含む。第１のカメラは第２のカメラの解像度よりも高い解像度と、第２のカメラの感度よりも低い感度とを有し、コンピュータプログラムは、プロセッサによって実行されると、プロセッサに方法を実施させる。

【0007】

本開示の実施形態の第３の態様によれば、コンピュータ可読記憶媒体が開示され、本コンピュータ可読記憶媒体にはコンピュータプログラムが格納されてもよく、コンピュータプログラムは第１の態様によるデュアルカメラベースの撮像のための方法を実施するためにプロセッサによって実行され得る。

【0008】

本開示のその他の態様および利点は、一部は以下の説明に提示され、一部は、以下の説明から明らかになり、または本開示を実施することによって理解されるであろう。

【0009】

本開示の上記および／またはその他の態様および利点は、図面と組み合わせて以下の実施形態に対してなされる説明を読めば明らかになり、理解しやすくなるであろう。

【図面の簡単な説明】

【0010】

【図1】本開示の一実施形態によるデュアルカメラベースの撮像のための方法を示すフローチャートである。

【図2】三角測量測距原理を示す概略図である。

【図3】視差画像を示す概略図である。

【図4】本開示の一実施形態によるデュアルカメラベースの撮像のための別の方法を示すフローチャートである。

【図5】本開示の一実施形態によるデュアルカメラベースの撮像装置を示す構造図である。

【図6】本開示の別の実施形態による端末機器を示す構造図である。

【図7】一実施形態による画像処理回路を示す概略図である。

【発明を実施するための形態】

【0011】

本開示の実施形態について以下で詳細に説明する。図面には実施形態の例が示されており、同一もしくは類似の参照符号は、常に同一もしくは類似の構成要素または同一もしくは類似の機能を備えた構成要素を表す。図面と組み合わせて以下で説明される実施形態は例示であり、本開示を説明するためのものであり、本開示に対する限定として理解されるべきではない。

【0012】

本開示の実施形態によるデュアルカメラベースの撮像のための方法および装置について、図面と組み合わせて以下で説明する。

【0013】

本開示の実施形態による撮像方法を実行するための装置は、デュアルカメラを備えたハードウェアデバイス、例えば、携帯電話、タブレットコンピュータ、携帯情報端末、およびウェアラブルデバイスであり得る。ウェアラブルデバイスは、スマートバンド、スマートウォッチ、スマートグラスなどであり得る。

【0014】

デュアルカメラを備えたハードウェアデバイスは撮影セットを含み、撮影セットは第１のカメラと第２のカメラとを含む。第１のカメラと第２のカメラとは各々、レンズと、イメージセンサと、ボイス・コイル・モータとを備える。デュアルカメラの第１のカメラと第２のカメラとが各々カメラコネクタと接続されているので、ボイス・コイル・モータはカメラコネクタによって提供される電流値に従って駆動され、第１のカメラと第２のカメラとは、レンズとイメージセンサとの間の距離を調整して合焦を実現するようにボイス・コイル・モータによって駆動される。

【0015】

実施形態で提供されるデュアルカメラでは、第１のカメラの解像度は第２のカメラの解像度よりも高く、第２のカメラの感度（例えばＩＳＯ値）は第１のカメラの感度よりも高い。したがって、最初は、第２のカメラだけが合焦に使用され得る。第２のカメラが合焦を完了すると、第２のカメラのモータの第２の駆動電流値が取得される。さらに、第１のカメラと第２のカメラとが同じ集束距離を有するという条件下で、第１のカメラのモータの第１の駆動電流値は第２の駆動電流値に従って決定される。次いで、第１の駆動電流値は、合焦のために第１のカメラを駆動するのに使用される。第２のカメラは解像度が比較的低く、よって画像処理速度が高いので、合焦速度が増し得、先行技術のデュアルカメラの合焦速度が低いという技術的問題が解決される。

【0016】

第１の態様では、デュアルカメラベースの撮像のための方法が提供され、デュアルカメラは第１のカメラと第２のカメラとを含み、第１のカメラは第２のカメラの解像度よりも高い解像度を有し、第２のカメラの感度よりも低い感度を有し、本方法は以下の動作を含む。周囲輝度に従ってデュアルカメラの中から主カメラと補助カメラとが決定される。主カメラで撮影された第１の画像に従って第３の画像が生成される。第１の画像と補助カメラで撮影された第２の画像とに従って第３の画像の深度情報が計算される。第４の画像を取得するために第３の画像の深度情報に従って第３の画像に対してぼかし処理が行われる。

【0017】

一例では、周囲輝度に従ってデュアルカメラの中から主カメラと補助カメラとを決定することに関して、周囲輝度が輝度閾値よりも高い場合、第１のカメラは主カメラであると判断されてもよく、第２のカメラは補助カメラであると判断され、または周囲輝度が輝度閾値以下である場合、第２のカメラは主カメラであると判断され、第１のカメラは補助カメラであると判断され得る。

【0018】

一例では、第１の画像に従って第３の画像を生成することに関して、主カメラが補助カメラの画角（ｆｉｅｌｄ ａｎｇｌｅ ｏｆ ｖｉｅｗ（ＦＯＶ））以下の画角を有する場合、第１の画像は第３の画像であると判断され得る。

【0019】

一例では、第１の画像に従って第３の画像を生成することに関して、主カメラが補助カメラの画角（ＦＯＶ）よりも大きい画角を有する場合、第１の画像は、第２の画像と同じ視野を有する第３の画像を取得するために切り取られ得る。

【0020】

一例では、周囲輝度を決定することに関して、第１のカメラと第２のカメラとの感度の国際標準化機構（ＩＳＯ）値が読み取られてもよく、周囲輝度はＩＳＯ値に従って決定され得る。

【0021】

一例では、主カメラを使用して第１の画像を撮影し、補助カメラを使用して第２の画像を撮影することに関して、以下の動作が行われ得る。第２のカメラは、合焦のために駆動され得る。第２のカメラが合焦を完了したことに応答して、第２のカメラのモータの第２の駆動電流値が取得され得る。第１のカメラのモータの第１の駆動電流値は、第２の駆動電流値に従って決定され得る。第１のカメラは、第１の駆動電流値を使用して合焦のために駆動され得る。

【0022】

一例では、第１の画像と第２の画像とに基づいて第３の画像の深度情報を計算することに関して、第１の画像内と第２の画像内の両方の複数の点について、第１の画像と第２の画像との間の複数の点の各々の変位が計算され、変位に関連した情報が深度情報であると見なされ得る。

【0023】

一例では、第３の画像の深度情報に従って第３の画像に対してぼかし処理を行うことに関して、以下の動作が行われ得る。第３の画像の前景領域と背景領域が決定され得る。深度情報と合焦領域とに従って前景領域の第１の深度情報と背景領域の第２の深度情報とが取得され得る。第１の深度情報と第２の深度情報とに従ってぼかし強度が生成され得る。ぼかし強度に従って第３の画像の背景領域に対してぼかし処理が行われ得る。

【0024】

一例では、ぼかし強度に従って第３の画像の背景領域に対してぼかし処理を行うことに関して、第３の画像の背景領域内の各画素のぼかし係数が、ぼかし強度と各画素の深度情報とに従って取得されてもよく、各画素のぼかし係数に従って第３の画像の背景領域に対してぼかし処理が行われ得る。ぼかし係数はぼかし強度に関連し、ぼかし係数が高いほどぼかし強度が高い。

【0025】

一例では、第３の画像の深度情報に従って第３の画像に対してぼかし処理を行うことに関して、以下の動作が行われ得る。第３の画像の背景領域が決定され得る。深度情報と合焦領域とに従って背景領域の第２の深度情報が取得され得る。第３の画像の背景領域の第２の深度情報と合焦領域の深度情報との差が取得され得る。対応するぼかし強度を取得するために、差とぼかし強度との間の事前に格納されたマッピング関係が、差に従って照会され得る。対応するぼかし強度に従って第３の画像の背景領域に対してぼかし処理が実行され得る。

【0026】

一例では、主カメラを使用して第１の画像を撮影し、補助カメラを使用して第２の画像を撮影することに関して、以下の動作が行われ得る。主カメラと補助カメラとは、ビューファインディングと撮影を連続して行って、主カメラによって撮影されたｎフレームの画像と補助カメラによって撮影されたｍフレームの画像とをそれぞれ取得するために同時に使用され得る。第１の画像を取得するために、主カメラによって撮影されたｎフレームの画像に対して合成ノイズ低減が行われ得る。第２の画像を取得するために、補助カメラによって撮影されたｍフレームの画像に対して合成ノイズ低減が行われ得る。ｍとｎとは１より大きい整数である。

【0027】

一例では、合成ノイズ低減を行うことに関して、同じ位置の撮影画像の画素がその画素の値に従ってノイズポイントに対応すると判断されてもよく、ノイズポイント上の正しい色が推定されてもよく、ノイズポイントに対して画素置換処理が行われる。

【0028】

一例では、合成ノイズ低減を行うことに関して、同じ位置の撮影画像の画素のｇ個の値が読み取られ、それらの値の加重平均が同じ位置の取得された画像の画素の値として計算され得る。

【0029】

一例では、値の加重平均を計算することに関して、撮影画像の中から最高解像度の撮影画像が基本フレームとして選択されてもよく、基本フレームは他の撮影画像の重みよりも大きい重みを有する。

【0030】

一例では、合成ノイズ低減を行う前に、本方法は、周囲輝度に従ってｍとｎの値を決定することをさらに含み得る。

【0031】

一例では、第１の画像を取得するために主カメラによって撮影されたｎフレームの画像に対して合成ノイズ低減を行い、第２の画像を取得するために補助カメラによって撮影されたｍフレームの画像に対して合成ノイズ低減を行うことに関して、第１の画像を取得するために主カメラによって撮影されたｎフレームの画像に対して第１のスレッドを介して合成ノイズ低減が行われ、一方で、第２の画像を取得するために補助カメラによって撮影されたｍフレームの画像に対して第２のスレッドを介して合成ノイズ低減が行われ得る。

【0032】

一例では、本方法は、ぼかし処理を行った後、自動的に、またはユーザの操作に応答して、デュアルカメラを装備した、またはデュアルカメラに通信可能に接続されたハードウェアデバイスのディスプレイに第４の画像を表示することが表示され得ること、をさらに含み得る。

【0033】

第２の態様では、移動端末が提供される。本移動端末は、第１のカメラと、第２のカメラと、プロセッサと、コンピュータプログラムを格納するメモリとを含む。第１のカメラは第２のカメラの解像度よりも高い解像度と、第２のカメラの感度よりも低い感度とを有し、コンピュータプログラムは、プロセッサによって実行されると、プロセッサに、第１の態様およびその例で上述した、１つまたは複数の動作を実施させる。

【0034】

一例では、第１のカメラは第２のカメラの画角と同じ画角（ＦＯＶ）を有していてもよく、第１のカメラは１６Ｍカメラであり、第２のカメラは５Ｍカメラであり得る。

【0035】

第３の態様では、非一時的なコンピュータ可読記憶媒体が提供され得る。非一時的なコンピュータ可読記憶媒体にはコンピュータプログラムが格納され、コンピュータプログラムは、第１の態様およびその例で上述した、１つまたは複数の動作を実施するためにプロセッサによって実行される。

【0036】

図１に、本開示の一実施形態によるデュアルカメラベースの撮像のための方法のフローチャートを示す。図１に示されるように、デュアルカメラベースの撮像の方法は、各ブロックに示される以下の動作を含む。この方法は、ブロック１０１から開始し得る。

【0037】

ブロック１０１で、周囲輝度が決定される。

【0038】

具体的には、１つの可能な実施態様では、周囲輝度を測定するために独立した測光装置が使用され得る。

【0039】

別の可能な実施態様では、第１のカメラと第２のカメラとによって自動調整された感度、すなわち、国際標準化機構（ＩＳＯ）値が読み取られてもよく、周囲輝度は読み取られたＩＳＯ値に従って決定される。一般に、第１のカメラと第２のカメラとは同じＩＳＯ値を使用するはずなので、対応する周囲輝度はＩＳＯ値を使用して決定され得る。しかしながら、読み取られた第１のカメラのＩＳＯ値と第２のカメラのＩＳＯ値とが互いに異なる場合、対応する周囲輝度は、２つの値の平均値に従って決定され得る。

【0040】

ＩＳＯ値はカメラの感度を指示するために使用されることに留意されたい。一般的なＩＳＯ値には、５０、１００、２００、４００、１，０００などが含まれる。カメラは、周囲輝度に従ってＩＳＯ値を自動調整し得る。したがって、本実施形態では、周囲輝度はＩＳＯ値から推定され得る。一般に、十分な光の条件下ではＩＳＯ値は５０または１００であり、不十分な光の条件下ではＩＳＯ値は４００以上になり得る。

【0041】

ブロック１０２で、周囲輝度に従ってデュアルカメラの中から主カメラと補助カメラとが決定される。

【0042】

具体的には、周囲輝度が輝度閾値よりも高い場合、第１のカメラは主カメラであると判断され、第２のカメラが補助カメラであると判断される。周囲輝度が輝度閾値以下である場合、第２のカメラは主カメラであると判断され、第１のカメラは補助カメラであると判断される。

【0043】

これは、周囲輝度が輝度閾値以下である条件下では、写真撮影用の主カメラとして高解像度のカメラを使用すると、光が不十分なためにノイズがより多く生じ、それによって画像効果が低下するからである。したがって、光が不十分な場合には、画像のノイズを低減させ、画像効果を向上させるために、写真撮影用の主カメラとして高感度のカメラが使用され得る。

【0044】

これに対して、周囲輝度が輝度閾値よりも高い条件下では、十分な光があり、高解像度のカメラの解像度は比較的高く、よってノイズが少ない比較的高解像度の画像を得ることができる。したがって、高解像度のカメラは写真撮影用の主カメラとして使用されてもよく、高感度のカメラは、比較的正確な深度情報を計算するために補助カメラとして使用される。したがって、画像効果が向上する。

【0045】

ブロック１０３で、主カメラは第１の撮影画像を撮影するために使用され、補助カメラは第２の撮影画像を撮影するために使用される。

【0046】

具体的には、主カメラと補助カメラとは各々、ビューファインディングと撮影を行って、撮像用の第１の撮影画像と深度情報を計算するための第２の撮影画像とをそれぞれ取得するために使用される。

【0047】

撮影する前に、撮像画像がプレビューされ得る。１つの可能な実施態様では、主カメラによって取得された画像のみをプレビューでき、ユーザは、満足のいくプレビュー画像が表示されると、撮影ボタンをクリックし、それによって、主カメラと補助カメラの両方がビューファインディングと撮影を行うよう制御される。

【0048】

ブロック１０４で、第１の撮影画像に従って撮像画像が生成され、第１の撮影画像と第２の撮影画像とに従って撮像画像の深度情報が計算される。

【0049】

具体的には、第１の撮影画像と第２の撮影画像とはそれぞれ異なるカメラによって撮影され、２つのカメラの間には一定の距離があるため、視差が形成される。三角測量測距原理に従って、第１の撮影画像内と第２の撮影画像内の同じ物体の深度情報、すなわち、物体と、主カメラと補助カメラとが位置する平面との間の距離が計算され得る。

【0050】

プロセスを明確にするために、三角測量測距原理について以下で簡単に紹介する。

【0051】

実際のシナリオでは、ある視野特徴の深度は主に両眼視によって解像される。これは、デュアルカメラによって深度を解像する原理と同じである。本実施形態では、第２の撮影画像に従って撮像画像の深度情報を計算するための主な方法は、三角測量測距原理である。図２に、三角測量測距原理の概略図を示す。

【0052】

図２には、実際の空間における被写体、２つのカメラの位置Ｏ_ＲおよびＯ_Ｔ、ならびに２つのカメラの焦点面が示されている。焦点面と２つのカメラが配置されている平面との間の距離はｆである。２つのカメラは、焦点面の位置で結像を行い、それによって２つの撮影画像を取得する。

【0053】

ＰとＰ’とは、同じ物体のそれぞれ異なる撮影画像内での位置であり、Ｐと対応する撮影画像の左境界との間の距離はＸ_Ｒであり、Ｐ’と対応する撮影画像の左境界との間の距離はＸ_Ｔである。Ｏ_ＲとＯ_Ｔとはそれぞれ２つのカメラを表し、２つのカメラは同じ平面に位置し、距離Ｂを有する。

【0054】

三角測量測距原理に基づき、図２で物体と２つのカメラが配置されている平面との間の距離Ｚは、次の関係を有する。

【数1】

これに基づき、

【数2】

が計算されてもよく、式中、ｄは異なる撮影画像内の同じ物体の位置間の距離の差である。Ｂとｆとは固定値であるため、物体の距離Ｚはｄに従って決定され得る。

【0055】

当然ながら、主画像の深度情報が、三角測量測距法とは異なる別の方法で計算されてもよい。例えば、主カメラと補助カメラとが同じ場面を撮影する場合、場面内の物体とカメラとの間の距離は、主カメラと補助カメラの撮像の変位差、姿勢差などと比例関係を形成する。したがって、本開示の本実施形態では、距離Ｚは、この比例関係に従って取得され得る。

【0056】

例えば、図３に示されるように、主カメラにより取得された主画像内と補助カメラにより取得された補助画像内の点の差の画像が計算され、図に視差画像で表されている。この画像は、２つの画像上の同じ点の変位差を示している。しかしながら、三角測量の変位差はＺに正比例する。したがって、視差画像は、深度情報を含む被写界深度画像として直接使用される。

【0057】

上記の解析に基づき、デュアルカメラが深度情報を取得する場合、異なる撮影画像内の同じ物体の位置が取得されることになるので、深度情報を取得するように構成された２つの画像が比較的近ければ、深度情報取得の効率と正確さが向上し得ることが分かる。

【0058】

ブロック１０５で、必要なターゲット画像を取得するために撮像画像の深度情報に従って撮像画像に対してぼかし処理が行われる。

【0059】

具体的には、撮像画像の深度情報が計算された後、撮像画像内の物体の深度情報に従って、各物体が前景物体であるかそれとも背景物体であるかが判断され得る。一般に、深度情報が、物体が主カメラと補助カメラとが位置する平面に比較的近く、深度値が比較的小さいことを示す場合、物体は前景物体であると判断されてもよく、そうでない場合、物体は背景物体である。

【0060】

ターゲット画像を取得するために認識された背景に対してぼかし処理が行われ得る。ターゲット画像では、前景がより強調され、背景はぼかされ、前景が合焦された画像効果が達成される。

【0061】

深度情報に従って撮像画像の背景領域に対してぼかし処理が行われる場合、以下の処理方法が使用され得る。

【0062】

深度情報と合焦領域とに従って前景領域の第１の深度情報と背景領域の第２の深度情報とが取得され得る。第１の深度情報と第２の深度情報とに従ってぼかし強度が生成され得る。ぼかし強度に従って撮像画像の背景領域に対してぼかし処理が行われる。このようにして、異なる深度情報に従って異なるぼかし具合が実現され、ぼかし画像に対してより自然な重層効果が達成され得る。

【0063】

被写体が合焦された後、被写体が位置する合焦領域の前後に眼にとっての高解像度画像が形成され得る空間深度範囲が、被写界深度である。合焦領域の前の画像の被写界深度範囲が前景領域の第１の深度情報であり、合焦領域の後の高解像度画像の被写界深度範囲が背景領域の第２の深度情報であることが理解できる。

【0064】

異なる実施モードのぼかし強度に従って撮像画像の背景領域に対してぼかし処理が行われ得る。

【0065】

１つの可能な実施態様では、各画素のぼかし係数が、撮像画像の背景領域内の各画素のぼかし強度と深度情報とに従って取得される。ぼかし係数はぼかし強度に関連し、ぼかし係数が高いほどぼかし強度が高い。例えば、各画素のぼかし係数を取得するために撮像画像の背景領域内の各画素のぼかし強度と深度情報との積が計算されてもよく、各画素のぼかし係数に従って撮像画像の背景領域に対してぼかし処理が行われる。

【0066】

別の可能な実施態様では、第２の深度情報と合焦領域の深度情報との間の差分値が大きいほど、背景領域と合焦領域との間の対応する距離が長く、背景領域と合焦領域との間の関連性が低く、したがって、対応するぼかし強度が高い。この例では、第２の深度情報と合焦領域の深度情報との差分値とぼかし強度との間のマッピング関係が事前に格納され得る。マッピング関係では、第２の深度情報と合焦領域の深度情報との間の差分値が大きいほど、対応するぼかし強度が高い。したがって、撮像画像の背景領域の第２の深度情報と合焦領域の深度情報との間の差分値が取得され、対応するぼかし強度を取得するために差分値に従ってマッピング関係が照会され、ぼかし強度に従って深度情報に対応する背景領域がぼかされる。

【0067】

本実施形態では、周囲輝度が決定された後、周囲輝度に従ってデュアルカメラの中から主カメラと補助カメラとが決定される。主カメラは第１の撮影画像を撮影するために使用され、補助画像は第２の撮影画像を撮影するために使用される。撮像画像は、第１の撮影画像に従って生成される。撮像画像の深度情報は、第２の撮影画像に従って計算される。必要なターゲット画像を取得するために撮像画像の深度情報に従って撮像画像に対してぼかし処理がさらに行われる。高解像度のカメラは第１のカメラであると判断され、高感度のカメラは第２のカメラであると判断され、第１のカメラと第２のカメラとは各々周囲輝度に従って主カメラと補助カメラとに切り替えられ得るので、主カメラと補助カメラの性能を現在の周囲輝度と合致させることができ、画像効果が保証される。したがって、先行技術の暗い環境でのデュアルカメラの画像効果が比較的低いという技術的問題が解決される。

【0068】

前述の実施形態を明確に説明するために、一実施形態は、デュアルカメラベースの撮像のための別の方法を提供する。図４に、本開示の一実施形態によるデュアルカメラベースの撮像のための別の方法を示すフローチャートを示す。

【0069】

図４に示されるように、この方法は、各ブロックに示される以下の動作を含み得る。この方法は、ブロック１０１から開始し得る。

【0070】

ブロック３０１で、周囲輝度が決定され、周囲輝度に従ってデュアルカメラの中から主カメラと補助カメラとが決定される。

【0071】

デュアルカメラは第１のカメラと第２のカメラとを含み、第１のカメラの解像度は第２のカメラの解像度よりも高く、第２のカメラの感度（例えばＩＳＯ値）は第１のカメラの感度よりも高い。

【0072】

周囲輝度が輝度閾値よりも高い場合、第１のカメラは主カメラであると判断され、第２のカメラが補助カメラであると判断され、周囲輝度が輝度閾値よりも低い場合、第２のカメラは主カメラであると判断され、第１のカメラは補助カメラであると判断される。

【0073】

例えば、第１のカメラは１６Ｍカメラであり、第２のカメラは５Ｍカメラまたはフォーインワン（ｆｏｕｒ－ｉｎ－ｏｎｅ）５Ｍカメラであり得る。

【0074】

フォーインワン５Ｍカメラは、４つの５Ｍカメラを組み合わせることによって得られ、単一の５Ｍカメラと比較してより高い測光性能を有することに留意されたい。

【0075】

ブロック３０２で、主カメラは第１の撮影画像を撮影するために使用され、補助カメラは第２の撮影画像を撮影するために使用される。

【0076】

具体的には、１つの可能な実施態様では、周囲輝度が輝度閾値以下である、すなわち、周囲輝度がさほど高くないという条件下で、画像効果が影響を受け、主カメラと補助カメラとによって取得された画像により多くのノイズが生じ得る。

【0077】

画質を向上させるために、主カメラと補助カメラとの画像処理にマルチフレーム合成ノイズ低減方式が使用され得る。具体的には、主カメラと補助カメラとを決定した後、主カメラと補助カメラとは、ビューファインディングと撮影を連続して行って、主カメラによって撮影されたｎフレームの撮影画像と補助カメラによって撮影されたｍフレームの撮影画像とをそれぞれ取得するために同時に使用され得る。

【0078】

第１の撮影画像を取得するために主カメラによって撮影されたｎフレームの撮影画像に対して合成ノイズ低減が行われ、第２の撮影画像を取得するために補助カメラによって撮影されたｍフレームの撮影画像に対して合成ノイズ低減が行われる。

【0079】

マルチフレーム合成ノイズ低減プロセスを明確に理解しやすくするために、マルチフレーム合成ノイズ低減について以下で簡単に紹介する。

【0080】

周囲光が不十分な場合、移動端末などの撮像装置は、通常、感度を自動的に高める方法を使用する。しかしながら、感度を高めるためのそのような方法は、画像により多くのノイズをもたらす。マルチフレーム合成ノイズ低減は、画像内のノイズポイントを低減させ、高感度条件で撮影された画像の品質を向上させることを目的とする。その原理は、ノイズポイントがランダムに配置されるという先験的な知識である。具体的には、複数のフレームの撮影画像が連続して撮影された後、同じ位置に現れるノイズポイントは、赤のノイズポイントであり得るか、または緑のノイズポイントもしくは白のノイズポイントであり得るか、またはノイズポイントがない場合さえもあり、よって、比較および選択が行われ得る。ノイズである画素（すなわち、ノイズポイント）は、同じ位置にある複数のフレームの撮影画像の画素の値に従って選択され得る。さらに、ノイズポイントが選択された後、色推定（すなわち、ノイズポイントの正しい色の推定）および画素置換処理が、ノイズポイント除去効果を達成する別のアルゴリズムに従ってノイズポイントに対してさらに行われ得る。このようなプロセスにより、きわめて低い画質損失度でノイズ低減効果が達成され得る。

【0081】

例えば、マルチフレーム合成ノイズ低減のための比較的簡便な方法として、撮影画像の複数のフレームが取得された後、同じ位置にある複数のフレームの撮影画像の画素の値が読み取られてもよく、合成画像内の位置における画素の値を生成するためにこれらの画素の値の加重平均が計算される。このようにして、高解像度画像が取得され得る。

【0082】

複数のフレームの撮影画像は、最高解像度画像のフレームを含み、これが基本フレームであると判断され得る。基本フレームについて、１つの可能な実施態様では、基本フレームの重みをその他の撮影画像の重みよりも高くし得る。すなわち、その他の撮影画像を参照して基本フレーム内のノイズポイントを認識および除去する機能が実質的に実現される。

【0083】

マルチフレーム合成ノイズ低減の前に、周囲輝度に従ってマルチフレーム合成のためのフレーム数ｍとｎが決定され得る。周囲輝度が低い場合、合成するフレーム数は多くなる。すなわち、ｍとｎは周囲輝度と逆の関係にある。１つの可能な実施態様では、ｍとｎの値は同じであり、２から６の範囲である。

【0084】

例えば、
周囲輝度レベルが暗い場合、ｍ＝ｎ＝６、
周囲輝度レベルが一般的な場合、ｍ＝ｎ＝４、
周囲輝度レベルが明るい場合、ｍ＝ｎ＝２
である。

【0085】

周囲輝度レベルの上記の分類およびｍとｎの値とは例示にすぎず、実施形態に対する限定を形成するためのものではないことに留意されたい。最適な周囲輝度レベルの分類方法およびｍとｎの値は限られた回数の試験を行えば決定できることを当業者は理解するであろう。

【0086】

１つの可能な適用シナリオでは、比較的高い処理速度が必要である。マルチフレーム合成ノイズ低減を使用すると処理時間が長くなる可能性があるため、この適用シナリオではマルチスレッド並列処理機構が用いられ得る。

【0087】

具体的には、マルチスレッド並列処理機構が開始されると、第１の撮影画像を取得するために第１のスレッドを介して主カメラによって撮影されたｎフレームの撮影画像に対して合成ノイズ低減が行われ、一方で、第２の撮影画像を取得するために第２のスレッドを介して補助カメラによって撮影されたｍフレームの撮影画像に対して合成ノイズ低減が行われる。

【0088】

ブロック３０３で、主カメラの画角（ＦＯＶ）が補助カメラのＦＯＶ以下であるかどうかが判断され、はいの場合、ブロック３０４が実行され、そうでない場合、ブロック３０５が実行される。

【0089】

具体的には、ＦＯＶは、レンズによってカバーされ得る最大角度である。視野とカメラとの間の挟角がこの角度を超えた場合、撮像が実施されない可能性がある。本実施形態では、主カメラと補助カメラのＦＯＶは同じでも異なっていてもよい。しかしながら、ＦＯＶ値が異なるために、第１の撮影画像と第２の撮影画像とのビューファインディングの差が一致しない。言い換えれば、物体の一部が、第１の撮影画像と第２の撮影画像の一方にのみ撮像されている場合がある。深度計算時に、これらの物体の深度情報が計算されない場合がある。深度情報の計算を容易にするために、本実施形態では、第１の撮影画像および／または第２の撮影画像は、切り取られた画像が切り取られていない画像と同じ視界を有し得るか、または切り取られた画像同士が同じ視界を有し得るように切り取られ得るので、撮像画像の深度情報の正確さが保証される。

【0090】

ブロック３０４で、主カメラのＦＯＶが補助カメラのＦＯＶ以下である場合、第１の撮影画像が撮像画像であると判断される。

【0091】

具体的には、主カメラのＦＯＶが補助カメラのＦＯＶ以下である場合、主カメラと補助カメラは、通常、同じ平面上に位置するため、主カメラのビューファインディング範囲は補助カメラのビューファインディング範囲以下である。これに基づき、主カメラによって撮影された第１の撮影画像内の各物体は、補助カメラによって撮影された第２の撮影画像内に結像されるはずである。この場合、主カメラによって撮影された第１の撮影画像を切り取る必要はなく、第１の撮影画像は撮像画像であると直接判断され得る。

【0092】

ブロック３０５で、主カメラのＦＯＶが補助カメラのＦＯＶよりも大きい場合、第１の撮影画像は、第２の撮影画像と同じ視界を有する撮像画像を取得するために切り取られる。

【0093】

具体的には、主カメラのＦＯＶが補助カメラのＦＯＶよりも大きい場合、主カメラと補助カメラは、通常、同じ平面上に位置するため、主カメラのビューファインディング範囲は補助カメラのビューファインディング範囲以下である。これに基づき、主カメラによって撮影された第１の撮影画像内の物体の一部が、補助カメラによって撮影されない、すなわち、物体の一部が第２の撮影画像に存在しない可能性がある。この場合、主カメラによって撮影された第１の撮影画像は切り取られることになり、第２の撮影画像と同じ視界を有する切り取られた画像が撮像画像と見なされる。

【0094】

ブロック３０６で、撮像画像の深度情報が、第２の撮影画像に従って計算される。

【0095】

具体的には、撮像画像の深度情報は、第２の撮影画像内と第１の撮影画像内の同じ物体の位置ずれと、デュアルカメラのパラメータとに従って決定される。

【0096】

具体的な計算プロセスは、上記の実施形態のブロック１０４に関する関連する説明から理解でき、これについてここでは詳述しない。

【0097】

ブロック３０７で、必要なターゲット画像を取得するために撮像画像の深度情報に従って撮像画像に対してぼかし処理が行われる。

【0098】

具体的には、撮像画像の深度情報が計算された後、撮像画像内の物体の深度情報に従って、各物体が前景物体であるかそれとも背景物体であるかが判断され得る。一般に、深度情報が、物体が主カメラと補助カメラとが位置する平面に比較的近く、深度値が比較的小さいことを示す場合、物体は前景物体であると判断されてもよく、そうでない場合、物体は背景物体である。さらに、ターゲット画像を取得するために認識された背景に対してぼかし処理が行われ得る。

【0099】

本実施形態では、周囲輝度が決定された後、周囲輝度に従ってデュアルカメラの中から主カメラと補助カメラとが決定される。主カメラは第１の撮影画像を撮影するために使用され、補助画像は第２の撮影画像を撮影するために使用される。撮像画像は、第１の撮影画像に従って生成される。撮像画像の深度情報は、第２の撮影画像に従って計算される。必要なターゲット画像を取得するために撮像画像の深度情報に従って撮像画像に対してぼかし処理がさらに行われる。高解像度のカメラは第１のカメラであると判断され、高感度のカメラは第２のカメラであると判断され、第１のカメラと第２のカメラとは各々周囲輝度に従って主カメラと補助カメラとに切り替えられ得るので、主カメラと補助カメラの性能を現在の周囲輝度と合致させることができ、画像効果が保証される。したがって、先行技術の暗い環境でのデュアルカメラの画像効果が比較的低いという技術的問題が解決される。

【0100】

上記の実施形態を実施するために、本開示は、デュアルカメラベースの撮像装置をさらに提供する。

【0101】

図５に、本開示の一実施形態によるデュアルカメラベースの撮像装置の構造図を示す。この撮像装置は、デュアルカメラを備えた移動端末に適用され得る。デュアルカメラは第１のカメラと第２のカメラとを含み、第１のカメラの解像度は第２のカメラの解像度よりも高く、第２のカメラの感度（例えばＩＳＯ値）は第１のカメラの感度よりも高い。

【0102】

図５に示されるように、撮像装置は、測光モジュール４１と、切り替えモジュール４２と、撮影モジュール４３と、生成モジュール４４と、処理モジュール４５とを含む。

【0103】

測光モジュール４１は、周囲輝度を決定するように構成される。

【0104】

具体的には、測光モジュール４１は、第１のカメラと第２のカメラとの読み取りＩＳＯ値に従って周囲輝度を決定するように構成される。

【0105】

切り替えモジュール４２は、周囲輝度に従ってデュアルカメラの中から主カメラと補助カメラとを決定するように構成される。

【0106】

具体的には、切り替えモジュール４２は、周囲輝度が輝度閾値よりも高い場合、第１のカメラを主カメラであると判断し、第２のカメラを補助カメラであると判断し、周囲輝度が輝度閾値以下である場合、第２のカメラを主カメラであると判断し、第１のカメラを補助カメラであると判断する、ように構成される。

【0107】

撮影モジュール４３は、主カメラを使用して第１の画像を撮影し、補助カメラを使用して第２の画像を撮影するように構成される。

【0108】

生成モジュール４４は、第１の画像に従って第３の画像を生成し、第１の画像と第２の画像とに従って第３の画像の深度情報を計算するように構成される。

【0109】

処理モジュール４５は、第４の画像を取得するために第３の画像の深度情報に従って第３の画像に対してぼかし処理を行うように構成される。

【0110】

さらに、本開示の実施形態の１つの可能な実施態様では、生成モジュール４４は、主カメラのＦＯＶが補助カメラのＦＯＶ以下である場合、第１の画像を第３の画像であると判断し、主カメラのＦＯＶが補助カメラのＦＯＶよりも大きい場合、第２の画像と同じ視界を有する第３の画像を取得するために第１の画像を切り取る、ように構成され得る。

【0111】

上記の方法実施形態に関する説明および記述は、本実施形態の装置にも適用され、これについてここでは詳述しないことに留意されたい。

【0112】

本実施形態では、周囲輝度が決定された後、周囲輝度に従ってデュアルカメラの中から主カメラと補助カメラとが決定され、主カメラは第１の画像を撮影するために使用され、補助画像は第２の画像を撮影するために使用され、第１の画像に従って第３の画像が生成され、第１の画像と第２の画像とに従って第３の画像の深度情報が計算され、第４の画像を取得するために第３の画像の深度情報に従って第３の画像に対してぼかし処理がさらに行われる。高解像度のカメラは第１のカメラであると判断され、高感度のカメラは第２のカメラであると判断され、第１のカメラと第２のカメラとを周囲輝度に従って主カメラと補助カメラとに切り替えることができるので、主カメラと補助カメラの性能を現在の周囲輝度と合致させることができ、画像効果が保証され、先行技術の暗い環境でのデュアルカメラの画像効果が比較的低いという技術的問題が解決される。

【0113】

上記の実施形態を実施するために、本開示は移動端末をさらに開示する。図６に、本開示の別の実施形態による端末機器の構造図を示す。図６に示されるように、端末機器１０００は、ハウジング１１００と、ハウジング１１００内に位置する第１のカメラ１１１２と、第２のカメラ１１１３と、メモリ１１１４と、プロセッサ１１１５とを含む。

【0114】

メモリ１１１４には実行可能プログラムコードが格納され、プロセッサ１１１５は、実行可能プログラムコードに対応するプログラムを実行して上記の実施形態のデュアルカメラベースの撮像のための方法を実施するために、メモリ１１１４に格納された実行可能プログラムコードを読み取る。

【0115】

第１のカメラの解像度は第２のカメラの解像度よりも高く、第２のカメラの感度は第１のカメラの感度よりも高い。

【0116】

１つの可能な実施態様では、第１のカメラのＦＯＶは第２のカメラのＦＯＶと同じであり得る。この場合、撮像画像を取得するために第１の撮影画像を切り取るプロセスが除かれ、よって画像処理速度が向上する。

【0117】

第１のカメラに高解像度を与えるために、１６Ｍカメラが使用され得る。当然ながら、高解像度の別のカメラが使用されてもよい。本実施形態ではこれに制限はない。

【0118】

加えて、第２のカメラに高感度を与えるために、フォーインワン５Ｍカメラが使用されて得る。当然ながら、高感度の別のカメラが使用されてもよい。本実施形態ではこれに制限はない。

【0119】

上記の実施形態を実施するために、本開示は、コンピュータプログラムが格納されたコンピュータ可読記憶媒体をさらに開示する。プログラムは、上記の実施形態におけるデュアルカメラベースの撮像のための方法を実施するために移動端末のプロセッサによって実行される。

【0120】

移動端末は、画像処理回路をさらに含み、画像処理回路は、ハードウェアおよび／またはソフトウェア構成要素を使用して実装されてもよく、画像信号処理（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ（ＩＳＰ））パイプラインを定義する様々な処理装置を含んでいてもよい。図７に、一実施形態による画像処理回路の概略図を示す。図７に示されるように、説明の便宜上、本開示の実施形態に関連した画像処理技術の様々な態様が示されている。

【0121】

図７に示されるように、画像処理回路は、ＩＳＰデバイス９４０と制御論理デバイス９５０とを含む。撮像装置９１０によって取り込まれた画像データは、最初にＩＳＰデバイス９４０によって処理され、ＩＳＰデバイス９４０は、画像データを解析して、ＩＳＰデバイスおよび／または撮像装置９１０の１つまたは複数の制御パラメータを決定するための画像統計情報を取り込む。撮像装置９１０は２つのカメラを特に含んでいてもよく、各カメラは１つまたは複数のレンズ９１２とイメージセンサ９１４とを含み得る。イメージセンサ９１４は、カラー・フィルタ・アレイ（ベイヤフィルタなど）を含んでいてもよく、イメージセンサ９１４は、イメージセンサ９１４の各撮像画素によって取り込まれた光強度と波長情報とを取得し、ＩＳＰデバイス９４０による処理が可能な元の画像データセットを提供し得る。センサ９２０は、センサ９２０のインターフェースタイプに基づいてＩＳＰデバイス９４０に元の画像データを提供し得る。センサ９２０のインターフェースは、標準モバイル・イメージング・アーキテクチャ（Ｓｔａｎｄａｒｄ Ｍｏｂｉｌｅ Ｉｍａｇｉｎｇ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＳＭＩＡ））・インターフェース、別のシリアルもしくはパラレルカメラインターフェース、または上記インターフェースの組み合わせを使用し得る。

【0122】

ＩＳＰデバイス９４０は、複数のフォーマットに従ってピクセルごとに元の画像データを処理する。例えば、各画素は、８、１０、１２、または１４ビットのビット深度を有し得る。ＩＳＰデバイス９４０は、元の画像データに対して１つまたは複数の画像処理操作を実行し、画像データに関する画像統計情報を収集し得る。画像処理操作は、同じかまたは異なるビット深度精度に従って実行され得る。

【0123】

ＩＳＰデバイス９４０は、画像メモリ９３０から画素データをさらに受け取り得る。例えば、センサ９２０のインターフェースが画像メモリ９３０に元の画素データを送り、画像メモリ９３０内の元の画素データが処理のためにＩＳＰデバイス９４０に提供される。画像メモリ９３０は、電子機器内のメモリデバイス、ストレージデバイス、または独立した専用メモリの一部であってもよく、ダイレクト・メモリ・アクセス（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ（ＤＭＡ））機構を含み得る。

【0124】

センサ９２０のインターフェースからまたは画像メモリ９３０から元の画像データを受け取ると、ＩＳＰデバイス９４０は、１つまたは複数の画像処理操作、例えば、時間領域フィルタリングを実行し得る。処理された画像データは、表示前に他の処理のために画像メモリ９３０に送られ得る。ＩＳＰデバイス９４０は、画像メモリ９３０から処理されたデータを受け取り、処理されたデータに対して元の領域と色空間赤、緑、青（ＲＧＢ）およびＹＣｂＣｒとで画像データ処理を行う。処理された画像データは、ユーザが見るために、かつ／またはグラフィックス処理装置（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＧＰＵ））によるさらなる処理のためにディスプレイ９７０に出力され得る。加えて、ＩＳＰデバイス９４０の出力が画像メモリ９３０にさらに送られてもよく、ディスプレイ９７０は画像メモリ９３０から画像データを読み取り得る。一実施形態では、画像メモリ９３０は、１つまたは複数のフレームバッファを実装するように構成され得る。さらに、ＩＳＰデバイス９４０の出力は、画像データを符号化／復号化するために符号器／復号器９６０に送られ得る。符号化された画像データは格納されてもよく、ディスプレイ９７０に表示される前に解凍される。符号器／復号器９６０は、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ））またはＧＰＵまたはコプロセッサによって実施され得る。

【0125】

ＩＳＰデバイス９４０によって決定された統計情報は、制御論理デバイス９５０に送られ得る。例えば、統計情報は、イメージセンサ９１４の自動露出、自動ホワイトバランス、自動焦点、フラッシュ検出、黒レベル補正、レンズ９１２の影補正などの統計情報を含み得る。制御論理デバイス９５０は、１つまたは複数のルーチン（例えば、ファームウェア）を実行するプロセッサおよび／またはマイクロコントローラを含んでいてもよく、１つまたは複数のルーチンは、受け取られた統計データに従って撮像装置９１０の制御パラメータおよびＩＳＰデバイスの制御パラメータを決定し得る。例えば、制御パラメータには、センサ９２０の制御パラメータ（例えば、利得および露出制御のための積分時間）、カメラフラッシュ制御パラメータ、レンズ９１２の制御パラメータ（例えば、合焦やズーミングのための焦点距離）またはこれらのパラメータの組み合わせが含まれ得る。ＩＳＰデバイスの制御パラメータには、自動ホワイトバランスおよび色調整のための利得レベルおよび色補正マトリックス（例えば、ＲＧＢ処理時）と、レンズ９１２の影補正パラメータが含まれ得る。

【0126】

本明細書の記述において、「一実施形態」、「いくつかの実施形態」、「例」、「具体例」、「いくつかの例」などの用語を用いてなされた記述は、その実施形態または例と組み合わせて記述されている特定の特徴、構造、材料、または特性が本開示の少なくとも１つの実施形態または例に含まれることを指す。本明細書では、これらの用語は、必ずしも同じ実施形態または例について概略的に表現されているとは限らない。さらに、記載された特定の特徴、構造、材料、または特性は、任意の１つまたは複数の実施形態または例において適切な方法で組み合わされ得る。加えて、当業者であれば、本明細書に記載される異なる実施形態または例および異なる実施形態または例の特徴を矛盾なく統合し、組み合わせることもできよう。

【0127】

加えて、「第１」および「第２」という用語は、記述のために使用されているにすぎず、相対的な重要度を指示または示唆するとも、指示される技術的特徴の数を暗黙的に指示するとも理解されるべきではない。したがって、「第１」および「第２」によって定義される特徴は、少なくとも１つのそのような特徴の包含を明示的または暗黙的に示し得る。本開示の記述において、「複数」とは、特に明確かつ具体的に限定されない限り、少なくとも２つ、例えば２つおよび３つを意味する。

【0128】

フローチャート内の、または別の方法で本明細書に記載された任意のプロセスまたは方法は、プロセスの特定の論理機能または動作を実現するように構成された１つまたは複数の実行可能命令のコードを含むモジュール、セグメントまたは部分を表すと理解されてもよく、さらに、本開示の好ましい実施モードの範囲は、基本的に同時の、または関与する機能に従った逆の順序での機能の実行を含む、本明細書で図示または考察された順序ではない、他の実施態様を含む。これは、本開示の実施形態の当業者によって理解されよう。

【0129】

フローチャートで表された、または別の方法で本明細書に記載された論理および／または動作は、論理機能を実現するように構成された実行可能命令の固定順のリストと見なされてもよく、具体的には、命令実行システム、機器もしくは機器（例えば、コンピュータベースのシステム、プロセッサを含むシステム、または命令実行システム、機器もしくは機器から命令を読み取り、命令を実行することができる別のシステム）が使用するための、または命令実行システム、機器もしくは機器と組み合わせて使用するための任意のコンピュータ可読媒体において実装され得る。本明細書では、「コンピュータ可読媒体」とは、命令実行システム、機器もしくは機器が使用するための、または命令実行システム、機器もしくは機器と組み合わせて使用するためのプログラムを含み、格納し、プログラムと通信し、プログラムを伝搬し、または送信することができる任意のデバイスであり得る。コンピュータ可読媒体のより具体的な例（非網羅的リスト）には、１つまたは複数の配線を備えた電子接続部分（電子機器）、ポータブル・コンピュータ・ディスク（磁気デバイス）、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能書込み可能ＲＯＭ（ＥＰＲＯＭ）（またはフラッシュメモリ）、光ファイバデバイス、およびポータブル・コンパクト・ディスク読取り専用メモリ（ＣＤ‐ＲＯＭ）が含まれる。加えて、コンピュータ可読媒体は、紙やプログラムがプリントされ得る別の媒体でさえもよい。というのは、例えば、紙や別の媒体は、光学的にスキャンされ、次いで、編集、解釈され、または、必要に応じて、コンピュータメモリに格納するための電子方式のプログラムを取得するために任意の適切な方法で処理され得るからである。

【0130】

本開示の各部分は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせによって実施され得ることを理解されたい。上記の実施モードでは、メモリに格納され、適切な命令実行システムによって実行されるソフトウェアまたはファームウェアによって複数の動作または方法が実施され得る。例えば、別の実施モードのような、ハードウェアによる実施の場合には、データ信号のための論理機能を実現するように構成された論理ゲート回路を備えたディスクリート論理回路、適切な組み合わせ論理ゲート回路を備えた特定用途向け集積回路、プログラマブル・ゲート・アレイ（ＰＧＡ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などの、当技術分野で周知の技術のうちのいずれか１つまたはそれらの組み合わせが、実施のために使用され得る。

【0131】

上記の実施形態の方法における動作の全部または一部が、プログラムによって命令される関連ハードウェアを介して完了され得ることを当業者は理解するはずであり、プログラムはコンピュータ可読記憶媒体に格納されてもよく、プログラムが実行される場合、方法実施形態の動作のうちの１つまたはそれらの組み合わせが含まれる。

【0132】

加えて、本開示の各実施形態における各機能ユニットは処理モジュールに統合されてもよく、各ユニットはまた、物理的に独立して存在してもよく、２つ以上のユニットがモジュールに統合されてもよい。統合モジュールは、ハードウェア形態で実施されてもよく、ソフトウェア機能モジュールの形態で実施されてもよい。ソフトウェア機能モジュールの形態で実施され、独立した製品として販売または使用される場合、統合モジュールはコンピュータ可読記憶媒体に格納され得る。

【0133】

記憶媒体は、読取り専用メモリ、磁気ディスク、光ディスクなどであり得る。本開示の実施形態は上記で図示または説明されている。しかしながら、上記の実施形態は例示であり、本開示に対する限定として理解されるべきではなく、当業者であれば、本開示の範囲内で上記の実施形態に対して様々な変形、改変、置換、変換を行い得ることが理解されよう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】