(58)【調査した分野】(Int.Cl.,DB名)
コンピュータプログラムが格納されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムが、プロセッサによって実行されると、前記プロセッサに請求項1から9のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
【発明を実施するための形態】
【0014】
本出願の実施形態について以下で詳細に説明する。図面には実施形態の例が示されており、同一もしくは類似の参照符号は、常に同一もしくは類似の構成要素または同一もしくは類似の機能を備えた構成要素を表す。図面を参照して以下で説明される実施形態は例示であり、本出願を説明するためのものであり、本出願に対する限定として理解されるべきではない。
【0015】
本開示の実施形態のデュアルカメラベースの撮像のための方法および装置、移動端末、ならびに記憶媒体について、図面を参照して以下に説明する。
【0016】
第1の態様では、デュアルカメラベースの撮像のための方法が提供される。デュアルカメラは広角カメラと望遠カメラとを含み、本方法は以下の動作を含む。広角カメラによって撮影された第1の画像と望遠カメラによって撮影された第2の画像とが取得される。第1の画像は、第3の画像を取得するために第1の画像のターゲット領域に従って切り取られる。第3の画像と第2の画像とに従って第3の画像の深度情報が決定される。第4の画像を取得するために深度情報に従って第3の画像に対してぼかし処理が行われる。
【0017】
一例では、ターゲット領域は、第1の画像の中心をターゲット領域の中心と見なし、広角カメラの画角、広角カメラの解像度、または周囲光輝度、のうちの少なくとも1つに従って決定された範囲にわたる第1の画像の第1の部分であり得る。
【0018】
一例では、第3の画像を取得するために第1の画像のターゲット領域に従って第1の画像を切り取る前に、本方法は、第2の画像と同じ視野を有する第1の画像の分布領域を決定することをさらに含み得る。第3の画像を取得するために第1の画像のターゲット領域に従って第1の画像を切り取ることに関して、第1の画像は、ターゲット領域に対応する第1の画像の第1の部分と分布領域に対応する第1の画像の第2の部分との交差部分を第3の画像として取得するために切り取られ得る。
【0019】
一例では、第4の画像を取得することに関して、分布領域がターゲット領域を完全に覆う場合、ターゲット領域に対応する第1の画像の第1の部分が第3の画像であると判断され得る。ターゲット領域が分布領域を完全に覆う場合、分布領域に対応する第1の画像の第2の部分が第3の画像であると判断され得る。ターゲット領域と分布領域とが部分的にオーバーラップした領域を有する場合、部分的にオーバーラップした領域に対応する第1の画像の第3の部分が第3の画像であると判断され得る。
【0020】
一例では、広角カメラによって撮影された第1の画像と望遠カメラによって撮影された第2の画像とを取得する前に、本方法は、周囲光強度を測定することと、周囲光強度が光強度閾値よりも低い場合、第1の画像を撮影するよう広角カメラを制御し、第2の画像を撮影するよう望遠カメラを制御することとをさらに含み得る。
【0021】
一例では、第1の画像を撮影するよう広角カメラを制御し、第2の画像を撮影するよう望遠カメラを制御することに関して、広角カメラと望遠カメラとは、ビューファインディングを同時に行って、撮像用の第1の画像と被写界深度を計算するための第2の画像とを取得するよう制御され得る。
【0022】
一例では、第3の画像の深度情報を決定した後、本方法は、第3の画像内の複数の物体の各々について、各物体の深度情報に従って各物体が前景物体であるかそれとも背景物体であるかを判断することを含み得る。第4の画像を取得するために深度情報に従って第3の画像に対してぼかし処理を行うことに関して、第4の画像を取得するために、背景物体に判断された物体に対してぼかし処理が行われ得る。
【0023】
一例では、周囲光強度を測定することに関して、独立した測光構成要素を使用して周囲光強度を測定すること、イメージセンサを使用して周囲光強度を取得すること、または、広角カメラと望遠カメラとの自動調整された国際標準化機構(International Organization for Standardization(ISO))値を読み取り、読み取られたISO値に従って周囲輝度を決定し、周囲輝度値と周囲光強度値とのマッピング関係に従って周囲光強度を決定すること、のうちの1つが行われ得る。
【0024】
一例では、周囲光強度を測定した後、本方法は、周囲光強度が光強度閾値以上である場合、選択されたビュー・ファインディング・モードを取得することをさらに含み得る。ビュー・ファインディング・モードがクロース・ショット・モードである場合、広角カメラによって撮影された第1の画像と望遠カメラによって撮影された第2の画像とに従って第1の画像の深度情報が決定され、第1の画像の深度情報に従って第1の画像に対してぼかし処理が行われ得る。ビュー・ファインディング・モードがロング・ショット・モードである場合、広角カメラによって撮影された第1の画像と望遠カメラによって撮影された第2の画像とを使用して第2の画像の深度情報が決定され、第2の画像の深度情報に従って第2の画像に対してぼかし処理が行われ得る。
【0025】
一例では、ぼかし処理を行った後、本方法は、自動的に、またはユーザの操作に応答して、デュアルカメラを装備した、またはデュアルカメラに通信可能に接続されたハードウェアデバイスのディスプレイに第4の画像を表示すること、をさらに含み得る。
【0026】
第2の態様では、移動端末が提供される。移動端末は、広角カメラと、望遠カメラと、プロセッサと、コンピュータプログラムが格納されたメモリとを含む。コンピュータプログラムは、プロセッサで動作すると、プロセッサに、第1の態様およびその例において上述された1つまたは複数の動作を実行させる。
【0027】
第3の態様では、デュアルカメラベースの撮像のための方法が提供される。デュアルカメラは、広角カメラと望遠カメラとを含む。本方法は、以下の動作を含む。広角カメラによって撮影された第1の画像と望遠カメラによって撮影された第2の画像とが取得される。現在の撮影条件に対応する画像が、第1の画像と第2の画像とに基づいて決定される。現在の撮影条件に対応する画像の深度情報が決定される。第4の画像を取得するために、深度情報に従って現在の撮影条件に対応する画像に対してぼかし処理が行われる。
【0028】
一例では、事前設定撮影条件は周囲光強度を含んでいてもよく、広角カメラによって撮影された第1の画像と望遠カメラによって撮影された第2の画像とを取得する前に、本方法は、周囲光強度を測定することをさらに含み得る。広角カメラによって撮影された第1の画像と望遠カメラによって撮影された第2の画像とを取得することに関して、広角カメラは第1の画像を撮影するように制御され、望遠カメラは第2の画像を撮影するように制御され得る。
【0029】
一例では、事前設定撮影条件は、現在選択されているビュー・ファインディング・モードをさらに含んでいてもよく、ビュー・ファインディング・モードは、クロース・ショット・モードおよびロング・ショット・モードを含み得る。周囲光強度が光強度閾値以上である場合、第1の画像と第2の画像とに基づいて現在の撮影条件に対応する画像を決定することに関して、ビュー・ファインディング・モードがクロース・ショット・モードである場合、広角カメラによって撮影された第1の画像と望遠カメラによって撮影された第2の画像とに従って第1の画像の深度情報が決定され、ビュー・ファインディング・モードがロング・ショット・モードである場合、広角カメラによって撮影された第1の画像と望遠カメラによって撮影された第2の画像とを使用して第2の画像の深度情報が決定され得る。
【0030】
一例では、周囲光強度が光強度閾値より低い場合、第1の画像と第2の画像とに基づいて現在の撮影条件に対応する画像を決定することに関して、第1の画像は、ターゲット領域に対応する第1の画像の第1の部分と分布領域に対応する第1の画像の第2の部分との交差部分を現在の撮影条件に対応する画像として取得するために、第1の画像のターゲット領域に従って切り取られ得る。
【0031】
第4の態様では、移動端末が提供される。移動端末は、広角カメラと、望遠カメラと、プロセッサと、コンピュータプログラムが格納されたメモリとを含む。コンピュータプログラムは、プロセッサで動作すると、プロセッサに、第3の態様およびその例において上述された1つまたは複数の動作を実行させる。
【0032】
第5の態様では、コンピュータプログラムが格納された、非一時的なコンピュータ可読記憶媒体が提供される。コンピュータプログラムは、プロセッサで動作すると、プロセッサに、第1または第3の態様およびその例において上述された1つまたは複数の動作を実行させる。
【0033】
図1に、本開示の一実施形態によるデュアルカメラベースの撮像のための方法のフローチャートを示す。
【0034】
図1に示されるように、この方法は、各ブロックに示される以下の動作を含む。この方法は、ブロック101から開始し得る。
【0035】
ブロックS101で、広角カメラによって撮影された第1の撮影画像と望遠カメラによって撮影された第2の撮影画像とが取得される。
【0036】
具体的には、移動端末の写真装置の電源が入れられ、写真装置の広角カメラと望遠カメラとがビューファインディングを同時に行って、それぞれ撮像用の第1の撮影画像と被写界深度を計算するための第2の撮影画像とを取得する。
【0037】
画像取り込みの前に、写真セットのイメージセンサが周囲光強度を測定し、現在の周囲光強度が光強度閾値よりも低いと判断されると、暗い環境が判断される。
【0038】
これは、暗い環境では、光が望遠カメラにほとんど入射せず、望遠カメラを撮像に使用される場合、取得される画像が多くのノイズポイントを有する可能性があり、画像効果が比較的低くなるからである。しかし、暗い環境では、広角カメラによって撮影された画像の中央部の画像効果は依然として比較的良好である。したがって、撮像に広角カメラを使用し、被写界深度の計算を支援するために望遠カメラを使用することにより、比較的良好な画像効果が達成され得る。
【0039】
ブロックS102で、第1の撮影画像は、撮像画像を取得するために事前設定ターゲット領域に従って切り取られる。
【0040】
具体的には、まず、第1の撮影画像から第2の撮影画像と同じ視野を有する分布領域が決定される。広角カメラの視野は望遠カメラの視野よりも大きいため、同じ場面を撮影する場合、広角カメラによって撮影された第1の撮影画像の画像領域は、望遠カメラによって撮影された第2の撮影画像の画像領域よりも相対的に大きい。
図2に、この実施形態による撮影画像の概略図を示す。
図2に示されるように、第1の撮影画像の視野範囲は第2の撮影画像の視野範囲よりも相対的に広く、第2の撮影画像と同じ視野を有する第1の撮影画像の部分、すなわち、第1の画像の細い破線ボックス内の、第1の撮影画像の分布領域と呼ばれるものが、第1の撮影画像の中から見出される。
【0041】
ターゲット領域は、第1の撮影画像の中央領域であってもよく、中央領域は、中心、すなわち第1の撮影画像の中心点から、第1の撮影画像の端まで放射された特定の範囲内の画像である。例えば、
図2の太い破線ボックス内の画像範囲は、第1の撮影画像のターゲット領域である。これは、広角カメラには低い画像効果をもたらす周辺歪みがあるからである。比較的良好な撮像画像を取得し、画像効果を保証するために、広角カメラによって撮影された第1の撮影画像が切り取られる。中央領域の画像効果は比較的良好であり、広角カメラの画像効果を向上させるために画像の中央領域は保持され、周辺の歪んだ領域は除去される。
【0042】
さらに、ターゲット領域と分布領域のサイズが決定され、それによって撮像画像が決定される。具体的には、分布領域の範囲がターゲット領域の範囲よりも広い場合、ターゲット領域に対応する第1の撮影画像の部分が撮像画像であると判断される。ターゲット領域の範囲が分布領域の範囲よりも広い場合、分布領域に対応する第1の撮影画像の部分が撮像画像であると判断される。ターゲット領域と分布領域とが部分的にオーバーラップした領域を有する場合、部分的にオーバーラップした領域に対応する第1の撮影画像の部分が撮像画像であると判断される。
【0043】
ターゲット領域の具体的な範囲は、具体的には、実際の用途における1つまたは複数の画像パラメータ、例えば、広角カメラの解像度、撮影環境などに従って当業者によって設定され得ることに留意されたい。
【0044】
1つの可能な実施態様において、ターゲット領域の具体的な範囲は、広角カメラの解像度、周辺歪み度などに従って設定され得る。広角カメラの光学設計により、広視野条件下では避けられない周辺歪みが発生する。具体的には、近軸結像はy’=f×tan(T)という結像関係を満たし、式中、y’はセンサの半径方向寸法であり、Tは視野であり、fは焦点距離である。センサの半径方向寸法y’は一定であるので、fが減少すると、すなわち短焦点端の条件下ではTが疑う余地な増加し、その場合広角が達成され得る。しかし、広視野条件下では結像規則が近軸条件と徐々に矛盾するようになり、y’=f×tan(T)を満たす結像関係は、広視野で負の歪みをもたらすように、徐々にy=f×Tという規則に近づく。そのような歪みは、画像の周辺で顕著である。
【0045】
上記の歪み原理に基づき、周辺歪み度はある程度まで視野のサイズと関連付けられることがわかる。したがって、ターゲット領域の具体的な範囲は、広角カメラの視野と解像度の少なくとも一方に従って決定され得る。
【0046】
あるいは、ターゲット領域の範囲は、広角カメラの視野のみに従って決定されてもよい。視野が広い場合、周辺歪み範囲は広がり、ターゲット領域の設定範囲は画像の中心に近づき、ターゲット領域の設定範囲は狭まり、解像度は下がる。視野が狭い場合、周辺歪み範囲は比較的狭まり、ターゲット領域の設定範囲を拡大でき、解像度は上がる。
【0047】
あるいは、ターゲット領域の範囲は、広角カメラの解像度のみに従って決定される。広角カメラの解像度が高く、一方でイメージセンサのサイズが適度に設定されている場合、画質は向上し、ターゲット領域の設定範囲は広がり、解像度は上がる。広角カメラの解像度が低い場合、画質は低下し、ターゲット領域の設定範囲は狭まり、解像度は下がる。
【0048】
これは、同じ解像度の条件下では、イメージセンサのサイズが大きくなると、画質が向上するからである。イメージセンサのサイズが固定されている場合、解像度が上がると、画質は低下し得る。解像度が下がると、画像粒度が増加し、画質も低下し得る。
【0049】
あるいは、ターゲット領域の設定範囲は、広角カメラの視野と解像度の両方に従って決定されてもよい。広角カメラの視野が小さく、画像の解像度が高い場合、画質は向上し、ターゲット領域の範囲をより広く設定でき、ターゲット領域の解像度は上がる。これに対して、ターゲット領域の範囲は狭まる。具体的には、広角カメラの視野と解像度の組み合わせとターゲット領域の解像度との間のマッピング関係を設定でき、マッピング関係は経験によって事前に較正され得る。例えば、様々な広角カメラの視野と解像度の組み合わせが撮影に使用され、撮影画像に歪みが生じない(または歪みの程度が許容範囲内にある)最大範囲が決定され、最大範囲に従ってターゲット領域の解像度が決定され得る。
【0050】
別の可能な実施態様では、ターゲット領域の範囲は、周囲輝度に従って決定され得る。周囲輝度が高い場合、画像の画質は向上し、比較的大きなターゲット領域を設定でき、すなわち、ターゲット領域の解像度が比較的上がり得る。
【0051】
ブロックS103で、撮像画像と第2の撮影画像とに従って撮像画像の深度情報が取得される。
【0052】
具体的には、第1の撮影画像と第2の撮影画像とはそれぞれ異なるカメラによって撮影され、2台のカメラ間に一定の距離があるため、視差をもたらす場合がある。加えて、撮像画像は第1の撮影画像を切り取ることによって取得されるため、撮像画像と第2の撮影画像との間にもそのような視差が生じる。撮像画像と第2の撮影画像とが登録された後、撮像画像内と第2の撮影画像内の同じ物体の深度情報、すなわち、物体と、広角カメラと望遠カメラとが位置する平面との間の距離が、三角測量測距原理に従って計算され得る。
【0053】
プロセスを明確にするために、三角測量測距原理について以下で簡単に紹介する。
【0054】
実際のシナリオでは、ある視野特徴の深度は主に両眼視によって解像される。これは、デュアルカメラによって深度を解像する原理と同じである。本実施形態では、第2の撮影画像に従って撮像画像の深度情報を計算するための主な方法は、三角測量測距原理である。
図3に、三角測量測距原理の概略図を示す。
【0055】
図3には、実際の空間における被写体、2つのカメラの位置O
RおよびO
T、ならびに2つのカメラの焦点面が示されている。焦点面と2つのカメラが配置されている平面との間の距離はfである。2つのカメラは、焦点面の位置で結像を行い、それによって2つの撮影画像を取得する。
【0056】
PとP’とは、同じ物体のそれぞれ異なる撮影画像内での位置であり、Pと対応する撮影画像の左境界との間の距離はX
Rであり、P’と対応する撮影画像の左境界との間の距離はX
Tである。O
RとO
Tとはそれぞれ2つのカメラを表し、2つのカメラは同じ平面に位置し、距離Bを有する。
【0057】
三角測量測距原理に基づき、
図2Aで物体と2つのカメラが配置されている平面との間の距離Zは、次の関係を有する。
【数1】
これに基づき、
【数2】
が計算されてもよく、式中、dは異なる撮影画像内の同じ物体の位置間の距離の差である。Bとfとは固定値であるため、物体の距離Zはdに従って決定され得る。
【0058】
S104で、必要なターゲット画像を取得するために深度情報に従って撮像画像に対してぼかし処理が行われる。
【0059】
具体的には、撮像画像の深度情報が計算された後、撮像画像内の物体の深度情報に従って、各物体が前景物体であるかそれとも背景物体であるかが判断され得る。一般に、深度情報が、物体が主カメラと補助カメラとが位置する平面に比較的近く、深度値が比較的小さいことを示す場合、物体は前景物体であると判断されてもよく、そうでない場合、物体は背景物体である。
【0060】
ターゲット画像を取得するために認識された背景に対してぼかし処理が行われ得る。ターゲット画像では、前景がより強調され、背景はぼかされ、前景が合焦された画像効果が達成される。
【0061】
本開示の本実施形態のデュアルカメラベースの撮像のための方法では、広角カメラによって撮影された第1の撮影画像と望遠カメラによって撮影された第2の撮影画像とが取得され、撮像画像を取得するために第1の撮影画像がターゲット領域の事前設定範囲に従って切り取られ、撮像画像と第2の撮影画像とに従って撮像画像の深度情報が計算され、必要なターゲット画像を取得するために深度情報に従って撮像画像に対してぼかし処理が行われる。広角カメラは第1のカメラに決定され、望遠カメラは第2のカメラに決定され、広角カメラによって撮影された第1の撮影画像は撮像画像を取得するためにターゲット領域に従って切り取られる。したがって、暗い環境で比較的良好な撮像画像が得られ、画像効果が保証され、先行技術の暗い環境でのデュアルカメラの画像効果が比較的低いという技術的問題が解決される。
【0062】
前述の実施形態を明確に説明するために、本開示の一実施形態は、デュアルカメラベースの撮像のための別の方法をさらに開示する。
図4に、本開示の一実施形態によるデュアルカメラベースの撮像のための別の方法のフローチャートを示す。
図4に示されるように、この方法は、各ブロックに示される以下の動作を含む。この方法は、ブロックS301から開始し得る。
【0063】
ブロックS301で、周囲光強度が測定される。
【0064】
具体的には、1つの可能な実施態様では、周囲光強度を測定し、周囲光強度値を出力するために独立した測光構成要素が使用される。
【0065】
別の可能な実施態様では、写真セットのイメージセンサが現在の周囲光強度を取得し、周囲光強度値を出力する。
【0066】
別の可能な実施態様では、広角カメラと望遠カメラとの自動調整された国際標準化機構(ISO)値が読み取られ、読み取られたISO値に従って周囲輝度が決定され、周囲輝度と光強度値との間のマッピング関係に従って現在の周囲光強度値が決定される。一般に、広角カメラと望遠カメラとは同じISO値を使用するはずなので、対応する周囲輝度はISO値を使用して決定され得る。しかしながら、読み取られた望遠カメラのISO値と広角カメラのISO値とが互いに異なる場合、対応する周囲輝度は、2つの値の平均値に従って決定され得る。
【0067】
ISO値はカメラの感度を指示するために使用されることに留意されたい。一般的なISO値には、50、100、200、400、1,000などが含まれる。カメラは、周囲輝度に従ってISO値を自動調整し得る。したがって、本実施形態では、周囲輝度はISO値から推定され得る。一般に、十分な光の条件下ではISO値は50または100であり、不十分な光の条件下ではISO値は400以上になり得る。
【0068】
ブロックS302で、周囲光強度が光強度閾値よりも低い場合、広角カメラは第1の撮影画像を撮影するよう制御され、望遠カメラは第2の撮影画像を撮影するよう制御される。
【0069】
具体的には、測定された周囲光強度値は、光強度閾値と比較される。周囲光強度が光強度閾値より低い場合、すなわち、撮影環境が比較的暗い場合、本開示の本実施形態の方法を使用することにより、画像効果が向上し得る。
【0070】
移動端末の写真装置の電源が入れられ、広角カメラと望遠カメラとは、それぞれ、撮像用の第1の撮影画像と被写界深度を計算するための第2の撮影画像とを取得するために画像を同時に取り込むように駆動される。
【0071】
ブロックS303で、分布領域の範囲がターゲット領域の範囲よりも広いかどうかが判断される。はいの場合、ブロックS304が実行される。いいえの場合、ブロックS305が実行される。
【0072】
具体的には、広角カメラによって撮影された画像の周辺は、暗い環境では歪んでおり、中央領域に対応するターゲット領域の画像効果は比較的良好であるため、撮影時に第1の撮影画像のターゲット領域において視野が結像され得る。広角カメラと望遠カメラとは画像を同時に取り込むが、レンズパラメータの制限により視野間に一定の違いが生じ得るので、第2の撮影画像と同じ視野を有する第1の撮影画像の分布領域を決定する必要がある。深度情報の計算時には、視野の一方にのみ存在する物体の深度情報が計算されない場合もある。したがって、深度情報の計算を簡便にするために、本実施形態では、第1の撮影画像は、撮像画像とするために、第1の撮影画像のターゲット領域から分布領域に位置する部分をできるだけ多く取得するように切り取られ、それによって、撮像画像の深度情報の正確さが保証される。
【0073】
ブロックS304で、分布領域の範囲がターゲット領域の範囲よりも広い場合、ターゲット領域に対応する第1の撮影画像の部分が撮像画像であると判断される。
【0074】
具体的には、分布領域の範囲がターゲット領域の範囲よりも広い場合、ターゲット領域内のすべての物体が分布領域で結像され、よってターゲット領域に対応する第1の撮影画像の部分が撮像画像であると判断される。
【0075】
ブロックS305で、ターゲット領域の範囲が分布領域の範囲よりも広いかどうかが判断される。はいの場合、ブロックS306が実行される。いいえの場合、ブロックS307が実行される。
【0076】
この動作は、具体的には、本実施形態のブロックS303の関連する説明から理解でき、これについてここでは詳述しない。
【0077】
ブロックS306で、ターゲット領域の範囲が分布領域の範囲よりも広い場合、分布領域の範囲内の第1の撮影画像の部分が撮像画像であると判断される。
【0078】
具体的には、ターゲット領域の範囲が分布領域の範囲よりも広い場合、分布領域内のすべての物体がターゲット領域で結像され、よって分布領域に対応する第1の撮影画像の部分が撮像画像であると判断される。
【0079】
ブロックS307で、ターゲット領域と分布領域とが部分的にオーバーラップした領域を有する場合、部分的にオーバーラップした領域に対応する第1の撮影画像の部分が撮像画像であると判断される。
【0080】
具体的には、ターゲット領域と分布領域とが部分的にオーバーラップした領域を有する場合、オーバーラップした領域内の各物体は分布領域とターゲット領域の両方で結像され、よって、部分的にオーバーラップした領域に対応する第1の撮影画像の部分が撮像画像であると判断される。
【0081】
ブロックS308で、撮像画像の深度情報が第2の撮影画像に従って計算される。
【0082】
具体的には、撮像画像の深度情報は、第2の撮影画像内と第1の撮影画像内の同じ物体の位置ずれと、デュアルカメラのパラメータとに従って決定される。
【0083】
具体的な計算プロセスは、上記の実施形態のブロック103に関する関連する説明から理解でき、これについてここでは詳述しない。
【0084】
ブロックS309で、必要なターゲット画像を取得するために深度情報に従って撮像画像に対してぼかし処理が行われる。
【0085】
具体的には、撮像画像の深度情報が計算された後、撮像画像内の物体の深度情報に従って、各物体が前景であるかそれとも背景であるかが判断され得る。一般に、深度情報が、物体が主カメラと補助カメラとが位置する平面に比較的近く、深度値が比較的小さいことを示す場合、物体は前景物体であると判断されてもよく、そうでない場合、物体は背景物体である。さらに、ターゲット画像を取得するために認識された背景に対してぼかし処理が行われ得る。
【0086】
本開示の実施形態のデュアルカメラベースの撮像のための方法では、広角カメラによって撮影された第1の撮影画像と望遠カメラによって撮影された第2の撮影画像とが取得され、撮像画像を取得するために第1の撮影画像がターゲット領域の事前設定範囲に従って切り取られ、撮像画像と第2の撮影画像とに従って撮像画像の深度情報が取得され、必要なターゲット画像を取得するために深度情報に従って撮像画像に対してぼかし処理が行われる。広角カメラは第1のカメラに決定され、望遠カメラは第2のカメラに決定され、広角カメラによって撮影された第1の撮影画像は撮像画像を取得するためにターゲット領域に従って切り取られる。したがって、暗い環境で比較的良好な撮像画像が得られ、画像効果が保証され、先行技術の暗い環境でのデュアルカメラの画像効果が比較的低いという技術的問題が解決される。加えて、ターゲット画像を切り取ることにより、画像処理速度が増し、画像処理に必要な時間が短縮される。
【0087】
上記の実施形態には周囲光強度が光強度閾値よりも低いという条件下でのデュアルカメラベースの画像処理方法が記載されている。上記の実施形態に基づき、本発明は、デュアルカメラベースの撮像のための方法の1つの可能な実施態様をさらに開示する。周囲光強度が測定された後に周囲光強度が光強度閾値よりも高いという条件下での画像処理方法について具体的に説明する。
図5に、本発明の一実施形態によるデュアルカメラベースの撮像のための別の方法のフローチャートを示す。
図5に示されるように、前の実施形態に基づき、ブロックS301の後、方法は、各ブロックに示される以下の動作をさらに含み得る。この方法は、ブロックS401から開始し得る。
【0088】
ブロックS401で、周囲光強度が光強度閾値よりも高いと判断される。
【0089】
ブロックS402で、選択されたビュー・ファインディング・モードがクロース・ショット・モードであるか否かが判断され、クロース・ショット・モードである場合、S403が実行され、ロング・ショット・モードである場合、S405が実行される。
【0090】
具体的には、周囲光強度が光強度閾値よりも高い場合、それは、現在の撮影環境に比較的良い光があることを指示する。この場合、カメラは2つの撮影モード、すなわち、クロース・ショット・モードとロング・ショット・モードの一方で動作し得る。クロース・ショット・モードでは、集束距離が比較的短く、例えば、集束距離は0.3メートルから1メートルである。クロース・ショット・モードは主に、比較的近い距離内の画像を撮影するために使用され、被写体の主要部分および主要な特徴が強調表示される。クロース・ショット・モードは、人物の顔写真やクローズアップなど、人物の表情や被写体の主要な特徴を美しく描写することに優れている。ロング・ショット・モードでは、集束距離が比較的長く、例えば、集束距離は1メートルより長くなる。ロング・ショット・モードは主に、比較的長い距離内の画像を撮影するために使用される。ビューファインディング距離が比較的長い場合、自然が主として表現対象と見なされ、被写体の全体的な構造が強調され、その詳細な表現は無視される。
【0091】
ブロックS403で、クロース・ショット・モードで、広角カメラによって撮影された第1の撮影画像と望遠カメラによって撮影された第2の撮影画像とに基づいて、第1の撮影画像の深度情報が決定される。
【0092】
具体的には、比較的良好な光の条件下では、広角カメラと望遠カメラの両方が比較的良好な画像効果を達成し得る。広角カメラは、レンズ角度が広く、視野が広く、有効視距離が短いので、広角カメラは、クロース・ショット・モードでより良い画像効果を達成し得る。したがって、クロース・ショット・モードでは、広角カメラは、撮像用に構成された第1の撮影画像を取得するために使用され、望遠カメラは、被写界深度の計算を支援し、第1の撮影画像の深度情報を決定するように構成された第2の撮影画像を取得するために使用される。第1の撮影画像の深度情報を計算するための方法は、
図4に対応する実施形態のステップS308を参照してもよく、同じ原理が使用されており、これについてここでは詳述しない。
【0093】
ブロックS404で、第1の撮影画像の深度情報に従って第1の撮影画像に対してぼかし処理が行われる。
【0094】
この動作は、
図4に対応する実施形態のブロックS309から理解でき、同じ原理が使用されており、これについてここでは詳述しない。
【0095】
ブロックS405で、ロング・ショット・モードで、広角カメラによって撮影された第1の撮影画像と望遠カメラによって撮影された第2の撮影画像とを使用して第2の撮影画像の深度情報が決定される。
【0096】
具体的には、比較的良好な光の条件下では、ロング・ショット・モードで、望遠カメラの焦点距離は標準焦点距離を有するカメラよりも長く、長距離撮影に適し、より高い画質が達成され得る。したがって、望遠カメラは、撮像用の第2の撮影画像を取り込むために使用され、広角カメラは、被写界深度の計算を支援し、第2の撮影画像の深度情報を決定するための第1の撮影画像を取り込むために使用される。第2の撮影画像の深度情報を計算するための方法は、
図4に対応する実施形態のステップS308から理解でき、同じ原理が使用されており、これについてここでは詳述しない。
【0097】
ブロックS406で、第2の撮影画像の深度情報に従って、第2の撮影画像に対してぼかし処理が行われる。
【0098】
このステップは、
図4に対応する実施形態のブロックS309から理解でき、同じ原理が使用されており、これについてここでは詳述しない。
【0099】
本実施形態のデュアルカメラベースの撮像のための方法では、周囲光強度が光強度閾値よりも高い場合、撮像用の画像を取り込むためのカメラが選択されたビュー・ファインディング・モードに従って切り替えられるので、より高い画質とより良好なぼかし効果が達成される。
【0100】
上記の実施形態を実施するために、本開示は、デュアルカメラベースの撮像のための装置をさらに提供する。
【0101】
図6に、本開示の一実施形態によるデュアルカメラベースの撮像のための装置の構造図を示す。
【0102】
図6に示されるように、この装置は、取得モジュール41と、切り取りモジュール42と、被写界深度モジュール43と、処理モジュール44とを含む。
【0103】
取得モジュール41は、広角カメラによって撮影された第1の撮影画像と望遠カメラによって撮影された第2の撮影画像とを取得するように構成され得る。
【0104】
切り取りモジュール42は、撮像画像を取得するために、ターゲット領域の事前設定範囲に従って第1の撮影画像を切り取るように構成され得る。
【0105】
被写界深度モジュール43は、撮像画像と第2の撮影画像とに従って撮像画像の深度情報を取得するように構成され得る。
【0106】
処理モジュール44は、必要なターゲット画像を取得するために深度情報に従って撮像画像に対してぼかし処理を行うように構成され得る。
【0107】
上記の方法実施形態に関する説明および記述は、本実施形態の装置にも適用され、これについてここでは詳述しないことに留意されたい。
【0108】
本開示の実施形態のデュアルカメラベースの撮像のための装置では、取得モジュールは、広角カメラによって撮影された第1の撮影画像と望遠カメラによって撮影された第2の撮影画像とを取得するように構成される。切り取りモジュールは、撮像画像を取得するためにターゲット領域の事前設定範囲に従って第1の撮影画像を切り取る。被写界深度モジュールは、撮像画像と第2の撮影画像とに従って撮像画像の深度情報を取得するように構成される。処理モジュールは、必要なターゲット画像を取得するために深度情報に従って撮像画像に対してぼかし処理を行うように構成される。広角カメラは第1のカメラであると判断され、望遠カメラは第2のカメラであると判断される。広角カメラによって撮影された第1の撮影画像は撮像画像を取得するためにターゲット領域に従って切り取られる。したがって、暗い環境で比較的良好な撮像画像が得られ、画像効果が保証され、先行技術の暗い環境でのデュアルカメラの画像効果が比較的低いという技術的問題が解決される。
【0109】
上記の実施形態に基づき、本開示の一実施形態は、デュアルカメラベースの撮像のための装置の1つの可能な実施態様をさらに提供する。
図7に、本開示の一実施形態によるデュアルカメラベースの撮像のための別の装置の構造図を示す。
図7に示されるように、上記の実施形態に基づき、この装置は、決定モジュール45と、測光モジュール45と、判断実行モジュール47と、モード取得モジュール48とをさらに含む。
【0110】
決定モジュール45は、第2の撮影画像と同じ視野を有する第1の撮影画像の分布領域を決定するように構成され得る。
【0111】
1つの可能な実施態様では、切り取りモジュール42は、分布領域の範囲がターゲット領域の範囲よりも広い場合、ターゲット領域に対応する第1の撮影画像の部分を撮像画像であると判断するように特に構成され得る。
【0112】
別の可能な実施態様では、切り取りモジュール42は、ターゲット領域の範囲が分布領域の範囲よりも広い場合、分布領域に対応する第1の撮影画像の部分を撮像画像であると判断するように特に構成される。
【0113】
別の可能な実施態様では、切り取りモジュール42は、ターゲット領域と分布領域とが部分的にオーバーラップした領域を有する場合、部分的にオーバーラップした領域内の第1の撮影画像の部分を撮像画像であると判断するように特に構成される。
【0114】
測光モジュール46は、周囲光強度を測定するように構成され得る。
【0115】
判断実行モジュール47は、周囲光強度が光強度閾値よりも低い場合、第1の撮影画像を撮影するよう広角カメラを制御し、第2の撮影画像を撮影するよう望遠カメラを制御する。
【0116】
さらに、本実施形態の1つの可能な実施態様では、判断実行モジュール47は、周囲光強度が光強度閾値よりも高いと判断するようにさらに構成され得る。モード取得モジュール48は、選択されたビュー・ファインディング・モードを取得するように構成される。被写界深度モジュール43は、ビュー・ファインディング・モードがクロース・ショット・モードである場合、広角カメラによって撮影された第1の撮影画像と望遠カメラによって撮影された第2の撮影画像とに従って第1の撮影画像の深度情報を決定するようにさらに構成され得る。処理モジュール44は、第1の撮影画像の深度情報に従って第1の撮影画像に対してぼかし処理を行うようにさらに構成され得る。
【0117】
別の可能な実施態様形態では、被写界深度モジュール43は、ビュー・ファインディング・モードがロング・ショット・モードである場合、広角カメラによって撮影された第1の撮影画像と望遠カメラによって撮影された第2の撮影画像とを使用して第2の撮影画像の深度情報を決定するようにさらに構成され得る。処理モジュール44は、第2の撮影画像の深度情報に従って第2の撮影画像に対してぼかし処理を行うようにさらに構成され得る。
【0118】
上記の方法実施形態に関する説明および記述は、本実施形態の装置にも適用され、これについてここでは詳述しないことに留意されたい。
【0119】
本開示の本実施形態のデュアルカメラベースの撮像のための装置では、取得モジュールは、広角カメラによって撮影された第1の撮影画像と望遠カメラによって撮影された第2の撮影画像とを取得するように構成され、第1の撮影画像は、撮像画像を取得するために事前設定ターゲット領域に従って切り取られ、被写界深度モジュールは、撮像画像と第2の撮影画像とに従って撮像画像の深度情報を取得するように構成され、処理モジュールは、必要なターゲット画像を取得するために深度情報に従って撮像画像に対してぼかし処理を行うように構成される。広角カメラは第1のカメラに決定され、望遠カメラは第2のカメラに決定され、広角カメラによって撮影された第1の撮影画像は撮像画像を取得するためにターゲット領域に従って切り取られる。したがって、暗い環境で比較的良好な撮像画像が得られ、画像効果が保証され、先行技術の暗い環境でのデュアルカメラの画像効果が比較的低いという技術的問題が解決される。加えて、ターゲット画像を切り取ることにより、画像処理速度が増し、画像処理に必要な時間が短縮される。
【0120】
上記の実施形態を実施するために、本開示は移動端末をさらに開示する。
図7に、本開示の別の実施形態による端末機器の構造図を示す。
図6に示されるように、端末機器1000は、ハウジング1100と、ハウジング1100内に位置する広角カメラ1112と、望遠カメラ1113と、メモリ1114と、プロセッサ1115とを含む。
【0121】
メモリ1114には実行可能プログラムコードが格納され、プロセッサ1115は、実行可能プログラムコードに対応するプログラムを実行して上記の方法実施形態のデュアルカメラベースの撮像のための方法を実施するために、メモリ1114に格納された実行可能プログラムコードを読み取る。
【0122】
上記の実施形態を実施するために、本開示は、コンピュータプログラムが格納されたコンピュータ可読記憶媒体をさらに開示する。プログラムは、上記の実施形態におけるデュアルカメラベースの撮像のための方法を実施するために移動端末のプロセッサによって実行される。
【0123】
移動端末は、画像処理回路をさらに含み、画像処理回路は、ハードウェアおよび/またはソフトウェア構成要素を使用して実装されてもよく、画像信号処理(Image Signal Processing(ISP))パイプラインを定義する様々な処理装置を含んでいてもよい。
図8に、一実施形態による画像処理回路の概略図を示す。
図8に示されるように、説明の便宜上、本開示の実施形態に関連した画像処理技術の様々な態様が示されている。
【0124】
図8に示されるように、画像処理回路は、ISPデバイス940と制御論理デバイス950とを含む。撮像装置910によって撮影された画像データは、最初にISPデバイス940によって処理され、ISPデバイス940は、画像データを解析して、ISPデバイスおよび/または撮像装置910の1つまたは複数の制御パラメータを決定するための画像統計情報を取り込む。撮像装置910は2つのカメラを特に含んでいてもよく、各カメラは1つまたは複数のレンズ912とイメージセンサ914とを含み得る。イメージセンサ914は、カラー・フィルタ・アレイ(ベイヤフィルタなど)を含んでいてもよく、イメージセンサ914は、イメージセンサ914の各撮像画素によって撮影された光強度と波長情報とを取得し、ISPデバイス940による処理が可能な元の画像データセットを提供し得る。センサ920は、センサ920のインターフェースタイプに基づいてISPデバイス940に元の画像データを提供し得る。センサ920のインターフェースは、標準モバイル・イメージング・アーキテクチャ(Standard Mobile Imaging Architecture(SMIA))・インターフェース、別のシリアルもしくはパラレルカメラインターフェース、または上記インターフェースの組み合わせを使用し得る。
【0125】
ISPデバイス940は、複数のフォーマットに従ってピクセルごとに元の画像データを処理する。例えば、各画素は、8、10、12、または14ビットのビット深度を有し得る。ISPデバイス940は、元の画像データに対して1つまたは複数の画像処理操作を実行し、画像データに関する画像統計情報を収集し得る。画像処理操作は、同じかまたは異なるビット深度精度に従って実行され得る。
【0126】
ISPデバイス940は、画像メモリ930から画素データをさらに受け取り得る。例えば、センサ920のインターフェースが画像メモリ930に元の画素データを送り、画像メモリ930内の元の画素データが処理のためにISPデバイス940に提供される。画像メモリ930は、電子機器内のメモリデバイス、ストレージデバイス、または独立した専用メモリの一部であってもよく、ダイレクト・メモリ・アクセス(Direct Memory Access(DMA))機構を含み得る。
【0127】
センサ920のインターフェースからまたは画像メモリ930から元の画像データを受け取ると、ISPデバイス940は、1つまたは複数の画像処理操作、例えば、時間領域フィルタリングを実行し得る。処理された画像データは、表示前に他の処理のために画像メモリ930に送られ得る。ISPデバイス940は、画像メモリ930から処理されたデータを受け取り、処理されたデータに対して元の領域と色空間赤、緑、青(RGB)およびYCbCrとで画像データ処理を行う。処理された画像データは、ユーザが見るために、かつ/またはグラフィックス処理装置(Graphics Processing Unit(GPU))によるさらなる処理のためにディスプレイ970に出力され得る。加えて、ISPデバイス940の出力が画像メモリ930にさらに送られてもよく、ディスプレイ970は画像メモリ930から画像データを読み取り得る。一実施形態では、画像メモリ930は、1つまたは複数のフレームバッファを実装するように構成され得る。さらに、ISPデバイス940の出力は、画像データを符号化/復号化するために符号器/復号器960に送られ得る。符号化された画像データは格納されてもよく、ディスプレイ970に表示される前に解凍される。符号器/復号器960は、中央処理装置(Central Processing Unit(CPU))またはGPUまたはコプロセッサによって実施され得る。
【0128】
ISPデバイス940によって決定された統計情報は、制御論理デバイス950に送られ得る。例えば、統計情報は、イメージセンサ914の自動露出、自動ホワイトバランス、自動焦点、フラッシュ検出、黒レベル補正、レンズ912の影補正などの統計情報を含み得る。制御論理デバイス950は、1つまたは複数のルーチン(例えば、ファームウェア)を実行するプロセッサおよび/またはマイクロコントローラを含んでいてもよく、1つまたは複数のルーチンは、受け取られた統計データに従って撮像装置910の制御パラメータおよびISPデバイスの制御パラメータを決定し得る。例えば、制御パラメータには、センサ920の制御パラメータ(例えば、利得および露出制御のための積分時間)、カメラフラッシュ制御パラメータ、レンズ912の制御パラメータ(例えば、合焦やズーミングのための焦点距離)またはこれらのパラメータの組み合わせが含まれ得る。ISPデバイスの制御パラメータには、自動ホワイトバランスおよび色調整のための利得レベルおよび色補正マトリックス(例えば、RGB処理時)と、レンズ912の影補正パラメータが含まれ得る。
【0129】
本明細書の記述において、「一実施形態」、「いくつかの実施形態」、「例」、「具体例」、「いくつかの例」などの用語に関してなされた記述は、その実施形態または例と組み合わせて記述されている特定の特徴、構造、材料、または特性が本開示の少なくとも1つの実施形態または例に含まれることを指す。本明細書では、これらの用語は、必ずしも同じ実施形態または例について概略的に表現されているとは限らない。さらに、記載された特定の特徴、構造、材料、または特性は、任意の1つまたは複数の実施形態または例において適切な方法で組み合わされ得る。加えて、当業者であれば、本明細書に記載される異なる実施形態または例および異なる実施形態または例の特徴を矛盾なく統合し、組み合わせることもできよう。
【0130】
加えて、「第1」および「第2」という用語は、記述のために使用されているにすぎず、相対的な重要度を指示または示唆するとも、指示される技術的特徴の数を暗黙的に指示するとも理解されるべきではない。したがって、「第1」および「第2」によって定義される特徴は、少なくとも1つのそのような特徴の包含を明示的または暗黙的に示し得る。本開示の記述において、「複数」とは、特に明確かつ具体的に限定されない限り、少なくとも2つ、例えば2つおよび3つを意味する。
【0131】
フローチャート内の、または別の方法で本明細書に記載された任意のプロセスまたは方法は、プロセスの特定の論理機能またはステップを実現するように構成された1つまたは複数の実行可能命令のコードを含むモジュール、セグメントまたは部分を表すと理解されてもよく、さらに、本開示の好ましい実施モードの範囲は、基本的に同時の、または関与する機能に従った逆の順序での機能の実行を含む、本明細書で図示または考察された順序ではない、他の実施態様を含む。これは、本開示の実施形態の当業者によって理解されるはずである。
【0132】
フローチャートで表された、または別の方法で本明細書に記載された論理および/またはステップは、論理機能を実現するように構成された実行可能命令の固定順のリストと見なされてもよく、具体的には、命令実行システム、機器もしくは装置(例えば、コンピュータベースのシステム、プロセッサを含むシステム、または命令実行システム、機器もしくは装置から命令を読み取り、命令を実行することができる別のシステム)が使用するための、または命令実行システム、機器もしくは装置と組み合わせて使用するための任意のコンピュータ可読媒体において実装され得る。本明細書では、「コンピュータ可読媒体」とは、命令実行システム、機器もしくは装置が使用するための、または命令実行システム、機器もしくは装置と組み合わせて使用するためのプログラムを含み、格納し、プログラムと通信し、プログラムを伝搬し、または送信することができる任意のデバイスであり得る。コンピュータ可読媒体のより具体的な例(非網羅的リスト)には、1つまたは複数の配線を備えた電子接続部分(電子機器)、ポータブル・コンピュータ・ディスク(磁気デバイス)、ランダム・アクセス・メモリ(RAM)、読取り専用メモリ(ROM)、消去可能書込み可能ROM(EPROM)(またはフラッシュメモリ)、光ファイバデバイス、およびポータブル・コンパクト・ディスク読取り専用メモリ(CD‐ROM)が含まれる。加えて、コンピュータ可読媒体は、紙やプログラムがプリントされ得る別の媒体でさえもよい。というのは、例えば、紙や別の媒体は、光学的にスキャンされ、次いで、編集、解釈され、または、必要に応じて、コンピュータメモリに格納するための電子方式のプログラムを取得するために任意の適切な方法で処理され得るからである。
【0133】
本開示の各部分は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせによって実施され得ることを理解されたい。上記の実施モードでは、メモリに格納され、適切な命令実行システムによって実行されるソフトウェアまたはファームウェアによって複数のステップまたは方法が実施され得る。例えば、別の実施モードのような、ハードウェアによる実施の場合には、データ信号のための論理機能を実現するように構成された論理ゲート回路を備えたディスクリート論理回路、適切な組み合わせ論理ゲート回路を備えた特定用途向け集積回路、プログラマブル・ゲート・アレイ(PGA)、フィールド・プログラマブル・ゲート・アレイ(FPGA)などの、当技術分野で周知の技術のうちのいずれか1つまたはそれらの組み合わせが、実施のために使用され得る。
【0134】
上記の実施形態の方法におけるステップの全部または一部が、プログラムによって命令される関連ハードウェアを介して完了され得ることを当業者は理解するはずであり、プログラムはコンピュータ可読記憶媒体に格納されてもよく、プログラムが実行される場合、方法実施形態のステップのうちの1つまたはそれらの組み合わせが含まれる。
【0135】
加えて、本開示の各実施形態における各機能ユニットは処理モジュールに統合されてもよく、各ユニットはまた、物理的に独立して存在してもよく、2つ以上のユニットがモジュールに統合されてもよい。統合モジュールは、ハードウェア形態で実施されてもよく、ソフトウェア機能モジュールの形態で実施されてもよい。ソフトウェア機能モジュールの形態で実施され、独立した製品として販売または使用される場合、統合モジュールはコンピュータ可読記憶媒体に格納され得る。
【0136】
記憶媒体は、読取り専用メモリ、磁気ディスク、光ディスクなどであり得る。本開示の実施形態は上記で図示または説明されている。しかしながら、上記の実施形態は例示であり、本開示に対する限定として理解されるべきではなく、当業者であれば、本開示の範囲内で上記の実施形態に対して様々な変形、改変、置換、変換を行い得ることが理解されよう。