特許 6911202 撮像制御方法および撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6911202

(24)【登録日】2021年7月9日

(45)【発行日】2021年7月28日

(54)【発明の名称】撮像制御方法および撮像装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20210715BHJP

   G03B 7/091 20210101ALI20210715BHJP

   H04N 5/225 20060101ALI20210715BHJP

   H04N 5/235 20060101ALI20210715BHJP

【ＦＩ】

   H04N5/232 450

   G03B7/091

   H04N5/225 300

   H04N5/232 290

   H04N5/235 500

【請求項の数】10

【全頁数】32

(21)【出願番号】特願2020-523715(P2020-523715)

(86)(22)【出願日】2019年2月2日

(65)【公表番号】特表2021-500820(P2021-500820A)

(43)【公表日】2021年1月7日

(86)【国際出願番号】CN2019074648

(87)【国際公開番号】WO2019169987

(87)【国際公開日】20190912

【審査請求日】2020年4月27日

(31)【優先権主張番号】201810183375.4

(32)【優先日】2018年3月6日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】516227559

【氏名又は名称】オッポ広東移動通信有限公司

【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100105153

【弁理士】

【氏名又は名称】朝倉 悟

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100152205

【弁理士】

【氏名又は名称】吉田 昌司

(74)【代理人】

【識別番号】100137523

【弁理士】

【氏名又は名称】出口 智也

(72)【発明者】

【氏名】リ、シャオペン

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２０１１−１０９５７６（ＪＰ，Ａ）

【文献】 特開２０１３−０１３０４１（ＪＰ，Ａ）

【文献】 特開２０１２−１０５２２５（ＪＰ，Ａ）

【文献】 特開２００２−３３５４４０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ ７／０９１

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３５

(57)【特許請求の範囲】

【請求項1】

撮像制御方法であって、
撮影環境の環境輝度を取得することと、
前記撮影環境の前記環境輝度および事前設定目標輝度に従って第１の利得指数を取得すること（１００）と、
前記第１の利得指数および事前設定切り替え条件情報に従って撮影のための撮影モードを決定することであって、前記撮影モードが高輝度モードおよび低輝度モードを含む、決定すること（１０１）と
を含むものであり、
前記切り替え条件情報が、事前設定利得指数を含み、
前記第１の利得指数および事前設定切り替え条件情報に従って撮影のための撮影モードを決定すること（１０１）が、
前記第１の利得指数が前記事前設定利得指数より小さい場合、撮影のために前記高輝度モードを決定すること（２０２）と、
前記第１の利得指数が前記事前設定利得指数より大きい場合、撮影のために前記低輝度モードを決定すること（２０３）と、
前記第１の利得指数が前記事前設定利得指数と等しい場合、撮影のために前記高輝度モードまたは前記低輝度モードを決定することと
を含むものであり、
前記切り替え条件情報が、事前設定利得指数範囲をさらに含み、前記事前設定利得指数が前記事前設定利得指数範囲内にあり、
前記撮像制御方法が、
撮影のために前記低輝度モードを決定したことに応答して第２の利得指数を取得すること（２２０３）と、
前記第２の利得指数が前記事前設定利得指数範囲の下限以上である場合、撮影のために前記低輝度モードを保持すること（２２０５）と、
前記第２の利得指数が前記事前設定利得指数範囲の前記下限より小さい場合、撮影のために前記高輝度モードに切り替えること（２２０６）と
をさらに含むものであり、
前記第２の利得指数が前記事前設定利得指数範囲の前記下限と前記事前設定利得指数との間にある場合、第３の利得指数を取得し、引き続き取得された利得指数が前記事前設定利得指数範囲の前記下限と前記事前設定利得指数との間にある持続時間をカウントすること（２４０５）と、
前記持続時間が事前設定持続時間より大きい場合、撮影のために前記高輝度モードに切り替えること（２４０６）とをさらに含む、
撮像制御方法。

【請求項2】

前記切り替え条件情報が、事前設定利得指数範囲を含み、
前記第１の利得指数および事前設定切り替え条件情報に従って撮影のための撮影モードを決定すること（１０１）が、
前記第１の利得指数が前記事前設定利得指数範囲の下限より小さい場合、撮影のために前記高輝度モードを決定することと、
前記第１の利得指数が前記事前設定利得指数範囲の上限より大きい場合、撮影のために前記低輝度モードを決定することと、
前記第１の利得指数が前記事前設定利得指数範囲内にある場合、撮影のために前記高輝度モードもしくは前記低輝度モードを決定するか、または前記撮影モードを不変のまま保持することと
を含む、請求項１に記載の撮像制御方法。

【請求項3】

前記切り替え条件情報が、事前設定利得指数範囲をさらに含み、前記事前設定利得指数が前記事前設定利得指数範囲内にあり、
前記撮像制御方法が、
撮影のために前記高輝度モードを決定したことに応答して第２の利得指数を取得すること（１８０３）と、
前記第２の利得指数が前記事前設定利得指数範囲の上限以下である場合、撮影のために前記高輝度モードを保持すること（１８０５）と、
前記第２の利得指数が前記事前設定利得指数範囲の前記上限より大きい場合、撮影のために前記低輝度モードに切り替えること（１８０６）と
をさらに含む、請求項１に記載の撮像制御方法。

【請求項4】

前記第２の利得指数が前記事前設定利得指数と前記事前設定利得指数範囲の前記上限との間にある場合、第３の利得指数を取得し、引き続き取得された利得指数が前記事前設定利得指数と前記事前設定利得指数範囲の前記上限との間にある持続時間をカウントすること（２００５）と、
前記持続時間が事前設定持続時間より大きい場合、撮影のために前記低輝度モードに切り替えること（２００６）と
をさらに含む、請求項３に記載の撮像制御方法。

【請求項5】

環境輝度値を取得することが、
シーン画像を取得するための前記撮影環境のシーンを撮影すること（８０１）と、
前記シーン画像の本体および背景を取得するために前記シーン画像を処理すること（８０２）と、
前記本体の輝度と前記背景の輝度との差分に従って前記環境輝度を決定することと
を含む、請求項１〜４のいずれか一項に記載の撮像制御方法。

【請求項6】

前記本体の輝度と前記背景の輝度との差分に従って前記環境輝度を決定することが、
前記本体の輝度と前記背景の輝度との前記差分が事前設定差分より大きい場合、前記差分に従って本体重みおよび背景重みを計算すること（８０４）と、
前記本体重みと前記背景重みとにそれぞれ従って前記本体の前記輝度と前記背景の前記輝度とを調整すること（８０５）と、
前記本体の前記調整済み輝度と前記背景の前記調整済み輝度との平均輝度を前記環境輝度値として計算すること（８０６）と、
前記本体の輝度と前記背景の輝度との前記差分が事前設定差分値以下である場合、前記本体の前記輝度と前記背景の前記輝度との平均輝度値を前記環境輝度値として計算すること（８０７）と
を含む、請求項５に記載の撮像制御方法。

【請求項7】

プロセッサ（６０）と、前記プロセッサ（６０）により実行可能なコンピュータ可読命令を記憶するメモリ（８２）とを備え、プロセッサ（６０）は、
撮影環境の環境輝度を取得する動作と、
前記撮影環境の前記環境輝度および事前設定目標輝度に従って第１の利得指数を取得する動作（１００）と、
前記第１の利得指数および事前設定切り替え条件情報に従って撮影のための撮影モードを決定する動作であって、前記撮影モードが高輝度モードおよび低輝度モードを含む、動作（１０１）と
を行うものであり、
前記切り替え条件情報が、事前設定利得指数を含み、
前記第１の利得指数および事前設定切り替え条件情報に従って撮影のための撮影モードを決定する動作（１０１）が、
前記第１の利得指数が前記事前設定利得指数より小さい場合、撮影のために高輝度モードを決定する動作（２０２）と、
前記第１の利得指数が前記事前設定利得指数より大きい場合、撮影のために低輝度モードを決定する動作（２０３）と
を含むものであり、
前記切り替え条件情報が、事前設定利得指数範囲をさらに含み、前記事前設定利得指数が前記事前設定利得指数範囲内にあり、
前記プロセッサ（６０）が、前記コンピュータ可読命令を実行すると、
撮影のために前記低輝度モードを決定したことに応答して第２の利得指数を取得する動作（２４０３）と、
前記第２の利得指数が前記事前設定利得指数範囲の最小値より小さい場合、撮影のために前記高輝度モードに切り替える動作と、
前記第２の利得指数が前記事前設定利得指数範囲の前記最小値と前記事前設定利得指数との間にある場合、第３の利得指数を取得し、引き続き取得された利得指数が前記事前設定利得指数範囲の前記最小値と前記事前設定利得指数との間にある持続時間をカウントする動作（２４０５）と、
前記持続時間が事前設定持続時間より大きい場合、撮影のために前記高輝度モードに切り替える動作（２４０６）と
をさらに行う、撮像装置（２００）。

【請求項8】

複数の画素セル（３１１）を含む画素セル配列（３１）を備え、
各画素セル（３１１）が、長時間露光画素、中時間露光画素、および短時間露光画素を含み、
前記長時間露光画素の露光時間が前記中時間露光画素の露光時間より長く、前記中時間露光画素の露光時間が前記短時間露光画素の露光時間より長い、請求項７に記載の撮像装置。

【請求項9】

前記切り替え条件情報が、事前設定利得指数範囲をさらに含み、前記事前設定利得指数が前記事前設定利得指数範囲内にあり、
前記プロセッサ（６０）が、前記コンピュータ可読命令を実行すると、
撮影のために前記高輝度モードを決定したことに応答して第２の利得指数を取得する動作（２００３）と、
前記第２の利得指数が前記事前設定利得指数範囲の最大値より大きい場合、撮影のために前記低輝度モードに切り替える動作と、
前記第２の利得指数が前記事前設定利得指数と前記事前設定利得指数範囲の前記最大値との間にある場合、第３の利得指数を取得し、引き続き取得された利得指数が前記事前設定利得指数と前記事前設定利得指数範囲の前記最大値との間にある持続時間をカウントする動作（２００５）と、
前記持続時間が事前設定持続時間より大きい場合、撮影のために前記低輝度モードに切り替える動作（２００６）と
をさらに行う、請求項７に記載の撮像装置。

【請求項10】

前記プロセッサ（６０）が、前記コンピュータ可読命令を実行すると、
前記画素セル配列（３１）を、異なる露光時間の下で複数の原画素情報を出力するよう制御する動作（１２０１）と、
同じ画素セルにおける同じ露光時間の前記原画素情報にそれぞれ従ってマージ画素情報を計算する動作（１２０２）と、
複数の前記マージ画素情報に従って前記高輝度モードでの撮影結果を出力する動作（１２０３）と
をさらに行うか、
または、
前記プロセッサ（６０）が、前記コンピュータ可読命令を実行すると、
前記画素セル配列（３１）を、異なる露光時間の下で複数の原画素情報を出力するよう制御する動作（１５０１）と、
同じ画素セルにおける前記原画素情報をそれぞれ合成することによって合成画素情報を計算する動作であって、各画素セル（３１１）が１つの合成画素情報に対応する、動作（１５０２）と、
複数の前記合成画素情報に従って前記低輝度モードでの撮影結果を出力する動作（１５０３）と
をさらに行う、請求項８に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、電子技術、特に、撮像制御方法および撮像装置に関するが、これに限定されない。

【背景技術】

【0002】

ＨＤＲ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ（ハイ・ダイナミック・レンジ））技術では、画素配列が、複数のフレーム画像を順次に異なる露光時間で露光および出力するよう制御され、次いで複数のフレーム画像は、ハイ・ダイナミック・レンジを計算するために融合され得る。しかしながら、暗い環境では、このようにして取り込まれたフレーム画像はノイズが多く、鮮明度およびコントラストが不十分である。

【発明の概要】

【課題を解決するための手段】

【0003】

本発明の実施形態は、撮像制御方法および撮像装置を提供する。

【0004】

一態様では、撮像制御方法が提供され、本方法は、撮影環境の環境輝度を取得することと、撮影環境の環境輝度および事前設定目標輝度に従って第１の利得指数を取得することと、第１の利得指数および事前設定切り替え条件情報に従って、高輝度モードおよび低輝度モードを含む撮影のための撮影モードを決定することと、を含み得る。

【0005】

別の態様では、撮像装置が提供され、本撮像装置は、プロセッサと、プロセッサにより実行可能なコンピュータ可読命令を記憶するメモリとを含むことができ、プロセッサは、撮影環境の環境輝度を取得する動作と、撮影環境の環境輝度および事前設定目標輝度に従って第１の利得指数を取得する動作と、第１の利得指数および事前設定切り替え条件情報に従って、高輝度モードおよび低輝度モードを含む撮影のための撮影モードを決定する動作とを行う。

【0006】

本発明の実施形態の他の特徴および利点は、以下の説明に記載され、以下の説明から一部が明らかになり、または本発明の実施形態を実施することによって知ることができる。本発明の実施形態の目的およびその他の利点は、本明細書、特許請求の範囲および図面において詳細に指し示される構造によって実現および取得することができる。

【0007】

添付の図面は、本出願の技術的解決策のさらなる理解を提供するために使用され、本明細書の一部を形成し、本出願の実施形態と共に、本出願の技術的解決策を説明するために使用されるが、本出願の技術的解決策に対する限定をなすものではない。以下で実施形態に言及する場合は、例としてであることを理解されたい。

【0008】

本発明の上記および／またはその他の態様および利点は、実施形態の以下の説明を添付の図面と併せて読めば明らかになり、容易に理解できるであろう。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態における撮像制御方法の第１の例の流れ図である。

【図2】本発明の一実施形態における撮像制御方法の第２の例の流れ図である。

【図3】本発明の一実施形態における撮像装置の部分構造の概略図である。

【図4】本発明の一実施形態における撮像装置の画素セル配列の部分構造の概略図である。

【図5】本発明の一実施形態における制御装置のブロック図である。

【図6】本発明の一実施形態における撮像装置のブロック図である。

【図7】本発明の一実施形態における撮像制御方法の第３の例の流れ図である。

【図8】本発明の一実施形態における撮像制御方法の第４の例の流れ図である。

【図9】本発明の一実施形態における制御装置の第１の取得モジュールのブロック図である。

【図10】本発明の一実施形態における制御装置の第１の取得部のブロック図である。

【図11】本発明の一実施形態の撮像制御方法におけるシーン画像の概略図である。

【図12】本発明の一実施形態における撮像制御方法の第５の例の流れ図である。

【図13】本発明の一実施形態における制御装置の第１の制御モジュールのブロック図である。

【図14】本発明の一実施形態における撮像装置の画素セル配列の構造の概略図である。

【図15】本発明の一実施形態における撮像制御方法の第６の例の流れ図である。

【図16】本発明の一実施形態における制御装置の第２の制御モジュールのブロック図である。

【図17】本発明の一実施形態における撮像制御方法の原理の概略図である。

【図18】本発明の一実施形態における撮像制御方法の第７の例の流れ図である。

【図19】本発明の一実施形態における制御装置の第１の例のブロック図である。

【図20】本発明の一実施形態における撮像制御方法の第８の例の流れ図である。

【図21】本発明の一実施形態における制御装置の第２の例のブロック図である。

【図22】本発明の一実施形態における撮像制御方法の第９の例の流れ図である。

【図23】本発明の一実施形態における制御装置の第３の例のブロック図である。

【図24】本発明の一実施形態における撮像制御方法の第１０の例の流れ図である。

【図25】本発明の一実施形態における制御装置の第４の例のブロック図である。

【図26】本発明の一実施形態におけるコンピュータ装置のブロック図である。

【図27】本発明の一実施形態における画像処理回路のブロック図である。

【発明を実施するための形態】

【0010】

以下では本発明の実施形態が詳細に説明され、実施形態の例は添付の図面に示されており、図面において、同じかもしくは類似した参照番号は、全体を通して、同じかもしくは類似した要素または同じかもしくは類似した機能を有する要素を指す。図面を参照して以下で説明される実施形態は例示であり、本発明を説明するためのものであり、本発明の限定と解釈されるべきではない。

【0011】

本発明の一実施形態は撮像制御方法を提供し、図１に示されるように、本方法は、以下の動作１００〜１０１を含み得る。

【0012】

動作１００で、撮影環境の環境輝度値が取得され、撮影環境の環境輝度値および事前設定目標輝度値に従って第１の利得指数値が取得される。

【0013】

一例では、この動作は、環境輝度値を取得することと、環境輝度値と目標輝度値との比較に基づいて第１の利得指数値を取得することと、を含み得る。環境輝度値が目標輝度値よりも大きい場合、環境輝度値と目標輝度値との差分が大きいほど、撮影環境の輝度は高く、取得される第１の利得指数値は小さい。環境輝度値が目標輝度値よりも小さい場合、環境輝度値と目標輝度値との差分が大きいほど、撮影環境の輝度は低く、取得される第１の利得指数値は大きい。

【0014】

本出願によって提供される撮像制御方法は、環境の輝度条件に従って撮影モードを適応的に決定できる写真撮影やビデオ録画などのシーンに適用され得る。

【0015】

動作１０１で、第１の利得指数値および事前設定切り替え条件情報に従って、高輝度モードおよび低輝度モードを含む撮影のための撮影モードが決定される。

【0016】

本出願の実施形態の撮像制御方法では、撮影環境の輝度状況は、環境の輝度を指示する利得指数値を取得することによって決定され、現在の撮影環境の輝度状況に従って撮影のための適切な撮影モードが選択され、それによってユーザの撮影体験が改善される。

【0017】

一例示的実施形態では、切り替え条件情報は、事前設定利得指数値を含んでいてもよく、動作１０１は、第１の利得指数値が事前設定利得指数値より小さい場合、撮影のために高輝度モードを決定することと、第１の利得指数値が事前設定利得指数値より大きい場合、撮影のために低輝度モードを決定することと、を含み得る。

【0018】

あるいは、第１の利得指数値が事前設定利得指数値と等しい場合、撮影のために高輝度モードまたは低輝度モードが決定し得る。

【0019】

ここで、切り替え条件情報は、事前設定利得指数値を含んでいてもよく、単に現在の撮影環境の輝度条件に従って撮影のための適切な撮影モードが選択され、ユーザの撮影体験が改善される。

【0020】

一例示的実施形態では、切り替え条件情報は、事前設定利得指数範囲をさらに含んでいてもよく、事前設定利得指数値は事前設定利得指数範囲内にある。したがって、撮影のために高輝度モードを決定した後、本方法は、（第２の利得指数値と呼ばれる）新しい利得指数値を引き続き取得することと、第２の利得指数値が事前設定利得指数範囲の上限値以下である場合、撮影のために高輝度モードを保持することと、第２の利得指数値が事前設定利得指数範囲の上限値より大きい場合、撮影のために低輝度モードに切り替えることと、も含み得る。

【0021】

それによって、動作モードの頻繁な切り替えによる撮像装置の電力消費量の増加の問題を回避することができ、環境輝度が低くなると低輝度モードに適時に切り替えられて、撮影結果の画質が保証される。

【0022】

一例示的実施形態では、新しく取得された第２の利得指数値が事前設定利得指数値と事前設定利得指数範囲の上限値との間にある場合、本方法は、（第３の利得指数値と呼ばれる）新しい利得指数値を引き続き取得し、引き続き取得された利得指数値が事前設定利得指数値と事前設定利得指数範囲の上限値との間にある持続時間をカウントすることと、持続時間が事前設定持続時間より大きい場合、撮影のために低輝度モードに切り替え、そうでない場合、撮影のために高輝度モードを保持することと、をさらに含み得る。

【0023】

それによって、一方では、動作モードの頻繁な切り替えによって生じる高電力消費量の問題を回避することができ、他方では、環境輝度の変化に従って適切な動作モードを適時に採用して、良質の撮影結果を得ることができる。

【0024】

一例示的実施形態では、切り替え条件情報は、事前設定利得指数範囲をさらに含んでいてもよく、事前設定利得指数値は事前設定利得指数範囲内にある。したがって、低輝度モードでの撮影後、本方法は、（第２の利得指数値と呼ばれる）新しい利得指数値を引き続き取得することと、第２の利得指数値が事前設定利得指数範囲の下限値以上である場合、撮影のために低輝度モードを保持することと、第２の利得指数値が事前設定利得指数範囲の下限値より小さい場合、撮影のために高輝度モードに切り替えることと、も含み得る。

【0025】

それによって、動作モードの頻繁な切り替えによる撮像装置の電力消費量の増加の問題が回避され、環境輝度が高くなると高輝度モードに適時に切り替えられて、撮影結果の画質が保証される。

【0026】

一例示的実施形態では、新しく取得された第２の利得指数値が事前設定利得指数範囲の下限値と事前設定利得指数値との間にある場合、本方法は、（第３の利得指数値と呼ばれる）新しい利得指数値を引き続き取得し、引き続き取得された利得指数値が事前設定利得指数範囲の下限値と事前設定利得指数値との間にある持続時間をカウントすることと、持続時間が事前設定持続時間より大きい場合、撮影のために高輝度モードに切り替え、そうでない場合、撮影のために低輝度モードを保持することと、をさらに含み得る。

【0027】

それによって、一方では、動作モードの頻繁な切り替えによって生じる高電力消費量の問題が回避され、他方では、環境輝度の変化に従って適切な動作モードを適時に採用して、良質の撮影結果を得ることができる。

【0028】

一例示的実施形態では、切り替え条件情報は、事前設定利得指数範囲を含んでいてもよく、動作１０１は、第１の利得指数値が事前設定利得指数範囲の下限値より小さい場合、撮影のために高輝度モードを決定することと、第１の利得指数値が事前設定利得指数範囲の上限値より大きい場合、撮影のために低輝度モードを決定することと、第１の利得指数値が事前設定利得指数範囲内にある場合、撮影のために高輝度モードもしくは低輝度モードを決定するか、または撮影モードを不変のまま保持することと、を含み得る。

【0029】

ここで、切り替え条件情報は、事前設定利得指数範囲を含んでいてもよく、単に現在の撮影環境の輝度条件に従って撮影のための適切な撮影モードが選択され、ユーザの撮影体験が改善される。

【0030】

本出願の一実施形態は撮像装置も提供し、本撮像装置は、プロセッサと、プロセッサにより実行可能なコンピュータ可読命令を記憶するメモリとを含むことができ、プロセッサは、撮影環境の環境輝度値を取得する動作と、撮影環境の環境輝度値および事前設定目標輝度値に従って第１の利得指数値を取得する動作と、第１の利得指数値および事前設定切り替え条件情報に従って、高輝度モードおよび低輝度モードを含む撮影のための撮影モードを決定する動作と、を行う。

【0031】

一例では、撮像装置は、複数の画素セルを含む画素セル配列をさらに含んでいてもよく、各画素セルは、長時間露光画素、中時間露光画素、および短時間露光画素を含んでいてもよく、長時間露光画素の露光時間は中時間露光画素の露光時間より長く、中時間露光画素の露光時間は短時間露光画素の露光時間より長い。

【0032】

１つの例では、プロセッサは、コンピュータ可読命令を実行すると、画素セル配列を、異なる露光時間の下で複数の原画素情報を出力するよう制御する動作と、同じ画素セルにおける同じ露光時間の原画素情報にそれぞれ従ってマージ画素情報を計算する動作と、複数のマージ画素情報に従って高輝度モードでの撮影結果を出力する動作と、をさらに行い得る。

【0033】

一例では、プロセッサは、コンピュータ可読命令を実行すると、画素セル配列を、異なる露光時間の下で複数の原画素情報を出力するよう制御する動作と、同じ画素セルにおける原画素情報をそれぞれ合成することによって合成画素情報を計算する動作であって、各画素セルが１つの合成画素情報に対応する、動作と、複数の合成画素情報に従って低輝度モードでの撮影結果を出力する動作と、をさらに行い得る。

【0034】

一例では、本出願の一実施形態は、プロセッサにより、撮影環境の環境輝度値および事前設定目標輝度値に従って第１の利得指数値を取得する動作と、第１の利得指数および事前設定切り替え条件情報に従って撮影のための撮影モードを決定する動作であって、撮影モードが高輝度モードおよび低輝度モードを含み得る、動作と、を行うために実行可能なコンピュータ実行可能命令を含むコンピュータ可読記憶媒体も提供する。

【0035】

一例では、本出願は、メモリと、プロセッサと、メモリに格納されたプロセッサが実行可能なコンピュータプログラムとを含む、画像処理装置も提供する。プロセッサがコンピュータプログラムを実行すると、撮影環境の環境輝度値および事前設定目標輝度値に従って第１の利得指数値を取得する動作と、第１の利得指数および事前設定切り替え条件情報に従って撮影のための撮影モードを切り替える動作であって、撮影モードが高輝度モードおよび低輝度モードを含み得る、動作と、が実現される。

【0036】

説明を容易にするために、以下の実施形態を、写真撮影シナリオのみを例にとって説明するが、これは本出願の保護範囲を限定するためのものではない。

【0037】

図２から図４および図６を参照すると、本発明の一実施形態は撮像装置３０の撮像制御方法を提供する。撮像装置３０は、画素セル配列３１と、画素セル配列３１に配置されたフィルタセル配列３２とを含み得る。画素セル配列３１は、複数の画素セル３１１を含んでいてもよく、各画素セル３１１は、複数の感光画素３１１１を含み得る。フィルタユニット配列３２は、複数の画素セル３１１に対応する複数のフィルタユニット３２２を含んでいてもよく、各フィルタユニット３２２は対応する画素セル３１１をカバーする。画素セル配列３１はベイヤ配列であり得る。本撮像制御方法は、以下の動作２０１〜動作２０３を含み得る。

【0038】

動作２０１で、現在の撮影環境の環境輝度値および事前設定目標輝度値に従って利得指数（すなわち、前述の第１の利得指数値）が取得される。

【0039】

動作２０２で、利得指数値が事前設定利得指数値より小さい場合、撮影で目標画像を取得するために高輝度モードが決定される。

【0040】

動作２０３で、利得指数値が事前設定利得指数値より大きい場合、撮影で目標画像を取得するために低輝度モードが決定される。

【0041】

図３から図６を参照すると、本発明の一実施形態は、撮像装置３０のための制御装置１０も提供する。撮像装置３０は、画素セル配列３１と、画素セル配列３１に配置されたフィルタセル配列３２とを含み得る。画素セル配列３１は、複数の画素セル３１１を含んでいてもよく、各画素セル３１１は、複数の感光画素３１１１を含み得る。フィルタユニット配列３２は、複数の画素セル３１１に対応する複数のフィルタユニット３２２を含んでいてもよく、各フィルタユニット３２２は対応する画素セル３１１をカバーする。画素セル配列３１はベイヤ配列であり得る。制御装置１０は、第１の取得モジュール１１と、第１の制御モジュール１２と、第２の制御モジュール１３とを含み得る。動作２０１は、第１の取得モジュール１１によって実施され得る。動作２０２は、第１の制御モジュール１２によって実施され得る。動作２０３は、第２の制御モジュール１３によって実施され得る。すなわち、第１の取得モジュール１１は、現在の環境の環境輝度値および事前設定目標輝度値に従って利得指数値を取得するように構成され得る。第１の制御モジュール１２は、利得指数値が事前設定利得指数値より小さい場合に、目標画像を取得するために高輝度モードで撮影するように構成され得る。第２の制御モジュール１３は、利得指数値が事前設定利得指数値より大きい場合に、目標画像を取得するために低輝度モードで撮影するように構成され得る。

【0042】

図３、図４、および図６を参照すると、本発明の一実施形態は、撮像装置３０も提供する。撮像装置３０は、画素セル配列３１と、画素セル配列３１に配置されたフィルタセル配列３２とを含み得る。画素セル配列３１は、複数の画素セル３１１を含んでいてもよく、各画素セル３１１は、複数の感光画素３１１１を含み得る。フィルタユニット配列３２は、複数の画素セル３１１に対応する複数のフィルタユニット３２２を含んでいてもよく、各フィルタユニット３２２は対応する画素セル３１１をカバーする。画素セル配列３１はベイヤ配列であり得る。撮像装置３０は、プロセッサ６０も含み得る。上記の動作２０１、動作２０２、および動作２０３はすべて、プロセッサ６０によって実施され得る。すなわち、プロセッサ６０は、現在の環境の環境輝度値および事前設定目標輝度値に従って利得指数値を取得し、利得指数値が事前設定利得指数値より小さい場合、目標画像を取得するために高輝度モードで撮影し、利得指数値が事前設定利得指数値より大きい場合、撮影で目標画像を取得するために低輝度モードで撮影するように構成され得る。

【0043】

撮像装置３０が動作すると、現在の環境の環境輝度値がまず取得され、環境輝度値および事前設定目標輝度値に従って利得指数値が取得される。利得指数値は、現在の環境の輝度を指示するために使用される。利得指数値は、撮像装置の利得値に対応する。撮像装置の利得値が大きい場合、利得指数値も大きい。このとき、感光画素３１１１が検出する光はより少なく、生成されるレベル信号は小さい。その後の目標画像の計算のレベル信号を増やすために大きな利得値が必要である。したがって、利得指数値が大きい場合、それは現在の環境の輝度が低いことを指示する。撮像装置の利得値が小さい場合、利得指数値も小さい。このとき、感光画素３１１１が検出する光はより多く、生成されるレベル信号は大きい。よって、その後の目標画像の計算のレベル信号を増やすのに小さい利得値で済む。したがって、利得指数値が小さい場合、それは現在の環境の輝度が高いことを指示する。

【0044】

すなわち、撮影環境の環境輝度値が事前設定目標輝度値より大きい場合、環境輝度値と目標輝度値との差分が大きいほど、利得指数値が小さく、撮影環境の輝度が高いことを指示する。

【0045】

撮影環境の環境輝度値が事前設定目標輝度値より小さい場合、環境輝度値と目標輝度値との差分が大きいほど、利得指数値が大きく、撮影環境の輝度が低いことを指示する。

【0046】

一例示的実施形態では、切り替え条件情報は、事前設定利得指数値を含み得る。例えば、事前設定利得指数値は４６０であり得る。当然ながら、事前設定利得指数値は他の値でもよい。撮像装置３０が現在の環境に対応する利得指数値を取得する都度、プロセッサ６０は利得指数値を事前設定利得指数値と比較する。利得指数値が事前設定利得指数値より小さい場合、目標画像は高輝度モードで撮影される（撮像装置３０は電源投入時にデフォルトで高輝度モードで動作する）。利得指数値が事前設定利得指数値より大きい場合、プロセッサ６０は、目標画像を撮影するために低輝度モードに切り替える。高輝度モードと低輝度モードとは、それぞれ、明るい環境と暗い環境とに対応する。高輝度モードで撮影された目標画像の画像効果は明るい環境においてより高く、低輝度モードで撮影された目標画像の画像効果は暗い環境においてより高い。

【0047】

本発明の実施形態で提供される撮像制御方法、制御装置１０および撮像装置３０では、現在の環境の輝度条件が環境の輝度を指示する利得指数値を取得することによって決定され、より良い画像効果を得るよう目標画像を撮影するために決定結果に従って適切な撮影モードが選択され、それによってユーザの撮影体験が改善される。

【0048】

いくつかの実施形態では、取得された利得指数値が事前設定利得指数値と等しい場合、撮像装置３０は、高輝度モードで目標画像を撮影し得るか、または高輝度モードで目標画像を撮影し得るか、または前の撮影モードを不変のまま保持し得る。一例示的実施形態では、ある時点での撮像装置３０の動作モードが高輝度モードであり、その時点で取得された利得指数値が事前設定利得指数値と等しい場合には、撮像装置３０は高輝度モードでの動作を保持する。ある時点での撮像装置３０の動作モードが低輝度モードであり、その時点で取得された利得指数値が事前設定利得指数値と等しい場合には、撮像装置３０は低輝度モードでの動作を保持する。それによって、撮像装置３０の動作モードの頻繁な切り替えによって生じる高エネルギー消費の問題が回避される。

【0049】

図７および図８を参照すると、いくつかの実施形態では、現在の撮影環境の環境輝度値および事前設定目標輝度値に従って利得指数値を取得する動作２０１は、以下の動作７０１〜７０３を含み得る。

【0050】

動作７０１で、環境輝度値が取得される。

【0051】

動作７０２で、環境輝度値が目標輝度値と比較される。

【0052】

動作７０３で、比較結果に従って利得指数値が取得される。

【0053】

一例では、環境輝度値は自動露出（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ（ＡＥ））アルゴリズムを使用して計算されてもよく、対応する動作７０１は、以下の動作８０１〜８０７を含み得る。

【0054】

動作８０１で、シーン画像を取得するために現在の撮影環境におけるシーンが撮影される。

【0055】

動作８０２で、シーン画像の本体および背景を取得するためにシーン画像が処理される。

【0056】

動作８０３で、シーン画像の本体の輝度と背景の輝度との差分が事前設定差分値より大きいかどうかが判断される。

【0057】

動作８０４で、本体の輝度と背景の輝度との差分が事前設定差分値より大きい場合、差分に従って本体重みおよび背景重みが計算される。

【0058】

動作８０５で、本体重みと背景重みとにそれぞれ従って本体の輝度と背景の輝度とが調整される。

【0059】

動作８０６で、本体の調整済み輝度と背景の調整済み輝度との平均輝度値が、環境輝度値として計算される。

【0060】

動作８０７で、本体の輝度と背景の輝度との差分が事前設定差分値以下である場合、本体の輝度と背景の輝度との平均輝度値が、環境輝度値として計算される。

【0061】

図９および図１０を参照すると、いくつかの実施形態では、第１の取得モジュール１１は、第１の取得部１１１と、比較部１１２と、第２の取得部１１３とを含み得る。第１の取得部１１１は、第１の取得サブユニット１１１１と、第２の取得サブユニット１１１２と、判断サブユニット１１１３と、第１の計算サブユニット１１１４と、調整サブユニット１１１５と、第２の計算サブユニット１１１６と、第３の計算サブユニット１１１７とを含み得る。動作７０１は、第１の取得部１１１によって実施され得る。動作７０２は、比較部１１２によって実施され得る。動作７０３は、第２の取得部１１３によって実施され得る。動作８０１は、第１の取得サブユニット１１１１によって実施され得る。動作８０２は、第２の取得サブユニット１１１２によって実施され得る。動作８０３は、判断サブユニット１１１３によって実施され得る。動作８０４は、第１の計算サブユニット１１１４によって実施され得る。動作８０５は、調整サブユニット１１１５によって実施され得る。動作８０６は、第２の計算サブユニット１１１６によって実施され得る。動作８０７は、第３の計算サブユニット１１１７によって実施され得る。

【0062】

一例示的実施形態では、第１の取得部１１１は、環境輝度値を取得するように構成され得る。比較部１１２は、環境輝度値を目標輝度値と比較するように構成され得る。第２の取得部１１３は、比較結果に従って利得指数値を取得するように構成され得る。第１の取得サブユニット１１１１は、現在の環境下のシーンを撮影してシーン画像を取得するように構成され得る。第２の取得サブユニット１１１２は、シーン画像を処理して、シーン画像の本体および背景を取得するように構成され得る。判断サブユニット１１１３は、シーン画像の本体の輝度と背景の輝度との差分が事前設定差分値より大きいかどうかを判断するように構成され得る。第１の計算サブユニット１１１４は、本体の輝度と背景の輝度との差が事前設定差分値より大きい場合に、差分に従って本体重みおよび背景重みを計算するように構成され得る。調整サブユニット１１１５は、本体重みと背景重みとに従って本体の輝度と背景の輝度とをそれぞれ調整するように構成され得る。第２の計算サブユニット１１１６は、本体の調整済み輝度と背景の調整済み輝度との平均輝度値を環境輝度値として計算するように構成され得る。第３の計算サブユニット１１１７は、本体の輝度と背景の輝度との差分が事前設定差分値以下である場合に、本体の輝度と背景の輝度との平均輝度値を環境輝度値として計算するように構成され得る。

【0063】

図６を参照すると、いくつかの実施形態では、撮像装置３０内のプロセッサ６０はまた、環境輝度値を取得し、環境輝度値を目標輝度値と比較し、比較結果に基づいて利得指数値を取得するようにも構成され得る。プロセッサ６０は、シーン画像を取得するために現在の環境下のシーンを撮影し、シーン画像の本体および背景を取得するためにシーン画像を処理し、シーン画像の本体の輝度と背景の輝度との差分が事前設定差分値より大きいかどうかを判断し、本体の輝度と背景の輝度との差分が事前設定差分値より大きい場合、差分に従って本体重みおよび背景重みを計算し、本体重みと背景重みとに従って本体の輝度と背景の輝度とをそれぞれ調整し、本体の調整済み輝度と背景の調整済み輝度との平均輝度値を環境輝度値として計算し、本体の輝度と背景の輝度との差分が事前設定差分値以下である場合、本体の輝度と背景の輝度との平均輝度値を環境輝度値として計算する、ようにさらに構成される。

【0064】

一例では、図１１を参照すると、プロセッサ６０はまず、各感光画素３１１１を、シーン画像を撮影するために同じ露光時間で露光されるよう制御する。次いでプロセッサ６０は、シーン画像内の本体と背景とを分割する。一般に、本体はシーン画像の中央部または下部に位置し、背景はシーン画像の上部に位置する。よってプロセッサ６０は、図１１に示されるようなやり方で画像の本体（Ｏ１およびＯ２）と背景（Ｂ１、Ｂ２、およびＢ３）とを直接分割し得る。あるいは、プロセッサ６０は、顔認識によって本体（Ｏ１およびＯ２）と背景（Ｂ１、Ｂ２、およびＢ３）とを分割してもよい。例えば、プロセッサ６０は、シーン画像内に顔があるかどうかを認識でき、シーン画像内に顔がある場合、その人物は本体として取り込まれ、シーン画像内のその他の部分は背景として取り込まれる。続いて、プロセッサ６０は、本体の輝度と背景の輝度とをそれぞれ取得する。次いでプロセッサ６０は、本体の輝度と背景の輝度との差分を計算する。例えば、プロセッサ６０はまず、本体の平均輝度値ＬＯａｖｅおよび背景の平均輝度値ＬＢａｖｅを計算し、本体の平均輝度値ＬＯａｖｅと背景の平均輝度値ＬＢａｖｅとを本体の輝度と背景の輝度としてそれぞれ使用し、ＬＯａｖｅ＝（ＬＯ１＋ＬＯ２）／２、ＬＢａｖｅ＝（ＬＢ１＋ＬＢ２＋ＬＢ３）／３であり、次いで、背景の平均輝度値が本体の平均輝度値から差し引かれて、輝度の差分（ＬＯａｖｅ−ＬＢａｖｅ＝Ｄ）が取得され得る。続いて、プロセッサ６０は、差分Ｄを事前設定差分値Ｄ０と比較する。差分値が事前設定差分値以上である（Ｄ＞Ｄ０）場合、それは、本体と背景との輝度差が大きいことを指示し、このときのシーンは逆光シーンであり得る。したがって、プロセッサ６０は、輝度差に従って、本体に大きい値の本体重みを、背景に小さい値の背景重みを割り当て、本体重みを使用して本体の輝度を調整して本体の調整済み輝度ＬＯａｄｊを取得し、背景重みを使用して背景の輝度を調整して背景の調整済み輝度ＬＢａｄｊを取得する必要がある。最後に、プロセッサ６０は、本体の調整済み輝度ＬＯａｄｊおよび背景の調整済み輝度ＬＢａｄｊの平均輝度値Ｌｕｘ（Ｌｕｘ＝（ＬＯａｄｊ＋ＬＢａｄｊ）／２）を計算し、その平均輝度値Ｌｕｘが環境輝度値である。差分値が事前設定差分値より小さい（Ｄ＜Ｄ０）場合、それは、本体と背景との輝度差が小さいことを指示し、このときのシーンは通常の非逆光シーンであり得る。このとき、プロセッサ６０は、本体の輝度ＬＯａｖｅと背景の輝度ＬＢａｖｅとの平均輝度値を直接計算し、平均輝度値を環境輝度値Ｌｕｘとして使用する。逆光環境では本体と背景の輝度とが大きく異なることが理解でき、一般に本体はユーザにとっての関心対象領域である。したがって、本体部分には、プロセッサ６０が続いて動作モードを選択するために適正な環境輝度値を提供できるように、より多くの重みが与えられる必要がある。

【0065】

環境輝度値を決定した後、プロセッサ６０は、環境輝度値を事前設定目標輝度値と比較して、利得指数値を決定する。環境輝度値が目標輝度値よりも小さい場合、それは、このときに撮像装置３０に大きい利得値が提供される必要があることを指示し、これに対応して、利得指数値も大きい。環境輝度値が目標輝度値よりも大きい場合、それは、このときに撮像装置３０が小さい利得値を提供される必要があることを指示し、これに対応して、利得指数値も小さい。一例示的実施形態では、環境輝度値と目標輝度値との差分と利得値と利得指数値とは１対１の対応関係を有し、露出表に事前に格納される。環境輝度値を取得した後、撮像装置３０は、環境輝度値と目標輝度値との差分に従って露出表で環境輝度値と一致する利得指数値を見つけることができる。

【0066】

図１２を参照すると、いくつかの実施形態では、高輝度モードで撮影することは、以下の動作１２０１〜１２０３を含み得る。

【0067】

動作１２０１で、画素セル配列３１が異なる露光時間の下で複数の原画素情報を出力するよう制御される。

【0068】

動作１２０２で、同じ画素セル３１１における同じ露光時間の原画素情報にそれぞれ従ってマージ画素情報が計算される。

【0069】

動作１２０３で、複数のマージ画素情報に従って目標画像が出力される。

【0070】

図１３を参照すると、いくつかの実施形態では、第１の制御モジュール１２は、第１の出力部１２１と、第１の計算部１２２と、第２の出力部１２３とを含み得る。動作１２０１は、第１の出力部１２１によって実施され得る。動作１２０２は、第１の計算部１２２によって実施され得る。動作１２０３は、第２の出力部１２３によって実施され得る。すなわち、第１の出力部１２１は、異なる露光時間の下で複数の原画素情報を出力するよう画素セル配列３１を制御するように構成され得る。第１の計算部１２２は、同じ画素セル３１１における同じ露光時間の原画素情報に基づいてマージ画素情報を計算するように構成され得る。第２の出力部１２３は、複数のマージ画素情報に基づいて目標画像を出力するように構成され得る。

【0071】

図６を参照すると、いくつかの実施形態では、動作１２０１、動作１２０２、および動作１２０３は、プロセッサ６０によって実施され得る。一例示的実施形態では、プロセッサ６０はまた、画素セル配列３１を、異なる露光時間の下で複数の原画素情報を出力するよう制御し、同じ画素セル３１１における同じ露光時間の原画素情報に基づいてマージ画素情報を計算し、複数のマージ画素情報に基づいて目標画像を出力するようにも構成され得る。

【0072】

一例示的実施形態では、図１４を参照すると、画素セル配列３１内の各画素セル３１１は、２×２配列で配置された４つの感光画素３１１１を含み得る。例えば、各画素セル３１１の４つの感光画素３１１１は、１つの長時間露光画素、２つの中時間露光画素、および１つの短時間露光画素である。当然ながら、他の実施形態では、各画素セル３１１内の長時間露光画素、中時間露光画素、および短時間露光画素の数は他の値であり得る。長時間露光画素は、長露光時間に対応する感光画素３１１１を指し、中時間露光画素は、中露光時間に対応する感光画素３１１１を指し、短時間露光画素は、短露光時間に対応する感光画素３１１１を指し、長露光時間＞中露光時間＞短露光時間であり、長露光時間／中露光時間＝中露光時間／短露光時間である。撮像装置３０が動作するとき、長時間露光画素、中時間露光画素、および短時間露光画素は同期して露光され、これは、中時間露光画素および短時間露光画素の露光持続時間が長時間露光画素の露光持続時間内であることを意味する。例えば、図１４に示されるように、画素セル配列３１内の赤の感光画素３１１１のうち、Ｒ（１，１）は長時間露光画素であり、Ｒ（１，２）およびＲ（２，１）は中時間露光画素であり、Ｒ（２，２）は短時間露光画素であり、感光画素３１１１の露光プロセスは、長時間露光画素Ｒ（１，１）がまず露光され始め、次いで、中時間露光画素Ｒ（１，２）、中時間露光画素Ｒ（２，１）、および短時間露光画素Ｒ（２，２）が、長時間露光画素Ｒ（１，１）の露光持続時間中に露光される。中時間露光画素Ｒ（１，２）と中時間露光画素Ｒ（２，１）の露光開始時刻は同じであり、中時間露光画素Ｒ（１，２）、中時間露光画素Ｒ（２，１）、および短時間露光画素Ｒ（２，２）の露光終了時刻は、長時間露光画素Ｒ（１，１）の露光終了時刻と同じか、または長時間露光画素Ｒ（１，１）の露光終了時刻の前である。あるいは、長時間露光画素Ｒ（１，１）、中時間露光画素Ｒ（１，２）、中時間露光画素Ｒ（２，１）、および短時間露光画素Ｒ（２，２）は同時に露光され始め、すなわち、長時間露光画素Ｒ（１，１）、中時間露光画素Ｒ（１，２）、中時間露光画素Ｒ（２，１）、および短時間露光画素Ｒ（２，２）の露光開始時刻は同じである。よって、プロセッサ６０は、画素セル配列３１を、長時間露光、中時間露光、および短時間露光を順次に行うよう制御しなくてもよいので、目標画像の撮影時間を短縮することができる。

【0073】

撮像装置３０が高輝度モードで動作するとき、撮像装置３０はまず、各画素セル３１１内の長時間露光画素、中時間露光画素、および短時間露光画素を、同期して露光されるよう制御してもよく、長時間露光画素に対応する露光時間は初期長露光時間であり、中時間露光画素に対応する露光時間は初期中露光時間であり、短時間露光画素に対応する露光時間は初期短露光時間であり、初期長露光時間、初期中露光時間、および初期短露光時間はすべて事前に設定される。露光後、各画素セルは４つの原画素情報を出力することになる。図１４に示される画素セル３１１を例にとると、４つの原画素情報は、長時間露光画素Ｒ（１，１）によって出力された原画素情報、中時間露光画素Ｒ（１，２）によって出力された原画素情報、中時間露光画素Ｒ（２，１）によって出力された原画素情報、および短時間露光画素Ｒ（２，２）によって出力された原画素情報を含み得る。プロセッサ６０は、各画素セル内の感光画素３１１１を、上述したようなやり方で長時間露光、中時間露光、および短時間露光を同期して行うよう制御し、各画素セルによって出力された複数の原画素情報を取得する。続いて、プロセッサ６０は、同じ画素セルにおける同じ露光時間の原画素情報に基づいてマージ画素情報を計算する。図１４に示される画素セル３１１を例にとると、画素セル３１１内の感光画素３１１１の数が２×２である場合、長時間露光画素Ｒ（１，１）の原画素情報が長時間露光のマージ画素情報であり、中時間露光画素Ｒ（１，２）のと中時間露光画素Ｒ（２，１）の原画素情報の和が中時間露光のマージ画素情報であり、短時間露光画素Ｒ（２，２）の原画素情報が短時間露光のマージ画素情報である。画素セル３１１内の赤の感光画素３１１１の数が２×４である場合、長時間露光画素の数は２であり、中時間露光画素の数は４であり、短時間露光画素の数は２であり、２つの長時間露光画素の原画素情報の和が長時間露光のマージ画素情報であり、４つの中時間露光画素の原画素情報の和が中時間露光のマージ画素情報であり、２つの短時間露光画素の原画素情報の和が短時間露光のマージ画素情報である。このようにして、プロセッサ６０は、画素セル配列３１全体の複数の長時間露光のマージ画素情報、複数の中時間露光のマージ画素情報、および複数の短時間露光のマージ画素情報を取得することができる。プロセッサ６０は次いで、複数の長時間露光のマージ画素情報に従って長時間露光サブ画像を取得する補間計算を行い、複数の中時間露光のマージ画素情報に従って中時間露光サブ画像を取得する補間計算を行い、複数の短時間露光のマージ画素情報に従って短時間露光サブ画像を取得する補間計算を行う。最後にプロセッサ６０は、長時間露光サブ画像と、中時間露光サブ画像と、短時間露光サブ画像とを融合して、ハイ・ダイナミック・レンジの目標画像を取得する。ここで、長時間露光サブ画像、中時間露光サブ画像、および短時間露光サブ画像は、画像の３つのフレームではなく、画像の同じフレーム内の長時間露光画素、短時間露光画素、および中時間露光画素の対応する領域によって形成される画像部分である。

【0074】

あるいは、画素セル配列３１の露光が完了した後、プロセッサ６０は、長時間露光画素によって出力された原画素情報場に基づいて長時間露光画素の原画素情報上に短時間露光画素の原画素情報と中時間露光画素の原画素情報とを重ねてもよい。一例示的実施形態では、３つの異なる露光時間長の原画素情報に異なる重みをそれぞれ与えることができ、各露光時間長に対応する原画素情報が重みで乗じられた後、重みで乗じられた３種類の原画素情報を、１つの画素セル３１１の合成画素情報として付加することができる。続いて、３つの異なる露光時間長の原画素情報から計算された各合成画素情報のグレースケールが変化することになるので、各合成画素情報は、その合成画素情報が取得された後にグレースケールで圧縮される必要がある。圧縮が完了した後、プロセッサ６０は、圧縮後に取得された複数の合成画素情報に基づいて補間計算を行って、目標画像を取得する。よって、目標画像の暗い部分は、長時間露光画素によって出力された原画素情報を使用して補正されており、明るい部分は、短時間露光画素によって出力された原画素情報を使用して抑制されている。したがって、目標画像にはオーバ露光エリアもアンダ露光エリアもなく、ハイ・ダイナミック・レンジおよびより良い画像効果を有する。

【0075】

一例示的実施形態では、目標画像の画質をさらに改善するために、初期長露光時間、初期中露光時間、および初期短露光時間に従って長時間露光画素、中時間露光画素、および短時間露光画素が同期して露光された後、プロセッサ６０はまず、長時間露光画素によって出力された原画素情報に基づいて長時間露光ヒストグラムを計算し、短時間露光画素によって出力された原画素情報に基づいて短時間露光ヒストグラムを計算し、長時間露光ヒストグラムに基づいて初期長露光時間を調整して調整された長露光時間を取得し、短時間露光ヒストグラムに基づいて初期短露光時間を調整して調整された短露光時間を取得する。続いて、プロセッサ６０は、長時間露光画素と、中時間露光画素と、短時間露光画素とを、それぞれ、調整された初期長露光時間と、初期中露光時間と、補正された初期短露光時間とに従って同期して露光されるよう制御する。調整は１回だけ行われるのではなく、撮像装置３０は、複数回の長時間、中時間、および短時間の同期露光を実行する。各同期露光の後、撮像装置３０は、生成された長時間露光ヒストグラムおよび短時間露光ヒストグラムに従って長露光時間および短露光時間を引き続き調整し、調整された長露光時間、調整された短露光時間、および元の中露光時間を使用して次の露光で同期露光を実行し、長時間露光ヒストグラムおよび短時間露光ヒストグラムを引き続き取得し、長時間露光ヒストグラムに対応する画像内にアンダ露光エリアがなくなり、短時間露光ヒストグラムに対応する画像内にオーバ露光エリアがなくなるまでこのプロセスを繰り返し、このときの調整された長露光時間および調整された短露光時間が、最終的な調整された長露光時間および調整された短露光時間である。露光後、長時間露光画素、中時間露光画素、および短時間露光画素の出力に基づいて目標画像が計算される。計算方法は前の実施形態の計算方法と同じであり、ここでは繰り返さない。

【0076】

長時間露光ヒストグラムは１つまたは複数であり得る。１つの長時間露光ヒストグラムがある場合、プロセッサ６０は、すべての長時間露光画素によって出力された原画素情報に基づいて長時間露光ヒストグラムを生成する。複数の長時間露光ヒストグラムがある場合、プロセッサ６０は、長時間露光画素を領域に分割し、各領域内の複数の長時間露光画素の原画素情報に基づいて長時間露光ヒストグラムを生成するので、複数の領域が複数の長時間露光ヒストグラムに対応する。領域分割により、その都度調整される長露光時間の正確さが改善され、長露光時間の調整プロセスが加速され得る。同様に、短時間露光ヒストグラムも１つまたは複数であり得る。１つの短時間露光ヒストグラムがある場合、プロセッサ６０は、すべての短時間露光画素によって出力された原画素情報に基づいて短時間露光ヒストグラムを生成する。複数の短時間露光ヒストグラムがある場合、プロセッサ６０は、短時間露光画素を領域に分割し、各領域内の複数の短時間露光画素の原画素情報に基づいて短時間露光ヒストグラムを生成するので、複数の領域が複数の短時間露光ヒストグラムに対応する。領域分割により、その都度調整される短露光時間の正確さが改善され、短露光時間の調整プロセスが加速され得る。

【0077】

図１５を参照すると、いくつかの実施形態では、低輝度モードでの撮影は以下の動作１５０１〜１５０３を含み得る。

【0078】

動作１５０１で、画素セル配列３１が異なる露光時間の下で複数の原画素情報を出力するよう制御される。

【0079】

動作１５０２で、合成画素情報を計算するために同じ画素セル３１１内の原画素情報が合成され、各画素セルが合成画素情報に対応する。

【0080】

動作１５０３で、複数の合成画素情報に従って目標画像が出力される。

【0081】

図１６を参照すると、いくつかの実施形態では、第２の制御モジュール１３は、第３の出力部１３１と、第２の計算部１３２と、第４の出力部１３３とを含み得る。動作１５０１は、第３の出力部１３１によって実施され得る。動作１５０２は、第２の計算部１３２によって実施され得る。動作１５０３は、第４の出力部１３３によって実施され得る。すなわち、第３の出力部１３１は、異なる露光時間の下で複数の原画素情報を出力するよう画素セル配列３１を制御するように構成され得る。第２の計算部１３２は、同じ画素セル３１１内の原画素情報を合成することによって合成画素情報を計算するように構成されてもよく、各画素セル３１１は１つの合成画素情報に対応する。第４の出力部１３３は、複数の合成画素情報に基づいて目標画像を出力するように構成され得る。

【0082】

図６を参照すると、いくつかの実施形態では、動作１５０１、動作１５０２、および動作１５０３はすべて、プロセッサ６０によって実施され得る。一例示的実施形態では、プロセッサ６０はまた、画素セル配列３１を、異なる露光時間の下で複数の原画素情報を出力するよう制御し、合成画素情報を計算するために同じ画素セル３１１内の原画素情報を合成し、各画素セル３１１が合成された画素情報に対応し、複数の合成画素情報に基づいて目標画像を出力するようにも構成され得る。

【0083】

一例示的実施形態では、低輝度モードで、図１７に示される画素セル３１１を例にとると、Ｒ（１，１）は長時間露光画素であり、Ｒ（１，２）およびＲ（２，１）は中時間露光画素であり、Ｒ（２，２）は短時間露光画素である。プロセッサ６０はまず、長時間露光画素Ｒ（１，１）、中時間露光画素Ｒ（１，２）、中時間露光画素Ｒ（２，１）、および短時間露光画素Ｒ（２，２）を、同期して露光されるよう制御する。露光が終了した後、画素セル３１１は４つの原画素情報、すなわち、長時間露光画素Ｒ（１，１）によって出力された原画素情報、中時間露光画素Ｒ（１，２）によって出力された原画素情報、中時間露光画素Ｒ（２，１）によって出力された原画素情報、および短時間露光画素Ｒ（２，２）によって出力された原画素情報を出力することになる。よって、プロセッサ６０は、各画素セル３１１内の感光画素３１１１を、上述したようなやり方で長時間露光、中時間露光、および短時間露光を同時に行うよう制御し、各画素セル３１１によって出力された複数の原画素情報を取得する。続いて、プロセッサ６０は、同じ画素セル３１１内の原画素情報を合成して、合成画素情報を計算し得る。例えば、各画素セル３１１の合成画素情報は、式

【数1】

【0084】

を使用して計算され得る。よって、プロセッサ６０は、画素セル配列３１全体の複数の画素セル３１１の複数の合成画素情報を計算することができる。最後に、プロセッサ６０は、複数の合成画素情報に基づいて補間を行い、目標画像を計算する。

【0085】

高輝度モードでは、画素セル配列３１によって出力された３つの異なる露光時間長の原画素情報が目標画像を取得するために使用されることが理解できる。目標画像は長露光時間、中露光時間、および短露光時間の画素情報を合成することによって取得されるので、高輝度モードで取得された目標画像はハイ・ダイナミック・レンジを有し得る。しかしながら、高輝度モードは、高環境輝度のシーンにのみ適し得る。環境輝度が高いとき、中時間露光画素は正常に露光され、長時間露光画素は中時間露光画像内のアンダ露光部分を調整し、短時間露光画素は中時間露光画像内のオーバ露光部分を調整し、よってハイ・ダイナミック・レンジの目標画像が取得され得る。しかしながら、現在の環境輝度値が低いときに写真撮影で高輝度モードが使用された場合、長時間露光画素も中時間露光画素も十分な露出を得られず、高輝度モードで撮影された目標画像はノイズが多く、コントラストおよび精細度が不十分である。低輝度モードでは、同じ画素セル３１１内の複数の原画素情報が合成される。環境輝度が低いとき、低輝度モードを使用して目標画像を取得すると目標画像の解像度が下がるが、目標画像内の各画素の画素情報は複数の感光画素３１１１の原画素情報を合成することによって取得される。高輝度モードと比較すると、低輝度モードで取得された目標画像の輝度は、高輝度モードで取得された目標画像の輝度の２倍である。したがって、環境輝度が低いときには低輝度モードを使用して取得された目標画像の効果がより優れている。

【0086】

したがって、本発明の実施形態の撮像制御方法、制御装置１０および撮像装置３０では、現在の環境の輝度状況は利得指数値に従って決定され、現在の環境の輝度が低いときには低輝度モードでノイズがより少なく輝度がより高い目標画像が撮影され、現在の環境の輝度が高いときには高輝度モードでより高いダイナミックレンジの目標画像が撮影される。よって、異なる環境輝度の下で取得された目標画像が良好な画像効果を有する。

【0087】

図１８を参照すると、いくつかの実施形態では、撮像制御方法は、以下の動作１８０１〜動作１８０６を含み得る。

【0088】

動作１８０１で、現在の撮影環境の環境輝度値および事前設定目標輝度値に従って利得指数値が取得される。動作１８０２で、利得指数値が事前設定利得指数値より小さい場合、撮影で目標画像を取得するために高輝度モードが決定される。

【0089】

動作１８０３で、新しい利得指数値（すなわち、前述の第２の利得指数値）が引き続き取得される。

【0090】

動作１８０４で、新しい利得指数値が事前設定利得指数範囲の最大値（すなわち、事前設定利得指数範囲の上限値）と比較され、事前設定利得指数値は事前設定利得指数範囲内にある。

【0091】

動作１８０５で、新しい利得指数値が事前設定利得指数範囲の最大値以下である場合、撮影で目標画像を取得するために高輝度モードが保持される。

【0092】

動作１８０６で、新しい利得指数値が事前設定利得指数範囲の最大値より大きい場合、撮影で目標画像を取得するために低輝度モードに切り替えられる。

【0093】

図１９を参照すると、いくつかの実施形態では、制御装置１０は、第２の取得モジュール１４１と、第１の判断モジュール１４２と、第３の制御モジュール１４３と、第４の制御モジュール１４４とをさらに含み得る。動作１８０３は、第２の取得モジュール１４１によって実施され得る。動作１８０４は、第１の判断モジュール１４２によって実施され得る。動作１８０５は、第３の制御モジュール１４３によって実施され得る。動作１８０６は、第４の制御モジュール１４４によって実施され得る。すなわち、第２の取得モジュール１４１は、新しい利得指数値を引き続き取得するように構成され得る。第１の判断モジュール１４２は、新しい利得指数値を事前設定利得指数範囲の最大値と比較するように構成されてもよく、事前設定利得指数値は事前設定利得指数範囲内にある。第３の制御モジュール１４３は、新しい利得指数値が事前設定利得指数範囲の最大値以下である場合、目標画像を取得するために高輝度モードで引き続き撮影するように構成され得る。第４の制御モジュール１４４は、新しい利得指数値が事前設定利得指数範囲の最大値より大きい場合、撮影で目標画像を取得するために低輝度モードに切り替えるように構成され得る。

【0094】

図６を参照すると、いくつかの実施形態では、動作１８０３、動作１８０４、動作１８０５、および動作１８０６は、プロセッサ６０によっても実施され得る。一例示的実施形態では、プロセッサ６０はまた、新しい利得指数値（すなわち、上記の前述の第２の利得指数値）を引き続き取得し、新しい利得指数値を事前設定利得指数範囲の最大値と比較し、事前設定利得指数値が事前設定利得指数範囲内にあり、新しい利得指数値が事前設定利得指数範囲の最大値以下である場合、目標画像を取得するために高輝度モードで引き続き撮影し、新しい利得指数値が事前設定利得指数範囲の最大値より大きい場合、撮影で目標画像を取得するために低輝度モードに切り替える、ようにも構成され得る。

【0095】

一例示的実施形態では、事前設定利得指数範囲は［４００，５２０］である。前述したように、事前設定利得指数値は４６０であり、これは事前設定利得指数範囲内である。

【0096】

一例示的実施形態では、撮像装置３０が始動されると、撮像装置３０はまず、高輝度モードで動作する。続いて、撮像装置３０は、現時点の環境に対応する利得指数値を取得する。取得された利得指数値ｇが４５０であると仮定すると、撮像装置３０は、高輝度モードで目標画像を引き続き撮影する。続いて、撮像装置３０は、複数の時点での環境に対応する利得指数値を引き続き取得し、その都度取得された利得指数値ｇを［４００，５２０］の事前設定利得指数範囲の最大値５２０と比較する。比較結果がｇ≦５２０である場合、撮像装置３０は高輝度モードで引き続き動作する。比較結果がｇ＞５２０である場合、撮像装置３０は低輝度モードに切り替わって動作する。

【0097】

環境の輝度は通常、動的に変化し、前の時点で取得される利得指数値は通常、後の時点で取得される利得指数値と等しくないことが理解できる。環境輝度が絶えず変化するとき、取得される現在の利得指数値ｇも、事前設定利得指数値の前後の小範囲で絶えず変動することになる（｜ｇ−４６０｜の値は特定の値未満である）。撮像装置３０が、ｇと事前設定利得指数値（４６０）との比較に従って頻繁に動作モードを絶え間なく切り替える場合、撮像装置３０の電力消費量が増加する可能性があり、このとき輝度はあまり変化しないので、動作モードを頻繁に切り替えても目標画像の画像効果はあまり改善されない。したがって、本発明の実施形態の撮像制御方法では、事前設定利得指数範囲が設定され、利得指数値ｇが事前設定利得指数範囲の最大値５２０より大きい場合に限り、撮像装置３０の動作モードが高輝度モードから低輝度モードに切り替えられる。よって、動作モードの頻繁な切り替えによる撮像装置３０の電力消費量の増加の問題が回避され、環境輝度が低くなると低輝度モードに適時に切り替えられて、目標画像の画質が保証される。

【0098】

さらに、図２０を参照すると、いくつかの実施形態では、撮像制御方法は以下の動作２００１〜動作２００６を含み得る。

【0099】

動作２００１で、現在の撮影環境の環境輝度値および事前設定目標輝度値に従って利得指数値が取得される。動作２００２で、利得指数値が事前設定利得指数値より小さい場合、撮影で目標画像を取得するために高輝度モードが決定される。

【0100】

動作２００３で、新しい利得指数値が引き続き取得される。

【0101】

動作２００４で、新しい利得指数値が事前設定利得指数範囲の最大値と比較され、事前設定利得指数値は事前設定利得指数範囲内にある。

【0102】

動作２００５で、利得指数値が事前設定利得指数値と事前設定利得指数範囲の最大値との間にある場合、新しい利得指数値（すなわち、前述の第３の利得指数値）が引き続き取得され、引き続き取得された利得指数値が事前設定利得指数値と事前設定利得指数範囲の最大値との間にある持続時間がカウントされる。

【0103】

動作２００６で、持続時間が事前設定持続時間より大きい場合、撮影で目標画像を取得するために低輝度モードに切り替えられる。

【0104】

図２１を参照すると、いくつかの実施形態では、制御装置１０は、第３の取得モジュール１４５と第５の制御モジュール１４６とをさらに含み得る。動作２００５は、第３の取得モジュール１４５によって実施され得る。動作２００６は、第５の制御モジュール１４６によって実施され得る。すなわち、第３の取得モジュール１４５は、利得指数値が事前設定利得指数値と事前設定利得指数範囲の最大値との間にある場合、新しい利得指数値を引き続き取得し、引き続き取得された利得指数値が事前設定利得指数値と事前設定利得指数範囲の最大値との間にある持続時間をカウントするように構成され得る。第５の制御モジュール１４６は、持続時間が事前設定持続時間より大きい場合、撮影で目標画像を取得するために低輝度モードに切り替えるように構成され得る。

【0105】

図６を参照すると、いくつかの実施形態では、動作２００５および動作２００６は、プロセッサ６０によっても実施され得る。一例示的実施形態では、プロセッサ６０はまた、利得指数値が事前設定利得指数値と事前設定利得指数範囲の最大値との間にある場合、新しい利得指数値を引き続き取得し、引き続き取得された利得指数値が事前設定利得指数値と事前設定利得指数範囲の最大値との間にある持続時間をカウントし、持続時間が事前設定持続時間より大きい場合、撮影で目標画像を取得するために低輝度モードに切り替えるようにも構成され得る。

【0106】

一例示的実施形態では、撮像装置３０が始動されると、撮像装置３０はまず、高輝度モードで動作する。続いて、撮像装置３０は、現時点の環境に対応する利得指数値を取得する。取得された利得指数値ｇが４５０であると仮定すると、撮像装置３０は、高輝度モードで目標画像を引き続き撮影する。続いて、撮像装置３０は、複数の時点での環境に対応する利得指数値を取得し、その都度取得された利得指数値ｇを事前設定利得指数範囲［４００，５２０］と比較する。ｎ番目の取得プロセスで取得された利得指数値ｇが４６０＜ｇ≦５２０を満たす場合、プロセッサ６０はタイマを制御してカウントを開始する。（ｎ＋１）番目、（ｎ＋２）番目・・・（ｎ＋ｍ）番目の取得プロセスで取得された利得指数値ｇがすべて４６０＜ｇ≦５２０を満たし、ｎ番目から（ｎ＋ｍ）番目までの取得プロセスの合計持続時間が事前設定持続時間より大きい場合、撮像装置３０の動作モードは低輝度モードに切り替えられる。ｎ番目から（ｎ＋ｍ）番目までの取得プロセスの間に１回取得された利得指数値ｇが４６０＜ｇ≦５２０を満たさず、例えば、取得されたｇ＞５２０である場合、タイマはクリアされ、撮像装置３０は低輝度モードに直接切り替わる。別の例では、取得されたｇが４６０以下である場合、タイマはクリアされ、撮像装置３０は高輝度モードで動作し続ける。

【0107】

よって、撮像装置３０の動作モードは、引き続き取得された利得指数値が事前設定利得指数値と事前設定利得指数範囲の最大値との間にある持続時間が事前設定持続時間より大きいときに限り、切り替えられる。一方では、動作モードの頻繁な切り替えによって生じる高電力消費量の問題が回避され、他方では、環境輝度の変化に従って適切な動作モードが適時に採用されて良質の目標画像が撮影される。

【0108】

図２２を参照すると、いくつかの実施形態では、撮像制御方法は、以下の動作２２０１〜動作２２０６を含み得る。

【0109】

動作２２０１で、現在の撮影環境の環境輝度値および事前設定目標輝度値に従って利得指数値が取得される。

【0110】

動作２２０２で、利得指数値が事前設定利得指数値より大きい場合、撮影で目標画像を取得するために低輝度モードが決定される。

【0111】

動作２２０３で、新しい利得指数値（すなわち、前述の第２の利得指数値）が引き続き取得される。

【0112】

動作２２０４で、新しい利得指数値が事前設定利得指数範囲の最小値（すなわち、事前設定利得指数範囲の下限値）と比較され、事前設定利得指数値は事前設定利得指数範囲内にある。

【0113】

動作２２０５で、新しい利得指数値が事前設定利得指数範囲の最小値以上である場合、撮影で目標画像を取得するために低輝度モードが保持される。

【0114】

動作２２０６で、新しい利得指数値が事前設定利得指数範囲の最小値より小さい場合、撮影で目標画像を取得するために高輝度モードに切り替えられる。

【0115】

図２３を参照すると、いくつかの実施形態では、制御装置１０は、第４の取得モジュール１５１と、第２の判断モジュール１５２と、第６の制御モジュール１５３と、第７の制御モジュール１５４とをさらに含み得る。動作２２０３は、第４の取得モジュール１５１によって実施され得る。動作２２０４は、第２の判断モジュール１５２によって実施され得る。動作２２０５は、第６の制御モジュール１５３によって実施され得る。動作２２０６は、第７の制御モジュール１５４によって実施され得る。すなわち、第４の取得モジュール１５１は、新しい利得指数値を引き続き取得するように構成され得る。第２の判断モジュール１５２は、新しい利得指数値と事前設定利得指数範囲の最小値とを比較するように構成されてもよく、事前設定利得指数値は事前設定利得指数範囲内にある。第６の制御モジュール１５３は、新しい利得指数値が事前設定利得指数範囲の最小値以上である場合、目標画像を取得するために低輝度モードで引き続き撮影するように構成され得る。第７の制御モジュール１５４は、新しい利得指数値が事前設定利得指数範囲の最小値より小さい場合、撮影で目標画像を取得するために高輝度モードに切り替えるように構成され得る。

【0116】

図６を参照すると、いくつかの実施形態では、動作２２０３、動作２２０４、動作２２０５、および動作２２０６は、プロセッサ６０によっても実施され得る。一例示的実施形態では、プロセッサ６０はまた、新しい利得指数値（すなわち、前述の第２の利得指数値）を引き続き取得し、新しい利得指数値を事前設定利得指数範囲の最小値と比較し、事前設定利得指数値が事前設定利得指数範囲内であり、新しい利得指数値が事前設定利得指数範囲の最小値以上である場合、目標画像を取得するために低輝度モードで引き続き撮影し、新しい利得指数値が事前設定利得指数範囲の最小値より小さい場合、撮影で目標画像を取得するために高輝度モードに切り替える、ようにも構成され得る。

【0117】

一例示的実施形態では、撮像装置３０が始動されると、撮像装置３０はまず、高輝度モードで動作する。続いて、撮像装置３０は、現時点の環境に対応する利得指数値を取得する。取得された利得指数値ｇが５４０であると仮定すると、撮像装置３０は、目標画像を撮影するために低輝度モードに切り替えられる。続いて、撮像装置３０は、複数の時点での環境に対応する利得指数値を引き続き取得し、その都度取得された利得指数値ｇを［４００，５２０］の事前設定利得指数範囲の最小値４００と比較する。比較結果がｇ≧４００である場合、撮像装置３０は低輝度モードで引き続き動作する。比較結果がｇ＜４００である場合、撮像装置３０は高輝度モードに切り替わって動作する。

【0118】

環境の輝度は通常、動的に変化し、前の時点で取得される利得指数値は通常、後の時点で取得される利得指数値と等しくないことが理解できる。環境輝度が絶えず変化するとき、利得指数値ｇも、事前設定利得指数値の前後の小範囲で絶えず変動することになる（｜ｇ−４６０｜の値はある値未満である）。撮像装置３０が、ｇと事前設定利得指数値（４６０）との比較に従って頻繁に動作モードを絶え間なく切り替える場合、撮像装置３０の電力消費量が増加する可能性があり、このとき輝度はあまり変化しないので、動作モードを頻繁に切り替えても目標画像の画像効果はあまり改善されない。したがって、本発明の実施形態の撮像制御方法では、事前設定利得指数範囲が設定され、利得指数値ｇが事前設定利得指数範囲の最小値４００より小さい場合に限り、撮像装置３０の動作モードが低輝度モードから高輝度モードに切り替えられる。よって、動作モードの頻繁な切り替えによる撮像装置３０の電力消費量の増加の問題が回避され、環境輝度が高くなると、高輝度モードに適時に切り替えられて、目標画像の画質が保証される。

【0119】

図２４を参照すると、いくつかの実施形態では、撮像制御方法は、以下の動作２４０１〜動作２４０６を含み得る。

【0120】

動作２４０１で、現在の撮影環境の環境輝度値および事前設定目標輝度値に従って利得指数値が取得される。

【0121】

動作２４０２で、利得指数値が事前設定利得指数値より大きい場合、撮影で目標画像を取得するために低輝度モードが決定される。

【0122】

動作２４０３で、新しい利得指数値（すなわち、前述の第２の利得指数値）が引き続き取得される。

【0123】

動作２４０４で、新しい利得指数値が事前設定利得指数範囲の最小値と比較される。

【0124】

動作２４０５で、利得指数値が事前設定利得指数範囲の最小値と事前設定利得指数値との間にある場合、新しい利得指数値（すなわち、前述の第３の利得指数値）が引き続き取得され、引き続き取得された利得指数値が事前設定利得指数範囲の最小値と事前設定利得指数値との間にある持続時間がカウントされる。

【0125】

動作２４０６で、持続時間が事前設定持続時間より大きい場合、撮影で目標画像を取得するために高輝度モードに切り替えられる。

【0126】

図２５を参照すると、いくつかの実施形態では、制御装置１０は、第５の取得モジュール１５５と第８の制御モジュール１５６とをさらに含み得る。動作２４０５は、第５の取得モジュール１５５によって実施され得る。動作２４０６は、第８の制御モジュール１５６によって実施され得る。すなわち、第５の取得モジュール１５５は、利得指数値が事前設定利得指数範囲の最小値と事前設定利得指数値との間にある場合、新しい利得指数値を引き続き取得し、引き続き取得された利得指数値が事前設定利得指数範囲の最小値と事前設定利得指数値との間にある持続時間をカウントするように構成され得る。第８の制御モジュール１５６は、持続時間が事前設定持続時間より大きい場合、撮影で目標画像を取得するために高輝度モードに切り替えるように構成され得る。

【0127】

図６を参照すると、いくつかの実施形態では、動作２４０５および動作２４０６は、プロセッサ６０によっても実施され得る。一例示的実施形態では、プロセッサ６０はまた、利得指数値が事前設定利得指数範囲の最小値と事前設定利得指数値との間にある場合、新しい利得指数値を引き続き取得し、引き続き取得された利得指数値が事前設定利得指数範囲の最小値と事前設定利得指数値との間にある持続時間をカウントし、持続時間が事前設定持続時間より大きい場合、撮影で目標画像を取得するために高輝度モードに切り替えるようにも構成され得る。

【0128】

一例示的実施形態では、撮像装置３０が始動されると、撮像装置３０はまず、高輝度モードで動作する。続いて、撮像装置３０は、現時点の環境に対応する利得指数値を取得する。取得された利得指数値ｇが５４０であると仮定すると、撮像装置３０は、目標画像を撮影するために低輝度モードに切り替えられる。続いて、撮像装置３０は、複数の時点での環境に対応する利得指数値を取得し、その都度取得された利得指数値ｇを［４００，５２０］の事前設定利得指数範囲と比較する。ｎ番目の取得プロセスで取得された利得指数値ｇが４００≦ｇ≦４６０を満たす場合、プロセッサ６０はタイマを制御してカウントを開始する。（ｎ＋１）番目、（ｎ＋２）番目・・・（ｎ＋ｍ）番目の取得プロセスで取得された利得指数値ｇがすべて４００≦ｇ≦４６０を満たし、ｎ番目から（ｎ＋ｍ）番目までの取得プロセスの合計持続時間が事前設定持続時間より大きい場合、撮像装置３０の動作モードは高輝度モードに切り替えられる。ｎ番目から（ｎ＋ｍ）番目までの取得プロセスの間に１回取得された利得指数値ｇが４００≦ｇ≦４６０を満たさず、例えば、取得されたｇ＜４００である場合、タイマはクリアされ、撮像装置３０は高輝度モードに直接切り替わる。別の例では、測定されたｇ＞４６０である場合、タイマはクリアされ、撮像装置３０は低輝度モードで動作し続ける。

【0129】

よって、撮像装置３０の動作モードは、引き続き取得された利得指数値が事前設定利得指数範囲の最小値と事前設定利得指数値との間にある持続時間が事前設定持続時間より大きいときに限り、切り替えられる。一方では、動作モードの頻繁な切り替えによって生じる高電力消費量の問題が回避され、他方では、環境輝度の変化に従って適切な動作モードが適時に採用されて良質の目標画像が撮影される。

【0130】

いくつかの実施形態では、出力された目標画像がプレビュー画像である場合、高輝度モードと低輝度モードの両方で長時間露光画素の長時間露光が行われるので、プレビュー画像の出力フレームレートが減少する。このとき、撮像装置３０の表示フレームレートがプレビュー画像の出力フレームレートより大きい場合、出力フレームレートは表示フレームレートと一致せず、そのため撮像装置３０の表示が静止したりまたはぎこちなく見えたりすることになり得る。そのような問題を回避するために、プロセッサ６０は、表示フレームレートが出力フレームレートと一致するように、撮像装置３０を制御して表示フレームレートを低減させる。あるいは、表示フレームレートが出力フレームレートより高く、ある時点で、プロセッサ６０が出力と表示のためのこの時点のプレビュー画像をまだ生成していない場合、プロセッサ６０は、前の時点のプレビュー画像を出力および表示してもよく、すなわち、現時点で出力されるべきプレビュー画像の空白を埋めるために前の時点のプレビュー画像が使用される。よって、表示フレームレートと出力フレームレートとの不一致により撮像装置３０の表示が滑らかではないという問題が回避され、ユーザ体験が改善される。

【0131】

本発明の一実施形態はコンピュータ可読記憶媒体も提供し、本コンピュータ可読記憶媒体は、コンピュータ実行可能命令を含む１つまたは複数の不揮発性コンピュータ可読記憶媒体であり、コンピュータ実行可能命令は、１つまたは複数のプロセッサ６０によって実行されると、プロセッサ６０に、上記実施形態のいずれかに記載される撮像制御方法を行わせる。

【0132】

例えば、コンピュータ実行可能命令は１つまたは複数のプロセッサ６０によって実行され、プロセッサ６０に以下の動作２０１〜２０３を行わせ得る。

【0133】

動作２０１で、現在の撮影環境の環境輝度値および事前設定目標輝度値に従って利得指数（すなわち、前述の第１の利得指数値）が取得される。

【0134】

動作２０２で、利得指数値が事前設定利得指数値より小さい場合、撮影で目標画像を取得するために高輝度モードが決定される。

【0135】

動作２０３で、利得指数値が事前設定利得指数値より大きい場合、撮影で目標画像を取得するために低輝度モードが決定される。

【0136】

別の例では、コンピュータ実行可能命令が１つまたは複数プロセッサ６０によって実行されると、プロセッサ６０に以下の動作１２０１〜１２０３を行わせ得る。

【0137】

動作１２０１で、画素セル配列３１が異なる露光時間の下で複数の原画素情報を出力するよう制御される。

【0138】

動作１２０２で、同じ画素セル３１１における同じ露光時間の原画素情報にそれぞれ従ってマージ画素情報が計算される。

【0139】

動作１２０３で、複数のマージ画素情報に従って目標画像が出力される。

【0140】

図２７を参照すると、本発明の一実施形態は、コンピュータ装置２００も提供する。コンピュータ装置２００は、記憶装置５０とプロセッサ６０とを含み得る。記憶装置５０は、コンピュータ可読命令を格納し、プロセッサ６０によって実行されると、コンピュータ可読命令はプロセッサ６０に、上記実施形態のいずれかに記載される撮像制御方法を実行させる。

【0141】

図２６は、一例示的実施形態によるコンピュータ装置２００の内部構造の概略図である。コンピュータ装置２００は、システムバス８１を介して接続された、プロセッサ６０と、記憶装置５０（例えば、不揮発性記憶媒体）と、メモリ８２と、ディスプレイ８３と、入力装置８４を含み得る。コンピュータ装置２００の記憶装置５０は、オペレーティングシステムとコンピュータ可読命令とを格納する。コンピュータ可読命令は、本出願の一実施形態の撮像制御方法を実施するためにプロセッサ６０によって実行され得る。プロセッサ６０は、コンピュータ装置２００全体の動作をサポートする計算および制御の機能を提供するために使用される。コンピュータ装置２００の記憶装置５０は、メモリ５２でのコンピュータ可読命令の実行のための環境を提供する。コンピュータ装置２００の表示画面８３は、液晶ディスプレイ画面や電子インク表示画面などであり得る。入力装置８４は、表示画面８３上を覆うタッチ層であり得るか、またはコンピュータ装置２００のハウジング上に設けられたキー、トラックボールもしくはタッチパッド、または外部キーボード、タッチパッドもしくはマウスであり得る。コンピュータ装置２００は、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、パーソナル・デジタル・アシスタントまたはウェアラブルデバイス（例えば、スマートブレスレット、スマートウォッチ、スマートヘルメット、スマートグラス）などであり得る。図２６に示されている構造は、本出願の技術的解決策に関連した構造の一部の概略図にすぎず、本出願の技術的解決策が適用されるコンピュータ装置に対する限定をなすものではないことを当業者は理解できよう。特定のコンピュータ装置は、図２６に示されている構成要素よりも多いかもしくは少ない構成要素を含んでいてもよく、またはいくつかの構成要素を組み合わせてもよく、または異なる構成要素の配置を有していてもよい。

【0142】

図２７を参照すると、本出願の一実施形態のコンピュータ装置２００は画像処理回路９０を含んでいてもよく、画像処理回路９０は、画像信号処理（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ（ＩＳＰ））パイプラインを定義する様々な処理装置を含む、ハードウェアおよび／またはソフトウェア構成要素によって実装され得る。図２７は、一例示的実施形態における画像処理回路９０の概略図である。図２７に示されるように、例示を容易にするために、本出願の実施形態に関連した画像処理技術の局面のみが示されている。

【0143】

図２７に示されるように、画像処理回路９０は、ＩＳＰプロセッサ９１（ＩＳＰプロセッサ９１はプロセッサ６０であり得る）と、制御論理９２とを含み得る。カメラ９３によって取り込まれた画像データはまず、ＩＳＰプロセッサ９１によって処理され、ＩＳＰプロセッサ９１は画像データを解析して、カメラ９３の１つまたは複数の制御パラメータを決定するために使用できる画像統計を取り込む。カメラ９３は、１つまたは複数のレンズ９３２と、イメージセンサ９３４とを含み得る。イメージセンサ９３４は、カラーフィルタ（ベイヤフィルタなど）の配列を含んでいてもよく、イメージセンサ９３４は、各撮像画素によって取り込まれた光強度と波長情報とを取得し、ＩＳＰプロセッサ９１によって処理され得る元の画像データセットを提供し得る。センサ９４（ジャイロスコープなど）は、センサ９４のインターフェースタイプに基づいてＩＳＰプロセッサ９１に収集された画像処理パラメータ（手ぶれ補正パラメータなど）を提供し得る。センサ９４のインターフェースは、標準モバイル・イメージング・アーキテクチャ（Ｓｔａｎｄａｒｄ Ｍｏｂｉｌｅ Ｉｍａｇｉｎｇ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＳＭＩＡ））・インターフェース、他のシリアルもしくはパラレル・カメラ・インターフェース、または上記インターフェースの組み合わせであり得る。

【0144】

加えて、イメージセンサ９３４は、センサ９４に元の画像データを送信してもよく、センサ９４は、センサ９４のインターフェースタイプに基づいてＩＳＰプロセッサ９１に元の画像データを提供してもよく、またはセンサ９４は、元の画像データを画像記憶装置９５に格納してもよい。

【0145】

ＩＳＰプロセッサ９１は、様々なフォーマットで画素ごとに元の画像データを処理する。例えば、各画素は、８、１０、１２、または１４ビットのビット深度を有していてもよく、ＩＳＰプロセッサ９１は、元の画像データに対して１つまたは複数の画像処理操作を行って画像データに関する統計情報を収集し得る。画像処理操作は、同じかまたは異なるビット深度精度で実行することができる。

【0146】

ＩＳＰプロセッサ９１はまた、画像記憶装置９５から画像データを受け取ってもよい。例えば、センサ９４インターフェースは画像データを画像記憶装置９５に送り、画像記憶装置９５は元の画像データを処理のためにＩＳＰプロセッサ９１に提供する。画像記憶装置９５は、記憶装置５０、記憶装置５０の一部分、電子機器内の記憶装置または別個の専用メモリであってもよく、ダイレクト・メモリ・アクセス（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ（ＤＭＡ））機構を含み得る。

【0147】

ＩＳＰプロセッサ９１は、イメージセンサ９３４のインターフェースから、またはセンサ９４のインターフェースから、または画像記憶装置９５から生の画像データを受け取ると、時間領域フィルタリングなどの１つまたは複数の画像処理操作を行い得る。処理された画像データは、表示される前にさらに処理するために画像記憶装置９５に送られ得る。ＩＳＰプロセッサ９１は、画像記憶装置９５から処理されたデータを受け取り、元の領域において、ＲＧＢ色空間およびＹＣｂＣｒ色空間で処理されたデータに対する画像データ処理を行う。ＩＳＰプロセッサ９１によって処理された画像データは、ユーザが表示するため、および／またはグラフィックスエンジンもしくはグラフィックス処理装置（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＧＰＵ））がさらに処理するために、ディスプレイ９７（ディスプレイ９７はディスプレイ８３を含み得る）に出力され得る。加えて、ＩＳＰプロセッサ９１の出力も画像記憶装置９５に送られてもよく、ディスプレイ９７は画像記憶装置９５から画像データを読み出してもよい。ある実施形態では、画像記憶装置９５は、１つまたは複数のフレームバッファを含むように構成され得る。加えて、ＩＳＰプロセッサ９１の出力は、画像データを符号化／復号するために、エンコーダ／デコーダ９６にも送られ得る。符号化された画像データを、ディスプレイ９７装置上で表示する前に保存および解凍することができる。エンコーダ／デコーダ９６は、ＣＰＵまたはＧＰＵまたはコプロセッサによって実施され得る。

【0148】

ＩＳＰプロセッサ９１によって決定された統計データは、制御論理９２装置に送られ得る。例えば、統計データは、自動露出、自動ホワイトバランス、オートフォーカス、フリッカ検出、ブラックレベル補正、レンズ９３２影補正などのイメージセンサ９３４統計情報を含み得る。制御論理９２は、１つまたは複数のルーチン（ファームウェアなど）を実行する処理要素および／またはマイクロコントローラを含んでいてもよく、１つまたは複数のルーチンは、受け取られた統計データに基づいてカメラ９３およびＩＳＰプロセッサ９１の制御パラメータを決定し得る。例えば、カメラ９３の制御パラメータには、センサ９４制御パラメータ（例えば、利得、露出制御の積分時間、手ぶれ補正パラメータなど）、カメラフラッシュ制御パラメータ、レンズ９３２制御パラメータ（合焦もしくはズームのための焦点距離）、またはこれらのパラメータの組み合わせが含まれ得る。ＩＳＰ制御パラメータには、自動ホワイトバランスおよび色調整のための利得レベルおよび色補正マトリックス（例えばＲＧＢ処理中の）、ならびにレンズ９３２影補正パラメータが含まれ得る。

【0149】

例えば、図２６のプロセッサ６０または図２７の画像処理回路９０（例えばＩＳＰプロセッサ９１）は、撮像制御方法の以下の動作２０１〜動作２０３を実施するために使用され得る。

【0150】

動作２０１で、現在の撮影環境の環境輝度値および事前設定目標輝度値に従って利得指数（すなわち、前述の第１の利得指数値）が取得される。

【0151】

動作２０２で、利得指数値が事前設定利得指数値より小さい場合、撮影で目標画像を取得するために高輝度モードが決定される。

【0152】

動作２０３で、利得指数値が事前設定利得指数値より大きい場合、撮影で目標画像を取得するために低輝度モードが決定される。

【0153】

別の例では、図２６のプロセッサ６０または図２７の画像処理回路９０（例えばＩＳＰプロセッサ９１）は、撮像制御方法の以下の動作１２０１〜動作１２０３を実施するために使用され得る。

【0154】

動作１２０１で、画素セル配列３１が異なる露光時間の下で複数の原画素情報を出力するよう制御される。

【0155】

動作１２０２で、同じ画素セル３１１における同じ露光時間の原画素情報にそれぞれ従ってマージ画素情報が計算される。

【0156】

動作１２０３で、複数のマージ画素情報に従って目標画像が出力される。

【0157】

本明細書の説明では、「一実施形態」、「いくつかの実施形態」、「例」、「具体例」、または「いくつかの例」などの用語に関してなされた記述は、その実施形態または例に関連して記述された特定の特徴、構造、材料、または特性が、本発明の少なくとも１つの実施形態または例に含まれることを意味する。本明細書では、上記の用語の概略図は、必ずしも同じ実施形態または例を対象とするものではない。さらに、記載の特定の特徴、構造、材料、または特性は、任意の１つまたは複数の実施形態または例において適切な方法で組み合わされ得る。加えて、当業者であれば、互いに矛盾することなく、本明細書に記載される異なる実施形態または例および異なる実施形態または例の特徴を組み合わせることもできる。

【0158】

さらに、「第１」、「第２」、および「第３」という用語は説明のために使用されているにすぎず、相対的重要度を指示もしくは示唆するものであるとも、指示される技術的特徴の数を暗黙的に指示するものであるとも理解してはならない。よって、「第１」、「第２」、および「第３」と定義されている特徴は、明示的または暗黙的にそれらの特徴のうちの少なくとも１つを含み得る。本発明の説明において、「複数の」の意味は、特に明示的具体的に限定されない限り、少なくとも２つ、例えば、２つ、３つなどである。

【0159】

流れ図内または本明細書に別に記載されているプロセスまたは方法の説明は、特定の論理機能またはプロセスの動作を実施するための１つまたは複数の実行可能命令を含むコードのモジュール、セグメント、または部分を表すものとして理解されてもよく、本発明の実施形態の範囲は他の実施態様を含む。それらの機能は、関与する機能に応じて、実質的に同時または逆の順序を含めて、本明細書で図示または論じられている順序以外の順序で行われてもよく、これについては本発明の実施形態が属する分野の当業者に理解されるはずである。

【0160】

流れ図に表されているかまたは本明細書に別に記載されている論理または動作は、例えば、論理機能を実施するための実行可能命令の順序表と見なされてもよく、命令実行システム、装置、もしくはデバイス（例えば、コンピュータベースのシステム、プロセッサを含むシステム、または命令実行システム、装置、もしくはデバイスから命令をフェッチし、実行することができる他のシステム）が使用するための、またはこれと関連した任意のコンピュータ可読媒体において具体化されてもよい。本明細書に関しては、「コンピュータ可読媒体」は、命令実行システム、装置、もしくはデバイスが使用するための、またはこれと関連したプログラムを収容、格納、伝達、または搬送し得る任意のデバイスであり得る。コンピュータ可読媒体のより具体的な例（非網羅的リスト）には、１つまたは複数の配線を有する電気接（電子機器）、ポータブル・コンピュータ・ディスク・カートリッジ（磁気デバイス）、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能編集可能読取り専用メモリ（ＥＰＲＯＭやフラッシュメモリ）、光ファイバデバイス、およびポータブル光ディスク読取り専用メモリ（ＣＤＲＯＭ）が含まれる。加えて、コンピュータ可読媒体は、その上にプログラムを印刷できる紙その他の適切な媒体でさえあってもよく、というのは、例えば、紙その他の媒体を光学的にスキャンし、続いて必要に応じて、編集、解釈、または他の適切な方法で処理することによってプログラムを電子的に取得し、次いでコンピュータメモリに格納することができるからである。

【0161】

本発明の様々な部分は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせとして実施され得ることを理解されたい。上述の実施形態では、複数の動作または方法が、メモリに格納されたソフトウェアまたはファームウェアにおいて実装され、適切な命令実行システムによって実行され得る。例えば、ハードウェアとして実装される場合には、別の実施形態の場合と同様に、これは、当分野で公知の以下の技法、すなわち、データ信号に対して論理機能を実施するための論理ゲートを備えたディスクリート論理回路、適切な組み合わせ論理ゲートを備えた特定用途向け集積回路、プログラマブル・ゲート・アレイ（ＰＧＡ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）など、のいずれか１つまたは組み合わせによって実施することができる。

【0162】

上記の実施形態を実施するための方法が有する動作の前部または一部を、コンピュータ可読記憶媒体に格納できるプログラムを介して関連ハードウェアに命令することによって達成することができることを、当業者は理解できよう。プログラムは、実行されると、方法実施形態の動作の１つまたは組み合わせを含む。

【0163】

加えて、本発明の様々な実施形態における各機能ユニットは、１つの処理モジュールに統合されていてもよく、または各ユニットが物理的に単独で存在していてもよく、または２つ以上のユニットが１つのモジュールに統合されていてもよい。上記の統合モジュールを、ハードウェアまたはソフトウェア機能モジュールの形態で実施することができる。また、統合モジュールがソフトウェア機能モジュールの形態で実施され、独立した製品として販売または使用される場合には、統合モジュールをコンピュータ可読記憶媒体に格納することもできる。上記の記憶媒体は、読取り専用メモリ、磁気ディスクまたは光ディスクなどであり得る。

【0164】

以上で本発明の実施形態を図示および説明したが、上記の実施形態は例示であり、本発明の限定として理解されてはならないことが理解でき、当業者であれば、本発明の範囲内で上記の実施形態に変更、改変、置換および変形を加えることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】