(58)【調査した分野】(Int.Cl.,DB名)
フロントフェーシング画像センサとタッチスクリーンとを含むモバイルデバイスを使用して、ユーザの1または複数のデジタル画像を取り込むための方法であって、前記方法は、
前記ユーザの前記1または複数のデジタル画像を取り込むためのコマンドを受信することと、
前記1または複数のデジタル画像が前記ユーザの少なくとも顔を含むことを決定することと、
前記タッチスクリーン上に照明画像を表示することによって前記ユーザの少なくとも顔を照明することと、
前記フロントフェーシング画像センサを使用して前記ユーザの少なくとも顔を含むテスト画像を取り込むことと、
調整された照明画像を生成するために、前記ユーザの前記テスト画像のクロミナンス値とターゲットクロミナンス値との間の比較に基づいて、前記照明画像の色を調整することと、
前記タッチスクリーン上に表示された前記調整された照明画像によって前記ユーザの少なくとも顔が照明される間、前記フロントフェーシング画像センサを使用して前記ユーザの少なくとも顔を含む前記1または複数のデジタル画像を取り込むことと
を備える、方法。
前記照明画像は、前記フロントフェーシング画像センサによって取り込まれた前記ユーザのプレビューフレームに基づき、前記プレビューフレームは、少なくとも前記ユーザの顔を含む、請求項1に記載の方法。
前記調整された照明画像を生成するために、前記テスト画像の平均クロミナンス値と前記ターゲットクロミナンス値との間の比較に基づいて、前記照明画像の前記色を調整することをさらに備える、請求項1に記載の方法。
命令を記憶するように構成された非一時的コンピュータ読取可能な媒体であって、前記命令は、フロントフェーシング画像センサとタッチスクリーンとを含むモバイルデバイスのプロセッサによって実行されるとき、前記モバイルデバイスに、
ユーザの1または複数のデジタル画像を取り込むためのコマンドを受信することと、
前記1または複数のデジタル画像が前記ユーザの少なくとも顔を含むことを決定することと、
前記タッチスクリーン上に照明画像を表示することによって前記ユーザの少なくとも顔を照明することと、
前記フロントフェーシング画像センサを使用して前記ユーザの少なくとも顔を含むテスト画像を取り込むことと、
調整された照明画像を生成するために、前記ユーザの前記テスト画像のクロミナンス値とターゲットクロミナンス値との間の比較に基づいて、前記照明画像の色を調整することと、
前記タッチスクリーン上に表示された前記調整された照明画像によって前記ユーザの少なくとも顔が照明される間、前記フロントフェーシング画像センサを使用して前記ユーザの少なくとも顔を含む前記1または複数のデジタル画像を取り込むことと
を備える動作を行わせる、非一時的コンピュータ読取可能な媒体。
前記照明画像は、前記フロントフェーシング画像センサによって取り込まれた前記ユーザのプレビューフレームに基づき、前記プレビューフレームは、少なくとも前記ユーザの顔を含む、請求項16に記載の非一時的コンピュータ読取可能な媒体。
前記命令の実行は、前記調整された照明画像が表示される間、前記ユーザの顔の少なくとも一部が照明されるようにする、請求項16に記載の非一時的コンピュータ読取可能な媒体。
前記照明画像は、前記フロントフェーシング画像センサによって取り込まれた前記ユーザのプレビューフレームに基づき、前記プレビューフレームは、少なくとも前記ユーザの顔を含む、請求項31に記載のモバイルデバイス。
【発明を実施するための形態】
【0008】
[0015]多くのデジタルデバイスは、ユーザの自己画像を取り込むためにフロントフェーシング画像センサを装備している。取り込まれた自己画像は、写真のような静的画像(static image)であってもよく、または、ビデオのような動的画像であってもよい。しかしながら、フロントフェーシングカメラを有する、全てではないにしてもほとんどのデバイスでは、専用の照明源(例えば、静止画像(still image)またはビデオを取り込むためのフラッシュまたはLEDライト)が不足している。その結果、フロントフェーシング画像センサを低光環境で使用する場合に、周囲の光からの照明は、画像センサに十分な照明を提供するのに不十分かもしれない。フラッシュまたはLED源が、解決策を提供することができるが、そのような照明源を追加する利益は、デジタルデバイス上のフロントフェーシングカメラのための、追加された科学技術の複雑さ、および、専用の照明源を有することの関連コストに勝らない。依って、デジタルデバイスのフロントフェーシング画像センサを使用して画像を取り込むためのコスト効率のよい照明源に対するニーズがある。
【0009】
[0016]本開示は、フロントフェーシング画像センサおよびデジタルディスプレイを有する電子デバイスを対象とし、電子デバイスは、フロントフェーシング画像センサのための照明源としてデジタルディスプレイを使用するように構成されている。態様は、当該電子デバイスを使用する方法も対象としている。ここに記載された本システムの1つの利点は、追加の照明源の追加コストまたは複雑さをこうむること無く、電子デバイスのフロントフェーシング画像センサの低光性能を改善することである。
【0010】
[0017]依って、1つの実施形態は、画像がフロントフェーシングカメラにより取り込まれるとき、デジタルディスプレイを照明するように構成された電子デバイスである。ユーザは、画像を取り込むために、フロントフェーシングカメラを起動するかもしれない。このことにより、画像が取り込まれている間に、デジタルディスプレイに明るい白色を発光させるであろう。別の態様において、画像が取り込まれるとき、デジタルディスプレイは、予め定義された明るさ、または、予め定義された色に明るくなる。この特徴により、ユーザは、フロントカメラからの画像の低光取込を改善するためにデジタルディスプレイがどのように使用されるかを、選択することができる。
【0011】
[0018]以下の開示は、あるタイプのデバイス(例えば、スマートフォン)との関連で、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスとを有するデジタルデバイスの様々な実施形態の特徴を記載してもよい。しかしながら、フロントフェーシング画像センサと照明源としてディスプレイデバイスとを有するように構成されることができる任意の適切な電子デバイスを含む、他の実施形態が可能であることが理解されるべきである。このようなデバイスは、例えば、とりわけ、モバイルフォン、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、ビデオカメラ、携帯音楽プレーヤを含む。さらに、この機能を提供し得るディスプレイデバイスは、LED、LCD、OLED、AMOLED、または、デジタルデバイスのフロントフェーシング画像センサのための照明源として構成されることができる他の類似タイプのディスプレイを含んでいる。
【0012】
[0019]
図1Aは、1つの実施形態に従って、フロントフェーシング画像センサ110を有するデジタルデバイス102、および、自己画像または自己ビデオを取り込むためにデジタルデバイスを使用するユーザ120を図示している。上述したように、図示されたデジタルデバイス102は、タブレットまたはスマートフォンであってもよいが、態様はそれに限定されない。デジタルデバイス102は、フロントフェーシング画像センサ110を通して取り込まれるものの画像を表示するディスプレイデバイス104を含む。図示された実施形態において、ディスプレイデバイス104は、この例ではユーザ120の自己画像を含む照明画像106を表示するように構成されている。フロントフェーシング画像センサ110により取り込まれた照明画像106としてのユーザの自己画像は、ユーザ120によるコマンドに応答して取り込まれてもよい。
【0013】
[0020]ここに記載されているように、「画像」は、静止デジタル画像に言及しているだけでなく、同様に、多くの画像の瞬間のフレームを含むビデオに言及し得る。さらに、画像は、ディスプレイデバイス104上に表示された画像、または、ディスプレイデバイス104上に表示されていないがデジタルデバイス102のメモリデバイスまたは蓄積デバイスに存在する画像に言及することができる。
【0014】
[0021]示されているように、ユーザ120は、デジタルデバイス102で画像取込モードを開始し、そこには、照明画像106が表示されるだろう。ユーザ120は、特定のポイントで画像を取り込むために、シャッターボタンを起動することができる。シャッターボタンが起動されると、デジタルデバイス102は、ディスプレイデバイス104に、ユーザ120をよりよく照明するだろう明るい白色を発光するように命令する。このことは、ユーザ120に追加の光を加えることにより取り込まれている画像を改善するだろう。
【0015】
[0022]
図1Bは、別の実施形態に従って、フロントフェーシング画像センサを有するデジタルデバイスと、ネットワークを通じて画像またはビデオを交換するためにデジタルデバイスを使用する複数のユーザとを図示している。第1のユーザ120Aにより使用中のデジタルデバイス102Aは、第1のフロントフェーシング画像センサ110Aと、第1の照明画像を表示するように構成された第1のディスプレイデバイス104Aとを含む。この例では、照明画像は、第1のユーザ120Aによるコマンドに応答して、第1のフロントフェーシング画像センサ110Aにより取り込まれた第1のユーザ102Aの自己画像106Aを含む。類似して、第2のユーザ120Bにより使用中のデジタルデバイス102Bは、第2のフロントフェーシング画像センサ110Bと、第2の照明画像を表示するように構成された第2のディスプレイデバイス104Bとを含む。この例では、第2の照明画像は、第2のユーザ120Bによるコマンドに応答して、第2のフロントフェーシング画像センサ110Bにより取り込まれた第2のユーザ102Bの第2の自己画像106Bを含む。
【0016】
[0023]例えばビデオ通話などの使用中、第1のディスプレイデバイス104Aは、ユーザ120aが通話しているとき、明るくなるように構成されてもよい。このように明るくなることにより、システムは、より高品質な画像を第2のユーザ120bに送信することが可能になる。同様に、第2のディスプレイデバイス104bは、第2のユーザ120bがビデオ通話をしていた間、明るくなるように構成されることができる。
【0017】
[0024]
図1Bの第1のデジタルデバイス102Aおよび第2のデジタルデバイス102Bのようなフロントフェーシング画像センサを有するデジタルデバイスはまた、検出された光子に応答して画像センサによって生成された電気信号を電磁気信号に変換し、電磁気信号を送信するように構成されることもできる。デジタルデバイスは、デジタルデバイスに通信可能に結合された別のデバイスによって生成された類似の電磁気信号を受信するようにさらに構成されることができる。例えば、
図1Bの図示された実施形態において、第1のデジタルデバイス102Aは、第1の画像センサ110Aによって検出された光子に応答して生成された第1の自己画像106Aに対応する電気信号を変換し、電気信号を第1のアップロード電磁気信号122Aに変換するように構成されてもよい。第1のアップロード電磁気信号122Aに含まれる情報は、次に、ネットワーク130を通じて第1のダウンロード電磁気信号122Bを受信するように構成された第2のデジタルデバイス102Bによって受信され、第1のダウンロード電磁気信号122Bを、第1の通信された画像108Bとして表示される電気信号に変換することができる。この例における第1の通信された画像108Bは、第1の画像センサ110Aによって取り込まれた第1の自己画像106Aに対応する。類似して、第2のデジタルデバイス102Bは、第2の画像センサ110Bにより検出された光子に応答して生成された第2の自己画像106Bに対応する電気信号を変換し、電気信号を第2のアップロード電磁気信号124Bに変換するように構成されることができる。第2のアップロード電磁気信号124Bに含まれる情報は、次に、ネットワーク130を通じて第2のダウンロード電磁気信号124Aを受信するように構成された第1のデジタルデバイス102Aによって受信され、第2のダウンロード電磁気信号124Aを、第2の画像センサ110Bにより取り込まれた第2の自己画像106Bに対応する第2の通信された画像108Aとして表示される電気信号に変換することができる。
【0018】
[0025]
図2は、1つの実施形態に従って、スマートフォンのような、フロントフェーシング画像センサ、および、照明源として構成されたディスプレイデバイスを有するデジタルデバイス200を図示する機能的なブロック図である。デジタルデバイス200は、コマンド入力モジュール210、照明感知モジュール220、照明調整モジュール230、フロントフェーシング画像センサモジュール240を含む。コマンド入力モジュール210、照明感知モジュール220、照明調整モジュール230、フロントフェーシング画像センサモジュール240の各々は、中央処理モジュール250に通信可能に接続されている。デジタルデバイス200は、中央処理モジュール250に通信可能に接続されたメモリモジュール260と、蓄積モジュール270とをさらに含む。デジタルデバイス200は、ネットワーク290にデジタルデバイス200を通信可能に接続するように構成された通信サブシステム280をさらに含む。
【0019】
[0026]例示されたデジタルデバイス200は、デジタルデバイス200の全体の動作を制御するように構成された中央処理モジュール250を含み、デジタルデバイス200の処理機能を実行するように構成された適切なマイクロプロセッサを含んでもよい。いくつかの実施形態において、中央処理モジュール250は、グラフィック処理モジュールなどの特殊サブ処理モジュールを含む。
【0020】
[0027]デジタルデバイス200は、ユーザから入力された様々なモードのコマンドを受信するように構成されたコマンド入力モジュール210をさらに含む。いくつかの実施形態において、コマンド入力モジュール210は、とりわけ、音声認識デバイス、ジェスチャ認識デバイス、動き感知デバイス、タッチスクリーンデバイス、キーボードデバイス、補助入力/出力(I/O)デバイスのようないくつかの適切な入力デバイスを含むことができる。コマンド入力モジュールは、音声波または動きのような物理的な入力信号をデジタル信号に変えるために補助回路を含むこともできる。
【0021】
[0028]デジタルデバイス200は、照明条件を決定するように構成された照明感知モジュール220をさらに含む。照明感知モジュール220は、フロントフェーシング画像センサと、画像センサコントローラを含む。画像センサは、入射光子を、処理されるために中央処理モジュールに転送される電気信号に変換するように構成された複数の画素を含む。典型的な画像センサにおいて、各画素は、光の入射光子を吸収するように構成された感光性エリアを含む。いくつかの実施形態において、入射光子は、光子収集の量子効率を向上させるために各画素を覆うマイクロレンズによって方向付けられてもよい。吸収された光子は、電子に変換される。電子の数は、入射光子のエネルギー次第かもしれない。電子は、次に、電圧信号に変換される。
【0022】
[0029]いくつかの実施形態において、画像センサは、電荷結合素子(CCD)画像センサを含む。CCD画像センサは、色フィルタアレイ、および、画素アレイを備える。CCD画像センサの各ピクセルは、赤、緑、青フィルタのパターンを備える色フィルタを含む。1つの例では、色フィルタは、2×2の市松模様の色フィルタパターンを有するベイヤーフィルタパターンに配置されてもよい。ベイヤーフィルタの2×2の市松模様は、互いに対角線状に配列された1つの赤フィルタおよび青フィルタ、並びに、互いに対角線状に配列された2つの緑フィルタを含む。異なる色フィルタを通過してフィルタされた光子は、その後、画素アレイ内のフォトダイオードによって吸収される。フォトダイオードは、吸収された光子を電荷に変換する。電荷は、電荷結合と呼ばれる過程で、異なる電圧を画素に印加することによって、単一の場所に移動させられる。画素の電荷は、異なる電圧を印加することによって移動させられるので、CCD画像センサは、外部の電圧生成器によってサポートされる。
【0023】
[0030]いくつかの実施形態において、画像センサは、相補型金属酸化膜半導体(CMOS)画像センサを含む。CCD画像センサのように、CMOS画像センサは、感光性ダイオードのアレイ―各画素内に1つのダイオード―を含む。しかしながら、CCDとは違い、CMOS画像装置の各画素は、自身の個別に集積された増幅器を有している。さらに、CMOS画像装置の各画素は、電荷の動きを通してというより、x−y座標システムで直接読み取られることができる。依って、CMOS画像センサ画素は、光子を直接検出し、光子を、出力される電圧に変換する。
【0024】
[0031]照明感知モジュール220は、入射光子に由来する出力された電圧を、デジタル情報に変換するための追加の回路を含む。これは、中央処理モジュール250により処理されてもよい。照明感知モジュール220は、中央処理モジュール250からの様々なコマンドに応答して、画像センサを制御するように構成された画像センサコントローラをさらに含む。
【0025】
[0032]照明調整モジュール230は、ユーザから受信したコマンドに応答して、ディスプレイデバイスの照明条件を、画像化照明条件から通常のビューイング照明条件へと、および、通常のビューイング照明条件から画像化照明条件へと調整するように構成されてもよい。照明調整モジュールは、ディスプレイデバイスおよびディスプレイコントローラを含む。1つの実施形態において、ディスプレイデバイスは、電気的活性化すると光を生成する有機発光ダイオード(OLED)のアクティブマトリクスを備える、アクティブマトリクス式有機発光ダイオード(AMOLED)ディスプレイを含むことができる。OLED画素は、電流の流れを各個別の画素に制御するための一連のスイッチとして機能する、薄膜トランジスタ(TFT)アレイ上に集積されることができる。LED、LCD、OLED、AMOLED、または、デジタルデバイス200のフロントフェーシング画像センサに関する照明源として構成されることができる任意の他の類似タイプのディスプレイを含む、ディスプレイデバイスの他の実施形態が可能である。
【0026】
[0033]発光強度、したがって、ディスプレイ内の各画素の輝度は、発光ダイオード(LED)のような放射素子(emitting element)に供給される電流により調整されることができる。1つの実施形態において、ディスプレイは、画素が2つのトランジスタおよびコンデンサを備えるAMOLEDのようなアクティブマトリクスディスプレイである。ドレインが発光ダイオード(例えば、OLED)に接続されている第1のトランジスタは、第1のトランジスタのゲート・ソース電圧を制御することにより、ダイオードを通して流れる電流の量を、したがって、発光強度を制御するように構成されている。ゲート・ソース電圧は、次に、第1のトランジスタのゲートとソースとの間で接続されたコンデンサによって維持されている。ゲート・ソース電圧は、ゲートが行選択ラインに接続され、ソースがデータラインに接続される第2のトランジスタを制御することを通してコンデンサに蓄積された電荷の量を制御することにより修正されることができる。依って、次に第1のトランジスタを通して発光ダイオードに送られた電流を制御する、第2のトランジスタを制御するために、行選択ライン電圧、および、データライン電圧のような様々な電圧を制御することによって、ディスプレイデバイスの各画素の輝度値は、フロントフェーシング画像センサに対する様々な程度の照明を提供するように調整されることができる。
【0027】
[0034]フロントフェーシング画像センサモジュール240は、画像照明条件の下でフロントフェーシング画像センサを通じてデジタル画像を取り込むように構成される。フロントフェーシング画像センサモジュールは、照明感知モジュールとして類似のハードウェアデバイスを含み、共有することができる。例えば、フロントフェーシング画像センサモジュール240は、フロントフェーシング画像センサおよび画像センサコントローラを備える。その機能および動作は、照明感知モジュール220と実質的に同じである。さらに、照明調整モジュールは、照明調整モジュール230のディスプレイデバイスに関する様々な照明条件を決定するのに必要である算出を実行する。
【0028】
[0035]デジタルデバイス200は、デジタルデバイス200が電源が入っている間、情報を蓄積するように構成されたメモリモジュール260をさらに含む。メモリモジュール260は、スタティックランダムアクセスメモリ(SRAM)およびダイナミックランダムアクセスメモリ(RAM)のようなメモリデバイスを含むことができる。メモリデバイスは、メモリデバイスからマイクロプロセッサへ、および、マイクロプロセッサからメモリデバイスへのデータの流れに対しデータパスを提供するメモリバスを通じて中央処理モジュール250に通信可能に結合された異なるレベルのキャッシュメモリとして構成されることができる。特に、メモリモジュールは、ディスプレイデバイスを使用して、フロントフェーシング画像センサのための照明を提供するために、デジタルデバイスの動作の様々な段階における画像情報を保持してもよい。
【0029】
[0036]デジタルデバイス200は、ソフトウェアコードと同じく、写真およびビデオフィルムのような媒体を蓄積するように構成された蓄積モジュール270をさらに含む。いくつかの実施形態において、蓄積モジュール270は、デジタルデバイス200が電源が落ちている間でさえ、永久に媒体を蓄積するように構成されている。いくつかの実施形態において、とりわけ、蓄積モジュール270は、ハードディスクや、フラッシュメモリ、リードオンリメモリ(ROM)などの不揮発性メモリのような記憶メディアを含む。
【0030】
[0037]デジタルデバイス200は、ネットワーク290にデジタルデバイス200を通信可能に接続するように構成された通信サブシステム280をさらに含む。通信サブシステム280は、無線通信のために構成された回路を含む。例えば、通信サブシステム280は、802.11スタンダードのうちの1つを使用して、デジタルデバイス200とネットワーク290との間のWi−Fi(登録商標)通信を可能にしてもよい。通信システム280は、加えて、とりわけ、BLUETOOTH(登録商標)、符合分割多重接続(CDMA)(登録商標)、移動通信のためのグローバルシステム(GSM)(登録商標)のようなスタンダードを可能にしてもよい。
【0031】
[0038]
図3A−3Dは、1つの実施形態に従って、フロントフェーシング画像センサを有するデジタルデバイス、および、照明源として構成されたディスプレイデバイスを使用する方法300を図示するフローチャートである。方法は、デジタル画像を取り込むためのコマンドを受信することと、コマンドに応答してディスプレイデバイスを画像化照明条件に調整することと、画像化照明条件の下でフロントフェーシング画像センサを使用してデジタル画像を取り込むこととを含む。
【0032】
[0039]
図3A−3Dにおいて図示されている実施形態のデジタルデバイスは、1つの実施形態に従って、フロントフェーシング画像センサと照明源として構成されたディスプレイデバイスを有する
図2のデジタルデバイス200のようなデジタルデバイスであってもよい。
【0033】
[0040]フロントフェーシング画像センサおよび照明源として構成されたディスプレイデバイスを有するデジタルデバイスを使用する方法300は、開始状態310で始まり、フロントフェーシング画像センサを使用してデジタル画像を取り込むためのコマンドを受信するために状態320に移動する。1つの態様において、コマンドは、コマンド入力モジュール210によって処理されることができる任意の適切な形態で受信されてもよく、ユーザコマンドの他の適切な形態の中でも、とりわけ、音声認識デバイスにより処理される音声コマンド、ジェスチャ認識デバイスにより処理されるジェスチャコマンド、タッチスクリーンデバイスにより処理されるタッチコマンド、キーボードデバイスにより処理されるキーボードコマンド、動き感知デバイスにより処理される動きコマンドを含んでいる。
【0034】
[0041]状態320においてデジタル画像を取り込むためのコマンドを受信した後で、方法300は、状態330に移動し、フロントフェーシング画像センサを起動する。1つの態様において、状態330においてフロントフェーシング画像センサを起動することは、例えば、画像センサのアクセスラインにアクセス電圧を提供することと、画像センサモジュール220の画像センサコントローラにVccを提供することとを含むことができる。
【0035】
[0042]ディスプレイデバイスによって提供された照明条件は、ディスプレイデバイスの画素の輝度およびクロミナンス値を含む、多くのパラメータによって定義されることができる。例えば、当業者は理解するであろうように、輝度およびクロミナンスの実際の値は、それらを描写するのに使用される色空間に依存している。例えば、RGBまたはsRGB色空間において、各画素は、式Y=rR+gG+bBによって表される相対輝度Yを有することができ、ここで、R、G、Bは、色成分、赤(red)、緑(green)、青(blue)を表し、r、g、bは、定数である。例えば、sRGB空間について、定数r、b、および、bは、それぞれ、値0.212、0.7152、0.0722を有する。例えば、Y’UV色空間において、Y’はluma値を表し、UとVは2つの色成分を表す。RGB空間およびY’UV空間は、周知の変換関係により関連している。
【0038】
[0043]さらに、当業者はまた、YUV、YCbCr、YPbPrなどのうちの1つのような、任意の適切な色空間表現が、ディスプレイデバイスの画素の照明条件を表すのに使用されることができることを理解するでしょう。ここでの記載において、用語「輝度(luminance)」は、一般的に、光の全体の強度について言及するために使用され、用語「クロミナンス」は、一般的に、色成分について言及するために使用される。
【0039】
[0044]1つの実施形態に従って、フロントフェーシング画像センサを有するデジタルデバイスを使用する方法300は、ユーザが選択することができる、動的照明モードを提供することを含む。ユーザによって起動される場合、動的照明モードは、照明感知モードによって決定される先行する照明条件に基づいて、ディスプレイデバイスによって提供された照明条件の最適化を可能にする。動的照明モードが、ユーザによって起動されない場合、先行する照明条件に関係なく、所定のデフォルト照明条件が、ディスプレイデバイスによって提供される。照明モードの詳細は、続く議論でさらに明確になる。状態330において、フロントフェーシング画像センサを起動した後、方法300は、動的照明モードが起動されたか否かを決定するために、判定状態340に移動する。
【0040】
[0045]動的照明モードが起動されていない決定が、判定状態340でなされる場合、方法300は、処理状態350で、ディスプレイデバイスを、デフォルト画像化照明条件に調整する。状態350でディスプレイデバイスを調整するように実行されたステップにおける追加の詳細は、
図3Dに関連して以下に議論する。方法300は、それから、状態390で画像取込シャッターを起動する。
【0041】
[0046]しかしながら、動的照明モードが起動されている決定が、判定状態340でなされる場合、方法300は、先行する照明条件を決定する処理状態360に移動する。どのように先行する照明条件を決定するかについての追加の情報は、3Bに関連して以下で記述されている。
【0042】
[0047]先行する照明条件が、処理状態360で決定されると、方法300は、追加の照明が必要であるか否かを決定するために、判定状態370に移動する。この決定は、被写体の平均的な輝度値と、その被写体に対応する蓄積された輝度基準との間の計算された差異に基づいてもよい。計算された差異が、ある閾値パーセンテージ値を超える場合、方法300は、ディスプレイデバイスを、最適化された画像化照明条件に調整するために、処理状態380に進んでもよい。しかしながら、計算された差異が、ある閾値パーセンテージ値を超えない場合、方法300は、上述のように、ディスプレイデバイスを、デフォルト画像化照明条件に調整するために、処理状態350に進む。
【0043】
[0048]単に一例として、人間の顔に対する蓄積されたターゲット輝度基準は、輝度曲線のグレースケールの18パーセントを含んでもよい。8ビット輝度曲線において、グレースケールの18パーセントが、46番目のグレーレベルに対応するように、2
8=256レベルの輝度値であってもよい。テストフレームに取り込まれた人間の顔の平均輝度値が、例えば、8ビット輝度曲線において26番目のグレーレベルに対応するグレースケールの10パーセントに対応する平均輝度値を有する場合、計算された差異は、8パーセントである。方法300が、ディスプレイデバイスを最適化された画像化照明条件に調整すること、または、ディスプレイデバイスをデフォルト画像化照明条件に調整することに進むかどうかは、1つの実施形態において、8パーセントの計算された差異が閾値を超えるか否かに依存している。
【0044】
[0049]処理状態380において、ディスプレイデバイスを最適化された画像化照明条件に調整した後、方法300は、シャッターを起動するために、状態390に移動する。方法300は、その後、状態392に移動し、照明画像がディスプレイデバイスに表示される間に画像またはビデオフレームが取り込まれる。方法300は、状態394に移動し、シャッターは停止される。最後に、方法300は、状態396に移動し、ディスプレイデバイスは、通常の照明条件に戻る。
【0045】
[0050]
図3Bは、
図3Aに関連して上述された1つの実施に従って、先行する照明条件を決定するために処理360において追加の詳細を提供するフローチャートである。処理360は、状態362においてフロントフェーシング画像センサを使用してテストフレームを取り込むことと、状態366において、テストフレームの平均輝度値と蓄積された輝度基準との間の差異を計算することとを含む。さらに、別の実施形態において、先行する照明条件を決定するための処理360は、状態364においてテストフレームにおける被写体を決定することをさらに含むことができる。この実施において、状態366における差異を計算することは、テストフレームの被写体の平均輝度値と被写体に対応する蓄積された輝度基準との間の差異を計算することを含む。例えば、被写体は、とりわけ、1つの顔、複数の顔、1つの体、複数の体、風景を含むことができる。状態362、364、366の追加の詳細は、以下に議論する。
【0046】
[0051]1つの実施に従って、先行する照明条件を決定するための処理360は、状態362においてテストフレームを取り込むことを含む。テストフレームは、fナンバーと露出時間とを含む、固定されたテストフレーム画像化条件のセットを使用して取り込まれたフレームであってもよい。いくつかの実施において、テストフレーム画像化条件は、スピードを最大化するために、実際の画像化条件と比べて、比較的低いfナンバーと比較的短い露出時間を含む。他の実施において、テストフレーム画像化条件は、実際の画像化条件に類似したfナンバーと露出時間とを含む。
【0047】
[0052]
図3Bにさらに言及すると、1つの実施に従って先行する照明条件を決定するための処理360は、状態364においてテストフレームで被写体を決定することをさらに含む。1つの態様において、被写体を決定することは、測光領域を決定することと、測光領域から集められた情報に基づいて画像化されるべき被写体を決定することとを含むことができる。
【0048】
[0053]測光領域を決定することは、測光領域であるべきテストフレームの全ディスプレイエリアの固定されたパーセンテージを備える矩形のエリアを決定することを含んでもよい。単に例として、例えば、測光領域は、テストフレーム幅の約75パーセントに等しい幅と、テストフレーム長さの約75パーセントに等しい長さを有する矩形測光領域を有してもよい。他の実施形態が可能であり、測光領域は、テストフレームの長さおよび/または幅の異なるパーセンテージを占める非矩形エリアおよび/または矩形エリアを含んでもよい。
【0049】
[0054]別の態様において、画像化されるべき被写体を決定することは、被写体決定基準の任意の適切な数に基づいてもよい。いくつかの実施において、被写体決定基準は、潜在的な被写体が占める全テストフレームの断片を決定することを含んでもよい。他の実施において、被写体決定基準は、全テストフレームの輝度の総合平均と比較された潜在的な被写体の平均輝度値を含んでもよい。他の実施において、被写体決定基準は、全テストフレームの色成分の平均値と比較された潜在的な被写体の色成分の平均値のような他の基準を含んでもよい。被写体決定基準の1または複数を使用し、蓄積モジュールに蓄積された参照リストと比較して、テストフレームの被写体は決定されることができる。
【0050】
[0055]他の態様において、画像化されるべき被写体を決定することは、被写体が人間の顔を含むことを決定することを含んでもよい。被写体が人間であることを決定することは、任意の1または複数の周知の顔検出アルゴリズムに頼ってもよい。例えば、人間の顔の決定は、被写体の卵型性質、並びに、被写体の中央点と外側の境界線との間の最小および最大距離などの、適切な因子の幾つにでも基づいてなされてもよい。
【0051】
[0056]
図3Bをさらに参照すると、1つの実施に従った、先行する照明条件を決定するための処理360は、状態366において、テストフレームの被写体の平均輝度値と被写体に対応する蓄積された輝度基準との間の差異を計算することを含む。
【0052】
[0057]
図3Cは、
図3Aに関連して上述された最適化された画像化照明条件に、ディスプレイデバイスを調整するための処理380について追加の詳細を提供するフローチャートを図示する。処理380は、状態382において、被写体の平均輝度値と被写体に対応する格納された輝度基準との間の計算された差異に基づいて追加の照明を算出することにより開始する。状態382の後、状態384において、照明画像を選択する。状態384の後、状態386において、平均輝度値を調整する。状態386の後、状態388において、照明画像を表示する。状態382、384、386、388のそれぞれについて、以下でさらに詳細に議論する。
【0053】
[0058]いくつかの実施形態において、状態382において算出された追加の照明は、
図3Bの状態366における、被写体の平均輝度値と被写体に対応する蓄積された輝度基準との間の計算された差異に、直線的にまたは非直線的に比例してもよい。ディスプレイデバイスによって提供されるべきである算出された追加の照明は、例えば、他の因子によって、被写体の平均輝度値と該被写体に対応する蓄積された輝度基準との間の計算された差異を乗算することにより取得された値であってもよい。1つのこのような因子は、例えば、相当な量の光強度が、ディスプレイデバイスと画像化される被写体との間の距離に応じて減少させられ得ることを説明する距離因子であってもよい。
【0054】
[0059]他の実施形態において、状態382において、追加の照明は、被写体の平均クロミナンス値と該被写体に対応する蓄積されたクロミナンス基準との間の差異に基づいて算出されてもよい。この実施形態において、テストフレームの被写体において比較的低い平均値を有する色成分は、ディスプレイデバイスによって過分に補償されるように算出されてもよく、他方、テストフレームの被写体において比較的高い平均値を有する他の色成分は、美的により満足な画像を生産するために、色成分を優先的に補償するように、少なく補償されるように算出されてもよい。
【0055】
[0060]
図3Cをさらに参照すると、ディスプレイデバイスを調整するための処理380は、状態384において、照明画像を選択することを加えて含んでもよい。選択された照明画像は、フロントフェーシング画像センサのための所望の照明を提供するための任意の適切な画像であってもよい。
【0056】
[0061]1つの実施において、照明画像は、最適化された輝度をともなうデバイスのデフォルトスクリーンのような、
図3Aにおける状態320で、デジタル画像を取り込むためのコマンドを受信する前に表示されていた画像であってもよい。別の実施において、照明画像は、最適化された輝度を有するフロントフェーシング画像センサによって取り込まれるユーザの画像のプレビューフレームのような、ディスプレイデバイスを調整する直前に表示された画像であってもよい。さらに別の実施において、照明画像は、照明領域に含まれる画素が最適化された輝度および/またはクロミナンスを有するように構成された照明領域を有する画像であってもよい。状態384において照明画像を選択することに含まれることができる、照明画像の様々な構成は、
図4に関連して以下でより詳細に説明する。
【0057】
[0062]照明画像は、状態382で算出された追加の照明に基づいて、状態384で選択されてもよい。例えば、適切な照明画像は、状態382において算出された追加の照明を提供することが可能な画像であってもよい。しかしながら、全ての有効な照明画像が、状態382において算出された追加の照明を提供することが可能であり得るわけではない。実例的な例として、第1の照明画像は、1−5パーセントの追加の輝度を提供するように配置された画素を有してもよいが、第2の照明画像は、5−10パーセントの追加の輝度を提供するように配置された画素を有してもよい。この実例的な例において、状態382において算出された追加の画像に基づく必須の追加輝度が、5パーセントを超える場合、第2の照明画像が、状態384において、第1の照明画像より優先して選択されるだろう。
【0058】
[0063]さらに
図3Cを参照すると、ディスプレイデバイスを最適化された画像化照明条件に調整するための処理380は、状態386において、選択された照明画像の平均輝度値をターゲット画像化輝度値に調整することをさらに含む。状態386において平均輝度値を調整することは、選択された照明画像の平均輝度値とターゲット画像化輝度値との間の差異をまず決定することを含む。差異を決定すると、状態386において平均輝度値を調整することは、ターゲットデフォルト画像化輝度値の下で選択された照明画像を表示するために、照明画像に含まれる画素に必須である電圧と電流を決定することをさらに含む。
【0059】
[0064]さらに
図3Cを参照すると、ディスプレイデバイスを最適化された画像化照明条件に調整する処理380は、状態388において、画像化輝度値を有する選択された照明画像を表示することをさらに含む。状態388において選択された照明画像を表示することは、選択された照明画像に対応するディスプレイデバイスの画素を選択することと、選択された照明画像の平均輝度値とターゲット画像化輝度値との間の差異に基づいて決定された電圧と電流とを供給することを含む。
【0060】
[0065]今度は
図3Dを参照して、ディスプレイデバイスをデフォルト画像化照明条件に調整する処理350をさらに詳細に説明する。処理350は、照明画像を選択する処理352で開始する。処理352の後に、処理354で、照明画像の平均輝度値が、デフォルト画像化輝度値に調整される。状態354の後に、状態356で、デフォルト画像化輝度値を有する照明画像を表示する。状態352、354、356のそれぞれについて、以下にさらに詳細に記載する。
【0061】
[0066]
図3Dを参照すると、ディスプレイデバイスをデフォルト画像化照明条件に調整する処理350は、状態352において、照明画像を選択することを含む。状態352において照明画像を選択することは、デフォルト照明画像を選択することを含むことができる。デフォルト照明画像は、フロントフェーシング画像センサのための照明を提供するための任意の適切な画像であってもよい。1つの実施において、デフォルト照明画像は、
図3Aにおける状態320において、デジタル画像を取り込むためのコマンドを受信する前に表示されていた画像であってもよい。例えば、デフォルト照明画像は、例えばアプリケーションアイコンを含み得る、ディスプレイデバイスのデフォルトスクリーンのうちの任意の1つであってもよい。別の実施において、デフォルト照明画像は、ディスプレイデバイスを調整する直前に表示されていた画像であってもよい。例えば、デフォルト画像は、永続的画像を取り込む前にフロントフェーシング画像センサによって取り込まれたユーザの画像のプレビューフレームであってもよい。別の実施において、デフォルト照明画像は、照明エリアに含まれる画素が所定の輝度値を有するように構成された照明エリアを有する画像であってもよい。いくつかの実施形態において、デフォルト照明画像は、デジタルデバイスの蓄積モジュールで、デバイス製造者によって蓄積された所定の画像のうちの1つであり得る。他の実施形態において、デフォルト照明画像は、ユーザによって提供され、および、蓄積モジュールに蓄積されることができる。例えば、画像は、とりわけ、個人的な肖像、ウェブページのような、ユーザによって蓄積モジュールに蓄積された任意の画像であり得る。状態352において照明画像を選択することに含まれることができる照明画像の様々な構成は、
図4に関連して以下にさらに詳細に説明する。
【0062】
[0067]さらに
図3Dを参照すると、ディスプレイデバイスをデフォルト画像化照明条件に調整する処理350は、状態354において、デフォルト照明画像の平均輝度値をデフォルト画像化輝度値に調整することをさらに含む。状態354において平均輝度値を調整することは、選択されたデフォルト照明画像の平均輝度値とターゲットデフォルト画像化輝度値との間の差異をまず決定することを含む。差異を決定すると、状態354において平均輝度値を調整することは、ターゲットデフォルト画像化輝度値の下でデフォルト照明画像を表示するために、照明画像に含まれる画素に必須である電圧と電流とを決定することをさらに含む。
【0063】
[0068]さらに
図3Dを参照すると、ディスプレイデバイスをデフォルト画像化照明条件に調整する処理350は、状態356において、デフォルト画像化輝度値を有するデフォルト照明画像を表示することをさらに含む。状態356において、デフォルト照明画像を表示することは、デフォルト照明画像に対応するディスプレイデバイスの画素を選択することと、選択されたデフォルト照明画像の平均輝度値とターゲットデフォルト画像化輝度値との間の差異に基づいて決定された電圧と電流を供給することを含む。
【0064】
[0069]
図4Aから4Lは、ディスプレイデバイスを最適化された画像化照明条件に調整すること380、および、ディスプレイデバイスをデフォルト画像化照明条件に調整すること350で選択された照明画像の例示的な実施を図示している。
図4Aから4Lの各々は、フロントフェーシング画像センサ402を備えるデジタルデバイス400の例示的実施を描いている。
図4Aから4Lに描かれたデジタルデバイス400は、スマートフォンであるが、デジタルデバイス400は、フロントフェーシング画像センサを含むように構成されることができる他のデジタルデバイスの中でも、とりわけ、モバイルフォン、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、ビデオカメラ、携帯音楽プレーヤのうちのいずれか1つであり得る。さらに、
図4Aから4Lに図示された実施形態の各々において、デジタルデバイス400は、照明画像404を表示するように構成されている。
図4Aから4Lに図示された実施の各々、または、実施において含まれる任意の特徴は、
図4Aから4Lに描かれていない実施形態を形成するために組み合わせられることができることが理解されるべきである。さらに、異なる特徴の数、形、物理的サイズが、単に例として提供されている。異なる数、異なる形、異なる物理的サイズを有する他の実施形態が可能である。
【0065】
[0070]照明画像404は、フロントフェーシング画像センサ402に十分な照明を提供するためにデジタルデバイス400のディスプレイデバイス上に表示される任意の適切な画像であってもよい。いくつかの実施において、照明画像404は、デジタル画像を取り込むユーザからのコマンドを受信する前に表示されていた画像であってもよい。そのような照明画像の1つの実施は、
図4Aに描かれている。
図4Aの照明画像404は、デフォルト画像406の照明画像である。デフォルト画像406は、他の特徴の中でも、とりわけ、時計、検索ウィンドウ、アプリケーションアイコンのような、ヴィジュアルおよびインタラクティブフィーチャ(feature)を含んでもよい。この実施において、デジタル画像を取り込むコマンドを受信すると、デフォルト画像406の平均輝度値は、ディスプレイデバイスを最適化された画像化照明に調整すること380に従って、または、ディスプレイデバイスを
図3Aに関連して上述されたデフォルト画像化照明条件に調整すること350に従って調整されてもよい。
【0066】
[0071]いくつかの実施において、照明画像は、照明領域に含まれる画素が白色光を照明するように構成されるように構成された1または複数の照明領域を含んでもよい。人間の目が、結果として生じる光を、色嗜好を有さないニュートラルであるように知覚するように、個別の色成分(例えば、RGB色空間のR、G、B)の強度が、おおむね同じ値を有するように釣り合わせられている場合に、画素は、白色光を照明するように構成され得る。
【0067】
[0072]1つの実施に従った
図4Bにおけるデジタルデバイス400の照明画像404は、白色光を照明し、照明画像404全体をおおむね覆うように構成された単一の照明領域408を含む。この実施において、
図4Aにおけるように、照明領域408の平均照明値が、ディスプレイデバイスを最適化された画像化照明に調整すること380に従って、または、ディスプレイデバイスを上述されたデフォルト画像化照明条件に調整350することに従って調整されてもよい。
【0068】
[0073]別の実施に従った
図4Cにおけるデジタルデバイス400の照明画像404は、白色光を照明し、照明画像404の一部を覆うように構成された単一の照明領域410を含む。照明領域410の平均輝度値は、
図4A−4Bにおけるように調整されてもよい。さらに、照明領域410のサイズは、ディスプレイデバイスの全体照明を増加させるために、照明領域410に含まれる画素の数を増加させるように調整されてもよい。不活性領域(passive region)412に含まれる画素は、ごくわずかな輝度値を有するように構成されている。
【0069】
[0074]別の実施に従った
図4Dにおけるデジタルデバイス400の照明画像404は、複数の照明領域416a−416cを含み、その各々は、白色光を照明し、照明画像404の一部を覆うように構成されている。照明領域416a−416cの平均輝度値は、
図4A−4Cにおけるように調整されてもよい。この実施において、照明領域416a−416cの平均輝度値は、個別にまたは集合的に調整されてもよい。さらに、照明領域416a−416cのサイズは、ディスプレイデバイスの全体の照明を最適化するために、個別にまたは集合的に調整されてもよい。照明領域416a−416cの外側の不活性領域414a−414cに含まれる画素は、ごくわずかな輝度値を有するように構成されている。
【0070】
[0075]いくつかの実施において、照明画像404は、照明領域に含まれる画素が色成分(例えば、RGB空間のR、G、B)の有色光を優先的に照明するように構成されるように構成された1または複数の照明領域を含んでもよい。人間の目が結果として生じる光をある色を有するものとして知覚するように、色成分のうちの1つの強度が向上させられる一方、他の色成分の強度が抑えられる場合、画素は、優先的に有色光を照明するように構成されてもよい。例えば、優先的に赤い光を照明するために、色成分Rが、色成分GおよびBと比べて比較的高い値を有するように、緑と青の光に対応するフォトダイオードは、抑制されてもよい。
【0071】
[0076]1つの実施に従った
図4Eにおけるデジタルデバイス400の照明画像404は、複数の照明領域を含み、照明領域の各々は、優先的に有色光を照明し、照明画像404の一部を覆うように構成されている。図示された実施において、照明画像404は、3つの照明領域420、422、424を含み、その各々は、優先的に、それぞれ赤、緑、または青の光を照明するように構成されている。個別の照明領域420、422、424の各々の平均輝度値は、
図4A−Dのように調整されてもよい。その値が、優先的に照明されている色成分によって優先的に重み付けされ導き出される、3つの照明領域の各々の平均輝度値を個別に調整することによって、カスタマイズできる色混合を有する組み合わされた照明が、フロントフェーシングカメラ402に提供されることができる。不活性領域412に含まれる画素は、ごくわずかな輝度値を有するように構成される。
【0072】
[0077]1つの実施に従った
図4Fにおけるデジタルデバイス400の照明画像404は、複数の照明領域を含んでいる。そこでは、異なる有色光を優先的に照明するように構成された照明領域がインターレースされ、照明画像404全体をおおむね覆う。例示された実施において、照明画像404は、優先的に赤い光をそれぞれ照明するように構成された4つの照明領域430、432、446、448、優先的に緑の光をそれぞれ照明するように構成された4つの照明領域432、440、442、450、優先的に青い光をそれぞれ照明するように構成された4つの照明領域434、436、444、452を含む。個別の照明領域430、432、434、436、438、440、442、444、446、448、450、452の各々の平均輝度値は、
図4Aから4Eのように調整されてもよい。
図4Eのように、その値が優先的に照明されている色成分により優先的に重み付けされ導き出される、照明領域の各々の平均輝度値を個別に調整することによって、カスタマイズできる色混合を有する組み合わされた照明が、フロントフェーシングカメラ402に提供されることができる。さらに、インターレースパターンは、例えば、特定の色成分で被写体の異なる部分(例えば、顔)が優先的に照明されることを避けるために、有色光のさらに均等な分配を提供してもよい。
【0073】
[0078]1つの実施に従った
図4Gにおけるデジタルデバイス400の照明画像404は、複数の照明領域を含んでいる。そこでは、異なる有色光を優先的に照明するように構成された照明領域は、照明画像404内で分配され、照明画像404の少なくとも一部を覆う。例示された実施において、照明画像404は、優先的に赤い光をそれぞれ照明するように構成された3つの照明領域460、466、優先的に緑の光をそれぞれ照明するように構成された2つの照明領域462、469、優先的に青い光をそれぞれ照明するように構成された2つの照明領域464、470を含む。個別の照明領域460、462、464、466、468、470の各々の平均輝度値は、
図4Aから4Fにあるように調整されてもよい。
図4Eにあるように、それぞれの値が優先的に照明されている色成分により優先的に重み付けされ導き出された、照明領域の各々の平均輝度値を個別に調整することによって、カスタマイズできる色混合を有する組み合わされた照明が、フロントフェーシングカメラ402に提供されることができる。さらに、インターレースパターンは、例えば、被写体の異なる部分(例えば、顔)に異なる量の有色光を提供するために、有色光の不均一な分配を提供してもよい。不活性領域412に含まれる画素は、ごくわずかな輝度値を有するように構成される。
【0074】
[0079]1つの実施に従った
図4Hにおけるデジタルデバイス400の照明画像404は、複数の照明領域を含んでいる。そこでは、照明領域のいくつかは、優先的に有色光を照明し、他方、他の照明領域は、白色光を照明するように構成されている。図示された実施において、照明画像404は、それぞれ赤、緑、または青の光を優先的に照明するように構成されている、3つの照明領域472、474を含む。照明画像404は、白色光を照明するように構成された照明領域478を加えて含む。個別の照明領域472、474、476、478の各々の平均輝度値は、
図4Aから4Gにおけるように調整されてもよい。その値が優先的に照明されている色成分により優先的に重み付けされて導き出された、照明領域472、474、476の各々の平均輝度値を個別に調整することによって、カスタマイズできる色混合を有する組み合わされた照明が、フロントフェーシングカメラ402に提供されることができる。さらに、照明領域478の平均輝度値を調整することによって、追加の白色光は、取り込まれた画像の一般的な明るさを増加させるために提供されてもよい。不活性領域412に含まれる画素は、ごくわずかな輝度値を有するように構成される。
【0075】
[0080]いくつかの実施において、照明画像は、フロントフェーシング画像センサによって取り込まれた画像を含んでもよい。いくつかの実施において、フロントフェーシング画像センサによって取り込まれた画像は、静止画像のためのプレビュー画像であってもよい。他の実施において、フロントフェーシングカメラによって取り込まれた画像は、ビデオに取り込まれているリアルタイムフレームであってもよい。
【0076】
[0081]フロントフェーシングカメラ自身によって取り込まれた画像を照明画像として使用する1つの実施が、
図4Iに描かれている。
図4Iの照明画像404は、照明画像404全体をおおむね覆っている照明領域482を含み、背景に対しユーザ480の画像を含む。照明領域404全体の平均輝度値は、
図4A−4Hにおけるように調整されてもよい。
【0077】
[0082]フロントフェーシングカメラ自身によって取り込まれた画像を照明画像として使用する別の実施が、
図4Jに描かれている。ユーザの画像を含む照明画像404の一部を覆う照明領域482に加え、
図4Jの照明画像404は、照明画像404の一部を覆い、白色光を照明するように構成された照明領域484を加えて含んでいる。照明領域484、482の各々の平均輝度値は、
図4Aから4Hにおけるように調整されてもよい。不活性領域412に含まれる画素は、ごくわずかな輝度値を有するように構成される。
【0078】
[0083]フロントフェーシングカメラ自身によって取り込まれた画像を照明画像として使用する別の実施が、
図4Kおよび4Lに描かれている。両方の実施において、ユーザの画像を含む照明画像404の一部を覆う照明領域482に加えて、
図4Kおよび4Lの照明画像404は、ネットワークを通じて、(例えば、第2のユーザ486の)別のデバイスから送信された画像を備える照明領域488、490を加えて含んでいる。照明領域482、488、490の各々の平均輝度値は、
図4Aから4Jにあるように調整されてもよい。
図4Lの不活性領域412に含まれる画素は、ごくわずかな輝度値を有するように構成される。
【0079】
[0084]開示された実施の先の説明は、いずれの当業者でも本発明を成し、または、使用することができるように提供されている。これらの実施に対するさまざまな変更は、当業者に容易に理解され、ここで定義される一般的な原理は、本発明の精神または範囲から逸脱することなく、他の実施に適応することができる。このように、本発明は、ここに示された実施に限定されることは意図しておらず、ここに開示される原理および新規な特徴と一致する最も広い範囲が付与されるべきである。
【0080】
(用語に関する明確化)
[0085]ここに開示されている実施は、フロントフェーシング画像センサに照明源を提供するためにデバイス自身のディスプレイを使用するためのシステム、方法、装置を提供する。当業者は、これらの実施形態がハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実施され得ることを理解するだろう。
【0081】
[0086]記載において、具体的な詳細が、例の完全な理解を提供するために与えられる。しかしながら、その例はこれらの具体的な詳細がなくても実行され得ることは、当業者は理解するだろう。例えば、不必要な詳細で例を曖昧にしないために、電気構成要素/デバイスが、ブロック図で示され得る。他の事例において、このような構成要素、他の構造、および技術が、例をさらに説明するために詳細に示され得る。
【0082】
[0087]見出しは、参考のために、およびさまざまなセクションの位置を探すのを助けるために、ここに含まれる。これらの見出しは、それについて記載されている概念の範囲を限定するように意図されてはいない。そのような概念は、明細書全体を通して適用性を有し得る。
【0083】
[0088]例が、フローチャート、フロー図、有限状態図、構造図、またはブロック図として描かれた処理として記載され得ることにも留意されたい。フローチャートは、シーケンシャルなプロセスとして動作を記述し得るけれども、動作の多くは並行、または、同時に実行されることができ、処理は繰り返されることができる。さらに、動作の順序は再配置され得る。処理は、その動作が完了されるときに終了される。プロセスは、方法、機能、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。処理が、ソフトウェア機能に対応する場合、その終了は呼び出し機能、または、主要機能に機能が戻ることに対応する。
【0084】
[0089]開示された実施の先の説明は、いずれの当業者でも本発明を成し、または、使用することができるように提供されている。これらの実施に対するさまざまな変更は、当業者に容易に理解され、ここで定義される一般的な原理は、本発明の精神または範囲から逸脱することなく、他の実現に適応されることができる。このように、本発明は、ここに示された実施に限定されることは意図しておらず、ここに開示される原理および新規な特徴と一致する最も広い範囲が付与されるべきである。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
フロントフェーシング画像センサとデジタルディスプレイとを有する電子デバイスを使用して、デジタル画像を取り込むための方法であって、
前記デジタル画像を取り込むためのコマンドを受信することと、
前記コマンドに応答して、前記デジタルディスプレイを、画像化照明条件に調整することと、
前記画像化照明条件の下で前記フロントフェーシング画像センサを使用して前記デジタル画像を取り込むことと
を備える方法。
[C2]
前記デジタルディスプレイは、照明画像を選択することと、表示することとを含む、C1に記載の方法。
[C3]
前記デジタルディスプレイを調整することは、前記照明画像の平均輝度値を所定の輝度値に調整することを含み、前記所定の輝度値は、前記ディスプレイデバイスを調整する前の前記ディスプレイデバイスの先行する平均輝度値とは異なる、C2に記載の方法。
[C4]
前記照明画像は、前記デバイスを調整する前に前記デジタルディスプレイに表示されている先行画像を含む、C3に記載の方法。
[C5]
前記照明画像は、前記フロントフェーシング画像センサによって取り込まれたユーザ画像を含む、C3に記載の方法。
[C6]
前記照明画像は、第1の照明エリアと第2の照明エリアとを含み、前記第1の照明エリア内の前記画素は、R、G、B成分値の第1のセットを有し、前記第2の照明エリア内の前記画素は、R、G、B成分値の第2のセットを有する、C3に記載の方法。
[C7]
前記デジタルディスプレイを調整する前に、前記フロントフェーシング画像センサを使用して、先行する照明条件を決定することをさらに含む、C1に記載の方法。
[C8]
前記先行する照明条件は、前記フロントフェーシング画像センサを使用してテストフレームを取り込むことを含む、C7に記載の方法。
[C9]
前記先行する照明条件を決定することは、前記テストフレームの先行する平均輝度値と前記テストフレームの被写体に対応する蓄積された輝度基準との間の差異を計算することをさらに含む、C8に記載の方法。
[C10]
前記先行する照明条件を決定することは、前記テストフレームの前記被写体が顔を含むか否かを決定することを含む、C9に記載の方法。
[C11]
前記デジタルディスプレイを調整することは、前記差異に基づいて追加の照明を算出することを含む、C9に記載の方法。
[C12]
前記デジタルディスプレイを調整することは、照明画像を選択することと、表示することとを含む、C11に記載の方法。
[C13]
前記デジタルディスプレイを調整することは、前記照明画像の平均輝度値を、画像化輝度値に調整することを含み、前記画像化輝度値は、前記ディスプレイデバイスを調整する前の前記ディスプレイデバイスの先行する平均輝度値とは異なる、C12に記載の方法。
[C14]
前記デジタルディスプレイを調整することは、前記算出された追加の照明に基づいて照明画像を選択することを含む、C13に記載の方法。
[C15]
前記照明画像は、第1の照明エリアと第2の照明エリアとを含み、前記第1の照明エリア内の前記画素は、R、G、B成分値の第1のセットを有し、前記第2の照明エリア内の前記画素は、R、G、B成分値の第2のセットを有する、C12に記載の方法。
[C16]
デジタル画像取込システムであって、
前記デジタル画像を取り込むためのコマンドを受信するように構成されたコマンド入力モジュールと、
前記コマンドに応答して、前記デジタルディスプレイを、画像化照明条件に調整するように構成された照明調整モジュールと、
前記所定の照明条件の下でフロントフェーシング画像センサを使用して前記デジタル画像を取り込むように構成されたフロントフェーシング画像センサモジュールと
を備える、デジタル画像取込システム。
[C17]
前記照明調整モジュールは、照明画像を選択して、表示するように構成された、C16に記載のデジタル画像取込システム。
[C18]
前記照明調整モジュールは、前記照明画像の平均輝度値を所定の輝度値に調整するように構成され、前記所定の輝度値は、前記デジタルディスプレイを調整する前の、前記ディスプレイデバイスの先行する平均輝度値とは異なる、C16に記載のデジタル画像取込システム。
[C19]
前記デジタルディスプレイを調整する前に、前記フロントフェーシング画像センサを使用して、先行する照明条件を決定するように構成された照明感知モジュールをさらに備える、C16に記載のデジタル画像取込システム。
[C20]
前記照明感知モジュールは、前記フロントフェーシング画像センサを使用し、及び、テストフレームの先行する平均輝度値と前記テストフレームの被写体に対応する蓄積された輝度値との間の差異を計算して、前記テストフレームを取り込むように構成された、C19に記載のデジタル画像取込システム。
[C21]
実行された場合、プロセッサに、
前記デジタル画像を取り込むためのコマンドを受信することと、
前記コマンドに応答して、前記デジタルディスプレイを、画像化照明条件に調整することと、
前記画像化照明条件の下で前記フロントフェーシング画像センサを使用して前記デジタル画像を取り込むことと
のステップを実行させる命令を備えるコンピュータ読取可能な媒体。
[C22]
前記デジタルディスプレイを調整することは、照明画像を選択し、表示することを含む、C21に記載のコンピュータ読取可能な媒体。
[C23]
前記デジタルディスプレイを調整することは、前記照明画像の平均輝度値を、所定の輝度値に調整することを含み、前記所定の輝度値は、前記ディスプレイデバイスを調整する前の前記ディスプレイデバイスの先行する平均輝度値とは異なる、C22に記載のコンピュータ読取可能な媒体。
[C24]
電子デバイスにおけるデジタル画像取込システムであって、前記システムは、
前記デジタル画像を取り込むためのコマンドを受信する手段と、
前記コマンドに応答して、前記デジタルディスプレイを画像化照明条件に調整する手段と、
前記画像化照明条件の下で前記フロントフェーシング画像センサを使用して前記デジタル画像を取り込む手段と
を備えるデジタル画像取込システム。
[C25]
前記調整する手段は、照明画像を選択し、表示する手段を含む、C24に記載のデジタル画像取込システム。
[C26]
前記調整する手段は、前記照明画像の平均輝度値を所定の輝度値に調整する手段を含み、前記所定の輝度値は、前記ディスプレイデバイスを調整する前の前記ディスプレイデバイスの先行する平均輝度値とは異なる、C25に記載のデジタル画像取込システム。
[C27]
前記デジタルディスプレイを調整する前に前記フロントフェーシング画像センサを使用して先行する照明条件を調整する手段をさらに含む、C24に記載のデジタル画像取込システム。