特許7504170ホワイトバランスを遂行する映像獲得装置、及びそれを含む電子装置、ならびに映像獲得装置の制御方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-13
(45)【発行日】2024-06-21
(54)【発明の名称】ホワイトバランスを遂行する映像獲得装置、及びそれを含む電子装置、ならびに映像獲得装置の制御方法
(51)【国際特許分類】
H04N 23/88 20230101AFI20240614BHJP
H04N 25/10 20230101ALI20240614BHJP
【ＦＩ】
H04N23/88
H04N25/10
【請求項の数】
23
(21)【出願番号】P 2022138966
(22)【出願日】2022-09-01
(65)【公開番号】P2023048996
(43)【公開日】2023-04-07
【審査請求日】2022-10-21
(31)【優先権主張番号】10-2021-0128352
(32)【優先日】2021-09-28
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】110000671
【氏名又は名称】ＩＢＣ一番町弁理士法人
(72)【発明者】
【氏名】キム ウ－シク
(72)【発明者】
【氏名】リュ インファ
【審査官】鈴木 明
(56)【参考文献】
【文献】特開２００５－３０３４００（ＪＰ，Ａ）
【文献】特開２００１－３１１６６６（ＪＰ，Ａ）
【文献】特開２０１４－１１６７１０（ＪＰ，Ａ）
【文献】国際公開第２０１３／０９９６４４（ＷＯ，Ａ１）
【文献】特開２００９－２９６１０２（ＪＰ，Ａ）
【文献】特開２００８－２７５５８２（ＪＰ，Ａ）
【文献】特開２００９－２６０４１１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／００－２３／９５９
Ｈ０４Ｎ ２５／００－２５／７９
(57)【特許請求の範囲】
【請求項1】
所定の映像を獲得するイメージセンサと、周辺の環境によって基底を獲得し、前記獲得された基底を利用し、照明情報を推定し、前記推定された照明情報を反映させ、前記映像に係わる色変換を行うプロセッサと、を含む、映像獲得装置。
【請求項2】
周辺の環境情報をセンシングする少なくとも１つのセンサをさらに含み、前記プロセッサは、
前記少なくとも１つのセンサから獲得された環境情報を基に、事前に保存された複数の基底集合から前記基底を選択する、請求項１に記載の映像獲得装置。
【請求項3】
前記プロセッサは、前記イメージセンサから映像を獲得する前、周期的または非周期的に、前記少なくとも１つのセンサを介し、前記環境情報を獲得する、請求項２に記載の映像獲得装置。
【請求項4】
前記少なくとも１つのセンサは、ＧＰＳセンサ、ＩＭＵセンサ、バロメータ、磁力計、照度センサ、近接センサ、距離センサまたは３Ｄスキャナを含む、請求項２に記載の映像獲得装置。
【請求項5】
前記イメージセンサは、多重波長帯域の映像をセンシングするマルチスペクトルイメージセンサである、請求項１に記載の映像獲得装置。
【請求項6】
前記プロセッサは、前記イメージセンサから獲得された映像を分析し、前記分析された映像から、前記環境情報を抽出し、前記抽出された環境情報を基に、前記複数の基底集合から前記基底を選択する、請求項２に記載の映像獲得装置。
【請求項7】
波長による照明及び反射率を定義した複数の基底集合を保存する保存部をさらに含み、前記プロセッサは、
前記保存された複数の基底集合のうち、前記獲得された環境情報にマッチングされる基底集合を選択する、請求項２に記載の映像獲得装置。
【請求項8】
前記プロセッサは、前記獲得された映像について前記選択された基底集合を利用し、スペクトル分解を行うことにより、前記照明情報を推定する、請求項７に記載の映像獲得装置。
【請求項9】
前記イメージセンサは、第１波長帯域の第１映像を獲得する第１イメージセンサと、
第２波長帯域の第２映像を獲得する第２イメージセンサと、を含む、請求項１に記載の映像獲得装置。
【請求項10】
前記第１イメージセンサは、複数の第１センシング要素がアレイされた第１センサ層と
前記第１センサ層上に配され、交互に配列された赤色フィルタ、緑色フィルタ、青色フィルタを含むカラーフィルタを具備する第１画素アレイと、を含み、
前記第２イメージセンサは、
複数の第２センシング要素がアレイされた第２センサ層と
前記第２センサ層上に配され、透過波長帯域が他の複数のユニットフィルタによってなるフィルタグループが反復配列された分光フィルタを具備する第２画素アレイと、を含む、請求項９に記載の映像獲得装置。
【請求項11】
前記複数のユニットフィルタそれぞれの透過波長帯域は、可視光線を含み、該可視光線より広い範囲の波長帯域に含まれ、
前記フィルタグループは、４×４アレイ形態に配列される１６個のユニットフィルタを含む、請求項１０に記載の映像獲得装置。
【請求項12】
前記第１画素アレイと前記第２画素アレイは、同じ回路基板上に水平に離隔されるように配される、請求項１０に記載の映像獲得装置。
【請求項13】
前記第１センサ層からの信号を処理する第１回路要素と、前記第２センサ層からの信号を処理する第２回路要素とが、前記回路基板に具備される、請求項１２に記載の映像獲得装置。
【請求項14】
前記第１回路要素、前記第２回路要素の動作を同期させるタイミングコントローラをさらに含む、請求項１３に記載の映像獲得装置。
【請求項15】
前記第１映像に係わるデータを保存する第１メモリと、前記第２映像に係わるデータを保存する第２メモリと、をさらに含む、請求項１２に記載の映像獲得装置。
【請求項16】
前記第１メモリ及び前記第２メモリが、前記回路基板内に具備される、請求項１５に記載の映像獲得装置。
【請求項17】
被写体の光学像を前記第１イメージセンサに形成するものであり、１以上のレンズを含む第１イメージング光学系と、前記被写体の光学像を前記第２イメージセンサに形成するものであり、１以上のレンズを含む第２イメージング光学系と、をさらに含む、請求項９に記載の映像獲得装置。
【請求項18】
前記第１イメージング光学系と前記第２イメージング光学系は、同じ焦点距離と、同じ画角とを有するように設定される、請求項１７に記載の映像獲得装置。
【請求項19】
請求項１ないし１８のうちいずれか１項に記載の映像獲得装置を含む、電子装置。
【請求項20】
映像獲得装置の制御方法であって、所定の映像を獲得する段階と、
周辺の環境によって基底を獲得する段階と、
前記獲得された基底を利用し、照明情報を推定する段階と、
前記推定された照明情報を反映させ、前記映像に係わる色変換を行う段階と、を含む、映像獲得装置の制御方法。
【請求項21】
前記基底は、前記照明情報を推定するのに使用されるデータセットである、請求項１に記載の映像獲得装置。
【請求項22】
前記周辺の環境は、前記映像獲得装置が提供された環境である、請求項２１に記載の映像獲得装置。
【請求項23】
映像獲得装置であって、映像を獲得するイメージセンサと、
前記映像獲得装置の周辺環境の環境情報を獲得するセンサと、
プロセッサと、を含み、
前記プロセッサは、
前記獲得された環境情報を基に、多数の事前に保存された基底セットから基底を選択し、
前記獲得された基底を基に、照明スペクトル情報を推定し、
前記推定された照明スペクトル情報を基に、前記映像に係わる色変換を行う、映像獲得装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ホワイトバランスを遂行する映像獲得装置、及びそれを含む電子装置、ならびに映像獲得装置の制御方法に関する。
【背景技術】
【0002】
映像センサは、被写体から入射される光を受光し、受光した光を光電変換し、電気的信号を生成する装置である。
【0003】
該映像センサは、カラー表現のために、通常、赤色光、緑色光、青色光を選択的に透過させるフィルタ要素のアレイによってなるカラーフィルタを使用し、各フィルタ要素を透過した光の量をセンシングした後、映像処理を介し、被写体に係わるカラー映像を形成する。
【0004】
該映像センサを介してセンシングされた値は、照明によって影響を受けるために、カメラに撮影された映像のカラーも、照明によって影響を受けることになる。そのような影響をなくし、できる限り物体固有の色を撮影するようにする技術をホワイトバランスと言う。
【0005】
従来のホワイトバランス技術は、ＲＧＢ映像を撮影した後、その映像内の情報を分析することで、ホワイトバランスを遂行する。そのような方法は、映像のＲ，Ｇ，Ｂチャンネル別に平均値が同一であると仮定する灰色仮説（gray world assumption）を必要とし、またはその他の制約事項を必要とするために、そのような制約事項を満たさない状況においては、正しく作用しないのである。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、ホワイトバランスを遂行する映像獲得装置、及びそれを含む電子装置、ならびに映像獲得装置の制御方法を提供する。
【課題を解決するための手段】
【0007】
一実施形態による映像獲得装置は、所定の映像を獲得するイメージセンサと、周辺の環境により、基底（basis）を獲得し、前記獲得された基底を利用して照明情報を推定し、前記推定された照明情報を反映させ、前記映像に係わる色変換を行うプロセッサと、を含む。
【0008】
他の実施形態による映像獲得装置の制御方法は、所定の映像を獲得する段階と、周辺の環境によって基底を獲得する段階と、前記獲得された基底を利用して照明情報を推定する段階と、前記推定された照明情報を反映させ、前記映像に係わる色変換を行う段階と、を含む。
【0009】
さらに他の実施形態による、前記映像獲得装置を含む電子装置が提供される。
【発明の効果】
【0010】
多様な状況においても、正確に照明を推定し、正確なホワイトバランスを遂行し、色恒常性を維持することができ、かつ多様な電子装置に採用できる。
【図面の簡単な説明】
【0011】
【図1】一実施形態による映像獲得装置の概略的な構造を示すブロック図である。
【図3】他の実施形態による映像獲得装置の詳細ブロック図である。
【図4A】基底（basis）集合について説明するための例示図である。
【図4B】基底（basis）集合について説明するための例示図である。
【図7】一実施形態による映像獲得装置に具備される第１イメージセンサによる波長スペクトルを図示した図である。
【図8A】一実施形態による映像獲得装置に具備される第１イメージセンサの例示的な画素配列を図示した図である。
【図8B】一実施形態による映像獲得装置に具備される第１イメージセンサの例示的な画素配列を図示した図である。
【図8C】一実施形態による映像獲得装置に具備される第１イメージセンサの例示的な画素配列を図示した図である。
【図9】一実施形態による映像獲得装置に具備される第２イメージセンサによる波長スペクトルを図示した図である。
【図10A】一実施形態による映像獲得装置に具備される第２イメージセンサの例示的な画素配列を図示した図である。
【図10B】一実施形態による映像獲得装置に具備される第２イメージセンサの例示的な画素配列を図示した図である。
【図10C】一実施形態による映像獲得装置に具備される第２イメージセンサの例示的な画素配列を図示した図である。
【図11】他の実施形態による、映像獲得装置の制御方法について概略的に説明するフローチャートである。
【図12】一実施形態による電子装置の概略的な構造を示すブロック図である。
【図14】一実施形態による映像獲得装置が適用された電子装置の多様な例を示す図である。
【図15】一実施形態による映像獲得装置が適用された電子装置の多様な例を示す図である。
【図16】一実施形態による映像獲得装置が適用された電子装置の多様な例を示す図である。
【図17】一実施形態による映像獲得装置が適用された電子装置の多様な例を示す図である。
【図18】一実施形態による映像獲得装置が適用された電子装置の多様な例を示す図である。
【図19】一実施形態による映像獲得装置が適用された電子装置の多様な例を示す図である。
【図20】一実施形態による映像獲得装置が適用された電子装置の多様な例を示す図である。
【図21】一実施形態による映像獲得装置が適用された電子装置の多様な例を示す図である。
【図22】一実施形態による映像獲得装置が適用された電子装置の多様な例を示す図である。
【図23】一実施形態による映像獲得装置が適用された電子装置の多様な例を示す図である。
【発明を実施するための形態】
【0012】
以下、添付図面を参照し、本実施例について詳細に説明する。説明される実施例は、単に例示的なものに過ぎず、そのような実施形態から、多様な変形が可能である。以下の図面において、同一参照符号は、同一構成要素を称し、図面上において、各構成要素の大きさは、説明の明瞭さと便宜さとのために、誇張されてもいる。
【0013】
以下において、「上部」や「上」と記載されたところは、接触して真上にあるものだけではなく、非接触で上にあるものも含むものでもある。
【0014】
第１、第２のような用語は、多様な構成要素についての説明に使用されうるが、１つの構成要素を他の構成要素から区別する目的のみに使用される。そのような用語は、構成要素の物質または構造がことなるということを限定するものではない。
【0015】
単数の表現は、文脈上、明白に異なって意味しない限り、複数の表現を含む。また、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含むものでもあるということを意味する。
【0016】
また、明細書に記載された「… 部」、「モジュール」のような用語は、少なくとも１つの機能や動作を処理する単位を意味し、それらは、ハードウェアまたはソフトウェアによって具現されるか、あるいはハードウェアとソフトウェとアの結合によっても具現される。
【0017】
「前記」の用語、及びそれと類似した指示用語の使用は、単数及び複数のいずれにも該当しうる。
【0018】
方法を構成する段階は、説明された順に遂行されなければならないという明白な言及がなければ、適切な順序によっても遂行される。また、全ての例示的な用語（例：など）の使用は、単に技術的思想について詳細に説明するためのものであり、請求項によって限定されない以上、そのような用語により、権利範囲が限定されるものではない。
【0019】
一般的に、カメラでセンシングされる値は、下記数式１のように、照明、物体の色相、そしてカメラ反応の積としても示される。
【0020】
【数1】
【0021】
一般的なホワイトバランスまたはオートホワイトバランス（ＡＷＢ）は、大きく見て、２つの方法を利用することができる。一つは、照明スペクトルを直接推定することであり、他の一つは、照明と関連があるパラメータを推定することである。前者の場合、Maloneyらが考案した方法を例として挙げることができる。後者の場合、色が等しく分布された場面において、全ての場面の色相の平均は、無彩色という仮定を利用したグレイワールドアルゴリズムを例として挙げることができる。次に、推定された照明情報を利用し、イメージが属した場面全体が、規範的照明下に置かれたように見えるように、各ピクセルの強度（intensity）に乗じるｋｘｎ行列Ｔを計算する。ここで、ｋは、チャネル数であり、ｎは、ピクセル数である。Ｔを、イメージの全てのピクセルに乗じることにより、各ピクセルが、ｋ－tupleによってなるホワイトバランスが適用された補正されたイメージを得ることができる。
【0022】
該ホワイトバランスを遂行するグレイワールド、Ｍａｘ－ＲＧＢのような従来方法は、場面に、全ての波長帯域の色が全て等しく分布しない場合、補正結果が、規範的照明下内になく、色を帯びる照明下にあるような結果物を出しうる。一実施形態において、そのような従来方法の短所をマルチスペクトル光センサ(multispectral sensor)が有する高い色相分解能を利用し、照明のスペクトル自体を推定することにより、解決することができる。
【0023】
一実施形態において、実際と近く、照明スペクトルを比較的小さい波長単位ドメイン、例えば、５ｎｍ以下において推定し、推定した値から、色相補正のためのベクトルを推定する。照明スペクトルを推定する代表的なアルゴリズムは、Maloneyの１９８６年論文に開示されている。
【0024】
照明スペクトルを推定して使用するホワイトバランスにも、次のような問題点がある。照明スペクトルを推定するとき、知られた照明のスペクトルから、主成分分析（ＰＣＡ：Principle Component Analysis）を行い、求められた基底（basis）を使用する。そのような基底の線形組み合わせが、照明の実際スペクトルを構成するという仮定を基にしている。例えば、日中の太陽光スペクトルに最も近い輻射スペクトルを有する黒体の温度である６５００Ｋに近似するＤ６５照明が含まれるＤ系照明（Ｄ illuminant series）の場合、図４Ａに図示されているような３つの基底２０１ないし２０３の線形組み合わせにより、雲や霧がかかったりするというような多様な影響によって生じうる太陽光スペクトルの変形に近似するというということが公知である。
【0025】
また、太陽光以外の人工照明などの場合、発光のために塗っておいた蛍光物質の特性により、スペクトルに高いピークを含む場合がある。そのようなＦ系照明のような人工照明を含んで基底を算出すれば、当該ピークの影響により、太陽光のような、緩慢であり、比較的平坦な照明スペクトルを推定する場合、図４Ｂに図示されているように、基底の組み合わせ２０４ないし２０６において、存在してはならないピーク値を含む場合がある。
【0026】
本実施形態においては、そのような現象を防止するために、周辺状況により、適切な基底集合を選定し、選定された基底集合においてのみ、照明スペクトルを推定することにより、正確に照明スペクトルを推定することができる。
【0027】
図１を参照すれば、映像獲得装置は、イメージセンサ１０、センサ２０、プロセッサ５００及び保存部６００を含む。一実施形態による映像獲得装置は、周辺環境によって基底を獲得し、該基底を利用して照明情報を推定し、推定された照明情報を反映させ、映像に係わる色変換（color conversion）を行う。一実施形態による映像獲得装置は、従来のグレイワールドアルゴリズムを利用せず、照明スペクトルを直接推定する方法を利用し、ホワイトバランスを遂行する。また、周辺状況により、適切な基底集合を選定し、選定された基底集合においてのみ、照明スペクトルを推定することにより、正確に照明推定(illumination estimation)を行うことができる。
【0028】
イメージセンサ１０は、所定の映像を獲得する。イメージセンサ１０は、多重波長帯域の映像をセンシングするマルチスペクトル（multispectral）センサでもある。イメージセンサ１０は、複数個であってもよく、１つのＲＧＢセンサであってもよく、他の１つのマルチスペクトルイメージ（ＭＳＩ）センサであってもよい。複数個のイメージセンサの構成に関しては、図３などを参照して後述する。
【0029】
センサ２０は、映像獲得装置の周辺の環境情報をセンシングする。ここで、センサ２０は、複数個であってもよく、ＧＰＳ、ＩＭＵ、バロメータ（barometer）、磁力計（magnetometer）のような位置及び姿勢に関連するセンサを含むものであってもよい。また、センサ２０は、照度センサ、近接センサ、距離センサ、３Ｄスキャナなどであってもよい。
【0030】
センサ２０は、イメージセンサ１０を介して映像を獲得する前、周辺環境情報をセンシングすることができる。例えば、映像を撮影していないとき、センサ２０によるセンシングは周期的または非周期的に遂行され、環境情報または変数、その変化を追跡することもできる。
【0031】
プロセッサ５００は、イメージセンサ１０及びセンサ２０の映像獲得動作、センシング動作を制御する。プロセッサ５００は、センサ２０から、周辺の環境情報を獲得する。プロセッサ５００は、複数の基底集合のうち、獲得された環境情報を基に、適切な基底集合を選択する。プロセッサ５００は、選択した基底集合を利用して照明情報を推定し、推定された照明情報を反映させ、イメージセンサ１０から獲得された映像に係わる色変換を行う。
【0032】
また、プロセッサ５００は、イメージセンサ１０から獲得された映像に係わる映像処理を行うことができる。例えば、プロセッサ５００は、bad pixel correction、fixed pattern noise correction、crosstalk reduction、remosaicing、demosaicing、false color reduction、denoising、chromatic aberration correctionなどを遂行することができる。ここで、プロセッサ５００が映像処理を行うと説明されるが、それに限定されるものではなく、別途のＩＳＰ（ＩＳＰ：image signal processor）を介して映像処理を行うことができるということは、言うまでもない。
【0033】
保存部６００は、照明及び反射率を示すのに適する特定基底を保存している。該照明と該反射率を示す基底は、それぞれに特化された互いに異なる基底でもある。または、一般的な信号を示すための共通する基底を共に使用することができる。保存部６００に保存された基底は、スペクトルに係わる基底関数値をサンプリングして保存されうる。または、算術演算を介し、基底関数を生成することができる。例えば、フーリエ変換（Fourier Transform）、ＤＣＴ（Discrete Cosine Transform）、ウェーブレット変換（Wavelet Transform）などに使用される基底関数を決定して使用することができる。
【0034】
環境に係わる基底集合の対応関係は、事前に指定されうる。例えば、室内環境及び室外環境、近接撮影及び遠距離撮影、複雑な場面、及び単色を主とする場面のようなさまざまな環境について区分し、それぞれ最適の基底集合を定義して保存した後、それぞれの環境に該当する基底集合を読み取って使用することもできる。
【0035】
一実施形態において、該基底集合は、機械学習を介して指定することもできる。例えば、該機械学習方法は、ＳＮＮ（shallow neural network）を利用することができる。入力を推定された環境ラベルとして、出力を、主成分分析を利用して算出した各基底集合に係わるラベルとして置くニューラルネットワーク（神経網）を設定し、事前に求めておいた（環境ラベル、基底ラベルリスト）の順序対集合として学習させることができる。このとき、出力は、（０，１，１，０，…，０）のようなタプル（tuple）を使用し、特定番目の基底が使用されるかということを、０、１で区別して表現することにより、一対多の対応関係に係わる考慮をネットワークに含むものでもある。そのようなニューラルネットワーク（神経網）に、映像獲得装置の撮影時点環境ラベルを入力にし、１回フォワーディングを行えば、当該文脈の照明推定に必要な基底の集合を推定することができる。
【0036】
一実施形態において、環境に係わる基底集合を決定するとき、該照明と該反射率との基底集合をそれぞれ決定することができる。または、環境につき、照明に係わる基底集合を決定し、反射率に係わる基底集合は、事前に定義された固定された値を使用することもできる。
【0037】
プロセッサ５００は、獲得された映像につき、環境情報を考慮して選択された基底または基底集合を使用し、スペクトル分解（spectral decomposition）を介して照明スペクトルを推定する。推定された照明スペクトルから、ホワイトバランスに必要な変換を作り、該変換を使用し、撮影された映像の各画素値を変換する。このとき、該変換は、照明スペクトルから、照明を示すＲＧＢベクトルを生成した後、各画素のＲ，Ｇ，Ｂ値を該値で除し、ホワイトバランスを遂行することもできる。または、照明スペクトルから、ＲＧＢ変換のためのマトリックスを生成し、線形変換を介し、ホワイトバランスを遂行することもできる。または、照明スペクトルを使用し、ＲＧＢ値を変換するニューラルネットワークのような非線形変換方法を使用することもできる。
【0038】
【0039】
図２を参照すれば、プロセッサ５００は、映像処理部５１０、環境決定部５２０、基底生成部５３０、照明推定部５４０及び色相変換部５５０を含む。
【0040】
映像処理部５１０は、イメージセンサ１０から獲得された映像に係わる映像処理を行う。例えば、該映像処理は、bad pixel correction、fixed pattern noise reduction、demosaicing、denoisingなどを含むものでもある。
【0041】
環境決定部５２０は、最適の基底集合を決定するために使用する環境パラメータを決定する。そのために、映像獲得装置のイメージセンサ１０またはセンサ２０を含む多様なセンサは、撮影前、周辺環境データを取得する。ここで、該多様なセンサは、ＲＧＢイメージセンサ、マルチスペクトルイメージ（ＭＳＩ：multispectral image）センサを含むものでもある。該多様なセンサは、ＧＰＳ、ＩＭＵ、バロメータ、磁力計などの位置及び姿勢に関連するセンサを含んでもよい。また、照度センサ、近接センサ、距離センサ、３Ｄスキャナのようなセンサを含んでもよい。また。該センサは、映像を撮影していないとき、事前に、周期的あるいは非周期的に遂行され、環境変数及びその変化を追跡することもできる。
【0042】
環境決定部５２０は、イメージセンサ１０またはセンサ２０から提供された環境情報から、現在映像獲得装置がいかなる環境下にあるかということが含まれている環境情報を把握する。把握された環境情報は、事前に定義された環境パラメータ値によっても示される。該環境情報または該環境パラメータは、撮影場所が室内であるか、あるいは室外であるかということを区分して示すことができる。または、該環境情報または該環境パラメータは、室内照明環境において、特定帯域のＬＥＤ照明を使用するか否かということを分別して示すことができる。また、該環境情報または該環境パラメータは、照度情報を含むものでもある。また、被写体との距離情報を含むものでもある。また、該環境情報または該環境パラメータは、画角内の被写体構成に係わる情報を含むものでもある。また、該環境情報または該環境パラメータは、ユーザの位置及び姿勢の情報を含むものでもある。
【0043】
他の実施形態において、環境決定部５２０は、撮影された映像を分析し、環境パラメータを算出することができる。撮影された映像は、ＲＧＢイメージセンサまたはマルチスペクトルイメージ（ＭＳＩ）センサで撮影した映像でもあり、または２つの映像をいずれも使用することもできる。
【0044】
基底生成部５３０は、環境決定部５２０から提供された環境情報または環境パラメータから、適切な基底を生成する。基底生成部５３０は、事前に、照明及び反射率を示すのに適する特定基底をそれぞれ生成した後、保存部６００に保存しておくことができる。次に、保存部６００から、事前に定義された値が読み取られて使用されることができる。このとき、該照明と該反射率とを示す基底は、それぞれに特化された互いに異なる基底でもある。または、一般的な信号を示すための共通する基底を共に使用することができる。保存された基底は、スペクトルに係わる基底関数値をサンプリングして保存されうる。または、算術演算を介し、基底関数が生成されることができる。
【0045】
環境に係わる基底集合の対応関係は、事前に指定されうる。例えば、室内環境及び室外環境、近接撮影及び遠距離撮影、複雑な場面と、単色を主とする場面のようなさまざまな環境について区分し、それぞれ最適の基底集合を定義して保存した後、それぞれの環境に該当する基底集合を読み取って使用することができる。また、機械学習を介しても指定される。使用可能な機械学習方法の一例として、shallow networkを有することができる。入力は、決定された環境ラベルとして設定され、出力は、主成分分析を利用して算出された各基底集合に係わるラベルとして設定され、事前に求めておいた環境ラベル、基底ラベルリストの順序対集合でもって学習させることができる。このとき、該出力は、（０，１，１，０、…，０）のようなタプルを使用し、特定番目の基底が使用されるということを、０、１で区別して表現することにより、一対多の対応関係に係わる考慮をネットワークに含むものでもある。そのようなニューラルネットワーク（神経網）に、映像獲得装置の撮影時点環境ラベルを入力し、１回フォワーディングを行えば、当該状況（context）の照明推定に必要な基底の集合を推定することができる。
【0046】
環境に係わる基底集合を決定するとき、照明と反射率との基底集合をそれぞれ決定することができる。または、該環境につき、照明に係わる基底集合を決定し、該反射率に係わる基底集合は、事前に定義された固定された値を使用することができる。
照明推定部５４０は、イメージセンサ１０を介して入力された映像につき、基底生成部５３０で生成された基底を利用し、スペクトル分解を介して照明スペクトルを推定する。
照明推定部５４０は、イメージセンサ１０を介して入力された映像につき、基底生成部５３０で生成された基底を利用し、スペクトル分解を介して照明スペクトルを推定する。
【0047】
映像から、複数のチャネルによってなるスペクトル情報を使用し、照明推定を行う。そのために、照明と客体との表面反射は、スペクトル分解を介し、照明Ｅは、下記数式２で表され、物体の色相Ｓは、下記数式３で表されうる。
【0048】
【数2】
【0049】
【数3】
【0050】
それら二つの積が色相を示し、第２イメージセンサ２００（図３）を介してセンシングされた値は、下記数式４のようにも表される。
【0051】
【数4】
【0052】
ここで、ｍとｎは、それぞれ照明と物体色相とのスペクトルをスペクトル分解したときに使用された基底または基底ベクトル（basis vector）の数であり、ｘは、空間位置（spatial position）を示し、ｋは、センサの各チャネルインデックス（index）を示す。そのような線形方程式を、非線形最適化（non-linear optimization）技法などを使用して解を求め、照明のスペクトルを推定することができる。一実施形態において、基底生成部５３０で生成された基底、または基底の集合を、前記数式４のｍとｎとして使用することにより、環境変化を反映させ、正確に照明スペクトルを推定することができる。
【0053】
また、選択的に、照明推定部５４０は、ニューラルネットワークを使用し、照明推定を行うことができる。事前に定められた照明値に係わる獲得された映像を学習させ、ニューラルネットワークを構築し、照明推定を行う。学習された後には、ニューラルネットワークの入力として、獲得された映像を得て、出力として、照明値を得る。
【0054】
色相変換部５５０は、照明推定部５４０で推定された照明スペクトルから、ホワイトバランスに必要な変換を生成し、該変換を使用し、撮影された映像の各画素値を変換する。このとき、該変換は、照明スペクトルから、照明を示すＲＧＢベクトルを生成した後、各画素のＲ，Ｇ，Ｂ値を該値で除し、ホワイトバランスを遂行することができる。または、照明スペクトルから、ＲＧＢ変換のためのマトリックスを生成し、線形変換を介し、ホワイトバランスを遂行することができる。または、照明スペクトルを使用し、ＲＧＢ値を変換するニューラルネットワークのような非線形変換方法を使用することができる。
【0055】
図３は、一実施形態による映像獲得装置の概略的な構造を示すブロック図である。図３の実施形態は、図１及び図２に図示されたイメージセンサ１０を、２つのイメージセンサ１００及び２００でもって具現し、第１イメージセンサ１００は、ＲＧＢイメージセンサであり、第２イメージセンサ２００は、マルチスペクトルイメージ（ＭＳＩ）センサである場合である。一実施形態においては、照明スペクトルを推定するのに、マルチスペクトル光イメージセンサから獲得された映像データを利用し、図２と同一の構成については、説明を省略する。
【0056】
図３を参照すれば、映像獲得装置は、第１イメージセンサ１００、第２イメージセンサ２００及びプロセッサ５００を含む。一実施形態による映像獲得装置は、複数のイメージセンサを利用して撮影される映像ついて、ホワイトバランスを正確に遂行する。第１イメージセンサ１００は、第１波長帯域の第１映像を獲得する。第２波長帯域は、第１波長帯域を含み、それよりさらに広くされうる。第２イメージセンサ２００は、第２波長帯域の第２映像を獲得する。ここで、第１イメージセンサ１００は、ＲＧＢイメージセンサであり、第２イメージセンサ２００は、マルチスペクトルイメージ（ＭＳＩ）センサでもある。該ＲＧＢイメージセンサは、Ｒチャネル、Ｇチャネル及びＢチャネルを有する。該マルチスペクトルイメージ（ＭＳＩ）センサは、ＲＧＢセンサよりさらに多数のチャネルを有することにより、さらに多くの波長帯域の光をセンシングする。
【0057】
プロセッサ５００は、第１イメージセンサ１００及び第２イメージセンサ２００からそれぞれ出力された第１映像と第２映像とを整合（match）し、第２映像から推定された照明値を利用して整合された映像について色変換を行う。
【0058】
また、プロセッサ５００は、第１映像を少なくとも１つの領域に分割し、第１映像の分割されたそれぞれの領域に対応する第２映像の領域別に、それぞれの照明値を推定し、第２映像の領域別に推定されたそれぞれの照明値を利用し、第１映像の分割されたそれぞれの領域について色変換を行うこともできる。
【0059】
また、プロセッサ５００は、第２映像の領域別に推定されたそれぞれの照明値のうち、隣接した領域の照明値の差が、第１臨界値以上である場合、該差が、第１臨界値より小さいように、隣接した領域の照明値のうち、いずれか１つの照明値を調整することができる。その場合、プロセッサ５００は、色変換を行ってから、隣接した領域の境界部分につき、後処理（post-processing）を行うこともできる。
【0060】
さらに図３を参照すれば、該映像獲得装置は、第１波長帯域基盤の第１映像ＩＭ１を獲得する第１イメージセンサ１００、第２波長帯域基盤の第２映像ＩＭ２を獲得する第２イメージセンサ２００、及び第１映像ＩＭ１と第２映像ＩＭ２とを信号処理し、第３映像ＩＭ３を生成するプロセッサ５００を含む。ここで、第３映像ＩＭ３は、第１イメージセンサ１００から獲得された第１映像、または第１イメージセンサ１００から獲得された第１映像と、第２イメージセンサ２００から獲得された第２映像とを整合した映像につき、ホワイトバランスが遂行された映像である。
【0061】
第１イメージセンサ１００は、一般的なＲＧＢカメラに採用されるセンサであり、ベイヤーカラーフィルタアレイを使用するＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサであってもよい。第１イメージセンサ１００が獲得する第１映像ＩＭ１は、赤色，緑色，青色基盤のＲＧＢ映像であってもよい。
【0062】
第２イメージセンサ２００は、第１イメージセンサ１００よりさらに多種類の波長の光をセンシングするセンサである。第２イメージセンサ２００は、例えば、１６個のチャネルを使用することができ、または３１個のチャネル、またはそれ以外の個数のチャネルを使用することができる。各チャネルの帯域幅は、Ｒ，Ｇ，Ｂ帯域よりさらに狭く設定され、全てのチャネルの帯域幅を合わせた全体帯域幅は、ＲＧＢ帯域幅、すなわち、可視光線帯域幅を含み、それよりも広くされうる。例えば、約３５０ｎｍないし１，０００ｎｍの帯域幅を有することができる。第２イメージセンサ２００が獲得する第２映像ＩＭ２は、マルチスペクトル映像または超分光（hyperspectral）映像でもあり、ＲＧＢ波長帯域より広い波長帯域、例えば、可視光線帯域を含み、それより広い波長帯域である紫外線ないし赤外線の波長帯域を１６個以上のチャネルに分割した波長基盤の映像であってもよい。第２映像ＩＭ２は、第２イメージセンサ２００の可用な全数チャネルを活用して取得された映像であってもよく、または、特定チャネルを選別して取得された映像であってもよい。第２映像ＩＭ２の空間解像度は、第１映像ＩＭ１の空間解像度よりも低いが、それに限定されない。
【0063】
一実施形態において、第１イメージセンサ１００は、ＲＧＢセンサであり、第２イメージセンサ２００は、マルチスペクトルイメージ（ＭＳＩ）センサであってもよい。このとき、該ＲＧＢセンサは、ＣＭＯＳイメージセンサであってもよい。該ＲＧＢセンサは、ベイヤーカラーフィルタアレイを使用し、Ｒ、Ｇ、Ｂを示すスペクトルをそれぞれセンシングした三種類チャネルの映像を生成することができる。また、他種類のカラーフィルタアレイを使用することができるということは、言うまでもない。該マルチスペクトルイメージ（ＭＳＩ）センサは、ＲＧＢセンサとは異なる波長の光をセンシングして示す。該マルチスペクトルイメージ（ＭＳＩ）センサは、チャネル数をさらに多く有することにより、さらに多種類の波長の光をセンシングすることを特徴とする。特定の例において、チャネル数は１６個のチャネルを使用することができる。他の例として、３１個のチャネルを使用することができる。各チャネルは、所望する帯域の光をセンシングするように光が透過する帯域及び透過量、そして帯域幅を調整することができる。全てのチャネルの帯域幅を合わせて構成される全体帯域幅は、既存のＲＧＢセンサの帯域幅を含み、それよりさらに広くされ得る。該ＲＧＢセンサと該マルチスペクトルイメージ（ＭＳＩ）センサのセンシングスペクトルまたは波長帯域は、図７ないし図１０を参照して後述する。
【0064】
第１イメージセンサ１００と第２イメージセンサ２００は、それぞれ別個のチップによって構成され、または単一チップによって構成されうる。
【0065】
一実施形態において、異種センサ間において、互いに異なる解像度及び出力速度、そして映像整合に必要な領域の大きさにより、タイミング制御（timing control）を行うことができる。例えば、ＲＧＢセンサを基準に動作するとき、１つのＲＧＢ映像列を読み取るとき、その領域に該当するマルチスペクトルイメージ（ＭＳＩ）センサの映像列は、すでにバッファに保存されてもおり、新たに読み取らなければなければならないものでもある。そのようなタイミングを計算してセンシングされた信号をリードアウト（readout）することができる。または、２つのセンサの動作は、同じ同期化（synchronization）信号を使用して同期されてもよい。そして、２つのセンサが、同じ位置の被写体に焦点が合わせられるように、焦点制御を行うことができる。
【0066】
一実施形態において、マルチスペクトルイメージ（ＭＳＩ）センサで映像を取得するとき、全数のチャネル、例えば、１６個チャネルについて映像を取得するか、あるいは特定チャネルだけ選別して取得することができる。センサ画素の区間化（binning）を行うか、あるいは映像取得後、特定チャネルを選択したり合成したりすることを介し、一部所望チャネルだけ使用することもできる。
【0067】
第１メモリ３００は、第１イメージセンサ１００からリードアウトされた第１映像ＩＭ１を保存する。第２メモリ３１０は、第２イメージセンサ２００からリードアウトされた第２映像ＩＭ２を保存する。
【0068】
各センサにおいて映像は、ライン単位で読み取られて順次に保存される。第１メモリ３００及び第２メモリ３１０は、映像を各ライン単位で保存するラインメモリであってもよく、映像全体を保存するフレームバッファであってもよい。
【0069】
一実施形態において、映像を出力するとき、ＲＧＢ映像だけ出力し、ＲＧＢ映像は、フレームバッファに保存し、マルチスペクトルイメージ（ＭＳＩ）映像は、ラインバッファに保存し、ライン単位でプロセッシングした後、該フレームバッファにあるＲＧＢ映像をアップデートすることもできる。メモリ３００及び３１０は、ＳＲＡＭ（static random access memory）またはＤＲＡＭ（dynamic random access memory）を使用することができるが、メモリの種類は限定されない。
【0070】
それぞれのメモリ３００及び３１０は、センサ外部に位置することができ、または、センサ内部に集積されてもよい。センサ内部に集積する場合、該メモリは、センサ回路と共に集積することができるが、このとき、画素部と、それ以外の部分である回路部と、メモリとを、それぞれのスタックでもって構成し、２スタックに集積し、１つのチップに構成することができる。または、画素部、回路部、メモリの３層を有する３スタックでもって具現することもできる。
【0071】
一実施形態において、第１イメージセンサと第２イメージセンサとから獲得された第１映像及び第２映像を、それぞれ異なるメモリに保存すると説明されているが、それに限定されるものではなく、１つのメモリに保存することができるということは、言うまでもない。
【0072】
一実施形態において、プロセッサ５００は、ホワイトバランスを正確に遂行するために、マルチスペクトルイメージ（ＭＳＩ）センサを使用し、照明と物体色とを分離し、物体の正確な色相を求めた後、照明値を利用し、ＲＧＢセンサから獲得された映像、または整合された映像について色変換を行い、ホワイトバランスを調節する。
【0073】
【0074】
映像獲得装置１０００は、第１波長帯域基盤の第１映像ＩＭ１を獲得する第１イメージセンサ１００、第２波長帯域基盤の第２映像ＩＭ２を獲得する第２イメージセンサ２００、並びに第１映像ＩＭ１及び第２映像ＩＭ２を信号処理し、第３映像を生成するプロセッサ５００を含む。映像獲得装置１０００は、また、第１映像ＩＭ１に係わるデータが保存される第１メモリ３００と、第２映像ＩＭ２に係わるデータが保存される第２メモリ３１０とをさらに含み、映像を出力する映像出力部７００をさらに含みうる。
【0075】
映像獲得装置１０００は、また、第１イメージセンサ１００に、被写体ＯＢＪの光学像（optical image）を形成する第１イメージング光学系１９０、第２イメージセンサ２００に被写体ＯＢＪの光学像を形成する第２イメージング光学系２９０を含みうる。第１イメージング光学系１９０と第２イメージング光学系２９０は、それぞれ１つのレンズを含むように図示されているが、それは、例示的なものであり、それに限定されるものではない。第１イメージング光学系１９０と第２イメージング光学系２９０は、同じ焦点距離と、同じ画角とを有するように構成されることができ、その場合、第３映像ＩＭ３を形成するために、第１映像ＩＭ１と第２映像ＩＭ２とを整合する過程がさらに容易になる。ただし、それに限定されるものではない。
【0076】
第１イメージセンサ１００は、第１画素アレイＰＡ１を含み、第１画素アレイＰＡ１は、複数の第１センシング要素がアレイされた第１センサ層１１０と、第１センサ層１１０上に配されたカラーフィルタ１２０と、を含む。カラーフィルタ１２０は、交互に配列された赤色フィルタ、緑色フィルタ、青色フィルタを含むものでもある。第１画素アレイＰＡ１上には、第１マイクロレンズアレイ１３０が配されうる。第１画素アレイＰＡ１に適用される画素配列の多様な例示は、図８を参照して後述する。
【0077】
第２イメージセンサは、第２画素アレイＰＡ２を含み、第２画素アレイＰＡ２は、複数の第２センシング要素がアレイされた第２センサ層２１０と、第２センサ層２１０上に配された分光フィルタ２２０と、を含む。分光フィルタ２２０は、複数のフィルタグループを含み、該複数のフィルタグループそれぞれは、透過波長帯域が異なる複数のユニットフィルタによってなってもよい。分光フィルタ２２０は、カラーフィルタ１２０より広い波長帯域、例えば、紫外線ないし赤外線の波長範囲の波長帯域を、カラーフィルタ１２０よりも細分してフィルタリングするように構成されてもよい。第２画素アレイＰＡ２上には、第２マイクロレンズアレイ２３０が配されうる。第２画素アレイＰＡ２に適用される画素配列の例示は、図１０を参照して後述する。
【0078】
第１センサ層１１０、第２センサ層２１０は、ＣＣＤ（charge coupled device）センサまたはＣＭＯＳセンサを含むものでもあるが、それに限定されるものではない。
【0079】
第１画素アレイＰＡ１と第２画素アレイＰＡ２は、同じ回路基板ＳＵ上に、水平に、例えば、Ｘ方向に離隔されて配されてもよい。
【0080】
回路基板ＳＵには、第１センサ層１１０からの信号を処理する第１回路要素と、第２センサ層２１０からの信号を処理する第２回路要素とが具備されうる。ただし、それに限定されるものではなく、該第１回路要素と該第２回路要素は、それぞれ別途の基板に具備されることも可能である。
【0081】
第１映像ＩＭ１と第２映像ＩＭ２に係わるデータが保存されるメモリ３００は、回路基板ＳＵと別個に図示されているが、それは、例示的なものであり、回路基板ＳＵ内に、回路要素のような層、または別途の層に区分されて配されてもよい。メモリ３００は、映像をライン単位で保存するラインメモリであってもよく、映像全体を保存するフレームバッファであってもよい。メモリ３００には、ＳＲＡＭまたはＤＲＡＭが使用されうる。
【0082】
回路基板ＳＵに、映像獲得装置１０００に必要な多様な回路要素が集積配置されうる。例えば、多様なアナログ回路、デジタル回路を含むロジックレイヤが具備され、データが保存されるメモリレイヤが具備されうる。該ロジックレイヤと該メモリレイヤは、異なる層に構成されてもよく、同じ層に構成されてもよい。
【0083】
図６を参照すれば、第１画素アレイＰＡ１に、ロウデコーダ１０２、出力回路１０３、タイミングコントローラ（ＴＣ）１０１が連結される。ロウデコーダ１０２は、タイミングコントローラ１０１から出力されたロウアドレス信号に応答し、第１画素アレイＰＡ１のロウ一つを選択する。出力回路１０３は、選択されたロウに沿って配列された複数の画素から、カラム単位で光感知信号を出力する。そのために、出力回路１０３は、カラムデコーダとアナログ・デジタル変換器（ＡＤＣ：analog-to-digital convertor）を含みうる。例えば、出力回路１０３は、該カラムデコーダと第１画素アレイＰＡ１との間において、カラム別にそれぞれ配された複数のアナログ・デジタル変換器（ＡＤＣ）、または、カラムデコーダの出力端に配された１つのアナログ・デジタル変換器（ＡＤＣ）を含むものであってもよい。タイミングコントローラ１０１、ロウデコーダ１０２及び出力回路１０３は、１つのチップ、またはそれぞれ別個のチップによっても具現される。例示された回路要素の少なくとも一部が、図５の回路基板ＳＵに具備されうる。出力回路１０３を介して出力された第１映像ＩＭ１を処理するためのプロセッサが、タイミングコントローラ１０１、ロウデコーダ１０２及び出力回路１０３と共に、１つのチップによって具現されうる。
【0084】
第２画素アレイＰＡ２にも、ロウデコーダ２０２、出力回路２０３、タイミングコントローラ（ＴＣ）２０１が連結され、前述の構成と同様に、第２画素アレイＰＡ２からの信号が処理されうる。また、出力回路２０３を介して出力された第２映像ＩＭ２を処理するためのプロセッサが、タイミングコントローラ２０１、ロウデコーダ２０２及び出力回路２０３と共に、１つのチップによって具現されてもよい。
【0085】
第１画素アレイＰＡ１と第２画素アレイＰＡ２は、画素の大きさ、個数が同じであるように図示されているが、それは、便宜上の例示であり、それに限定されるものではない。
【0086】
互いに異なる種類の２つのセンサを動作させるにあたり、互いに異なる解像度及び出力速度、そして映像整合に必要な領域の大きさにより、タイミング制御が必要となりうる。例えば、第１イメージセンサ１００を基準に、１つの映像列を読み取るとき、その領域に該当する第２イメージセンサ２００の映像列は、すでにバッファに保存されてもおり、新たに読み取らなければならないものでありうる。または、第１イメージセンサ１００、第２イメージセンサ２００の動作は、同じ同期信号を使用しても同期化されうる。例えば、タイミングコントローラ４００がさらに具備され、第１イメージセンサ１００、第２イメージセンサ２００に同期信号ｓｙｎｃ．を伝送することもできる。
【0087】
図７は、一実施形態による映像獲得装置に具備される第１イメージセンサによる波長スペクトルを示し、図８Ａないし図８Ｃは、一実施形態による映像獲得装置に具備される第１イメージセンサの例示的な画素配列を示す。
【0088】
図８Ａを参照すれば、第１画素アレイＰＡ１に具備されるカラーフィルタ１２０には、赤色（Ｒ），緑色（Ｇ），青色（Ｂ）波長帯域をフィルタリングするフィルタが、ベイヤーパターンに配列されている。すなわち、１つの単位画素は、２×２アレイに配列されたサブ画素を含み、複数の単位画素が、二次元的に反復配列される。単位画素の１行目に、赤色フィルタ、緑色フィルタが配され、２行目に、緑色フィルタ、青色フィルタが配される。画素配列は、ベイヤーパターン以外に、他の方式によっても可能である。
【0089】
例えば、図８Ｂを参照すれば、マゼンタ（magenta）画素（Ｍ）、シアン（cyan）画素（Ｃ）、イエロー（yellow）画素（Ｙ）及び緑色画素（Ｇ）が１つの単位画素を構成するＣＹＧＭ方式の配列が可能である。また、図８Ｃを参照すれば、緑色画素（Ｇ）、赤色画素（Ｒ）、青色画素（Ｂ）及び白色画素（Ｗ）が、１つの単位画素を構成するＲＧＢＷ方式の配列が可能である。また、図示されていないが、単位画素が３×２アレイ形態を有することもできる。それ以外にも、第１画素アレイＰＡ１の画素は、第１イメージセンサ１００の色特性により、多様な方式に配列されうる。
【0090】
【0091】
図１０Ａを参照すれば、第２画素アレイＰＡ２に具備される分光フィルタ２２０は、二次元形態に配列される複数のフィルタグループ２２１を含むものでもある。ここで、各フィルタグループ２２１は、４×４アレイ形態に配列される１６個のユニットフィルタＦ１～Ｆ１６を含むものであってもよい。
【0092】
第１ユニットフィルタＦ１及び第２ユニットフィルタＦ２は、紫外線領域の中心波長ＵＶ１，ＵＶ２を有することができ、第３ユニットフィルタＦ３ないし第５ユニットフィルタＦ５は、青色光領域の中心波長Ｂ１～Ｂ３を有することができる。第６ユニットフィルタＦ６ないし第１１ユニットフィルタＦ１１は、緑色光領域の中心波長Ｇ１～Ｇ６を有することができ、第１２ユニットフィルタＦ１２ないし第１４ユニットフィルタＦ１４は、赤色光領域の中心波長Ｒ１～Ｒ３を有することができる。そして第１５ユニットフィルタＦ１５及び第１６ユニットフィルタＦ１６は、近赤外線領域の中心波長ＮＩＲ１，ＮＩＲ２を有することができる。
【0093】
図１０Ｂは、分光フィルタ２２０に具備される他例のフィルタグループ２２２一つに係わる平面図を図示している。図１０Ｂを参照すれば、フィルタグループ２２２は、３×３アレイ形態に配列される９個のユニットフィルタＦ１～Ｆ９を含むものでもある。ここで、第１ユニットフィルタＦ１及び第２ユニットフィルタＦ２は、紫外線領域の中心波長ＵＶ１，ＵＶ２を有することができ、第４ユニットフィルタＦ４、第５ユニットフィルタＦ５及び第７ユニットフィルタＦ７は、青色光領域の中心波長Ｂ１～Ｂ３を有することができる。第３ユニットフィルタＦ３及び第６ユニットフィルタＦ６は、緑色光領域の中心波長Ｇ１，Ｇ２を有することができ、第８ユニットフィルタＦ８及び第９ユニットフィルタＦ８は、赤色光領域の中心波長Ｒ１，Ｒ２を有することができる。
【0094】
図１０Ｃは、分光フィルタ２２０に具備される他例のフィルタグループ２２３一つに係わる平面図を図示している。図１２を参照すれば、フィルタグループ２２３は、５×５アレイ形態に配列される２５個のユニットフィルタＦ１～Ｆ２５を含むものであってもよい。ここで、第１ユニットフィルタＦ１ないし第３ユニットフィルタＦ３は、紫外線領域の中心波長ＵＶ１～ＵＶ３を有することができ、第６ユニットフィルタＦ６、第７ユニットフィルタＦ７、第８ユニットフィルタＦ８、第１１ユニットフィルタＦ１１及び第１２ユニットフィルタＦ１２は、青色光領域の中心波長Ｂ１～Ｂ５を有することができる。第４ユニットフィルタＦ４、第５ユニットフィルタＦ５及び第９ユニットフィルタＦ９は、緑色光領域の中心波長Ｇ１～Ｇ３を有することができ、第１０ユニットフィルタＦ１０、第１３ユニットフィルタＦ１３、第１４ユニットフィルタＦ１４、第１５ユニットフィルタＦ１５、第１８ユニットフィルタＦ１８及び第１９ユニットフィルタＦ１９は、赤色光領域の中心波長Ｒ１～Ｒ６を有することができる。そして、第２０ユニットフィルタＦ２０、第２３ユニットフィルタＦ２３、第２４ユニットフィルタＦ２４及び第２５ユニットフィルタＦ２５は、近赤外線領域の中心波長ＮＩＲ１～ＮＩＲ４を有することができる。
【0095】
分光フィルタ２２０に具備される前述のユニットフィルタは、２つの反射板を有する共振構造を有することができ、該共振構造の特性により、透過される波長帯域が決定されうる。反射板の材質、及びキャビティ内の誘電物質の材質、キャビティ厚により、透過波長帯域が調節されうる。これ以外にも、グレーティング（grating）を活用した構造、ＤＢＲ（Distributed Bragg Reflector）を活用した構造などが、ユニットフィルタにも適用される。それ以外にも、第２画素アレイＰＡ２の画素は、第２イメージセンサ２００の色特性により、多様な方式にも配列される。
【0096】
図１１は、他の実施形態による映像獲得装置の制御方法について概略的に説明するフローチャートである。
【0097】
図１１を参照すれば、段階１１００において、イメージセンサから映像を獲得する。ここで、該イメージセンサは、マルチスペクトルイメージ（ＭＳＩ）センサであってもよい。
【0098】
段階１１０２において、周辺の環境によって基底を獲得する。周辺の環境をセンシングするためのセンサは、ＲＧＢイメージセンサ、マルチスペクトルイメージ（ＭＳＩ）センサを含むイメージセンサ；ＧＰＳ、ＩＭＵ、バロメータ、磁力計のような位置及び姿勢に関連するセンサ；照度センサ；近接センサ；距離センサ、３Ｄスキャナなどを含むものであってもよい。周辺の環境をセンシングするためのセンサは、段階１１００の映像を獲得する前、事前に環境情報をセンシングする。また、映像を獲得する前、周期的または非周期的にセンシングすることにより、環境情報、環境情報の変化を追跡することもできる。ここで、該環境情報は、事前に定義された環境パラメータ値によって示されてもよい。該環境情報または該環境パラメータは、撮影場所が室内であるか、あるいは室外であるかということを区分して示すことができる。または、該環境情報または該環境パラメータは、室内照明環境において、特定帯域のＬＥＤ照明を使用するか否かということを分別して示すことができる。また、該環境情報または該環境パラメータは、照度情報を含んでもよい。また、該環境情報または該環境パラメータは、被写体との距離情報を含んでもよい。また、該環境情報または該環境パラメータは、画角内の被写体構成に係わる情報を含んでもよい。また、該環境情報または該環境パラメータは、ユーザの位置情報及び姿勢情報を含んでもよい。
【0099】
段階１１０４において、獲得された基底を利用し、照明情報を推定する。基底を利用した照明情報を推定する方法は、先に、数式１ないし４を参照して説明した通りである。一実施形態では、数式１ないし４に定義された方法を利用するが、それに限定されるものではなく、照明情報または照明スペクトルを推定する多様な数値的な方法を利用することができるということは、言うまでもない。
【0100】
段階１１０６において、推定された照明情報を反映させ、映像に係わる色変換を行う。
【0101】
一実施形態による映像獲得装置の制御方法は、所定の映像を獲得し、周辺の環境によって基底を獲得し、獲得された基底を利用し、照明情報を推定し、推定された照明情報を反映させ、映像に係わる色変換を行うことにより、多様な状況においても、正確に照明を推定し、正確なホワイトバランスを遂行し、色恒常性を維持することができる。
【0102】
前述の映像獲得装置１０００は、多様な高性能光学装置または高性能電子装置にも採用される。そのような電子装置は、例えば、スマートフォン（smart phone）、モバイルフォン、携帯電話、ＰＤＡ（Personal Digital Assistant）、ラップトップ（laptop）、ＰＣ（Personal Computer）、多様な携帯用機器、家電製品、保安カメラ、医療用カメラ、自動車、事物インターネット（ＩｏＴ：internet of things）機器、その他モバイルまたは非モバイルのコンピューティング装置であってもよいが、それらに制限されるものではない。
【0103】
該電子装置は、映像獲得装置１０００以外にも、そこに具備されたイメージセンサを制御するプロセッサ、例えば、アプリケーションプロセッサ（ＡＰ：Application Processor）をさらに含むものであってもよく、該プロセッサを介してオペレーティングシステムまたは応用プログラムを駆動し、多数のハードウェアまたはソフトウェアの構成要素を制御することができ、各種のデータ処理及び演算を行うことができる。該プロセッサは、ＧＰＵ（Graphics Processing Unit）及び／またはイメージ信号プロセッサ（image signal processor）をさらに含むものであってもよい。該プロセッサにイメージ信号プロセッサが含まれる場合、イメージセンサによって獲得されたイメージ（または、映像）を、プロセッサを利用し、保存及び／または出力することができる。
【0104】
図１２は、一実施形態による電子装置の概略的な構造を示すブロック図である。図１２を参照すれば、ネットワーク環境ＥＤ００において電子装置ＥＤ０１は、第１ネットワークＥＤ９８（近距離無線通信ネットワークなど）を介し、他の電子装置ＥＤ０２と通信するか、あるいは第２ネットワークＥＤ９９（遠距離無線通信ネットワークなど）を介し、さらに他の電子装置ＥＤ０４及び／またはサーバＥＤ０８と通信することができる。電子装置ＥＤ０１は、サーバＥＤ０８を介し、電子装置ＥＤ０４と通信することができる。電子装置ＥＤ０１は、プロセッサＥＤ２０、メモリＥＤ３０、入力装置ＥＤ５０、音響出力装置ＥＤ５５、表示装置ＥＤ６０、オーディオモジュールＥＤ７０、センサモジュールＥＤ７６、インターフェースＥＤ７７、ヘプティックモジュールＥＤ７９、カメラモジュールＥＤ８０、電力管理モジュールＥＤ８８、バッテリＥＤ８９、通信モジュールＥＤ９０、加入者識別モジュールＥＤ９６及び／またはアンテナモジュールＥＤ９７を含んでもよい。電子装置ＥＤ０１には、該構成要素のうち一部（表示装置ＥＤ６０など）が省略されるか、あるいは他の構成要素が追加されうる。該構成要素のうち一部は、１つの統合された回路によっても具現される。例えば、センサモジュールＥＤ７６（指紋センサ、虹彩センサ、照度センサなど）は、表示装置ＥＤ６０（ディスプレイなど）に埋め込まれて具現されてもよい。また、イメージセンサ１０００に分光機能が含まれる場合、センサモジュールの一部機能（カラーセンサ、照度センサ）が、別途のセンサモジュールではなく、イメージセンサ１０００自体に具現されてもよい。
【0105】
プロセッサＥＤ２０は、ソフトウェア（プログラムＥＤ４０など）を実行し、プロセッサＥＤ２０に連結された電子装置ＥＤ０１のうち一つ、または複数個の他の構成要素（ハードウェア構成要素、ソフトウェア構成要素など）を制御することができ、多様なデータ処理または演算を行うことができる。データ処理または演算の一部として、プロセッサＥＤ２０は、他の構成要素（センサモジュールＥＤ７６、通信モジュールＥＤ９０など）から受信された命令及び／またはデータを、揮発性メモリＥＤ３２にロードし、揮発性メモリＥＤ３２に保存された命令及び／またはデータを処理し、結果データを、不揮発性メモリＥＤ３４に保存することができる。プロセッサＥＤ２０は、メインプロセッサＥＤ２１（中央処理装置、アプリケーションプロセッサなど）、及びそれと独立しているか、あるいは共に運用可能な補助プロセッサＥＤ２３）（グラフィック処理装置、イメージシグナルプロセッサ、センサハブプロセッサ、コミュニケーションプロセッサなど）を含んでもよい。補助プロセッサＥＤ２３は、メインプロセッサＥＤ２１より電力を少なく使用し、特化された機能を遂行することができる。
【0106】
補助プロセッサＥＤ２３は、メインヘプロセッサＥＤ２１がイナクティブ状態（スリープ状態）にある間、メインプロセッサＥＤ２１の代わりを行い、または、メインプロセッサＥＤ２１がアクティブ状態（アプリケーション実行状態）にある間、メインプロセッサＥＤ２１と共に、電子装置ＥＤ０１の構成要素のうち一部構成要素（表示装置ＥＤ６０、センサモジュールＥＤ７６、通信モジュールＥＤ９０など）と係わる機能及び／または状態を制御することができる。補助プロセッサＥＤ２３（イメージシグナルプロセッサ、コミュニケーションプロセッサなど）は、機能的に関連する他の構成要素（カメラモジュールＥＤ８０、通信モジュールＥＤ９０など）の一部として具現されてもよい。
【0107】
メモリＥＤ３０は、電子装置ＥＤ０１の構成要素（プロセッサＥＤ２０、センサモジュールＥＤ７６など）が必要とする多様なデータを保存することができる。該データは、例えば、ソフトウェア（プログラムＥＤ４０など）、及びそれと係わる命令に係わる入力データ及び／または出力データを含んでもよい。メモリＥＤ３０は、揮発性メモリＥＤ３２及び／または不揮発性メモリＥＤ３４を含んでもよい。不揮発性メモリＥＤ３２は、電子装置ＥＤ０１内に固定装着された内蔵メモリＥＤ３６、と脱着可能な外装メモリＥＤ３８とを含んでもよい。
【0108】
プログラムＥＤ４０は、メモリＥＤ３０にソフトウェアとして保存され、オペレーティングシステムＥＤ４２、ミドルウェアＥＤ４４及び／またはアプリケーションＥＤ４６を含んでもよい。
【0109】
入力装置ＥＤ５０は、電子装置ＥＤ０１の構成要素（プロセッサＥＤ２０など）に使用される命令及び／またはデータを、電子装置ＥＤ０１の外部（ユーザなど）から受信することができる。入力装置ＥＤ５０は、マイク、マウス、キーボード及び／またはデジタルペン（スタイラスペンなど）を含んでもよい。
【0110】
音響出力装置ＥＤ５５は、音響信号を、電子装置ＥＤ０１の外部に出力することができる。音響出力装置ＥＤ５５は、スピーカ及び／またはレシーバを含んでもよい。該スピーカは、マルチメディア再生または録音再生のように、一般的な用途にも使用され、該レシーバは、着信電話を受信するためにも使用される。該レシーバは、スピーカの一部に結合されているか、あるいは独立した別途の装置として具現されてもよい。
【0111】
表示装置ＥＤ６０は、電子装置ＥＤ０１の外部に情報を視覚的に提供することができる。表示装置ＥＤ６０は、ディスプレイ、ホログラム装置またはプロジェクタ、及び当該装置を制御するための制御回路を含んでもよい。表示装置ＥＤ６０は、タッチを感知するように設定されたタッチ回路（touch circuitry）、及び／またはタッチによって生じる力の強度を測定するように設定されたセンサ回路（圧力センサなど）を含んでもよい。
【0112】
オーディオモジュールＥＤ７０は、音を電気信号に変換させるか、あるいは反対に、電気信号を音に変換させることができる。オーディオモジュールＥＤ７０は、入力装置ＥＤ５０を介して音を獲得するか、あるいは音響出力装置ＥＤ５５及び／または電子装置ＥＤ０１と、直接または無線で連結された他の電子装置（電子装置ＥＤ０２など）のスピーカ及び／またはヘッドホンを介して音を出力することができる。
【0113】
センサモジュールＥＤ７６は、電子装置ＥＤ０１の作動状態（電力、温度など）、または外部の環境状態（ユーザ状態など）を感知し、感知された状態に対応する電気信号及び／またはデータ値を生成することができる。センサモジュールＥＤ７６は、ジェスチャセンサ、ジャイロセンサ、気圧センサ、マグネチックセンサ、加速度センサ、グリップセンサ、近接センサ、カラーセンサ、ＩＲ（infrared）センサ、生体センサ、温度センサ、湿度センサ及び／または照度センサを含んでもよい。
【0114】
インターフェースＥＤ７７は、電子装置ＥＤ０１が、他の電子装置（電子装置ＥＤ０２など）と、直接または無線で連結されるために使用されうる、１または複数の指定されたプロトコルを支援することができる。インターフェースＥＤ７７は、ＨＤＭＩ（High Definition Multimedia Interface）、ＵＳＢ（Universal Serial Bus）インターフェース、ＳＤカードインターフェース及び／またはオーディオインターフェースを含んでもよい。
【0115】
連結端子ＥＤ７８は、電子装置ＥＤ０１が、他の電子装置（電子装置ＥＤ０２など）と物理的に連結されうるコネクタを含むものであってもよい。連結端子ＥＤ７８は、ＨＤＭＩコネクタ、ＵＳＢコネクタ、ＳＤカードコネクタ及び／またはオーディオコネクタ（ヘッドホンコネクタなど）を含んでもよい。
【0116】
ヘプティックモジュールＥＤ７９は、電気的信号を、ユーザが触覚または運動感覚を介して認知することができる機械的な刺激（振動、動きなど）、または電気的な刺激に変換することができる。ヘプティックモジュールＥＤ７９は、モータ、圧電素子及び／または電気刺激装置を含むものでもあってもよい。
【0117】
カメラモジュールＥＤ８０は、静止映像及び動画を撮影することができる。カメラモジュールＥＤ８０は、前述の映像獲得装置１０００を含むものでもあってもよく、さらなるレンズアセンブリイメージシグナルプロセッサ及び／またはフラッシュを含んでもよい。カメラモジュールＥＤ８０に含まれたレンズアセンブリは、イメージ撮影の対象である被写体から放出される光を収集することができる。
【0118】
電力管理モジュールＥＤ８８は、電子装置ＥＤ０１に供給される電力を管理することができる。電力管理モジュールＥＤ８８は、ＰＭＩＣ（Power Management Integrated Circuit）の一部として具現されてもよい。
【0119】
バッテリＥＤ８９は、電子装置ＥＤ０１の構成要素に電力を供給することができる。バッテリＥＤ８９は、再充電不可能な一次電池、再充電可能な二次電池、及び／または燃料電池を含むものであってもよい。
【0120】
通信モジュールＥＤ９０は、電子装置ＥＤ０１と他の電子装置（電子装置ＥＤ０２、電子装置ＥＤ０４、サーバＥＤ０８など）との直接（有線）通信チャネル及び／または無線通信チャネルの樹立、及び樹立された通信チャネルを介する通信遂行を支援することができる。通信モジュールＥＤ９０は、プロセッサＥＤ２０（アプリケーションプロセッサなど）と独立して運用され、直接通信及び／または無線通信を支援する、１または複数のコミュニケーションプロセッサを含むものであってもよい。通信モジュールＥＤ９０は、無線通信モジュールＥＤ９２（セルラ通信モジュール、近距離無線通信モジュール、ＧＮＳＳ（Global Navigation Satellite Systemなど）通信モジュール）及び／または有線通信モジュールＥＤ９４（ＬＡＮ（Local Area Network）通信モジュール、電力線通信モジュールなど）を含んでもよい。それら通信モジュールのうち、該当する通信モジュールは、第１ネットワークＥＤ９８（ブルートゥース、Ｗｉ－Ｆｉ（Wireless Fidelity） direct またはＩｒＤＡ（Infrared Data Association）のような近距離通信ネットワーク）、または第２ネットワークＥＤ９９（セルラネットワーク、インターネットまたはコンピューターネットワーク（ＬＡＮ、ＷＡＮなど）のような遠距離通信ネットワーク）を介し、他の電子装置と通信することができる。そのようなさまざまな種類の通信モジュールは、１つの構成要素（単一チップなど）に統合されるか、あるいは互いに別途の複数の構成要素（複数チップ）によっても具現される。無線通信モジュールＥＤ９２は、加入者識別モジュールＥＤ９６に保存された加入者情報（国際モバイル加入者識別子（ＩＭＳＩ）など）を利用し、第１ネットワークＥＤ９８及び／または第２ネットワークＥＤ９９のような通信ネットワーク内において、電子装置ＥＤ０１を確認及び認証することができる。
【0121】
アンテナモジュールＥＤ９７は、信号及び／または電力を、外部（他の電子装置など）に送信するか、あるいは外部から受信することができる。アンテナは、基板（ＰＣＢ（printed circuit board）など）上に形成された導電性パターンによってなる放射体を含むものであってもよい。アンテナモジュールＥＤ９７は、１または複数のアンテナを含んでもよい。複数のアンテナが含まれている場合、通信モジュールＥＤ９０により、複数のアンテナのうち、第１ネットワークＥＤ９８及び／または第２ネットワークＥＤ９９のような通信ネットワークにおいて使用される通信方式に適するアンテナが選択されうる。選択されたアンテナを介し、通信モジュールＥＤ９０と、他の電子装置との間において、信号及び／または電力が送信されるか、あるいは受信されうる。アンテナ以外に、他の部品（ＲＦＩＣ（Radio Frequency Integrated Circuit）など）がアンテナモジュールＥＤ９７の一部として含まれてもよい。
【0122】
構成要素のうち一部は、周辺機器間の通信方式（バス、ＧＰＩＯ（General Purpose Input and Output）、ＳＰＩ（Serial Peripheral Interface）、ＭＩＰＩ（Mobile Industry Processor Interface）など）を介して互いに連結され、信号（命令、データなど）を相互交換することができる。
【0123】
命令またはデータは、第２ネットワークＥＤ９９に連結されたサーバＥＤ０８を介し、電子装置ＥＤ０１と、外部の電子装置ＥＤ０４との間において、送信または受信されうる。他の電子装置ＥＤ０２，ＥＤ０４は、電子装置ＥＤ０１と同一であるか、あるいは異なる種類の装置であってもよい。電子装置ＥＤ０１で実行される動作の全部または一部は、他の電子装置ＥＤ０２，ＥＤ０４、ＥＤ０８のうち、１または複数の装置で実行されうる。例えば、電子装置ＥＤ０１がある機能やサービスを遂行しなければならないとき、該機能または該サービスを自主的に実行させる代わりに、１または複数の他の電子装置に、該機能または該サービスの一部または全体を遂行するように要請することができる。要請を受信した１または複数の他の電子装置は、要請と係わる追加機能またはサービスを実行し、その実行の結果を、電子装置ＥＤ０１に伝達することができる。そのために、クラウドコンピューティング技術、分散コンピューティング技術及び／またはクライアント・サーバコンピューティング技術が利用されうる。
【0124】
図１３は、図１２の電子装置に具備されるカメラモジュールＥＤ８０を概略的に例示したブロック図である。カメラモジュールＥＤ８０は、前述の映像獲得装置１０００を含むものでもあり、またはそこから変形された構造を有することができる。図１３を参照すれば、カメラモジュールＥＤ８０は、レンズアセンブリＣＭ１０、フラッシュＣＭ２０、イメージセンサＣＭ３０、イメージスタビライザＣＭ４０、メモリＣＭ５０（バッファメモリなど）及び／またはイメージシグナルプロセッサＣＭ６０を含むものであってもよい。
【0125】
イメージセンサＣＭ３０は、前述の映像獲得装置１０００に具備される第１イメージセンサ１００、第２イメージセンサ２００を含むものでもある。第１イメージセンサ１００、第２イメージセンサ２００は、被写体から放出または反射され、レンズアセンブリＣＭ１０を介して伝達された光を電気的な信号に変換することにより、被写体に対応するイメージを獲得することができる。第１イメージセンサ１００は、ＲＧＢ映像を獲得し、第２イメージセンサ２００は、紫外線波長範囲ないし赤外線波長範囲の超分光映像を獲得することができる。
【0126】
イメージセンサＣＭ３０は、前述の第１イメージセンサ１００、第２イメージセンサ２００以外にも、他のＲＧＢセンサ、ＢＷ（Black and White）センサ、ＩＲセンサまたはＵＶ（ultraviolet)センサのように、属性が異なるイメージセンサのうちから選択された１または複数のセンサをさらに含むものであってもよい。イメージセンサＣＭ３０に含まれたそれぞれのセンサは、ＣＣＤ（Charge Coupled Device）センサ及び／またはＣＭＯＳセンサとして具現されてもよい。
【0127】
レンズアセンブリＣＭ１０は、イメージ撮影の対象である被写体から放出される光を収集することができる。カメラモジュールＥＤ８０は、複数のレンズアセンブリＣＭ１０を含み、そのような場合、カメラモジュールＥＤ８０は、デュアルカメラ、３６０°カメラまたは球形カメラ（Spherical Camera）にもなる。複数のレンズアセンブリＣＭ１０のうち一部は、同一レンズ属性（画角、焦点距離、自動焦点、Ｆナンバー（Ｆ Number）、光学ズームなど）を有するか、あるいは異なるレンズ属性を有することができる。レンズアセンブリＣＭ１０は、広角レンズまたは望遠レンズを含むものであってもよい。
【0128】
レンズアセンブリＣＭ１０は、イメージセンサＣＭ３０に具備される２つのイメージセンサが、同位置の被写体の光学像を形成するようにも構成され、かつ／あるいはフォーカス制御されうる。
【0129】
フラッシュＣＭ２０は、被写体から放出または反射される光を強化させるために使用される光を放出することができる。フラッシュＣＭ２０は、１または複数の発光ダイオード（ＲＧＢ（Red-Green-Blue）ＬＥＤ、Ｗｈｉｔｅ ＬＥＤ、ＩＲ ＬＥＤ、ＵＶ ＬＥＤなど）及び／またはキセノンランプを含むものであってもよい。
【0130】
イメージスタビライザＣＭ４０は、カメラモジュールＥＤ８０、またはそれを含む電子装置ＣＭ０１の動きに反応し、レンズアセンブリＣＭ１０に含まれた１または複数枚のレンズまたはイメージセンサ１０００を特定の方向に動かるか、あるいはイメージセンサ１０００の動作特性を制御（リードアウト（read-out）タイミングの調整など）し、動きによる否定的な影響が補償されるようにすることができる。イメージスタビライザＣＭ４０は、カメラモジュールＥＤ８０の内部または外部に配されたジャイロセンサ（図示せず）または加速度センサ（図示せず）を利用し、カメラモジュールＥＤ８０または電子装置ＥＤ０１の動きを感知することができる。イメージスタビライザＣＭ４０は、光学式によって具現されてもよい。
【0131】
メモリＣＭ５０は、イメージセンサ１０００を介して獲得されたイメージの一部データまたは全体データが、次のイメージ処理作業のために保存されうる。例えば、複数のイメージが高速に獲得される場合、獲得された原本データ（ベイヤーパターンデータ、高解像度データなど）は、メモリＣＭ５０に保存し、低解像度イメージのみをディスプレイした後、選択された（ユーザ選択など）イメージの原本データが、イメージシグナルプロセッサＣＭ６０に伝達されるようにするところに使用されてもよい。メモリＣＭ５０は、電子装置ＥＤ０１のメモリＥＤ３０に統合されているか、あるいは独立して運用される別途のメモリによって構成されてもよい。
【0132】
イメージシグナルプロセッサＣＭ６０は、イメージセンサＣＭ３０を介して獲得されたイメージ、またはメモリＣＭ５０に保存されたイメージデータについてイメージ処理を行うことができる。図１ないし図１０で説明されたように、イメージセンサＣＭ３０に含まれる２つのイメージセンサが獲得した第１映像（例えば、ＲＧＢ映像）、第２映像（例えば、マルチスペクトルイメージ（ＭＳＩ）映像）を処理し、ホワイトバランスが遂行された第３映像を生成することができる。そのために、プロセッサ５００の構成が、イメージシグナルプロセッサＣＭ６０にも含まれる。
【0133】
イメージ処理は、それ以外にも、深さ地図（depth map）生成、三次元モデリング、パノラマ生成、特徴点抽出、イメージ合成及び／またはイメージ補償（ノイズ低減、解像度調整、明るさ調整、ぼやかし（blurring）、シャープニング（sharpening）、ソフトニング（softening）など）を含んでもよい。イメージシグナルプロセッサＣＭ６０は、カメラモジュールＥＤ８０に含まれた構成要素（イメージセンサＣＭ３０など）に対する制御（露出時間制御またはリードアウトタイミング制御など）を行うことができる。イメージシグナルプロセッサＣＭ６０によって処理されたイメージは、追加処理のために、メモリＣＭ５０にさらに保存されるか、あるいはカメラモジュールＥＤ８０の外部構成要素（メモリＥＤ３０、表示装置ＥＤ６０、電子装置ＥＤ０２、電子装置ＥＤ０４、サーバＥＤ０８など）にも提供される。イメージシグナルプロセッサＣＭ６０は、プロセッサＥＤ２０に統合されるか、あるいはプロセッサＥＤ２０と独立して運用される別途のプロセッサとして構成されてもよい。イメージシグナルプロセッサＣＭ６０が、プロセッサＥＤ２０と別途のプロセッサとして構成された場合、イメージシグナルプロセッサＣＭ６０によって処理されたイメージは、プロセッサＥＤ２０により、さらなるイメージ処理を経た後、表示装置ＥＤ６０を介しても表示される。
【0134】
電子装置ＥＤ０１は、それぞれ異なる属性または機能を有する複数のカメラモジュールＥＤ８０を含むものであってもよい。そのような場合、複数のカメラモジュールＥＤ８０のうち一つは、広角カメラであり、他の一つは、望遠カメラであってもよい。類似して、複数のカメラモジュールＥＤ８０のうち一つは、前面カメラであり、他の一つは、背面カメラであってもよい。
【0135】
【0136】
一実施形態による映像獲得装置は、図１４に図示されたモバイルフォンまたはスマートフォン５１００ｍ、図１５に図示されたタブレットまたはスマートタブレット５２００、図１６に図示されたデジタルカメラまたはキャムコーダ５３００、図１７に図示されたノート型パソコン５４００にも適用され、あるいは図１９に図示されたテレビまたはスマートテレビ５５００などにも適用される。例えば、スマートフォン５１００ｍまたはスマートタブレット５２００は、高解像度イメージセンサがそれぞれ搭載された複数の高解像度カメラを含むものであってもよい。該高解像度カメラを利用し、映像内の被写体の深さ情報を抽出するか、映像のアウトフォーカシングを調節するか、あるいは映像内の被写体を自動的に識別することができる。
【0137】
また、映像獲得装置１０００は、図１９に図示されたスマート冷蔵庫５６００、図２０に図示された保安カメラ５７００、図２１に図示されたロボット５８００、図２２に図示された医療用カメラ５９００などにも適用される。例えば、スマート冷蔵庫５６００は、映像獲得装置１０００を利用し、冷蔵庫内にある飲食物を自動的に認識し、特定飲食物の存在いかん、入庫または出庫された飲食物の種類などを、スマートフォンを介してユーザに知らせることができる。保安カメラ５７００は、超高解像度映像を提供することができ、高感度を利用し、暗い環境においても、映像内の事物または人を認識することができる。ロボット５８００は、人が直接接近することができない災害現場または産業現場に投入され、高解像度映像を提供することができる。医療用カメラ５９００は、診断または手術のための高解像度映像を提供することができ、視野を動的に調節することができる。
【0138】
また、映像獲得装置１０００は、図２３に図示されているように、車両６０００に適用されうる。車両６０００は、多様な位置に配された複数の車両用カメラ６０１０，６０２０，６０３０，６０４０を含むものであってもよい、それぞれの車両用カメラ６０１０，６０２０，６０３０，６０４０は、一実施形態による映像獲得装置を含んでもよい。車両６０００は、複数の車両用カメラ６０１０，６０２０，６０３０，６０４０を利用し、車両６０００内部または周辺に係わる多様な情報を運転手に提供することができ、映像内の事物または人を自動的に認識し、自律走行に必要な情報を提供することができる。
【0139】
前述の映像獲得装置、及びそれを含む電子装置が、たとえ図面に図示された実施形態を参照して説明されたとしても、それらは、例示的なものに過ぎず、当該分野において当業者であれば、それらから、多様な変形、及び均等な他の実施形態が可能であるという点を理解するであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。権利範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、権該利範囲に含まれたものであると解釈されなければならない。
【符号の説明】
【0140】
１０ イメージセンサ
２０ センサ
１００ 第１イメージセンサ
２００ 第２イメージセンサ
３００ 第１メモリ
３１０ 第２メモリ
５００ プロセッサ
５１０ 映像処理部
５２０ 環境決定部
５３０ 基底生成部
５４０ 照明推定部
５５０ 色相変換部
５６０ センサ部
６００ 保存部
７００ 映像出力部
２０ センサ
１００ 第１イメージセンサ
２００ 第２イメージセンサ
３００ 第１メモリ
３１０ 第２メモリ
５００ プロセッサ
５１０ 映像処理部
５２０ 環境決定部
５３０ 基底生成部
５４０ 照明推定部
５５０ 色相変換部
５６０ センサ部
６００ 保存部
７００ 映像出力部
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図9】
【図10A】
【図10B】
【図10C】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
