(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-01
(45)【発行日】2024-05-13
(54)【発明の名称】映像獲得装置及び電子装置
(51)【国際特許分類】
H04N 23/13 20230101AFI20240502BHJP
H04N 25/10 20230101ALI20240502BHJP
H04N 25/70 20230101ALI20240502BHJP
【ＦＩ】
H04N23/13
H04N25/10
H04N25/70
【請求項の数】
20
(21)【出願番号】P 2022085042
(22)【出願日】2022-05-25
(65)【公開番号】P2022183083
(43)【公開日】2022-12-08
【審査請求日】2022-10-18
(31)【優先権主張番号】10-2021-0067898
(32)【優先日】2021-05-26
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】110000671
【氏名又は名称】ＩＢＣ一番町弁理士法人
(72)【発明者】
【氏名】金 祐 ▲しょく▼
【審査官】鈴木 肇
(56)【参考文献】
【文献】特開２００９－２６０４１１（ＪＰ，Ａ）
【文献】特開平０８－１１６４９０（ＪＰ，Ａ）
【文献】特開２０１８－１０７８１７（ＪＰ，Ａ）
【文献】特表２０１９－５１２１９４（ＪＰ，Ａ）
【文献】特開２０２１－０２９５０９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／００６８８４６（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２２２－ ５／２５７
Ｈ０４Ｎ ５／３０ － ５／３３
Ｈ０４Ｎ ９／０１ － ９／１１
Ｈ０４Ｎ ２３／００ －２３／７６
Ｈ０４Ｎ ２３／９０ －２３／９５９
Ｈ０４Ｎ ２５／００ －２５／７９
(57)【特許請求の範囲】
【請求項1】
第１波長帯域の光の検出に基づいて第１映像を獲得する第１イメージセンサと、前記第１波長帯域よりも広い第２波長帯域の光の検出に基づいて第２映像を獲得する第２イメージセンサと、
前記第２映像に基づいて前記第１映像の領域ごとに色相変換が要求されるかどうかを判断し、色相変換が要求される、前記第１映像の領域に対してのみ色相変換をすることにより、前記第１映像及び前記第２映像から、前記第１映像に対応する空間解像度と前記第２映像に対応する色域を有する第３映像を形成するプロセッサと、を含む、映像獲得装置。
【請求項2】
前記プロセッサは、前記第１映像の画素値を前記第２映像の画素値を参照して補正して、前記第３映像を形成する、請求項１に記載の映像獲得装置。
【請求項3】
前記プロセッサは、前記第１映像と前記第２映像とを二次元平面上で整合し、前記第１映像の画素と前記第２映像の画素との対応関係を把握した後、前記第１映像の画素値を補正する、請求項２に記載の映像獲得装置。
【請求項4】
前記プロセッサは、前記第１映像と前記第２映像に対して収差補正を遂行した後、前記整合を行う、請求項３に記載の映像獲得装置。
【請求項5】
前記第３映像または前記第１映像を出力する映像出力部をさらに含む、請求項１に記載の映像獲得装置。
【請求項6】
前記映像出力部は、前記第１映像と、前記第３映像と前記第１映像との差映像と、を出力する、請求項５に記載の映像獲得装置。
【請求項7】
前記第１映像は、第１色域を示し、前記第３映像は、前記第１色域よりも広い第２色域を示す、請求項１に記載の映像獲得装置。
【請求項8】
前記第１イメージセンサは、複数の第１センシング要素がアレイされた第１センサ層と、
前記第１センサ層上に配置され、交互に配列された赤色フィルタ、緑色フィルタ、青色フィルタを含むカラーフィルタと、を備える、第１画素アレイを含む、請求項１に記載の映像獲得装置。
【請求項9】
前記第２イメージセンサは、複数の第２センシング要素がアレイされた第２センサ層と、
前記第２センサ層上に配置され、透過波長帯域が異なる複数のユニットフィルタからなるフィルタグループが反復配列された分光フィルタと、を備える、第２画素アレイを含む、請求項８に記載の映像獲得装置。
【請求項10】
前記複数のユニットフィルタそれぞれの透過波長帯域は、可視光線を含み、可視光線よりも広い範囲の波長帯域に含まれる、請求項９に記載の映像獲得装置。
【請求項11】
前記フィルタグループは、４×４アレイ状に配列される１６個のユニットフィルタを含む、請求項１０に記載の映像獲得装置。
【請求項12】
前記第１画素アレイと前記第２画素アレイは、同じ回路基板上に水平に離隔されるように配置される、請求項９に記載の映像獲得装置。
【請求項13】
前記第１センサ層からの信号を処理する第１回路要素と、前記第２センサ層からの信号を処理する第２回路要素と、が前記回路基板に備えられる、請求項１２に記載の映像獲得装置。
【請求項14】
前記第１回路要素、前記第２回路要素の動作を同期させるタイミングコントローラをさらに含む、請求項１３に記載の映像獲得装置。
【請求項15】
前記第１映像に係わるデータ、前記第２映像に係わるデータが保存されるメモリをさらに含む、請求項１２に記載の映像獲得装置。
【請求項16】
前記メモリが前記回路基板内に備えられる、請求項１５に記載の映像獲得装置。
【請求項17】
被写体の光学像を前記第１イメージセンサに形成するものであって、１つ以上のレンズを含む第１イメージング光学系と、前記被写体の光学像を前記第２イメージセンサに形成するものであって、１つ以上のレンズを含む第２イメージング光学系と、をさらに含む、請求項１に記載の映像獲得装置。
【請求項18】
前記第１イメージング光学系と前記第２イメージング光学系は、同じ焦点距離と同じ画角を有するように設定される、請求項１７に記載の映像獲得装置。
【請求項19】
請求項１ないし１８のうちいずれか１項に記載の映像獲得装置を含む、電子装置。
【請求項20】
前記電子装置は、モバイルフォン、スマートフォン、タブレット、スマートタブレット、デジタルカメラ、カムコーダ、ノート型パソコン、テレビ、スマートテレビ、スマート冷蔵庫、保安カメラ、ロボットまたは医療用カメラを含む、請求項１９に記載の電子装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像獲得装置及びそれを含む電子装置に関する。
【背景技術】
【0002】
映像センサは、被写体から入射される光を受光し、受光された光を光電変換して電気的信号を生成する装置である。
【0003】
映像センサは、カラー表現のために、通常、赤色光、緑色光、青色光を選択的に透過させるフィルタ要素のアレイからなるカラーフィルタを使用し、各フィルタ要素を透過した光量をセンシングした後、映像処理を通じて被写体に係わるカラー映像を形成する。
【0004】
そのような映像の獲得において、カラーフィルタに備えられるフィルタ要素が透過させる波長帯域が限定されるので、被写体を表現する色域が制限される。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、広色域の映像を提供する映像獲得装置及びそれを含む電子装置を提供することである。
【課題を解決するための手段】
【0006】
上述した課題は、以下の手段により解決される。
【0007】
第１波長帯域の光に基づく第１映像を獲得する第１イメージセンサと、前記第１波長帯域よりも広い第２波長帯の光に基づく第２映像を獲得する第２イメージセンサと、前記第１映像及び前記第２映像から、前記第１映像に対応する空間解像度と前記第２映像に対応する色域を有する第３映像を形成するプロセッサとを含む映像獲得装置。
【0008】
前記プロセッサは、前記第１映像の画素値を前記第２映像の画素値を参照して補正して前記第３映像を形成する。
【0009】
前記プロセッサは、前記第１映像と前記第２映像とを二次元平面上で整合し、前記第１映像の画素と前記第２映像の画素との対応関係を把握した後、前記第１映像の画素値を補正することができる。
【0010】
前記プロセッサは、前記第１映像と前記第２映像に対して収差補正を遂行した後、前記整合を行うことができる。
【0011】
前記映像獲得装置は、前記第３映像または前記第１映像を出力する映像出力部をさらに含む。
【0012】
前記映像出力部は、前記第１映像と、前記第３映像と前記第１映像との差映像を出力することができる。
【0013】
前記第１映像は、第１色域を示し、前記第３映像は、前記第１色域よりも広い第２色域を示す。
【0014】
前記第１イメージセンサは、複数の第１センシング要素がアレイされた第１センサ層と、前記第１センサ層上に配置され、交互に配列された赤色フィルタ、緑色フィルタ、青色フィルタを含むカラーフィルタを備える第１画素アレイを含む。
【0015】
前記第２イメージセンサは、複数の第２センシング要素がアレイされた第２センサ層と、前記第２センサ層上に配置され、透過波長帯域が異なる複数のユニットフィルタからなるフィルタグループが反復配列された分光フィルタを備える第２画素アレイを含む。
【0016】
前記複数のユニットフィルタそれぞれの透過波長帯域は、可視光線を含み、可視光線帯域よりも広い波長帯域に含まれる。
【0017】
前記フィルタグループは、４×４アレイ状に配列される１６個のユニットフィルタを含む。
【0018】
前記第１画素アレイと前記第２画素アレイは、同じ回路基板上に水平に離隔されるように配置されうる。
【0019】
前記第１センサ層からの信号を処理する第１回路要素と、前記第２センサ層からの信号を処理する第２回路要素とが前記回路基板に備えられる。
【0020】
前記映像獲得装置は、前記第１回路要素、前記第２回路要素の動作を同期させるタイミングコントローラをさらに含む。
【0021】
前記映像獲得装置は、前記第１映像に係わるデータ、前記第２映像に係わるデータが保存されるメモリをさらに含んでもよい。
【0022】
前記メモリは、前記回路基板内に備えられる。
【0023】
前記映像獲得装置は、被写体の光学像を前記第１イメージセンサに形成するものであって、１つ以上のレンズを含む第１イメージング光学系と、前記被写体の光学像を前記第２イメージセンサに形成するものであって、１つ以上のレンズを含む第２イメージング光学系とをさらに含む。
【0024】
前記第１イメージング光学系と前記第２イメージング光学系は、同じ焦点距離と同じ画角を有するように設定されうる。
【0025】
前述したいずれか１つの映像獲得装置を含む電子装置。
【0026】
前記電子装置は、モバイルフォン、スマートフォン、タブレット、スマートタブレット、デジタルカメラ、カムコーダ、ノート型パソコン、テレビ、スマートテレビ、スマート冷蔵庫、保安カメラ、ロボットまたは医療用カメラを含む。
【発明の効果】
【0027】
上述した映像獲得装置によれば、互いに異なる種類の２つのイメージセンサを活用して、高解像度を有し、広色域を表現する映像を提供することができる。
【0028】
上述した映像獲得装置は、多様な電子装置に採用されうる。
【図面の簡単な説明】
【0029】
【図1】実施形態による映像獲得装置の概略的な構造を示すブロック図である。
【図2】実施形態による映像獲得装置で獲得した映像が示す色域を説明する色座標である。
【図3】実施形態による映像獲得装置の概略的な構造を示す概念図である。
【図4】実施形態による映像獲得装置に備えられる第１イメージセンサ、第２イメージセンサの回路構成を示す図面である。
【図5】実施形態による映像獲得装置に備えられる第１イメージセンサによる波長スペクトルを示す図面である。
【図6】実施形態による映像獲得装置に備えられる第１イメージセンサの例示的な画素配列を示す図面である。
【図7】実施形態による映像獲得装置に備えられる第１イメージセンサの例示的な画素配列を示す図面である。
【図8】実施形態による映像獲得装置に備えられる第１イメージセンサの例示的な画素配列を示す図面である。
【図9】実施形態による映像獲得装置に備えられる第２イメージセンサによる波長スペクトルを示す図面である。
【図10】実施形態による映像獲得装置に備えられる第２イメージセンサの例示的な画素配列を示す図面である。
【図11】実施形態による映像獲得装置に備えられる第２イメージセンサの例示的な画素配列を示す図面である。
【図12】実施形態による映像獲得装置に備えられる第２イメージセンサの例示的な画素配列を示す図面である。
【図13】実施形態による映像獲得装置の映像処理過程を概略的に説明するフローチャートである。
【図14】実施形態による電子装置の概略的な構造を示すブロック図である。
【図16】実施形態による映像獲得装置が適用された電子装置の多様な例を示す図面である。
【図17】実施形態による映像獲得装置が適用された電子装置の多様な例を示す図面である。
【図18】実施形態による映像獲得装置が適用された電子装置の多様な例を示す図面である。
【図19】実施形態による映像獲得装置が適用された電子装置の多様な例を示す図面である。
【図20】実施形態による映像獲得装置が適用された電子装置の多様な例を示す図面である。
【図21】実施形態による映像獲得装置が適用された電子装置の多様な例を示す図面である。
【図22】実施形態による映像獲得装置が適用された電子装置の多様な例を示す図面である。
【図23】実施形態による映像獲得装置が適用された電子装置の多様な例を示す図面である。
【図24】実施形態による映像獲得装置が適用された電子装置の多様な例を示す図面である。
【図25】実施形態による映像獲得装置が適用された電子装置の多様な例を示す図面である。
【発明を実施するための形態】
【0030】
以下、添付された図面を参照して実施形態を詳細に説明する。説明される実施形態は、例示的なものに過ぎず、そのような実施形態から多様な変形が可能である。以下の図面で同じ参照符号は、同じ構成要素を指し、図面上で各構成要素の大きさは、説明の明確にするために、便宜的に、誇張されうる。
【0031】
以下、「上部」や「上」という記載は、接触して直ぐ上にあるものだけではなく、非接触で上にあるものも含む。
【0032】
第１、第２などの用語は、多様な構成要素を説明するのに使用されうるが、１つの構成要素を他の構成要素から区別する目的のみに使用される。そのような用語は、構成要素の物質または構造が異なることを限定するものではない。
【0033】
単数の表現は、文脈上、明白に異なって意味しない限り、複数の表現を含む。また、ある部分がある構成要素を「含む」とするとき、それは、特に反対を意図する旨の記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。
【0034】
また、明細書に記載された「．．．部」、「モジュール」などの用語は、少なくとも１つの機能や動作を処理する単位を意味し、これは、ハードウェアまたはソフトウェアによって具現されるか、ハードウェアとソフトウェアとの結合によって具現されうる。
【0035】
「前記」の用語及びそれと類似した指示用語の使用は、単数及び複数の両方に該当するものでもある。
【0036】
方法を構成する段階は、説明された順序によって行わなければならないという明白な言及がなければ、適当な順序で行われうる。また、全ての例示的な用語（例えば、など）の使用は、単に技術的思想を詳細に説明するためのものであって、請求項によって限定されない以上、そのような用語によって権利範囲が限定されるものではない。
【0037】
【0038】
映像獲得装置１０００は、第１波長帯域に基づく第１映像ＩＭ１を獲得する第１イメージセンサ１００、第１波長帯域よりも広い第２波長帯域に基づく第２映像ＩＭ２を獲得する第２イメージセンサ２００及び第１映像ＩＭ１と第２映像ＩＭ２とを信号処理し、第３映像ＩＭ３を形成するプロセッサ５００を含む。
【0039】
第１イメージセンサ１００は、一般的なＲＧＢカメラに採用されるセンサであって、ベイヤーカラーフィルタアレイを使用するＣＭＯＳイメージセンサー（CMOS image sensor）でもある。第１イメージセンサ１００が獲得する第１映像ＩＭ１は、赤色、緑色、青色に基づくＲＧＢ映像であり、一般的なＲＧＢカメラによって獲得される色域(color gamut)範囲を有することができる。例えば、s-RGB(standard RGB)色域、ＢＴ．７０９色域、ＤＣＩ－Ｐ３色域、またはAdobe RGB色域を有することができる。図２には、ＢＴ．７０９の色域、ＤＣＩ－Ｐ３色域が例示的に図示されている。
【0040】
第２イメージセンサ２００は、第１イメージセンサ１００よりさらに多種の波長光をセンシングするセンサである。第２イメージセンサ２００は、例えば、１６個のチャネルを使用し、または３１個のチャネル、またはその他異なる個数のチャネルを使用することができる。各チャネルの帯域幅は、Ｒ、Ｇ、Ｂ帯域よりも狭く設定され、全てのチャネルの帯域幅を合わせた全体帯域幅は、ＲＧＢ帯域幅、すなわち、可視光線帯域幅を含み、それより広くもなる。例えば、約３５０ｎｍ～１０００ｎｍの帯域幅を有することができる。第２イメージセンサ２００が獲得する第２映像ＩＭ２は、超分光(hyperspectral)映像であり、ＲＧＢ波長帯域よりも広い波長帯域、例えば、可視光線帯域を含み、それよりも広い波長帯域である紫外線ないし赤外線波長帯域を１６個以上のチャネルに分割した波長に基づく映像でもある。第２映像ＩＭ２は、第２イメージセンサ２００の利用可能な全ての数のチャネルを活用して取得した映像であり、または、特定チャネルを選別して取得した映像でもある。第２映像ＩＭ２の空間解像度は、第１映像ＩＭ１の空間解像度よりも低くてもよいが、それに限定されない。
【0041】
第１イメージセンサ１００と第２イメージセンサ２００は、それぞれ別個のチップで構成され、または単一のチップで構成される。
【0042】
第３映像ＩＭ３は、第１イメージセンサ１００による第１映像ＩＭ１に対応する空間解像度と第２イメージセンサ２００による第２映像ＩＭ２に対応する色域を有する映像である。第３映像ＩＭ３は、第１映像ＩＭ１と同じ空間解像度を有し、同時に色域は、拡大された映像であり、例えば、図２のＤＣＩ－Ｐ３以上の色域範囲を有することができる。このように形成された第３映像ＩＭ３の品質は、第１映像ＩＭ１との色差(color difference)を計算して評価されうる。
【0043】
第３映像ＩＭ３は、第１映像ＩＭ１の画素値を第２映像ＩＭ２の画素値を参照して補正する方式で獲得されうる。このために、第１映像ＩＭ１と第２映像ＩＭ２とを二次元平面上で整合(image registration)し、第１映像ＩＭ１の画素と第２映像ＩＭ２の画素との対応関係を把握することができる。次いで、対応する画素別に色相変換の要否を判断し、これにより、第１映像ＩＭ１の画素値が補正されうる。
【0044】
第１映像ＩＭ１と第２映像ＩＭ２との映像整合前に、第１映像ＩＭ１と第２映像ＩＭ２に対する収差補正が行われる。第１イメージセンサ１００、第２イメージセンサ２００に光学像を形成するイメージングレンズによる歪曲、幾何収差、色収差などの収差が発生し、それを補正した後、映像整合が行われる。
【0045】
映像獲得装置１０００は、映像出力部７００をさらに含んでもよい。映像出力部７００は、第３映像ＩＭ３を出力し、または、選択的に、第３映像ＩＭ３と第１映像ＩＭ１のうち、いずれか１つを出力することができる。また、出力される映像が一般ＲＧＢ映像（第１映像）であるか、色域が拡大された映像（第３映像）であるかについての付加情報が共に出力されうる。映像出力部７００はまた、第３映像ＩＭ３と第１映像ＩＭ１との差に係わる差映像を出力し、または第１映像ＩＭ１と当該差映像を共に出力する。この際、領域別に色相変換が行われたか否かを判断し、色相変換がなされた領域に対してのみ差映像を出力することができる。このような選択的出力は、ユーザの入力によって決定されうる。
【0046】
プロセッサ５００の映像処理過程をさらに詳細に説明すれば、次の通りである。
【0047】
映像整合部５２０は、第１イメージセンサ１００と第２イメージセンサ２００との相対的位置情報を活用して第１映像ＩＭ１と第２映像ＩＭ２とを整合(image registration)することができる。映像整合部５２０は、第１イメージセンサ１００、第２イメージセンサ２００で獲得した映像の空間解像度(spatial resolution)、映像獲得に使用された光学系の画角(field of view)、焦点距離(focal length)などを考慮して映像の各画素間の位置関係を把握する。この際、１のセンサの映像を基準にして他のセンサの映像を、その上に重畳させることができる。例えば、第１イメージセンサ１００が獲得した第１映像ＩＭ１を基準にして当該第１映像ＩＭ１の各画素に対して、それに対応する第２映像ＩＭ２の画素を探すことができる。このために、第２映像ＩＭ２の画素に対してスケーリング（scaling）、トランスレーション、ローテーション（rotation）、アフィン変換（affine transform）、透視変換（perspective transform）などを行うことができる。第１映像ＩＭ１の画素に該当する第２映像ＩＭ２の画素は、１つ以上でもあり、複数の第２映像ＩＭ２の画素を位置によって一定比率で混合して第１映像の画素に該当する第２映像ＩＭ２の画素値を生成することができる。第２映像ＩＭ２の各チャネル別に映像を使用してそれぞれ映像整合を行ってもよい。整合の精度を高めるために、サブ画素(Sub-pixel)単位で整合を行うことができる。サブ画素（Sub-pixel）単位の整合では、画素の位置が整数ではなく、実数で表現されうる。
【0048】
映像整合部５２０はまた焦点制御（focus control）を通じて第１イメージセンサ１００と第２イメージセンサ２００とが同じ位置の被写体に焦点を合わせるようにして整合の効率を高めうる。そして、２つのセンサが同じ画角(field of view)を有するようにし、映像整合遂行を迅速で正確にさせうる。例えば、第１イメージセンサ１００と第２イメージセンサ２００に光学像を形成するためのイメージング光学系が同じ焦点距離と同じ画角を有する場合、第１映像ＩＭ１と第２映像ＩＭ２との間には、トランスレーションのみ存在し、関連変数(parameter)は、第１イメージセンサ１００と第２イメージセンサ２００との相対的位置及び各光学系の焦点距離を使用して計算されうる。
【0049】
第２映像ＩＭ２の空間解像度が第１映像ＩＭ１の空間解像度よりも高い場合、第２映像ＩＭ２をダウンサンプリングして映像整合を行うことができる。この際、バイラテラルフィルタリング（bi-lateral filtering）、 ガイデットフィルタリング（guided filtering）のようにエッジ情報を考慮したフィルタリングを使用してダウンサンプリングして映像整合をさらに正確に遂行することができる。
【0050】
第２映像ＩＭ２の空間解像度が第１映像ＩＭ１の空間解像度よりも低い場合、インターポレーションを通じて第１映像の各画素位置に該当する第２映像サンプルを各チャネル別に生成することができる。同様に、バイラテラルフィルタリング（bi-lateral filtering）、 ガイデットフィルタリング（guided filtering）のようにエッジ情報を考慮してインターポレーションすることができる。
【0051】
または、第１映像ＩＭ１の空間解像度と第２映像ＩＭ２の空間解像度を同一にした後、映像整合を行うことができる。２映像の解像度が同一になるようにデモザイシングを行うことができる。その場合、２つのイメージセンサに光学像をそれぞれ形成する２つの光学系が同じ焦点距離と画角とを有すれば、別途のインターポレーションなしにトランスレーションのみ考慮して映像整合を行うことができる。
【0052】
整合を行う前に、第１映像ＩＭ１、第２映像ＩＭ２に含まれた収差を補正することができる。すなわち、第１映像ＩＭ１、第２映像ＩＭ２の獲得時に使用されるイメージング光学系に含まれたレンズによる、歪曲、幾何収差、色収差などの影響を補正(correction)した後に整合を行うことができる。
【0053】
映像整合部５２０は、映像内のエッジ特徴(edge feature)情報を抽出して２映像間の特徴をマッチング(matching)させうる。被写体の境界領域で映像整合が合わない場合、カラー歪曲(color distortion)が発生するので、エッジ情報を抽出して２映像間のエッジが整列(align)されるように整合を行い、境界領域で歪曲が発生しないように処理することができる。エッジ(edge)以外にコーナーポイントのような他の映像特徴点（image features）を使用して映像整合を行うことができる。
【0054】
色相変換部５４０では、第２映像ＩＭ２に含まれた画素値を使用して第１映像ＩＭ１を使用した線形変換(linear transformation)が使用されうる。第２イメージセンサ２００のチャネル数がｎ個である場合、３ｘｎマトリックス(matrix)を使用して線形変換することができる。すなわち、
ｖ’＝Ｌｖ
ここで、ｖは、第２映像の画素値からなるｎ次元ベクトル、Ｌは、３ｘｎマトリックス、そしてｖ’は、Ｒ、Ｇ、Ｂ値を示す３次元ベクトルである。
ｖ’＝Ｌｖ
ここで、ｖは、第２映像の画素値からなるｎ次元ベクトル、Ｌは、３ｘｎマトリックス、そしてｖ’は、Ｒ、Ｇ、Ｂ値を示す３次元ベクトルである。
【0055】
または、ｖをＸＹＺ座標空間に変換した後、再びＲＧＢ色空間に変換する過程を経てカラーマッピングを行うことができる。または、上述した線形変換の代わりに、さらに複雑なクロスチャネル(cross-channel)を考慮するか、２次項を考慮するなどの変換を使用することができる。または、非線形変換(non-linear transform)方法が使用されうる。
【0056】
カラーマッピング時、領域別にカラーマッピングが必要な領域であるか否かを判断し、必要な領域に対してのみ色域を拡大するカラーマッピングを行ってもよい。例えば、映像の領域を方形の複数のブロックに区分した後、各ブロック別に第２映像が示す色域が、第１映像が示す色域内にあれば、その領域に対してカラーマッピングを行わない。対応する領域において第２映像ＩＭ２が、第１映像ＩＭ１が示す色域外にあるならば、当該領域に対してカラーマッピングを行う。色域が拡大されたＷＣＧ(wide color gamut)映像（第３映像）を示すために、一般ＲＧＢ映像よりもさらに大きいビットデプスを使用して映像を保存することができる。
【0057】
【0058】
映像獲得装置１０００は、第１波長帯域に基づく第１映像ＩＭ１を獲得する第１イメージセンサ１００、前記第１波長帯域よりも広い第２波長帯域に基づく第２映像ＩＭ２を獲得する第２イメージセンサ２００、及び第１映像ＩＭ１及び第２映像ＩＭ２を信号処理し、第３映像を形成するプロセッサ５００を含む。映像獲得装置１０００はまた、第１映像ＩＭ１、第２映像ＩＭ２に係わるデータが保存されるメモリ３００をさらに含み、映像を出力する映像出力部７００をさらに含む。
【0059】
映像獲得装置１０００はまた、第１イメージセンサ１００に被写体ＯＢＪの光学像（optical image）を形成する第１イメージング光学系１９０、第２イメージセンサ２００に被写体ＯＢＪの光学像を形成する第２イメージング光学系２９０を含む。第１イメージング光学系１９０と第２イメージング光学系２９０は、それぞれ１つのレンズを含むものとして図示されているが、これは、例示的なものであり、これに限定されない。第１イメージング光学系１９０と第２イメージング光学系２９０は、同じ焦点距離と同じ画角を有するように構成され、その場合、第３映像ＩＭ３を形成するために、第１映像ＩＭ１と第２映像ＩＭ２とを整合する過程がさらに容易になる。但し、これに限定されるものではない。
【0060】
第１イメージセンサ１００は、第１画素アレイＰＡ１を含み、第１画素アレイＰＡ１は、複数の第１センシング要素がアレイされた第１センサ層１１０と、第１センサ層１１０上に配置されたカラーフィルタ１２０を含む。カラーフィルタ１２０は、交互に配列された赤色フィルタ、緑色フィルタ、青色フィルタを含む。第１画素アレイＰＡ１上には、第１マイクロレンズアレイ１３０が配置されうる。第１画素アレイＰＡ１に適用される画素配列の多様な例示は、図５ないし図８で説明する。
【0061】
第２イメージセンサは、第２画素アレイＰＡ２を含み、第２画素アレイＰＡ２は、複数の第２センシング要素がアレイされた第２センサ層２１０と、第２センサ層２１０上に配置された分光フィルタ２２０を含む。分光フィルタ２２０は、複数のフィルタグループを含み、複数のフィルタグループそれぞれは、透過波長帯域が異なる複数のユニットフィルタからなる。分光フィルタ２２０は、カラーフィルタ１２０よりも広い波長帯域、例えば、紫外線ないし赤外線波長範囲の波長帯域をカラーフィルタ１２０よりも細分してフィルタリングするように構成されうる。第２画素アレイＰＡ２上には、第２マイクロレンズアレイ２３０が配置されうる。第２画素アレイＰＡ２に適用される画素配列の例示は、図１０ないし図１２で説明する。
【0062】
第１センサ層１１０、第２センサ層２１０は、ＣＣＤ(charge coupled device)センサまたはＣＭＯＳ(complementary metal oxide semiconductor)センサを含むが、これに限定されない。
【0063】
第１画素アレイＰＡ１と第２画素アレイＰＡ２は、同じ回路基板ＳＵ上に水平に、例えば、Ｘ方向に離隔されるように配置されうる。
【0064】
回路基板ＳＵには、第１センサ層１１０からの信号を処理する第１回路要素と、第２センサ層２１０からの信号を処理する第２回路要素とが備えられる。但し、これに限定されず、第１回路要素と第２回路要素は、それぞれ別の基板に備えられてもよい。
【0065】
第１映像ＩＭ１と第２映像ＩＭ２に係わるデータが保存されるメモリ３００は、回路基板ＳＵと別個に図示されたが、これは、例示的なものであり、回路基板ＳＵ内に、回路要素と同層または別の層に区分されて配置されうる。メモリ３００は、映像をライン単位で保存するラインメモリであり、映像全体を保存するフレームバッファでもある。メモリ３００には、ＳＲＡＭ(static random access memory)、またはＤＲＡＭ(dynamic random access memory)が使用されうる。
【0066】
回路基板ＳＵに映像獲得装置１０００に必要な多様な回路要素が集積配置されうる。例えば、多様なアナログ回路、デジタル回路を含むロジックレイヤが備えられ、データが保存されるメモリレイヤが備えられる。ロジックレイヤとメモリレイヤは、異なる層でもって構成されるか、または同じ層でもって構成されうる。
【0067】
図４を参照すれば、第１画素アレイＰＡ１にロウデコーダ１０２、出力回路１０３、タイミングコントローラ（ＴＣ）１０１が連結される。ロウデコーダ１０２は、タイミングコントローラ１０１から出力されたロウアドレス信号に応答して第１画素アレイＰＡ１のロウ（行）１つを選択する。出力回路１０３は、選択されたロウに沿って配列された複数の画素からカラム（列）単位で光感知信号を出力する。そのために、出力回路１０３は、カラムデコーダとアナログ－デジタル変換器(ADC;analog to digital converter)を含む。例えば、出力回路１０３は、カラムデコーダと第１画素アレイＰＡ１との間でカラム別にそれぞれ配置された複数のＡＤＣ、またはカラムデコーダの出力端に配置された１つのＡＤＣを含む。タイミングコントローラ１０１、ロウデコーダ１０２、及び出力回路１０３は、１つのチップまたはそれぞれ別個のチップによって具現されうる。例示された回路要素の少なくとも一部が図３の回路基板ＳＵに備えられうる。出力回路１０３を介して出力された第１映像ＩＭ１を処理するためのプロセッサがタイミングコントローラ１０１、ロウデコーダ１０２、及び出力回路１０３と共に１つのチップにも具現されうる。
【0068】
第２画素アレイＰＡ２にもロウデコーダ２０２、出力回路２０３、タイミングコントローラ（ＴＣ）２０１が連結され、上述したところと同様に、第２画素アレイＰＡ２からの信号が処理されうる。また、出力回路２０３を介して出力された第２映像ＩＭ２を処理するためのプロセッサがタイミングコントローラ２０１、ロウデコーダ２０２、及び出力回路２０３と共に１つのチップにも具現される。
【0069】
第１画素アレイＰＡ１と第２画素アレイＰＡ２は、画素サイズ、個数が同一であるように図示されたが、これは、便宜上の例示であり、それに限定されるものではない。
【0070】
互いに異なる種類の２つのセンサを動作させるに当たって、互いに異なる解像度及び出力速度、ならびに映像整合に必要な領域の大きさによってタイミング制御(timing control)が必要である。例えば、第１イメージセンサ１００を基準に１つの映像列を読込むとき、その領域に該当する第２イメージセンサ２００の映像列は、既にバッファに保存されていてもよく、新たに読み込んでもよい。そのようなタイミングを正しく計算して読み取る必要がある。あるいは、第１イメージセンサ１００、第２イメージセンサ２００の動作は、同じ同期(synchronization)信号を使用して同期されうる。例えば、タイミングコントローラ４００がさらに備えられ、第１イメージセンサ１００、第２イメージセンサ２００に同期信号(sync.)を伝送しうる。
【0071】
【0072】
図６を参照すれば、第１画素アレイＰＡ１に備えられるカラーフィルタ１２０には、赤色Ｒ、緑色Ｇ、青色Ｂ波長帯域をフィルタリングするフィルタがベイヤーパターン（Ｂａｙｅｒ ｐａｔｔｅｒｎ）に配列されている。すなわち、１つの単位画素は、２×２アレイに配列されたサブ画素を含み、複数の単位画素が２次元的に反復配列される。単位画素の１行に赤色フィルタ、緑色フィルタが配置されて、２行に緑色フィルタ、青色フィルタが配置される。画素配列は、ベイヤーパターン以外に、他の方式によっても可能である。
【0073】
例えば、図７を参照すれば、マゼンタ(Magenta)画素Ｍ、シアン(Cyan)画素Ｃ、イエロー(Yellow)画素Ｙ、及び緑色画素Ｇが１つの単位画素を構成するＣＹＧＭ方式の配列も可能である。また、図８を参照すれば、緑色画素Ｇ、赤色画素Ｒ、青色画素Ｂ、及び白色画素Ｗが１つの単位画素を構成するＲＧＢＷ方式の配列も可能である。また、図示されていないが、単位画素が３×２アレイ状を有してもよい。その他にも、第１画素アレイＰＡ１の画素は、第１イメージセンサ１００の色特性によって多様な方式で配列されうる。
【0074】
【0075】
図１０を参照すれば、第２画素アレイＰＡ２に備えられる分光フィルタ２２０は、２次元形態に配列される複数のフィルタグループ２２１を含む。ここで、各フィルタグループ２２１は、４×４アレイ状に配列される１６個のユニットフィルタＦ１～Ｆ１６を含んでもよい。
【0076】
第１及び第２ユニットフィルタＦ１、Ｆ２は、紫外線領域の中心波長ＵＶ１、ＵＶ２をそれぞれ有し、第３ないし第５ユニットフィルタＦ３～Ｆ５は、青色光領域の中心波長Ｂ１～Ｂ３をそれぞれ有する。第６ないし第１１ユニットフィルタＦ６～Ｆ１１は、緑色光領域の中心波長Ｇ１～Ｇ６をそれぞれ有し、第１２ないし第１４ユニットフィルタＦ１２～Ｆ１４は、赤色光領域の中心波長Ｒ１～Ｒ３をそれぞれ有する。そして、第１５及び第１６ユニットフィルタＦ１５、Ｆ１６は、近赤外線領域の中心波長ＮＩＲ１、ＮＩＲ２をそれぞれ有する。
【0077】
図１１は、分光フィルタ２２０に備えられる、他の例の１つのフィルタグループ２２２の平面図を図示している。図１１を参照すれば、フィルタグループ２２２は、３×３アレイ状に配列される９個のユニットフィルタＦ１～Ｆ９を含む。ここで、第１及び第２ユニットフィルタＦ１、Ｆ２は、紫外線領域の中心波長ＵＶ１、ＵＶ２をそれぞれ有し、第４、第５及び第７ユニットフィルタＦ４、Ｆ５、Ｆ７は、青色光領域の中心波長Ｂ１～Ｂ３をそれぞれ有する。第３及び第６ユニットフィルタＦ３、Ｆ６は、緑色光領域の中心波長Ｇ１、Ｇ２をそれぞれ有し、第８及び第９ユニットフィルタＦ８、Ｆ９は、赤色光領域の中心波長Ｒ１、Ｒ２をそれぞれ有する。
【0078】
図１２は、分光フィルタ２２０に備えられる、他の例の１つのフィルタグループ２２３の平面図を図示している。図１２を参照すれば、フィルタグループ２２３は、５×５アレイ状に配列される２５個のユニットフィルタＦ１～Ｆ２５を含む。ここで、第１ないし第３ユニットフィルタＦ１～Ｆ３は、紫外線領域の中心波長ＵＶ１～ＵＶ３をそれぞれ有し、第６、第７、第８、第１１及び第１２ユニットフィルタＦ６、Ｆ７、Ｆ８、Ｆ１１、Ｆ１２は、青色光領域の中心波長Ｂ１～Ｂ５をそれぞれ有する。第４、第５及び第９ユニットフィルタＦ４、Ｆ５、Ｆ９は、緑色光領域の中心波長Ｇ１～Ｇ３をそれぞれ有し、第１０、第１３、第１４、第１５、第１８及び第１９ユニットフィルタＦ１０、Ｆ１３、Ｆ１４、Ｆ１５、Ｆ１８、Ｆ１９は、赤色光領域の中心波長Ｒ１～Ｒ６をそれぞれ有する。そして、第２０、第２３、第２４及び第２５ユニットフィルタＦ２０、Ｆ２３、Ｆ２４、Ｆ２５は、近赤外線領域の中心波長ＮＩＲ１～ＮＩＲ４をそれぞれ有する。
【0079】
分光フィルタ２２０に備えられる上述したユニットフィルタは、２枚の反射板を有する共振構造を有し、共振構造の特性によって透過される波長帯域が決定されうる。反射板の材質及びキャビティ内の誘電物質の材質、キャビティ厚によって透過波長帯域が調節されうる。それ以外にも、グレーティングを活用した構造、ＤＢＲ(distributed bragg reflector)を活用した構造などがユニットフィルタに適用されうる。
【0080】
それ以外にも、第２画素アレイＰＡ２の画素は、第２イメージセンサ２００の色特性によって多様な方式で配列されうる。
【0081】
図１３は、実施形態による映像獲得装置の映像処理過程を概略的に説明するフローチャートである。
【0082】
第１イメージセンサ１００から第１映像が獲得され（Ｓ８１０）、第２イメージセンサ２００から第２映像が獲得される（Ｓ８２０）。
【0083】
第１映像及び／または第２映像に対して、必要に応じて、収差補正が行われる（Ｓ８３０）。例えば、第１映像ＩＭ１、第２映像ＩＭ２の獲得時に使用されるイメージング光学系に含まれたレンズによる、歪曲、幾何収差、色収差などの影響を補正(correction)した後に整合を行うことができる。
【0084】
第１映像と第２映像とが整合される（Ｓ８４０）。映像整合時、第１映像と第２映像の解像度を考慮することができる（Ｓ８４２）。例えば、第２映像ＩＭ２の空間解像度が第１映像ＩＭ１の空間解像度よりも高い場合、第２映像ＩＭ２をダウンサンプリングして映像整合を行うことができる。第２映像ＩＭ２の空間解像度が第１映像ＩＭ１の空間解像度よりも低い場合、インターポレーションを通じて第１映像の各画素位置に該当する第２映像サンプルを各チャネル別に生成することができる。映像整合時、バイラテラルフィルタリング（bi-lateral filtering）,ガイデットフィルタリング（guided filtering）のようにエッジ情報を考慮することができる。
【0085】
または、第１映像と第２映像とを同じ解像度で調節した後、映像整合が行われる（Ｓ８４６）。第１映像と第２映像の解像度が同一になるようにデモザイシングを行うことができる。その場合、２つのイメージセンサに光学像をそれぞれ形成する２つの光学系が同じ焦点距離と画角とを有すれば、別途のインターポレーションなしにトランスレーションのみ考慮して映像整合を行うことができる。
【0086】
色相変換段階（Ｓ８６０）で第２映像の画素値を参照して第１映像の画素値が補正され、第３映像が形成される。この際、領域別に、色相変換の要否を判断し、必要な領域に対してのみ色域を拡大する色相変換が行われうる。例えば、映像の領域を複数のブロックに区分した後、各ブロック別に、第２映像が示す色域が、第１映像が示す色域内にあるか否かを判断する。対応する領域で第２映像ＩＭ２が、第１映像ＩＭ１が示す色域の外にある場合にのみ当該領域に対して色相変換を行う。
【0087】
映像出力（Ｓ８７０）時、第１映像、第３映像、第１映像と第３映像の差映像のうち、いずれか１つ以上が選択的に出力されうる。映像についての付加情報が共に出力されうる。
【0088】
上述した映像獲得装置１０００は、多様な高性能光学装置または高性能電子装置に採用されうる。そのような電子装置は、例えば、スマートフォン(smart phone)、携帯電話、ハンドフォン、ＰＤＡ(personal digital assistant)、ラップトップ(laptop)、ＰＣ、多様な携帯用機器、家電製品、保安カメラ、医療用カメラ、自動車、モノのインターネット(IoT;Internet of Things)機器、その他モバイルまたは非モバイルコンピューティング装置でもあるが、これらに制限されない。
【0089】
電子装置は、映像獲得装置１０００以外にも、それに備えられたイメージセンサを制御するプロセッサ、例えば、アプリケーションプロセッサ(AP:Application Processor)をさらに含み、プロセッサを通じて運用体制または応用プログラムを駆動して多数のハードウェアまたはソフトウェア構成要素を制御し、各種データ処理及び演算を行うことができる。プロセッサは、ＧＰＵ(Graphic Processing Unit)及び／または、イメージ信号プロセッサ(Image Signal Processor)をさらに含む。プロセッサにイメージ信号プロセッサが含まれる場合、イメージセンサによって獲得されたイメージ（または、映像）を、プロセッサを用いて保存及び／または出力することができる。
【0090】
図１４は、実施形態による電子装置の概略的な構造を示すブロック図である。図１４を参照すれば、ネットワーク環境ＥＤ００で電子装置ＥＤ０１は、第１ネットワークＥＤ９８（近距離無線通信ネットワークなど）を介して他の電子装置ＥＤ０２と通信するか、または第２ネットワークＥＤ９９（遠距離無線通信ネットワークなど）を介してさらに他の電子装置ＥＤ０４及び／または、サーバＥＤ０８と通信することができる。電子装置ＥＤ０１は、サーバＥＤ０８を介して電子装置ＥＤ０４と通信することができる。電子装置ＥＤ０１は、プロセッサＥＤ２０、メモリＥＤ３０、入力装置ＥＤ５０、音響出力装置ＥＤ５５、表示装置ＥＤ６０、オーディオモジュールＥＤ７０、センサモジュールＥＤ７６、インターフェースＥＤ７７、ハプティックモジュールＥＤ７９、カメラモジュールＥＤ８０、電力管理モジュールＥＤ８８、バッテリＥＤ８９、通信モジュールＥＤ９０、加入者識別モジュールＥＤ９６、及び／またはアンテナモジュールＥＤ９７を含む。電子装置ＥＤ０１には、該構成要素の一部（表示装置ＥＤ６０など）が省略されるか、他の構成要素が追加されうる。該構成要素の一部は、１つの統合された回路によって具現されうる。例えば、センサモジュールＥＤ７６（指紋センサ、虹彩センサ、照度センサなど）は、表示装置ＥＤ６０（ディスプレイなど）に埋め込まれて具現されうる。
【0091】
プロセッサＥＤ２０は、ソフトウェア（プログラムＥＤ４０など）を実行し、プロセッサＥＤ２０に連結された電子装置ＥＤ０１のうち、１つまたは複数個の他の構成要素（ハードウェア、ソフトウェア構成要素など）を制御し、多様なデータ処理または演算を行うことができる。データ処理または演算の一部において、プロセッサＥＤ２０は、他の構成要素（センサモジュールＥＤ７６、通信モジュールＥＤ９０など）から受信された命令及び／またはデータを揮発性メモリＥＤ３２にロードし、揮発性メモリＥＤ３２に保存された命令及び／またはデータを処理し、結果データを不揮発性メモリＥＤ３４に保存することができる。プロセッサＥＤ２０は、メインプロセッサＥＤ２１（中央処理装置、アプリケーションプロセッサなど）、及びそれと独立して、または共に運用可能な補助プロセッサＥＤ２３（グラフィック処理装置、イメージシグナルプロセッサ、センサハブプロセッサ、コミュニケーションプロセッサなど）を含む。補助プロセッサＥＤ２３は、メインプロセッサＥＤ２１よりも電力を少なく使用し、特化された機能を行うことができる。
【0092】
補助プロセッサＥＤ２３は、メインプロセッサＥＤ２１がインアクティブ状態（スリープ状態）にある間に、メインプロセッサＥＤ２１の代わりに、またはメインプロセッサＥＤ２１がアクティブ状態（アプリケーション実行状態）にある間に、メインプロセッサＥＤ２１と共に、電子装置ＥＤ０１の構成要素の一部構成要素（表示装置ＥＤ６０、センサモジュールＥＤ７６、通信モジュールＥＤ９０など）に係わる機能及び／または状態を制御することができる。補助プロセッサＥＤ２３（イメージシグナルプロセッサ、コミュニケーションプロセッサなど）は、機能的に関連した他の構成要素（カメラモジュールＥＤ８０、通信モジュールＥＤ９０など）の一部としても具現される。
【0093】
メモリＥＤ３０は、電子装置ＥＤ０１の構成要素（プロセッサＥＤ２０、センサモジュールＥＤ７６など）が必要とする多様なデータを保存することができる。データは、例えば、ソフトウェア（プログラムＥＤ４０など）、及びそれに対する命令に係わる入力データ及び／または出力データを含む。メモリＥＤ３０は、揮発性メモリＥＤ３２及び／または不揮発性メモリＥＤ３４を含む。不揮発性メモリＥＤ３２は、電子装置ＥＤ０１内に固設された内蔵メモリＥＤ３６と脱着可能な外装メモリＥＤ３８を含む。
【0094】
プログラムＥＤ４０は、メモリＥＤ３０にソフトウェアとして保存され、運用体制ＥＤ４２、ミドルウェアＥＤ４４及び／またはアプリケーションＥＤ４６を含む。
【0095】
入力装置ＥＤ５０は、電子装置ＥＤ０１の構成要素（プロセッサＥＤ２０など）に使用される命令及び／またはデータを電子装置ＥＤ０１の外部（ユーザなど）から受信することができる。入力装置ＥＤ５０は、マイク、マウス、キーボード、及び／またはデジタルペン（スタイラスペンなど）を含む。
【0096】
音響出力装置ＥＤ５５は、音響信号を電子装置ＥＤ０１の外部に出力することができる。音響出力装置ＥＤ５５は、スピーカ及び／またはレシーバを含む。スピーカは、マルチメディア再生または録音再生のように一般の用途で使用され、レシーバは、着信電話を受信するために使用されうる。レシーバは、スピーカの一部に結合されているか、または独立した別途の装置として具現されうる。
【0097】
表示装置ＥＤ６０は、電子装置ＥＤ０１の外部に情報を視覚的に提供することができる。表示装置ＥＤ６０は、ディスプレイ、ホログラム装置、またはプロジェクタ及び当該装置を制御するための制御回路を含む。表示装置ＥＤ６０は、タッチを感知するように設定されたタッチ回路(Touch Circuitry)、及び／またはタッチによって発生する力の強度を測定するように設定されたセンサ回路（圧力センサなど）を含む。
【0098】
オーディオモジュールＥＤ７０は、音を電気信号に変換させるか、逆に、電気信号を音に変換させる。オーディオモジュールＥＤ７０は、入力装置ＥＤ５０を介して音を獲得するか、音響出力装置ＥＤ５５、及び／または電子装置ＥＤ０１と直接または、無線で連結された他の電子装置（電子装置ＥＤ０２など）のスピーカ及び／またはヘッドホーンを介して音を出力することができる。
【0099】
センサモジュールＥＤ７６は、電子装置ＥＤ０１の作動状態（電力、温度など）、または外部の環境状態（ユーザ状態など）を感知し、感知された状態に対応する電気信号及び／またはデータ値を生成することができる。センサモジュールＥＤ７６は、ジェスチャーセンサ、ジャイロセンサ、気圧センサ、マグネチックセンサ、加速度センサ、グリップセンサ、近接センサ、カラーセンサ、ＩＲ(Infrared)センサ、生体センサ、温度センサ、湿度センサ、及び／または照度センサを含む。
【0100】
インターフェースＥＤ７７は、電子装置ＥＤ０１が他の電子装置（電子装置ＥＤ０２など）と直接または、無線で連結されるために使用される１つまたは複数の指定されたプロトコルを支援することができる。インターフェースＥＤ７７は、ＨＤＭＩ(High Definition Multimedia Interface)、ＵＳＢ(Universal Serial Bus)インターフェース、ＳＤカードインターフェース、及び／またはオーディオインターフェースを含む。
【0101】
連結端子ＥＤ７８は、電子装置ＥＤ０１が他の電子装置（電子装置ＥＤ０２など）と物理的に連結されるコネクタを含む。連結端子ＥＤ７８は、ＨＤＭＩコネクタ、ＵＳＢコネクタ、ＳＤカードコネクタ、及び／またはオーディオコネクタ（ヘッドホーンコネクタなど）を含む。
【0102】
ハプティックモジュールＥＤ７９は、電気的信号をユーザが触覚または運動感覚を通じて認知する機械的な刺激（振動、動きなど）または電気的な刺激に変換することができる。ハプティックモジュールＥＤ７９は、モータ、圧電素子、及び／または電気刺激装置を含む。
【0103】
カメラモジュールＥＤ８０は、静止映像及び動画を撮影することができる。カメラモジュールＥＤ８０は、上述した映像獲得装置１０００を含み、追加的なレンズアセンブリーイメージシグナルプロセッサ、及び／またはフラッシュを含む。カメラモジュールＥＤ８０に含まれたレンズアセンブリーは、イメージ撮影の対象である被写体から放出される光を収集することができる。
【0104】
電力管理モジュールＥＤ８８は、電子装置ＥＤ０１に供給される電力を管理することができる。電力管理モジュールＥＤ８８は、ＰＭＩＣ(Power Management IntegratedCircuit)の一部として具現されうる。
【0105】
バッテリＥＤ８９は、電子装置ＥＤ０１の構成要素に電力を供給することができる。バッテリＥＤ８９は、使い捨て１次電池、再充電可能な２次電池、及び／または燃料電池を含む。
【0106】
通信モジュールＥＤ９０は、電子装置ＥＤ０１と他の電子装置（電子装置ＥＤ０２、電子装置ＥＤ０４、サーバＥＤ０８など）との直接（有線）通信チャネル及び／または、無線通信チャネルの樹立、及び樹立された通信チャネルを介した通信遂行を支援することができる。通信モジュールＥＤ９０は、プロセッサＥＤ２０（アプリケーションプロセッサなど）と独立して運用され、直接通信及び／または、無線通信を支援する１つまたは複数のコミュニケーションプロセッサを含む。通信モジュールＥＤ９０は、無線通信モジュールＥＤ９２（セルラ通信モジュール、近距離無線通信モジュール、ＧＮＳＳ(Global Navigation Satellite Systemなど）通信モジュール）及び／または有線通信モジュールＥＤ９４（LAN(Local Area Network)通信モジュール、電力線通信モジュールなど）を含む。それら通信モジュールのうち、該当する通信モジュールは、第１ネットワークＥＤ９８（ブルートゥース、WiFi DirectまたはＩｒＤＡ(Infrared Data Association)のような近距離通信ネットワーク）または第２ネットワークＥＤ９９（セルラネットワーク、インターネット、またはコンピューターネットワーク（ＬＡＮ、ＷＡＮなど）のような遠距離通信ネットワーク）を介して他の電子装置と通信することができる。そのような様々な通信モジュールは、１つの構成要素（単一チップなど）に統合されるか、または互いに別途の複数の構成要素（複数チップ）によっても具現される。無線通信モジュールＥＤ９２は、加入者識別モジュールＥＤ９６に保存された加入者情報（国際モバイル加入者識別子（ＩＭＳＩ）など）を用いて第１ネットワークＥＤ９８及び／または第２ネットワークＥＤ９９のような通信ネットワーク内で電子装置ＥＤ０１を確認及び認証することができる。
【0107】
アンテナモジュールＥＤ９７は、信号及び／または電力を外部（他の電子装置など）に送信するか、外部から受信することができる。アンテナは、基板（ＰＣＢなど）上に形成された導電性パターンからなる放射体を含むことができる。アンテナモジュールＥＤ９７は、１つまたは複数のアンテナを含む。複数のアンテナが含まれた場合、通信モジュールＥＤ９０によって複数のアンテナのうち、第１ネットワークＥＤ９８及び／または第２ネットワークＥＤ９９のような通信ネットワークで使用される通信方式に適したアンテナが選択されうる。選択されたアンテナを介して通信モジュールＥＤ９０と他の電子装置との間に信号及び／または電力が送信されるか、受信されうる。アンテナ以外に他の部品（ＲＦＩＣなど）がアンテナモジュールＥＤ９７の一部として含まれうる。
【0108】
構成要素の一部は、周辺機器間の通信方式（バス、ＧＰＩＯ(General Purpose Input and Output)、ＳＰＩ(Serial Peripheral Interface)、ＭＩＰＩ(Mobile Industry Processor Interface)など）を介して互いに連結されて信号（命令、データなど）を互いに交換することができる。
【0109】
命令またはデータは、第２ネットワークＥＤ９９に連結されたサーバＥＤ０８を介して電子装置ＥＤ０１と外部の電子装置ＥＤ０４との間に送信または受信されうる。他の電子装置ＥＤ０２、ＥＤ０４は、電子装置ＥＤ０１と同種でもよく、または異種の装置であってもよい。電子装置ＥＤ０１で実行される動作の全部または一部は、他の電子装置ＥＤ０２、ＥＤ０４、ＥＤ０８のうち、１つまたは複数の装置で実行されうる。例えば、電子装置ＥＤ０１がある機能やサービスを行わなければならないとき、機能またはサービスを自己が実行する代りに、１つまたは複数の他の電子装置にその機能またはそのサービスの一部または全体を行うことを要請することができる。要請を受信した１つまたは複数の異なる電子装置は、要請に係わる追加機能またはサービスを実行し、その実行の結果を電子装置ＥＤ０１に伝達することができる。そのために、クラウドコンピューティング、分散コンピューティング、及び／またはクライアント－サーバコンピューティング技術が用いられうる。
【0110】
図１５は、図１４の電子装置に備えられるカメラモジュールＥＤ８０を概略的に例示したブロック図である。カメラモジュールＥＤ８０は、前述した映像獲得装置１０００を含み、またはそれから変形された構造を有しうる。図１５を参照すれば、カメラモジュールＥＤ８０は、レンズアセンブリーＣＭ１０、フラッシュＣＭ２０、イメージセンサＣＭ３０、イメージスタビライザーＣＭ４０、メモリＣＭ５０（バッファメモリなど）、及び／または、イメージシグナルプロセッサＣＭ６０を含む。
【0111】
イメージセンサＣＭ３０は、前述した映像獲得装置１０００に備えられる第１イメージセンサ１００、第２イメージセンサ２００を含む。第１イメージセンサ１００、第２イメージセンサ２００は、被写体から放出または反射されてレンズアセンブリーＣＭ１０を介して伝達した光を電気的な信号に変換することで、被写体に対応するイメージを獲得することができる。第１イメージセンサ１００は、ＲＧＢ映像を獲得し、第２イメージセンサ２００は、紫外線ないし赤外線波長範囲の超分光(hyperspectral)映像を獲得することができる。
【0112】
イメージセンサＣＭ３０は、前述した第１イメージセンサ１００、第２イメージセンサ２００以外にも、他のＲＧＢセンサ、ＢＷ(Black and White)センサ、ＩＲセンサ、またはＵＶセンサのように属性の異なるイメージセンサのうち、選択された１つまたは複数のセンサをさらに含む。イメージセンサＣＭ３０に含まれたそれぞれのセンサは、ＣＣＤ(Charged Coupled Device)センサ及び／またはＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサによって具現されうる。
【0113】
レンズアセンブリーＣＭ１０は、イメージ撮影の対象である被写体から放出される光を収集することができる。カメラモジュールＥＤ８０は、複数のレンズアセンブリーＣＭ１０を含み、そのような場合、カメラモジュールＥＤ８０は、デュアルカメラ、３６０度カメラ、または球形カメラ(Spherical Camera)にもなる。複数のレンズアセンブリーＣＭ１０の一部は、同じレンズ属性（画角、焦点距離、自動焦点、Ｆナンバー(F Number)、光学ズームなど）を有するか、または他のレンズ属性を有することができる。レンズアセンブリーＣＭ１０は、広角レンズまたは望遠レンズを含むことができる。
【0114】
レンズアセンブリーＣＭ１０は、イメージセンサＣＭ３０に備えられる２つのイメージセンサが同じ位置の被写体の光学像を形成するように構成され、及び／またはフォーカス制御されうる。
【0115】
フラッシュＣＭ２０は、被写体から放出または反射する光を強化するために使用される光を放出することができる。フラッシュＣＭ２０は、１つまたは複数の発光ダイオード（RGB(Red-Green-Blue)LED、White LED、Infrared LED、Ultraviolet LEDなど）、及び／またはXenon Lampを含む。
【0116】
イメージスタビライザーＣＭ４０は、カメラモジュールＥＤ８０またはそれを含む電子装置ＣＭ０１の動きに反応して、レンズアセンブリーＣＭ１０に含まれた１つまたは複数個のレンズまたはイメージセンサ１０００を特定の方向に動かすか、イメージセンサ１０００の動作特性を制御（リードアウト(Read-Out)タイミングの調整など）して動きによる否定的な影響が補償されるようにすることができる。イメージスタビライザーＣＭ４０は、カメラモジュールＥＤ８０の内部または外部に配置されたジャイロセンサ（図示せず）または加速度センサ（図示せず）を用いてカメラモジュールＥＤ８０または電子装置ＥＤ０１の動きを感知することができる。イメージスタビライザーＣＭ４０は、光学式によっても具現される。
【0117】
メモリＣＭ５０には、イメージセンサ１０００を介して獲得されたイメージの一部または全体データが次のイメージ処理作業のために保存されうる。例えば、複数のイメージが高速に獲得される場合、獲得された原本データ（ベイヤーパターンデータ、高解像度データなど）は、メモリＣＭ５０に保存され、低解像度イメージのみをディスプレイした後、選択された（ユーザ選択など）イメージの原本データをイメージシグナルプロセッサＣＭ６０に伝達させるのに使用されうる。メモリＣＭ５０は、電子装置ＥＤ０１のメモリＥＤ３０に統合されているか、または独立して運用される別途のメモリで構成されうる。
【0118】
イメージシグナルプロセッサＣＭ６０は、イメージセンサＣＭ３０を介して獲得されたイメージまたはメモリＣＭ５０に保存されたイメージデータに対してイメージ処理を行うことができる。図１ないし図１３で説明したように、イメージセンサＣＭ３０に含まれる２つのイメージセンサが獲得した第１映像（例えば、ＲＧＢ映像）、第２映像（例えば、超分光映像）を処理し、色域が拡大された第３映像を形成することができる。そのために、プロセッサ５００の構成がイメージシグナルプロセッサＣＭ６０に含まれうる。
【0119】
イメージ処理は、それ以外にも、デプスマップ(Depth Map)生成、３次元モデリング、パノラマ生成、特徴点抽出、イメージ合成、及び／またはイメージ補償（ノイズ減少、解像度調整、明るさ調整、ブラーリング(Blurring)、シャープニング(Sharpening)、ソフトニング(Softening)など）を含む。イメージシグナルプロセッサＣＭ６０は、カメラモジュールＥＤ８０に含まれた構成要素（イメージセンサＣＭ３０など）に対する制御（露出時間制御、またはリードアウトタイミング制御など）を行うことができる。イメージシグナルプロセッサＣＭ６０によって処理されたイメージは、追加処理のためにメモリＣＭ５０に再び保存されるか、カメラモジュールＥＤ８０の外部構成要素（メモリＥＤ３０、表示装置ＥＤ６０、電子装置ＥＤ０２、電子装置ＥＤ０４、サーバＥＤ０８など）に提供されうる。イメージシグナルプロセッサＣＭ６０は、プロセッサＥＤ２０に統合されるか、プロセッサＥＤ２０と独立して運用される別途のプロセッサで構成されうる。イメージシグナルプロセッサＣＭ６０がプロセッサＥＤ２０と別途のプロセッサで構成された場合、イメージシグナルプロセッサＣＭ６０によって処理されたイメージは、プロセッサＥＤ２０によって、さらにイメージ処理を経た後、表示装置ＥＤ６０を通じて表示されうる。
【0120】
電子装置ＥＤ０１は、それぞれ異なる属性または機能を有する複数のカメラモジュールＥＤ８０を含んでもよい。そのような場合、複数のカメラモジュールＥＤ８０のうち、１つは、広角カメラで、他の１つは、望遠カメラであってもよい。同様に、複数のカメラモジュールＥＤ８０のうち、１つは、前面カメラで、他の１つは、背面カメラでありうる。
【0121】
【0122】
実施形態による映像獲得装置は、図１６に図示されたモバイルフォンまたはスマートフォン５１００ｍ、図１７に図示されたタブレットまたはスマートタブレット５２００、図１８に図示されたデジタルカメラまたはカムコーダ５３００、図１９に図示されたノート型パソコン５４００、または図２０に図示されたテレビまたはスマートテレビ５５００などに適用されうる。例えば、スマートフォン５１００ｍまたはスマートタブレット５２００は、高解像度イメージセンサがそれぞれ搭載された複数の高解像度カメラを含むことができる。高解像度カメラを用いて映像内の被写体のデプス（depth）情報を抽出するか、映像のアウトフォーカシングを調節するか、映像内の被写体を自動識別することができる。
【0123】
また、映像獲得装置１０００は、図２１に図示されたスマート冷蔵庫５６００、図２２に図示された保安カメラ５７００、図２３に図示されたロボット５８００、図２４に図示された医療用カメラ５９００などに適用されうる。例えば、スマート冷蔵庫５６００は、映像獲得装置１０００を用いて冷蔵庫内にある飲食物を自動認識し、特定飲食物の存否、入庫または出庫された飲食物の種類などを、スマートフォンを介してユーザに知らせることができる。保安カメラ５７００は、超高解像度映像を提供し、高感度を利用して暗い環境でも映像内の事物または人を認識可能にしうる。ロボット５８００は、人が直接接近できない災害または産業現場に投入されて高解像度映像を提供することができる。医療用カメラ５９００は、診断または手術のための高解像度映像を提供し、視野を動的に調節することができる。
【0124】
また、映像獲得装置１０００は、図２５に図示されたように車両６０００に適用されうる。車両６０００は、多様な位置に配置された複数の車両用カメラ６０１０、６０２０、６０３０、６０４０を含み、それぞれの車両用カメラ６０１０、６０２０、６０３０、６０４０は、実施例による映像獲得装置を含む。車両６０００は、複数の車両用カメラ６０１０、６０２０、６０３０、６０４０を用いて車両６０００の内部または周辺に係わる多様な情報を運転者に提供し、映像内の事物または人を自動認識して自律走行に必要な情報を提供することができる。
【0125】
上述した映像獲得装置及びそれを含む電子装置が、たとえ図面に図示された実施形態に基づいて説明されたにしても、それらは、例示的なものに過ぎず、当該分野で通常の知識を有する者であれば、それらにより、多様な変形及び均等な他の実施形態が可能であるという点を理解するであろう。したがって、開示された実施形態は、限定的な観点ではなく説明的な観点で考慮されねばならない。権利範囲は、本明細書において上述した説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての相違点は、権利範囲に含まれていると解釈されねばならない。
【符号の説明】
【0126】
１００ 第１イメージセンサ
１１０ 第１センサ層
１２０ カラーフィルタ
１３０ 第１マイクロレンズアレイ
１９０ 第１イメージング光学系
２００ 第２イメージセンサ
２１０ 第２センサ層
２２０ 分光フィルタ
２３０ 第２マイクロレンズアレイ
２９０ 第２イメージング光学系
３００ メモリ
５００ プロセッサ
７００ 映像出力部
１０００ 映像獲得装置
１１０ 第１センサ層
１２０ カラーフィルタ
１３０ 第１マイクロレンズアレイ
１９０ 第１イメージング光学系
２００ 第２イメージセンサ
２１０ 第２センサ層
２２０ 分光フィルタ
２３０ 第２マイクロレンズアレイ
２９０ 第２イメージング光学系
３００ メモリ
５００ プロセッサ
７００ 映像出力部
１０００ 映像獲得装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
