特開 2022-75562 集積高速映像センサ及びその作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022075562

(43)【公開日】2022-05-18

(54)【発明の名称】集積高速映像センサ及びその作動方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220511BHJP

   H04N 5/225 20060101ALI20220511BHJP

   H04N 5/341 20110101ALI20220511BHJP

   H04N 5/345 20110101ALI20220511BHJP

【ＦＩ】

H04N5/232

H04N5/225 300

H04N5/341

H04N5/345

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2021176123

(22)【出願日】2021-10-28

(31)【優先権主張番号】10-2020-0145530

(32)【優先日】2020-11-03

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2021-0084159

(32)【優先日】2021-06-28

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(71)【出願人】

【識別番号】515140107

【氏名又は名称】成均館大學校 産學協力團

(74)【代理人】

【識別番号】110000671

【氏名又は名称】八田国際特許業務法人

(72)【発明者】

【氏名】金 祐 ▲しょく▼

(72)【発明者】

【氏名】高 鍾 煥

【テーマコード（参考）】

5C024

5C122

【Ｆターム（参考）】

5C024CX55

5C024CY16

5C024CY26

5C024CY45

5C024HX29

5C024JX08

5C122DA04

5C122DA09

5C122DA11

5C122DA14

5C122DA30

5C122EA37

5C122FC01

5C122FC02

5C122FC07

5C122FG03

5C122FG15

5C122FH10

5C122FH12

5C122FH14

5C122FH18

5C122GA01

5C122HA10

5C122HA35

5C122HA86

5C122HA88

5C122HB01

5C122HB02

5C122HB05

(57)【要約】

【課題】集積高速映像センサ及びその作動方法を提供する。
【解決手段】ピクセルアレイ、ピクセルアレイの関心領域及び非関心領域を決定するように構成されたプロセッサ、関心領域映像データを、第１フレーム率でリードアウトして非関心領域映像データを、第２フレーム率でリードアウトするように構成されたアナログ信号処理回路、及び関心領域映像データ及び非関心領域映像データを保存するように構成されたメモリを含む集積高速映像センサである。
【選択図】図３

【特許請求の範囲】

【請求項1】

ピクセルアレイと、
前記ピクセルアレイの関心領域（ＲＯＩ）及び非関心領域（ＲＯＮＩ）を決定するように構成されたプロセッサと、
前記ピクセルアレイの前記関心領域のピクセルの出力信号に基づき、関心領域映像データを、第１フレーム率でリードアウトし、前記ピクセルアレイの前記非関心領域のピクセルの出力信号に基づき、非関心領域映像データを、第２フレーム率でリードアウトするように構成された、アナログ信号処理回路と、
前記関心領域映像データ及び前記非関心領域映像データを保存するように構成されたメモリと、を含む、集積高速映像センサ。

【請求項2】

前記プロセッサは、
アナログ信号プロセシングに基づいて感知された映像フレーム間のモーション、またはデジタル映像プロセシングに基づいて感知された映像フレームのオブジェクトに基づき、前記ピクセルアレイの関心領域を決定するように構成された、請求項１に記載の集積高速映像センサ。

【請求項3】

前記プロセッサは、
デジタル映像プロセシングに基づいて感知された映像フレーム間のモーションに基づき、前記ピクセルアレイの関心領域を決定するように構成された、請求項１に記載の集積高速映像センサ。

【請求項4】

前記プロセッサは、
以前映像フレームの関心領域に基づき、現在映像フレームの関心領域を決定するように構成された、請求項１に記載の集積高速映像センサ。

【請求項5】

前記プロセッサは、
現在映像フレームが、事前に決定された条件を満足すれば、デジタル映像プロセシングに基づいて感知された前記現在映像フレームのオブジェクトに基づき、前記ピクセルアレイの関心領域を決定し、
前記現在映像フレームが、事前に決定された条件を満足しなければ、アナログ信号プロセシングに基づいて感知された、前記現在映像フレームと以前映像フレームとのモーションに基づき、前記ピクセルアレイの関心領域を決定するように構成された、請求項１に記載の集積高速映像センサ。

【請求項6】

前記プロセッサは、
現在映像フレームが、前記第２フレーム率でリードアウトされた前記非関心領域映像データに基づいているならば、デジタル映像プロセシングに基づいて感知された前記現在映像フレームのオブジェクトに基づき、前記ピクセルアレイの関心領域を決定し、
前記現在映像フレームが、前記第２フレーム率でリードアウトされた前記非関心領域映像データに基づいていなければ、アナログ信号プロセシングに基づいて感知された、前記現在映像フレームと以前映像フレームとのモーションに基づき、前記ピクセルアレイの関心領域を決定するように構成された、請求項１に記載の集積高速映像センサ。

【請求項7】

前記アナログ信号処理回路は、
現在映像フレームと以前映像フレームとのモーションを感知するために、前記現在映像フレームに対応する前記ピクセルアレイの出力信号と、前記以前映像フレームに対応する前記ピクセルアレイの出力信号との差を算出するように構成されたモーション感知回路を含む、請求項１に記載の集積高速映像センサ。

【請求項8】

前記関心領域の前記ピクセルのカラムに対応するカラム選択信号を出力するように構成されたカラム選択回路をさらに含み、
前記アナログ信号処理回路は、
前記カラム選択信号に基づき、映像リードアウトするように構成されたリードアウト回路を含む、請求項１に記載の集積高速映像センサ。

【請求項9】

前記プロセッサは、
機械学習に基づき、映像フレームのオブジェクトを感知するように構成された、請求項１に記載の集積高速映像センサ。

【請求項10】

前記プロセッサは、
前記関心領域映像データと前記非関心領域映像データとを結合し、全体領域映像データを生成するように構成された、請求項１に記載の集積高速映像センサ。

【請求項11】

前記プロセッサは、
映像整合に基づき、前記全体領域映像データを生成するように構成された、請求項１０に記載の集積高速映像センサ。

【請求項12】

前記プロセッサは、
前記関心領域映像データ及び前記全体領域映像データが選択的に出力可能になるように構成された、請求項１０に記載の集積高速映像センサ。

【請求項13】

前記プロセッサは、
前記関心領域映像データ及び前記非関心領域映像データが連続されるように、前記関心領域映像データまたは前記非関心領域映像データを補正するように構成された、請求項１に記載の集積高速映像センサ。

【請求項14】

前記プロセッサは、前記関心領域映像データまたは前記非関心領域映像データを圧縮するように構成され、
前記メモリは、前記圧縮された関心領域映像データ、または前記圧縮された非関心領域映像データを保存するように構成された、請求項１に記載の集積高速映像センサ。

【請求項15】

前記プロセッサは、
映像フレーム間のモーションに基づき、前記関心領域映像データを圧縮するように構成された、請求項１に記載の集積高速映像センサ。

【請求項16】

前記プロセッサは、
前記メモリに保存された前記関心領域映像データまたは前記非関心領域映像データを読み取り、
前記読み取られた関心領域映像データ、または前記読み取られた非関心領域映像データの圧縮を解除するように構成された、請求項１に記載の集積高速映像センサ。

【請求項17】

前記プロセッサは、
前記関心領域の大きさが、事前に決定された最大サイズより小さいように、前記関心領域を決定し、
前記最大サイズは、前記第１フレーム率に反比例する、請求項１に記載の集積高速映像センサ。

【請求項18】

単一チップシステムである、請求項１に記載の集積高速映像センサ。

【請求項19】

ピクセルアレイの関心領域及び非関心領域を決定する段階と、
前記ピクセルアレイの前記関心領域のピクセルの出力信号に基づき、関心領域映像データを、第１フレーム率でリードアウトする段階と、
前記ピクセルアレイの前記非関心領域のピクセルの出力信号に基づき、非関心領域映像データを、第２フレーム率でリードアウトする段階と、
前記関心領域映像データ及び前記非関心領域映像データを保存する段階と、を含む、集積高速映像センサの作動方法。

【請求項20】

前記ピクセルアレイの関心領域及び非関心領域を決定する段階は、
アナログ信号プロセシングに基づいて感知された映像フレーム間のモーション、またはデジタル映像プロセシングに基づいて感知された映像フレームのオブジェクトに基づき、前記ピクセルアレイの関心領域を決定する段階を含む、請求項１９に記載の集積高速映像センサの作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、集積高速映像センサ及びその作動方法に関する。

【背景技術】

【0002】

高速映像センサ（high-speed image sensor）は、高いフレーム率（frame rate）、または短い露出時間（exposure time）で映像（image）をキャプチャすることができるセンサである。例えば、９６０フレーム／ｓの最大フレーム率を有する高速映像センサは、３０フレーム／ｓの最大フレーム率を有する一般映像センサ（normal image sensor）より３２倍速い速度で映像をキャプチャすることができる。

【0003】

一般的に、該映像センサは、ロウ単位でピクセルの出力信号をリードアウトする。全ロウの出力信号を順次にリードアウトするのに必要となる時間により、該高速映像センサの最大フレーム率が限定されうる。

【0004】

ロウ単位でピクセルの出力信号をリードアウトするのに必要となる時間を補償するために、ピクセルビニング（binning）などを介し、複数ロウで出力信号をリードアウトする方法がある。しかし、該方法には、映像の解像度が低下してしまうという問題がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、集積高速映像センサ及びその作動方法を提供するところにある。本実施形態がなすべき技術的課題は、前述のような技術的課題に限定されるものではなく、以下の実施形態から他の技術的課題が類推されうる。

【課題を解決するための手段】

【0006】

一側面によれば、集積高速映像センサは、ピクセルアレイと、前記ピクセルアレイの関心領域（ＲＯＩ：region of interest）及び非関心領域（ＲＯＮＩ：region of non-interest）を決定するように構成されたプロセッサと、前記ピクセルアレイの前記関心領域のピクセルの出力信号に基づき、関心領域映像データを、第１フレーム率でリードアウトし、前記ピクセルアレイの前記非関心領域のピクセルの出力信号に基づき、非関心領域映像データを、第２フレーム率でリードアウトするように構成されたアナログ信号処理回路（analog signal processing circuit）と、前記関心領域映像データ及び前記非関心領域映像データを保存するように構成されたメモリと、を含む。

【0007】

他の側面によれば、集積高速映像センサの作動方法は、ピクセルアレイの関心領域及び非関心領域を決定する段階と、前記ピクセルアレイの前記関心領域のピクセルの出力信号に基づき、関心領域映像データを、第１フレーム率でリードアウトする段階と、前記ピクセルアレイの前記非関心領域のピクセルの出力信号に基づき、非関心領域映像データを、第２フレーム率でリードアウトする段階と、前記関心領域映像データ及び前記非関心領域映像データを保存する段階と、を含む。

【図面の簡単な説明】

【0008】

【図1】一実施形態による集積高速映像センサを示す図面である。

【図2】一実施形態による、集積高速映像センサのコンポーネントについて説明するための図面である。

【図3】一実施形態による、集積高速映像センサのコンポーネントについて説明するための図面である。

【図4】一実施形態による映像リードアウトについて説明するための図面である。

【図5】一実施形態による、ピクセルアレイの関心領域について説明するための図面である。

【図6】一実施形態によって、アナログ信号プロセシングに基づき、映像フレーム間のモーションを感知することについて説明するための図面である。

【図7】一実施形態によって、デジタル映像プロセシングに基づいて感知された映像フレームのオブジェクトに基づき、ピクセルアレイの関心領域を決定することについて説明するための図面である。

【図8】一実施形態によって、プロセッサがアドレスに基づき、ピクセルアレイの関心領域を決定することについて説明するための図面である。

【図9】一実施形態によって、プロセッサがピクセルアレイの関心領域の大きさを決定することについて説明するための図面である。

【図10】一実施形態によって、プロセッサがアナログ信号プロセシングまたはデジタル映像プロセシングに基づき、ピクセルアレイの関心領域を決定することについて説明するための図面である。

【図11】一実施形態による、集積高速映像センサによって生成された映像データを示す図面である。

【図12】一実施形態による、関心領域映像データ及び非関心領域映像データを結合し、全体領域映像データを生成する方法について説明するための図面である。

【図13】一実施形態によって、映像データを圧縮して保存すること及び読み取られた映像データを圧縮解除することについて説明するための図面である。

【図14】一実施形態による、集積高速映像センサの作動方法を示すフローチャートである。

【図15】一実施形態による映像センサの概略的なブロック図である。

【図16】映像センサを含む電子装置の一例を示すブロック図である。

【図17】図１６のカメラモジュールを例示するブロック図である。

【図18】映像センサが適用されうるプラットホームを例示する図面である。

【図19】映像センサが適用されうるプラットホームを例示する図面である。

【図20】映像センサが適用されうるプラットホームを例示する図面である。

【図21】映像センサが適用されうるプラットホームを例示する図面である。

【図22】映像センサが適用されうるプラットホームを例示する図面である。

【図23】映像センサが適用されうるプラットホームを例示する図面である。

【図24】映像センサが適用されうるプラットホームを例示する図面である。

【図25】映像センサが適用されうるプラットホームを例示する図面である。

【図26】映像センサが適用されうるプラットホームを例示する図面である。

【図27】映像センサが適用されうるプラットホームを例示する図面である。

【発明を実施するための形態】

【0009】

本実施形態で使用される用語は、可能な限り、現在汎用される一般的な用語を選択したが、それらは、当分野の当業者の意図、判例、または新たな技術の出現などによっても異なる。また、特定の場合は、出願人が任意に選定した用語もあり、その場合、当該説明部分において、詳細にその意味を記載する。従って、明細書で使用される用語は、単純な用語の名称ではなく、その用語が有する意味と、明細書の全般にわたる内容とを基に定義されなければならない。

【0010】

本実施形態で使用される「構成される」または「含む」のような用語は、明細書上に記載されたさまざまな構成要素、またはさまざまな段階を必ずいずれも含むものであると解釈されるものではなく、そのうちの一部構成要素または一部段階は、含まれず、あるいは追加される構成要素または段階をさらに含んでもよいと解釈されなければならない。

【0011】

以下においては、添付図面を参照し、本実施形態について詳細に説明する。しかし、本実施形態は、さまざまに異なる形態にも具現され、ここで説明する例に限定されるものではない。

【0012】

図１は、一実施形態による集積高速映像（image）センサを示す。

【0013】

一実施形態において、集積高速映像センサ１００は、ピクセルレイヤ１１０、メモリレイヤ１２０及びロジックレイヤ１３０を含む。集積高速映像センサ１００は、単一チップシステム（system on chip）でもある。該単一チップシステムとして具現されるとき、各レイヤが水平構造または垂直構造にも配列される。また、該ロジックレイヤは、機能によって分離され、互いに異なる位置に配されても構成される。例えば、レイヤ１１０，１２０，１３０がＴＳＶ（through silicon via）によって連結されることにより、集積高速映像センサ１００が単一チップシステムとしても具現されるが、それに限定されるものではない。

【0014】

ピクセルレイヤ１１０は、映像をキャプチャするようにも構成される。ピクセルレイヤ１１０は、ＣＣＤ（charge coupled device）またはＣＭＯＳ（complementary metal oxide semiconductor）に基づくピクセルアレイを含んでもよい。

【0015】

メモリレイヤ１２０は、映像データを保存するようにも構成される。集積高速映像センサ１００にメモリレイヤ１２０が組み込まれているので、集積高速映像センサ１００は、映像データ及び／またはプログラムを保存することができる容量を有するメモリを含むことができる。

【0016】

ロジックレイヤ１３０は、ピクセルレイヤ１１０及びメモリレイヤ１２０の作動を制御し、デジタル映像処理（digital image processing）を遂行することができるようにも構成される。ロジックレイヤ１３０は、デジタル信号処理のためのプロセッサ、及びアナログ信号処理のためのアナログ信号処理回路（analog signal processing circuit）を含んでもよい。

【0017】

集積高速映像センサ１００は、ピクセルレイヤ１１０に集積されたメモリレイヤ１２０及びロジックレイヤ１３０を含むことにより、多様な作動を遂行することができる。例えば、ロジックレイヤ１３０は、メモリレイヤ１２０に保存された映像データを読み取り、映像整合（image registration）、オブジェクト感知などを行うことができる。他の例を挙げれば、ロジックレイヤ１３０は、関心領域映像データ（ＲＯＩ（region of interest） image data）と非関心領域映像データ（ＲＯＮＩ（region of non-interest） image data）が、互いに異なるフレーム率（frame rate）によっても獲得されるように、ピクセルレイヤ１１０を制御することができる。

【0018】

集積高速映像センサ１００は、デジタルカメラ、スマートフォン、ＰＣ（personal computer）、ラップトップ、ポータブルデバイス（portable device）、ウェアラブルデバイス（wearable device）、車両のような多様なプラットホームにも利用される。

【0019】

図２は、一実施形態による、集積高速映像センサのコンポーネントについて説明するための図面である。

【0020】

一実施形態による集積高速映像センサ２００は、ピクセルアレイ２１０、プロセッサ２２０、メモリ２３０及びアナログ信号処理回路２４０を含む。図２には、図示されていないが、集積高速映像センサ２００は、ロウ選択回路及びカラム選択回路のような他のアナログ回路をさらに含んでもよい。

【0021】

ピクセルアレイ２１０は、映像をキャプチャするようにも構成される。一実施形態において、ピクセルアレイ２１０は、ＣＭＯＳトランジスタとして具現され、集積高速映像センサ２００は、ＣＩＳ（ＣＭＯＳ image sensor）に分類される。しかし、それに限定されるものではなく、他の実施形態において、集積高速映像センサ２００がＣＣＤ映像センサとしても具現されるということは、当業者に自明であろう。

【0022】

プロセッサ２２０は、ピクセルアレイ２１０の関心領域（ＲＯＩ）を決定し、デジタル映像プロセシングを行うようにも構成される。また、プロセッサ２２０は、ピクセルアレイ２１０の非関心領域（ＲＯＮＩ）を決定することができる。このとき、ピクセルアレイ２１０の非関心領域を決定することは、ピクセルアレイ２１０の関心領域を決定することにより、残り領域が非関心領域と見なされることを含む。

【0023】

プロセッサ２２０は、多数の論理ゲートのアレイでもっても具現される。また、プロセッサ２２０は、マイクロプロセッサと、該マイクロプロセッサで実行されうるプログラムが保存されたメモリとの組み合わせによっても具現される。また、プロセッサ２２０は、機械学習（machine learning）を行うように構成されたハードウェアアクセラレータ（hardware accelerator）を含んでもよい。

【0024】

なお、プロセッサ２２０は、少なくとも１つのプロセッサ（または、プロセシングユニット）を含んでも具現される。また、それと異なる形態のハードウェア構成により、プロセッサ２２０が具現されうるということは、本実施形態が属する技術分野で当業者であるならば、理解することができるであろう。

【0025】

メモリ２３０は、映像データを保存するようにも構成される。メモリ２３０は、ピクセルアレイ２１０によってキャプチャされた映像データ、及びプロセッサ２２０によってデジタル映像プロセシングされた映像データを保存するようにも構成される。例えば、メモリ２３０は、ＧＢの容量を有するようにも具現される。例えば、メモリ２３０は、ＤＲＡＭ（dynamic random access memory）によっても具現されるが、それに制限されるものではない。

【0026】

アナログ信号処理回路２４０は、ピクセルアレイ２１０の関心領域のピクセルの出力信号に基づき、関心領域映像データを、第１フレーム率でリードアウトし、ピクセルアレイ２１０の全体領域のピクセルの出力信号に基づき、全体領域映像データを、第２フレーム率でリードアウトするようにも構成される。

【0027】

また、アナログ信号処理回路２４０は、ピクセルアレイ２１０の関心領域のピクセルの出力信号に基づき、関心領域映像データを、第１フレーム率でリードアウトし、ピクセルアレイ２１０の非関心領域のピクセルの出力信号に基づき、非関心領域映像データを、第２フレーム率でリードアウトするようにも構成される。

【0028】

一実施形態において、ピクセルアレイ２１０の非関心領域は、ピクセルアレイ２１０の関心領域を除いた残り領域を指称する。他の実施形態において、該非関心領域が、ピクセルアレイの関心領域と異なるサブ領域でもあるということは、当業者に自明であろう。

【0029】

一実施形態において、ピクセルアレイ２１０の関心領域は、映像の関心領域に対応し、ピクセルアレイ２１０の非関心領域は、映像の非関心領域に対応する。すなわち、ピクセルアレイ２１０の関心領域のピクセルの出力信号がリードアウトされることにより、関心領域映像データが出力され、ピクセルアレイ２１０の非関心領域のピクセルの出力信号がリードアウトされることにより、非関心領域映像データが出力される。

【0030】

第１フレーム率は、第２フレーム率よりも高い。例えば、該第１フレーム率は、高速フレーム率（high-speed frame rate）でもあり、該第２フレーム率は、ノーマルフレーム率（normal frame rate）でもある。他の例を挙げれば、該第１フレーム率は、さらに高い高速フレームでもあり、第第２フレーム率は、さらに低い高速フレーム率でもある。例えば、該第１フレーム率は、２４０フレーム／ｓであり、該第２フレーム率は、３０フレーム／ｓであるか、あるいは該第１フレーム率は、４８０フレーム／ｓであり、該第２フレーム率は、２４０フレーム／ｓでもあるが、それらに制限されるものではない。

【0031】

ピクセルアレイ２１０の関心領域のピクセルの出力信号が、第１フレーム率でリードアウトされることにより、関心領域映像データが第１フレーム率で獲得される。また、ピクセルアレイ２１０の非関心領域のピクセルの出力信号が第２フレーム率でリードアウトされることにより、非関心領域映像データが第２フレーム率で獲得される。

【0032】

一実施形態において、アナログ信号処理回路２４０は、映像データ及びモーション（motion）感知信号を、プロセッサ２２０及び／またはメモリ２３０に伝達する。プロセッサ２２０は、映像データ及びモーション感知信号に基づき、関心領域を決定する。プロセッサ２２０は、関心領域映像データが第１フレーム率でキャプチャされ、非関心領域映像データが第２フレーム率でキャプチャされうるように、ピクセルアレイ２１０及び／またはアナログ信号処理回路２４０を制御する。

【0033】

図３は、一実施形態による、集積高速映像センサのコンポーネントについて説明するための図面である。

【0034】

一実施形態による集積高速映像センサ３００は、ピクセルアレイ３１０、プロセッサ３２０、メモリ３３０、ロウ選択回路３５１、カラム選択回路３５２及びアナログ信号処理回路を含む。一実施形態によるアナログ信号処理回路は、モーション感知回路３４０及びリードアウト回路３６０を含む。

【0035】

プロセッサ３２０は、アナログ信号プロセシングに基づいて感知された映像フレーム間のモーション、またはデジタル映像プロセシングに基づいて感知された映像フレームのオブジェクト（object）に基づき、ピクセルアレイ３１０の関心領域を決定するようにも構成される。また、プロセッサ３２０は、第１フレーム率及び第２フレーム率を決定するようにも構成される。一実施形態において、ピクセルアレイ３１０の非関心領域は、関心領域を除いた領域に決定される。

【0036】

ロウ選択回路３５１は、プロセッサ３２０によって決定された関心領域、並びに第１フレーム率及び第２フレーム率に基づき、ロウ単位でピクセルを活性化させるように構成される。

【0037】

カラム選択回路３５２は、プロセッサ３２０によって決定された関心領域、並びに第１フレーム率及び第２フレーム率に基づき、リードアウトのためのカラム選択信号を出力するようにも構成される。

【0038】

リードアウト回路３６０は、カラム選択信号に基づき、映像リードアウトを行うようにも構成される。具体的には、リードアウト回路３６０は、カラム選択信号に基づき、全体カラムのピクセルの出力信号、非関心領域のピクセルの出力信号、または関心領域のカラムのピクセルの出力信号をリードアウトするようにも構成される。

【0039】

モーション感知回路３４０は、アナログ信号プロセシングに基づき、映像フレーム間のモーションを感知するようにも構成される。具体的には、モーション感知回路３４０は、現在映像フレームのピクセルアレイの出力信号（すなわち、電圧信号）と、以前映像フレームのピクセルアレイの出力信号との差に基づき、現在映像フレームと以前映像フレームとのモーションを示すモーション感知信号を出力するようにも構成される。

【0040】

集積高速映像センサ３００は、タイミング生成回路（timing generating circuit）をさらに含んでもよい。ロウ選択回路３５１、カラム選択回路３５２、モーション感知回路３４０及び／またはリードアウト回路３６０は、一連の作業を順次に遂行するように、該タイミング生成回路によっても制御される。他の実施形態において、該タイミング生成回路がプロセッサ３２０で代替されうるということは、当業者に自明であろう。

【0041】

プロセッサ３２０は、モーション感知回路３４０から受信したモーション感知信号に基づき、ピクセルアレイ３１０の関心領域を決定することができる。または、プロセッサ３２０は、リードアウト回路３６０から受信した映像データに基づき、ピクセルアレイ３１０の関心領域を決定することができる。

【0042】

メモリ３３０は、リードアウト回路３６０が出力する映像データを保存することができる。また、メモリ３３０は、プロセッサ３２０によって処理された映像データ、またはプロセッサ３２０によって実行されるプログラムを保存することができる。

【0043】

メモリ３３０は、以前映像フレームを保存することができる。メモリ３３０は、以前映像フレームの全体または一部を保存することができる。プロセッサ３２０は、デジタルプロセシングを使用し、以前映像フレームの全体または一部を、現在映像フレームの全体または一部と比較することにより、モーション感知、またはオブジェクトの感知及び追跡を遂行することができる。また、メモリ３３０は、以前映像フレームの関心領域の位置情報を保存することができる。プロセッサ３２０は、以前映像フレームの関心領域の位置情報を参照し、現在映像フレームの関心領域を決定することができる。

【0044】

図４は、一実施形態による映像リードアウトについて説明するための図面である。

【0045】

ロウ選択回路４３１によって選択されたロウのピクセル４１０が活性化されうる。ピクセル４１０は、光に対応する電圧を出力信号Ｖｏｕｔとして出力することができる。ピクセル４１０の出力信号Ｖｏｕｔは、モーション感知回路４２０及びリードアウト回路４４０にも伝達される。

【0046】

モーション感知回路４２０は、現在映像フレームの出力信号と、以前映像フレームの出力信号とを比較することにより、モーション感知信号Ｍｏｔ＿Ｄｅｔを出力することができる。

【0047】

モーション感知回路４２０に、特定領域のピクセルの出力信号だけ伝達されうる。例えば、ピクセル４１０の出力ノードと、モーション感知回路４２０の入力ノードとの間に、カラム選択信号Ｃｏｌ＿Ｓｅｌに基づいて作動するスイッチが配されることにより、モーション感知回路４２０に、特定領域のピクセルの出力信号だけ伝達されうる。該特定領域は、関心領域でもあり、該関心領域及びその周辺領域でもあるが、それらに制限されるものではない。

【0048】

カラム選択回路４３２は、関心領域映像データがリードアウトされるように、関心領域のピクセルのカラムに対応するカラム選択信号Ｃｏｌ＿Ｓｅｌを出力することができる。または、カラム選択回路４３２は、全体領域映像データがリードアウトされるように、全体カラムに対応するカラム選択信号Ｃｏｌ＿Ｓｅｌを出力することができる。または、カラム選択回路４３２は、非関心領域映像データがリードアウトされるように、非関心領域のピクセルのカラムに対応するカラム選択信号Ｃｏｌ＿Ｓｅｌを出力することができる。

【0049】

リードアウト回路４４０は、カラム選択信号Ｃｏｌ＿Ｓｅｌに基づき、関心領域映像データ、非関心領域映像データまたは全体領域映像データをリードアウトすることができる。また、リードアウト回路４４０は、カラム選択信号Ｃｏｌ＿Ｓｅｌに基づき、第１フレーム率で関心領域映像データをリードアウトし、第２フレーム率で非関心領域映像データまたは全体領域映像データをリードアウトすることができる。リードアウト回路４４０から出力された映像データＤｏｕｔは、プロセッサ及び／またはメモリにも伝達される。

【0050】

リードアウト回路４４０のＣＤＳ（correlated double sampling）回路及びＡＤＣ（analog-to-digital converter）は、カラム選択信号Ｃｏｌ＿Ｓｅｌに基づき、関心領域のカラムのピクセルの出力信号、非関心領域のカラムのピクセルの出力信号、または全体カラムのピクセルの出力信号をダブルサンプリングして変換するようにも構成される。ただし、該ＣＤＳ回路が並列にダブルサンプリングを行うとき、関心領域のカラムのピクセルの出力信号をダブルサンプリングするのに必要となる時間と、全体カラムのピクセルの出力信号をダブルサンプリングするのに必要となる時間とに差がない。従って、該ＣＤＳ回路は、カラム選択信号Ｃｏｌ＿Ｓｅｌと係わりなく、全体カラムのピクセルの出力信号をダブルサンプリングするようにも構成される。該ＡＤＣも、ＣＤＳ回路と同様にも構成される。

【0051】

リードアウト回路４４０のメモリ及びラッチは、カラム選択信号Ｃｏｌ＿Ｓｅｌに基づき、デジタイズされた（digitized）関心領域のカラムのピクセルの出力信号、デジタイズされた非関心領域のカラムのピクセルの出力信号、またはデジタイズされた全体カラムのピクセルの出力信号を読み取ってラッチするようにも構成される。例えば、リードアウト回路４４０は、複数のメモリを含み、カラム選択信号Ｃｏｌ＿Ｓｅｌによって選択されたメモリから読み取られた映像データがラッチされ、プロセッサにも伝達される。例えば、リードアウト回路４４０のメモリは、ＳＲＡＭ（static random access memory）でもあるが、それに限定されるものではない。

【0052】

図４において、リードアウト回路４４０は、ＣＤＳ回路、ＡＤＣ、メモリ及びラッチによっても具現されるが、それらに制限されるものではない。例えば、リードアウト回路４４０は、ＡＤＣの出力端子と電気的に連結されたＣＤＳ回路をさらに含むか、あるいはＰＧＡ（programmable gain amplifier）などを含んでもよい。他の例を挙げれば、リードアウト回路４４０は、並列に連結されたＣＤＳ回路と、直列に連結されたＡＤＣとを含むようにも構成される。

【0053】

図５は、一実施形態による、ピクセルアレイの関心領域について説明するための図面である。

【0054】

図５において暗い領域は、ピクセルアレイの関心領域を示す。ロウ選択回路及びカラム選択回路により、多様な形態の関心領域が具現されうる。

【0055】

例えば、ロウ選択回路によって活性化されたｉ番目ロウのピクセルにつき、カラム選択回路により、ｎ番目カラム～（ｎ＋４）番目カラムのピクセルの出力信号がリードアウトされ、活性化された（ｉ＋１）番目ロウのピクセルにつき、ｎ番目カラム～（ｎ＋５）番目カラムのピクセルの出力信号がリードアウトされ、活性化された（ｉ＋２）番目ロウのピクセルにつき、（ｎ＋１）番目カラム～（ｎ＋５）番目カラムのピクセルの出力信号がリードアウトされ、活性化された（ｉ＋３）番目ロウのピクセルにつき、（ｎ＋２）番目カラム～（ｎ＋６）番目カラムのピクセルの出力信号がリードアウトされうる。

【0056】

すなわち、ロウ単位でピクセルを選択的に活性化させ、カラム単位でピクセルの出力信号を選択的にリードアウトすることが可能であるので、多様な形態の関心領域が具現されうる。

【0057】

図６は、一実施形態によって、アナログ信号プロセシングに基づき、映像フレーム間のモーションを感知することについて説明するための図面である。

【0058】

説明の便宜のために、図６に、１つのピクセル６１０と電気的に連結されたモーション感知回路６２０が図示されており、モーション感知回路６２０は、ピクセルアレイの複数のピクセルとも電気的に連結される。

【0059】

モーション感知回路６２０は、現在映像フレームに対応するピクセルアレイの出力信号と、以前映像フレームに対応するピクセルアレイの出力信号とに基づき、現在映像フレームと以前映像フレームとのモーションを感知するようにも構成される。このとき、ピクセルアレイの出力信号は、電圧でもある。

【0060】

一実施形態において、ピクセル６１０は、以前映像フレームに対応する出力信号を保存するようにも構成される。例えば、ピクセル６１０は、以前映像フレームに対応する出力信号を保存するためのキャパシタのようなアナログメモリを含んでもよい。他の例を挙げれば、ピクセル６１０は、さらなるアナログメモリなしに、以前映像フレームに対応する出力信号を保存するようにも構成される。そのために、ピクセル６１０は、デュアルウェル構造またはデュアルピクセル構造などを有することができる。

【0061】

モーション感知回路６２０は、現在映像フレームに対応する出力信号Ｖｃｕｒｒｅｎｔと、以前映像フレームに対応する出力信号Ｖｐｒｅｖとの差を算出し、算出された差Ｖｄｉｆｆを基準値Ｖｒｅｆと比較するようにも構成される。例えば、モーション感知回路６２０は、算出された差Ｖｄｉｆｆを、正の基準値、及び負の基準値と比較するようにも構成される。

【0062】

モーション感知回路６２０は、差Ｖｄｉｆｆと基準値Ｖｒｅｆとの比較結果に基づき、モーション感知信号を出力することができる。モーション感知信号は１ビット信号でもある。例えば、該モーション感知信号は、差Ｖｄｉｆｆが基準値Ｖｒｅｆより小さければ、０、差Ｖｄｉｆｆが基準値Ｖｒｅｆより大きければ、１の値を有する１ビット信号でもある。他の例を挙げれば、モーション感知信号は、差Ｖｄｉｆｆが正の基準値より小さく、負の基準値より大きければ、０、差Ｖｄｉｆｆが正の基準値より大きく、負の基準値より小さければ、１の値を有する１ビット信号でもある。

【0063】

モーション感知回路６２０は、モーション感知信号をプロセッサに伝達することができる。該プロセッサは、モーション感知信号に基づき、ピクセルアレイの関心領域を決定することができる。

【0064】

モーション感知回路６２０がピクセルアレイの出力信号から、映像フレーム間のモーションを感知するように構成されるので、高速でモーションが感知されうる。

【0065】

図７は、一実施形態によって、デジタル映像プロセシングに基づいて感知された映像フレームのオブジェクトに基づき、ピクセルアレイの関心領域を決定することについて説明するための図面である。

【0066】

プロセッサは、デジタル映像プロセシングに基づき、映像フレームのオブジェクトを感知したり追跡したりすることができる。該デジタル映像プロセシングには、機械学習、映像クラスタリング（image clustering）、カーネルに基づくオブジェクト感知（kernel based object detection）のようなアルゴリズムが利用され、それ以外にも、オブジェクトの感知または追跡に使用される多様なアルゴリズムが使用されうるということは、当業者に自明であろう。例えば、該プロセッサは、ニューラルネットワークに基づき、映像フレームにおいて、オブジェクトを認識（recognition）することにより、オブジェクトを感知したり追跡したりすることができる。

【0067】

該プロセッサは、デジタル映像プロセシングに基づき、モーションを感知することができる。検出されたモーションは、動きがあるか、あるいはないかということを示すバイナリ情報でもある。または、画素レベル値の変化量を測定することにより、モーションの大きさが設定されうる。すなわち、画素値の変化が大きい場合、モーションの大きさが大きくなり、画素値の変化が小さい場合、モーションの大きさが小さくなる。

【0068】

該プロセッサは、デジタル映像プロセシングに基づき、フレーム全体につき、モーション感知を行うことができる。または、該プロセッサは、特定領域につき、モーション感知を行うことができる。該プロセッサが、オブジェクトの感知または追跡を行った場合、該特定領域は、オブジェクトを含む領域にも設定される。または、該特定領域は、以前映像の関心領域を含む領域にも設定される。

【0069】

該プロセッサは、オブジェクトの感知または追跡に基づき、映像フレーム７１０の関心領域７１１を決定することができる。該プロセッサは、映像フレームの関心領域７１１に対応するピクセルアレイ７２０のピクセルのアドレスを獲得することにより、ピクセルアレイ７２０の関心領域７２１を決定することができる。

【0070】

該プロセッサは、以前映像フレームの関心領域に基づき、現在映像フレームの関心領域を決定するようにも構成される。該プロセッサは、以前映像フレームの関心領域を中心に、その周辺につき、モーション感知、オブジェクトの感知または追跡を行うことにより、現在映像フレームの関心領域を決定することができる。それを介し、演算量を減らしながら、正確度及び連続性を高くすることができる。

【0071】

以前映像フレームの関心領域の位置情報は、メモリに保存されても使用される。メモリに保存される関心領域の位置情報は、任意の形態を有する関心領域を正確に示すことができる。あるいは、保存される情報量を減らすために、関心領域を含む大体の領域を示すことができる。例えば、任意の形態を含む長方形状のバウンディングボックスで示すことができる。

【0072】

図８は、一実施形態によって、プロセッサがアドレスに基づき、ピクセルアレイの関心領域を決定することについて説明するための図面である。

【0073】

該プロセッサは、モーション感知回路から受信したモーション感知信号に基づき、映像フレーム間において、モーションが感知されたピクセルのアドレスを獲得することができる。また、該プロセッサは、映像フレームの関心領域に対応するピクセルのアドレスを獲得することができる。

【0074】

該プロセッサは、獲得されたピクセルのアドレスに基づき、ピクセルアレイの関心領域を決定することができる。該プロセッサは、獲得されたアドレスが示すピクセルを、ピクセルアレイの関心領域に決定するか、獲得されたアドレスが示すピクセルのうち、一部ピクセルをピクセルアレイの関心領域に決定するか、あるいは獲得されたアドレスが示すピクセル、及びその周辺ピクセルをピクセルアレイの関心領域に決定することができる。

【0075】

例えば、該プロセッサは、獲得されたアドレスが示すピクセル８１０と、その周辺ピクセルとを、ピクセルアレイの関心領域８２０に決定することができる。

【0076】

図９は、一実施形態によって、プロセッサがピクセルアレイの関心領域の大きさを決定することについて説明するための図面である。

【0077】

該プロセッサは、ピクセルアレイの関心領域の大きさが、事前に決定された最大サイズより小さいように、ピクセルアレイの関心領域を決定することができる。

【0078】

該プロセッサは、リードアウトに必要となる時間及び資源、メモリの保存容量、プロセシングに割り当てられた資源などを考慮し、集積高速映像センサが、事前に決定されたフレーム率で作動可能になるように、最大サイズを決定することができる。

【0079】

該プロセッサは、最大サイズが、第１フレーム率に反比例するように決定することができる。例えば、該第１フレーム率が上昇すれば、最大サイズが低減するように、該プロセッサは、最大サイズを決定することができる。関心領域の大きさが最大サイズに決定されるとき、第１フレーム率と、関心領域の大きさとが反比例するのである。

【0080】

ピクセルアレイの関心領域の大きさが最大サイズに限定されることにより、集積高速映像センサが、事前に決定されたフレーム率で作動することが保証されうる。また、割り当てられた資源などを考慮し、最大サイズを変更させることにより、適応的に、事前に決定されたフレーム率を維持することが可能である。

【0081】

図１０は、一実施形態によって、プロセッサがアナログ信号プロセシングまたはデジタル映像プロセシングに基づき、ピクセルアレイの関心領域を決定することについて説明するための図面である。

【0082】

オブジェクトに基づき、ピクセルアレイの関心領域を決定するために、映像フレームにおいて、オブジェクトを感知するデジタル映像プロセシング後、ピクセルアレイの関心領域７２１が決定される。一方、モーションに基づき、ピクセルアレイの関心領域を決定するために、ピクセルアレイの出力信号から、直接モーションが感知される。

【0083】

映像データのリードアウト、デジタル映像プロセシングなどに必要となる時間により、オブジェクトに基づくピクセルアレイの関心領域の決定に必要となる時間は、モーションに基づくピクセルアレイの関心領域の決定に必要となる時間よりも長くなる。なお、デジタル映像プロセシングに基づいてオブジェクトが感知されるので、オブジェクト感知に基づく関心領域の信頼度が、モーション感知に基づく関心領域の信頼度よりも高くなり得る。

【0084】

プロセッサは、関心領域の決定に必要となる時間及び信頼度を考慮し、ピクセルアレイの関心領域を決定することができる。

【0085】

１０１０段階において、プロセッサは、現在映像フレームが、事前に決定された条件を満足するか否かということかを判断することができる。例えば、現在映像フレームがキーフレームである場合、事前に決定された条件が満足されうる。このとき、該キーフレームは、事前に決定された順序でキャプチャされた映像フレームであるか、事前に決定されたフレーム率でキャプチャされた映像フレームであるか、あるいはモーションが最大サイズ以上の領域で感知された映像フレームでもあるが、それらに限定されるものではない。

【0086】

１０２０段階において、プロセッサは、現在映像フレームが、事前に決定された条件を満足すれば、デジタル映像プロセシングに基づいて感知された現在映像フレームのオブジェクトに基づき、ピクセルアレイの関心領域を決定することができる。該プロセッサは、デジタル映像プロセシングに基づき、ピクセルアレイの関心領域を決定することにより、該関心領域の信頼度を高くすることができる。

【0087】

１０３０段階において、プロセッサは、現在映像フレームが、事前に決定された条件を満足しなければ、アナログ信号プロセシングに基づいて感知された、現在映像フレームと以前映像フレームとのモーションに基づき、ピクセルアレイの関心領域を決定するようにも構成される。該プロセッサは、モーションが感知された領域として、ピクセルアレイの関心領域を決定してもよい。該プロセッサは、多数の映像フレームについて、アナログ信号プロセシングに基づき、ピクセルアレイの関心領域を決定することにより、関心領域の決定に必要となる時間を短縮させることができる。

【0088】

他の実施形態において、プロセッサは、現在映像フレームが、第２フレーム率でリードアウトされたキーフレームまたは非関心領域映像データに基づいているならば、デジタル映像プロセシングに基づいて感知された現在映像フレームのオブジェクトに基づき、ピクセルアレイの関心領域を決定することができる。

【0089】

または、プロセッサは、現在映像フレームが、第２フレーム率でリードアウトされたキーフレームまたは非関心領域映像データに基づいていなければ、アナログ信号プロセシングに基づいて感知された、現在映像フレームと以前映像フレームとのモーションに基づき、ピクセルアレイの関心領域を決定することができる。

【0090】

すなわち、他の実施形態において、プロセッサは、関心領域映像データだけリードアウトされる場合には、アナログ信号プロセシングに基づき、ピクセルアレイの関心領域を決定し、関心領域映像データ及び非関心領域映像データがリードアウトされる場合には、デジタル映像プロセシングに基づき、ピクセルアレイの関心領域を決定することができる。

【0091】

プロセッサは、関心領域の大きさが、事前に設定された最大サイズを超えないように、アナログプロセシングあるいはデジタルプロセシングに基づき、関心領域を決定することができる。例えば、該プロセッサは、モーションが感知された領域の大きさが、事前に設定された最大サイズより大きければ、感知された領域のうち、モーションが大きい領域を関心領域に含め、モーションが小さい領域は、含めないことにより、関心領域の大きさを調整することができる。または、モーション／オブジェクト感知・オブジェクト追跡などを使用して決定された領域の大きさが、事前に設定された最大サイズより大きければ、該プロセッサは、以前映像フレームの関心領域と近い領域を関心領域に含めることにより、関心領域の大きさを調整することができる。または、該プロセッサは、映像フレームの中心に近い領域を含めることにより、関心領域の大きさを調整することができる。

【0092】

図１１は、一実施形態による、集積高速映像センサによって生成された映像データを示す。

【0093】

一実施形態による集積高速映像センサは、関心領域（ＲＯＩ）のピクセルの出力信号を、第１フレーム率でリードアウトし、非関心領域（ＲＯＮＩ）のピクセルの出力信号を、第２フレーム率でリードアウトするように構成されることにより、関心領域映像データ１１１０を、第１フレーム率で出力し、非関心領域映像データ１１２０を、第２フレーム率で出力することができる。

【0094】

図１１には、関心領域の大きさ及び位置が決定されているように図示されているが、モーション感知及びオブジェクト感知に基づき、フレーム別に、関心領域の大きさ及び位置が変更されうる。

【0095】

プロセッサは、出力モードにより、関心領域映像データ１１１０、非関心領域映像データ１１２０または全体領域映像データを出力することができる。例えば、該プロセッサは、関心領域映像データ１１１０だけ、第１フレーム率で出力することができる。他の例を挙げれば、該プロセッサは、関心領域映像データ１１１０と非関心領域映像データ１１２０とを結合し、全体領域映像データを生成し、全体領域映像データを、第１フレーム率で出力することができる。さらに他の例を挙げれば、該プロセッサは、非関心領域映像データ１１２０だけ、第２フレーム率で出力することができる。さらに他の例を挙げれば、該プロセッサは、高速映像センシングが使用されない一般出力モードの場合、全体領域映像データを、第２フレーム率で出力することができる。

【0096】

集積高速映像センサは、関心領域映像データと非関心領域映像データとを互いに異なるフレーム率でキャプチャするように構成されることにより、解像度の低下なしに、所望する最大フレーム率で映像をキャプチャすることができる。

【0097】

図１２は、一実施形態による、関心領域映像データ及び非関心領域映像データを結合し、全体領域映像データを生成する方法について説明するための図面である。

【0098】

プロセッサは、関心領域のピクセルの出力信号に基づき、第１フレーム率を有する関心領域映像データ１２１０を生成することができる。また、該プロセッサは、非関心領域のピクセルの出力信号に基づき、第２フレーム率を有する非関心領域映像データ１２２０を生成することができる。

【0099】

プロセッサは、同一フレームを構成する、関心領域映像データ１２１０及び非関心領域映像データ１２２０が連続するように、関心領域映像データ１２１０または非関心領域映像データ１２２０を補正することができる。関心領域映像データ１２１０及び非関心領域映像データ１２２０は、露出時間（exposure time）などの差により、ピクセル値などが連続されることがない。従って、該プロセッサは、関心領域映像データ１２１０または非関心領域映像データ１２２０を補正することにより、連続された１つの全体領域映像データ１２３０を生成することができる。

【0100】

プロセッサは、互いに異なるフレームを構成する、関心領域映像データ１２１０と非関心領域映像データ１２２０とを結合することにより、全体領域映像データ１２３０を生成することができる。例えば、該プロセッサは、関心領域映像フレームと、関心領域映像フレーム以前に生成された非関心領域映像フレームとを結合することにより、全体領域映像フレームを生成することができる。他の例を挙げれば、該プロセッサは、関心領域映像フレームと、関心領域映像以後に生成された非関心領域映像フレームとを結合することにより、全体領域映像フレームを生成することができる。さらに他の例を挙げれば、該プロセッサは、関心領域映像フレームの以前と以後とに生成された非関心領域フレームを補間することにより、補間された非関心領域映像フレームを生成し、補間された非関心領域映像フレームと、関心領域映像フレームとを結合することにより、全体領域映像フレームを生成することができる。

【0101】

互いに異なるフレームを構成する、関心領域映像データ１２１０と非関心領域映像データ１２２０は、互いに異なるピクセルの出力信号に基づくので、露出時間の差、ノイズなどにより、連続することがない。例えば、関心領域映像データ１２１０と非関心領域映像データ１２２０との境界において、ピクセル値が不連続でもある。そのために、プロセッサは、映像整合に基づき、全体領域映像データ１２３０を生成するようにも構成される。

【0102】

例えば、プロセッサは、関心領域映像データ１２１０に基づき、非関心領域映像データ１２２０を補正することによって映像整合を行うか、あるいは非関心領域映像データ１２２０に基づき、関心領域映像データ１２１０を補正することによって映像整合を行うことができる。他の例を挙げれば、該プロセッサは、関心領域映像データ１２１０と非関心領域映像データ１２２０との境界領域が連続するように、映像整合を行うことができる。

【0103】

他の実施形態において、プロセッサは、非関心領域と関心領域とに該当するピクセルの露出時間を同一に設定することにより、該非関心領域映像データと該関心領域映像データとの間に不連続が生じないようにする。

【0104】

プロセッサは、関心領域映像データ、非関心領域映像データ及び全体領域映像データを選択的に出力することができるようにも構成される。該関心領域映像データのみを出力する場合、該全体領域映像データを生成するプロセスが省略されうる。

【0105】

図１３は、一実施形態によって、映像データを圧縮して保存すること、及び読み取られた映像データを圧縮解除することについて説明するための図面である。

【0106】

プロセッサは、映像データを圧縮し、メモリは、圧縮された映像データを保存するようにも構成される。それと異なり、該メモリは、圧縮されていない映像データを保存するようにも構成される。

【0107】

プロセッサは、映像フレーム間のモーションに基づき、映像データを圧縮するようにも構成される。具体的には、該プロセッサは、モーション感知信号に基づき、映像フレーム間にモーションが感知されていない領域、すなわち、映像フレーム間においてピクセル値が決定された領域に係わる情報を、映像データの圧縮に利用することができる。ピクセル値が決定された領域に係わる情報を利用し、映像データを圧縮することにより、圧縮効率が高くもなる。

【0108】

また、プロセッサは、関心領域及び非関心領域に基づき、映像データを圧縮するようにも構成される。例えば、該プロセッサは、全体領域映像データを圧縮する場合、全体領域映像データにおいて、第１フレーム率でアップデートされる関心領域と、第２フレーム率でアップデートされる非関心領域とに係わる情報を、全体領域映像データの圧縮に利用することができる。ピクセル値がアップデートされる情報を利用し、映像データを圧縮することにより、圧縮効率が高くもなる。

【0109】

プロセッサは、メモリに保存された映像データを読み取り、圧縮解除するようにも構成される。該プロセッサは、映像データの圧縮に使用された情報に基づき、映像データを圧縮解除することができる。それと異なり、該プロセッサは、読み取られた映像データの圧縮を解除しないようにも構成される。その場合、該プロセッサは、圧縮された映像データと共に、圧縮に使用された情報を出力するようにも構成される。

【0110】

図１４は、一実施形態による、集積高速映像センサの作動方法を示すフローチャートである。

【0111】

１４１０段階において、プロセッサは、ピクセルアレイの関心領域（ＲＯＩ）及び非関心領域（ＲＯＮＩ）を決定することができる。該プロセッサは、アナログ信号プロセシングに基づいて感知されたフレーム間のモーション、またはデジタル映像プロセシングに基づいて感知されたフレームのオブジェクトに基づき、ピクセルアレイの関心領域を決定することができる。

【0112】

１４２０段階において、アナログ信号処理回路は、ピクセルアレイの関心領域のピクセルの出力信号に基づき、関心領域映像データを、第１フレーム率でリードアウトすることができる。ロウ選択回路により、関心領域のピクセルが選択的に活性化され、カラム選択回路により、関心領域のピクセルの出力信号が選択的にリードアウトされうる。

【0113】

１４３０段階において、アナログ信号処理回路は、ピクセルアレイの非関心領域のピクセルの出力信号に基づき、非関心領域映像データを、第２フレーム率でリードアウトすることができる。第２フレーム率は、第１フレーム率より低くもある。

【0114】

場合により、１４３０段階は、省略されうる。例えば、第１フレーム率で関心領域映像データだけリードアウトするように設定された場合、１４３０段階は、省略されうる。

【0115】

また、１４２０段階と１４３０段階は、同時に遂行されるか、１４２０段階が遂行された後、１４３０段階が遂行されるか、あるいは１４３０段階が遂行された後、１４２０段階が遂行されうる。

【0116】

１４４０段階において、メモリは、関心領域映像データ及び非関心領域映像データを保存することができる。該メモリは、アナログ信号処理回路からリードアウトされる映像データを保存し、プロセッサの呼び出しにより、映像データをプロセッサに提供することができる。

【0117】

他の実施形態において、１４１０段階ないし１４４０段階が選択的に遂行されるか、あるいは他の順序によっても遂行されるということは、当業者に自明であろう。

【0118】

図１５は、一実施形態による映像センサの概略的なブロック図である。

【0119】

図１５の映像センサ１０００は、集積高速映像センサの一具現例でもある。映像センサ１０００は、図１５、及び図１５を参照した説明によって制限されるものではない。映像センサ１０００の本質的な特性から外れない範囲において、映像センサ１０００を、変形された形態に具現することができるということは、当業者に自明であろう。例えば、映像センサ１０００は、カラー／分光フィルタ１１００を含まないように具現されるか、あるいはマイクロレンズアレイ（microlens array）または偏光フィルタをさらに含むようにも具現される。他の例を挙げれば、映像センサ１０００は、全体ピクセルが１回に映像をキャプチャすることができるように、各ピクセルがＡＤＣを含むようにも構成される。

【0120】

図１５を参照すれば、映像センサ１０００は、カラー／分光フィルタ１１００、ピクセルアレイ４１００、タイミングコントローラ（Ｔ／Ｃ）４０１０、ロウデコーダ４０２０及び出力回路４０３０を含んでもよい。映像センサ１０００は、ＣＣＤ映像センサまたはＣＭＯＳ映像センサを含んでもよいが、それらに限定されるものではない。

【0121】

カラー／分光フィルタ１１００は、互いに異なる波長領域の光を透過させたり遮断したりすることにより、二次元に配列される複数のユニットフィルタを含む。ピクセルアレイ４１００は、複数のユニットフィルタを透過した互いに異なる波長の光を感知する複数のピクセルを含んでもよい。具体的には、ピクセルアレイ４１００は、複数のロウとカラムとに沿って二次元配列されたピクセルを含んでもよい。ロウデコーダ４０２０は、タイミングコントローラ４０１０から出力されたロウアドレス信号に応答し、ピクセルアレイ４１００のロウのうち一つを選択することができる。出力回路４０３０は、選択されたロウに沿って配列された複数のピクセルから、カラム単位で、光感知信号を出力することができる。そのために、出力回路４０３０は、カラムデコーダとアナログ・デジタル変換器（ＡＤＣ）を含んでもよい。例えば、出力回路４０３０は、カラムデコーダと、ピクセルアレイ４１００間において、カラム別にそれぞれ配された複数のＡＤＣ、またはカラムデコーダの出力端に配された１つのＡＤＣと、を含んでもよい。タイミングコントローラ４０１０、ロウデコーダ４０２０及び出力回路４０３０は、１つのチップ、またはそれぞれ別個のチップにも具現される。出力回路４０３０を介して出力された映像信号を処理するためのプロセッサが、タイミングコントローラ４０１０、ロウデコーダ４０２０及び出力回路４０３０と共に、１つのチップにも具現される。ピクセルアレイ４１００は、互いに異なる波長の光を感知する複数のピクセルを含み、ここで、ピクセルの配列は、多様な方式にも具現される。

【0122】

映像センサ１０００は、多様な高性能光学装置または高性能電子装置にも採用される。そのような電子装置は、例えば、スマートフォン、携帯電話、ハンドフォン、ＰＤＡ（personal digital assistant）、ラップトップ、ＰＣ、多様な携帯用機器、家電製品、保安カメラ、医療用カメラ、自動車、事物インターネット（ＩｏＴ：internet of things）機器、その他のモバイルまたは非モバイルのコンピューティング装置でもあるが、それらに制限されるものではない。

【0123】

該電子装置は、映像センサ１０００以外にも、映像センサを制御するプロセッサ、例えば、アプリケーションプロセッサ（ＡＰ：application processor）をさらに含んでもよい。該電子装置は、プロセッサを介し、オペレーティングシステムまたは応用プログラムを駆動し、多数のハードウェア構成要素またはソフトウェア構成要素を制御することができ、各種のデータ処理及び演算を行うことができる。該プロセッサは、ＧＰＵ（graphics processing unit）、ＮＰＵ（neural processing unit）及び／または映像信号プロセッサ（image signal processor）をさらに含んでもよい。該プロセッサに映像信号プロセッサが含まれる場合、映像センサによって獲得された映像を、プロセッサを利用し、処理、保存及び／または出力することができる。

【0124】

図１６は、映像センサ１０００を含む電子装置ＥＤ０１の一例を示すブロック図である。

【0125】

図１６を参照すれば、ネットワーク環境ＥＤ００において、電子装置ＥＤ０１は、第１ネットワークＥＤ９８（近距離無線通信ネットワークなど）を介し、他の電子装置ＥＤ０２と通信するか、あるいは第２ネットワークＥＤ９９（遠距離無線通信ネットワークなど）を介し、さらに他の電子装置ＥＤ０４及び／またはサーバＥＤ０８と通信することができる。電子装置ＥＤ０１は、サーバＥＤ０８を介し、電子装置ＥＤ０４と通信することができる。電子装置ＥＤ０１は、プロセッサＥＤ２０、メモリＥＤ３０、入力装置ＥＤ５０、音響出力装置ＥＤ５５、表示装置ＥＤ６０、オーディオモジュールＥＤ７０、センサモジュールＥＤ７６、インターフェースＥＤ７７、ハプティックモジュールＥＤ７９、カメラモジュールＥＤ８０、電力管理モジュールＥＤ８８、バッテリＥＤ８９、通信モジュールＥＤ９０、加入者識別モジュールＥＤ９６及び／またはアンテナモジュールＥＤ９７を含んでもよい。電子装置ＥＤ０１には、該構成要素のうち一部（表示装置ＥＤ６０など）が省略されるか、あるいは他の構成要素が追加されうる。該構成要素のうち一部は、１つの統合された回路によっても具現される。例えば、センサモジュールＥＤ７６（指紋センサ、虹彩センサ、照度センサなど）は、表示装置ＥＤ６０（ディスプレイなど）に埋め込まれても具現される。

【0126】

プロセッサＥＤ２０は、ソフトウェア（プログラムＥＤ４０など）を実行し、プロセッサＥＤ２０に連結された電子装置ＥＤ０１のうち一つまたは複数個の他の構成要素（ハードウェア構成要素、ソフトウェア構成要素など）を制御することができ、多様なデータ処理または演算を行うことができる。データ処理または演算の一部として、プロセッサＥＤ２０は、他の構成要素（センサモジュールＥＤ７６、通信モジュールＥＤ９０など）から受信された命令及び／またはデータを、揮発性メモリＥＤ３２にロードし、揮発性メモリＥＤ３２に保存された命令及び／またはデータを処理し、結果データを不揮発性メモリＥＤ３４に保存することができる。プロセッサＥＤ２０は、メインプロセッサＥＤ２１（中央処理装置、アプリケーションプロセッサなど）、及びそれと独立しているか、あるいはそれと共に運用可能な補助プロセッサＥＤ２３（グラフィック処理装置、映像シグナルプロセッサ、センサハブプロセッサ、コミュニケーションプロセッサなど）を含んでもよい。補助プロセッサＥＤ２３は、メインプロセッサＥＤ２１より電力を少なく使用し、特化された機能を遂行することができる。

【0127】

補助プロセッサＥＤ２３は、メインプロセッサＥＤ２１がイナクティブ状態（スリープ状態）にある間、メインプロセッサＥＤ２１の代わりを行うか、あるいはメインプロセッサＥＤ２１がアクティブ状態（アプリケーション実行状態）にある間、メインプロセッサＥＤ２１と共に、電子装置ＥＤ０１の構成要素のうち一部構成要素（表示装置ＥＤ６０、センサモジュールＥＤ７６、通信モジュールＥＤ９０など）と係わる機能及び／または状態を制御することができる。補助プロセッサＥＤ２３（映像シグナルプロセッサ、コミュニケーションプロセッサなど）は、機能的に関連性がある他の構成要素（カメラモジュールＥＤ８０、通信モジュールＥＤ９０など）の一部としても具現される。

【0128】

メモリＥＤ３０は、電子装置ＥＤ０１の構成要素（プロセッサＥＤ２０、センサモジュールＥＤ７６など）が必要とする多様なデータを保存することができる。該データは、例えば、ソフトウェア（プログラムＥＤ４０など）、及びそれと係わる命令に係わる入力データ及び／または出力データを含んでもよい。メモリＥＤ３０は、揮発性メモリＥＤ３２及び／または不揮発性メモリＥＤ３４を含んでもよい。不揮発性メモリＥＤ３４は、電子装置ＥＤ０１内に固定装着された内蔵メモリＥＤ３６と、脱着可能な外装メモリＥＤ３８と、を含んでもよい。

【0129】

プログラムＥＤ４０は、メモリＥＤ３０にソフトウェアとしても保存され、オペレーティングシステムＥＤ４２、ミドルウェアＥＤ４４及び／またはアプリケーションＥＤ４６を含んでもよい。

【0130】

入力装置ＥＤ５０は、電子装置ＥＤ０１の構成要素（プロセッサＥＤ２０など）に使用される命令及び／またはデータを、電子装置ＥＤ０１の外部（ユーザなど）から受信することができる。入力装置ＥＤ５０は、マイク、マウス、キーボード及び／またはデジタルペン（スタイラスペンなど）を含んでもよい。

【0131】

音響出力装置ＥＤ５５は、音響信号を、電子装置ＥＤ０１の外部に出力することができる。音響出力装置ＥＤ５５は、スピーカ及び／またはレシーバを含んでもよい。該スピーカは、マルチメディア再生または録音再生のように、一般的な用途に使用され、該レシーバは、着信電話を受信するためにも使用される。該レシーバは、スピーカの一部に結合されているか、あるいは独立された別途の装置でもっても具現される。

【0132】

表示装置ＥＤ６０は、電子装置ＥＤ０１の外部に、情報を視覚的に提供することができる。表示装置ＥＤ６０は、ディスプレイ、ホログラム装置またはプロジェクタ及び、当該装置を制御するための制御回路を含んでもよい。表示装置ＥＤ６０は、タッチを感知するように設定されたタッチ回路（touch circuitry）、及び／またはタッチによって生じる力の強度を測定するように設定されたセンサ回路（圧力センサなど）を含んでもよい。

【0133】

オーディオモジュールＥＤ７０は、音を電気信号に変換させるか、あるいは、反対に電気信号を音に変換させることができる。オーディオモジュールＥＤ７０は、入力装置ＥＤ５０を介して音を獲得するか、あるいは音響出力装置ＥＤ５５及び／または電子装置ＥＤ０１と直接または無線で連結された他の電子装置（電子装置ＥＤ０２など）のスピーカ及び／またはヘッドホンを介し、音を出力することができる。

【0134】

センサモジュールＥＤ７６は、電子装置ＥＤ０１の作動状態（電力、温度など）、または外部の環境状態（ユーザ状態など）を感知し、感知された状態に対応する電気信号及び／またはデータ値を生成することができる。センサモジュールＥＤ７６は、ジェスチャセンサ、ジャイロセンサ、気圧センサ、マグネチックセンサ、加速度センサ、グリップセンサ、近接センサ、カラーセンサ、ＩＲ（infrared）センサ、生体センサ、温度センサ、湿度センサ及び／または照度センサを含んでもよい。

【0135】

インターフェースＥＤ７７は、電子装置ＥＤ０１が、他の電子装置（電子装置ＥＤ０２など）と直接または無線で連結されるためにも使用される、１または複数の指定されたプロトコルを支援することができる。インターフェースＥＤ７７は、ＨＤＭＩ（high definition multimedia interface、登録商法）、ＵＳＢ（universal serial bus）インターフェース、ＳＤ（secure digital）カードインターフェース及び／またはオーディオインターフェースを含んでもよい。

【0136】

連結端子ＥＤ７８は、電子装置ＥＤ０１が、他の電子装置（電子装置ＥＤ０２など）と物理的に連結されうるコネクタを含んでもよい。連結端子ＥＤ７８は、ＨＤＭＩコネクタ、ＵＳＢコネクタ、ＳＤカードコネクタ及び／またはオーディオコネクタ（ヘッドホンコネクタなど）を含んでもよい。

【0137】

ハプティックモジュールＥＤ７９は、電気的信号を、ユーザが触覚または運動感覚を介して認知することができる機械的な刺激（振動、動きなど）または電気的な刺激に変換することができる。ハプティックモジュールＥＤ７９は、モータ、圧電素子及び／または電気刺激装置を含んでもよい。

【0138】

カメラモジュールＥＤ８０は、静止映像及び動画を撮影することができる。カメラモジュールＥＤ８０は、１または複数のレンズを含むレンズアセンブリ、図１または図１５の映像センサ１００，１０００、映像シグナルプロセッサ及び／またはフラッシュを含んでもよい。カメラモジュールＥＤ８０に含まれたレンズアセンブリは、映像撮影の対象である被写体から放出される光を収集することができる。

【0139】

電力管理モジュールＥＤ８８は、電子装置ＥＤ０１に供給される電力を管理することができる。電力管理モジュールＥＤ８８は、ＰＭＩＣ（power management integrated circuit）の一部としても具現される。

【0140】

バッテリＥＤ８９は、電子装置ＥＤ０１の構成要素に電力を供給することができる。バッテリＥＤ８９は、再充電不可能な一次電池、再充電可能な二次電池及び／または燃料電池を含んでもよい。

【0141】

通信モジュールＥＤ９０は、電子装置ＥＤ０１と、他の電子装置（電子装置ＥＤ０２、電子装置ＥＤ０４、サーバＥＤ０８など）との直接（有線）通信チャネル及び／または無線通信チャネルの樹立、及び樹立された通信チャネルを介する通信遂行を支援することができる。通信モジュールＥＤ９０は、プロセッサＥＤ２０（アプリケーションプロセッサなど）と独立して運用され、直接通信及び／または無線通信を支援する、１または複数のコミュニケーションプロセッサを含んでもよい。通信モジュールＥＤ９０は、無線通信モジュールＥＤ９２（セルラ通信モジュール、近距離無線通信モジュール、ＧＮＳＳ（global navigation satellite system）通信モジュール）及び／または有線通信モジュールＥＤ９４（ＬＡＮ（local area network）通信モジュール、電力線通信モジュールなど）を含んでもよい。それら通信モジュールのうち、該当する通信モジュールは、第１ネットワークＥＤ９８（ブルートゥース（登録商標）、Ｗｉ－Ｆｉ（wireless fidelity） directまたはＩｒＤＡ（infrared data association）のような近距離通信ネットワーク）または第２ネットワークＥＤ９９（セルラネットワーク、インターネットまたはコンピュータネットワーク（ＬＡＮ、ＷＡＮ（wide area network）など）のような遠距離通信ネットワーク）を介し、他の電子装置と通信することができる。そのようなさまざまな種類の通信モジュールは、１つの構成要素（単一チップなど）に統合されるか、あるいは互いに別途の複数の構成要素（複数チップ）によっても具現される。無線通信モジュールＥＤ９２は、加入者識別モジュールＥＤ９６に保存された加入者情報（国際モバイル加入者識別子（ＩＭＳＩ）など）を利用し、第１ネットワークＥＤ９８及び／または第２ネットワークＥＤ９９のような通信ネットワーク内において、電子装置ＥＤ０１を確認して認証することができる。

【0142】

アンテナモジュールＥＤ９７は、信号及び／または電力を、外部（他の電子装置など）に送信したり、外部から受信したりすることができる。アンテナは、基板（ＰＣＢ（printed circuit board）など）上に形成された導電性パターンによってなる反射体を含んでもよい。アンテナモジュールＥＤ９７は、１または複数のアンテナを含んでもよい。複数のアンテナが含まれている場合、通信モジュールＥＤ９０により、複数のアンテナのうち、第１ネットワークＥＤ９８及び／または第２ネットワークＥＤ９９のような通信ネットワークで使用される通信方式に適するアンテナが選択されうる。選択されたアンテナを介し、通信モジュールＥＤ９０と他の電子装置と間において、信号及び／または電力が送信されたり受信されてりする。アンテナ以外の他の部品（ＲＦＩＣ（radio frequency integrated circuit）など）が、アンテナモジュールＥＤ９７の一部としても含まれる。

【0143】

構成要素のうち一部は、周辺機器間の通信方式（バス、ＧＰＩＯ（general purpose input and output）、ＳＰＩ（serial peripheral interface）、ＭＩＰＩ（mobile industry processor interface）など）を介して互いに連結され、信号（命令、データなど）を相互交換することができる。

【0144】

命令またはデータは、第２ネットワークＥＤ９９に連結されたサーバＥＤ０８を介し、電子装置ＥＤ０１と、外部の電子装置ＥＤ０４との間において、送信されたり受信されたりする。他の電子装置ＥＤ０２，ＥＤ０４は、電子装置ＥＤ０１と同一であるか、あるいは異なる種類の装置でもある。電子装置ＥＤ０１で実行される動作の全部または一部は、他の電子装置ＥＤ０２，ＥＤ０４，ＥＤ０８のうち１または複数の装置で実行されうる。例えば、電子装置ＥＤ０１がある機能やサービスを遂行しなければならないとき、該機能または該サービスを自体的に実行させる代わりに、１または複数の他の電子装置に、その機能またはそのサービスの一部または全体を遂行するように要請することができる。要請を受信した、１または複数の他の電子装置は、要請と係わる追加機能またはサービスを実行し、その実行結果を電子装置ＥＤ０１に伝達することができる。そのために、クラウドコンピューティング技術、分散コンピューティング技術及び／またはクライアント・サーバコンピューティング技術が利用されうる。

【0145】

図１７は、図１６のカメラモジュールＥＤ８０を例示するブロック図である。

【0146】

図１７を参照すれば、カメラモジュールＥＤ８０は、レンズアセンブリＣＭ１０、フラッシュＣＭ２０、映像センサ１０００（例：集積高速映像センサ１００（図１）、映像センサ１０００（図１５））、映像スタビライザＣＭ４０、メモリＣＭ５０（バッファメモリなど）及び／または映像シグナルプロセッサＣＭ６０を含んでもよい。レンズアセンブリＣＭ１０は、映像撮影の対象である被写体から放出される光を収集することができる。カメラモジュールＥＤ８０は、複数のレンズアセンブリＣＭ１０を含み、そのような場合、カメラモジュールＥＤ８０は、デュアルカメラ、３６０°カメラまたは球形カメラ（spherical camera）にもなる。複数のレンズアセンブリＣＭ１０のうち一部は、同一レンズ属性（画角、焦点距離、自動焦点、Ｆナンバー（Ｆ number）、光学ズームなど）を有するか、あるいは他のレンズ属性を有することができる。レンズアセンブリＣＭ１０は、広角レンズまたは望遠レンズを含んでもよい。

【0147】

フラッシュＣＭ２０は、被写体から放出されたり反射されたりする光を強化するために使用される光を放出することができる。フラッシュＣＭ２０は、１または複数の発光ダイオード（ＲＧＢ（red-green-blue）ＬＥＤ、white ＬＥＤ、infrared ＬＥＤ、ultraviolet ＬＥＤなど）及び／またはキセノンランプ（xenon lamp）を含んでもよい。

【0148】

映像センサ１０００は、図１または図１５で説明した映像センサでもあり、被写体から放出されたり反射されたりして、レンズアセンブリＣＭ１０を介して伝達された光を、電気的な信号に変換することにより、被写体に対応する映像を獲得することができる。映像センサ１０００は、ＲＧＢセンサ、ＢＷ（black and white）センサ、ＩＲセンサまたはＵＶセンサのように、属性が異なる映像センサのうちから選択された、１または複数のセンサを含んでもよい。映像センサ１０００に含まれたそれぞれのセンサは、ＣＣＤセンサ及び／またはＣＭＯＳセンサとしても具現される。

【0149】

映像スタビライザＣＭ４０は、カメラモジュールＥＤ８０、またはそれを含む電子装置ＣＭ０１の動きに反応し、レンズアセンブリＣＭ１０に含まれた、１または複数個のレンズまたは映像センサ１０００を、特定の方向に動かしたり、映像センサ１０００の動作特性を制御（リードアウトタイミングの調整など）したりして、動きによる否定的な影響が補償されるようにすることができる。映像スタビライザＣＭ４０は、カメラモジュールＥＤ８０の内部または外部に配されたジャイロセンサ（図示せず）または加速度センサ（図示せず）を利用し、カメラモジュールＥＤ８０または電子装置ＥＤ０１の動きを感知することができる。映像スタビライザＣＭ４０は、光学式またはデジタル方式にも具現される。

【0150】

メモリＣＭ５０は、映像センサ１０００を介して獲得された映像の一部データまたは全体データを、次の映像処理作業のために保存することができる。例えば、複数の映像が高速に獲得される場合、獲得された原本データ（ベイヤーパターン（Bayer-patterned）データ、高解像度データなど）は、メモリＣＭ５０に保存し、低解像度映像のみをディスプレイした後、選択された（ユーザ選択など）映像の原本データが、映像シグナルプロセッサＣＭ６０に伝達されるようにするところにも使用される。メモリＣＭ５０は、電子装置ＥＤ０１のメモリＥＤ３０に統合されているか、あるいは独立して運用される別途のメモリでもっても構成される。

【0151】

映像シグナルプロセッサＣＭ６０は、映像センサ１０００を介して獲得された映像、またはメモリＣＭ５０に保存された映像データにつき、映像処理を行うことができる。該映像処理は、デプス地図（depth map）生成、三次元モデリング、パノラマ生成、特徴点抽出、映像合成及び／または映像補償（ノイズ低減、解像度調整、明るさ調整、ぼかし／ボケ除去（blurring/deblurring）、シャープニング（sharpening）、ソフトニング（softening）など）を含んでもよい。映像シグナルプロセッサＣＭ６０は、カメラモジュールＥＤ８０に含まれた構成要素（映像センサ１０００など）に対する制御（露出時間制御またはリードアウトタイミング制御など）を行うことができる。映像シグナルプロセッサＣＭ６０によって処理された映像は、追加処理のために、メモリＣＭ５０にさらに保存されるか、あるいはカメラモジュールＥＤ８０の外部構成要素（メモリＥＤ３０、表示装置ＥＤ６０、電子装置ＥＤ０２、電子装置ＥＤ０４、サーバＥＤ０８など）にも提供される。映像シグナルプロセッサＣＭ６０は、プロセッサＥＤ２０に統合されるか、あるいはプロセッサＥＤ２０と独立して運用される別途のプロセッサによっても構成される。映像シグナルプロセッサＣＭ６０が、プロセッサＥＤ２０と別途のプロセッサでもって構成された場合、映像シグナルプロセッサＣＭ６０によって処理された映像は、プロセッサＥＤ２０により、追加される映像処理を経た後、表示装置ＥＤ６０を介しても表示される。

【0152】

電子装置ＥＤ０１は、それぞれ異なる属性または機能を有した複数のカメラモジュールＥＤ８０を含んでもよい。そのような場合、複数のカメラモジュールＥＤ８０のうち一つは、広角カメラであり、他の一つは、望遠カメラでもある。類似して、複数のカメラモジュールＥＤ８０のうち一つは、前面カメラであり、他の一つは、背面カメラでもある。

【0153】

一実施形態による映像センサ１０００は、図１８に図示されたモバイルホンまたはスマートフォン５１００ｍ、図１９に図示されたタブレットまたはスマートタブレット５２００、図２０に図示されたデジタルカメラまたはカムコーダ５３００、図２１に図示されたノート型パソコン５４００、または図２２に図示されたテレビまたはスマートテレビ５５００などにも適用される。例えば、スマートフォン５１００ｍまたはスマートタブレット５２００は、高解像度映像センサがそれぞれ搭載された複数の高解像度カメラを含んでもよい。高解像度カメラを利用し、映像内被写体のデプス情報を抽出するか、映像のフォーカシング／アウトフォーカシングを調節するか、あるいは映像内被写体を自動的に識別することができる。

【0154】

また、映像センサ１０００は、図２３に図示されたスマート冷蔵庫５６００、図２４に図示された保安カメラ５７００、図２５に図示されたロボット５８００、図２６に図示された医療用カメラ５９００などにも適用される。例えば、スマート冷蔵庫５６００は、映像センサを利用し、冷蔵庫内にいる食料品を自動的に認識し、特定食料品の存在いかん、入庫または出庫された食料品の種類などを、スマートフォンを介してユーザに知らせることができる。保安カメラ５７００は、超高解像度映像を提供することができ、高感度を利用し、暗い環境においても、映像内の事物または人を認識可能とすることができる。ロボット５８００は、人が直接近付くことができない災害現場または産業現場に投入され、高解像度映像を提供することができる。医療用カメラ５９００は、診断または手術のための高解像度映像を提供することができ、視野を動的に調節することができる。

【0155】

また、映像センサ１０００は、図２７に図示されているように、車両６０００に適用されうる。車両６０００は、多様な位置に配された複数の車両用カメラ６０１０，６０２０，６０３０，６０４０を含み、それぞれの車両用カメラ６０１０，６０２０，６０３０，６０４０は、一実施形態による映像センサを含んでもよい。車両６０００は、複数の車両用カメラ６０１０，６０２０，６０３０，６０４０を利用し、車両６０００の内部または周辺に係わる多様な情報を運転手に提供することができ、映像内の事物または人を自動的に認識し、自律走行及び先進運転支援システム（ＡＤＡＳ：advanced driver-assistance system）に必要な情報を提供することができる。

【0156】

なお、前述の実施形態は、コンピュータで実行されうるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータによっても具現される。また、前述の実施形態で使用されたデータの構造は、コンピュータで読み取り可能な記録媒体に、さまざまな手段を介しても記録される。前述のコンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read only memory）、フロッピーディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ－ＲＯＭ（compact disc read only memory）、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

【0157】

本実施形態と係わる技術分野で当業者であるならば、前述のところの本質的な特性から外れない範囲において、実施形態が変形された形態にも具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。権利範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本実施形態に含まれたものであると解釈されなければならないのである。

【符号の説明】

【0158】

１００，２００，３００ 集積高速映像センサ
１１０ ピクセルレイヤ
１２０ メモリレイヤ
１３０ ロジックレイヤ
２１０，３１０ ピクセルアレイ
２２０，３２０ プロセッサ
２３０，３３０ メモリ
２４０ アナログ信号処理回路
３４０，４２０，６２０ モーション感知回路
３５１，４３１ ロウ選択回路
３５２，４３２ カラム選択回路
３６０，４４０ リードアウト回路
６１０ ピクセル
１０００ 映像センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】