特表2019-527501(P2019-527501A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ホアウェイ・テクノロジーズ・カンパニー・リミテッドの特許一覧
特表2019-527501複数の隣接する赤外線フィルタ要素を備えた画像センサの方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2019-527501(P2019-527501A)
(43)【公表日】2019年9月26日
(54)【発明の名称】複数の隣接する赤外線フィルタ要素を備えた画像センサの方法および装置
(51)【国際特許分類】
   H04N 9/07 20060101AFI20190830BHJP
   H04N 5/33 20060101ALI20190830BHJP
   H04N 5/369 20110101ALI20190830BHJP
   H01L 27/146 20060101ALI20190830BHJP
   G02B 5/20 20060101ALI20190830BHJP
【FI】
   H04N9/07 A
   H04N5/33 200
   H04N5/369
   H01L27/146 D
   G02B5/20 101
【審査請求】有
【予備審査請求】未請求
【全頁数】26
(21)【出願番号】特願2019-500300(P2019-500300)
(86)(22)【出願日】2017年7月5日
(85)【翻訳文提出日】2019年2月14日
(86)【国際出願番号】CN2017091836
(87)【国際公開番号】WO2018006822
(87)【国際公開日】20180111
(31)【優先権主張番号】62/358,523
(32)【優先日】2016年7月5日
(33)【優先権主張国】US
(31)【優先権主張番号】15/640,758
(32)【優先日】2017年7月3日
(33)【優先権主張国】US
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Blu−ray
(71)【出願人】
【識別番号】504161984
【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100140534
【弁理士】
【氏名又は名称】木内 敬二
(72)【発明者】
【氏名】イー−チェン・チャン
【テーマコード(参考)】
2H148
4M118
5C024
5C065
【Fターム(参考)】
2H148BD01
2H148BD21
2H148BG11
2H148BH01
4M118AB01
4M118BA10
4M118BA14
4M118FA06
4M118GC08
4M118GC09
4M118GC14
5C024AX01
5C024AX06
5C024CX41
5C024EX51
5C024EX52
5C024GX01
5C024GY01
5C024GY31
5C024GZ24
5C024HX28
5C065AA06
5C065CC01
5C065DD02
5C065DD15
5C065EE03
5C065EE05
5C065GG21
(57)【要約】
画像センサ装置および方法は、複数の隣接する赤外線(IR)フィルタ要素を用いて提供される。光景の画像を表すための画素データとして出力信号を生成する2次元画素要素アレイを備える画像センサが含まれる。さらに含まれるのは、光景から入射する光を受光するように2次元画素要素アレイに結合された2次元フィルタ要素アレイを備えるフィルタアレイである。フィルタアレイは、光の可視スペクトルの1つ以上の色のスペクトルエネルギーを透過するように構成された第1のフィルタ要素サブセットをそれぞれ含む複数のフィルタ要素ブロックを含む。第1のサブセットの隣り合うフィルタ要素の各対は、光の可視スペクトルの異なる色のスペクトルエネルギーを透過するように構成される。さらに、各フィルタ要素ブロックは、光の赤外線(IR)スペクトルのスペクトルエネルギーを透過するように構成された第2のフィルタ要素サブセットも含む。第2のフィルタ要素サブセットは、隣接する少なくとも2(二)つのIRフィルタ要素を含む。
【特許請求の範囲】
【請求項1】
装置であって、
2次元画素要素アレイを備える画像センサであって、各画素要素が、光景の画像を表すための画素データとして出力信号を生成する、画像センサと、
前記光景から入射する光を受光するように前記2次元画素要素アレイに結合された2次元フィルタ要素アレイを備えるフィルタアレイであって、前記フィルタアレイが、複数のフィルタ要素ブロックとして配置され、前記複数のフィルタ要素ブロックが、それぞれ、
前記光の可視スペクトルの1つ以上の色のスペクトルエネルギーを透過するように構成された第1のフィルタ要素サブセットであって、第1のサブセットの隣り合うフィルタ要素の各対が、前記可視スペクトルの異なる色のスペクトルエネルギーを透過するように構成されている、第1のフィルタ要素サブセット、および
前記光の赤外線(IR)スペクトルのスペクトルエネルギーを透過するように構成された第2のフィルタ要素サブセットであって、前記第2のフィルタ要素サブセットが、隣接する少なくとも2(二)つのIRフィルタ要素を含む、第2のフィルタ要素サブセット
を含む、フィルタアレイと
を備える、装置。
【請求項2】
前記画像センサが、電荷結合素子(CCD)画像センサを含む、請求項1に記載の装置。
【請求項3】
前記画像センサが、相補型金属酸化膜半導体(CMOS)画像センサを含む、請求項1に記載の装置。
【請求項4】
前記第2のフィルタ要素サブセットが、隣接する少なくとも4(四)つのIRフィルタ要素を含む、請求項1に記載の装置。
【請求項5】
前記第1のフィルタ要素サブセットが、赤色カラーフィルタ要素、緑色カラーフィルタ要素、および青色カラーフィルタ要素のうちの少なくとも2種類を含む、請求項1に記載の装置。
【請求項6】
前記第1のフィルタ要素サブセットが、赤色カラーフィルタ要素、緑色カラーフィルタ要素、および青色カラーフィルタ要素を含む、請求項1に記載の装置。
【請求項7】
前記フィルタアレイが、それぞれのブロックのフィルタ要素の構成が対称になるように配置される、請求項1に記載の装置。
【請求項8】
前記第2のフィルタ要素サブセットが、前記第1のフィルタ要素サブセットのフィルタ要素の第2の数の分数である第1の数のフィルタ要素を含む、請求項1に記載の装置。
【請求項9】
前記分数が、3分の1(1/3)である、請求項8に記載の装置。
【請求項10】
前記装置が、前記第2のフィルタ要素サブセットが、前記フィルタ要素ブロックの対応するそれぞれの内の中央に配置されるように構成される、請求項1に記載の装置。
【請求項11】
前記装置が、前記第2のフィルタ要素サブセットが、前記フィルタ要素ブロックの対応するそれぞれの隅に配置されるように構成される、請求項1に記載の装置。
【請求項12】
前記装置が、前記第2のフィルタ要素サブセットの少なくとも一部に関して前記光のIRスペクトルのスペクトルエネルギーをビニングするために構成される、請求項1に記載の装置。
【請求項13】
前記装置が、前記ビニングにより電圧レベルがビニングされるように構成される、請求項12に記載の装置。
【請求項14】
前記装置が、前記ビニングにより電荷レベルがビニングされるように構成される、請求項12に記載の装置。
【請求項15】
前記第2のフィルタ要素サブセットの少なくとも一部に関して前記光のIRスペクトルのスペクトルエネルギーをビンニングするビニング回路をさらに備える、請求項1に記載の装置。
【請求項16】
前記装置が、第1のタイプのビニングアルゴリズムを利用して前記第1のフィルタ要素サブセットの少なくとも一部に関して前記光の前記可視スペクトルの前記1つ以上の色の前記スペクトルエネルギーをビニングし、第2のタイプのビニングアルゴリズムを利用して前記第2のフィルタ要素サブセットの少なくとも一部に関して前記光のIRスペクトルのスペクトルエネルギーをビニングするために構成される、請求項1に記載の装置。
【請求項17】
前記装置が、補間を利用して前記第2のフィルタ要素サブセットの少なくとも1つに関して前記光の前記可視スペクトルの前記1つ以上の色のスペクトルエネルギーの値を特定するために構成される、請求項1に記載の装置。
【請求項18】
前記装置が、前記フィルタアレイの第1の横列に前記第1のフィルタ要素サブセットのみが含まれている場合は、より高い解像度を利用して前記第1の横列に関連する出力を処理し、前記フィルタアレイの第2の横列に前記第2のフィルタ要素サブセットの少なくとも1つのフィルタ要素が含まれている場合は、より低い解像度を利用して前記第2の横列に関連する出力を処理するために構成される、請求項1に記載の装置。
【請求項19】
前記装置が、前記第2のフィルタ要素サブセットの少なくとも一部分が、前記第1のサブセットの前記フィルタ要素の少なくとも1つよりも大きい、前記フィルタアレイの単一の構成要素を形成するように構成される、請求項1に記載の装置。
【請求項20】
前記装置が、前記第1のサブセットの前記フィルタ要素がベイヤーパターンで構成されるように構成される、請求項1に記載の装置。
【請求項21】
方法であって、
装置で光を受光するステップであって、前記装置が、2次元画素要素アレイを備える画像センサと、光景から入射する光を受光するように前記2次元画素要素アレイに結合された2次元フィルタ要素アレイを備えるフィルタアレイであって、前記フィルタアレイが、複数のフィルタ要素ブロックとして配置され、前記複数のフィルタ要素ブロックが、それぞれ、前記光の可視スペクトルの1つ以上の色のスペクトルエネルギーを透過するように構成された第1のフィルタ要素サブセットであって、第1のサブセットの隣り合うフィルタ要素の各対が、前記光の前記可視スペクトルの異なる色のスペクトルエネルギーを透過するように構成されている、第1のフィルタ要素サブセットおよび前記光の赤外線(IR)スペクトルのスペクトルエネルギーを透過するように構成された第2のフィルタ要素サブセットであって、前記第2のフィルタ要素サブセットが、隣接する少なくとも2(二)つのIRフィルタ要素を含む、第2のフィルタ要素サブセットを含む、フィルタアレイとを備える、ステップと、
前記光景の画像を表す画素データを含む、前記画像センサの画素要素のそれぞれに関する出力信号を生成するステップと
を含む、方法。
【請求項22】
前記第2のフィルタ要素サブセットが、隣接する少なくとも4(四)つのIRフィルタ要素を含む、請求項21に記載の方法。
【請求項23】
前記第2のフィルタ要素サブセットが、前記第1のフィルタ要素サブセットのフィルタ要素の第2の数の分数である第1の数のフィルタ要素を含む、請求項21に記載の方法。
【請求項24】
前記第2のフィルタ要素サブセットの少なくとも一部に関して前記光のIRスペクトルのスペクトルエネルギーをビニングするステップをさらに含む、請求項21に記載の方法。
【請求項25】
第1のタイプのビニングアルゴリズムを利用して前記第1のフィルタ要素サブセットの少なくとも一部に関して前記光の前記可視スペクトルの前記1つ以上の色の前記スペクトルエネルギーをビニングするステップと、
第2のタイプのビニングアルゴリズムを利用して前記第2のフィルタ要素サブセットの少なくとも一部に関して前記光のIRスペクトルのスペクトルエネルギーをビニングするステップと
をさらに含む、請求項21に記載の方法。
【請求項26】
前記第1のサブセットの前記フィルタ要素が、ベイヤーパターンで構成される、請求項21に記載の方法。
【請求項27】
装置であって、
2次元画素要素アレイを備える画像センサであって、各画素要素が、光景の画像を表すための画素データとして出力信号を生成する、画像センサと、
前記光景から入射する光を受光するように前記2次元画素要素アレイに結合された2次元フィルタ要素アレイを備えるフィルタアレイであって、前記フィルタアレイが、複数のフィルタ要素ブロックとして配置され、前記複数のフィルタ要素ブロックが、それぞれ、前記光の可視スペクトルの1つ以上の色のスペクトルエネルギーを透過するように構成された第1のフィルタ要素サブセットおよび前記光の赤外線(IR)スペクトルのスペクトルエネルギーを透過するように構成された第2のフィルタ要素サブセットであって、第2のサブセットのフィルタ要素の少なくとも1つが、第1のサブセットのフィルタ要素の少なくとも1つよりも大きい、第2のフィルタ要素サブセットを含む、フィルタアレイと
を備える、装置。
【請求項28】
前記装置が、前記第1のサブセットの前記フィルタ要素がベイヤーパターンで構成されるように構成される、請求項27に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2017年7月3日に出願された米国特許出願第15/640,758号および2016年7月5日に出願された米国特許仮出願第62/358,523号の優先権を主張するものであり、これらの両方の全体は、参照により本明細書に組み込まれる。
【0002】
本発明は、画像センサに関し、より詳細には画像センサ用のフィルタアレイ構成に関する。
【背景技術】
【0003】
一般的に、コンピュータビジョン用途(例えば、3次元深度検知用途など)は、動作に2つのカメラを必要とする。具体的には、このようなカメラは、3次元深度マップを生成するための少なくとも1つの専用赤外線カメラと、カラー画像を取得するための少なくとも1つのカメラとを含む。さらに、携帯電話などのデバイスは、現在より一般的には、デバイスの前面および背面の両方に少なくとも1つのカメラを含む。
【0004】
したがって、このようなデバイスが前面カメラと背面カメラの両方を使用して前述の用途をサポートするためには、デバイスごとに合計で4(四)つのカメラ(すなわち、前面に2(二)つ、背面に2(二)つ)が必要である。しかしながら、このようなデバイスのサイズを縮小したいという継続的な要望により、デバイスごとにこのような4つのカメラを収めるのに十分なスペースがない。さらに、赤外画素とカラー画素の両方を単一のセンサに組み込むというこれまでの試みは、信号対ノイズ比(SNR)性能を向上させる他の技術(例えば、ビニングなど)をサポートすることができない。
【発明の概要】
【課題を解決するための手段】
【0005】
画像センサ装置および方法は、複数の隣接する赤外線(IR)フィルタ要素を用いて提供される。光景の画像を表すための画素データとして出力信号を生成する2次元画素要素アレイを備える画像センサが含まれる。さらに含まれるのは、光景から入射する光を受光するように2次元画素要素アレイに結合された2次元フィルタ要素アレイを備えるフィルタアレイである。フィルタアレイは、光の可視スペクトルの1つ以上の色のスペクトルエネルギーを透過するように構成された第1のフィルタ要素サブセットをそれぞれ含む複数のフィルタ要素ブロックを含む。第1のサブセットの隣り合うフィルタ要素の各対は、光の可視スペクトルの異なる色のスペクトルエネルギーを透過するように構成される。さらに、各フィルタ要素ブロックは、光の赤外線(IR)スペクトルのスペクトルエネルギーを透過するように構成された第2のフィルタ要素サブセットも含む。第2のフィルタ要素サブセットは、隣接する少なくとも2(二)つのIRフィルタ要素を含む。
【0006】
第1の実施形態では、画像センサは、電荷結合素子(CCD)画像センサを含んでもよい。
【0007】
第2の実施形態では、画像センサは、相補型金属酸化膜半導体(CMOS)画像センサを含んでもよい。
【0008】
第3の実施形態(第1および/または第2の実施形態と組み合わせられてもされなくてもよい)では、第2のフィルタ要素サブセットは、隣接する少なくとも4(四)つのIRフィルタ要素を含んでもよい。
【0009】
第4の実施形態(第1、第2、および/または第3の実施形態と組み合わされてもされなくてもよい)では、第1のフィルタ要素サブセットは、赤色カラーフィルタ要素、緑色カラーフィルタ要素、および青色カラーフィルタ要素の少なくとも2種類(またはさらにはすべての種類)を含んでもよい。
【0010】
第5の実施形態(第1、第2、第3、および/または第4の実施形態と組み合わされてもされなくてもよい)では、フィルタアレイは、各ブロックのフィルタ要素の構成が対称になるように配置されてもよい。
【0011】
第6の実施形態(第1、第2、第3、第4、および/または第5の実施形態と組み合わされてもされなくてもよい)では、第2のフィルタ要素サブセットは、第1のフィルタ要素サブセットのフィルタ要素の第2の数の分数である第1の数のフィルタ要素を含んでもよい。選択肢として、このような分数は、3分の1(1/3)であってもよい。
【0012】
第7の実施形態(第1、第2、第3、第4、第5、および/または第6の実施形態と組み合わされてもされなくてもよい)では、第2のフィルタ要素サブセットは、対応する各フィルタ要素ブロック内の中央に配置されてもよい。
【0013】
第8の実施形態(第1、第2、第3、第4、第5、第6、および/または第7の実施形態と組み合わされてもされなくてもよい)では、第2のフィルタ要素サブセットは、対応する各フィルタ要素ブロックの隅に配置されてもよい。
【0014】
第9の実施形態(第1、第2、第3、第4、第5、第6、第7、および/または第8の実施形態と組み合わされてもされなくてもよい)では、第2のフィルタ要素サブセットの少なくとも一部に関してIRスペクトルのスペクトルエネルギーがビニングされてもよい。様々な選択肢として、ビニングにより電圧レベルおよび/または電荷レベルがビニングされてもよい。さらに別の選択肢として、第1のフィルタ要素サブセットの少なくとも一部に関して可視スペクトルの1つ以上の色のスペクトルエネルギーが、第1のタイプのビニングアルゴリズムを利用してビニングされてもよい。さらに、第2のフィルタ要素サブセットの少なくとも一部に関してIRスペクトルのスペクトルエネルギーが、第2のタイプのビニングアルゴリズムを利用してビニングされてもよい。選択肢として、第2のフィルタ要素サブセットの少なくとも一部に関して光のIRスペクトルのスペクトルエネルギーをビンニングするビニング回路が設けられてもよい。
【0015】
第10の実施形態(第1、第2、第3、第4、第5、第6、第7、第8、および/または第9の実施形態と組み合わされてもされなくてもよい)では、第2のフィルタ要素サブセットの少なくとも1つに関して可視スペクトルの1つ以上の色のスペクトルエネルギーの値が、補間を利用して特定されてもよい。
【0016】
第11の実施形態(第1、第2、第3、第4、第5、第6、第7、第8、第9、および/または第10の実施形態と組み合わされてもされなくてもよい)では、フィルタアレイの第1の横列に第1のフィルタ要素サブセットのみが含まれている場合は、より高い解像度を利用して第1の横列に関連する出力が処理されてもよい。さらに、フィルタアレイの第2の横列に第2のフィルタ要素サブセットの少なくとも1つのフィルタ要素が含まれている場合は、より低い解像度を利用して第2の横列に関連する出力が処理されてもよい。
【0017】
第12の実施形態(第1、第2、第3、第4、第5、第6、第7、第8、第9、第10、および/または第11の実施形態と組み合わされてもされなくてもよい)では、第2のサブセットのフィルタ要素の少なくとも1つは、第1のサブセットのフィルタ要素の少なくとも1つより大きくてもよい。具体的には、任意選択の一実施形態では、第2のフィルタ要素サブセットの少なくとも一部分は、第1のサブセットのフィルタ要素の少なくとも1つよりも大きい、フィルタアレイの単一の構成要素を形成する。
【0018】
第13の実施形態(第1、第2、第3、第4、第5、第6、第7、第8、第9、第10、第11、および/または第12の実施形態と組み合わされてもされなくてもよい)では、第1のサブセットのフィルタ要素は、ベイヤーパターンで構成されてもよい。
【0019】
この目的のために、一部の任意選択の実施形態では、前述の装置および/または方法の前述の特徴の1つ以上は、ビニングなどの他の性能向上技術を可能にする仕方で、IRおよびカラー画像形成能力の両方を必要とする用途をサポートすることができるセンサを提供することができる。これは、複数の隣接するIRフィルタ要素を有するセンサを提供することによって達成される。結果として、これにより、必要なカメラをより少なくすることができ(またコストおよび/またはフォームファクタを低減することができ)、これは、そうでない場合、このような特徴を欠くデバイス、特に、このようなデバイスの前面および背面の両方にカメラシステムを有するデバイスでは当然である。前述の潜在的な利点は、例示目的のために説明されているに過ぎず、決して限定として解釈されるべきではないことに留意されたい。
【図面の簡単な説明】
【0020】
図1A-1】一実施形態による、画像センサ装置の回路図である。
図1A-2】一実施形態による、ビニングの例を示す。
図1B】一実施形態による、複数の隣接する赤外線(IR)フィルタ要素を備えたフィルタアレイを示す。
図1C】さらに別の実施形態による、赤色カラーフィルタ要素および緑色カラーフィルタ要素によって囲まれている複数の隣接するIRフィルタ要素を備えたさらに別のフィルタアレイを示す。
図2】別の実施形態による、交互に配置された赤色カラーフィルタ要素、緑色カラーフィルタ要素、および青色カラーフィルタ要素を含む各フィルタ要素グループの隅に配置された複数の隣接するIRフィルタ要素を備えた別のフィルタアレイを示す。
図3】さらに別の実施形態による、交互に配置された赤色カラーフィルタ要素、緑色カラーフィルタ要素、および青色カラーフィルタ要素を含む各フィルタ要素グループの隅に配置された、大きな単一の画素の形態の複数の隣接するIRフィルタ要素を備えたさらに別のフィルタアレイを示す。
図4】さらに別の実施形態による、複数の離れた隣接するIRフィルタ要素のセットとして構成された複数の隣接するIRフィルタ要素を備えたさらに別のフィルタアレイを示す。
図5】一実施形態による、赤色カラーフィルタ要素、緑色カラーフィルタ要素、および青色カラーフィルタ要素を含むより大きな5×5のフィルタ要素グループ内に配置された複数の隣接するIRフィルタ要素を備えたフィルタアレイを示す。
図6】別の実施形態による、赤色カラーフィルタ要素、緑色カラーフィルタ要素、および青色カラーフィルタ要素を含むより大きな5×5のフィルタ要素グループ内に配置された複数の隣接するIRフィルタ要素を備えた別のフィルタアレイを示す。
図7】一実施形態による、画像センサ装置の分解図である。
図8A】一実施形態による、画像センサからの出力信号を処理するための方法を示す。
図8B】一実施形態による、図2のフィルタアレイの特定の構成を処理する例を示す。
図9】可能な一実施形態によるネットワークアーキテクチャを示す。
図10】一実施形態による例示的なシステムを示す。
【発明を実施するための形態】
【0021】
ビニングなどの他の性能向上技術を可能にする仕方で、赤外線(IR)およびカラー画像形成能力の両方を必要とする用途をサポートすることができる単一のセンサを含む様々な実施形態が説明される。これは、複数の隣接するIRフィルタ要素を有する単一のセンサを提供することによって達成される。結果として、これにより、必要なカメラをより少なくすることができ(またコストおよび/またはフォームファクタを低減することができ)、これは、そうでない場合、このような特徴を欠くデバイス、特に、このようなデバイスの前面および背面の両方にカメラシステムを有するデバイスでは当然である。前述の潜在的な利点は、例示目的のために説明されているに過ぎず、決して限定として解釈されるべきではないことに留意されたい。とは言うものの、次に、下記の図に関連して様々な実施形態を説明する。
【0022】
図1A−1は、一実施形態による、画像センサ装置10の回路図である。このような実施形態では、画像センサ装置10は、カラーおよびIR関連の出力信号を生成することができる単一のカメラの構成要素とすることができる。これを達成するために、画像センサ装置10は、単一のフィルタアレイ12を含むことができ、単一のフィルタアレイ12は、本説明との関連において、様々なスペクトルのスペクトルエネルギーを透過するように構成されたフィルタ要素(すなわち、フィルタアレイ部分など)のセットを含むことができる。一実施形態では、フィルタアレイ12は、複数のカラーフィルタ要素と複数のIRフィルタ要素とを含む2次元アレイ(2つ以上の次元を含むことができる)を含むことができる。様々な実施形態において、カラーフィルタ要素およびIRフィルタ要素は、じきに明らかになる理由から、複数のIRフィルタ要素が隣接する(例えば、各IRフィルタ要素が少なくとも1つの隣り合う、隣り合わせの、または隣のIRフィルタ要素と共に配置される)限り、任意の所望の方法で配置および/または構成され得る。
【0023】
2次元画素要素(またはセンサ要素)アレイを備える単一の画像センサ14も含まれる。一実施形態では、単一の画像センサ14は、電荷結合素子(CCD)画像センサを含むことができる。他の実施形態では、単一の画像センサ14は、相補型金属酸化膜半導体(CMOS)画像センサを含むことができる。様々な実施形態において、CCD画像センサは、CMOS画像センサと比較して、任意選択の性能上の利点(例えば、より大きなSNRなど)を提供することができる。他の実施形態では、他の実現技術も考えられる。使用時に、このような単一の画像センサ14は、(画像センサ装置10によって受光される、光の反射を通して取得される)光景の画像を表す画素データとして各画素要素で出力信号を生成するように構成される。
【0024】
フィルタアレイ12は、画像センサ14がその出力信号を生成する前にスペクトルエネルギーを選択的に透過(例えば、フィルタリングなど)するために、画像センサ14の2次元画素要素アレイに結合される。選択肢として、画像センサ14からのこのような出力信号は、画像センサ14からの出力信号に対して様々な技術(例えば、ビニング、補間など)を実行するために画像回路16によって処理されてもよい。回路16は、ビニングメカニズムをサポートするハードウェア論理および/または1つ以上のプロセッサを含むことができる。一実施形態による、画像センサ装置10を使用してビニングを実行するための特定の一方法に関するさらなる情報を次に説明する。
【0025】
図1A−2は、一実施形態による、ビニング20の例を示す。一般に、ビニング20は、記録画像内の単一の画素を生成するために画像センサ21(例えば、図1A−1の画像センサ14)の隣り合うセンサ要素23の情報を合成することを含む。したがって、本説明との関連において、このようなビニング20は、フィルタ要素23のうちの第1のフィルタ要素の出力またはコンテンツとフィルタ要素23のうちの第2のフィルタ要素の出力またはコンテンツとの(少なくとも部分的な)合成、集約などが行われるアルゴリズムを含むことができる。
【0026】
図1A−2に示すように、ビニング20は、画像センサ21のセンサ要素23の4つにわたる照射領域22を含むことができる。画像センサ21は、画像センサ21および/または画像回路(例えば、図1A−1の画像回路16)の一部とすることができる出力レジスタ24を備えるものとしてさらに示されている。
【0027】
動作1に示すように、照射領域22に向けられた光信号は、4つのセンサ要素23のそれぞれに10電子の電荷を誘導する。動作2において、前述の電荷は出力レジスタ24にシフト(例えばクロック)される。動作3において、前述の電荷が(例えば、別のクロックによって)再びシフトされ、画像センサ21の第1横列からの電荷が出力レジスタ24の第1横列に加算される。次に、動作4において、2つの右側のセンサ要素23からの合計電荷が(例えばさらなるクロックによって)シフトされて、出力25が生成される。最後に、動作5において、出力レジスタ24のコンテンツが再びシフト(またはクロック)されて、出力レジスタ24内の、すべてのセンサ要素23からの電荷が合計され、これによって出力25の最終バージョンが生成される。このように、少なくとも2つの隣り合うセンサ要素の出力は、ビニングメカニズムによって合成される。ハードウェアベースのビニングメカニズムは、画素(またはセンサ要素)の読み出しノイズを低減するために好適に実行され得る(例えば、各画素要素23から読み出す代わりに、1つの合計結果25だけが読み出される)。
【0028】
この設計により、センサ要素23における電荷が前述の方法で合成されるという事実のおかげで、出力25を得るために必要とされるステップが少なくなる。とは言うものの、交互の順序で配置される(すなわち、カラー要素の隣にIR要素があり、そのIR要素の隣にカラー要素がある等々)カラー要素とIR要素の両方を含むより複雑な画像センサとの関連において、このようなビニング20は、(ビニング20にまれにあるように)IR要素およびカラー要素の出力を必ず合成しなければならないわけではないという事実のために複雑になり得る。この目的のために、これから詳述するように、前述のビニング20は、前述のビニング20の前述の動作1〜5に適応する連続IR要素を有する画像センサを提供することよってさらにサポートされ得る。
【0029】
図1Bは、一実施形態による、複数の隣接するIRフィルタ要素を備えたフィルタアレイ100を示す。様々な実施形態において後に説明されるように、フィルタアレイ100は、出力信号を生成するために単一の画像センサと協働するように構成され得る。
【0030】
図示のように、フィルタアレイ100は、それぞれがフィルタ要素の「ブロック」を形成することができる複数のフィルタ要素グループ103を含む。フィルタ要素グループは、それぞれが2×2のマトリックスのフィルタ要素を含むものとして示されているが、N×Nのマトリックスのフィルタ要素(ただし、N=2、3、5、6...または任意の整数)が考えられることに留意されたい。さらに図示されているように、フィルタアレイ100を形成するために、複数のフィルタ要素グループ103が含まれ得る。図1Bには2×2のマトリックスのフィルタ要素グループ103が示されているが、M×Mのマトリックスのフィルタ要素グループ103(ただし、M=2、3、5、6...または任意の整数)が考えられることに留意されたい。選択肢として、フィルタアレイ100は、各フィルタ要素グループ103のフィルタ要素の構成が対称になり得るように配置されてもよい。言い換えれば、各フィルタ要素グループ103は、同じまたは実質的に同じ配置のフィルタ要素を含んでもよい。
【0031】
各フィルタ要素グループ103は、入射光の可視スペクトルの1つ以上の色のスペクトルエネルギーを透過する(光の他の部分を除去しながら)ように構成された第1のフィルタ要素サブセット104(以下、「カラーフィルタ要素」104)を含むものとして示されている。様々な実施形態の下記の説明の間に明らかになるように、カラーフィルタ要素104は、赤色カラーフィルタ要素、緑色カラーフィルタ要素、および/または青色カラーフィルタ要素の少なくとも2種類(またはさらにはすべての種類)を含むことができる。しかしながら、他のカラースキーム[例えば、シアン/マゼンタ/イエロー/ブラック(CMYK)など]も考えられるため、このような赤/緑/青(RGB)の実施形態は、例示目的のために説明されているに過ぎないことに留意されたい。
【0032】
さらに、隣接するすべてのカラーフィルタ要素104(または2次元フィルタアレイ100内の2つの隣り合わせのカラーフィルタ要素)は、可視スペクトルの異なる色のスペクトルエネルギーを透過するように構成される。本説明との関連において、2つのフィルタ要素は、これら2つのフィルタ要素が少なくとも1つのそれらの境界を共有して、第1のフィルタ要素の第1の境界が第2のフィルタ要素の第2の境界に接する場合に隣接することができる。例えば、後により詳細に説明される可能な一実施形態では、カラーフィルタ要素104は、ベイヤーパターンで構成されてもよい。ベイヤーパターンは、RGBカラーフィルタを正方格子に配置するための特定のモザイクを指す。ベイヤーパターンは、50%の緑色フィルタ要素、25%の赤色フィルタ要素、および25%の青色フィルタ要素を含む。このようなベイヤーパターンの例は、図2に示す別の実施形態に関連して後に説明される。
【0033】
さらに含まれるのは、太陽光または他の人工光源の結果として環境において自然に発生し得る(例えば、入射光の不可視部分の)IRスペクトルのスペクトルエネルギーを透過するように構成された第2のフィルタ要素サブセット106(以下、「IRフィルタ要素」106)である。IRフィルタ要素106は、IRスペクトル以外の、入射光の部分を除去することができる。本説明との関連において、このようなIRスペクトルは、IRスペクトルおよび/または近IRスペクトルの両方を含むことができる。さらに、一実施形態では、IRフィルタ要素106は、様々な用途に関連して利用され得る深度情報を含む3次元(3D)深度マップを生成するのに役立ち得る。このような深度情報は、特定の視点からの、1つ以上の光景の対象の表面の距離に関し、深度バッファ、すなわち異なるグラフィックアプリケーションにおけるZバッファに関連して使用され得る。
【0034】
異なる実施形態では、IRフィルタ要素106は、カラーフィルタ要素104の第2の数の分数である第1の数のフィルタ要素を含むことができる。図1Bに示されている実施形態では、このような分数は3分の1(1/3)であってもよい。しかしながら、他の実施形態では、前述の分数は、任意の分数1/Q(ただし、Q=2、4、5、6…または任意の整数)を含むことができる。
【0035】
さらに、カラーフィルタ要素104およびIRフィルタ要素106は、それぞれ任意のサイズとすることができ、任意の所望の方法で(例えば、シリコン面積、構成部品、フィルタアレイ空間などに関して)組み合わされ得る。例えば、一実施形態では、カラーフィルタ要素104およびIRフィルタ要素106のサイズは均一であってもよい。しかしながら、後に説明される他の可能な実施形態では、IRフィルタ要素106の少なくとも1つは、カラーフィルタ要素104の少なくとも1つよりも大きな形態をとることができる。例えば、可能な一実施形態では、複数のIRフィルタ要素106(要素106の一部または全部を構成してもよい)は、カラーフィルタ要素104の少なくとも1つよりも大きな、フィルタアレイ100の単一の構成要素(例えば、面積、部品など)を集合的に形成してもよい。このような実施形態では、このようなより大きな形態を与えるために、IRフィルタ要素106の任意の部分/態様(例えば、構成部品、シリコン面積、フィルタアレイ空間など)が集約され、共有され、および/または組み合わされ得る。
【0036】
引き続き図1Bを参照すると、IRフィルタ要素106は隣接している。図1Bには4(四)つのIRフィルタ要素106が示されているが、任意の複数P個のIRフィルタ要素106が隣接していてもよい(ただし、P=2、3、5、6…または1よりも大きい任意の整数)ことに留意されたい。IRフィルタ要素106のすべてが各フィルタ要素グループ103において隣接する実施形態が考えられることにも留意されたい。さらに、IRフィルタ要素106の一部のみが各フィルタ要素グループ103において隣接する他の実施形態が考えられる。
【0037】
異なる実施形態では、IRフィルタ要素106、より詳細には隣接するIRフィルタ要素106は、各フィルタ要素グループ103内の任意の位置に配置され得る。例えば、図1Bの実施形態に示されているように、IRフィルタ要素106は、(各フィルタ要素グループ103の)カラーフィルタ要素104内の中央に配置されてもよい。下記の図との関連において説明される他の実施形態では、IRフィルタ要素106は、各フィルタ要素グループ103の隅を含むがこれに限定されない、各フィルタ要素グループ103内の、カラーフィルタ要素104に対する任意の位置に配置されてもよい。厳密には選択肢として、可視スペクトルの1つ以上の色のスペクトルエネルギーの値は、1つ以上のカラーフィルタ要素104が1つ以上のIRフィルタ要素106に置き換えられた領域に関しては、補間を利用して特定されてもよい。
【0038】
この目的のために、一部の任意選択の実施形態では、前述の隣接性により、ビニングなどの他の性能向上技術を可能にする仕方で、IRおよびカラー画像形成能力の両方を必要とする用途をサポートすることができる単一のカメラの製造および使用が可能になる。これは、複数の隣接するIRフィルタ要素を有する単一のセンサを提供することによって達成される。図1A−2に関連して前述したように、ビニングは、同種(例えば、カラー対IR)の隣り合う要素からの出力信号を合成することを含む。この目的のために、例えばIR要素が少なくとも部分的に隣接することを保証することによって、このような隣り合う要素に対してビニングを実行することができるが、これは、そうでない場合、合成不可能な要素が互いに隣り合う構成(すなわち、カラー要素の隣にIR要素があり、そのIR要素の隣にカラー要素がある等)では不可能である(または少なくともあまり実用的、効果的、および/もしくは効率的などではない)。
【0039】
したがって、結果として、このような隣接性により、必要なカメラをより少なくすることができ(またコストおよび/またはフォームファクタを低減することができ)、これは、そうでない場合、このような特徴を欠くデバイス、特に、このようなデバイスの前面および背面の両方にカメラシステムを有するデバイスでは当然でる。前述の潜在的な利点は、例示目的のために説明されているに過ぎず、したがって厳密には任意選択であることに留意されたい。ユーザの望みに従って前述の方法が実施されてもされなくてもよい様々な任意選択のアーキテクチャおよび使用に関して、より例示的な情報を次に説明する。以下の特徴のいずれも、説明されている他の特徴を除外してまたは除外せずに任意選択的に組み込まれ得る。
【0040】
図1Cは、さらに別の実施形態による、赤色カラーフィルタ要素114および緑色カラーフィルタ要素116によって囲まれている複数の隣接するIRフィルタ要素112を備えたさらに別のフィルタアレイ110を示す。図示のように、隣接するIRフィルタ要素112は、赤色カラーフィルタ要素114および緑色カラーフィルタ要素116内の中央に位置する2×2のマトリックスを形成している。さらに、赤色カラーフィルタ要素114および緑色カラーフィルタ要素116は、図示のように各フィルタ要素グループ118の各境界に沿って交互に配置されている。
【0041】
図2は、別の実施形態による、交互に配置された赤色カラーフィルタ要素204、緑色カラーフィルタ要素206、および青色カラーフィルタ要素207を含む各フィルタ要素グループ208の隅に配置された複数の隣接するIRフィルタ要素202を備えた別のフィルタアレイ200を示す。図示のように、隣接するIRフィルタ要素202は、各フィルタ要素グループ208の右下隅に配置された2×2のマトリックスを形成している。
【0042】
隣接するIRフィルタ要素202が他の隅(例えば、右上、左下、左上など)の隅に配置される他の実施形態が考えられることに留意されたい。さらに、隣接するIRフィルタ要素202は各フィルタ要素グループ208の境界に沿って存在する(例えば、各フィルタ要素グループ208の境界に隣接する)が、隣接するIRフィルタ要素202がこのような境界から離隔される他の実施形態が考えられる。上記の変形例については、上記および/または下記の図の両方との関連において本明細書に説明されている実施形態のすべてに応用され得るため、繰り返さないことに留意されたい。
【0043】
さらに図示されているように、各フィルタ要素グループ208の第1横列および第3横列は、それぞれ交互に配置された赤色カラーフィルタ要素204および緑色カラーフィルタ要素206を含む。各フィルタ要素グループ208の第2横列および第4横列は、それぞれ交互に配置された青色カラーフィルタ要素207および緑色カラーフィルタ要素206を含む。この目的のために、赤色カラーフィルタ要素204、緑色カラーフィルタ要素206、および青色カラーフィルタ要素207は、図示のようにベイヤーパターンで構成される。
【0044】
図3は、さらに別の実施形態による、交互に配置された赤色カラーフィルタ要素304、緑色カラーフィルタ要素306、および青色カラーフィルタ要素307を含む各フィルタ要素グループ308の隅に配置された、大きな単一の画素の形態の複数の隣接するIRフィルタ要素302を備えたさらに別のフィルタアレイ300を示す。前述のように、このようなより大きな形態を提供するために、IRフィルタ要素302の任意の部分/態様(例えば、構成部品、シリコン面積、フィルタアレイ空間など)が集約され、共有され、および/または組み合わされ得る。
【0045】
例示的な一実施形態では、各フィルタ要素グループ308内の隣接するIRフィルタ要素302は、赤色カラーフィルタ要素304、緑色カラーフィルタ要素306、および青色カラーフィルタ要素307の画素のサイズ(例えば1.12μmなど)よりも大きい(例えば2.24μmなど)単一の画素を形成する。さらに図示されているように、各フィルタ要素グループ308の第1横列および第3横列は、それぞれ交互に配置された赤色カラーフィルタ要素304および緑色カラーフィルタ要素308を含む。各フィルタ要素グループ308の第2横列および第4横列は、それぞれ交互に配置された青色カラーフィルタ要素307および緑色カラーフィルタ要素306を含む。下記の実施形態の説明の間に後に説明されるように、このような異なる画素サイズを含む横列の処理は、このような設計に適応するように修正され得る(例えば、異なる横列の異なる要素を異なる方法で処理することなどによって)。
【0046】
図4は、さらに別の実施形態による、複数の離れた1×2の隣接するIRフィルタ要素のセット403として構成された複数の隣接するIRフィルタ要素402を備えたさらに別のフィルタアレイ400を示す。これらは、各フィルタ要素グループ408内の任意の相対位置に配置され得るが、本実施形態では、隣接するIRフィルタ要素のセット403は、各フィルタ要素グループ408の右側に配置され、図示のように、境界を共有しないよう離隔/オフセットされている。
【0047】
さらに、各フィルタ要素グループ408は、交互に配置された赤色カラーフィルタ要素404、緑色カラーフィルタ要素406、および青色カラーフィルタ要素407を含む。具体的には、各フィルタ要素グループ408の第1横列および第3横列は、それぞれ交互に配置された赤色カラーフィルタ要素404および緑色カラーフィルタ要素406を含む。各フィルタ要素グループ408の第2横列および第4横列は、それぞれ交互に配置された青色カラーフィルタ要素407および緑色カラーフィルタ要素406を含む。
【0048】
図5は、一実施形態による、赤色カラーフィルタ要素504、緑色カラーフィルタ要素506、および青色カラーフィルタ要素507を含むより大きな5×5のフィルタ要素グループ508内に配置された複数の隣接するIRフィルタ要素502を備えたフィルタアレイ500を示す。図示のように、各フィルタ要素グループ508は、5×5のマトリックスのフィルタ要素を含むように増加され、隣接するIRフィルタ要素502は、図示のように、各フィルタ要素グループ508のすべての境界から離隔され、さらにはフィルタ要素グループ508の中央から(左上隅へ)オフセットされて配置された2×2のマトリックスを形成する。
【0049】
さらに図示されているように、各フィルタ要素グループ508の第1横列、第3横列、および第5横列は、それぞれ交互に配置された青色カラーフィルタ要素507および緑色カラーフィルタ要素506を含む。さらに、各フィルタ要素グループ508の第2横列および第4横列は、それぞれ交互に配置された赤色カラーフィルタ要素504および緑色カラーフィルタ要素506を含む。
【0050】
図6は、別の実施形態による、赤色カラーフィルタ要素604、緑色カラーフィルタ要素606、および青色カラーフィルタ要素607を含むより大きな5×5のフィルタ要素グループ608内に配置された複数の隣接するIRフィルタ要素602を備えた別のフィルタアレイ600を示す。図示のように、各フィルタ要素グループ608は、5×5のマトリックスのフィルタ要素を含むように増加され、隣接するIRフィルタ要素602は、図示のように、各フィルタ要素グループ608のすべての境界から離隔され、さらにはフィルタ要素グループ608の中央から(右下隅へ)オフセットされて配置された2×2のマトリックスを形成する。
【0051】
さらに図示されているように、各フィルタ要素グループ608の第1横列、第3横列、および第5横列は、それぞれ交互に配置された赤色カラーフィルタ要素604および緑色カラーフィルタ要素606を含む。さらに、各フィルタ要素グループ608の第2横列および第4横列は、それぞれ交互に配置された青色カラーフィルタ要素607および緑色カラーフィルタ要素606を含む。
【0052】
図7は、一実施形態による、画像センサ装置700の分解図である。選択肢として、装置700は、上記および/もしくは下記の図ならびに/またはそれらの説明で説明されている実施形態のうちの任意の1つ以上との関連において実施されてもよい。例えば、図1図6のフィルタアレイのいずれが、図7の画像センサ装置700との関連において実施されてもよい。しかしながら、装置700は任意の所望の環境との関連において実施され得ることを理解されたい。
【0053】
一実施形態では、画像センサ装置700は、カラーおよびIR関連の出力信号を生成することができる単一のカメラの構成要素とすることができる。これを達成するために、画像センサ装置700は、複数のカラーフィルタ要素と複数のIRフィルタ要素とを含む2次元アレイを含む単一のフィルタアレイ702の形態の単一のフィルタアレイ手段を含む。一実施形態では、単一のフィルタアレイ702は、図1A−1のフィルタアレイ12を含むことができる。様々な実施形態において、カラーフィルタ要素およびIRフィルタ要素は、複数のIRフィルタ要素が隣接する限り、任意の所望の方法(例えば、図1図6などを参照)で配置および/または構成され得る。
【0054】
2次元画素要素アレイを備える単一の画像センサ704の形態の単一の画像センサ手段も含まれる。一実施形態において、単一の画像センサ704は、図1A−1の画像センサ14を含むことができる。使用時に、このような単一の画像センサ704は、(画像センサ装置700によって受光される、光の反射を通して取得される)光景の画像を表す画素データとして各画素要素で出力信号を生成するように構成される。
【0055】
フィルタアレイ702は、画像センサ704がその出力信号を生成する前にスペクトルエネルギーを選択的に透過(例えば、フィルタリングなど)するために、画像センサ704の2次元画素要素アレイに結合される。選択肢として、画像センサ704からのこのような出力信号は、画像センサ704からの出力信号に対して様々な技術(例えば、ビニング、補間など)を実行するために画像プロセッサ706によって処理されてもよい。一実施形態による、画像センサ704からの出力信号を処理するための特定の一方法に関するさらなる情報を次に説明する。
【0056】
図8Aは、一実施形態による、画像センサからの出力信号を処理するための方法800を示す。選択肢として、方法800は、上記および/もしくは下記の図ならびに/またはそれらの説明で説明されている実施形態のうちの任意の1つ以上との関連において実施されてもよい。例えば、方法800は、図7の画像センサ装置700との関連において実施されてもよく、特に、その画像プロセッサ706によって実行されてもよい。しかしながら、方法800は任意の所望の環境との関連において実施され得ることを理解されたい。
【0057】
図示のように、方法800は、画像センサ(例えば、図7の画像センサ704など)の各画素要素の出力を処理するが、その場合、このような出力は、画像センサに結合されたフィルタアレイ(例えば、図7のフィルタアレイ702など)によってフィルタリングされた後に画像センサによって受光される光の関数である。図示の実施形態では、このような処理は、画像センサの2次元画素要素アレイの複数の横列の中で横列ごとに進行する。これは、例えば、最初に、動作802で特定の横列を選択し(例えば、第1横列から開始される)、次に、現在の横列がIRフィルタ要素を含むかどうかを判断することによって達成される。判定804を参照されたい。
【0058】
前述のように、フィルタアレイは、任意の構成(例えば、図1図6などを参照)をとることができ、したがって、一部の横列は必ずしもIRフィルタ要素を含まない。このような場合、カラー画像データは、動作806によって通常通りに処理される。様々な実施形態において、動作806の通常の処理は、IRフィルタ要素に関して以下に説明される技術のいずれかを含んでも含まなくてもよいことに留意されたい。
【0059】
一方、現在の横列が判定804によって1つ以上のIRフィルタ要素を実際に含むと判断された場合、このようなIRフィルタ要素は、さらなる技術を使用して処理され得る。動作808を参照されたい。例えば、IRスペクトルのスペクトルエネルギーは、IRフィルタ要素の少なくとも一部(またはさらにはIRフィルタ要素のそれぞれ)に関してビニングされてもよい。
【0060】
さらに、IRフィルタ要素の隣接性により、このようなビニングが可能になるが、ビニングは、このような設計構成がなければ不可能である(または少なくともあまり実用的、効果的、および/または効率的などではない)。これは、このようなビニングアルゴリズムを実行するハードウェア/ソフトウェアが、一般的に、(例えばシフトレジスタまたは他のメカニズムを使用して)隣り合う要素をこれらが配置された順序で1つずつ処理するように構成されるためである。具体的には、図1A−2に関連して前述したように、ビニングは、同種(例えば、カラー対IR)の隣り合う要素からの出力信号を合成することを含む。この目的のために、例えばIR要素が少なくとも部分的に隣接することを保証することによって、このような隣り合う要素に対してビニングを実行することができるが、これは、そうでない場合、合成不可能な要素が互いに隣り合う構成(すなわち、カラー要素の隣にIR要素があり、そのIR要素の隣にカラー要素がある等)では不可能である(または少なくともあまり実用的でない、効果的でない、および/もしくは効率的でない等々)。隣接するフィルタ要素はこのような方法でビニングを容易にすることができるが、隣接していないフィルタ要素にわたってビニングが行われる他のタイプのビニングアルゴリズムが考えられることに留意されたい。
【0061】
様々な選択肢として、ビニングは、様々なフィルタ要素(例えば、カラーフィルタ要素、IRフィルタ要素)によって示される電圧レベルおよび/または電荷レベルをビニングすることができる。電圧レベルのビニングの場合、このようなビニングは、画像センサのIRまたはカラーフィルタ要素の電荷レベルを処理する後処理回路の出力で電圧のレベルを集約することができる。一方、電荷レベルのビニングの場合、このようなビニングは、このような電荷レベルを処理する後処理回路の前に、画像センサのIRまたはカラーフィルタ要素によって実際に蓄積された電荷のレベルを集約することができる。
【0062】
可能な一実施形態では、前述のビニングは、カラーフィルタ要素およびIRフィルタ要素に関して実行され得る。さらに、少なくとも一部(またはさらにはそれぞれ)のカラーフィルタ要素に関して可視スペクトルの1つ以上の色のスペクトルエネルギーを、第1のタイプのビニングアルゴリズムを利用してビニングすることができ、一方、IRフィルタ要素の少なくとも一部(またはさらにはそれぞれ)に関してIRスペクトルのスペクトルエネルギーを、第2のタイプのビニングアルゴリズムを利用してビニングすることができる。様々な実施形態において、このような異なるタイプのビニングアルゴリズムは、カラーフィルタ要素とIRフィルタ要素との異なる相対的配置、構成、一般的性質などに適応する任意のビニングアルゴリズムを含むことができる。
【0063】
任意選択の一実施形態では、少なくとも1つのIRフィルタ要素を有する横列の処理は、同じ横列内のカラーフィルタ要素に適応するように(このような横列の処理中に)修正され得る。例えば、一実施形態では、電荷/電圧の収集は、フィルタ要素ごとに行われ得るため、IRフィルタ要素とカラーフィルタ要素とに対処するときにこのような電荷/電圧の収集は混合されない。他の実施形態では、カラーフィルタ要素は、少なくとも1つのIRフィルタ要素を含む横列に関しては単に無視されてもよい(カラーに関連する電荷/電圧の収集が行われないように)。さらに別の実施形態では、少なくとも1つのIRフィルタ要素を含む横列に関して、要素がカラー関連かIR関連かに関係なく、要素は、(電荷/電圧の収集に関して)全く同じように扱われてもよい。このような実施形態では、カラーまたはIR関連のフィルタ要素の電荷/電圧の収集を区別するために、様々なフィルタリング技術が使用されてもされなくてもよい。別の選択肢として、アレイの他の横列からの値を使用して、カラーまたはIR関連のフィルタ要素の値を特定するために、補間技術が使用されてもよい。
【0064】
さらなる選択肢として、動作806および808の処理は、フィルタ要素が処理される解像度に関して異なってもよく、このような異なる処理は、処理される特定の横列内のIRフィルタ要素の存在によって制御されてもよい。本説明との関連において、このような解像度特有の処理は、一度に処理される複数のフィルタ要素を参照してもよい。ほんの一例として、より高い解像度の処理は、各フィルタ要素を個別に処理してもよく、より低い解像度の処理は、複数のフィルタ要素を同時に処理してもよい。したがって、一実施形態では、第1の横列にカラーフィルタ要素のみが含まれている場合、フィルタアレイの第1の横列に関連する(例えば、これから導出される/これに関連したなど)出力は、より高い解像度を利用して処理されてもよい。さらに、第2の横列に少なくとも1つのIRフィルタ要素が含まれている場合、フィルタアレイの第2の横列に関連する出力は、より低い解像度を利用して処理されてもよい。
【0065】
さらなる実施形態では、フレームレート[例えば、1秒当たりのフレーム数(fps)など]も、このような横列内の1つ以上のIRフィルタ要素の存在(または非存在)に基づいて横列ごとに変更されてもよい。例えば、フレームレートは、グローバルシャッタの必要性を回避するために、IRフィルタ要素を有する横列に関して十分に増加されてもよい。例えば、120fpsを有する一実施形態では、30fpsは、カラー画像形成専用であってもよく、90fpsは、IR画像形成専用であってもよい。
【0066】
したがって、同じ単一のカメラが十分な解像度の深度マップを提供することを可能にしながらカラー画像の解像度を少しまたは無視できる程度低下させることができる様々な実施形態が考えられる。さらに、このようなカラー画像の劣化は、他の技術(例えば、補間など)を使用して補償されてもよい。
【0067】
図8Bは、一実施形態による、図2のフィルタアレイ200の特定の構成を処理する例を示す。復元された元のベイヤーパターンのカラーRGBのイメージが示されている。具体的には、隣接するIRフィルタ要素202との置き換えがなければカラーフィルタ要素を使用して生成されたであろう、1つの特定のフィルタ要素グループ208のカラー値850が示されている。このようなカラー値850は、それぞれの隣り合う赤色カラーフィルタ要素204、緑色カラーフィルタ要素206、および青色カラーフィルタ要素207から生成されるカラー値を使用して、補間によって計算される。
【0068】
特定のベイヤーパターンのおかげで、空間解像度(より高いサンプリングレート)における潜在的な利点は、カラーアーチファクトを生じにくい方法でもたらされ得る。さらに、隣接するIRフィルタ要素202、すなわち要素851のIR1、IR2、IR3、IR4は、図示のように、抽出IRビニング画像852をもたらすようにビニングされ得る(例えば、対応する値が加算される:IR1+IR2+IR3+IR4=IR*など)。フィルタ要素グループ208が16個(4×4のグループマトリックス)のうちの1つである実施形態との関連において、このような抽出IRビニング画像852は、より高いSNRを示すことができる。2×2のビニングモードの12MB画像センサを想定すると、0.75MPの深度マップ(高感度、2.0umの有効性)を提供することができ、これは、通常の深度マップ解像度(例えば、0.3MPなど)を上回る。このように考えると、フル解像度カラーRGB画像を提供するためにベイヤーデモザイクアルゴリズムを使用して画像処理を進めることができる。
【0069】
図9は、一実施形態によるネットワークアーキテクチャ900を示す。図示のように、少なくとも1つのネットワーク902が提供される。様々な実施形態では、上記の図の説明の間に説明された任意の1つ以上の構成要素/特徴は、少なくとも1つのネットワーク902の構成要素の任意の1つ以上に関連して実施され得る。
【0070】
本ネットワークアーキテクチャ900との関連において、ネットワーク902は、電気通信ネットワーク、ローカルエリアネットワーク(LAN)、無線ネットワーク、インターネットなどの広域ネットワーク(WAN)、ピアツーピアネットワーク、ケーブルネットワークなどを含むがこれらに限定されない任意の形態をとることができる。1つのネットワークしか示されていないが、2つ以上の同様のまたは異なるネットワーク902が提供され得ることを理解されたい。
【0071】
ネットワーク902には、複数のデバイスが結合される。例えば、サーバコンピュータ912およびエンドユーザコンピュータ908は、通信目的のために、ネットワーク902に結合され得る。このようなエンドユーザコンピュータ908は、デスクトップコンピュータ、ラップトップコンピュータ、および/または任意の他のタイプの論理を含むことができる。さらに、携帯情報端末(PDA)デバイス910、携帯電話デバイス906、テレビ904などを含む様々な他のデバイスが、ネットワーク902に結合され得る。
【0072】
図10は、一実施形態による、例示的なシステム1000を示す。選択肢として、システム1000は、図9のネットワークアーキテクチャ900のデバイスのうちのいずれかとの関連において実施されてもよい。しかしながら、システム1000は任意の所望の環境で実施され得ることを理解されたい。
【0073】
図示のように、バス1012に接続される少なくとも1つの中央処理装置1002を含むシステム1000が提供される。さらに含まれるのは、通信インタフェース1008(例えば、ローカル/リモートネットワークインタフェース、メモリアクセスインタフェースなど)および入力/出力(I/O)インタフェース1010(例えば、ディスプレイ、スピーカ、マイクロフォン、タッチスクリーン、タッチパッド、マウスインタフェース、図7に示されている画像センサ装置700など)である。
【0074】
システム1000は、メインメモリ1004[例えば、ハードディスクドライブ、ソリッドステートドライブ、ランダムアクセスメモリ(RAM)など]も含む。システム1000はまた、二次記憶装置1006を含むことができる。二次記憶装置1006は、例えば、フロッピーディスクドライブ、磁気テープドライブ、コンパクトディスクドライブなどを表すハードディスクドライブおよび/またはリムーバブル記憶ドライブを含む。リムーバブル記憶ドライブは、周知の方法でリムーバブル記憶ユニットからの読み出しおよび/またはへの書き込みを行う。
【0075】
なお、コンピュータプログラムまたはコンピュータ制御論理アルゴリズムが、メインメモリ1004、二次記憶装置1006、および/または任意の他のメモリに格納され得る。このようなコンピュータプログラムは、実行されると、システム1000が様々な機能(例えば、図8Aの方法800を含むがこれに限定されない上で説明したような機能)を実行することを可能にする。メモリ1004、二次記憶装置1006、および/または任意の他の記憶装置は、非一時的コンピュータ可読媒体の可能な例である。
【0076】
本明細書に説明されている技術は、一態様では、コンピュータベースのまたはプロセッサを含むマシン、装置、またはデバイスなどの命令実行マシン、装置、またはデバイスによって使用されるまたはこれらに関連して使用されるコンピュータ可読媒体に格納される実行可能命令で具現化されることに留意されたい。一部の実施形態では、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、ベルヌーイカートリッジ、ランダムアクセスメモリ(RAM)、または読み出し専用メモリ(ROM)などの、コンピュータによってアクセス可能なデータを格納することができる他のタイプのコンピュータ可読媒体が含まれることが当業者によって理解されよう。
【0077】
本明細書で使用される場合、「コンピュータ可読媒体」は、コンピュータプログラムの実行可能命令を格納するための1つ以上の任意の適切な媒体を含み、これにより、命令実行マシン、システム、装置、またはデバイスは、説明されている方法を実行するためにコンピュータ可読媒体から命令を読み出し(またはフェッチし)、この命令を実行することができる。適切な記憶フォーマットは、電子フォーマット、磁気フォーマット、光学フォーマット、および電磁フォーマットのうちの1つ以上を含む。従来の例示的なコンピュータ可読媒体の非網羅的リストは、
ポータブルコンピュータディスケット、RAM、ROM、消去可能なプログラマブル読み出し専用メモリ(EPROMもしくはフラッシュメモリ)、またはポータブルコンパクトディスク(CD)、ポータブルデジタルビデオディスク(DVD)、ハイデフィニションDVD(HD-DVD(登録商標))、BLU-RAYディスクを含む光記憶デバイスなどを含む。
【0078】
非一時的コンピュータ可読媒体は、磁気記憶媒体、光記憶媒体、および固体記憶媒体を含むあらゆるタイプのコンピュータ可読媒体を含み、厳密には信号を除外する。ソフトウェアは、本明細書に説明されているデバイスにインストールされ、これと共に販売され得ることを理解されたい。あるいは、ソフトウェアは入手されてデバイスにロードされてもよい(ディスク媒体を介してまたはネットワークもしくは配布システムの方法(例えば、ソフトウェア作成者によって所有されているサーバまたはソフトウェア作成者によって所有されていないが使用されるサーバからを含む)によりソフトウェアを入手することを含む)。ソフトウェアは、例えばインターネットを介して配布するためにサーバに格納され得る。
【0079】
説明されている図に示されている構成要素の配置は例示的であり、他の配置も可能であることを理解されたい。特許請求の範囲によって規定され、以下で説明され、様々なブロック図に示されている様々なシステム構成要素(および手段)は、本明細書に開示されている主題に従って構成される一部のシステムの論理的構成要素を表すことも理解されたい。
【0080】
例えば、これらのシステム構成要素(および手段)のうちの1つ以上は、全体的または部分的に、説明されている図に示されている配置に示されている構成要素の少なくとも一部によって実現されてもよい。さらに、これらの構成要素の少なくとも1つは、少なくとも部分的に電子ハードウェア構成要素として実施され、したがってマシンを構成するが、他の構成要素は、ソフトウェアで実施され、実行環境に含まれるときにマシン、ハードウェア、またはソフトウェアとハードウェアの組み合わせを構成してもよい。
【0081】
より詳細には、特許請求の範囲によって規定される少なくとも1つの構成要素は、少なくとも部分的に、命令実行マシン(例えば、プロセッサベースのもしくはプロセッサを含むマシン)および/または専用の回路もしくは電気回路(例えば、専用の機能を実行するように相互接続されたディスクリート論理ゲート)などの電子ハードウェア構成要素として実施される。他の構成要素は、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組み合わせで実施され得る。さらに、これらの他の構成要素の一部または全部を組み合わせることができ、一部を完全に省略することができ、本明細書に説明されている機能を達成しながら追加の構成要素を追加することができる。したがって、本明細書に説明されている主題は多くの異なる変形例で具現化することができ、このような変形例のすべては特許請求の範囲内にあると考えられる。
【0082】
上記の説明では、他に示さない限り、主題は、1つ以上のデバイスによって実行される挙動および動作の記号表現を参照して説明されている。このような場合、コンピュータによって実行されると場合により言われるこのような挙動および動作は、構造化された形式のデータの、プロセッサによる操作を含むことが理解されよう。この操作は、データを変換するかまたはこれをコンピュータのメモリシステム内の位置に保持し、当業者にはよく理解されている方法でデバイスの動作を再構成するかそうでなければ変更する。データは、データのフォーマットによって定義された特定の性質を有するデータ構造としてメモリの物理的位置に保持される。しかしながら、主題は前述の文脈で説明されているが、これは限定であることを意図されていない。なぜなら、当業者ならば、以下に説明する様々な挙動および動作がハードウェアでも実施され得ることを理解するであろうからである。
【0083】
本明細書に説明されている主題の理解を容易にするために、多くの態様が一連の挙動に関して説明されている。特許請求の範囲によって規定されるこれらの態様の少なくとも1つは、電子ハードウェア構成要素によって実行される。例えば、様々な挙動が専用の回路または電気回路によって、1つ以上のプロセッサによって実行されるプログラム命令によって、またはこれら両方の組み合わせによって実行され得ることが認められよう。一連の挙動に関する本明細書の説明は、その一連の挙動を実行するために説明された特定の順序に従わなければならないことを含意することを意図するものではない。本明細書に説明されているすべての方法は、本明細書中に別段の指示がない限りまたは文脈が明らかに矛盾しない限り、任意の適切な順序で実施され得る。
【0084】
主題を説明する文脈における(特に以下の特許請求の範囲の文脈における)用語「ある(a)」および「ある(an)」および「その(the)」ならびに同様の指示語の使用は、本明細書中に別段の指示がない限りまたは文脈が明らかに矛盾しない限り、単数形および複数形の両方を含むと解釈されるべきである。本明細書中の値の範囲の記載は、本明細書中に別段の指示がない限り、その範囲内に含まれる個別の各値を個々に指す簡略な方法としての役割を果たすように意図されているに過ぎず、個別の各値は、本明細書に個々に記載されているかのように本明細書に含まれる。さらに、求められる保護の範囲は、権利が与えられるその均等物と共に以下に説明される特許請求の範囲によって規定されるため、前述の説明は例示のみを目的としており、限定を目的としていない。本明細書で提供されるありとあらゆる例または例示的な語(例えば、「など」)の使用は、単に主題をよりよく示すことを意図したものであり、特に特許請求されない限り主題の範囲を限定するものではない。特許請求の範囲および明細書の両方における、結果をもたらすための条件を示す用語「基づく」および他の同様の句の使用は、その結果をもたらす他の条件を排除することを意図しない。本明細書中のいかなる語も、特許請求されない要素を特許請求される本発明の実施に必須なものとして示すと解釈されるべきではない。
【0085】
本明細書に説明されている実施形態は、特許請求されている主題を実行するための、本発明者に知られている1つ以上のモードを含む。これらの実施形態の変形例は、前述の説明を読むことにより当業者には明らかになるであろうことを理解されたい。本発明者は、当業者がこのような変形例を適切に使用することを期待しており、本発明者は、特許請求されている主題が本明細書に具体的に説明されているのとは別の方法で実施されることを意図している。したがって、この特許請求されている主題は、適用可能な法律によって許容されるように、本明細書に添付の特許請求の範囲に記載されている主題のすべての修正例および均等物を含む。さらに、本明細書中に別段の指示がない限りまたは文脈が明らかに矛盾しない限り、そのすべての可能な変形例における上で説明した要素の任意の組み合わせは包含される。
【符号の説明】
【0086】
10 画像センサ装置
12 フィルタアレイ
14 画像センサ
16 画像回路
20 ビニング
21 画像センサ
22 照射領域
23 センサ要素、画素要素
24 出力レジスタ
25 出力、合計結果
100 2次元フィルタアレイ
103 フィルタ要素グループ
104 カラーフィルタ要素、第1のフィルタ要素サブセット
106 IRフィルタ要素、第2のフィルタ要素サブセット
110 フィルタアレイ
112 IRフィルタ要素
114 赤色カラーフィルタ要素
116 緑色カラーフィルタ要素
118 フィルタ要素グループ
200 フィルタアレイ
202 IRフィルタ要素
204 赤色カラーフィルタ要素
206 緑色カラーフィルタ要素
207 青色カラーフィルタ要素
208 フィルタ要素グループ
300 フィルタアレイ
302 IRフィルタ要素
304 赤色カラーフィルタ要素
306 緑色カラーフィルタ要素
307 青色カラーフィルタ要素
308 フィルタ要素グループ
400 フィルタアレイ
402 IRフィルタ要素
403 隣接するIRフィルタ要素のセット
404 赤色カラーフィルタ要素
406 緑色カラーフィルタ要素
407 青色カラーフィルタ要素
408 フィルタ要素グループ
500 フィルタアレイ
502 IRフィルタ要素
504 赤色カラーフィルタ要素
506 緑色カラーフィルタ要素
507 青色カラーフィルタ要素
508 フィルタ要素グループ
600 フィルタアレイ
602 IRフィルタ要素
604 赤色カラーフィルタ要素
606 緑色カラーフィルタ要素
607 青色カラーフィルタ要素
608 フィルタ要素グループ
700 画像センサ装置
702 フィルタアレイ
704 画像センサ
706 画像プロセッサ
804 判定
850 カラー値
851 IRフィルタ要素
852 抽出IRビニング画像
900 ネットワークアーキテクチャ
902 ネットワーク
904 テレビ
906 携帯電話デバイス
908 エンドユーザコンピュータ
910 携帯情報端末(PDA)デバイス
912 サーバコンピュータ
1000 システム
1002 中央処理装置
1004 メインメモリ
1006 二次記憶装置
1008 通信インタフェース
1010 入力/出力(I/O)インタフェース
1012 バス
図1A-1】
図1A-2】
図1B
図1C
図2
図3
図4
図5
図6
図7
図8A
図8B
図9
図10
【国際調査報告】