特許 6792486 撮像素子及び撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6792486

(24)【登録日】2020年11月10日

(45)【発行日】2020年11月25日

(54)【発明の名称】撮像素子及び撮像装置

(51)【国際特許分類】

   H04N 5/33 20060101AFI20201116BHJP

   H04N 5/355 20110101ALI20201116BHJP

   H04N 5/374 20110101ALI20201116BHJP

   H01L 27/146 20060101ALI20201116BHJP

   H01L 27/30 20060101ALI20201116BHJP

【ＦＩ】

   H04N5/33 200

   H04N5/355

   H04N5/374

   H01L27/146 C

   H01L27/30

【請求項の数】6

【全頁数】16

(21)【出願番号】特願2017-35597(P2017-35597)

(22)【出願日】2017年2月27日

(65)【公開番号】特開2018-142839(P2018-142839A)

(43)【公開日】2018年9月13日

【審査請求日】2020年1月6日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100143568

【弁理士】

【氏名又は名称】英 貢

(72)【発明者】

【氏名】堺 俊克

【審査官】 松永 隆志

(56)【参考文献】

【文献】 特開２０１３−０３８２８６（ＪＰ，Ａ）

【文献】 特開２０１３−０７００３０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２５−５／３７８

Ｈ０４Ｎ ９／００−９／１１

Ｈ０１Ｌ ２７／１４６

Ｈ０１Ｌ ２７／３０

(57)【特許請求の範囲】

【請求項1】

可視光及び赤外光を個別に受光して撮像する撮像素子であって、
可視光を構成する青色光のみ吸収し残りを透過させて撮像する青色光撮像部と、
可視光を構成する緑色光のみ吸収し残りを透過させて撮像する緑色光撮像部と、
可視光を構成する赤色光のみ吸収し残りを透過させて撮像する赤色光撮像部と、
赤外光のみに感度を持ち撮像する赤外光撮像部とを積層して構成され、
前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々は、二次元平面上に第１の画素配列で第１の画素サイズの画素部が配列された撮像面を有し、独立して露光量を制御可能で、且つ撮像制御可能な素子とし、
前記赤外光撮像部は、前記二次元平面上に第２の画素配列で第２の画素サイズの画素部が配列された撮像面を有し、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々に対し独立してダイナミックレンジを制御可能な素子として構成され、
前記赤外光撮像部による赤外光撮像画像信号は、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々に対する露光量を制御するための露光量検出センサーとして機能するよう構成されていることを特徴とする撮像素子。

【請求項2】

前記第２の画素サイズは前記第１の画素サイズ以下とし、前記第２の画素配列は前記第１の画素配列と比して同一以上の解像度を持つ画素配列としていることを特徴とする、請求項１に記載の撮像素子。

【請求項3】

請求項１又は２に記載の撮像素子と、
前記赤外光撮像部から赤外光撮像画像信号を取得して、該赤外光撮像画像信号から得られる赤外光画像の撮像面内における全面、或いは１つ又は複数の領域内の画素値を基に可視光画像のダイナミックレンジ制御を行うための露光量を決定し、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々に対し前記露光量により一括して露光制御を行い当該可視光画像を生成する制御部と、
を備えることを特徴とする撮像装置。

【請求項4】

前記制御部は、前記赤外光画像の撮像面内における全面、或いは１つ又は複数の領域内の最大画素値と最小画素値を取得し、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々の撮像面内の全面を対象として、前記露光制御を行うことを特徴とする、請求項３に記載の撮像装置。

【請求項5】

前記制御部は、前記赤外光画像の撮像面内における全面、或いは１つ又は複数の領域内の画素値分布を取得し、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各撮像面内の全面を対象とするか、又は各撮像面内の当該１つ又は複数の領域を対象として、当該取得した画素値分布と略同一の分布となるように、前記露光制御を行うことを特徴とする、請求項３に記載の撮像装置。

【請求項6】

前記制御部は、前記赤外光画像の撮像面内における全面、或いは１つ又は複数の領域内の平均画素値を取得し、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各撮像面内の全面を対象とするか、又は各撮像面内の当該１つ又は複数の領域を対象として、当該平均画素値をダイナミックレンジの中央値として、前記露光制御を行うことを特徴とする、請求項３に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ダイナミックレンジ制御を行う撮像素子、及び撮像装置に関する。

【背景技術】

【0002】

撮像装置による撮像素子のダイナミックレンジ制御の方法として、露光量の制御によりダイナミックレンジの拡大を図る種々の技法が提案されている。

【0003】

例えば、撮像素子における特定方向における１ライン毎に画素転送制御信号線（行選択線）を少なくとも３本備える撮像素子で、画素転送制御信号線により、特定方向における１ラインを構成する複数の画素の露光タイミングが少なくとも３パターンとなるように、各画素の露光開始及び終了タイミングを制御する技法が開示されている（例えば、特許文献１参照）。

【0004】

また、光電変換層積層型の撮像装置において、撮像素子の基板上に設けられた補助電極に対し少なくとも２つの電圧を印加し、撮像素子の感度を調整する技法が開示されている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１３−１４３７２９号公報

【特許文献2】特開２０１６−８６４０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１，２の技法では、撮像素子のダイナミックレンジ制御が可能であるが、或る露光量となるよう制御した状態で一旦読み出した可視光画像内の画像信号を基に、次の露光量を設定するよう制御するものであるため、撮像素子における少なくとも１回の撮像動作（１フレーム）における次フレームの開始までにダイナミックレンジ制御を完了させることができず、数フレーム分を要する構造となっている。

【0007】

本発明は、上述の問題点に鑑みて、ダイナミックレンジ制御に要する露光量設定を高速応答させ、小型で、且つ、高ダイナミックレンジ画像の撮影を可能とする撮像素子及び撮像装置を提供することにある。

【課題を解決するための手段】

【0008】

本発明の撮像素子は、可視光及び赤外光を個別に受光して撮像する撮像素子であって、可視光を構成する青色光のみ吸収し残りを透過させて撮像する青色光撮像部と、可視光を構成する緑色光のみ吸収し残りを透過させて撮像する緑色光撮像部と、可視光を構成する赤色光のみ吸収し残りを透過させて撮像する赤色光撮像部と、赤外光のみに感度を持ち撮像する赤外光撮像部とを積層して構成され、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々は、二次元平面上に第１の画素配列で第１の画素サイズの画素部が配列された撮像面を有し、独立して露光量を制御可能で、且つ撮像制御可能な素子とし、前記赤外光撮像部は、前記二次元平面上に第２の画素配列で第２の画素サイズの画素部が配列された撮像面を有し、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々に対し独立してダイナミックレンジを制御可能な素子として構成され、前記赤外光撮像部による赤外光撮像画像信号は、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々に対する露光量を制御するための露光量検出センサーとして機能するよう構成されていることを特徴とする。

【0010】

また、本発明の撮像素子において、前記第２の画素サイズは前記第１の画素サイズ以下とし、前記第２の画素配列は前記第１の画素配列と比して同一以上の解像度を持つ画素配列としていることを特徴とする。

【0011】

更に、本発明の撮像装置は、本発明の撮像素子と、前記赤外光撮像部から赤外光撮像画像信号を取得して、該赤外光撮像画像信号から得られる赤外光画像の撮像面内における全面、或いは１つ又は複数の領域内の画素値を基に可視光画像のダイナミックレンジ制御を行うための露光量を決定し、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々に対し前記露光量により一括して露光制御を行い当該可視光画像を生成する制御部と、を備えることを特徴とする。

【0012】

また、本発明の撮像装置において、前記制御部は、前記赤外光画像の撮像面内における全面、或いは１つ又は複数の領域内の最大画素値と最小画素値を取得し、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々の撮像面内の全面を対象として、前記露光制御を行うことを特徴とする。

【0013】

また、本発明の撮像装置において、前記制御部は、前記赤外光画像の撮像面内における全面、或いは１つ又は複数の領域内の画素値分布を取得し、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各撮像面内の全面を対象とするか、又は各撮像面内の当該１つ又は複数の領域を対象として、当該取得した画素値分布と略同一の分布となるように、前記露光制御を行うことを特徴とする。

【0014】

また、本発明の撮像装置において、前記制御部は、前記赤外光画像の撮像面内における全面、或いは１つ又は複数の領域内の平均画素値を取得し、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各撮像面内の全面を対象とするか、又は各撮像面内の当該１つ又は複数の領域を対象として、当該平均画素値をダイナミックレンジの中央値として、前記露光制御を行うことを特徴とする。

【発明の効果】

【0015】

本発明によれば、赤外光画像から検出した露光量制御信号を基に、１回の撮像動作（１フレーム）における次フレームの開始までに、ダイナミックレンジ制御を完了させることができ、小型で、且つ、高ダイナミックレンジ画像の撮影が可能となる。

【図面の簡単な説明】

【0016】

【図1】本発明による一実施形態の撮像装置の概略構成を示すブロック図である。

【図2】本発明による一実施形態の撮像装置における撮像素子の概略構成を示す斜視図である。

【図3】本発明による一実施形態の撮像装置における撮像素子の概略構造の一例を示す図である。

【図4】本発明による一実施形態の撮像装置における撮像素子の画素部の概略構造の一例を示す図である。

【図5】（ａ）, （ｂ）は、それぞれ本発明による一実施形態の撮像装置における撮像素子の可視光用画素配列と赤外光用画素配列の好適例を示す図である。

【図6】本発明による一実施形態の撮像装置の全体動作に係る概略構成を示す図である。

【図7】本発明による一実施形態の撮像装置における露光制御を示すフローチャートである。

【図8】本発明による一実施形態の撮像装置の動作例を示す図である。

【発明を実施するための形態】

【0017】

以下、図面を参照して、本発明による一実施形態の撮像装置３について説明する。

【0018】

〔撮像装置〕
まず、本発明による一実施形態の撮像装置３の詳細について説明する。図１は、本発明による一実施形態の撮像装置３の概略構成を示すブロック図である。撮像装置３は、撮像素子３１と、結像レンズ３２と、制御部３３と、記録部３４と、再生部３５と、操作部３６とを備える。

【0019】

また、撮像素子３１は、詳細は後述するが、青色（Ｂ色）光のみ吸収し残りを透過させて撮像する青色光撮像部３１Ｂ、緑色（Ｇ色）光のみ吸収し残りを透過させて撮像する緑色光撮像部３１Ｇ、赤色（赤色）光のみ吸収し残りを透過させて撮像する赤色光撮像部３１Ｒ、及び赤外光（ＩＲ光）のみ吸収して撮像する赤外光撮像部３１ＩＲをそれぞれ独立した素子層として構成して四層積層し、赤外光撮像素子付き単板カラー撮像素子として構成されている。

【0020】

撮像素子３１は、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、赤色光撮像部３１Ｒ、及び赤外光撮像部３１ＩＲについて、図２に示すように四層積層させて構成しているため、同一光路上で撮像領域に対する画素密度（画素サイズ及び画素数）を共通化することができ、例えばＲＧＢカラーフィルタをベイヤー配列とした撮像素子と比べて画素情報の欠落がなく、撮像解像度を高めることができる。また、プリズムで分光する必要がなく、撮像素子３１を含む結像光学系を小型化させることができる。

【0021】

ただし、赤外光撮像部３１ＩＲの画素サイズ及び画素数については、後述するが、緑色光撮像部３１Ｇ、赤色光撮像部３１Ｒ、及び赤外光撮像部３１ＩＲの画素サイズよりも小さくした画素配列とすることもできる。

【0022】

結像レンズ３２は、撮像領域の焦点位置に合うよう焦点距離を固定させて撮像素子３１に結像させている。尚、結像レンズ３２は、操作者によって撮像領域の変更ができるようにズーム機能付きとするのが好ましい。

【0023】

制御部３３は、青色光用撮像制御部３３１Ｂ、緑色光用撮像制御部３３１Ｇ、赤色光用撮像制御部３３１Ｒ、赤外光用撮像制御部３３２、可視光画像処理部３３４、赤外光画像処理部３３５、記録・再生制御部３３６、及び露光制御領域指定設定部３３７を備える。制御部３３は、リード・オンリー・メモリ（ＲＯＭ）等の所定のメモリ（図示せず）に記憶されたプログラムを読み出し、操作部３６からの指示に応じて所定の処理を実行するマイクロプロセッサや、各種制御信号の生成や画像信号の処理に必要な回路を備える。尚、図１に示す制御部３３は、本発明に係る制御に関する構成要素のみを図示している。

【0024】

青色光用撮像制御部３３１Ｂは、撮像素子３１における青色光撮像部３１Ｂに対し撮像制御信号を出力し、青色光撮像画像信号を可視光画像処理部３３４へ出力させる機能部であり、この撮像制御信号により、青色光撮像部３１Ｂにおける露光量制御（露光時間制御、又は青色光撮像部３１Ｂに電子シャッター機能がある時はその制御）を可能とする。尚、青色光用撮像制御部３３１Ｂの撮像制御信号は、後述する赤外光画像処理部３３５からの露光量制御信号に応じて可変設定される。

【0025】

緑色光用撮像制御部３３１Ｇは、撮像素子３１における緑色光撮像部３１Ｇに対し撮像制御信号を出力し、緑色光撮像画像信号を可視光画像処理部３３４へ出力させる機能部であり、この撮像制御信号により、緑色光撮像部３１Ｇにおける露光量制御（露光時間制御、又は緑色光撮像部３１Ｇに電子シャッター機能がある時はその制御）を可能とする。尚、緑色光用撮像制御部３３１Ｇの撮像制御信号は、後述する赤外光画像処理部３３５からの露光量制御信号に応じて可変設定される。

【0026】

赤色光用撮像制御部３３１Ｒは、撮像素子３１における赤色光撮像部３１Ｒに対し撮像制御信号を出力し、赤色光撮像画像信号を可視光画像処理部３３４へ出力させる機能部であり、この撮像制御信号により、赤色光撮像部３１Ｒにおける露光量制御（露光時間制御、又は赤色光撮像部３１Ｒに電子シャッター機能がある時はその制御）を可能とする。尚、赤色光用撮像制御部３３１Ｒの撮像制御信号は、後述する赤外光画像処理部３３５からの露光量制御信号に応じて可変設定される。

【0027】

赤外光用撮像制御部３３２は、撮像素子３１における赤外光撮像部３１ＩＲに対し撮像制御信号を出力し、赤外光撮像画像信号を赤外光画像処理部３３５へ出力させる機能部であり、本例では、赤外光の露光量が赤外光撮像部３１ＩＲにてオーバーフローしない設定としており、必ずしも赤外光撮像部３１ＩＲにおける露光量制御を行う必要はない。

【0028】

可視光画像処理部３３４は、撮像素子３１から青色光撮像画像信号、緑色光撮像画像信号、及び赤色光撮像画像信号を入力し、それぞれアナログ・デジタル変換処理を施してデジタル信号に変換し、シェーディング補正やガンマ補正、或いは色調補正等を行って合成し、静止画の可視光画像、又は動画像のフレーム単位の可視光画像を構成する可視光画像信号を記録・再生制御部３３６に出力する。

【0029】

赤外光画像処理部３３５は、撮像素子３１から赤外光撮像画像信号を入力し、アナログ・デジタル変換処理を施してデジタル信号に変換し、シェーディング補正等を行って赤外光画像を生成する。そして、赤外光画像処理部３３５は、制御領域指定設定部３３７によって可視光画像のダイナミックレンジ制御を行うために指定設定される領域に対応する、赤外光画像の撮像面内における全面、或いは１つ又は複数の領域内の画素値を基に、可視光画像のダイナミックレンジ制御を行うための露光量を決定する。

【0030】

赤外光画像処理部３３５は、露光量制御信号発生部３３５ａを備えている。赤外光画像処理部３３５は、当該赤外光画像の撮像面内における全面、或いは１つ又は複数の領域内の画素値を基に可視光画像のダイナミックレンジ制御を行うための露光量を決定すると、その露光量を示す露光量制御信号を露光量制御信号発生部３３５ａにより発生させ、青色光用撮像制御部３３１Ｂ、緑色光用撮像制御部３３１Ｇ、赤色光用撮像制御部３３１Ｒの各々に出力する。

【0031】

即ち、詳細は後述するが、撮像素子３１における青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒの各撮像面と、撮像素子３１における赤外光撮像部３１ＩＲの撮像面は、１対１で対応付けられているため、所望される可視光画像のダイナミックレンジ制御を行うために指定設定される撮像面内の領域は、赤外光画像の撮像面内の領域と対応付けることができる。

【0032】

更に、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒにより可視光画像を得るための各撮像制御信号は、赤外光撮像部３１ＩＲにより赤外光画像を得るための撮像制御信号とは独立している。このため、赤外光撮像部３１ＩＲは、露光量制御信号を発生させるための露光量検出センサーとして機能し、可視光画像を得るのに要する１回の撮像動作（１フレーム）における次フレームの開始までに、指定領域における可視光画像のダイナミックレンジ制御を完了させることができるようになっている。

【0033】

記録・再生制御部３３６は、可視光画像処理部３３４から可視光画像信号を入力し、記録部３４へ記録する機能、及び操作部３６から操作信号を受け付け、記録部３４に記録されている静止画又は動画ファイルを再生部３５にて再生させる機能を有する。

【0034】

露光制御領域指定設定部３３７は、可視光画像のダイナミックレンジ制御を行うための可視光画像の撮像面内における全面、或いは１つ又は複数の領域に関する指定を受け付け、赤外光画像処理部３３５に設定する。

【0035】

再生部３５は、記録・再生制御部３３６の制御によって、記録部３４に記録されている静止画又は動画ファイルを再生する画像表示装置等の表示器として構成される。尚、画像表示装置等の再生部３５を設ける代わりに、撮像装置３の外部へ出力する出力インターフェースとすることもできる。

【0036】

操作部３６は、制御部３３に対して種々の指示を与える機能を有し、例えば、撮像装置３の電源をオンオフする電源スイッチ、日時設定、当該撮像領域の設定、動画ファイルの指定等のメニューを所定の表示部に表示させるメニューボタン等から構成される。特に、操作部３６は、制御部３３に対して可視光画像のダイナミックレンジ制御を行うための可視光画像の撮像面内における全面、或いは１つ又は複数の領域を指定設定する機能を有する。

【0037】

〔撮像素子〕
次に、本発明による一実施形態の撮像装置３における撮像素子３１の詳細について説明する。

【0038】

まず、撮像素子３１は、図２に示したように、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、赤色光撮像部３１Ｒ、及び赤外光撮像部３１ＩＲについて四層積層させて構成している。

【0039】

青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒの各層は、ＲＧＢのうち１色のみに感度を持つ感光層（本例では、有機光電変換膜）が積層された構造（各層は赤外光を透過）となっている。尚、本例の撮像素子３１では、可視光撮像部の積層構造を各色単層としているが、必ずしも各色単層とせずともよく、例えば単層の青色光撮像部３１Ｂ、単層の緑色光撮像部３１Ｇ、及び２層の赤色光撮像部３１Ｒとするなど、複層としてもよい。また、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒの積層順序は、本例に限定する必要はなく任意である。

【0040】

一方、最下層の赤外光撮像部３１ＩＲは、赤外光のみに感度を持つ感光層となっており、Ｓｉ−ＰＩＮ, ＩｎＧａＡｓ等の高速応答性を持つフォトダイオードの画素構造とするのが望ましい。

【0041】

図３は、本発明による一実施形態の撮像装置３における撮像素子３１の概略構造の一例を示す図である。また、図４は、本発明による一実施形態の撮像装置３における撮像素子３１の画素部３００の概略構造の一例（酸化物半導体ＴＦＴ（ＺｎＯ‐ＴＦＴ））を示す図である。

【0042】

図３に示すように、撮像素子３１を構成する四層積層された青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、赤色光撮像部３１Ｒ、及び赤外光撮像部３１ＩＲの各々は、画素部３００を二次元平面上に配列している。各画素部３００は、行選択線で垂直走査回路４００に接続され、出力信号線で水平信号読み出し回路５００に接続される。垂直走査回路４００は、制御部３３からの各層の撮像制御信号で制御される。垂直走査回路４００で行選択信号を発生させて行を選択し、行選択線を介して接続される各画素部３００の図４に示すゲート電極３０８が制御されて、各画素部３００におけるフォトダイオード（ＰＤ）を構成する図４に示す有機光電変換膜３１０からの信号が出力信号線を介して読み出される。また、この読み出された信号は、撮影画像信号として出力される。

【0043】

図４では、略透明な酸化物半導体ＴＦＴ（ＺｎＯ‐ＴＦＴ）を用いて、四層積層された青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、赤色光撮像部３１Ｒ、及び赤外光撮像部３１ＩＲの各層における画素部３００を構成する例を示している。１画素を構成する図４に示す信号回路は酸化亜鉛薄膜トランジスタ（ＺｎＯ‐ＴＦＴ）をスイッチング素子として採用し、無アルカリ基板（ガラス基板３０１）上に形成される。

【0044】

図４に例示する酸化亜鉛薄膜トランジスタ（ＺｎＯ‐ＴＦＴ）では、ガラス基板３０１上に設けたゲート電極３０８にＳｉＮ系ゲート絶縁膜３０２及びＳｉＯ系ゲート絶縁膜３０３を堆積し、さらに酸化亜鉛薄膜（ＺｎＯ）を形成している。酸化亜鉛薄膜（ＺｎＯ）の周囲をＳｉＮ系保護膜３０４で包囲し、エッチングしてドレインＩＴＯ電極３０６及びソースＩＴＯ電極３０９を形成し、さらにＭｏＷ合金の出力信号用電極３０７を形成してＳｉＮ系保護膜３０５で覆う構造となっている。

【0045】

このＺｎＯ‐ＴＦＴ回路上に光導電性有機材料の有機光電変換膜３１０として例えばキナクリドン薄膜を数十ｎｍ〜数百ｎｍの厚さで形成し、その上に対向ＩＴＯ電極３１１を形成している。

【0046】

ただし、有機光電変換膜３１０としては、例えば、スチルベン誘導体、ベンゾキサゾール誘導体、縮合芳香族炭素環（ペリレン誘導体、アントラセン誘導体、テトラセン誘導体等）、メロシアニン誘導体、オキサジアゾール誘導体、ジアミン誘導体、チオフェン誘導体、ＰｔやＥｕ、Ｓｎ、Ａｌ、Ｉｒ、Ｚｎ等の金属錯体、ＤＣＭ誘導体、アゾ系有機顔料、又は多環式系有機顔料（フタロシアニン類、キナクリドン類、ポルフィリン類等）等を用いることができる。

【0047】

ガラス基板３０１として、光透過性の高いものが望ましく、石英、サファイア、ＢＫ７、無アルカリガラス、ソーダガラス等のガラス材料などがあり、その他、ポリカーボネート、ポリメチルメタクリレート、ポリプロピレン、ポリスチレン、ポリサルフォン、又はポリエーテルサルフォン等の透明プラスチック材料で構成した透明基板としてもよい。
また、可視光用の各撮像部（青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、赤色光撮像部３１Ｒ）は、必ずしもガラス基板上に作る必要は無く、シリコン基板上や後述のＳｉ−ＰＩＮ, ＩｎＧａＡｓ等の高速応答フォトダイオードを形成した基板上に層間絶縁膜を介して直接積層してもよい。

【0048】

各電極は、光の透過率が高い事が望ましく、インジウム・スズ酸化物（ＩＴＯ）で透明電極を形成する他、インジウム酸化物（ＩＯ）、インジウム・亜鉛酸化物（ＩＺＯ）等の金属酸化物や、あるいは白金（ｐｔ）、金（Ａｕ）、銀（Ａｇ）、マグネシウム（Ｍｇ）、アルミニウム（Ａｌ）等の金属材料を５ｎｍ〜３０ｎｍと薄く堆積した透明又は半透明金属薄膜で構成することができる。

【0049】

図４に示すように、ソースＩＴＯ電極３０９上に、有機光電変換膜３１０及び対向ＩＴＯ電極３１１を堆積したことで、入射した光に相当する電荷を発生するフォトダイオード（ＰＤ）が形成される。フォトダイオード（ＰＤ）による発生電荷は、ゲート電極３０８の印加電圧でドレインＩＴＯ電極３０６とソースＩＴＯ電極３０９との通電が制御されることにより、出力信号用電極３０７を介して出力して取り出すことができる。したがって、ドレインＩＴＯ電極３０６、ソースＩＴＯ電極３０９及び対向ＩＴＯ電極３１１は１画素毎に設けられる画素電極として機能させ、ゲート電極３０８を行選択信号電極として機能させ、出力信号用電極３０７を出力信号線に接続する電極として機能させることができる。

【0050】

このように、有機光電変換膜３１０は、入射光の一部を吸収・光電変換し、残りの成分は透過する半透明な有機材料とすることができるが、これ以外にも半透明の薄い無機半導体材料とすることができる。

【0051】

また、画素部３００を構成するために、可視光に対して略透明な酸化物半導体ＴＦＴ（ＺｎＯ‐ＴＦＴ）を用いる以外にも、ＳＯＩ等の可視光に対する透過性を持つ半導体を用いることができる。

【0052】

図３に示す垂直走査回路４００はシフトレジスタで構成することができ、図３に示す水平信号読み出し回路５００は、各画素部３００で発生した光電変換信号を外部に読み出し増幅させるためのトランジスタ群で構成される。このトランジスタに用いられる半導体は、単結晶Ｓｉ、多結晶Ｓｉ、アモルファスＳｉなどのシリコン系材料による半導体、ＩＧＺＯ，ＺｎＯなどの酸化物半導体、ペンタセンなどの有機半導体等を利用することができる。

【0053】

尚、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒについては、その光透過性を高めるという観点からは、数十ｎｍの薄いシリコンや酸化物半導体、透過性の高い有機半導体材料を用いることが望ましい。

【0054】

また、有機材料の光電変換膜を用いる場合、光吸収特性を有機材料の選択と膜厚によって調整することができ、例えば、有機材料のキナクリドン（Ｎ，Ｎ’ジメチルキナクリドン）を用いれば、入射光として波長５４０ｎｍの単波長光（緑色光）に対して、その膜厚調整で、１０％〜９０％の範囲で光吸収率を調整することができる。

【0055】

また、赤外光撮像部３１ＩＲについては、上述した露光量制御信号を発生させるために用いるので、高速に応答でき、高飽和電子量の容量を持つものが望ましく、特にＳｉ−ＰＩＮ, ＩｎＧａＡｓ等の高速応答フォトダイオードが望ましい。

【0056】

ところで、赤外光撮像部３１ＩＲにおける画素は、細かく区切ることで容量成分を小さくし、高速に読み出すことで、１回の撮像動作（１フレーム）における次フレームの開始までにダイナミックレンジをより確実に制御することができる。
また、赤外光撮像部３１ＩＲにおける画素を細かく区切る場合の他の利点として、行・列数が青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒの画素数よりも多くなるため、赤外光撮像部３１ＩＲにおける画素を間引いて読み出すことができ、より高速に読出し・制御することができる。

【0057】

そこで、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒの各々における撮像領域に対する可視光用画素配列を、例えば図５（ａ）に示すように画素部３００をＮ画素×Ｍ画素で配列構成した場合、赤外光撮像部３１ＩＲにおける撮像領域に対する赤外光用画素配列を、例えば図５（ｂ）に示すようにＮ’画素×Ｍ’画素（Ｎ’≧Ｎ，Ｍ’ ≧Ｍ）の高解像度画素配列とし、その赤外光用画素配列の画素部３００の画素サイズを、可視光用画素配列の画素部３００の画素サイズと同じとしてもよいが、より小さくしてその画素配列をより高解像度化することが好適である。

【0058】

（動作例）
まず、図６には、上述した本実施形態の撮像装置３の全体動作に係る概略構成を示している。図６に示すように、撮像装置３は、制御部３３によって、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒの各々に対し、撮像制御信号により駆動制御して、撮像領域に対する可視光用画素配列に対応する可視光の各ＲＧＢ色光の撮像画像信号を得ることができる。また、撮像装置３は、制御部３３によって、赤外光撮像部３１ＩＲに対し、撮像制御信号により駆動制御して、撮像領域に対する赤外光用画素配列に対応する赤外光の撮像画像信号を得ることができる。

【0059】

そして、撮像装置３は、制御部３３によって、可視光画像のダイナミックレンジ制御を行うために指定設定される領域に対応する、赤外光画像の撮像面内における全面、或いは１つ又は複数の領域内の画素値を基に、可視光画像のダイナミックレンジ制御を行うための露光量を決定し、その露光量を示す露光量制御信号を発生させる。制御部３３は、その露光量制御信号に応じて、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒの各々に対する撮像制御信号を可変設定し、ダイナミックレンジ制御を行う。

【0060】

ここで、図７を参照して、図１に示す撮像装置３における制御部３３の露光制御の動作例を説明する。

【0061】

まず、制御部３３は、可視光用の撮像部（青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒ）に対し、初期の露光制御を行う（ステップＳ１）。この初期の露光制御は、予め想定される基準の露光時間となる撮像制御信号によって行う。尚、赤外光撮像部３１ＩＲに対しては本例では露光制御を必要としない。

【0062】

続いて、制御部３３は、操作部３６から可視光画像のダイナミックレンジ制御を行うために指定設定される領域の指示を露光制御領域指定設定部３３７により受け付け、赤外光画像処理部３３５に設定する。

【0063】

制御部３３は、設定された赤外光画像の撮像面内における全面、或いは１つ又は複数の領域内で、赤外光画像処理部３３５により、その画素値を基に、可視光画像のダイナミックレンジ制御を行うための露光量を決定し、その露光量を示す露光量制御信号を発生させる（ステップＳ２）。

【0064】

より具体的には、赤外光画像処理部３３５は、当該設定された赤外光画像の撮像面内における領域内で得られる現在の画素値に対し係数ｋを乗じて高ダイナミックレンジとなる画素値となるように、その係数ｋを決定し、可視光用の撮像部（青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒ）における現在行っている露光制御の露光時間に対し、その係数ｋを乗じた露光時間になるよう露光量を決定し、その露光量を示す露光量制御信号を発生させる。

【0065】

制御部３３は、可視光用の撮像部（青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒ）の各撮像制御信号における露光量（本例では露光時間）を、露光量制御信号に応じて変更することにより、可視光用露光制御、即ち可視光画像のダイナミックレンジ制御を一括して行う（ステップＳ３）。

【0066】

露光量制御信号は、当該設定された赤外光画像の撮像面内における領域内の画素値が得られると直ちに発生するため、可視光画像を得るのに要する１回の撮像動作（１フレーム）における次フレームの開始までに、当該露光制御の指定領域における露光量制御信号に基づく可視光画像のダイナミックレンジ制御を完了させることができる。

【0067】

制御部３３は、操作部３６から可視光画像のダイナミックレンジ制御を行うために指定設定される領域の指示を監視し（ステップＳ４）、露光制御領域指定設定部３３７による露光制御領域の指定変更があるまで、当該露光制御の指定領域における露光量制御信号に基づくダイナミックレンジ制御を継続し（ステップＳ４：Ｎｏ，ステップＳ３）、露光制御領域の指定変更を受け付けると（ステップＳ４：Ｙｅｓ）、赤外光画像処理部３３５に設定し、上記のステップＳ２以降の動作を繰り返す。

【0068】

従って、制御部３３は、図８の上段に例示するように、赤外光撮像画像信号による当該設定された指定領域の画素値が、暗い画素値→明るい画素値→暗い画素値と遷移するとき、それぞれの画素値が得られているその可視光画像の露光時間に対し係数ｋを乗じた露光時間になるよう、露光量制御信号を直ちに発生させる。そして、制御部３３は、この露光量制御信号に応じて、可視光用の撮像部（青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒ）の各撮像制御信号を変更して、図８の下段に例示するように、露光時間制御によるダイナミックレンジ制御を実行する。

【0069】

尚、所望のダイナミックレンジを得るのに相当する係数ｋの決定は、事前設計して定めることができる。

【0070】

撮像素子３１における青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒの各撮像面と、撮像素子３１における赤外光撮像部３１ＩＲの撮像面は、１対１で対応付けられているため、所望される可視光画像のダイナミックレンジ制御を行うために指定設定される撮像面内の領域は、赤外光画像の撮像面内の領域と対応付けることができる。そして、可視光画像の画素単位の領域指定が可能であり、例えば図５（ｂ）を参照して説明したように、可視光画像の画素配列よりも赤外光画像の画素配列を高解像化することで、より指定領域の精度が向上する。

【0071】

そして、操作部３６は、制御部３３に対して可視光画像のダイナミックレンジ制御を行うための可視光画像の各撮像部の撮像面内における全面、或いは１つ又は複数の領域を指定設定することができる。

【0072】

このため、制御部３３は、二次元領域の赤外光撮像部３１ＩＲの撮像面内における指定領域内の画素値を参照して露光制御信号を発生させるため、対応する指定領域内の可視光画像のダイナミックレンジ制御を高速応答、且つ高精度で行うことができる。

【0073】

尚、赤外光撮像部３１ＩＲの撮像面内における指定領域内の画素値を参照して発生される露光制御信号と、この露光制御信号に対応させる撮像素子３１における青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒの各撮像制御信号についてのより具体的な制御例として、以下のような制御が可能である。

【0074】

（制御例１）
赤外光撮像部３１ＩＲの撮像面内の全面を、ダイナミックレンジ制御を行う指定領域とする。このとき、制御部３３は、赤外光画像処理部３３５により、赤外光撮像部３１ＩＲの撮像面内の全面を対象とした最大画素値と最小画素値を取得し、この最大画素値と最小画素値との範囲をダイナミックレンジとして上述した係数ｋを決定し対応する露光量制御信号を発生させる。制御部３３は、可視光用の撮像部（青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒ）の各撮像面内の全面を対象として、現在行っている露光制御の露光時間に対し、その係数ｋを乗じた露光時間になるよう露光制御を行う。

【0075】

（制御例２）
赤外光撮像部３１ＩＲの撮像面内の全面を、ダイナミックレンジ制御を行う指定領域とする。このとき、制御部３３は、赤外光画像処理部３３５により、赤外光撮像部３１ＩＲの撮像面内の全面を対象とした画素配列に応じた画素値分布を取得し、この画素配列に応じた画素値分布をダイナミックレンジとして上述した係数ｋを決定し対応する露光量制御信号を発生させる。制御部３３は、可視光用の撮像部（青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒ）の各撮像面内の全面を対象として、当該赤外光画像から取得した画素配列に応じた画素値分布と略同一の分布となるように、現在行っている露光制御の露光時間に対し、その係数ｋを乗じた露光時間になるよう露光制御を行う。

【0076】

（制御例３）
赤外光撮像部３１ＩＲの撮像面内の全面を、ダイナミックレンジ制御を行う指定領域とする。このとき、制御部３３は、赤外光画像処理部３３５により、赤外光撮像部３１ＩＲの撮像面内の全面を対象とした平均画素値を取得し、この平均画素値をダイナミックレンジの中央値として上述した係数ｋを決定し対応する露光量制御信号を発生させる。制御部３３は、可視光用の撮像部（青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒ）の各撮像面内の全面を対象として、現在行っている露光制御の露光時間に対し、その係数ｋを乗じた露光時間になるよう露光制御を行う。

【0077】

（制御例４）
上記の制御例１乃至３のそれぞれにおいて、赤外光撮像部３１ＩＲの撮像面内の全面を、ダイナミックレンジ制御を行う指定領域とする代わりに、赤外光撮像部３１ＩＲの撮像面内の１つ又は複数の領域を、ダイナミックレンジ制御を行う指定領域とし、制御部３３は、可視光用の撮像部の各撮像面内の全面を対象として露光制御を行う制御とすることができる。

【0078】

（制御例５）
また、上記の制御例１乃至３のそれぞれにおいて、赤外光撮像部３１ＩＲの撮像面内の全面を、ダイナミックレンジ制御を行う指定領域とする代わりに、赤外光撮像部３１ＩＲの撮像面内の１つ又は複数の領域を、ダイナミックレンジ制御を行う指定領域とし、制御部３３は、可視光用の撮像部の各撮像面内の当該１つ又は複数の領域を対象として露光制御を行う制御とすることができる。

【0079】

以上のように、本発明に係る撮像素子３１及び撮像装置３によれば、赤外光画像から検出した露光量制御信号を基に、１回の撮像動作（１フレーム）における次フレームの開始までに、ダイナミックレンジ制御を完了させることができ、小型で、且つ、高ダイナミックレンジ画像の撮影が可能となる。

【0080】

上記の実施形態の例では、撮像素子３１の各可視光用撮像部（青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒ）に対する露光時間制御でダイナミックレンジ制御（露光量制御）を行う例を主として説明したが、二次元のアクティブ駆動ＮＤフィルタやエレクトロクロミック素子からなる光量調節素子を図２に示す撮像素子３１の最上層に設け、この光量調節素子により露光量の増減を制御する構成とすることや、電子シャッター機能や特許文献２に示すような補助電極を各画素部３００に対し設ける構成として、当該露光量検出センサーとして機能する赤外光撮像部３１ＩＲにより可視光画像信号のダイナミックレンジ制御を、指定領域を基準に行う構成とすることができる。従って、本発明は上述の実施形態及び実施例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。

【産業上の利用可能性】

【0081】

本発明によれば、赤外光画像から検出した露光量制御信号を基に、１回の撮像動作（１フレーム）以内でダイナミックレンジ制御を完了させることができ、小型で、且つ、高ダイナミックレンジ画像の撮影が可能となるので、ダイナミックレンジ制御を行う撮像素子及び撮像装置の用途に有用である。

【符号の説明】

【0082】

３ 撮像装置
３１ 撮像素子
３１Ｒ 赤色光撮像部
３１Ｇ 緑色光撮像部
３１Ｂ 青色光撮像部
３１ＩＲ 赤外光撮像部
３２ 結像レンズ
３３ 制御部
３４ 記録部
３５ 再生部
３６ 操作部
３００ 画素部
３０１ ガラス基板
３０２ ＳＩＮｘ
３０３ ＳＩＯｘ
３０４ ＳＩＮｘ
３０５ ＳＩＮｘ
３０６ ドレインＩＴＯ電極
３０７ 出力信号用電極
３０８ ゲート電極
３０９ ソースＩＴＯ電極
３１０ 有機光電変換膜
３１１ 対向ＩＴＯ電極
４００ 垂直走査回路
５００ 水平信号読み出し回路
３３１Ｒ 赤色光用撮像制御部
３３１Ｇ 緑色光用撮像制御部
３３１Ｂ 青色光用撮像制御部
３３２ 赤外光用撮像制御部
３３４ 可視光画像処理部
３３５ 赤外光画像処理部
３３５ａ 露光量制御信号発生部
３３６ 記録・再生制御部
３３７ 露光制御領域指定設定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】