特許 7118893 撮像素子および撮像方法、並びに電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-05

(45)【発行日】2022-08-16

(54)【発明の名称】撮像素子および撮像方法、並びに電子機器

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220808BHJP

   G03B 15/00 20210101ALI20220808BHJP

   G03B 7/093 20210101ALI20220808BHJP

   G03B 5/00 20210101ALI20220808BHJP

【ＦＩ】

H04N5/232 480

G03B15/00 H

G03B7/093

G03B5/00 K

【請求項の数】 7

(21)【出願番号】P 2018553777

(86)(22)【出願日】2017-11-17

(86)【国際出願番号】 JP2017041418

(87)【国際公開番号】W WO2018101077

(87)【国際公開日】2018-06-07

【審査請求日】2020-10-08

(31)【優先権主張番号】P 2016235132

(32)【優先日】2016-12-02

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】千田 圭一

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２００７－２２８２９７（ＪＰ，Ａ）

【文献】特開２０１０－２３９２７７（ＪＰ，Ａ）

【文献】特開２００８－２１９１２４（ＪＰ，Ａ）

【文献】特開２０１５－２２０６９０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ７／０９３

Ｇ０３Ｂ ５／００

(57)【特許請求の範囲】

【請求項1】

複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS（Electronic Image Stabilization）撮像により複数枚のフレームを出力する画素アレイ部と、
前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する露光制御部と
を備え、
前記露光制御部は、外部のプロセッサから与えられた露光時間を超えた場合であっても、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する
撮像素子。

【請求項2】

前記露光制御部は、外部のプロセッサから与えられた露光時間未満の場合であっても、前記画素アレイ部のブレが規定値を超えると判定すると、前記画素アレイ部がEIS撮像を終了するように制御する
請求項１に記載の撮像素子。

【請求項3】

前記画素アレイ部から出力される複数枚の前記フレームを、前記ブレ情報に従ってブレを補正する方向にずらして合成する画像処理を行う画像合成部
をさらに備える請求項１に記載の撮像素子。

【請求項4】

前記画像合成部は、前記画素アレイ部により撮像されるフレームにおける位置ごとに同期されている前記ブレ情報を用いて、前記フレームを合成する画像処理を行う
請求項３に記載の撮像素子。

【請求項5】

前記露光制御部は、外部に対する所定の制御を行う制御信号と連動させて、前記画素アレイ部のEIS撮像を制御する
請求項１に記載の撮像素子。

【請求項6】

複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS（Electronic Image Stabilization）撮像により複数枚のフレームを出力する画素アレイ部を備える撮像装置の撮像方法において、
前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御し、
外部のプロセッサから与えられた露光時間を超えた場合であっても、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する
撮像方法。

【請求項7】

複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS（Electronic Image Stabilization）撮像により複数枚のフレームを出力する画素アレイ部と、
前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する露光制御部と
を有し、
前記露光制御部は、外部のプロセッサから与えられた露光時間を超えた場合であっても、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する
撮像素子を備える電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像素子および撮像方法、並びに電子機器に関し、特に、より良好な手振れ補正効果を得ることができるようにした撮像素子および撮像方法、並びに電子機器に関する。

【背景技術】

【0002】

従来、画像を撮像する際における手振れにより画像に発生するブレを補正する技術として、一般的に、光学式手振れ補正（OIS：Optical Image Stabilization）および電子式手振れ補正（EIS：Electronic Image Stabilization）が用いられている。

【0003】

例えば、光学式手振れ補正は、ジャイロセンサなどにより検出される動きに対して反対の方向にレンズを移動させ、撮像素子に結像される像をシフトさせることで、画像のブレを補正することができる。

【0004】

ところが、光学式手振れ補正においては、例えば、レンズを移動させるためのシステムが複雑化したり、消費電力が増加したりするだけでなく、手振れ補正の制御系と撮像素子とが個別部品で構成されているため、それらを連動した制御が困難であった。さらに、光学式手振れ補正では、補正方向それぞれに対して駆動部分を備える構成とする必要があり、システムの複雑さを回避するために、小型機器においてはヨー方向およびピッチ方向のブレのみの補正を行い、ロール方向のブレの補正は行われていなかった。

【0005】

一方、電子式手振れ補正では、ブレの少ない短時間露光による撮像を連続して高速で行って得られる複数枚の画像を重ね合わせる画像処理を行うことで、画像のブレを補正することができる。

【0006】

例えば、特許文献１には、適正露出におけるシャッター速度よりも高速に撮像された複数枚の画像から、適正露出と同一の明るさに変換された鮮明な画像を出力することができる画像処理方法が開示されている。また、特許文献２には、ジャイロセンサにより検出されたブレ角と、画像を構成する画素の配置位置とに基づいた補正量に従って、手振れにより画像に発生する歪を効果的に補正することができる固体撮像素子が開示されている。

【先行技術文献】

【特許文献】

【0007】

【文献】国際公開第２０１４／１５６７３１号

【文献】特開２００５－３８３９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、従来の電子式手振れ補正は、光学式手振れ補正と比較して手振れ補正効果が低いため、より良好な手振れ補正効果を得ることができる電子式手振れ補正が求められていた。

【0009】

本開示は、このような状況に鑑みてなされたものであり、より良好な手振れ補正効果を得ることができるようにするものである。

【課題を解決するための手段】

【0010】

本開示の一側面の撮像素子は、複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS撮像により複数枚のフレームを出力する画素アレイ部と、前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する露光制御部とを備え、前記露光制御部は、外部のプロセッサから与えられた露光時間を超えた場合であっても、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する。

【0011】

本開示の一側面の撮像方法は、複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS撮像により複数枚のフレームを出力する画素アレイ部を備える撮像装置の撮像方法において、前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御し、外部のプロセッサから与えられた露光時間を超えた場合であっても、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する。

【0012】

本開示の一側面の電子機器は、複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS撮像により複数枚のフレームを出力する画素アレイ部と、前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する露光制御部とを有し、前記露光制御部は、外部のプロセッサから与えられた露光時間を超えた場合であっても、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する撮像素子を備える。

【0013】

本開示の一側面においては、複数の画素がアレイ状に配置される画素アレイ部により、短時間の露光時間の撮像を高速で連続的に行うEIS撮像により複数枚のフレームが出力される。そして、画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて画素アレイ部のブレが規定値を超えるか否かを判定し、画素アレイ部のブレが規定値を超えると判定したタイミングまで、画素アレイ部がEIS撮像を行うように制御される。さらに、外部のプロセッサから与えられた露光時間を超えた場合であっても、画素アレイ部のブレが規定値を超えると判定したタイミングまで、画素アレイ部がEIS撮像を行うように制御される。

【発明の効果】

【0014】

本開示の一側面によれば、より良好な手振れ補正効果を得ることができる。

【図面の簡単な説明】

【0015】

【図1】本技術を適用した撮像素子の一実施の形態の構成例を示すブロック図である。

【図2】従来のOIS撮像およびEIS撮像について説明する図である。

【図3】本技術を適用したEIS撮像について説明する図である。

【図4】本技術を適用したEIS撮像について説明する図である。

【図5】画像とジャイロデータとの同期について説明する図である。

【図6】ストロボ発光を組み合わせたEIS撮像について説明する図である。

【図7】撮像装置の構成例を示すブロック図である。

【図8】イメージセンサを使用する使用例を示す図である。

【発明を実施するための形態】

【0016】

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

【0017】

＜撮像素子の構成例＞

【0018】

図１は、本技術を適用した撮像素子の一実施の形態の構成例を示すブロック図である。

【0019】

図１に示されている撮像素子１１は、センサ基板および信号処理基板の積層構造からなる撮像チップ１２に、メモリチップ１３が積層されて構成されており、撮像チップ１２にジャイロセンサ１４および発光装置１５が接続されている。

【0020】

撮像チップ１２は、画素アレイ部２１、ＡＤＣ（Analog to Digital Converter）部２２、ジャイロインタフェース部２３、露光制御部２４、画像合成部２５、出力フレーム構成部２６、出力部２７、および入力部２８を備えて構成される。

【0021】

画素アレイ部２１は、複数の画素がアレイ状に配置されて構成される撮像面であり、図示しない光学系により集光される光を受光して、それぞれの画素が受光した光の光量に応じたレベルの画素信号を出力する。例えば、画素アレイ部２１は、露光制御部２４による制御に従って、ブレの少ない短時間の露光時間の撮像を高速で連続的に行うEIS撮像を行い、複数枚のフレームを構成する画素信号を出力する。

【0022】

ＡＤＣ部２２は、画素アレイ部２１から出力される画素信号に対して、例えば、CDS(Correlated Double Sampling：相関２重サンプリング)処理を施すことにより、画素信号のＡＤ変換を行うとともにリセットノイズを除去する。

【0023】

ジャイロインタフェース部２３は、ジャイロセンサ１４から出力されるジャイロデータ（ブレ情報）を取得し、適宜、露光制御部２４、画像合成部２５、および出力フレーム構成部２６に供給する。また、ジャイロインタフェース部２３は、図５を参照して後述するように、画像とジャイロデータとが同期されるように、ジャイロデータの供給を管理する。

【0024】

露光制御部２４は、ジャイロインタフェース部２３から供給されるジャイロデータ、および、図示しない外部のプロセッサから入力部２８を介して供給される制御情報（露光時間やゲインなど）に基づいた露光制御を行う。例えば、露光制御部２４は、プロセッサから与えられた露光時間を、ブレの少ない短時間の露光時間に分割してEIS撮像を行うように画素アレイ部２１に対する制御を行う。また、露光制御部２４は、画素アレイ部２１によるEIS撮像が終了すると、画像合成を行うように画像合成部２５に対する制御を行う。さらに、露光制御部２４は、所定のタイミングでストロボ発光を行うように発光装置１５に対する制御を行う。

【0025】

画像合成部２５にはＡＤＣ部２２から画素信号が供給され、画像合成部２５は、露光制御部２４による制御に従って、画素アレイ部２１により撮像された複数枚のフレームを合成する画像合成を行い、出力フレーム構成部２６に供給する。例えば、画像合成部２５は、ジャイロインタフェース部２３から供給されるジャイロデータから求められる動きベクトルに基づいて、複数枚のフレームそれぞれを、画像に発生する手振れを補正する方向にずらしながら合成する画像処理を行う。

【0026】

出力フレーム構成部２６は、画像合成部２５から供給される画像にエンベデッドデータなどを付加した出力フォーマットに構成して、出力部２７を介して出力する。

【0027】

出力部２７は、出力フレーム構成部２６から供給される出力フレームを、例えば、CSI-2（Camera Serial Interface）に準拠して撮像素子１１の外部に出力するインタフェースである。

【0028】

入力部２８は、図示しないプロセッサからの制御情報を、例えば、CCI（Camera Control Interface）に準拠して受け取って、露光制御部２４に供給するインタフェースである。

【0029】

メモリチップ１３は、画像データバッファ２９を備えて構成され、画像データバッファ２９は、例えば、画像合成部２５が画像合成を行うのに用いる複数枚のフレームを一時的に記憶する。

【0030】

ジャイロセンサ１４は、撮像素子１１の近傍に実装され、撮像素子１１が振れた際のブレ角を物理的に（画像処理的にではなく）検出する。例えば、ジャイロセンサ１４は、角速度を検出する検出部であり、一定のタイミングで、検出した角速度から求められるブレ角により表される手振れ量を示すジャイロデータを出力する。

【0031】

発光装置１５は、露光制御部２４による制御に従って、被写体に対して強力な明るさのストロボ光を発光する。

【0032】

このように撮像素子１１は構成されており、露光制御部２４は、ジャイロセンサ１４から出力されるジャイロデータに基づいて、画素アレイ部２１のブレが規定値（例えば、角速度：２度／秒）を超えるか否かを判定し、そのブレが規定値を超えると判定したタイミングまで、画素アレイ部２１がEIS撮像を行うように制御することができる。これにより、撮像素子１１は、EIS画像の総露光時間を、プロセッサから与えられた露光時間よりも延長して、より高画質なEIS画像を取得することができる。または、撮像素子１１は、プロセッサから与えられた露光時間内であっても、EIS画像にブレが発生することを回避することができる。

【0033】

なお、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサは、一般的に、画素の行ごとに順次、露光が開始されるとともに画素信号の読み出しが行われるフォーカルプレーンシャッタにより画像が撮像される。以下の図面を参照した説明では、このようなフォーカルプレーンシャッタにより取得される画像が平行四辺形で表されている。

【0034】

＜従来のOIS撮像およびEIS撮像＞

【0035】

図２を参照して、従来のOIS撮像およびEIS撮像について説明する。

【0036】

例えば、OIS撮像では、プロセッサから与えられた露光時間およびゲインに従って、OISにより手振れ補正された画像が取得される通常の撮像が行われる。

【0037】

また、EIS撮像では、プロセッサから与えられた露光時間（OIS撮像における露光時間と同等）を、手振れが発生しない程度の短時間に分割して複数枚のフレームが撮像され、それらのフレームを合成することで手振れ補正された１枚のEIS画像が取得される。

【0038】

このようなOIS撮像およびEIS撮像では、プロセッサから与えられた撮像条件（露光時間やゲインなど）に従った撮像が行われる。この撮像条件は、OIS性能などから推定された最長露光時間に基づいて制御されていることより、手振れ補正特性が許容される範囲内で、さらなる長時間露光による撮像を行うことで、高画質化を図ることができると考えられる。

【0039】

＜本技術を適用したEIS撮像＞

【0040】

図３および図４を参照して、図１の撮像素子１１によるEIS撮像について説明する。

【0041】

例えば、図３および図４において、破線の平行四辺形は、プロセッサから与えられた露光時間を表しており、従来においては、EIS撮像の露光時間の総和が、プロセッサから与えられた露光時間と同等となるような制御が行われる。

【0042】

これに対し、撮像素子１１では、露光制御部２４は、ジャイロインタフェース部２３を介してジャイロセンサ１４から出力されるジャイロ情報を直接的に観測して、ジャイロデータが規定値（破線の直線）を超えるほど大きなブレが発生したか否かを判定する。そして、露光制御部２４は、ジャイロデータが規定値を超えるほど大きなブレが発生したと判定するまで、EIS撮像を継続するように画素アレイ部２１に対する制御を行う。

【0043】

例えば、図３に示すように、プロセッサから与えられた露光時間を経過した後に、ジャイロデータが規定値を超えるほど大きなブレが発生すると、そのタイミングで、露光制御部２４は、EIS撮像を終了するように画素アレイ部２１に対する制御を行う。そして、露光制御部２４は、そのブレが発生する直前までのフレームを用いて、画像合成するように画像合成部２５に対する制御を行い、画像合成部２５は、それらのフレームを合成することで手振れ補正された１枚のEIS画像を出力する。

【0044】

これにより、撮像素子１１は、プロセッサから与えられた露光時間よりも、EIS撮像における露光時間の総和を延長することができる。一般的に、特に低照度環境下においては、露光時間の総和が長いほど画質を向上させることができるため、撮像素子１１は、より良好な手振れ補正効果が得られる高画質な画像を取得することができる。

【0045】

一方、図４に示すように、プロセッサから与えられた露光時間が経過する前に、ジャイロデータが規定値を超えるほど大きなブレが発生すると、そのタイミングで、露光制御部２４は、EIS撮像を終了するように画素アレイ部２１に対する制御を行う。そして、露光制御部２４は、そのブレが発生する直前までのフレームを用いて、画像合成するように画像合成部２５に対する制御を行い、画像合成部２５は、それらのフレームを合成することで手振れ補正された１枚のEIS画像を出力する。

【0046】

これにより、撮像素子１１は、画像にブレが発生する前にEIS撮像を打ち切ることができ、そのようなブレが発生した画像が画像合成に用いられないように排除することができる。この場合、撮像素子１１は、図３を参照して説明したような高画質な画像を取得することはできないが、手振れにより撮像が失敗することを回避することができる。

【0047】

このように、撮像素子１１は、撮像チップ１２がジャイロセンサ１４から出力されるジャイロデータを直接的に取得して、可能な限り長時間露光を行うことにより、例えば、低照度環境下における撮像で、従来よりも画質の向上を図ることができる。さらに、撮像素子１１は、プロセッサから与えられた露光時間中に予期しない大きな手振れが起きたとしても、撮像が失敗することを回避することができる。

【0048】

また、OIS撮像では、例えば、手振れを打ち消す方向に光学部品および撮像素子の一方を動かすことにより手振れ補正機能を実現しているため、補正軸ごとに駆動部品を備える必要がある。従って、一般的に、いわゆるスマートフォンなどの小型機器に採用される撮像装置では、ヨー方向およびピッチ方向のブレのみの補正が行われていた。これに対し、撮像素子１１は、EIS撮像による利点を生かし、駆動部品などを追加する必要なく、ヨー方向およびピッチ方向に加えてロール方向のブレの補正を行うことができる。

【0049】

＜ジャイロデータの同期＞

【0050】

図５を参照して、撮像素子１１における画像とジャイロデータとの同期について説明する。

【0051】

一般的に、EIS撮像において複数枚のフレームを合成する際のフレーム間のズレ情報が重要であり、ズレを打ち消すことによって手振れを補正することができる。さらに、撮像素子１１に用いられるCMOSイメージセンサにおいては電子シャッターの方式としてフォーカルプレーンシャッタを用いることより、画像内での読み出し時間ずれが生じることになる。このため、フォーカルプレーンシャッタによる画像内での読み出し時間ずれと、手振れによるフレーム間の位置ズレとが重なることにより、さらなる画質の劣化が発生することになる。

【0052】

そこで、撮像素子１１は、画像とジャイロデータとを同期させて、それぞれのフレームにおける垂直方向の位置ごとにブレ量を正確に認識することによって、それらのズレを正しく補正することで、画像に発生する手振れに対する補正を効果的に行うことができる。

【0053】

図５の上側には、画素アレイ部２１がEIS撮像を行って得られる複数枚のフレームが示されており、図５の下側には、それらのフレームの行ごとの露光開始タイミングおよび読み出しタイミングが示されている。

【0054】

例えば、１枚目のフレーム１と２枚目のフレーム２において破線で囲われた垂直方向の位置における露光について考える。このとき、フレーム１において破線で囲われた位置の露光中心は、時刻Ｔ１＋（（時刻Ｔ２－Ｔ１）／２となる。また、フレーム２において破線で囲われた位置の露光中心は、時刻Ｔ３＋（（時刻Ｔ４－Ｔ３）／２となる。そして、EIS撮像でのフレーム重ね合わせに使用する動きベクトルは、フレーム１の露光中心からフレーム２の露光中心までの移動量ということになる。

【0055】

そして、撮像素子１１は、露光制御部２４が、ジャイロインタフェース部２３から供給されるジャイロデータを、画素アレイ部２１による撮像タイミングに同期させることができるので、フレーム１の露光中心からフレーム２の露光中心までの動きベクトルを正確に取得することができる。

【0056】

即ち、撮像素子１１は、画像読み出しとジャイロデータの読み出しとを同期させることにより、フレーム間の垂直方向の各位置でのズレ量を正確に認識することができる。これにより、画像合成部２５は、それぞれのフレームの垂直方向の位置ごとに同期されているズレ量を用いて、フレームを合成することができる。従って、撮像素子１１は、フォーカルプレーンシャッタによる画像内での読み出し時間ずれと、手振れによるフレーム間の位置ズレとが重なることに起因する画質の劣化を抑制して、より効果的な手振れ補正を行うことができる。即ち、撮像素子１１は、高精度かつ詳細にズレ量に基づく手振れ補正を行うことができるので、フレームの合成を高品質に行うことができ、複数枚のフレームを合成したEIS画像の高画質化を図ることができる。

【0057】

また、撮像素子１１は、撮像チップ１２およびジャイロセンサ１４が連動した制御を行うことができるため、そのような連動した制御が困難な従来の撮像素子よりも、手振れ補正を搭載することによる露光時間延長の効果を最大化することができる。

【0058】

＜ストロボ発光を組み合わせたEIS撮像＞

【0059】

図６を参照して、ストロボ発光を組み合わせたEIS撮像について説明する。

【0060】

図６に示すように、まず、露光制御部２４は、発光装置１５に供給する発光信号をＨレベルにして、発光装置１５がストロボ光を発光するように制御する。そして、露光制御部２４は、発光信号と同期して、被写体にストロボ光が照射されている間に、ストロボが発光する期間内に収まるようにEIS撮像を行うように画素アレイ部２１に対する制御を行う。これにより、ストロボ光が照射された被写体が撮像されたEIS画像が取得される。

【0061】

その後、露光制御部２４は、発光装置１５に供給する発光信号をＬレベルにして、発光装置１５によるストロボ光の発光を終了させる。そして、露光制御部２４は、ストロボの発光が終了するタイミングを回避して、再度、画素アレイ部２１によるEIS撮像を行わせ、図３および図４を参照して上述したように、ジャイロデータに基づいた長時間のEIS撮像を行わせる。これにより、ストロボ光が届かない背景が撮像されたEIS画像が取得される。

【0062】

このように、撮像素子１１では、発光装置１５に供給する発光信号（外部に対する制御信号）と連動させて、画素アレイ部２１によるEIS撮像を制御し、被写体が撮像されたEIS画像と、背景が撮像されたEIS画像とが取得された後、それらを合成する。これにより、撮像素子１１は、ストロボ光がある環境での画像と、ストロボ光がない環境での画像とを１枚のEIS画像に収めることができる。これは、撮像技法のひとつであるスローシンクロ撮像と同じ効果を得ることができる。なお、図６には、先幕シンクロが採用された一例が示されているが、後幕シンクロを採用してもよい。

【0063】

さらに、撮像素子１１は、被写体が撮像されたEIS画像と、背景が撮像されたEIS画像とを合成する際にも、ジャイロデータを活用して、ズレが発生しないようなEIS画像を取得することができる。

【0064】

なお、上述したように撮像素子１１の内部で処理を行う他、例えば、複数枚のフレームにジャイロデータに基づいた動きベクトルを付加して後段のプロセッサに出力し、そのプロセッサにおいて合成処理を行わせるような構成としてもよい。

【0065】

例えば、従来のEIS撮像では、１回の撮像で１つの連続するフレームのみを使用していたため、ストロボ光を使用した撮像では、複数の短時間露光のフレームに対しても画面内の輝度均一性を保つために、同期をとる必要があった。しかしながら、従来、短時間露光の複数のフレームに対してこのような制御を行うことは困難であった。

【0066】

これに対し、撮像素子１１では、EIS撮像を高速で２回連続で行い、かつ、その間の動きベクトル情報を保持、利用することにより、見かけ上の撮像時間を伸ばしつつ、ストロボ発光などによる撮像環境の変化にも対応できるようになる。これにより、撮像素子１１は、低照度環境下における高画質化を図ることができる。

【0067】

以上のように、撮像素子１１は、EIS撮像により複数枚のフレームを連続して取得することにより、ストロボ発光などと組み合わせて低照度環境下であっても、より良好なEIS画像を取得することができる。

【0068】

なお、上述したような撮像素子１１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。

【0069】

＜撮像装置の構成例＞

【0070】

図７は、電子機器に搭載される撮像装置の構成例を示すブロック図である。

【0071】

図７に示すように、撮像装置１０１は、光学系１０２、撮像素子１０３、信号処理回路１０４、モニタ１０５、およびメモリ１０６を備えて構成され、静止画像および動画像を撮像可能である。

【0072】

光学系１０２は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を撮像素子１０３に導き、撮像素子１０３の受光面（センサ部）に結像させる。

【0073】

撮像素子１０３としては、上述した撮像素子１１が適用される。撮像素子１０３には、光学系１０２を介して受光面に結像される像に応じて、一定期間、電子が蓄積される。そして、撮像素子１０３に蓄積された電子に応じた信号が信号処理回路１０４に供給される。

【0074】

信号処理回路１０４は、撮像素子１０３から出力された画素信号に対して各種の信号処理を施す。信号処理回路１０４が信号処理を施すことにより得られた画像（画像データ）は、モニタ１０５に供給されて表示されたり、メモリ１０６に供給されて記憶（記録）されたりする。

【0075】

このように構成されている撮像装置１０１では、上述した撮像素子１１を適用することで、例えば、低照度環境下であっても高画質な画像を撮像することができる。

【0076】

＜イメージセンサの使用例＞

【0077】

図８は、上述のイメージセンサ（撮像素子１１）を使用する使用例を示す図である。

【0078】

上述したイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。

【0079】

・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置

【0080】

なお、本技術は以下のような構成も取ることができる。
（１）
複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS（Electronic Image Stabilization）撮像により複数枚のフレームを出力する画素アレイ部と、
前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する露光制御部と
を備える撮像素子。
（２）
前記露光制御部は、外部のプロセッサから与えられた露光時間を超えた場合であっても、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する
上記（１）に記載の撮像素子。
（３）
前記露光制御部は、外部のプロセッサから与えられた露光時間未満の場合であっても、前記画素アレイ部のブレが規定値を超えると判定すると、前記画素アレイ部がEIS撮像を終了するように制御する
上記（１）に記載の撮像素子。
（４）
前記画素アレイ部から出力される複数枚の前記フレームを、前記ブレ情報に従ってブレを補正する方向にずらして合成する画像処理を行う画像合成部
をさらに備える上記（１）から（３）までのいずれかに記載の撮像素子。
（５）
前記画像合成部は、前記画素アレイ部により撮像されるフレームにおける位置ごとに同期されている前記ブレ情報を用いて、前記フレームを合成する画像処理を行う
上記（４）に記載の撮像素子。
（６）
前記露光制御部は、外部に対する所定の制御を行う制御信号と連動させて、前記画素アレイ部のEIS撮像を制御する
上記（１）から（５）までのいずれかに記載の撮像素子。
（７）
複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS（Electronic Image Stabilization）撮像により複数枚のフレームを出力する画素アレイ部を備える撮像装置の撮像方法において、
前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する
撮像方法。
（８）
複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS（Electronic Image Stabilization）撮像により複数枚のフレームを出力する画素アレイ部と、
前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する露光制御部と
を有する撮像素子を備える電子機器。

【0081】

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

【符号の説明】

【0082】

１１ 撮像素子， １２ 撮像チップ， １３ メモリチップ， １４ ジャイロセンサ， １５ 発光装置， ２１ 画素アレイ部， ２２ ＡＤＣ部， ２３ ジャイロインタフェース部， ２４ 露光制御部， ２５ 画像合成部， ２６ 出力フレーム構成部， ２７ 出力部， ２８ 入力部， ２９ 画像データバッファ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】