特許 7023412 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-10

(45)【発行日】2022-02-21

(54)【発明の名称】撮像素子、撮像装置、撮像素子の作動方法、及びプログラム

(51)【国際特許分類】

   H04N 5/351 20110101AFI20220214BHJP

   H04N 5/225 20060101ALI20220214BHJP

   H04N 5/232 20060101ALI20220214BHJP

【ＦＩ】

H04N5/351

H04N5/225 300

H04N5/232 120

H04N5/232 480

【請求項の数】 22

(21)【出願番号】P 2021516079

(86)(22)【出願日】2020-04-17

(86)【国際出願番号】 JP2020016901

(87)【国際公開番号】W WO2020218201

(87)【国際公開日】2020-10-29

【審査請求日】2021-10-21

(31)【優先権主張番号】P 2019085262

(32)【優先日】2019-04-26

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】菅原 一文

(72)【発明者】

【氏名】小林 誠

(72)【発明者】

【氏名】河合 智行

(72)【発明者】

【氏名】桜武 仁史

(72)【発明者】

【氏名】長谷川 亮

【審査官】橘 高志

(56)【参考文献】

【文献】国際公開第２０１４／１５６４４２（ＷＯ，Ａ１）

【文献】特開２０１５－２２２９２５（ＪＰ，Ａ）

【文献】特開２００９－１４５８５２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／３５１

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項22】

第１フレームレートで撮像されることで得られた画像データを記憶するメモリと、前記画像データに対して処理を行い、前記処理を行った前記画像データを第２フレームレートで出力するプロセッサと、が内蔵された撮像素子に対して適用されるコンピュータに特定処理を実行させるためのプログラムであって、
前記特定処理は、
前記画像データを用いることで、前記画像データにより示される画像に含まれるぶれの度合いを示すぶれ度合い情報を導出すること、及び、
導出した前記ぶれ度合い情報を前記第２フレームレート以上のレートで出力すること、を含み、
前記第１フレームレートは、前記第２フレームレート以上のフレームレートである
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、撮像素子、撮像装置、撮像素子の作動方法、及びプログラムに関する。

【背景技術】

【0002】

特開２０１７－１８８７６０号公報には、メモリ基板と信号処理基板とが積層された積層型撮像素子が開示されている。メモリ基板は、画素基板が出力する画素信号を一時的に蓄えるＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリを有する。信号処理基板は、メモリ基板に蓄えられた画素信号に対する各種信号処理を実行する。特開２０１７－１８８７６０号公報に記載の積層型撮像素子では、信号処理基板に含まれる解析部によって画素信号の中に動体が検出された場合に、信号処理基板に含まれる信号処理部によって信号処理が実行される。

【0003】

特開２０１５－２２２９２５号公報には、ぶれ補正装置が開示されている。特開２０１５－２２２９２５号公報に記載のぶれ補正装置は、ぶれ検出手段、動きベクトル検出手段、第１のぶれ補正手段、第２のぶれ補正手段、第１のぶれ補正制御手段、及び第２のぶれ補正制御手段を備えている。

【0004】

特開２０１５－２２２９２５号公報に記載のぶれ補正装置において、ぶれ検出手段は、角速度情報に基づいてぶれを検出し、ぶれ信号を生成する。動きベクトル検出手段は、撮像素子による第１の撮像モードでの被写体の撮像において、第２の撮像モードでの被写体の撮像で生成された撮像信号に基づいて動きベクトルを検出する。第１のぶれ補正手段は、被写体像のぶれを光学的に補正する。第２のぶれ補正手段は、被写体像のぶれを電子的に補正する。第１のぶれ補正制御手段は、ぶれ信号に基づいて、被写体像のぶれを補正する第１の補正量を決定し、第１の補正量に従って第２のぶれ補正手段を制御して被写体像のぶれの補正を行う。第２の補正制御手段は、動きベクトルに基づいて、被写体のぶれを補正する第２の補正量を決定し、第２の補正量に従って第２のぶれ補正手段を制御して被写体像のぶれの補正を行う。

【0005】

そして、特開２０１５－２２２９２５号公報に記載のぶれ補正装置では、第１の撮像モードにおいて、第１のぶれ補正制御手段と第２のぶれ補正制御手段により、被写体像のぶれの補正が行われ、第１のぶれ補正制御手段により、第１の補正量と第２の補正量に従って被写体像のぶれの補正が行われる。

【発明の概要】

【0006】

本開示の技術に係る一つの実施形態は、画像データの出力用フレームレートで規定される周期よりも長い時間間隔でぶれ度合い情報が出力される場合に比べ、画像データの出力に対するぶれ度合い情報の出力のリアルタイム性を向上させることができる撮像素子、撮像装置、撮像素子の作動方法、及びプログラムを提供する。

【課題を解決するための手段】

【0007】

本開示の技術に係る第１の態様は、撮像素子であって、第１フレームレートで撮像されることで得られた画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、画像データに対して処理を行い、かつ、撮像素子に内蔵された処理部と、処理部で処理された画像データを第２フレームレートで出力し、かつ、撮像素子に内蔵された第１出力部と、画像データにより示される画像に含まれるぶれの度合いを示すぶれ度合い情報を出力し、かつ、撮像素子に内蔵された第２出力部と、を含み、処理部が、画像データを用いることでぶれ度合い情報を導出し、第２出力部が、処理部によって導出されたぶれ度合い情報を第２フレームレート以上のレートで出力し、第１フレームレートが第２フレームレート以上のフレームレートである撮像素子である。

【0008】

本開示の技術に係る第２の態様は、処理部で用いられる画像データの解像度が、第１出力部により出力される画像データの解像度よりも高い第１の態様に係る撮像素子である。

【0009】

本開示の技術に係る第３の態様は、処理部で用いられる画像データの解像度が、最大解像度である第１の態様に係る撮像素子である。

【0010】

本開示の技術に係る第４の態様は、処理部で用いられる画像データが、一部の画像を示す部分画像データである第１の態様から第３の態様の何れか１つの態様に係る撮像素子である。

【0011】

本開示の技術に係る第５の態様は、感光画素群を含み、部分画像データが、感光画素群のうちの合焦状態とされた領域から得られた画像データである第４の態様に係る撮像素子である。

【0012】

本開示の技術に係る第６の態様は、合焦状態とされた領域が、合焦状態を継続的に保持する動作モード下で合焦状態が継続的に保持されている領域である第５の態様に係る撮像素子である。

【0013】

本開示の技術に係る第７の態様は、感光画素群が、複数の位相差画素を有しており、複数の位相差画素のうちの少なくとも一部の位相差画素の画素データに基づいて感光画素群から合焦状態とされた領域が処理部によって特定される第５の態様又は第６の態様に係る撮像素子である。

【0014】

本開示の技術に係る第８の態様は、画像データが、第１フレームレートで撮像されることで得られた時系列データである第１の態様から第７の態様の何れか１つの態様に係る撮像素子である。

【0015】

本開示の技術に係る第９の態様は、時系列データのうちの一部のフレームに関する第１フレームデータが、第１出力部によって出力され、残りのフレームに関する第２フレームデータは、処理部によってぶれ度合い情報の導出に用いられる第８の態様に係る撮像素子である。

【0016】

本開示の技術に係る第１０の態様は、第２フレームデータが、複数のフレームを示すフレームデータであり、処理部が、第２フレームデータに基づいて、周期的に定められたフレーム毎にぶれ度合い情報を導出する第９の態様に係る撮像素子である。

【0017】

本開示の技術に係る第１１の態様は、周期的に定められたフレームが、第１フレームレートで規定される周期よりも長く、かつ、第２フレームレートで規定される周期以下の時間間隔で定められたフレームである第１０の態様に係る撮像素子である。

【0018】

本開示の技術に係る第１２の態様は、少なくとも光電変換素子と記憶部とが１チップ化された第１の態様から第１１の態様の何れか１つの態様に係る撮像素子である。

【0019】

本開示の技術に係る第１３の態様は、撮像素子が、光電変換素子に記憶部が積層された積層型撮像素子である第１２の態様に係る撮像素子である。

【0020】

本開示の技術に係る第１４の態様は、第１の態様から第１３の態様の何れか１つの態様に係る撮像素子と、与えられた振動を検出する振動センサと、振動センサから出力される振動データと第２出力部から出力されたぶれ度合い情報とに基づいてぶれを補正する補正部と、を含む撮像装置である。

【0021】

本開示の技術に係る第１５の態様は、処理部が、補正部によってぶれが補正された画像データに基づいてぶれ度合い情報を導出し、第２出力部から出力されたぶれ度合い情報を受け付ける後段回路を更に含み、後段回路が、補正部に対してぶれを補正させる制御を、振動データと振動センサの基準出力レベルとを用いて行い、後段回路は、第２出力部から出力されたぶれ度合い情報に応じて基準出力レベルを変更する第１４の態様に係る撮像装置である。

【0022】

本開示の技術に係る第１６の態様は、処理部が、補正部によってぶれが補正された画像データに基づいてぶれ度合い情報を導出し、撮像素子が、補正部に対してぶれを補正させる制御を、振動データと振動センサの基準出力レベルとを用いて行う補正制御部を更に含み、補正制御部は、第２出力部から出力されたぶれ度合い情報に応じて基準出力レベルを変更する第１４の態様に係る撮像装置である。

【0023】

本開示の技術に係る第１７の態様は、基準出力レベルの変更量が、処理部で用いられる画像データの画素数の縮小の度合いを超えない範囲内に制限される第１５の態様又は第１６の態様に係る撮像装置である。

【0024】

本開示の技術に係る第１８の態様は、画像データが、第１フレームレートで撮像されることで得られた時系列データであり、時系列データのうちの一部のフレームに関する第１フレームデータが、第１出力部によって出力され、時系列データのうちの残りのフレームに関する第２フレームデータが、複数のフレームを示すフレームデータであり、周期的に定められたフレーム毎に処理部によってぶれ度合い情報の導出に用いられ、複数のフレームが、基準出力レベルが変更される毎に、変更後の基準出力レベルが補正部によるぶれの補正に反映されることで得られたフレームである第１５の態様から第１７の態様の何れか１つの態様に係る撮像装置である。

【0025】

本開示の技術に係る第１９の態様は、補正部が、ぶれを光学的に補正する第１４の態様から第１８の態様の何れか１つの態様に係る撮像装置である。

【0026】

本開示の技術に係る第２０の態様は、第１出力部から出力された画像データを記憶装置に対して記憶させる制御、及び第１出力部から出力された画像データに基づく画像を表示装置に対して表示させる制御のうちの少なくとも一方を行う制御部を更に含む第１４の態様から第１９の態様の何れか１つの態様に係る撮像装置である。

【0027】

本開示の技術に係る第２１の態様は、第１フレームレートで撮像されることで得られた画像データを記憶する記憶部と、画像データに対して処理を行う処理部と、処理部で処理された画像データを第２フレームレートで出力する第１出力部と、第２出力部とが内蔵された撮像素子の作動方法であって、処理部が、画像データを用いることで、画像データにより示される画像に含まれるぶれの度合いを示すぶれ度合い情報を導出すること、及び、第２出力部が、処理部によって導出されたぶれ度合い情報を第２フレームレート以上のレートで出力すること、を含み、第１フレームレートが第２フレームレート以上のフレームレートである撮像素子の作動方法である。

【0028】

本開示の技術に係る第２２の態様は、第１フレームレートで撮像されることで得られた画像データを記憶する記憶部と、画像データに対して処理を行う処理部と、処理部で処理された画像データを第２フレームレートで出力する第１出力部と、第２出力部とが内蔵された撮像素子に含まれる処理部、第１出力部、及び第２出力部としてコンピュータを機能させるためのプログラムであって、処理部が、画像データを用いることで、画像データにより示される画像に含まれるぶれの度合いを示すぶれ度合い情報を導出すること、及び、第２出力部が、処理部によって導出されたぶれ度合い情報を第２フレームレート以上のレートで出力すること、を含み、第１フレームレートが第２フレームレート以上のフレームレートであるプログラムである。

【図面の簡単な説明】

【0029】

【図1】第１及び第２実施形態に係る撮像装置の外観の一例を示す斜視図である。

【図2】第１実施形態に係る撮像装置の構成の一例を示すブロック図である。

【図3A】第１及び第２実施形態に係る撮像装置に含まれる撮像素子の撮像フレームレートの説明に供する概念図である。

【図3B】第１及び第２実施形態に係る撮像装置に含まれる撮像素子の出力フレームレートの説明に供する概念図である。

【図4】第１実施形態に係る撮像素子の積層構造の一例、並びに、撮像素子、信号処理部、及びＣＰＵの接続関係の一例を示すブロック図である。

【図5】第１実施形態に係る撮像装置に含まれる撮像素子の光電変換素子に含まれる各画素の撮像面での配置の一例を示す配置図である。

【図6】図５に示す光電変換素子に含まれる第１位相差画素及び第２位相差画素に対する被写体光の入射特性の一例を示す概念図である。

【図7】図５に示す光電変換素子に含まれる非位相差画素の構成の一例を示す概略構成図である。

【図8】第１実施形態に係る撮像素子の電気系の構成の一例を示すブロック図である。

【図9】第１実施形態に係る撮像装置に含まれる振動センサの基準出力レベルがずれていない状態での振動センサの出力レベルの変化態様の一例を示すグラフである。

【図10】第１実施形態に係る撮像装置に含まれる振動センサの基準出力レベルがずれた状態での振動センサの出力レベルの変化態様の一例を示すグラフである。

【図11】第１実施形態に係る撮像素子に含まれる記憶回路に記憶されている基準出力テーブルの構成の一例を示す概念図である。

【図12】第１実施形態に係る撮像装置によって撮像されることで得られたデジタル非位相差画像データとデジタル位相差画像データとの対応関係の一例を示す概念図である。

【図13】第１実施形態に係る撮像装置の撮像素子に含まれる制御回路によってメモリ６４に記憶される時系列データの一例を示す概念図である。

【図14】第１実施形態に係る撮像素子の撮像面、ＡＦ制御対象領域、及び合焦状態領域の位置関係の一例を示す概念図である。

【図15】第１実施形態に係る撮像素子に含まれる制御回路の構成の一例を示すブロック図である。

【図16】第１実施形態に係る制御回路に含まれる処理部の実用画像データ生成部によって実用画像データとして生成された静止画像データにより示される静止画像の一例と、実用画像データ生成部によって実用画像データとして生成されたライブビュー画像データにより示されるライブビュー画像の一例とを示す概念図である。

【図17】第１実施形態に係る制御回路に含まれる処理部の第Ｎ解析部の機能の一例を示すブロック図である。

【図18】第１実施形態に係る撮像素子に含まれる制御回路と周辺の各装置との関係の一例を示すブロック図である。

【図19】基準出力レベルから変更基準出力レベルを算出する方法の説明に供するグラフであって、出力レベルと温度との関係の一例を示すグラフである。

【図20】第１実施形態に係る撮像素子に含まれる制御回路の補正制御部と、記憶回路と、ＣＰＵと、光学式ぶれ補正部との関係の一例を示すブロック図である。

【図21】第１実施形態に係る位相差画素処理の流れの一例を示すフローチャートである。

【図22】第１実施形態に係る非位相差画素処理の流れの一例を示すフローチャートである。

【図23】第１実施形態に係る実用画像データ生成部処理の流れの一例を示すフローチャートである。

【図24】第１実施形態に係る第Ｎ解析用画像データ取得処理の流れの一例を示すフローチャートである。

【図25】第１実施形態に係る第Ｎ解析部処理の流れの一例を示すフローチャートである。

【図26】第１実施形態に係る補正制御部処理の流れの一例を示すフローチャートである。

【図27】第２実施形態に係る撮像装置の構成の一例を示すブロック図である。

【図28】第２実施形態に係る撮像素子とＣＰＵとの関係の一例を示すブロック図である。

【図29】各種プログラムが記憶された記憶媒体から、各種プログラムが撮像素子内のコンピュータにインストールされる態様の一例を示す概念図である。

【図30】第１又は第２実施形態に係る撮像素子が組み込まれたスマートデバイスの概略構成の一例を示すブロック図である。

【発明を実施するための形態】

【0030】

以下、添付図面に従って本開示の技術に係る撮像素子、撮像装置、撮像素子の作動方法、及びプログラムの実施形態の一例について説明する。

【0031】

先ず、以下の説明で使用される用語の意味について説明する。

【0032】

ＣＰＵとは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。ＧＰＵとは、“Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。ＲＡＭとは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＲＯＭとは、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＤＲＡＭとは、“Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＳＲＡＭとは、“Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。

【0033】

ＬＳＩとは、“Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ”の略称を指す。ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称を指す。ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称を指す。

【0034】

ＳＳＤとは、“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称を指す。ＨＤＤとは、“Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。

【0035】

ＣＣＤとは、“Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ”の略称を指す。ＣＭＯＳとは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＵＩとは、“Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＰＣとは、“Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ”の略称を指す。ＡＦとは、“Ａｕｔｏ－Ｆｏｃｕｓ”の略称を指す。ＡＥとは、“Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ”の略称を指す。ＳｏＣとは、“Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ”の略称を指す。

【0036】

ＯＩＳとは、“Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ”の略称を指す。ＢＩＳとは、“Ｂｏｄｙ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ”の略称を指す。ＥＩＳとは、“Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ”の略称を指す。

【0037】

［本開示の技術に係る第１実施形態］
一例として図１に示すように、撮像装置１０は、レンズ交換式カメラである。撮像装置１０は、撮像装置本体１２と、撮像装置本体１２に交換可能に装着される交換レンズ１４と、を備えている。

【0038】

撮像装置本体１２には、撮像素子４４が設けられている。交換レンズ１４は、撮像レンズ４０を有する。交換レンズ１４が撮像装置本体１２に装着された場合に、被写体を示す被写体光は、撮像レンズ４０を透過して撮像素子４４の撮像面４４Ａに結像される。

【0039】

撮像装置本体１２の上面には、レリーズボタン２０及びダイヤル２２が設けられている。ダイヤル２２は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作される。レリーズボタン２０は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（以下、「半押し位置」と称する）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（以下、「全押し位置」と称する）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。

【0040】

撮像装置１０では、動作モードとして表示動画用撮像モードと記録用撮像モードとがユーザの指示に応じて選択的に設定される。表示動画用撮像モード及び記録用撮像モードの各々では、ユーザの指示に従ってＡＦモードが設定される。

【0041】

表示動画用撮像モードにおいて、ＡＦモードが設定されると、１フレーム毎に、ＡＥ機能が働いて露出状態が設定され、かつ、ＡＦ機能が働いて合焦制御され、表示動画像用の撮像が行われる。表示動画像用の撮像が行われることによりライブビュー画像が生成される。なお、一般的に、ライブビュー画像は、スルー画像とも称されている。

【0042】

記録用撮像モードは、動画像記録用撮像モードと静止画像記録用撮像モードとに大別され、動画像記録用撮像モードと静止画像記録用撮像モードとが、ユーザの指示に応じて選択的に設定される。撮像装置１０では、動画像記録用撮像モードにおいて、ＡＦモードが設定されると、１フレーム毎に、ＡＥ機能が働いて露出状態が設定され、かつ、ＡＦ機能が働いて合焦制御され、記録動画像用の撮像が行われる。記録動画像用の撮像が行われることにより得られた動画像は、ライブビュー画像よりも解像度が高く、メモリカード、ＵＳＢメモリ、ＳＳＤ、又はＨＤＤ等の既定の記憶装置（以下、単に「既定の記憶装置」と称する）に記憶される。なお、既定の記憶装置は、本開示の技術に係る「記憶装置」の一例である。

【0043】

静止画像記録用撮像モードにおいて、ＡＦモードが設定されると、レリーズボタン２０を半押し状態にすることにより撮影条件の調整が行われ、その後、引き続き全押し状態にすると静止画像用の撮像が行われる。つまり、レリーズボタン２０を半押し状態にすることによりＡＥ機能が働いて露出状態が設定された後、ＡＦ機能が働いて合焦制御され、レリーズボタン２０を全押し状態にすると記録静止画像用の撮像が行われる。記録静止画像用の撮像が行われることにより得られた静止画像は、既定の記憶装置に記憶される。

【0044】

撮像装置１０では、ＡＦモードが、通常ＡＦモードと、コンティニュアスＡＦモードとに大別され、通常ＡＦモードとコンティニュアスＡＦモードとがユーザの指示に応じて選択的に設定される。通常ＡＦモードは、半押し状態の間、焦点の位置を固定した状態で合焦制御が行われるＡＦモードである。コンティニュアスＡＦモードは、半押し状態の間、焦点の位置を固定せずに、指定された被写体に対する合焦状態を継続的に保持するＡＦモードである。

【0045】

一例として図２に示すように、撮像装置１０は、コンピュータ１３、ドライバ２３，２６、通信Ｉ／Ｆ２５、信号処理回路３０、振動センサ３２、位置検出センサ３９、記憶装置４２、外部Ｉ／Ｆ４６、及びＵＩ系デバイス４３を備えている。

【0046】

コンピュータ１３は、ＣＰＵ３５、ＲＯＭ３６、及びＲＡＭ３７を備えており、ＣＰＵ３５、ＲＯＭ３６、及びＲＡＭ３７は、バスライン３８を介して相互に接続されている。また、ドライバ２３，２６、通信Ｉ／Ｆ２５、信号処理回路３０、振動センサ３２、位置検出センサ３９、記憶装置４２、外部Ｉ／Ｆ４６、及びＵＩ系デバイス４３も、バスライン３８に接続されている。

【0047】

ＣＰＵ３５は、撮像装置１０の全体を制御する。ＲＯＭ３６には、各種プログラムが記憶されている。ＣＰＵ３５は、ＲＯＭ３６から各種プログラムを読み出し、読み出した各種プログラムをＲＡＭ３７に展開する。ＣＰＵ３５は、ＲＡＭ３７に展開した各種プログラムに従って撮像装置１０の全体を制御する。

【0048】

記憶装置４２は、ＳＳＤ、ＨＤＤ、又はＥＥＰＲＯＭ等の不揮発性の記憶装置である。ＣＰＵ３５は、記憶装置４２に対して各種情報の読み書きを行う。

【0049】

外部Ｉ／Ｆ４６は、ＦＰＧＡを有する通信デバイスである。外部Ｉ／Ｆ４６には、既定の記憶装置が接続される。ＣＰＵ３５は、外部Ｉ／Ｆ４６を介して既定の記憶装置に対して各種情報の読み書きを行う。また、外部Ｉ／Ｆ４６には、ＰＣ又はサーバ等の演算装置も接続される。外部Ｉ／Ｆ４６は、ＣＰＵ３５と演算装置との間の各種情報の授受を司る。

【0050】

ＵＩ系デバイス４３は、ユーザからの指示を受け付けたり、ユーザに対して情報を提示したりするデバイスである。ＵＩ系デバイス４３は、受付デバイス４３Ａ及びディスプレイ４３Ｂを備えている。ディスプレイ４３Ｂの一例としては、液晶ディスプレイが挙げられる。ディスプレイ４３Ｂは、液晶ディスプレイではなく、有機ＥＬディスプレイ等の他種類のディスプレイであってもよい。ディスプレイ４３Ｂは、ＣＰＵ３５の制御下で、ライブビュー画像及び静止画像等の各種画像の他、文字情報も表示する。なお、ディスプレイ４３Ｂは、本開示の技術に係る「表示装置」の一例である。また、ＣＰＵ３５は、本開示の技術に係る「制御部（制御プロセッサ）」の一例である。

【0051】

受付デバイス４３Ａは、ハードキー部及びタッチパネル等を備えている。ハードキー部は、レリーズボタン２０（図１参照）及びダイヤル２２（図１参照）を含む複数のハードキーである。タッチパネルは、透過型のタッチパネルであり、ディスプレイ４３Ｂの表示領域の表面に重ねられている。タッチパネルは、例えば、指又はスタイラスペン等の指示体による接触を検知する。ＣＰＵ３５は、受付デバイス４３Ａによって受け付けられた各種指示に従って動作する。

【0052】

振動センサ３２は、ジャイロセンサを含むデバイスであり、撮像装置１０に与えられた振動を検出する。撮像装置１０に対して与えられる振動としては、例えば、撮像装置１０を把持しているユーザが撮像装置１０に対して与える振動、三脚等の支持台に設置されている撮像装置１０に対する風による振動、及び車両から与えられる振動等が挙げられる。

【0053】

ジャイロセンサは、ピッチ軸ＰＡと、ヨー軸ＹＡと、ロール軸ＲＡ（光軸Ｌ１に平行な軸）との各軸（図１参照）周りの回転量を検出する。振動センサ３２は、ジャイロセンサによって検出されたピッチ軸ＰＡ周りの回転量及びヨー軸ＹＡ周りの回転量をピッチ軸ＰＡ及びヨー軸ＹＡに平行な２次元状の面内での変位量に変換することで、撮像装置１０の振動を検出する。そして、振動センサ３２は、検出した振動を示す振動データをＣＰＵ３５に出力する。なお、本開示の技術に係る第１実施形態での平行の意味には、完全な平行の意味の他に、設計上及び製造上において許容される誤差を含む略平行の意味も含まれる。

【0054】

撮像レンズ４０は、対物レンズ１５Ａ及びレンズ群１５Ｂを備えている。撮像素子４４は、撮像レンズ４０の後段に位置している。対物レンズ１５Ａ及びレンズ群１５Ｂは、被写体側から撮像素子４４側にかけて、光軸Ｌ１に沿って、対物レンズ１５Ａ及びレンズ群１５Ｂの順に配置されている。

【0055】

振動センサ３２には、温度センサ３４が内蔵されている。温度センサ３４は、振動センサ３２内の温度を測定し、測定した温度を示す温度データをＣＰＵ３５に出力する。

【0056】

撮像素子４４には、通信Ｉ／Ｆ２５、ドライバ２６、及び信号処理回路３０が接続されている。通信Ｉ／Ｆ２５は、ＦＰＧＡを有する通信デバイスであり、ＣＰＵ３５と撮像素子４４との間での各種信号の授受を司る。ドライバ２６は、ＣＰＵ３５の制御下で、タイミング制御信号を撮像素子４４に供給する。タイミング制御信号とは、例えば、垂直同期信号及び水平同期信号を指す。垂直同期信号は、１フレーム分の撮像を開始するタイミングを規定する信号である。水平同期信号は、１水平ライン分の撮像を開始するタイミングを規定する信号である。

【0057】

信号処理回路３０は、ＡＳＩＣを含むデバイスである。信号処理回路３０には、撮像素子４４によって被写体が撮像されることで得られた画像データ６９が入力される。画像データ６９は、被写体の画像を示すデータである。信号処理回路３０は、撮像素子４４から入力された画像データ６９に対して各種の信号処理を行う。各種の信号処理には、例えば、ホワイトバランス調整、シャープネス調整、ガンマ補正、色空間変換処理、及び色差補正などの公知の信号処理が含まれる。

【0058】

なお、本開示の技術に係る第１実施形態では、信号処理回路３０としてＡＳＩＣを含むデバイスを例示しているが、本開示の技術はこれに限定されず、信号処理回路３０は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、信号処理回路３０は、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータであってもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、信号処理回路３０は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

【0059】

撮像レンズ４０は、対物レンズ１５Ａ及びレンズ群１５Ｂを備えている。対物レンズ１５Ａ及びレンズ群１５Ｂは、被写体側から撮像面４４Ａ側にかけて、光軸Ｌ１に沿って、対物レンズ１５Ａ及びレンズ群１５Ｂの順に配置されている。

【0060】

レンズ群１５Ｂと撮像素子４４との間には、可動式の絞り（図示省略）及びメカニカルシャッタ（図示省略）が配置されている。絞り及びメカニカルシャッタは、レンズ群１５Ｂ側から撮像素子４４側にかけて、光軸Ｌ１に沿って、絞り及びメカニカルシャッタの順に配置されている。絞りは、モータ等の駆動源（図示省略）からの動力を受けることで作動し、絞りが作動することで絞りの開度が変更され、これにより、露出が調節される。メカニカルシャッタは、モータ等の駆動源（図示省略）からの動力を受けることで作動する。被写体光は、撮像レンズ４０を透過し、メカニカルシャッタを介して撮像面４４Ａに結像される。

【0061】

レンズ群１５Ｂには、フォーカス用のレンズ１５Ｂ１と、ズーム用のレンズ（図示省略）と、防振レンズ１５Ｂ２とが含まれている。フォーカス用のレンズ１５Ｂ１、ズーム用のレンズ、及び防振レンズ１５Ｂ２は、対物レンズ１５Ａ側から撮像素子４４側にかけて、光軸Ｌ１に沿って、フォーカス用のレンズ１５Ｂ１、ズーム用のレンズ、及び防振レンズ１５Ｂ２の順に配置されている。

【0062】

フォーカス用のレンズ１５Ｂ１及びズーム用のレンズは、与えられた動力に応じて光軸Ｌ１に沿って移動する。防振レンズ１５Ｂ２は、防振レンズ１５Ｂ２の光軸に対して垂直方向に変動する。なお、本開示の技術に係る第１実施形態での「垂直」の意味には、完全な垂直の意味の他に、設計上及び製造上において許容される誤差を含む略垂直の意味も含まれる。

【0063】

ＡＦモードでは、フォーカス用のレンズ１５Ｂ１が、ＣＰＵ３５の制御下で、光軸Ｌ１に沿って移動することで、被写体距離に応じた合焦位置で撮像面４４Ａに被写体光が結像される。ここで言う「合焦位置」とは、ピントが合っている状態でのフォーカス用のレンズ１５Ｂ１の光軸Ｌ１上での位置を指す。以下では、説明の便宜上、フォーカス用のレンズ１５Ｂ１を合焦位置に合わせる制御を「ＡＦ制御」と称する。

【0064】

ところで、撮像装置１０では、撮像装置１０に対して与えられた振動（以下、単に「振動」とも称する）に起因してぶれが生じる。本開示の技術に係る第１実施形態において、「ぶれ」とは、振動に起因して光軸Ｌ１が基準軸に対して傾くことによって、撮像面４４Ａに結像されることで得られた被写体像が変動する現象を指す。ここで言う「基準軸」とは、例えば、振動が与えられていない状態での光軸Ｌ１を指す。被写体像としては、光学像及び電子像（画像）が挙げられる。被写体像は、光軸Ｌ１と撮像面４４Ａとの位置関係が変化することで変動する。

【0065】

撮像装置１０は、ぶれを補正するために、光学式ぶれ補正部２９を備えている。光学式ぶれ補正部２９は、本開示の技術に係る「補正部」の一例である。ここで、「補正部」は、「補正装置」、「補正機構」、「光学式補正装置」、又は「光学式補正機構」と言い換えることが可能である。光学式ぶれ補正部２９は、後述のＣＰＵ３５の制御下で動作し、振動センサ３２から出力される振動データに基づいて、光学的にぶれを補正する。本開示の技術に係る第１実施形態において、「ぶれの補正」には、ぶれを無くすという意味の他に、ぶれを低減するという意味も含まれる。

【0066】

なお、以下では、説明の便宜上、撮像装置１０によって被写体が撮像されることで得られた画像から、撮像装置１０に与えられた振動に起因して生じるぶれが視覚的に知覚されない程度に光学式ぶれ補正部２９によってぶれが補正されることを前提として説明する。

【0067】

光学式ぶれ補正部２９は、防振レンズ１５Ｂ２、アクチュエータ１７、ドライバ２３、及び位置検出センサ３９を備えている。光学式ぶれ補正部２９によるぶれの補正方法としては、周知の種々の方法を採用することができる。本開示の技術に係る第１実施形態では、ぶれの補正方法として、ＯＩＳが採用されている。ＯＩＳとは、振動センサ３２（後述）によって振動が検出されることで得られた振動データに基づいて防振レンズ１５Ｂ２を移動させることでぶれを補正する方法を指す。具体的には、ぶれを打ち消す方向に、ぶれを打ち消す量だけ防振レンズ１５Ｂ２を移動させることでぶれの補正が行われるようにしている。

【0068】

防振レンズ１５Ｂ２にはアクチュエータ１７が取り付けられている。アクチュエータ１７は、コイルモータが搭載されたシフト機構であり、コイルモータを駆動させることで防振レンズ１５Ｂ２を、防振レンズ１５Ｂ２の光軸に対して垂直方向に変動させる。なお、ここでは、アクチュエータ１７として、コイルモータが搭載されたシフト機構を例示しているが、本開示の技術はこれに限定されず、コイルモータに代えて、ステッピングモータ又はピエゾ素子等の他の動力源を適用してもよい。

【0069】

アクチュエータ１７は、ドライバ２３により制御される。アクチュエータ１７がドライバ２３の制御下で駆動することで、防振レンズ１５Ｂ２の位置が光軸Ｌ１に対して機械的に変動する。

【0070】

位置検出センサ３９は、防振レンズ１５Ｂ２の現在位置を検出し、検出した現在位置を示す位置信号を出力する。ここでは、位置検出センサ３９の一例として、ホール素子を含むデバイスが採用されている。ここで、防振レンズ１５Ｂ２の現在位置とは、防振レンズ二次元平面内の現在位置を指す。防振レンズ二次元平面とは、防振レンズ１５Ｂ２の光軸に対して垂直な二次元平面を指す。なお、ここでは、位置検出センサ３９の一例として、ホール素子を含むデバイスが採用されているが、本開示の技術はこれに限定されず、ホール素子に代えて、磁気センサ又はフォトセンサなどを採用してもよい。

【0071】

撮像素子４４は、本開示の技術に係る「積層型撮像素子」の一例である。本開示の技術に係る第１実施形態において、撮像素子４４は、ＣＭＯＳイメージセンサである。また、ここでは、撮像素子４４としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、撮像素子４４がＣＣＤイメージセンサであっても本開示の技術は成立する。

【0072】

撮像素子４４では、撮像フレームレートで被写体が撮像されることで、一例として図３Ａに示すように、被写体の画像を各々示す複数の画像データ６９が生成される。また、撮像素子４４では、生成された複数の画像データ６９が出力フレームレートで出力される。撮像フレームレート及び出力フレームレートは何れも可変なフレームレートである。なお、撮像フレームレートは、本開示の技術に係る「第１フレームレート」の一例であり、出力フレームレートは、本開示の技術に係る「第２フレームレート」の一例である。

【0073】

撮像フレームレートと出力フレームレートは、“撮像フレームレート＞出力フレームレート”の関係性を有している。つまり、撮像フレームレートは、出力フレームレートよりも高いフレームレートであり、タイミング制御信号の１つである垂直同期信号によって規定される。一例として図３Ａに示すように、撮像フレームレートは、期間Ｔ内に８フレーム分の撮像が行われるフレームレートであり、出力フレームレートは、図３Ｂに示すように、期間Ｔ内に２フレーム分の出力が行われるフレームレートである。具体的には、撮像フレームレートの一例として、２４０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）が挙げられ、出力フレームレートの一例として、６０ｆｐｓが挙げられる。なお、ここでは、撮像フレームレート及び出力フレームレートが、“撮像フレームレート＞出力フレームレート”の関係性を有している形態例を挙げて説明しているが、“撮像フレームレート＝出力フレームレート”であっても本開示の技術は成立する。

【0074】

一例として図４に示すように、撮像素子４４には、光電変換素子６１、処理回路６２、及びメモリ６４が内蔵されている。ここで、処理回路６２は、本開示の技術に係る「プロセッサ」の一例であり、メモリ６４は、本開示の技術に係る「記憶部（メモリ）」の一例である。撮像素子４４は、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子である。すなわち、光電変換素子６１、処理回路６２、及びメモリ６４は１パッケージ化されている。撮像素子４４では、光電変換素子６１に対して処理回路６２及びメモリ６４が積層されている。具体的には、光電変換素子６１及び処理回路６２は、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されており、処理回路６２及びメモリ６４も、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されている。ここでは、光電変換素子６１、処理回路６２、及びメモリ６４の３層構造が例示されているが、本開示の技術はこれに限らず、処理回路６２とメモリ６ ４とを１層としたメモリ層と、光電変換素子６１との２層構造であってもよいし、処理回路６２と光電変換素子６１とを１層としたプロセッサ層と、メモリ６４との２層構造であってもよい。また、処理回路６２にメモリ６４が内蔵されていてもよい。

【0075】

処理回路６２は、例えば、ＬＳＩであり、メモリ６４は、例えば、ＤＲＡＭである。但し、本開示の技術はこれに限らず、メモリ６４としてＤＲＡＭに代えてＳＲＡＭを採用してもよい。

【0076】

処理回路６２は、ＡＳＩＣ及びＦＰＧＡを含むデバイスであり、ＣＰＵ３５の指示に従って、撮像素子４４の全体を制御する。なお、ここでは、処理回路６２がＡＳＩＣ及びＦＰＧＡを含むデバイスによって実現される例を挙げているが、本開示の技術はこれに限定されるものではなく、例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、処理回路６２として、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、処理回路６２は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

【0077】

光電変換素子６１は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。

【0078】

光電変換素子６１に含まれる各フォトダイオードには、カラーフィルタが配置されている。カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。光電変換素子６１は、Ｒ画素、Ｇ画素、及びＢ画素を有する（図５参照）。Ｒ画素は、Ｒフィルタが配置されたフォトダイオードに対応する画素であり、Ｇ画素は、Ｇフィルタが配置されたフォトダイオードに対応する画素であり、Ｂ画素は、Ｂフィルタが配置されたフォトダイオードに対応する画素である。

【0079】

撮像素子４４は、いわゆる電子シャッタ機能を有しており、ＣＰＵ３５の制御下で電子シャッタ機能を働かせることで、光電変換素子６１内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。

【0080】

撮像装置１０では、ローリングシャッタ方式で、静止画像用の撮像と、動画像用の撮像とが行われる。ここでは、ローリングシャッタ方式が例示されているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。

【0081】

処理回路６２は、光電変換素子６１により被写体が撮像されることで得られた画像データ６９を読み出す。画像データ６９は、光電変換素子６１に蓄積された信号電荷である。処理回路６２は、光電変換素子６１から読み出したアナログの画像データ６９に対してＡ／Ｄ変換を行う。処理回路６２は、アナログの画像データ６９に対してＡ／Ｄ変換を行うことで得たデジタルの画像データ６９をメモリ６４に記憶する。メモリ６４は、複数の記憶領域を備えており、複数の記憶領域の各々には、例えば、１フレーム毎にデジタルの画像データ６９が光電変換素子６１の画素に対応するアドレスに画素単位で記憶される。また、複数の記憶領域に対しては処理回路６２によってランダムアクセスが行われる。

【0082】

処理回路６２は、ＣＰＵ３５及び信号処理回路３０に接続されている。処理回路６２は、ＣＰＵ３５との間で各種信号の授受を行う。また、処理回路６２は、デジタルの画像データ６９を信号処理回路３０に出力する。

【0083】

一例として図５に示すように、光電変換素子６１の撮像面４４Ａでは、Ｒ画素、Ｇ画素、及びＢ画素が、行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。本開示の技術に係る第１実施形態では、Ｒ画素、Ｇ画素、及びＢ画素がＸ－Ｔｒａｎｓ（登録商標）配列に対応した周期性で配列されている。なお、図５に示す例では、Ｘ－Ｔｒａｎｓ配列を例示しているが、本開示の技術はこれに限定されず、Ｒ画素、Ｇ画素、及びＢ画素の配列は、ベイヤ配列又はハニカム配列などであってもよい。

【0084】

図５に示す例では、１行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＧ画素、Ｂ画素、Ｒ画素、Ｇ画素、Ｒ画素、及びＢ画素の順に循環して配列されている。また、２行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＲ画素、Ｇ画素、Ｇ画素、Ｂ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。また、３行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＢ画素、Ｇ画素、Ｇ画素、Ｒ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。また、４行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＧ画素、Ｒ画素、Ｂ画素、Ｇ画素、Ｂ画素、及びＲ画素の順に循環して配列されている。また、５行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＢ画素、Ｇ画素、Ｇ画素、Ｒ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。更に、６行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＲ画素、Ｇ画素、Ｇ画素、Ｂ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。そして、１行目～６行目のＲ画素、Ｇ画素、及びＢ画素の配列パターンが６行単位で列方向に繰り返されることによって光電変換素子６１の全体のＲ画素、Ｇ画素、及びＢ画素の配列パターンが形成されている。

【0085】

光電変換素子６１は、感光画素群を含んで形成されている。感光画素群は、位相差画素と、位相差画素とは異なる画素である非位相差画素Ｎとの２種類の感光画素を有する。一般的に、非位相差画素Ｎは、通常画素とも称される。撮像面４４Ａには、複数の位相差画素ライン６１Ａと複数の非位相差画素ライン６１Ｂとが配列されている。位相差画素ライン６１Ａは、位相差画素を含む水平ラインである。具体的には、位相差画素ライン６１Ａは、位相差画素と非位相差画素Ｎとが混在している水平ラインである。非位相差画素ライン６１Ｂは、複数の非位相差画素Ｎのみを含む水平ライン、すなわち、複数の非位相差画素Ｎからなる水平ラインである。

【0086】

一例として図５に示すように、撮像面４４Ａには、位相差画素ライン６１Ａと、既定ライン数分の非位相差画素ライン６１Ｂとが列方向に沿って交互に配置されている。ここで言う「既定ライン数」とは、例えば、２ラインを指す。なお、ここでは、既定ライン数として、２ラインを例示しているが、本開示の技術はこれに限らず、既定ライン数は、３ライン以上の数ラインであってもよいし、十数ライン、数十ライン、又は数百ライン等であってもよい。

【0087】

位相差画素ライン６１Ａは、１行目から最終行にかけて列方向に２行飛ばしで配列されている。位相差画素ライン６１Ａの一部の画素が位相差画素である。具体的には、位相差画素ライン６１Ａは、位相差画素と非位相差画素Ｎとが周期的に配列された水平ラインである。位相差画素は、第１位相差画素Ｌと第２位相差画素Ｒとに大別される。位相差画素ライン６１Ａには、Ｇ画素として第１位相差画素Ｌと第２位相差画素Ｒとがライン方向に数画素間隔で交互に配置されている。

【0088】

第１位相差画素Ｌ及び第２位相差画素Ｒは、列方向で交互に現れるように配置されている。図５に示す例では、４列目において、１行目から列方向に沿って第１位相差画素Ｌ、第２位相差画素Ｒ、第１位相差画素Ｌ、及び第２位相差画素Ｒの順に配置されている。すなわち、第１位相差画素Ｌと第２位相差画素Ｒとが１行目から列方向に沿って交互に配置されている。また、図５に示す例では、１０列目において、１行目から列方向に沿って第２位相差画素Ｒ、第１位相差画素Ｌ、第２位相差画素Ｒ、及び第１位相差画素Ｌの順に配置されている。すなわち、第２位相差画素Ｒと第１位相差画素Ｌとが１行目から列方向に沿って交互に配置されている。

【0089】

一例として図６に示すように、第１位相差画素Ｌは、マイクロレンズ１９、遮光部材２１Ａ、及びフォトダイオードＰＤを備えている。第１位相差画素Ｌでは、マイクロレンズ１９とフォトダイオードＰＤの受光面との間には遮光部材２１Ａが配置されている。フォトダイオードＰＤの受光面における行方向の左半分（受光面から被写体を臨む場合の左側（換言すると、被写体から受光面を臨む場合の右側））は、遮光部材２１Ａによって遮光されている。

【0090】

第２位相差画素Ｒは、マイクロレンズ１９、遮光部材２１Ｂ、及びフォトダイオードＰＤを備えている。第２位相差画素Ｒでは、マイクロレンズ１９とフォトダイオードＰＤの受光面との間には遮光部材２１Ｂが配置されている。フォトダイオードＰＤの受光面における行方向の右半分（受光面から被写体を臨む場合の右側（換言すると、被写体から受光面を臨む場合の左側））は、遮光部材２１Ｂによって遮光されている。

【0091】

撮像レンズ４０の射出瞳を通過する光束は、左領域通過光３００Ｌ及び右領域通過光３００Ｒに大別される。左領域通過光３００Ｌとは、撮像レンズ４０の射出瞳を通過する光束のうち、位相差画素側から被写体側を臨む場合の左半分の光束を指し、右領域通過光３００Ｒとは、撮像レンズ４０の射出瞳を通過する光束のうち、位相差画素側から被写体側を臨む場合の右半分の光束を指す。撮像レンズ４０の射出瞳を通過する光束は、瞳分割部として機能するマイクロレンズ１９及び遮光部材２１Ａ，２１Ｂにより左右に分割され、第１位相差画素Ｌが被写体光として左領域通過光３００Ｌを受光し、第２位相差画素Ｒが被写体光として右領域通過光３００Ｒを受光する。この結果、左領域通過光３００Ｌに対応する被写体像に相当する第１位相差画像を示す第１位相差画像データと、右領域通過光３００Ｒに対応する被写体像に相当する第２位相差画像を示す第２位相差画像データとが撮像素子４４によって生成される。

【0092】

なお、以下では、説明の便宜上、第１位相差画素Ｌ及び第２位相差画素Ｒを区別して説明する必要がない場合、「位相差画素」と称する。また、以下では、説明の便宜上、遮光部材２１Ａ，２１Ｂを区別して説明する必要がない場合、符号を付さずに「遮光部材」と称する。また、第１位相差画像データと第２位相差画像データとを区別して説明する必要がない場合、「位相差画像データ」と称する。

【0093】

一例として図７に示すように、非位相差画素は、位相差画素に比べ、遮光部材を有しない点が異なる。非位相差画素のフォトダイオードＰＤは、被写体光として左領域通過光３００Ｌ及び右領域通過光３００Ｒを受光する。この結果、被写体光に相当する非位相差画像を示す非位相差画像データが撮像素子４４によって生成される。

【0094】

一例として図８に示すように、処理回路６２は、読出回路６２Ａ、デジタル処理回路６２Ｂ、記憶回路６２Ｃ、及び制御回路６２Ｄを備えている。

【0095】

読出回路６２Ａは、第１読出回路６２Ａ１及び第２読出回路６２Ａ２を備えている。第１読出回路６２Ａ１及び第２読出回路６２Ａ２の各々は、光電変換素子６１、デジタル処理回路６２Ｂ、及び制御回路６２Ｄに接続されている。デジタル処理回路６２Ｂ、記憶回路６２Ｃ、及びメモリ６４の各々は、制御回路６２Ｄに接続されている。制御回路６２Ｄは、信号処理回路３０及びＣＰＵ３５に接続されている。

【0096】

上述の画像データ６９は、アナログ画像データ６９Ａとデジタル画像データ６９Ｂとに大別される。なお、以下では、説明の便宜上、アナログ画像データ６９Ａとデジタル画像データ６９Ｂとを区別して説明する必要がない場合、「画像データ６９」と称する。

【0097】

アナログ画像データ６９Ａは、位相差画素に関するアナログの位相差画像データであるアナログ位相差画像データ６９Ａ１と、非位相差画素Ｎに関するアナログの非位相差画像データであるアナログ非位相差画像データ６９Ａ２とに大別される。デジタル画像データ６９Ｂは、デジタル位相差画像データ６９Ｂ１と、デジタル非位相差画像データ６９Ｂ２とに大別される。デジタル位相差画像データ６９Ｂ１は、アナログ位相差画像データ６９Ａ１がデジタル化されることで得られる画像データである。デジタル非位相差画像データ６９Ｂ２は、アナログ非位相差画像データ６９Ａ２がデジタル化されることで得られる画像データである。なお、アナログ画像データ６９Ａ及びデジタル画像データ６９Ｂは、本開示の技術に係る「画像データ」の一例である。

【0098】

制御回路６２Ｄには、ＣＰＵ３５から温度データ、位置信号、及び振動データ等の各種 信号が供給される。また、制御回路６２Ｄには、ドライバ２６（図２参照）からタイミング制御信号が供給される。

【0099】

読出回路６２Ａは、撮像フレームレートで被写体が撮像されることで得られたアナログ画像データ６９Ａを水平ライン単位で読み出す。すなわち、読出回路６２Ａは、制御回路６２Ｄの制御下で、光電変換素子６１を制御し、光電変換素子６１からアナログ画像データ６９Ａを水平ライン単位で読み出す。撮像フレームレートは、ドライバ２６（図２参照）から供給されたタイミング制御信号の１つである垂直同期信号によって規定され、水平ライン単位での読み出しタイミングは、タイミング制御信号の１つである水平同期信号に従って定められる。

【0100】

読出回路６２Ａは、光電変換素子６１に含まれる全画素について、アナログ位相差画像データ６９Ａ１とアナログ非位相差画像データ６９Ａ２とを選択的に読み出し可能な回路とされている。詳しくは後述するが、アナログ位相差画像データ６９Ａ１とアナログ非位相差画像データ６９Ａ２との選択的な読み出しは、第１読出回路６２Ａ１及び第２読出回路６２Ａ２によって実現される。

【0101】

なお、ここでは、光電変換素子６１に含まれる全画素について、アナログ位相差画像データ６９Ａ１とアナログ非位相差画像データ６９Ａ２とが選択的に読み出される形態例を挙げているが、本開示の技術はこれに限定されない。例えば、光電変換素子６１に含まれる全画素のうちの指定された一部の画素群について、アナログ位相差画像データ６９Ａ１とアナログ非位相差画像データ６９Ａ２とが選択的に読み出されるようにしてもよい。

【0102】

制御回路６２Ｄには、ドライバ２６（図２参照）から垂直同期信号が供給され、制御回路６２Ｄは、垂直同期信号を読出回路６２Ａに転送する。読出回路６２Ａは、制御回路６２Ｄから垂直同期信号が入力されると、光電変換素子６１に対して１フレーム分のアナログ画像データ６９Ａの読み出しを開始する。

【0103】

具体的には、制御回路６２Ｄは、ドライバ２６（図２参照）から供給された垂直同期信号を第１読出回路６２Ａ１及び第２読出回路６２Ａ２に転送する。第１読出回路６２Ａ１及び第２読出回路６２Ａ２の各々に垂直同期信号が入力されると、位相差画素からのアナログ位相差画像データ６９Ａ１の読み出しと非位相差画素Ｎからのアナログ非位相差画像データ６９Ａ２の読み出しとが独立して行われる。アナログ位相差画像データ６９Ａ１の読み出しは、第１読出回路６２Ａ１によって行われ、アナログ非位相差画像データ６９Ａ２の読み出しは、第２読出回路６２Ａ２によって行われる。

【0104】

より詳細に説明すると、第１読出回路６２Ａ１は、制御回路６２Ｄから垂直同期信号が入力されると、光電変換素子６１に対して１フレーム分のアナログ位相差画像データ６９Ａ１の読み出しを開始する。そして、第１読出回路６２Ａ１は、制御回路６２Ｄから入力される水平同期信号に従って位相差画素ライン６１Ａ毎に位相差画素の各々からアナログ位相差画像データ６９Ａ１を読み出す。第２読出回路６２Ａ２は、読出開始条件（後述）を満足した場合に、光電変換素子６１に対して１フレーム分のアナログ非位相差画像データ６９Ａ２の読み出しを開始する。そして、第２読出回路６２Ａ２は、制御回路６２Ｄから入力される水平同期信号に従って非位相差画素ライン６１Ｂ毎に非位相差画素Ｎの各々からアナログ非位相差画像データ６９Ａ２を読み出す。

【0105】

なお、ここで言う「読出開始条件」とは、制御回路６２Ｄから垂直同期信号が入力され、かつ、第１読出回路６２Ａ１による１フレーム分のアナログ位相差画像データ６９Ａ１の読み出しが完了した、との条件を指す。

【0106】

読出回路６２Ａは、光電変換素子６１から読み出されたアナログ画像データ６９Ａに対してアナログ信号処理を行う。アナログ信号処理には、ノイズキャンセル処理及びアナログゲイン処理などの公知の処理が含まれる。ノイズキャンセル処理は、光電変換素子６１に含まれる画素間の特性のばらつきに起因するノイズをキャンセルする処理である。アナログゲイン処理は、アナログ画像データ６９Ａに対してゲインをかける処理である。このようにしてアナログ信号処理が行われたアナログ画像データ６９Ａは、読出回路６２Ａによってデジタル処理回路６２Ｂに出力される。

【0107】

デジタル処理回路６２Ｂは、Ａ／Ｄ変換器６２Ｂ１を備えている。デジタル処理回路６２Ｂは、読出回路６２Ａから入力されたアナログ画像データ６９Ａに対してデジタル信号処理を行う。デジタル信号処理には、例えば、相関二重サンプリング、Ａ／Ｄ変換器６２Ｂ１によるＡ／Ｄ変換、及びデジタルゲイン処理が含まれる。

【0108】

アナログ画像データ６９Ａに対しては、デジタル処理回路６２Ｂによって相関二重サンプリングが行われる。相関二重サンプリングの信号処理が行われたアナログ画像データ６９Ａに対しては、Ａ／Ｄ変換器６２Ｂ１によってＡ／Ｄ変換が行われ、これによって、アナログ画像データ６９Ａがデジタル化され、デジタル画像データ６９Ｂが得られる。そして、デジタル画像データ６９Ｂに対しては、デジタル処理回路６２Ｂによってデジタルゲイン処理が行われる。デジタルゲイン処理とは、デジタル画像データ６９Ｂに対してゲインをかける処理を指す。

【0109】

制御回路６２Ｄは、デジタル信号処理が行われるによって得られたデジタル画像データ６９Ｂをデジタル処理回路６２Ｂから取得し、取得したデジタル画像データ６９Ｂをメモリ６４に記憶する。

【0110】

メモリ６４は、複数フレームのデジタル画像データ６９Ｂを記憶可能なメモリである。メモリ６４は、複数の記憶領域を有しており、デジタル画像データ６９Ｂは、制御回路６２Ｄによって、メモリ６４のうちの対応する記憶領域に画素単位で記憶される。

【0111】

制御回路６２Ｄは、メモリ６４に対してランダムアクセス可能であり、メモリ６４からデジタル非位相差画像データ６９Ｂ２を取得する。制御回路６２Ｄは、メモリ６４から取得したデジタル非位相差画像データ６９Ｂ２に対して信号処理を行う。ここで言う「信号処理」としては、同時化処理、デジタル間引き処理、デジタル加算処理、及びデータ埋め込み処理などが挙げられる。

【0112】

同時化処理は、カラーフィルタの配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理である。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報が算出される。

【0113】

デジタル間引き処理は、デジタル非位相差画像データ６９Ｂ２に含まれる画素をライン単位で間引く処理である。ライン単位とは、例えば、水平ライン単位及び／又は垂直ライン単位を指す。デジタル加算処理は、例えば、デジタル非位相差画像データ６９Ｂ２に含まれる複数の画素について画素値を加算平均する処理である。データ埋め込み処理は、デジタル非位相差画像データ６９Ｂ２の下位の空きビットに対して特定のデータを埋める処理などが挙げられる。ここで言う「特定のデータ」としては、例えば、デジタル非位相差画像データ６９Ｂ２に対して行ったデジタル間引き処理の方法を特定可能な情報、又は、フレームを特定可能なフレーム番号等が挙げられる。

【0114】

制御回路６２Ｄは、デジタル位相差画像データ６９Ｂ１と、信号処理済みのデジタル非位相差画像データ６９Ｂ２である実用画像データ（後述）とを出力フレームレートで信号処理回路３０に出力する。デジタル位相差画像データ６９Ｂ１は、信号処理回路３０を介してＣＰＵ３５に転送される。ＣＰＵ３５は、デジタル位相差画像データ６９Ｂ１に基づいてＡＦ制御を行う。実用画像データも、信号処理回路３０を介してＣＰＵ３５に転送される。ＣＰＵ３５は、実用画像データに対して各種の処理を実行する。各種の処理とは、例えば、実用画像データにより示される画像をディスプレイ４３Ｂに対して表示させる処理、及び実用画像データを既定の記憶装置に記憶させる処理等を指す。

【0115】

記憶回路６２Ｃは、基準出力テーブル６２Ｃ１（図１１参照）を記憶している。詳しくは後述するが、基準出力テーブル６２Ｃ１は、振動センサ３２の温度と、振動センサ３２の基準出力レベル（以下、単に「基準出力レベル」と称する）と、が対応付けられたテーブルである。本開示の技術に係る第１実施形態において、温度の単位は、“℃”であり、振動センサ３２の出力レベル（図１１及び図１９に示す例では、基準出力レベル）の単位は、“ｍｄｐｓ”である。基準出力レベルとは、振動無し状態での振動センサ３２の出力レベルを指す。振動無し状態とは、振動センサ３２が静止している状態、すなわち、撮像装置１０に対して振動が与えられていない状態を指す。なお、以下では、説明の便宜上、振動センサ３２が動いている状態、すなわち、撮像装置１０に対して振動が与えられている状態を「振動有り状態」と称する。また、以下の説明では、振動センサ３２の出力レベル（図１１及び図１９に示す例では、基準出力レベル）についての単位の表記は省略する。

【0116】

詳しくは後述するが、制御回路６２Ｄは、記憶回路６２Ｃに記憶されている基準出力テーブル６２Ｃ１の基準出力レベル、並びに、ＣＰＵ３５から供給された温度データ、位置信号、及び振動データに基づいて位置指示信号を生成する。そして、制御回路６２Ｄは、生成した位置指示信号をＣＰＵ３５に出力する。位置指示信号とは、上述した防振レンズ二次元平面内での防振レンズ１５Ｂ２（図２参照）の位置を指示する信号を指す。ＣＰＵ３５は、制御回路６２Ｄから入力された位置指示信号に従って光学式ぶれ補正部２９を制御する。光学式ぶれ補正部２９は、防振レンズ１５Ｂ２の位置を位置指示信号により指示された位置に合わされることで、ぶれを補正する。

【0117】

ところで、制御回路６２Ｄでは、ぶれの補正に要する補正量（以下、「ぶれ補正量」と称する）が算出され、算出されたぶれ補正量に従って位置指示信号が決定される。一例として図９に示すように、基準出力レベルと振動センサ３２の現在の出力レベル（以下、「現在出力レベル」と称する）との差分の時間積分値（図９に示す例では、網掛け領域の面積）が、ぶれ補正量に相当する。振動無し状態では、現在出力レベルは、基準出力レベルと一致するが、振動有り状態では、現在出力レベルは、基準出力レベルよりも高かったり低かったりする。

【0118】

制御回路６２Ｄがぶれ補正量を算出する前提として、図９に示す例のように、基準出力レベルが一定であることが理想的ではあるものの、実際のところ、一例として図１０に示すように、基準出力レベルは一定ではなく変位する。基準出力レベルが変位する原因としては、振動センサ３２が設置されている環境及び経時劣化等が挙げられる。基準出力レベルが変位すると、基準出力レベルの変位分が時間積分値として算出されるので、基準出力レベルの変位分の誤差がぶれ補正量に含まれてしまう。この場合、振動有り状態では、実際に必要なぶれ補正量よりも大きなぶれ補正量が算出されてしまう。また、振動無し状態では、ぶれ補正量が“０”以外の値となるため、ぶれを補正する必要がないにも拘らず、ぶれがあるかのように光学式ぶれ補正部２９が作動してしまう。

【0119】

そこで、撮像素子４４では、一例として図１１に示すように、基準出力テーブル６２Ｃ１の基準出力レベルが適正化され、適性化された基準出力レベルに基づいてぶれ補正量が算出される。基準出力レベルは振動センサ３２での温度毎に異なるので、基準出力テーブル６２Ｃ１は、振動センサ３２での複数の温度と、基準出力レベルとを有しており、複数の温度の各々について異なる基準出力レベルが予め対応付けられている。

【0120】

図１１に示す例では、複数の温度が２０．０℃から２７．０℃までの範囲において０．５℃刻みで規定されている。基準出力テーブル６２Ｃ１において、互いに対応付けられている温度及び基準出力レベルは、共に固定値である。変更基準出力レベルは、光学式ぶれ補正部２９によってぶれが補正された状態での変位後の基準出力レベルである。図１１に示す例では、２３．０℃から２６．０℃までの範囲内の各温度に対して変更基準出力レベルが対応付けられている。

【0121】

使用基準出力レベルは、時間積分値の算出、すなわち、ぶれ補正量の算出で用いられる。振動センサ３２から変更基準出力レベルが未だに得られていない場合は基準出力レベルが使用基準出力レベルとして採用され、振動センサ３２から変更基準出力レベルが得られている場合は変更基準出力レベルが使用基準出力レベルとして採用される。図１１に示す例では、２０．０℃から２２．５℃までの範囲、及び２６．５℃から２７．０℃までの範囲内の各温度に対しては、使用基準出力レベルとして基準出力レベルが採用されている。また、図１１に示す例では、２３．０℃から２６．０℃までの範囲内の各温度に対しては、使用基準出力レベルとして変更基準出力レベルが採用されている。

【0122】

一例として図１２に示すように、光電変換素子６１によって撮像フレームレートで撮像されることで得られた時系列のデジタル非位相差画像データ６９Ｂ２の各々に対して、フレーム毎にデジタル位相差画像データ６９Ｂ１が時系列で対応付けられている。すなわち、１フレーム単位でデジタル位相差画像データ６９Ｂ１及びデジタル非位相差画像データ６９Ｂ２が制御回路６２Ｄによって取得される。

【0123】

一例として図１３に示すように、制御回路６２Ｄは、撮像フレームレートで撮像されることで得られた時系列のデジタル非位相差画像データ６９Ｂ２に基づいて、時系列データを生成し、生成した時系列データをメモリ６４にＦＩＦＯ方式で記憶する。時系列データは、一部のフレームに関する第１フレームデータと残りのフレームに関する第２フレームデータとに大別される。第２フレームデータは、複数のフレームを示すフレームデータである。

【0124】

第１フレームデータは、信号処理用画像データ６９Ｂ２ａである。信号処理用画像データ６９Ｂ２ａは、デジタル非位相差画像データ６９Ｂ２そのものであり、同一フレームでのデジタル位相差画像データ６９Ｂ１が対応付けられている。第２フレームデータは、第１解析用画像データ６９Ｂ２ｂ、第２解析用画像データ６９Ｂ２ｃ、及び第３解析用画像データ６９Ｂ２ｄである。詳しくは、後述するが、第１解析用画像データ６９Ｂ２ｂ、第２解析用画像データ６９Ｂ２ｃ、及び第３解析用画像データ６９Ｂ２ｄの各々は、撮像面４４Ａの全画素による１フレーム分のデジタル非位相差画像データ６９Ｂ２のうち、一部の画像を示す部分画像データである。ここで言う「一部の画像を示す部分画像データ」とは、例えば、撮像装置１０の画角に収まっている被写体の一部の画像を指す。

【0125】

時系列データ内の周期的に定められたフレームは、６０ｆｐｓで規定される時間間隔で定められたフレームである。すなわち、周期的に定められたフレーム間の時間間隔は６０ｆｐｓで規定される周期に相当する時間間隔である。ここで言う「フレーム間」とは、例えば、時間的に隣接する信号処理用画像データ６９Ｂ２ａ間、時間的に隣接する第１解析用画像データ６９Ｂ２ｂ間、時間的に隣接する第２解析用画像データ６９Ｂ２ｃ間、及び時間的に隣接する第３解析用画像データ６９Ｂ２ｄ間を指す。信号処理用画像データ６９Ｂ２ａ、第１解析用画像データ６９Ｂ２ｂ、第２解析用画像データ６９Ｂ２ｃ、及び第３解析用画像データ６９Ｂ２ｄの各々は、６０ｆｐｓで規定される時間間隔で得られてメモリ６４にＦＩＦＯ方式で記憶される。

【0126】

なお、以下では、説明の便宜上、第１解析用画像データ６９Ｂ２ｂ、第２解析用画像データ６９Ｂ２ｃ、及び第３解析用画像データ６９Ｂ２ｄを区別して説明する必要がない場合、「第Ｎ解析用画像データ」と称する。また、第Ｎ解析用画像データにより示される画像を「第Ｎ解析用画像」と称する。すなわち、第Ｎ解析用画像とは、第１解析用画像データ６９Ｂ２ｂにより示される画像である第１解析用画像、第２解析用画像データ６９Ｂ２ｃにより示される画像である第２解析用画像、及び第３解析用画像データ６９Ｂ２ｄにより示される画像である第３解析用画像の総称を指す。

【0127】

ここで、第Ｎ解析用画像データについて説明する。一例として図１４に示すように、撮像面４４Ａは、ＡＦ制御の対象となる像側領域であるＡＦ制御対象領域６１Ｃを有する。ＡＦ制御対象領域６１Ｃは、コンティニュアスＡＦモードにおいて、被写体のうちのＡＦ制御の対象として指定されて追従される一部の物体側領域に対応している。ＡＦ制御対象領域６１Ｃは、受付デバイス４３Ａ（図２参照）によって受け付けられた指示に従って指定された領域であってもよいし、いわゆる顔検出機能によって顔領域として特定された領域であってもよい。

【0128】

第Ｎ解析用画像データは、第１読出回路６２Ａ１によってアナログ非位相差画像データ６９Ａ２が読み出されることで得られたデジタル非位相差画像データ６９Ｂ２のうち、合焦状態領域に対応するデジタル非位相差画像データ６９Ｂ２である。合焦状態領域は、本開示の技術に係る「合焦状態とされた領域」の一例である。合焦状態領域とは、ＡＦ制御対象領域６１Ｃ内の感光画素群のうちの合焦状態とされた像側領域、すなわち、コンティニュアスＡＦモード下で合焦状態が継続的に保持されている像側領域を指す。合焦状態領域は、デジタル非位相差画像データ６９Ｂ２と同一フレームで得られたデジタル位相差画像データ６９Ｂ１が制御回路６２Ｄによって解析されることで特定される。

【0129】

一例として図１５に示すように、制御回路６２Ｄは、処理部７０、第１出力部７２、第２出力部７４、及び補正制御部７６を備えている。処理部７０は、本開示の技術に係る「処理部（処理回路）」の一例であり、第１出力部７２は、本開示の技術に係る「第１出力部（第１出力回路）」の一例であり、第２出力部７４は、本開示の技術に係る「第２出力部」の一例であり、補正制御部７６は、本開示の技術に係る「補正制御部（補正制御回路）」の一例である。

【0130】

処理部７０は、画像データ６９に対して処理を行う。処理部７０は、実用画像データ生成部７８、第１解析部８０Ａ１、第２解析部８０Ａ２、及び第３解析部８０Ａ３を有する。実用画像データ生成部７８は、第１出力部７２に接続されている。第１解析部８０Ａ１、第２解析部８０Ａ２、及び第３解析部８０Ａ３は、第２出力部７４に接続されている。第２出力部７４は、補正制御部７６に接続されている。なお、以下では、説明の便宜上、第１解析部８０Ａ１、第２解析部８０Ａ２、及び第３解析部８０Ａ３を区別して説明する必要がない場合、「第Ｎ解析部８０Ａ」と称する

【0131】

実用画像データ生成部７８は、メモリ６４から、信号処理用画像データ６９Ｂ２ａと、信号処理用画像データ６９Ｂ２ａに対応付けられたデジタル位相差画像データ６９Ｂ１とを取得する。実用画像データ生成部７８は、メモリ６４から取得した信号処理用画像データ６９Ｂ２ａに対して信号処理を行うことで実用画像データを生成する。実用画像データとは、例えば、静止画像を示す静止画像データ、又は、ライブビュー画像を示すライブビュー画像データを指す。本開示の技術に係る第１実施形態では、静止画像データとライブビュー画像データとが受付デバイス４３Ａによって受け付けられた指示に従って選択的に切り替えられる。なお、ここでは、実用画像データとして、静止画像データとライブビュー画像データとを採用しているが、本開示の技術はこれに限らず、実用画像データは、記録用動画を示す記録用動画データであってもよい。

【0132】

第１出力部７２は、実用画像データ生成部７８によって生成された実用画像データと、実用画像データに対応するデジタル位相差画像データ６９Ｂ１とを取得し、取得した実用画像データ及びデジタル位相差画像データ６９Ｂ１を出力フレームレートで出力する。

【0133】

第Ｎ解析部８０Ａは、メモリ６４から、第Ｎ解析用画像データを取得し、取得した第Ｎ解析用画像データを用いることで、ぶれ度合い情報を導出する。ぶれ度合い情報とは、第Ｎ解析用画像データにより示される画像である第Ｎ解析用画像に含まれるぶれの度合いを示す情報を指す。ぶれの度合いは、換言すると、光学式ぶれ補正部２９によってぶれの補正の効果を示す指標である。

【0134】

第１解析部８０Ａ１は、メモリ６４から、第１解析用画像データ６９Ｂ２ｂと、第１解析用画像データに対応するデジタル位相差画像データ６９Ｂ１とを取得する。詳しくは後述するが、第１解析部８０Ａ１は、メモリ６４から取得した第１解析用画像データ６９Ｂ２ｂ及びデジタル位相差画像データ６９Ｂ１を解析することで、ぶれ度合い情報を導出する。第１解析部８０Ａ１によって導出されるぶれ度合い情報は、第１解析用画像に含まれるぶれの度合いを示す情報である。第１解析部８０Ａ１によって導出されるぶれ度合い情報は、基準出力レベルのずれ量に相当し、例えば、光学式ぶれ補正部２９によって補正されずに第１解析用画像内に残存するぶれ量に相当する画素数で表現される。

【0135】

第２解析部８０Ａ２は、メモリ６４から、第２解析用画像データ６９Ｂ２ｃと、第２解析用画像データに対応するデジタル位相差画像データ６９Ｂ１とを取得する。詳しくは後述するが、第２解析部８０Ａ２は、メモリ６４から取得した第２解析用画像データ６９Ｂ２ｃ及びデジタル位相差画像データ６９Ｂ１を解析することで、ぶれ度合い情報を導出する。第２解析部８０Ａ２によって導出されるぶれ度合い情報は、第２解析用画像に含まれるぶれの度合いを示す情報である。第２解析部８０Ａ２によって導出されるぶれ度合い情報は、基準出力レベルのずれ量に相当し、例えば、光学式ぶれ補正部２９によって補正されずに第２解析用画像内に残存するぶれ量に相当する画素数で表現される。

【0136】

第３解析部８０Ａ３は、メモリ６４から、第３解析用画像データ６９Ｂ２ｄと、第３解析用画像データに対応するデジタル位相差画像データ６９Ｂ１とを取得する。詳しくは後述するが、第３解析部８０Ａ３は、メモリ６４から取得した第３解析用画像データ６９Ｂ２ｄ及びデジタル位相差画像データ６９Ｂ１を解析することで、ぶれ度合い情報を導出する。第３解析部８０Ａ３によって導出されるぶれ度合い情報は、第３解析用画像に含まれるぶれの度合いを示す情報である。第３解析部８０Ａ３によって導出されるぶれ度合い情報は、基準出力レベルのずれ量に相当し、例えば、光学式ぶれ補正部２９によって補正されずに第３解析用画像内に残存するぶれ量に相当する画素数で表現される。

【0137】

第２出力部７４は、第Ｎ解析部８０Ａによって導出されたぶれ度合い情報を第Ｎ解析部８０Ａから取得し、取得したぶれ度合い情報を出力フレームレートと同じレートで補正制御部７６に出力する。

【0138】

一例として図１６に示すように、実用画像データとして採用される静止画像データにより示される静止画像と、実用画像データとして採用されるライブビュー画像データにより示されるライブビュー画像とを比較すると、全体の画素数が異なる。すなわち、静止画像は最大解像度、すなわち、フル解像度の画像であるのに対し、ライブビュー画像は、静止画像よりも解像度が低い画像である。図１６に示す例において、静止画像では、画素が間引きされていないのに対し、ライブビュー画像では、行方向及び列方向の各々に対して画素が周期的に間引きされている。

【0139】

一例として図１７に示すように、第Ｎ解析部８０Ａは、メモリ６４から最新の第Ｎ解析用画像データを取得する。メモリ６４から取得される第Ｎ解析用画像データは、１フレーム分のデジタル非位相差画像データ６９Ｂ２のうちの最高解像度（フル解像度）の部分画像データである。部分画像データとは、１フレーム分のデジタル非位相差画像データ６９Ｂ２のうち、ＡＦ制御対象領域６１Ｃ内の合焦状態領域に対応するデジタル非位相差画像データ６９Ｂ２を指す。

【0140】

第Ｎ解析部８０Ａは、記憶領域８１を有する。記憶領域８１には、メモリ６４から取得された第Ｎ解析用画像データがＦＩＦＯ方式で記憶され、時間的に隣接する一対の第Ｎ解析用画像データ（以下、単に「一対の第Ｎ解析用画像データ」とも称する）が記憶される。すなわち、メモリ６４から第Ｎ解析用画像データが第Ｎ解析部８０Ａによって取得される毎に、取得された第Ｎ解析用画像データがＦＩＦＯ方式で記憶領域８１に記憶され、記憶領域８１内の前回の第Ｎ解析用画像データと最新の第Ｎ解析用画像データとが更新される。

【0141】

第Ｎ解析部８０Ａは、記憶領域８１内の記憶内容が更新される毎に、記憶領域８１内の一対の第Ｎ解析用画像データを比較し、比較結果からぶれ度合い情報を導出する。すなわち、第Ｎ解析部８０Ａは、記憶領域８１内の一対の第Ｎ解析用画像データを比較することで、最新の第Ｎ解析用画像データ内に残存するぶれ量に相当する画素数を特定し、特定した画素数をぶれ度合い情報として決定する。

【0142】

一例として図１８に示すように、第２出力部７４は、第Ｎ解析部８０Ａからぶれ度合い情報を取得し、取得したぶれ度合い情報を出力フレームレートと同じレートで補正制御部７６に出力する。一方、第１出力部７２は、実用画像データ生成部７８からフレーム毎に実用画像データ及びデジタル位相差画像データ６９Ｂ１を取得し、取得した実用画像データ及びデジタル位相差画像データ６９Ｂ１を出力フレームレートで信号処理回路３０に出力する。

【0143】

実用画像データは、信号処理回路３０によって各種の信号処理が施された後、信号処理回路３０によってデジタル位相差画像データ６９Ｂ１と共にＣＰＵ３５に出力される。ＣＰＵ３５は、信号処理回路３０から入力されたデジタル位相差画像データ６９Ｂ１に従ってコンティニュアスＡＦ制御を行う。また、ＣＰＵ３５は、信号処理回路３０から入力された実用画像データに基づく各種処理を行う。例えば、ＣＰＵ３５は、実用画像データが静止画像データであれば、静止画像データを、外部Ｉ／Ｆ４６を介して既定の記憶装置に記憶したり、ディスプレイ４３Ｂに対して静止画像を表示させたりする。また、ＣＰＵ３５は、実用画像データがライブビュー画像データであれば、ディスプレイ４３Ｂに対してライブビュー画像を表示させる。

【0144】

補正制御部７６は、光学式ぶれ補正部２９に対してぶれを補正させる制御を、振動データと基準出力テーブル６２Ｃ１内の使用基準出力レベルとを用いて行う。

【0145】

また、補正制御部７６は、基準出力テーブル６２Ｃ１の更新を行う。基準出力テーブル６２Ｃ１の更新のために、補正制御部７６は、温度データ及びぶれ度合い情報を取得する。つまり、補正制御部７６は、ＣＰＵ３５から温度データを取得し、第２出力部７４からぶれ度合い情報を取得する。そして、補正制御部７６は、温度データ及びぶれ度合い情報に基づいて、基準出力テーブル６２Ｃ１（図１１参照）の更新が必要か否かを判定し、更新が必要と判定した場合に基準出力テーブル６２Ｃ１を更新する。

【0146】

この場合、先ず、補正制御部７６は、温度データにより示される温度に対応する基準出力レベルを基準出力テーブル６２Ｃ１から取得する。ここで、温度データにより示される温度に対応する基準出力レベルが基準出力テーブル６２Ｃ１に存在しない場合、補正制御部７６は、線形補間法（例えば、内挿法）を用いることで、温度データにより示される温度に対応する基準出力レベルを算出する。図１９に示す例では、基準出力テーブル６２Ｃ１に存在しない温度（以下、「不存在温度」と称する）が２３．２５℃の場合の基準出力レベルとして、既定温度と既定温度についての基準出力レベルとから、線形補間法によって“５０６．２”が算出されている。ここで言う「既存温度」とは、基準出力テーブル６２Ｃ１内で既定されている温度を指す。図１９に示す例では、既定温度として、２３．０℃及び２３．５℃が示されており、既定温度についての基準出力レベルとして、２３．０℃についての基準出力レベルの“５０６”と、２３．５℃についての基準出力レベル“５０７”とが示されている。

【0147】

次に、補正制御部７６は、基準出力テーブル６２Ｃ１から取得した基準出力レベルと、第２出力部７４から取得したぶれ度合い情報と、温度データにより示される温度とに基づいて変更基準出力レベルを算出する。変更基準出力レベルは、例えば、基準出力レベル、ぶれ度合い情報、温度、及び変更基準出力レベル制限値が独立変数とされ、変更基準出力レベルが従属変数とされた既定の演算式を用いることで算出される。また、ここで、変更基準出力レベル制限値とは、基準出力レベルの変更量を、間引き画素数（後述）内に制限する値を指す。

【0148】

基準出力レベルと、算出される変更基準出力レベルとの差分（以下、「出力レベル差分」とも称する）に相当する画素数（以下、「差分相当画素数」とも称する）が、最高解像度の画像の画素数に対するライブビュー画像の画素数の間引き画素数（以下、単に「間引き画素数」とも称する）を上回ると、差分相当画素数が間引き画素数以下の場合に比べ、ぶれが補正された後であっても、ライブビュー画像等の画像において、出力レベル差分に相当するぶれが視覚的に知覚される可能性が高まる。

【0149】

出力レベル差分は、振動センサ３２に含まれるジャイロセンサの角速度の増減として現れるので、表示されている画像は、角速度の増減分だけずれる。振動センサ３２から入力される基準出力レベルに起因して画像が何画素分ずれるかは、撮像レンズ４０に含まれる対物レンズ１５Ａ及びレンズ群１５Ｂ等の光学系（以下、単に「光学系」と称する）によって決まる。

【0150】

なお、上記の「間引き画素数」は、本開示の技術に係る「画像データの画素数の縮小の度合い」の一例である。また、ここでは、画素数の縮小の一例として、「間引き」を例示しているが、画素同士の統合等のように、間引き以外の方法によって画素数が縮小されるようにしてもよい。

【0151】

次に、補正制御部７６は、算出して得た変更基準出力レベルに従って、基準出力テーブル６２Ｃ１の更新が必要か否かを判定する。補正制御部７６は、基準出力テーブル６２Ｃ１の更新が必要と判定した場合に、基準出力テーブル６２Ｃ１を更新する。

【0152】

基準出力テーブル６２Ｃ１の更新とは、変更基準出力レベルの新規追加、及び既存の変更基準出力レベルの変更を指す。変更基準出力レベルの新規追加とは、ある温度について変更基準出力レベルが決まっていない場合の基準出力テーブル６２Ｃ１に対する変更基準出力レベルの新たな追加を指す。図１１に示す例では、２０．０℃から２２．５℃までの範囲、及び２６．５℃から２７．０℃までの範囲内の変更基準出力レベルが決まっていないので、この範囲の温度について変更基準出力レベルが算出された場合は、算出された新たな変更基準出力レベルが追加される。

【0153】

既存の変更基準出力レベルの変更とは、ある温度について既に決まっている変更基準出力レベルの変更を指す。図１１に示す例では、２３．０℃から２６．０℃までの範囲の変更基準出力レベルが決まっている。この範囲の温度について変更基準出力レベルが算出され、算出された新たな変更基準出力レベルが基準出力テーブル６２Ｃ１内の既存の変更基準出力レベルと異なる場合に、既存の変更基準出力レベルが、算出された新たな変更基準出力レベルに変更される。

【0154】

図１１に示す例において、例えば、２３．０℃の温度について補正制御部７６によって算出された変更基準出力レベルが“５１０”の場合、変更基準出力レベルの変更は不要である。しかし、２３．０℃の温度について補正制御部７６によって算出された変更基準出力レベルが“５１０”以外の値の場合、２３．０℃の温度についての変更基準出力レベルが、補正制御部７６によって算出された最新の値に変更される。これに伴って、２３．０℃の温度についての使用基準出力レベルも、更新後の変更基準出力レベルと同一の値に変更される。また、基準出力テーブル６２Ｃ１において他の温度についての変更基準出力レベルも決められている場合には、線形補間法を用いて、他の温度についての変更基準出力レベルも変更される。

【0155】

また、不存在温度について変更基準出力レベルが算出された場合、基準出力テーブル６２Ｃ１内での既存温度についての変更基準出力レベルも変更される。具体的には、不存在温度と不存在温度について算出された変更基準出力レベルとを基準にして、線形補間法によって基準出力テーブル６２Ｃ１内の変更基準出力レベルが変更される。例えば、図１９に示すように、不存在温度の２３．２５℃の変更基準出力レベルが“５１０．８”から“５１２”に変更されるのに伴って、２３．０℃の変更基準出力レベルの“５１０”が“５１１．２”に変更され、２３．５℃の変更基準出力レベルの“５１１”が“５１２．８”に変更される。これと同様の要領で、他の既存温度の変更基準出力レベルも変更される。

【0156】

また、例えば、基準出力テーブル６２Ｃ１内において変更基準出力レベルが１つも決められていない状態において、不存在温度についての変更基準出力レベルが算出された場合、不存在温度、不存在温度について算出された基準出力レベル、不存在温度について算出された変更基準出力レベル、基準出力テーブル６２Ｃ１内での不存在温度に隣接する温度（以下、「隣接温度」と称する）、及び基準出力テーブル６２Ｃ１内での隣接温度についての基準出力レベルから、線形補間法により、隣接温度についての変更基準出力レベルが算出され、算出された変更基準出力レベルが基準出力テーブル６２Ｃ１に追加される。

【0157】

一例として図２０に示すように、補正制御部７６は、ＣＰＵ３５から温度データを取得し、取得した温度データにより示される温度に対応する使用基準出力レベルを基準出力テーブル６２Ｃ１から取得する。そして、補正制御部７６は、ＣＰＵ３５から振動データを取得し、取得した振動データと使用基準出力レベルとに基づいて、ぶれ補正量を算出する。そして、補正制御部７６は、ＣＰＵ３５から位置信号を取得し、取得した位置信号とぶれ補正量とに基づいて、位置指示信号を生成し、生成した位置指示信号をＣＰＵ３５に出力する。ＣＰＵ３５は、補正制御部７６から入力された位置指示信号に従って光学式ぶれ補正部２９を制御する。すなわち、光学式ぶれ補正部２９では防振レンズ１５Ｂ２の位置が、位置指示信号により指示された位置に調整され、これにより、ぶれが補正される。

【0158】

次に、撮像装置１０の作用について説明する。

【0159】

先ず、処理回路６２によって実行される位相差画素処理について図２１を参照しながら説明する。

【0160】

図２１に示す位相差画素処理では、先ず、ステップＳＴ１０で、制御回路６２Ｄは、タイミング制御信号として垂直同期信号を受け付けたか否かを判定する。ステップＳＴ１０において、垂直同期信号を受け付けていない場合は、判定が否定されて、位相差画素処理はステップＳＴ１８へ移行する。ステップＳＴ１０において、垂直同期信号を受け付けた場合は、判定が肯定されて、位相差画素処理はステップＳＴ１２へ移行する。

【0161】

ステップＳＴ１２で、第１読出回路６２Ａ１は、１フレーム分の全ての位相差画素ライン６１Ａを対象として、位相差画素からアナログ位相差画像データ６９Ａ１を読み出し、その後、位相差画素処理はステップＳＴ１４へ移行する。

【0162】

ステップＳＴ１４で、デジタル処理回路６２Ｂは、第１読出回路６２Ａ１によって読み出されたアナログ位相差画像データ６９Ａ１に対してデジタル信号処理を施すことでアナログ位相差画像データ６９Ａ１をデジタル位相差画像データ６９Ｂ１に変換する。

【0163】

次のステップＳＴ１６で、制御回路６２Ｄは、デジタル処理回路６２Ｂからデジタル位相差画像データ６９Ｂ１を取得し、取得したデジタル位相差画像データ６９Ｂ１をメモリ６４に記憶し、その後、位相差画素処理はステップＳＴ１８へ移行する。

【0164】

ステップＳＴ１８で、制御回路６２Ｄは、位相差画素処理を終了する条件（以下、「位相差画素処理終了条件」と称する）を満足したか否かを判定する。位相差画素処理終了条件としては、例えば、位相差画素処理を終了させる指示が受付デバイス４３Ａ（図２参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ１８において、位相差画素処理終了条件を満足していない場合は、判定が否定されて、位相差画素処理はステップＳＴ１０へ移行する。ステップＳＴ１８において、位相差画素処理終了条件を満足した場合は、判定が肯定されて、位相差画素処理が終了する。

【0165】

次に、処理回路６２によって実行される非位相差画素処理について図２２を参照しながら説明する。

【0166】

図２２に示す非位相差画素処理では、先ず、ステップＳＴ３０で、第１読出回路６２Ａ１による１フレーム分のアナログ位相差画像データ６９Ａ１の読み出しが終了したか否かを判定する。ステップＳＴ３０において、第１読出回路６２Ａ１による１フレーム分のアナログ位相差画像データ６９Ａ１の読み出しが終了していない場合は、判定が否定されて、非位相差画素処理はステップＳＴ３８へ移行する。ステップＳＴ３０において、第１読出回路６２Ａ１による１フレーム分のアナログ位相差画像データ６９Ａ１の読み出しが終了した場合は、判定が肯定されて、非位相差画素処理はステップＳＴ３２へ移行する。

【0167】

ステップＳＴ３２で、第２読出回路６２Ａ２は、１フレーム分の全ての非位相差画素ライン６１Ｂを対象として、非位相差画素Ｎからアナログ非位相差画像データ６９Ａ２を読み出し、その後、非位相差画素処理はステップＳＴ３４へ移行する。

【0168】

ステップＳＴ３４で、デジタル処理回路６２Ｂは、第２読出回路６２Ａ２によって読み出されたアナログ非位相差画像データ６９Ａ２に対してデジタル信号処理を施すことでアナログ非位相差画像データ６９Ａ２をデジタル非位相差画像データ６９Ｂ２に変換する。

【0169】

次のステップＳＴ３６で、制御回路６２Ｄは、デジタル処理回路６２Ｂからデジタル非位相差画像データ６９Ｂ２を取得し、取得したデジタル非位相差画像データ６９Ｂ２をメモリ６４に記憶し、その後、非位相差画素処理はステップＳＴ３８へ移行する。

【0170】

ステップＳＴ３８で、制御回路６２Ｄは、非位相差画素処理を終了する条件（以下、「非位相差画素処理終了条件」と称する）を満足したか否かを判定する。非位相差画素処理終了条件としては、例えば、非位相差画素処理を終了させる指示が受付デバイス４３Ａ（図２参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ３８において、非位相差画素処理終了条件を満足していない場合は、判定が否定されて、非位相差画素処理はステップＳＴ３０へ移行する。ステップＳＴ３８において、非位相差画素処理終了条件を満足した場合は、判定が肯定されて、非位相差画素処理が終了する。

【0171】

次に、処理回路６２によって実行される実用画像データ生成部処理について図２３を参照しながら説明する。

【0172】

図２３に示す実用画像データ生成部処理では、先ず、ステップＳＴ５０で、実用画像データ生成部７８は、メモリ６４内のデジタル非位相差画像データ６９Ｂ２が更新されたか否かを判定する。ステップＳＴ５０において、メモリ６４内のデジタル非位相差画像データ６９Ｂ２が更新されていない場合は、判定が否定されて、実用画像データ生成部処理はステップＳＴ６０へ移行する。ステップＳＴ５０において、メモリ６４内のデジタル非位相差画像データ６９Ｂ２が更新された場合は、判定が肯定されて、実用画像データ生成部処理はステップＳＴ５２へ移行する。

【0173】

ステップＳＴ５２で、実用画像データ生成部７８は、メモリ６４から信号処理用画像データ及びデジタル位相差画像データ６９Ｂ１を取得し、その後、実用画像データ生成部処理はステップＳＴ５４へ移行する。

【0174】

ステップＳＴ５４で、実用画像データ生成部７８は、ステップＳＴ５２で取得した信号処理用画像データに対して信号処理を行うことで実用画像データを生成し、その後、実用画像データ生成部処理はステップＳＴ５６へ移行する。

【0175】

ステップＳＴ５６で、第１出力部７２は、実用画像データを出力するタイミング（実用画像データ出力タイミング）が到来したか否かを判定する。実用画像データ出力タイミングは、出力フレームレートで規定されるタイミングである。ステップＳＴ５６において、実用画像データ出力タイミングが到来していない場合は、判定が否定されて、ステップＳＴ５６の判定が再び行われる。ステップＳＴ５６において、実用画像データ出力タイミングが到来した場合は、判定が肯定されて、実用画像データ生成部処理はステップＳＴ５８へ移行する。

【0176】

ステップＳＴ５８で、第１出力部７２は、実用画像データ生成部７８から実用画像データ及びデジタル位相差画像データ６９Ｂ１を取得し、取得した実用画像データ及びデジタル位相差画像データ６９Ｂ１を信号処理回路３０に出力する。

【0177】

信号処理回路３０では、撮像素子４４から入力された実用画像データに対して各種の信号処理が行われ、各種の信号処理が行われた実用画像データがＣＰＵ３５に出力される。ＣＰＵ３５は、実用画像データにより示される画像をディスプレイ４３Ｂに対して表示させたり、実用画像データを外部Ｉ／Ｆ４６を介して既定の記憶装置に記憶したりする。また、デジタル位相差画像データ６９Ｂ１も、信号処理回路３０によってＣＰＵ３５に出力され、デジタル位相差画像データ６９Ｂ１はＣＰＵ３５によってＡＦ制御に供される。

【0178】

次のステップＳＴ６０で、制御回路６２Ｄは、実用画像データ生成部処理を終了する条件（以下、「実用画像データ生成部処理終了条件」と称する）を満足したか否かを判定する。実用画像データ生成部処理終了条件としては、例えば、実用画像データ生成部処理を終了させる指示が受付デバイス４３Ａ（図２参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ６０において、実用画像データ生成部処理終了条件を満足していない場合は、判定が否定されて、実用画像データ生成部処理はステップＳＴ５０へ移行する。ステップＳＴ６０において、実用画像データ生成部処理終了条件を満足した場合は、判定が肯定されて、実用画像データ生成部処理が終了する。

【0179】

次に、処理回路６２によって実行される第Ｎ解析用画像データ取得処理について図２４を参照しながら説明する。

【0180】

図２４に示す第Ｎ解析用画像データ取得処理では、先ず、ステップＳＴ８０で、制御回路６２Ｄは、メモリ６４内のデジタル非位相差画像データ６９Ｂ２が更新されたか否かを判定する。ステップＳＴ８０において、メモリ６４内のデジタル非位相差画像データ６９Ｂ２が更新されていない場合は、判定が否定されて、第Ｎ解析用画像データ取得処理はステップＳＴ８８へ移行する。ステップＳＴ８０において、メモリ６４内のデジタル非位相差画像データ６９Ｂ２が更新された場合は、判定が肯定されて、第Ｎ解析用画像データ取得処理はステップＳＴ８２へ移行する。

【0181】

ステップＳＴ８２で、制御回路６２Ｄは、メモリ６４からデジタル位相差画像データ６９Ｂ１を取得し、取得したデジタル位相差画像データ６９Ｂ１に基づいて、合焦状態領域を特定し、その後、第Ｎ解析用画像データ取得処理はステップＳＴ８４へ移行する。

【0182】

ステップＳＴ８４で、制御回路６２Ｄは、ステップＳＴ８２で取得したデジタル位相差画像データ６９Ｂ１と同一フレームのデジタル非位相差画像データ６９Ｂ２をメモリ６４から取得する。そして、制御回路６２Ｄは、メモリ６４から取得したデジタル非位相差画像データ６９Ｂ２のうち、ステップＳＴ８２で特定した合焦状態領域に対応するデジタル非位相差画像データ６９Ｂ２を第Ｎ解析用画像データとして取得し、その後、第Ｎ解析用画像データ取得処理はステップＳＴ８６へ移行する。

【0183】

ステップＳＴ８６で、制御回路６２Ｄは、ステップＳＴ８４で取得した第Ｎ解析用画像データをメモリ６４に記憶し、その後、第Ｎ解析用画像データ取得処理はステップＳＴ８８へ移行する。

【0184】

ステップＳＴ８８で、制御回路６２Ｄは、第Ｎ解析用画像データ取得処理を終了する条件（以下、「第Ｎ解析用画像データ取得処理終了条件」と称する）を満足したか否かを判定する。第Ｎ解析用画像データ取得処理終了条件としては、例えば、第Ｎ解析用画像データ取得処理を終了させる指示が受付デバイス４３Ａ（図２参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ８８において、第Ｎ解析用画像データ取得処理終了条件を満足していない場合は、判定が否定されて、第Ｎ解析用画像データ取得処理はステップＳＴ８０へ移行する。ステップＳＴ８８において、第Ｎ解析用画像データ取得処理終了条件を満足した場合は、判定が肯定されて、第Ｎ解析用画像データ取得処理が終了する。

【0185】

次に、処理回路６２によって実行される第Ｎ解析部処理について図２５を参照しながら説明する。

【0186】

図２５に示す第Ｎ解析部処理では、先ず、ステップＳＴ９０で、第Ｎ解析部８０Ａは、図２４に示すステップＳＴ８６の処理が実行されることによってメモリ６４内の第Ｎ解析用画像データが更新されたか否かを判定する。ステップＳＴ９０において、メモリ６４内の第Ｎ解析用画像データが更新されていない場合は、判定が否定されて、第Ｎ解析部処理はステップＳＴ１０４へ移行する。ステップＳＴ９０において、メモリ６４内の第Ｎ解析用画像データが更新された場合は、判定が肯定されて、第Ｎ解析部処理はステップＳＴ９２へ移行する。

【0187】

ステップＳＴ９２で、第Ｎ解析部８０Ａは、メモリ６４から第Ｎ解析用画像データを取得し、取得した第Ｎ解析用画像データを記憶領域８１にＦＩＦＯ方式で記憶し、その後、第Ｎ解析部処理はステップＳＴ９４へ移行する。

【0188】

ステップＳＴ９４で、第Ｎ解析部８０Ａは、記憶領域８１に一対の第Ｎ解析用画像データが記憶されているか否かを判定する。ステップＳＴ９４において、記憶領域８１に一対の第Ｎ解析用画像データが記憶されていない場合は、判定が否定されて、第Ｎ解析部処理はステップＳＴ１０４へ移行する。ステップＳＴ９４において、記憶領域８１に一対の第Ｎ解析用画像データが記憶された場合は、判定が肯定されて、第Ｎ解析部処理はステップＳＴ９６へ移行する。

【0189】

ステップＳＴ９６で、第Ｎ解析部８０Ａは、一対の第Ｎ解析用画像データを比較し、その後、第Ｎ解析部処理はステップＳＴ９８へ移行する。

【0190】

ステップＳＴ９８で、第Ｎ解析部８０Ａは、ステップＳＴ９６での一対の第Ｎ解析用画像データの比較結果からぶれ度合い情報を導出し、その後、第Ｎ解析部処理はステップＳＴ１００へ移行する。

【0191】

ステップＳＴ１００で、第２出力部７４は、ぶれ度合い情報を出力するタイミング（ぶれ度合い情報出力タイミング）が到来したか否かを判定する。ぶれ度合い情報出力タイミングは、出力フレームレートと同じレートで規定されるタイミングである。ステップＳＴ１００において、ぶれ度合い情報出力タイミングが到来していない場合は、判定が否定されて、ステップＳＴ１００の判定が再び行われる。ステップＳＴ１００において、ぶれ度合い情報出力タイミングが到来した場合は、判定が肯定されて、第Ｎ解析部処理はステップＳＴ１０２へ移行する。

【0192】

ステップＳＴ１０２で、第２出力部７４は、ステップＳＴ９８で導出されたぶれ度合い情報を取得し、取得したぶれ度合い情報を補正制御部７６に出力し、その後、第Ｎ解析部処理はステップＳＴ１０４へ移行する。

【0193】

ステップＳＴ１０４で、制御回路６２Ｄは、第Ｎ解析部処理を終了する条件（以下、「第Ｎ解析部処理終了条件」と称する）を満足したか否かを判定する。第Ｎ解析部処理終了条件としては、例えば、第Ｎ解析部処理を終了させる指示が受付デバイス４３Ａ（図２参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ１０４において、第Ｎ解析部処理終了条件を満足していない場合は、判定が否定されて、第Ｎ解析部処理はステップＳＴ９０へ移行する。ステップＳＴ１０４において、第Ｎ解析部処理終了条件を満足した場合は、判定が肯定されて、第Ｎ解析部処理が終了する。

【0194】

次に、処理回路６２によって実行される補正制御部処理について図２６を参照しながら説明する。なお、ここでは、説明の便宜上、基準出力テーブル６２Ｃ１内の変更基準出力レベルが決まっていない（存在していない）ことを前提として説明する。

【0195】

図２６に示す補正制御部処理では、先ず、ステップＳＴ１２０で、補正制御部７６は、第２出力部７４から出力されたぶれ度合い情報を受け付けたか否かを判定する。ステップＳＴ１２０において、第２出力部７４から出力されたぶれ度合い情報を受け付けていない場合は、判定が否定されて、補正制御部処理はステップＳＴ１３６へ移行する。ステップＳＴ１２０において、第２出力部７４から出力されたぶれ度合い情報を受け付けた場合は判定が肯定されて、補正制御部処理はステップＳＴ１２２へ移行する。

【0196】

ステップＳＴ１２２で、補正制御部７６は、温度センサ３４で測定された最新の温度データをＣＰＵ３５から取得し、その後、補正制御部処理はステップＳＴ１２３に移行する。

【0197】

ステップＳＴ１２３で、補正制御部７６は、基準出力テーブル６２Ｃ１から、ステップＳＴ１２２で取得した温度データにより示される温度である現在温度の基準出力レベルを特定し、その後、補正制御部処理はステップＳＴ１２４へ移行する。

【0198】

ステップＳＴ１２４で、補正制御部７６は、ステップＳＴ１２０で受け付けたぶれ度合い情報を用いて、ステップＳＴ１２３で特定した基準出力レベルの変更量を算出し、その後、補正制御部処理はステップＳＴ１２６へ移行する。

【0199】

ステップＳＴ１２６で、補正制御部７６は、ステップＳＴ１２４で算出した変更量に従って基準出力レベルを変更することで変更基準出力レベルを生成する。これにより、上述したように基準出力テーブル６２Ｃ１が更新される。なお、本ステップＳＴ１２６で生成された変更基準出力レベルは使用基準出力レベルとして採用される。

【0200】

次のステップＳＴ１２６で、補正制御部７６は、ステップＳＴ１２６で更新された基準出力テーブル６２Ｃ１から、現在温度に対応する使用基準出力レベルを取得し、その後、補正制御部処理はステップＳＴ１３０へ移行する。

【0201】

ステップＳＴ１３０で、補正制御部７６は、ＣＰＵ３５から振動データ及び位置信号を取得し、その後、補正制御部処理はステップＳＴ１３２へ移行する。

【0202】

ステップＳＴ１３２で、補正制御部７６は、ステップＳＴ１２８で取得した使用基準出力レベル、ステップＳＴ１３０で取得した振動データ、及びステップＳＴ１３０で取得した位置信号を用いて位置指示信号を生成し、その後、補正制御部処理はステップＳＴ１３４へ移行する。

【0203】

ステップＳＴ１３４で、補正制御部７６は、ステップＳＴ１３２で生成した位置指示信号をＣＰＵ３５に出力し、その後、補正制御部処理はステップＳＴ１３６へ移行する。

【0204】

ステップＳＴ１３６で、制御回路６２Ｄは、補正制御部処理を終了する条件（以下、「補正制御部処理終了条件」と称する）を満足したか否かを判定する。補正制御部処理終了条件としては、例えば、補正制御部処理を終了させる指示が受付デバイス４３Ａ（図２参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ１３６において、補正制御部処理終了条件を満足していない場合は、判定が否定されて、補正制御部処理はステップＳＴ１２０へ移行する。ステップＳＴ１３６において、補正制御部処理終了条件を満足した場合は、判定が肯定されて、補正制御部処理が終了する。

【0205】

補正制御部処理に含まれるステップＳＴ１２６で基準出力レベルが変更される毎に、ステップＳＴ１２８～ステップＳＴ１３４の処理が実行されることで、変更後の基準出力レベル、すなわち、変更基準出力レベルが光学式ぶれ補正部２９によるぶれの補正に反映される。これにより、周期的に定められたフレーム毎に変更後の基準出力レベルである変更基準出力レベルが光学式ぶれ補正部２９によるぶれの補正に反映され、ぶれの補正後に得られた第Ｎ解析用画像データが図２５に示す第Ｎ解析部処理のステップＳＴ９２で第Ｎ解析部８０Ａによって取得されて用いられる。

【0206】

すなわち、第１解析用画像データ６９Ｂ２ｂ、第２解析用画像データ６９Ｂ２ｃ、及び第３解析用画像データ６９Ｂ２ｄは、周期的に定められたフレーム毎の画像データであり、これらの画像データの各々に対して、変更後の基準出力レベルである変更基準出力レベルが光学式ぶれ補正部２９によるぶれの補正に反映される。そして、フレーム毎に変更基準出力レベルが光学式ぶれ補正部２９によるぶれの補正に反映され、ぶれの補正後に得られた第１解析用画像データ６９Ｂ２ｂが第１解析部８０Ａ１によってぶれ度合い情報の導出に用いられる。また、フレーム毎に変更後の基準出力レベルである変更基準出力レベルが光学式ぶれ補正部２９によるぶれの補正に反映され、ぶれの補正後に得られた第２解析用画像データ６９Ｂ２ｃが第２解析部８０Ａ２によってぶれ度合い情報の導出に用いられる。更に、フレーム毎に変更後の基準出力レベルである変更基準出力レベルが光学式ぶれ補正部２９によるぶれの補正に反映され、ぶれの補正後に得られた第３解析用画像データ６９Ｂ２ｄが第３解析部８０Ａ３によってぶれ度合い情報の導出に用いられる。なお、ここでは、基準出力テーブル６２Ｃ１内の変更基準出力レベルが決まっていないことを前提として説明したが、変更基準出力レベルが決まっている場合であっても、更新後の変更基準出力レベルが光学式ぶれ補正部２９によるぶれの補正に反映されるようにすればよい。

【0207】

このように、変更後の基準出力レベルが光学式ぶれ補正部２９によるぶれの補正に反映されることにより、第１解析部８０Ａ１では、光学式ぶれ補正部２９によってぶれが補正された第１解析用画像データ６９Ｂ２ｂに基づいてぶれ度合い情報が導出される。また、第２解析部８０Ａ２では、光学式ぶれ補正部２９によってぶれが補正された第２解析用画像データ６９Ｂ２ｃに基づいてぶれ度合い情報が導出される。更に、第３解析部８０Ａ３では、光学式ぶれ補正部２９によってぶれが補正された第３解析用画像データ６９Ｂ２ｄに基づいてぶれ度合い情報が導出される。

【0208】

以上説明したように、撮像装置１０では、実用画像データが第１出力部７２によって出力フレームレートで出力される。また、第Ｎ解析部８０Ａによって第Ｎ解析用画像データに基づいてぶれ度合い情報が導出され、第２出力部７４によってぶれ度合い情報が出力フレームレートと同じレートで出力される。つまり、実用画像データが出力される周期とぶれ度合い情報が出力される周期との間に差異はない。従って、出力フレームレートで規定される周期よりも長い時間間隔でぶれ度合い情報が出力される場合に比べ、実用画像データの出力に対するぶれ度合い情報の出力のリアルタイム性を向上させることができる。

【0209】

また、撮像装置１０では、第Ｎ解析用画像データの解像度として、最高解像度が採用されている。従って、第Ｎ解析部８０Ａで解析される第Ｎ解析用画像データの解像度が最高解像度未満の場合に比べ、高精度なぶれ度合い情報を導出することができる。

【0210】

また、撮像装置１０において、第Ｎ解析用画像データは、デジタル非位相差画像データ６９Ｂ２のうちの一部の画像を示す部分画像データである。従って、デジタル非位相差画像データ６９Ｂ２の全画素分の画像データが第Ｎ解析部８０Ａで解析される場合に比べ、第Ｎ解析部８０Ａでの解析にかかる処理負荷を軽減することができる。

【0211】

また、撮像装置１０において、第Ｎ解析用画像データは、デジタル非位相差画像データ６９Ｂ２のうちの合焦状態領域に対応するデジタル非位相差画像データ６９Ｂ２である。従って、非合焦状態の像側領域に対応するデジタル非位相差画像データ６９Ｂ２が第Ｎ解析部８０Ａで解析される場合に比べ、高精度なぶれ度合い情報を導出することができる。

【0212】

また、撮像装置１０において、合焦状態領域は、デジタル非位相差画像データ６９Ｂ２と同一フレームで得られたデジタル位相差画像データ６９Ｂ１が制御回路６２Ｄによって解析されることで特定される。従って、デジタル非位相差画像データ６９Ｂ２が解析されてぶれ度合い情報が導出される場合に比べ、ぶれ度合い情報の導出の高速化を図ることができる。

【0213】

また、撮像装置１０において、処理部７０では、撮像フレームレートで撮像されることで得られた時系列データに基づいて実用画像データが生成され、ぶれ度合い情報が導出される。従って、実用画像データの生成とぶれ度合い情報の導出とを並行して行うことができる。

【0214】

また、撮像装置１０において、実用画像データは第１出力部７２によって出力され、第Ｎ解析用画像データは第Ｎ解析部８０Ａによってぶれ度合い情報の導出に用いられる。従って、第１出力部７２を用いずに第Ｎ解析部８０Ａのみで実用画像データの出力とぶれ度合い情報の導出とが行われる場合に比べ、第１出力部７２による実用画像データの出力に対するぶれ度合い情報の導出のリアルタイム性を向上させることができる。

【0215】

また、撮像装置１０では、第Ｎ解析部８０Ａにより、第Ｎ解析用画像データに基づいて、周期的に定められたフレーム毎（６０ｆｐｓで規定された周期のフレーム毎）にぶれ度合い情報が導出される。従って、単一のフレームのみについてぶれ度合い情報が導出される場合に比べ、多くのぶれ度合い情報を導出することができる。

【0216】

また、撮像装置１０において、時系列データのフレーム間の時間間隔は撮像フレームレート（２４０ｆｐｓ）で規定される周期と同じである。そして、実用画像データは、第１出力部７２によって出力フレームレート（６０ｆｐｓ）で出力される。また、第１解析用画像データのフレーム間の時間間隔は、出力フレームレートで規定される周期と同じであり、第２解析用画像データのフレーム間の時間間隔も、出力フレームレートで規定される周期と同じであり、第３解析用画像データのフレーム間の時間間隔も、出力フレームレートで規定される周期と同じである。従って、第１解析用画像データのフレーム間の時間間隔が、出力フレームレートで規定される周期よりも長い時間間隔である場合に比べ、実用画像データの出力フレームレートとして必要なフレームレートを確保しながら、第Ｎ解析用画像データの取得頻度を上げることができる。

【0217】

また、撮像装置１０では、撮像素子４４に内蔵されている補正制御部７６によって、ぶれ度合い情報に応じて基準出力レベルが変更される。そして、光学式ぶれ補正部２９に対してぶれを補正させる制御が、補正制御部７６によって、振動データと変更後の基準出力レベルとに基づいて行われる。従って、基準出力レベルが固定されている場合に比べ、ぶれの補正精度を高めることができる。

【0218】

また、撮像装置１０では、基準出力レベルの変更量が、間引き画素数を上限とした範囲内に制限されている。これにより、基準出力レベルが無制限に変更される場合に比べ、基準出力レベルの変更が視覚的に知覚されることを抑制することができる。

【0219】

また、撮像装置１０において、第１解析用画像データ６９Ｂ２ｂ、第２解析用画像データ６９Ｂ２ｃ、及び第３解析用画像データ６９Ｂ２ｄの各々は、基準出力レベルが変更される毎に、変更後の基準出力レベルが光学式ぶれ補正部２９によるぶれの補正に反映されることで得られた画像データである。従って、固定化された基準出力レベルが光学式ぶれ補正部２９によるぶれの補正に反映されることで得られた画像データを解析してぶれ度合い情報を導出する場合に比べ、高精度なぶれ度合い情報を導出することができる。

【0220】

また、撮像装置１０では、光学式ぶれ補正部２９によってぶれが光学的に補正される。従って、ＥＩＳを用いる場合に比べ、画像処理にかかる負荷を軽減することができる。

【0221】

また、撮像装置１０において、撮像素子４４は、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子である。これにより、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、撮像素子４４の可搬性が高くなる。また、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、設計の自由度も高めることができる。更に、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、撮像装置本体１２の小型化にも寄与することができる。

【0222】

また、撮像装置１０では、撮像素子４４として、光電変換素子６１にメモリ６４が積層された積層型撮像素子が採用されている。これにより、光電変換素子６１とメモリ１１２とを接続する配線を短くすることができるため、配線遅延を減らすことができ、この結果、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、光電変換素子６１からメモリ６４への画像データ６９の転送速度を高めることができる。転送速度の向上は、処理回路６２全体での処理の高速化にも寄与する。また、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、設計の自由度も高めることができる。更に、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、撮像装置本体１２の小型化にも寄与することができる。

【0223】

更に、撮像装置１０では、実用画像データに基づくライブビュー画像等がディスプレイ４３Ｂに表示される。また、実用画像データが既定の記憶装置に記憶される。従って、実用画像データの汎用性を高めることができる。

【0224】

なお、上記第１実施形態では、撮像素子４４として、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子を例示したが、本開示の技術はこれに限定されない。例えば、光電変換素子６１、処理回路６２、及びメモリ６４のうち、少なくとも光電変換素子６１及びメモリ６４が１チップ化されていればよい。

【0225】

また、上記第１実施形態では、第Ｎ解析用画像データの解像度として最高解像度が採用されているが、本開示の技術はこれに限定されない。例えば、第Ｎ解析用画像データの解像度は、第１出力部７２によって出力される実用画像データの解像度よりも高い解像度であってもよい。この場合、第Ｎ解析用画像データの解像度が第１出力部７２によって出力される実用画像データの解像度以下の解像度の場合に比べ、高精度なぶれ度合い情報を導出することができる。

【0226】

また、上記第１実施形態では、コンティニュアスＡＦモードによって合焦状態が継続的に保持されている形態例を挙げて説明したが、通常ＡＦモードの場合であっても本開示の技術は成立する。また、非合焦状態で得られたデジタル非位相差画像データ６９Ｂ２を用いることでぶれ度合い情報が導出されるようにしてもよい。

【0227】

また、上記第１実施形態では、実用画像データ生成部７８及び第Ｎ解析部８０Ａの各々に入力される画像データは、異なるフレームの画像データとされているが、本開示の技術はこれに限定されず、同一フレームの画像データが実用画像データ生成部７８及び第Ｎ解析部８０Ａの各々で用いられるようにしてもよい。

【0228】

また、上記第１実施形態では、出力フレームレートと同じレートでぶれ度合い情報が出力される形態例を挙げて説明したが、出力フレームレートよりも高いレート、すなわち、出力フレームレートで規定される周期よりも短い周期でぶれ度合い情報が出力されるようにしてもよい。

【0229】

また、上記第１実施形態では、信号処理用画像データのフレーム間の時間間隔、及び第Ｎ解析用画像データのフレーム間の時間間隔の各々は、出力フレームレートで規定される周期と同じであるが、本開示の技術はこれに限定されない。例えば、信号処理用画像データのフレーム間の時間間隔、及び第Ｎ解析用画像データのフレーム間の時間間隔の各々は、撮像フレームレートで規定される周期よりも長く、かつ、出力フレームレートで規定される周期未満の時間間隔であってもよい。

【0230】

また、上記実施形態では、信号処理用画像データが３フレーム飛ばしで実用画像データ生成部７８に入力され、信号処理用画像データ間の３フレーム分の画像データが第Ｎ解析用画像データとして第Ｎ解析部８０Ａに入力される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、実用画像データ生成部７８による信号処理用画像データの取得と、第Ｎ解析部８０Ａによる第Ｎ解析用画像データの取得とが１フレーム毎に交互に行われるようにしてもよい。

【0231】

また、上記第１実施形態では、第１解析用画像データ６９Ｂ２ｂ、第２解析用画像データ６９Ｂ２ｃ、及び第３解析用画像データ６９Ｂ２ｄという３つの解析用画像データを例示したが、本開示の技術はこれに限定されない。例えば、撮像フレームレートと出力フレームレートの差に応じて解析用画像データの個数を変更してもよい。例えば、撮像フレームレートが３００ｆｐｓで、かつ、出力フレームレートが６０ｆｐｓの場合に、４つの解析用画像データ（第１～第４解析用画像データ）としてもよい。

【0232】

また、上記第１実施形態では、デジタル位相差画像データ６９Ｂ１に基づいて合焦状態領域が特定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像装置１０にコントラストＡＦ機能が搭載されている場合、ＣＰＵ３５から合焦状態領域の位置を特定する合焦状態領域特定情報が制御回路６２Ｄに送信され、制御回路６２Ｄが合焦状態領域特定情報に従って合焦状態領域を特定するようにしてもよい。

【0233】

また、上記第１実施形態では、ライブビュー画像として画素を間引いて得た間引き画像を例示したが、データ量を低減する方法はこれに限定されず、画像処理によって画素を統合することで圧縮することでデータ量を低減するようにしてもよい。また、上記第１実施形態では、フル解像度の画像データから画素を間引く処理が行われる形態例を挙げて説明したが、光電変換素子６１の感光画素を間引いて画像データを取得するようにしてもよい。

【0234】

また、上記第１実施形態では、ぶれの補正方法としてＯＩＳを例示したが、本開示の技術はこれに限定されない。例えば、ＯＩＳに代えてＢＩＳ又はＥＩＳを採用してもよいし、ＯＩＳ、ＢＩＳ，及びＥＩＳのうちの２以上の補正方法を組み合わせてもよい。

【0235】

［本開示の技術に係る第２実施形態］
上記第１実施形態では、撮像素子４４内に補正制御部７６が内蔵されている形態例について説明したが、本開示の技術に係る第２実施形態では、撮像素子に補正制御部７６が内蔵されていない形態例について説明する。なお、以下では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。

【0236】

一例として図２７に示すように、本開示の技術に係る第２実施形態の撮像装置１００は、上記第１実施形態の撮像装置１０に比べ、撮像素子４４に代えて撮像素子４４０を有する点が異なる。また、撮像装置１００は、撮像装置１０に比べ、撮像素子４４０の後段回路であるＣＰＵ３５が補正制御部３５Ａとして動作する点が異なる。更に、撮像装置１００は、撮像装置１０に比べ、記憶装置４２に基準出力テーブル６２Ｃ１が記憶されている点が異なる。

【0237】

ＲＯＭ３６には、プログラムＰが格納されており、ＣＰＵ３５は、ＲＯＭ３６からプログラムＰを読み出し、ＲＡＭ３７に展開し、展開したプログラムＰを実行することで補正制御部３５Ａとして動作する。補正制御部３５Ａは、上記第１実施形態で説明した補正制御部７６と同様の機能を有する。従って、補正制御部３５Ａは、記憶装置４２に記憶されている基準出力テーブル６２Ｃ１を更新し、かつ、基準出力テーブル６２Ｃ１から使用基準出力レベルを取得する。

【0238】

一例として図２８に示すように、撮像素子４４０は、撮像素子４４に比べ、制御回路６２Ｄに代えて制御回路４６２Ｄを有する点が異なる。制御回路４６２Ｄは、制御回路６２Ｄに比べ、補正制御部７６を有しない点が異なる。第２出力部７４は、ぶれ度合い情報をＣＰＵ３５の補正制御部３５Ａに出力する。

【0239】

このように、撮像装置１００では、撮像素子４４０に補正制御部７６を設けることなく、撮像素子４４０の後段回路であるＣＰＵ３５を補正制御部３５Ａとして動作させている。従って、上記第１実施形態の撮像素子４４に比べ、撮像素子４４０のかかる処理負荷を軽減することができる。

【0240】

また、撮像装置１００では、上記第１実施形態と同様に、補正制御部３５Ａによって、ぶれ度合い情報に応じて基準出力レベルが変更される。そして、光学式ぶれ補正部２９に対してぶれを補正させる制御が、補正制御部３５Ａによって、振動データと変更後の基準出力レベルとに基づいて行われる。従って、基準出力レベルが固定されている場合に比べ、ぶれの補正精度を高めることができる。

【0241】

また、撮像装置１００においても、上記第１実施形態と同様に、基準出力レベルの変更 量が、間引き画素数を上限とした範囲内に制限されている。これにより、基準出力レベルが無制限に変更される場合に比べ、基準出力レベルの変更が視覚的に知覚されることを抑制することができる。

【0242】

また、撮像装置１００においても、上記第１実施形態と同様に、第１解析用画像データ６９Ｂ２ｂ、第２解析用画像データ６９Ｂ２ｃ、及び第３解析用画像データ６９Ｂ２ｄの各々は、基準出力レベルが変更される毎に、変更後の基準出力レベルが光学式ぶれ補正部２９によるぶれの補正に反映されることで得られた画像データである。従って、固定化された基準出力レベルが光学式ぶれ補正部２９によるぶれの補正に反映されることで得られた画像データを解析してぶれ度合い情報を導出する場合に比べ、高精度なぶれ度合い情報を導出することができる。

【0243】

また、上記各実施形態では、処理回路６２がＡＳＩＣ及びＦＰＧＡを含むデバイスによって実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、上述した位相差画素処理、非位相差画素処理、実用画像データ生成部処理、第Ｎ解析用画像データ取得処理、第Ｎ解析部処理、及び補正制御部処理（以下、これらを区別して説明する必要がない場合、「撮像装置内処理」と称する）は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。なお、撮像装置内処理は、本開示の技術に係る「特定処理」の一例である。

【0244】

この場合、例えば、図２９に示すように、撮像素子５４０に内蔵されたコンピュータ８５２に、上述した撮像装置内処理を実行させるための各種プログラムを記憶媒体９００に記憶させておく。

【0245】

各種プログラムとは、位相差画素処理プログラム９０２、非位相差画素処理プログラム９０４、実用画像データ生成部処理プログラム９０６、第Ｎ解析用画像データ取得処理プログラム９０８、第Ｎ解析部処理プログラム９１０、及び補正制御部処理プログラム９１２を指す。位相差画素処理プログラム９０２は、上述した位相差画素処理をコンピュータ８５２に実行させるためのプログラムである。各種プログラムは、本開示の技術に係る「プログラム」の一例である。非位相差画素処理プログラム９０４は、上述した非位相差画素処理をコンピュータ８５２に実行させるためのプログラムである。実用画像データ生成部処理プログラム９０６は、上述した実用画像データ生成部処理をコンピュータ８５２に実行させるためのプログラムである。第Ｎ解析用画像データ取得処理プログラム９０８は、上述した第Ｎ解析用画像データ取得処理をコンピュータ８５２に実行させるためのプログラムである。第Ｎ解析部処理プログラム９１０は、上述した第Ｎ解析部処理をコンピュータ８５２に実行させるためのプログラムである。補正制御部処理プログラム９１２は、上述した補正制御部処理をコンピュータ８５２に実行させるためのプログラムである。

【0246】

一例として図２９に示すように、コンピュータ８５２は、本開示の技術に係る「コンピュータ」の一例であり、ＣＰＵ８５２Ａ、ＲＯＭ８５２Ｂ、及びＲＡＭ８５２Ｃを備えている。そして、記憶媒体９００に記憶されている各種プログラムは、コンピュータ８５２にインストールされる。ＣＰＵ８５２Ａは、各種プログラムに従って撮像装置内処理を実行する。

【0247】

ここでは、ＣＰＵ８５２Ａとして、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ８５２Ａに代えてＧＰＵを用いてもよいし、複数のＣＰＵを採用してもよい。なお、記憶媒体９００は、非一時的記憶媒体である。記憶媒体９００の一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。

【0248】

図２９に示す例では、記憶媒体９００に各種プログラムが記憶されているが、本開示の技術はこれに限定されない。例えば、ＲＯＭ８５２Ｂに各種プログラムを予め記憶させておき、ＣＰＵ８５２ＡがＲＯＭ８５２Ｂから各種プログラムを読み出し、ＲＡＭ８５２Ｃに展開し、展開した各種プログラムを実行するようにしてもよい。

【0249】

また、通信網（図示省略）を介してコンピュータ８５２に接続される他のコンピュータ又はサーバ装置等の記憶部に各種プログラムを記憶させておき、撮像装置１０の要求に応じて各種プログラムがコンピュータ８５２にダウンロードされるようにしてもよい。この場合、ダウンロードされた各種プログラムがコンピュータ８５２のＣＰＵ８５２Ａによって実行される。

【0250】

また、コンピュータ８５２は、撮像素子４４の外部に設けられるようにしてもよい。この場合、コンピュータ８５２が各種プログラムに従って処理回路６２を制御するようにすればよい。

【0251】

撮像装置内処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、撮像装置内処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。

【0252】

撮像装置内処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、撮像装置内処理を実行するハードウェア資源は１つのプロセッサであってもよい。

【0253】

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、撮像装置内処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、撮像装置内処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、撮像装置内処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

【0254】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

【0255】

また、上記各実施形態では、撮像装置１０としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、図３０に示すスマートデバイス９５０に対して本開示の技術を適用するようにしてもよい。一例として図３０に示すスマートデバイス９５０は、本開示の技術に係る撮像装置の一例である。スマートデバイス９５０には、撮像素子４４（４４０）が搭載されている。このように構成されたスマートデバイス９５０であっても、上記各実施形態で説明した撮像装置１０，１００と同様の作用及び効果が得られる。なお、スマートデバイス９５０に限らず、パーソナル・コンピュータ又はウェアラブル端末装置に対しても本開示の技術は適用可能である。

【0256】

また、上記各実施形態では、ディスプレイ４３Ｂを例示したが、本開示の技術はこれに限定されない。例えば、撮像装置本体１２に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示装置」として用いるようにしてもよい。

【0257】

また、上記の各種処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

【0258】

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0259】

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

【0260】

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【0261】

上記の実施形態に関し、更に以下の付記を開示する。

【0262】

（付記１）
撮像素子であって、
メモリと、
プロセッサと、が内蔵されており、
メモリは、第１フレームレートで撮像されることで得られた画像データを記憶し、
プロセッサは、
画像データに対して処理を行い、
処理を行った画像データを、第１フレームレート未満のフレームレートである第２フレームレートで出力し、
メモリに記憶されている画像データを用いることで、画像データにより示される画像に含まれるぶれの度合いを示すぶれ度合い情報を導出し、
導出したぶれ度合い情報を第２フレームレート以上のレートで出力する
撮像素子。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】