特開 2023-179473 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023179473

(43)【公開日】2023-12-19

(54)【発明の名称】撮像素子、撮像装置、撮像素子の作動方法、及びプログラム

(51)【国際特許分類】

   H04N 23/68 20230101AFI20231212BHJP

   H04N 23/54 20230101ALI20231212BHJP

   H04N 23/60 20230101ALI20231212BHJP

   H04N 25/70 20230101ALI20231212BHJP

【ＦＩ】

H04N23/68

H04N23/54

H04N23/60 300

H04N23/60 500

H04N25/70

【審査請求】有

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2023147516

(22)【出願日】2023-09-12

(62)【分割の表示】P 2021574481の分割

【原出願日】2020-11-19

(31)【優先権主張番号】P 2020015751

(32)【優先日】2020-01-31

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】菅原 一文

(72)【発明者】

【氏名】小林 誠

(72)【発明者】

【氏名】河合 智行

(72)【発明者】

【氏名】桜武 仁史

(72)【発明者】

【氏名】長谷川 亮

(57)【要約】      （修正有）

【課題】撮像素子によって撮像されることで得られる第１画像データに同期した振動情報が付与された第２画像データを出力する撮像素子、撮像装置、撮像素子の作動方法及びプログラムを提供する
【解決手段】撮像素子は、撮像素子によって撮像されることで得られた第１画像データ（デジタル画像データ）を記憶し、かつ、撮像素子に内蔵されるメモリ６４と、第１画像データに対して画像データ処理を行い、かつ、撮像素子に内蔵された処理回路６２と、を備える。処理回路６２は、第１フレームレートによって規定されるフレーム出力期間内に、撮像素子に与えられる振動に関する振動情報を受け付け、フレーム出力期間内に、第１画像データに設けられた特定の位置に振動情報を付与した第２画像データ（振動情報埋め込み画像データ）を出力する。
【選択図】図７

【特許請求の範囲】

【請求項1】

撮像素子であって、
前記撮像素子によって撮像されることで得られた第１画像データを記憶するメモリと、前記第１画像データに対して画像データ処理を行う第１プロセッサと、を備え、
前記第１プロセッサは、
第１フレームレートによって規定されるフレーム出力期間内に、前記撮像素子に与えられる振動に関する振動情報を受け付け、
前記フレーム出力期間内に、前記第１画像データに設けられた特定の位置に前記振動情報を付与した第２画像データを出力する、
撮像素子。

【請求項2】

前記第１画像データは、複数ラインで構成される画素ラインデータであり、
前記特定の位置は、少なくとも１ラインの画素ラインデータに設けられた位置である、
請求項１に記載の撮像素子。

【請求項3】

前記特定の位置は、前記複数ラインの画素ラインデータの各々に設けられた位置である請求項２に記載の撮像素子。

【請求項4】

前記第１プロセッサは、
前記第１画像データのうちの一部領域を指定する一部領域指定情報を受け付け、
前記撮像素子に含まれる複数の画素ラインのうち、前記一部領域に対応する画素ラインの露光期間における前記振動情報を受け付け、
前記特定の位置は、前記一部領域に対応する前記画素ラインデータに設けられた位置である、
請求項２に記載の撮像素子。

【請求項5】

前記第１プロセッサは、前記撮像素子に含まれる複数の画素ラインのうち、前記撮像素子の中央に位置する中央画素ラインの露光期間における前記振動情報を受け付け、
前記特定の位置は、前記中央画素ラインに対応する前記画素ラインデータに設けられた位置である請求項２に記載の撮像素子。

【請求項6】

前記特定の位置は、前記撮像素子に含まれる複数の画素ラインのうち、前記振動情報を取得した期間に最も近い期間で露光された画素ラインについての前記画素ラインデータに設けられた位置である請求項４又は５に記載の撮像素子。

【請求項7】

前記特定の位置は、前記画素ラインデータの先頭又は末尾である請求項２から請求項６のうちの何れか一項に記載の撮像素子。

【請求項8】

前記第１プロセッサは、前記振動情報の値に応じて、前記振動情報を前記第１画像データに付与するか否かを決定する請求項１から請求項７のうちの何れか一項に記載の撮像素子。

【請求項9】

前記第１プロセッサは、前記振動情報が閾値を超えた場合に、前記振動情報を前記第１画像データに付与する請求項８に記載の撮像素子。

【請求項10】

前記振動情報は、角速度、加速度、角度の積分値、加速度の積分値、及び振れ補正量のうちの少なくとも１つである請求項１から請求項９のうちの何れか一項に記載の撮像素子。

【請求項11】

前記撮像素子は、少なくとも光電変換素子と前記メモリとが１チップ化された撮像素子である請求項１から請求項１０のうちの何れか一項に記載の撮像素子。

【請求項12】

前記撮像素子は、前記光電変換素子と前記メモリとが積層された積層型撮像素子である請求項１１に記載の撮像素子。

【請求項13】

前記第１プロセッサは、前記フレーム出力期間内に、前記第２画像データに付与されている前記振動情報に基づいて、前記第２画像データに対して振れ補正処理を行う請求項１から請求項１２のうちの何れか一項に記載の撮像素子。

【請求項14】

前記第１プロセッサは、
前記振動情報の平均値、中央値、又は最頻値を用いて、前記振れ補正処理を行う、
請求項１３に記載の撮像素子。

【請求項15】

前記第１プロセッサは、前記第１フレームレートよりも高い第２フレームレートで撮像された前記第１画像データに対して前記画像データ処理を行い、
前記画像データ処理は、
前記第１画像データを取得する取得処理と、
前記振動情報を受け付ける受付処理と、
前記振動情報を前記第１画像データに付与することで前記第２画像データを生成する 生成処理と、
前記第２画像データに付与されている前記振動情報に基づいて、前記第２画像データ に対する振れを補正する振れ補正処理と、を含む、
請求項１から請求項１４のうちの何れか一項に記載の撮像素子。

【請求項16】

前記第１プロセッサは、前記フレーム出力期間内に、前記振れ補正処理後の複数フレームの前記第２画像データを合成することで、１フレームの第３画像データを生成して出力する、請求項１５に記載の撮像素子。

【請求項17】

請求項１から請求項１６のうちの何れか一項に記載の撮像素子と、
前記撮像素子の後段に設けられ、前記撮像素子から前記第２画像データが入力される第２プロセッサと、を備え、
前記第２画像データは、複数ラインの画素ラインデータを含み、
前記複数ラインの画素ラインデータの各々に前記振動情報が付与されており、
前記第２プロセッサは、
前記第２画像データに基づいて、特定被写体の位置を示す特定被写体位置情報を取得し、
前記複数ラインの画素ラインデータのうち、前記特定被写体位置情報に対応する画素ラインデータに付与されている前記振動情報に基づいて、前記第２画像データに対して振れ補正処理を行う、
撮像装置。

【請求項18】

撮像素子によって撮像されることで得られた第１画像データを記憶するメモリと、前記第１画像データに対して処理を行うプロセッサと、を含む前記撮像素子の作動方法であって、
第１フレームレートによって規定されるフレーム出力期間内に、前記撮像素子に与えられる振動に関する振動情報を受け付けること、及び、
前記フレーム出力期間内に、前記第１画像データに設けられた特定の位置に前記振動情報を付与した第２画像データを出力することを含む
撮像素子の作動方法。

【請求項19】

撮像素子によって撮像されることで得られた第１画像データを記憶するメモリと、前記第１画像データに対して処理を行うプロセッサと、を含む前記撮像素子に適用されるコンピュータに、
第１フレームレートによって規定されるフレーム出力期間内に、前記撮像素子に与えられる振動に関する振動情報を受け付けること、及び、
前記フレーム出力期間内に、前記第１画像データに設けられた特定の位置に前記振動情報を付与した第２画像データを出力することを含む処理を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、撮像素子、撮像装置、撮像素子の作動方法、及びプログラムに関する。

【背景技術】

【0002】

特開２０１８－０１１０９８号公報には、撮像により生成された映像データと撮像中の振れに関する振れ情報とを記録する処理を行う映像処理装置であって、映像データの再生可否を示す再生識別情報として、再生可能を示す再生有効情報と再生不可を示す再生無効情報とを映像データに対して与える付与手段と、映像データ、振れ情報及び再生識別情報を含む記録データを生成して記録する処理手段とを有し、処理手段は、記録開始振動情報に応じて記録開始前の第１の期間における映像データ及び振れ情報と再生無効情報とを含む第１のデータを生成し、記録開始から記録終了指示に応じた記録終了までの第２の期間における映像データ及び振れ情報と再生有効情報とを含む第２のデータを生成し、記録終了後の第３の期間における映像データ及び振れ情報と再生無効情報とを含む第３のデータを生成し、第１、第２及び第３のデータを統合した記録データを生成することを特徴とする映像処理装置が開示されている。

【0003】

特開２０１２－１２４６１４号公報には、被写体を撮像して動画像データを生成して記録媒体に記録する撮像装置であって、動画像記録時における撮像装置の動作情報を記録する装置動作記録手段と、動作情報に対応するカメラワーク種別を判別するカメラワーク判別手段と、動画像データからカメラワーク種別を判別したフレーム範囲を特定するフレーム範囲特定手段と、カメラワーク種別とフレーム範囲とを対応づけてカメラワーク情報として記録するカメラワーク管理手段と、カメラワーク情報の中から、所定の方法に従って動画像を代表するカメラワーク種別を特定する表現対象カメラワーク特定手段と、動画像の代表画像を一覧表示する時に、表現対象カメラワーク特定手段により特定したカメラワーク種別を表現する情報を作成するカメラワーク表現情報作成手段と、を備えることを特徴とする撮像装置が開示されている。

【0004】

特開２０１６－２０８４８３号公報には、Ｇｙｒｏセンサと、このＧｙｒｏセンサからＧｙｒｏ値を保持する保持手段と、イメージセンサからの水平同期信号をうけ、この同期信号のフレームにおける序列Ｈ番号を得るための序列検出手段と、この序列Ｈ番号とＧｙｒｏ値とのペアの少なくとも１組をペア化保持するペア化保持手段からなる同期化保持手段を有し、イメージセンサからの画像と、イメージセンサのカメラパラメターと、Ｇｙｒｏ値からのブレ角情報をもちいて、画像のブレ位置を特定し、その位置における映像データをもとの位置に戻すことによって、映像のブレを補正し高品質な映像を得ることを特徴とする映像システム及びそれを用いた空撮システムが開示されている。

【発明の概要】

【0005】

本開示の技術に係る一つの実施形態は、撮像素子によって撮像されることで得られる第１画像データに同期した振動情報が付与された第２画像データを出力することができる撮像素子、撮像装置、撮像素子の作動方法、及びプログラムを提供する。

【課題を解決するための手段】

【0006】

本開示の技術に係る第１の態様は、撮像素子であって、撮像素子によって撮像されることで得られた第１画像データを記憶し、かつ撮像素子に内蔵されたメモリと、第１画像データに対して画像データ処理を行い、かつ撮像素子に内蔵された第１プロセッサと、を備え、第１プロセッサは、第１フレームレートによって規定されるフレーム出力期間内に、撮像素子に与えられる振動に関する振動情報を受け付け、フレーム出力期間内に、第１画像データに設けられた特定の位置に振動情報を付与した第２画像データを出力する撮像素子である。

【0007】

本開示の技術に係る第２の態様は、第１画像データは、複数ラインで構成される画素ラインデータであり、特定の位置は、少なくとも１ラインの画素ラインデータに設けられた位置である、第１の態様に係る撮像素子である。

【0008】

本開示の技術に係る第３の態様は、特定の位置は、複数ラインの画素ラインデータの各々に設けられた位置である、第２の態様に係る撮像素子である。

【0009】

本開示の技術に係る第４の態様は、第１プロセッサは、第１画像データのうちの一部領域を指定する一部領域指定情報を受け付け、撮像素子に含まれる複数の画素ラインのうち、一部領域に対応する画素ラインの露光期間における振動情報を受け付け、特定の位置は、一部領域に対応する画素ラインデータに設けられた位置である、第２の態様に係る撮像素子である。

【0010】

本開示の技術に係る第５の態様は、第１プロセッサは、撮像素子に含まれる複数の画素ラインのうち、撮像素子の中央に位置する中央画素ラインの露光期間における振動情報を受け付け、特定の位置は、中央画素ラインに対応する画素ラインデータに設けられた位置である、第２の態様に係る撮像素子である。

【0011】

本開示の技術に係る第６の態様は、特定の位置は、撮像素子に含まれる複数の画素ラインのうち、振動情報を取得した期間に最も近い期間で露光された画素ラインについての画素ラインデータに設けられた位置である、第４の態様又は第５の態様に係る撮像素子である。

【0012】

本開示の技術に係る第７の態様は、特定の位置は、画素ラインデータの先頭又は末尾である、第２の態様から第６の態様のうちの何れか一つの態様に係る撮像素子である。

【0013】

本開示の技術に係る第８の態様は、第１プロセッサは、振動情報の値に応じて、振動情報を第１画像データに付与するか否かを決定する、第１の態様から第７の態様のうちの何れか一つの態様に係る撮像素子である。

【0014】

本開示の技術に係る第９の態様は、第１プロセッサは、振動情報が閾値を超えた場合に、振動情報を第１画像データに付与する、第８の態様に係る撮像素子である。

【0015】

本開示の技術に係る第１０の態様は、振動情報は、角速度、加速度、角度の積分値、加速度の積分値、及び振れ補正量のうちの少なくとも１つである、第１の態様から第９の態様のうちの何れか一つの態様に係る撮像素子である。

【0016】

本開示の技術に係る第１１の態様は、撮像素子は、少なくとも光電変換素子とメモリとが１チップ化された撮像素子である、第１の態様から第１０の態様のうちの何れか一つの態様に係る撮像素子である。

【0017】

本開示の技術に係る第１２の態様は、撮像素子は、光電変換素子とメモリとが積層された積層型撮像素子である、第１１の態様に係る撮像素子である。

【0018】

本開示の技術に係る第１３の態様は、第１プロセッサは、フレーム出力期間内に、第２画像データに付与されている振動情報に基づいて、第２画像データに対して振れ補正処理を行う、第１の態様から第１２の態様のうちの何れか一つの態様に係る撮像素子である。

【0019】

本開示の技術に係る第１４の態様は、第１プロセッサは、振動情報の平均値、中央値、又は最頻値を用いて、振れ補正処理を行う、第１３の態様に係る撮像素子である。

【0020】

本開示の技術に係る第１５の態様は、第１プロセッサは、第１フレームレートよりも高い第２フレームレートで撮像された第１画像データに対して画像データ処理を行い、画像データ処理は、第１画像データを取得する取得処理と、振動情報を受け付ける受付処理と、振動情報を第１画像データに付与することで第２画像データを生成する生成処理と、第２画像データに付与されている振動情報に基づいて、第２画像データに対する振れを補正する振れ補正処理と、を含む、第１の態様から第１４の態様のうちの何れか一つの態様に係る撮像素子である。

【0021】

本開示の技術に係る第１６の態様は、第１プロセッサは、フレーム出力期間内に、振れ補正処理後の複数フレームの第２画像データを合成することで、１フレームの第３画像データを生成して出力する、第１５の態様に係る撮像素子である。

【0022】

本開示の技術に係る第１７の態様は、第１の態様から第１６の態様のうちの何れか一つの態様に記載の撮像素子と、撮像素子の後段に設けられ、撮像素子から第２画像データが入力される第２プロセッサと、を備え、第２画像データは、複数ラインの画素ラインデータを含み、複数ラインの画素ラインデータの各々に振動情報が付与されており、第２プロセッサは、第２画像データに基づいて、特定被写体の位置を示す特定被写体位置情報を取得し、複数ラインの画素ラインデータのうち、特定被写体位置情報に対応する画素ラインデータに付与されている振動情報に基づいて、第２画像データに対して振れ補正処理を行う、撮像装置である。

【0023】

本開示の技術に係る第１８の態様は、撮像素子によって撮像されることで得られた第１画像データを記憶し、かつ撮像素子に内蔵されたメモリと、第１画像データに対して処理を行い、かつ撮像素子に内蔵されたプロセッサと、を含む撮像素子の作動方法であって、第１フレームレートによって規定されるフレーム出力期間内に、撮像素子に与えられる振動に関する振動情報を受け付けること、及び、フレーム出力期間内に、振動情報を第１画像データに付与した第２画像データを出力することを含む撮像素子の作動方法である。

【0024】

本開示の技術に係る第１９の態様は、撮像素子によって撮像されることで得られた第１画像データを記憶し、かつ撮像素子に内蔵されたメモリと、第１画像データに対して処理を行い、かつ撮像素子に内蔵されたプロセッサと、を含む撮像素子に適用されるコンピュータに、第１フレームレートによって規定されるフレーム出力期間内に、撮像素子に与えられる振動に関する振動情報を受け付けること、及び、フレーム出力期間内に、振動情報を第１画像データに付与した第２画像データを出力することを含む処理を実行させるためのプログラムである。

【図面の簡単な説明】

【0025】

【図1】第１乃至第５実施形態に係る撮像装置の外観の一例を示す斜視図である。

【図2】第１乃至第３実施形態に係る撮像装置の構成の一例を示すブロック図である。

【図3A】第１乃至第５実施形態に係る撮像装置に含まれる撮像素子の撮像フレームレートの説明に供する概念図である。

【図3B】第１乃至第５実施形態に係る撮像装置に含まれる撮像素子の出力フレームレートの説明に供する概念図である。

【図4】第１実施形態に係る撮像装置本体の電気的構成の一例を示すブロック図である。

【図5】第１乃至第５実施形態に係る撮像装置に含まれる撮像素子の積層構造の一例、並びに撮像素子、信号処理部、及びコントローラの接続関係の一例を示すブロック図である。

【図6】第１乃至第５実施形態に係る撮像装置に含まれる撮像素子の光電変換素子に含まれる各画素の撮像面での配置の一例を示す配置図である。

【図7】第１実施形態に係る撮像装置に含まれる撮像素子の電気系の構成の一例を示すブロック図である。

【図8】第１実施形態に係る撮像装置に含まれる撮像素子によって生成された振動情報埋め込み画像データの一例を示す概念図である。

【図9】第１実施形態に係る撮像装置に含まれる撮像素子内での露光期間、振動情報取得タイミング、画素ラインデータ取得タイミング、振動情報埋め込みタイミング、振れ補正処理タイミング、及び振れ補正画像データ記憶タイミングの一例を示すタイムチャートである。

【図10A】第１実施形態に係る振れ補正画像データ生成処理の流れの一例を示すフローチャートである。

【図10B】第１実施形態に係る振れ補正画像データ生成処理の流れの一例を示すフローチャートである。

【図11】第２実施形態に係る撮像装置において、ユーザによって入力される一部領域指定情報の説明に供する概念図である。

【図12】第２実施形態に係る撮像装置本体の電気的構成の一例を示すブロック図である。

【図13】第２実施形態に係る撮像装置に含まれる撮像素子の電気系の構成の一例を示すブロック図である。

【図14】第２実施形態に係る撮像装置に含まれる撮像素子によって生成された振動情報埋め込み画像データにおいて、一部領域指定情報が示す一部領域を含む画素ラインの説明に供する概念図である。

【図15】第２実施形態に係る撮像装置に含まれる撮像素子によって生成された振動情報埋め込み画像データにおいて、中央画素ラインの説明に供する概念図である。

【図16】第２実施形態に係る振れ補正画像データ生成処理の流れの一例を示すフローチャートである。

【図17】第３実施形態に係る撮像装置に含まれる撮像素子の電気系の構成の一例を示すブロック図である。

【図18】第３実施形態に係る撮像装置に含まれる撮像素子によって生成される振動情報埋め込み画像データの説明に供する概念図である。

【図19】第３実施形態に係る振れ補正画像データ生成処理の流れの一例を示すフローチャートである。

【図20】第４実施形態に係る撮像装置の構成の一例を示すブロック図である。

【図21】第４実施形態に係る撮像装置に含まれる撮像素子の電気系の構成の一例を示すブロック図である。

【図22】第４実施形態に係る合成画像データ生成処理の流れの一例を説明する概念図である。

【図23A】第４実施形態に係る合成画像データ生成処理の流れの一例を示すフローチャートである。

【図23B】第４実施形態に係る合成画像データ生成処理の流れの一例を示すフローチャートである。

【図24】第５実施形態に係る撮像装置において、振れ補正画像データ生成プログラムが実行される態様の一例を示す概念図である。

【図25】第５実施形態に係る撮像装置に含まれる撮像素子によって生成された振動情報埋め込み画像データにおいて、特定被写体位置情報によって示される特定被写体を含む画素ラインの説明に供する概念図である。

【図26】振れ補正画像データ生成プログラムが記憶された記憶媒体から、第５実施形態に係る撮像装置内のコンピュータにインストールされる態様の一例を示す概念図である。

【図27】プログラムが記憶された記憶媒体から、撮像素子内のコンピュータにインストールされる態様の一例を示す概念図である。

【発明を実施するための形態】

【0026】

以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。

【0027】

先ず、以下の説明で使用される用語の意味について説明する。

【0028】

ＣＰＵとは、“Central Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＲＯＭとは、“Read Only Memory”の略称を指す。ＤＲＡＭとは、“Dynamic Random Access Memory”の略称を指す。ＳＲＡＭとは、“Static Random Access Memory”の略称を指す。

【0029】

ＬＳＩとは、“Large-Scale Integrated Circuit”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。

【0030】

ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。

【0031】

ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。Ａ／Ｄとは、“Analog/Digital”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＵＩとは、“User Interface”の略称を指す。ＡＦとは、“Auto-Focus”の略称を指す。ＡＥとは、“Automatic Exposure”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＯＩＳとは、“Optical Image Stabilizer”の略称を指す。

【0032】

［第１実施形態］
一例として図１に示すように、撮像装置１０は、レンズ交換式カメラである。撮像装置１０は、撮像装置本体１２と、撮像装置本体１２に交換可能に装着される交換レンズ１４と、を備えている。

【0033】

撮像装置本体１２には、撮像素子４４が設けられている。交換レンズ１４が撮像装置本体１２に装着された場合に、被写体を示す被写体光は、交換レンズ１４を透過して撮像素子４４の撮像面４４Ａに結像される。

【0034】

撮像装置本体１２の上面には、レリーズボタン２０及びダイヤル２２が設けられている。ダイヤル２２は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作される。レリーズボタン２０は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。撮像装置の構成によっては、撮像準備指示状態とは、操作するユーザの指がレリーズボタン２０に接触した状態であってもよく、撮像指示状態とは、操作するユーザの指がレリーズボタン２０に接触した状態から離れた状態に移行した状態であってもよい。

【0035】

撮像装置１０では、動作モードとして撮像モードと再生モードとがユーザの指示に応じて選択的に設定される。撮像モードは、表示動画用撮像モードと記録用撮像モードとに大別される。表示動画用撮像モード及び記録用撮像モードの各々では、ユーザの指示に従ってＡＦモードが設定される。

【0036】

表示動画用撮像モードにおいて、交換レンズ１４の焦点調節設定としてＡＦモードが設定されると、１フレーム毎に、ＡＥ機能が働いて露出状態が設定され、かつ、ＡＦ機能が働いて合焦制御され、表示動画像用の撮像が行われる。表示動画像用の撮像が行われることによりライブビュー画像が生成される。なお、一般的に、ライブビュー画像は、スルー画像とも称されている。なおＡＥ機能およびＡＦ機能は必ずしも１フレーム毎に行う必要はない。

【0037】

記録用撮像モードは、動画像記録用撮像モードと静止画像記録用撮像モードとに大別され、動画像記録用撮像モードと静止画像記録用撮像モードとが、ユーザの指示に応じて選択的に設定される。撮像装置１０では、動画像記録用撮像モードにおいて、ＡＦモードが設定されると、１フレーム毎に、ＡＥ機能が働いて露出状態が設定され、かつ、ＡＦ機能が働いて合焦制御され、記録動画像用の撮像が行われる。記録動画像用の撮像が行われることにより得られた動画像は、メモリカード又はＵＳＢメモリ等の既定の記憶媒体に記録される。

【0038】

静止画像記録用撮像モードにおいて、ＡＦモードが設定されると、レリーズボタン２０を半押し状態にすることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると静止画像用の撮像が行われる。つまり、レリーズボタン２０を半押し状態にすることによりＡＥ機能が働いて露出状態が設定された後、ＡＦ機能が働いて合焦制御され、レリーズボタン２０を全押し状態にすると記録静止画像用の撮像が行われる。

【0039】

一例として図２に示すように、交換レンズ１４は、撮像レンズ４０を有する。撮像レンズ４０は、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃを備えている。対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃは、被写体側から撮像装置本体１２側にかけて、光軸Ｌ１に沿って、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃの順に配置されている。絞り４０Ｃは、モータ等の駆動源（図示省略）からの動力を受けることで作動する。これにより、絞り４０Ｃの開度が変更される。絞り４０Ｃの開度が変更されることで、露出が調節される。

【0040】

フォーカスレンズ４０Ｂは、スライド機構（図示省略）に取り付けられており、モータ等の駆動源（図示省略）から与えられた動力に応じて光軸Ｌ１に沿って移動する。ＡＦモードでは、フォーカスレンズ４０Ｂが、コントローラ４６の制御下で、光軸Ｌ１に沿って移動することで、被写体距離に応じた合焦位置に到達する。ここで言う「合焦位置」とは、ピントが合っている状態でのフォーカスレンズ４０Ｂの光軸Ｌ１上での位置を指す。フォーカスレンズ４０Ｂが被写体距離に応じた合焦位置に到達すると、被写体光が撮像レンズ４０によって撮像素子４４の撮像面４４Ａに結像される。

【0041】

撮像装置本体１２は、メカニカルシャッタ４２及び撮像素子４４を備えている。メカニカルシャッタ４２は、モータ等の駆動源（図示省略）からの動力を受けることで作動する。交換レンズ１４が撮像装置本体１２に装着された場合に、被写体光は、撮像レンズ４０を透過し、メカニカルシャッタ４２を介して撮像素子４４の撮像面４４Ａに結像される。

【0042】

撮像装置本体１２は、振動センサ４７を備えている。振動センサ４７は、ジャイロセンサを含むデバイスであり、撮像素子４４に与えられた角速度を振動として検出する。撮像素子４４に対して与えられる振動としては、例えば、撮像装置１０を把持しているユーザが撮像素子４４に対して与える振動、三脚等の支持台に設置されている撮像装置１０に対する風による振動、及び車両から与えられる振動等が挙げられる。

【0043】

ジャイロセンサは、ピッチ軸ＰＡと、ヨー軸ＹＡと、ロール軸ＲＡとの各軸周り（図１参照）の角速度を検出する。振動センサ４７は、ジャイロセンサによって検出されたピッチ軸ＰＡ周りの角速度及びヨー軸ＹＡ周りの角速度をピッチ軸ＰＡ及びヨー軸ＹＡに平行な２次元状の面内での角速度に変換することで、撮像素子４４に与えられた振動を検出する。なお、本開示の技術に係る第１実施形態での平行の意味には、完全な平行の意味の他に、設計上及び製造上において許容される誤差を含む略平行の意味も含まれる。

【0044】

振動センサ４７は、通信ライン５８を介してコントローラ４６に接続されており、コントローラ４６の制御下で、撮像素子４４に与えられた振動を検出する。そして、振動センサ４７は、通信ライン５２を介して撮像素子４４に接続されており、振動センサ４７は、検出した振動を示す振動情報を撮像素子４４へ出力する。ここでは、振動情報の一例として角速度が採用されている。なお、振動情報は角速度などのデータであってもよいし、データが何らかの処理によって加工された情報となっているものでもよい。

【0045】

撮像装置本体１２は、コントローラ４６、ＵＩ系デバイス４８、及び信号処理部５０を備えている。コントローラ４６及び信号処理部５０の各々は、ＬＳＩによって実現されている。また、コントローラ４６及び信号処理部５０の各々は、撮像素子４４の後段に位置しているので、撮像素子４４の後段回路とも言える。

【0046】

コントローラ４６は、撮像装置１０の全体を制御する。ＵＩ系デバイス４８は、ユーザに対して情報を提示したり、ユーザからの指示を受け付けたりするデバイスである。コントローラ４６には、ＵＩ系デバイス４８が接続されており、コントローラ４６は、ＵＩ系デバイス４８からの各種情報の取得、及びＵＩ系デバイス４８の制御を行う。

【0047】

撮像素子４４は、通信ライン５７を介してコントローラ４６に接続されており、コントローラ４６の制御下で、被写体を撮像することで、被写体の画像を示す画像データを生成する。

【0048】

撮像素子４４は、通信ライン５３を介して信号処理部５０に接続されている。信号処理部５０は、ＡＳＩＣを含むデバイスである。信号処理部５０には、通信ライン６０を介してコントローラ４６が接続されている。

【0049】

信号処理部５０には、撮像素子４４から通信ライン５３を介して画像データが入力される。信号処理部５０は、画像データに対して各種の信号処理を行う。各種の信号処理には、例えば、ホワイトバランス調整、シャープネス調整、ガンマ補正、色空間変換処理、及び色差補正などの公知の信号処理が含まれる。

【0050】

なお、本第１実施形態では、信号処理部５０としてＡＳＩＣを含むデバイスを例示しているが、本開示の技術はこれに限定されず、信号処理部５０は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、信号処理部５０は、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータであってもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、信号処理部５０は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

【0051】

撮像素子４４は、本開示の技術に係る「積層型撮像素子」の一例である。本実施形態において、撮像素子４４は、ＣＭＯＳイメージセンサである。また、ここでは、撮像素子４４としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、撮像素子４４がＣＣＤイメージセンサであっても本開示の技術は成立する。

【0052】

撮像素子４４では、撮像フレームレートで被写体が撮像されることで、一例として図３Ａに示すように、被写体の画像を各々示す複数フレームの画像データが生成される。また、撮像素子４４で生成された複数フレームの画像データは、出力フレームレートで出力される。撮像フレームレート及び出力フレームレートは何れも可変なフレームレートである。なお、出力フレームレートは、本開示の技術に係る「第１フレームレート」の一例であり、撮像フレームレートは、本開示の技術に係る「第２フレームレート」の一例である。

【0053】

撮像フレームレートと出力フレームレートは、“撮像フレームレート≧出力フレームレート”の関係性を有している。つまり、撮像フレームレートは、出力フレームレート以上に高いフレームレートである。例えば、撮像フレームレートは、図３Ａに示すように、期間Ｔ内に８フレーム分の撮像が行われるフレームレートであり、出力フレームレートは、図３Ｂに示すように、期間Ｔ内に２フレーム分の出力が行われるフレームレートである。具体的には、撮像フレームレートの一例として、２４０ｆｐｓ（frame per second）が挙げられ、出力フレームレートの一例として、６０ｆｐｓが挙げられる。

【0054】

一例として図４に示すように、コントローラ４６は、ＣＰＵ４６Ａ、ストレージ４６Ｂ、メモリ４６Ｃ、第１通信Ｉ／Ｆ４６Ｄ１、及び第２通信Ｉ／Ｆ４６Ｄ２を備えている。ＣＰＵ４６Ａ、ストレージ４６Ｂ、メモリ４６Ｃ、第１通信Ｉ／Ｆ４６Ｄ１、及び第２通信Ｉ／Ｆ４６Ｄ２は、バスライン８８を介して相互に接続されている。

【0055】

ストレージ４６Ｂには、撮像装置１０の制御プログラムが記憶されている。ＣＰＵ４６Ａは、ストレージ４６Ｂから制御プログラムを読み出し、読み出した制御プログラムをメモリ４６Ｃに展開する。ＣＰＵ４６Ａは、メモリ４６Ｃに展開した制御プログラムに従って撮像装置１０の全体を制御する。

【0056】

第１通信Ｉ／Ｆ４６Ｄ１、及び第２通信Ｉ／Ｆ４６Ｄ２の各々は、ＦＰＧＡを有する通信デバイスである。第１通信Ｉ／Ｆ４６Ｄ１及び第２通信Ｉ／Ｆ４６Ｄ２は、例えば、ＰＣＩ－ｅの接続規格を採用している。第１通信Ｉ／Ｆ４６Ｄ１は通信ライン６０を介して信号処理部５０に接続されている。第１通信Ｉ／Ｆ４６Ｄ１には、信号処理部５０により各種の信号処理が施された画像データが通信ライン６０を介して入力される。第１通信Ｉ／Ｆ４６Ｄ１は、信号処理部５０から入力された画像データをＣＰＵ４６Ａに転送する。

【0057】

第２通信Ｉ／Ｆ４６Ｄ２は、通信ライン５７を介して撮像素子４４に接続されている。ＣＰＵ４６Ａは、第２通信Ｉ／Ｆ４６Ｄ２を介して撮像素子４４を制御する。また、第２通信Ｉ／Ｆ４６Ｄ２は、通信ライン５８を介して振動センサ４７に接続されている。ＣＰＵ４６Ａは、第２通信Ｉ／Ｆ４６Ｄ２を介して振動センサ４７を制御する。

【0058】

ＵＩ系デバイス４８は、タッチパネル・ディスプレイ２６及び受付デバイス８４を備えている。ディスプレイ３２は、バスライン８８に接続されている。ディスプレイ３２の一例としては、液晶ディスプレイが挙げられる。ディスプレイ３２は、液晶ディスプレイではなく、有機ＥＬディスプレイ等の他種類のディスプレイであってもよい。ディスプレイ３２は、ＣＰＵ４６Ａの制御下で、ライブビュー画像及び静止画像等の各種画像の他、文字情報も表示する。

【0059】

受付デバイス８４は、ハードキー部２５及びタッチパネル３４を備えている。ハードキー部２５は、レリーズボタン２０及びダイヤル２２を含む複数のハードキーである。タッチパネル３４は、透過型のタッチパネルであり、ディスプレイ３２の表示領域の表面に重ねられている。タッチパネル３４は、例えば、指又はスタイラスペン等の指示体による接触を検知する。ハードキー部２５及びタッチパネル３４は、バスライン８８に接続されており、ＣＰＵ４６Ａは、ハードキー部２５及びタッチパネル３４の各々によって受け付けられた各種指示に従って動作する。

【0060】

一例として図５に示すように、撮像素子４４には、光電変換素子６１、処理回路６２、及びメモリ６４が内蔵されている。撮像素子４４は、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子である。すなわち、光電変換素子６１、処理回路６２、及びメモリ６４は１パッケージ化されている。撮像素子４４では、光電変換素子６１に対して処理回路６２及びメモリ６４が積層されている。具体的には、光電変換素子６１及び処理回路６２は、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されており、処理回路６２及びメモリ６４も、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されている。

【0061】

処理回路６２は、例えば、ＬＳＩであり、メモリ６４は、例えば、ＤＲＡＭである。但し、本開示の技術はこれに限らず、メモリ６４としてＤＲＡＭに代えてＳＲＡＭを採用してもよい。

【0062】

処理回路６２は、ＡＳＩＣ及びＦＰＧＡを含むデバイスであり、コントローラ４６の指示に従って、撮像素子４４の全体を制御する。なお、ここでは、処理回路６２がＡＳＩＣ及びＦＰＧＡを含むデバイスによって実現される例を挙げているが、本開示の技術はこれに限定されるものではなく、例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、処理回路６２として、ＣＰＵ、ストレージ、及びメモリを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、処理回路６２は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

【0063】

光電変換素子６１は、マトリクス状に配置された多数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。

【0064】

光電変換素子６１に含まれる各フォトダイオードには、カラーフィルタが配置されている。カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。光電変換素子６１は、Ｒ画素、Ｇ画素、及びＢ画素を有する（図６参照）。Ｒ画素は、Ｒフィルタが配置されたフォトダイオードに対応する画素であり、Ｇ画素は、Ｇフィルタが配置されたフォトダイオードに対応する画素であり、Ｂ画素は、Ｂフィルタが配置されたフォトダイオードに対応する画素である。

【0065】

撮像素子４４は、いわゆる電子シャッタ機能を有しており、コントローラ４６の制御下で電子シャッタ機能を働かせることで、光電変換素子６１内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。

【0066】

撮像装置１０では、ローリングシャッタ方式で、静止画像用の撮像と、動画像用の撮像とが行われる。静止画像記録用撮像モードにおいて、静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ４２（図２参照）を作動させることで実現される。また、静止画像記録用撮像モードにおいて、連写用の撮像は、メカニカルシャッタ４２を作動させずに、電子シャッタ機能を働かせることで実現することも可能である。また、動画像記録用撮像モードにおいて、動画像用の撮像も、メカニカルシャッタ４２を作動させずに、電子シャッタ機能を働かせることで実現される。更に、表示動画用撮像モードにおいて、ライブビュー画像用の撮像も、メカニカルシャッタ４２を作動させずに、電子シャッタ機能を働かせることで実現される。なお、ここでは、電子シャッタ機能を実現する方式としてローリングシャッタ方式が例示しているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。

【0067】

処理回路６２は、光電変換素子６１により被写体が撮像されることで得られた画像データを読み出す。画像データは、光電変換素子６１に蓄積された信号電荷である。処理回路６２は、光電変換素子６１から読み出したアナログ画像データに対してＡ／Ｄ変換を行う。処理回路６２は、アナログ画像データに対してＡ／Ｄ変換を行うことで得たデジタル画像データをメモリ６４に記憶する。ここで、処理回路６２は、本開示の技術に係る「第１プロセッサ」の一例であり、メモリ６４は、本開示の技術に係る「メモリ」の一例である。デジタル画像データは、本開示の技術に係る「第１画像データ」の一例である。

【0068】

処理回路６２は、通信ライン５３を介して信号処理部５０に接続されている。また、処理回路６２は、通信ライン５７を介してコントローラ４６の第２通信Ｉ／Ｆ４６Ｄ２に接続されている。

【0069】

メモリ６４は、複数の記憶領域を備えており、各々の記憶領域には、例えば、１フレーム毎にデジタル画像データが記憶される。また、複数の記憶領域に対しては処理回路６２によってランダムアクセスが行われる。

【0070】

一例として図６に示すように、光電変換素子６１の撮像面４４Ａでは、Ｒ画素、Ｇ画素、及びＢ画素が、行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。本第１実施形態では、Ｒ画素、Ｇ画素、及びＢ画素がＸ－Ｔｒａｎｓ（登録商標）配列に対応した周期性で配列されている。なお、図６に示す例では、Ｘ－Ｔｒａｎｓ配列を例示しているが、本開示の技術はこれに限定されず、Ｒ画素、Ｇ画素、及びＢ画素の配列は、ベイヤ配列又はハニカム配列などであってもよい。

【0071】

撮像素子４４は、複数の画素ライン６１Ａを有する。各画素ライン６１Ａは、行方向に沿ってＲ画素、Ｇ画素、及びＢ画素が配置されている。複数の画素ライン６１Ａは、本開示の技術に係る「複数の画素ライン」の一例である。

【0072】

一例として図７に示すように、処理回路６２は、読出回路６２Ａ、デジタル処理回路６２Ｂ、制御回路６２Ｃ、及び出力回路６２Ｄを備えている。

【0073】

読出回路６２Ａは、光電変換素子６１、デジタル処理回路６２Ｂ、及び制御回路６２Ｃに接続されている。メモリ６４は、制御回路６２Ｃに接続されている。出力回路６２Ｄも、制御回路６２Ｃに接続されている。制御回路６２Ｃは、通信ライン５７を介してコントローラ４６に接続されており、通信ライン５２を介して振動センサ４７に接続されている。出力回路６２Ｄは、通信ライン５３を介して信号処理部５０に接続されている。

【0074】

コントローラ４６は、タイミング制御信号を、通信ライン５７を介して制御回路６２Ｃに供給する。タイミング制御信号は、垂直同期信号を含む。垂直同期信号は、１フレーム単位の露光期間を規定する同期信号である。

【0075】

読出回路６２Ａは、撮像フレームレートで被写体が撮像されることで得られたアナログ画像データを水平画素ライン単位で読み出す。すなわち、読出回路６２Ａは、制御回路６２Ｃの制御下で、光電変換素子６１を制御し、光電変換素子６１からアナログ画像データを水平画素ライン単位で読み出す。

【0076】

読出回路６２Ａは、光電変換素子６１から読み出されたアナログ画像データに対してアナログ信号処理を行う。アナログ信号処理には、相関二重サンプリング処理、アナログゲイン処理、及びノイズキャンセル処理などの公知の処理が含まれる。相関二重サンプリング処理はアナログ画像データの熱雑音を低減する処理である。アナログゲイン処理は、アナログ画像データに対してゲインをかける処理である。ノイズキャンセル処理は、光電変換素子６１に含まれる画素間の特性のばらつきに起因するノイズをキャンセルする処理である。このようにしてアナログ信号処理が行われたアナログ画像データは、読出回路６２Ａによってデジタル処理回路６２Ｂに出力される。

【0077】

デジタル処理回路６２Ｂは、Ａ／Ｄ変換器６２Ｂ１を備えている。デジタル処理回路６２Ｂは、読出回路６２Ａから入力されたアナログ画像データに対してデジタル信号処理を行う。デジタル信号処理には、例えば、Ａ／Ｄ変換器６２Ｂ１によるＡ／Ｄ変換、及びデジタルゲイン処理が含まれる。

【0078】

アナログ画像データに対しては、Ａ／Ｄ変換器６２Ｂ１によってＡ／Ｄ変換が行われ、これによって、アナログ画像データがデジタル化され、デジタル画像データが得られる。そして、デジタル画像データに対しては、デジタル処理回路６２Ｂによってデジタルゲイン処理が行われる。デジタルゲイン処理とは、デジタル画像データに対してゲインをかける処理を指す。

【0079】

制御回路６２Ｃは、デジタル信号処理によって得られたデジタル画像データを、水平画素ライン単位で、デジタル処理回路６２Ｂから取得する。ここで、読出回路６２Ａによって行われるアナログ信号処理及びデジタル処理回路６２Ｂによって行われるデジタル信号処理は、本開示の技術に係る「画像データ処理」の一例である。

【0080】

コントローラ４６は、垂直同期信号を、通信ライン５８を介して振動センサ４７に供給する。振動センサ４７は、垂直同期信号を受け付けて、１フレームの画像データの露光期間に撮像素子４４に与えられた角速度を、水平画素ライン単位で検出する。振動センサ４７は、角速度を制御回路６２Ｃに供給する。なお、角速度は、本開示の技術に係る「振動情報」の一例である。

【0081】

制御回路６２Ｃは、振動情報埋め込み部６２Ｃ１と、振れ補正部６２Ｃ２とを備えている。振動情報埋め込み部６２Ｃ１は、出力フレームレートによって規定されるフレーム出力期間内に、振動センサ４７から振動情報を受け付ける。そして、振動情報埋め込み部６２Ｃ１は、フレーム出力期間内に、デジタル画像データに設けられた特定の位置に振動情報を埋め込み、メモリ６４へ出力する。

【0082】

一例として図８に示すように、１フレームのデジタル画像データは、第１画素ラインデータ、第２画素ラインデータ、・・・、第Ｎ画素ラインデータを含むＮラインの画素ラインデータから成る。ここで、光電変換素子６１の最上ラインを構成する１ラインの水平画素ラインを第１画素ラインと称し、第１画素ラインから読み出された画素データを第１画素ラインデータと称する。光電変換素子６１の２ライン目を構成する１ラインの水平画素ラインを第２画素ラインと称し、第２画素ラインから読み出された画素データを第２画素ラインデータと称する。以下、同様に、Ｎライン目となる最下ラインの水平画素ラインを第Ｎ画素ラインと称し、第Ｎ画素ラインから読み出された画素データを第Ｎ画素ラインデータと称する。

【0083】

なお、第１、第２、・・・第Ｎ画素ラインを区別して説明する必要がない場合、単に「画素ライン」と称する。また、第１、第２、・・・第Ｎ画素ラインデータを区別して説明する必要がない場合、単に「画素ラインデータ」と称する。ここで、画素ラインデータは、本開示の技術に係る「画素ラインデータ」の一例である。

【0084】

振動情報埋め込み部６２Ｃ１は、画素ライン振動情報を、画素ラインデータの先頭に埋め込む。なお、画素ライン振動情報とは、１つの画素ラインの露光期間中に、振動センサ４７によって取得された振動を示す情報を指し、具体的には、１つの画素ラインの露光期間中に、振動センサ４７から撮像素子４４に入力された振動情報を指す。各画素ラインデータの先頭には、対応する画素ライン振動情報を埋め込むためのビット領域が予め設けられている。なお、各画素ラインデータの先頭は、本開示の技術に係る「特定の位置」の一例である。

【0085】

振動情報埋め込み部６２Ｃ１は、画素ライン振動情報を埋め込んだ画素ラインデータを、メモリ６４のうちの対応する記憶領域に記憶する。

【0086】

メモリ６４は、複数フレームの振動情報埋め込み画像データを記憶可能なメモリである。画素ライン振動情報が埋め込まれた画素ラインデータは、振動情報埋め込み画像データとして、フレーム単位でメモリ６４に記憶される。なお、振動情報埋め込み画像データは、本開示の技術に係る「第２画像データ」の一例である。

【0087】

制御回路６２Ｃは、メモリ６４に対してランダムアクセス可能であり、フレーム出力期間内に、メモリ６４から振動情報埋め込み画像データを読み出して、振れ補正部６２Ｃ２に供給する。なお、フレーム出力期間は、本開示の技術に係る「フレーム出力期間」の一例である。ここで、フレーム出力期間とは、出力フレームレートで規定された出力タイミングが時間軸上で隣接するフレーム間の時間間隔を指す。

【0088】

振れ補正部６２Ｃ２は、振動情報埋め込み画像データから、Ｎ個の画素ライン振動情報を読み出して、画素ライン振動情報の平均値を算出する。振れ補正部６２Ｃ２は、算出した平均値に基づいて、振動情報埋め込み画像データに対して既知の振れ補正処理を施す。振れ補正部６２Ｃ２は、フレーム出力期間内に、振れ補正処理後の画像データを振れ補正画像データとしてメモリ６４に記憶する。なお、振れ補正処理は、本開示の技術に係る「振れ補正処理」の一例である。

【0089】

制御回路６２Ｃは、フレーム出力期間内に、振れ補正画像データをメモリ６４から読み出し、出力回路６２Ｄに出力する。出力回路６２Ｄは、入力された振れ補正画像データを信号処理部５０へ出力する。

【0090】

一例として図９に示すように、垂直同期信号は、出力フレームレートによって規定される１つのフレーム出力期間内に、例えば４回立ち下がる。垂直同期信号の立ち下がりに同期して撮像素子４４の露光期間が開始される。従って、本第１実施形態によれば、１つのフレーム出力期間内に４フレームのデジタル画像データが取得される。

【0091】

光電変換素子６１は、垂直同期信号の立ち下がりに同期してリセットされ、露光を開始する。撮像装置１０は、ローリングシャッタ方式を採用しているため、水平画素ライン毎に一定の時間間隔を保ちながら露光を開始する。すなわち、図９の斜線部分に示す１フレームの露光期間のうち、時間軸に沿って延びる最上部の領域９０は第１画素ラインの露光期間を示し、最下部の領域９２は第Ｎ画素ラインの露光期間を表す。

【0092】

予め定められた露光期間の中央で、振動センサ４７は、水平画素ライン単位で振動情報を取得する。振動センサ４７は、第１画素ラインから第Ｎ画素ラインに対応するＮライン分の振動情報を、一定の時間間隔で順次取得する。振動センサ４７は、Ｎライン分の振動情報を振動情報埋め込み部６２Ｃ１へ出力する。

【0093】

予め定められた露光期間が終了すると、読出回路６２Ａは、水平画素ライン単位で、光電変換素子６１からアナログの画素ラインデータを読み出す。読出回路６２Ａは、アナログの画素ラインデータに対してアナログ信号処理を行い、アナログ信号処理後の画素ラインデータをデジタル処理回路６２Ｂへ出力する。

【0094】

デジタル処理回路６２Ｂは、アナログの画素ラインデータに対してデジタル信号処理を行い、デジタルの画素ラインデータに変換する。その後、デジタル処理回路６２Ｂは、デジタル信号処理後の画素ラインデータを振動情報埋め込み部６２Ｃ１へ出力する。

【0095】

振動情報埋め込み部６２Ｃ１は、画素ラインデータの先頭に、対応する画素ライン振動情報を埋め込む。振動情報埋め込み部６２Ｃ１は、画素ライン振動情報が埋め込まれた画素ラインデータを順次メモリ６４に記憶する。全ての画素ラインについて、画素ライン振動情報が埋め込まれた画素ラインデータが記憶されると、振れ補正部６２Ｃ２は、１フレームの振動情報埋め込み画像データを読み出す。振れ補正部６２Ｃ２は、Ｎライン分の画素ライン振動情報の平均値を算出し、平均値を用いて、振動情報埋め込み画像データに対して振れ補正処理を行う。振れ補正部６２Ｃ２は、振れ補正処理によって生成された振れ補正画像データをメモリ６４に記憶する。

【0096】

出力回路６２Ｄは、各フレーム出力期間の最後に生成された振れ補正画像データを後段の信号処理部５０へ出力する。すなわち、各フレーム出力期間で生成される４フレームの振れ補正画像データのうち、各フレーム出力期間の最後に生成される１フレームの振れ補正画像データだけが、出力回路６２Ｄを介して信号処理部５０へ出力される。残り３フレームの振れ補正画像データは出力されずにメモリ６４から消去される。なお、ここでは、フレーム出力期間の最後に生成される１フレームの振れ補正画像データが信号処理部５０へ出力される形態例を挙げているが、本開示の技術はこれに限定されず、既定の他フレームの振れ補正画像データが信号処理部５０へ出力されるようにしてもよい。

【0097】

次に、本第１実施形態に係る撮像素子４４の作用について説明する。

【0098】

図１０Ａ及び図１０Ｂには、撮像素子４４の処理回路６２によってフレーム出力期間内に実行される振れ補正画像データ生成処理の流れの一例が示されている。

【0099】

図１０Ａ及び図１０Ｂに示す振れ補正画像データ生成処理では、先ず、ステップＳＴ１０で、振動情報埋め込み部６２Ｃ１は、露光開始タイミングが到来したか否かを判定する。撮像素子４４の露光は、コントローラ４６から出力される垂直同期信号の立ち下がりに同期して開始される。ステップＳＴ１０において、露光開始タイミングが到来していない場合には、判定が否定されて、振れ補正画像データ生成処理は、図１０Ｂに示すステップＳＴ２６へ移行する。ステップＳＴ１０において、露光開始タイミングが到来した場合には、判定が肯定されて、振れ補正画像データ生成処理はステップＳＴ１１へ移行する。

【0100】

ステップＳＴ１１で、振動情報埋め込み部６２Ｃ１は、変数ｎを１に設定する。変数ｎは、撮像素子４４に含まれる画素ラインの数を表す。その後、振れ補正画像データ生成処理はステップＳＴ１２へ移行する。

【0101】

ステップＳＴ１２で、振動情報埋め込み部６２Ｃ１は、変数ｎが２以上か否かを判定する。ステップＳＴ１２において、変数ｎが１の場合は、判定が否定されて、振れ補正画像データ生成処理はステップＳＴ１３へ移行する。ステップＳＴ１２において、変数ｎが２以上の場合は、判定が肯定されて振れ補正画像データ生成処理はステップＳＴ１４へ移行する。まず、変数ｎが１の場合について説明する。

【0102】

ステップＳＴ１３で、振動情報埋め込み部６２Ｃ１は、読出回路６２Ａを制御することにより第ｎ画素ラインの露光を開始する。すなわち、ｎ＝１の場合には、ステップＳＴ１３で第１画素ラインの露光が開始される。その後、振れ補正画像データ生成処理はステップＳＴ１８へ移行する。

【0103】

ステップＳＴ１８で、振動情報埋め込み部６２Ｃ１は、変数ｎが撮像素子４４に含まれる画素ライン数Ｎに等しいか否かを判定する。変数ｎが１の場合には、変数ｎは画素ライン数Ｎに等しくないので、ステップＳＴ１８において判定が否定されて、振れ補正画像データ生成処理はステップＳＴ１９へ移行する。

【0104】

ステップＳＴ１９で、振動情報埋め込み部６２Ｃ１は、変数ｎに１を加えることにより、変数ｎを１だけ繰り上げる。すなわち、変数ｎは２にインクリメントされる。その後、振れ補正画像データ生成処理はステップＳＴ１２へ移行する。以下、変数ｎが２以上の場合について説明する。

【0105】

ステップＳＴ１２で、変数ｎは２以上であるので判定が肯定されて、振れ補正画像データ生成処理はステップＳＴ１４へ移行する。

【0106】

ステップＳＴ１４で、振動情報埋め込み部６２Ｃ１は、第ｎ画素ラインの露光を開始する。その後、振れ補正画像データ生成処理はステップＳＴ１５へ移行する。

【0107】

ステップＳＴ１５で、振動情報埋め込み部６２Ｃ１は、読出回路６２Ａ及びデジタル処理回路６２Ｂを制御することによって、第ｎ－１画素ラインデータを取得する。その後、振れ補正画像データ生成処理はステップＳＴ１６へ移行する。

【0108】

ステップＳＴ１６で、振動情報埋め込み部６２Ｃ１は、振動センサ４７から第ｎ－１画素ライン振動情報を取得する。その後、振れ補正画像データ生成処理はステップＳＴ１７へ移行する。

【0109】

ステップＳＴ１７で、振動情報埋め込み部６２Ｃ１は、第ｎ－１画素ライン振動情報を第ｎ－１画素ラインデータに埋め込んでメモリ６４に記憶する。その後、振れ補正画像データ生成処理はステップＳＴ１８へ移行する。

【0110】

ステップＳＴ１８で、振動情報埋め込み部６２Ｃ１は、変数ｎが撮像素子４４に含まれる画素ライン数Ｎに等しいか否かを判定する。ステップＳＴ１８において、変数ｎが画素ライン数Ｎに等しくない場合には、判定が否定されて、振れ補正画像データ生成処理はステップＳＴ１９へ移行する。ステップＳＴ１８において、変数ｎが画素ライン数Ｎに等しい場合には、判定が肯定されて、振れ補正画像データ生成処理は、ステップＳＴ２０へ移行する。

【0111】

ステップＳＴ１９で、振動情報埋め込み部６２Ｃ１は、変数ｎに１を加えることにより、変数ｎを１だけ繰り上げる。その後、振れ補正画像データ生成処理はステップＳＴ１２へ移行する。従って、振れ補正画像データ生成処理は、変数ｎを２からＮまで１ずつインクリメントしながら、ステップＳＴ１２からステップＳＴ１７を繰り返し、変数ｎが画素ライン数Ｎに至ると、振れ補正画像データ生成処理はステップＳＴ２０へ移行する。

【0112】

ステップＳＴ２０で、振動情報埋め込み部６２Ｃ１は、読出回路６２Ａ及びデジタル処理回路６２Ｂを制御することによって、第ｎ画素ラインデータを取得する。その後、振れ補正画像データ生成処理はステップＳＴ２１へ移行する。

【0113】

ステップＳＴ２１で、振動情報埋め込み部６２Ｃ１は、振動センサ４７から第ｎ画素ライン振動情報を取得する。その後、振れ補正画像データ生成処理はステップＳＴ２２へ移行する。

【0114】

ステップＳＴ２２で、振動情報埋め込み部６２Ｃ１は、第ｎ画素ライン振動情報を第ｎ画素ラインデータに埋め込んでメモリ６４に記憶する。その後、振れ補正画像データ生成処理は、図１０Ｂに示すステップＳＴ２３へ移行する。

【0115】

図１０Ｂに示すステップＳＴ２３で、振れ補正部６２Ｃ２は、１フレームの振動情報埋め込み画像データをメモリ６４から読み出す。その後、振れ補正画像データ生成処理はステップＳＴ２４へ移行する。

【0116】

ステップＳＴ２４で、振れ補正部６２Ｃ２は、ステップＳＴ２３で読み出した振動情報埋め込み画像データに含まれている画素ライン振動情報の平均値を算出する。その後、振れ補正画像データ生成処理はステップＳＴ２５へ移行する。

【0117】

ステップＳＴ２５で、振れ補正部６２Ｃ２は、ステップＳＴ２４で算出した平均値に基づいて、振動情報埋め込み画像データに対して振れ補正処理を施して、振れ補正画像データを生成する。その後、振れ補正画像データ生成処理はステップＳＴ２６へ移行する。

【0118】

ステップＳＴ２６で、振れ補正部６２Ｃ２は、ステップＳＴ２５で生成した振れ補正画像データをメモリ６４に記憶する。その後、振れ補正画像データ生成処理はステップＳＴ２７へ移行する。

【0119】

ステップＳＴ２７で、振れ補正部６２Ｃ２は、振れ補正画像データの出力タイミングが到来したか否かを判定する。振れ補正画像データの出力タイミングは、フレーム出力期間で規定されたタイミングである。振れ補正画像データの出力タイミングが到来した場合には、判定が肯定されて、振れ補正画像データ生成処理はステップＳＴ２８へ移行する。振れ補正画像データの出力タイミングが到来していない場合には、判定が否定されて、振れ補正画像データ生成処理はステップＳＴ１０へ移行する。

【0120】

ステップＳＴ２８で、振れ補正部６２Ｃ２は、メモリ６４から振れ補正画像データを読み出し、出力回路６２Ｄを介して信号処理部５０へ出力する。その後、振れ補正画像データ生成処理はステップＳＴ２９へ移行する。

【0121】

ステップＳＴ２９で、振れ補正部６２Ｃ２は、振れ補正画像データ生成処理を終了する条件（以下、「振れ補正画像データ生成処理終了条件」と称する）を満足したか否かを判定する。振れ補正画像データ生成処理終了条件としては、例えば、振れ補正画像データ生成処理を終了させる指示が受付デバイス８４（図４参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ２９において、振れ補正画像データ生成処理終了条件を満足していない場合には、判定が否定されて、振れ補正画像データ生成処理はステップＳＴ１０へ移行する。ステップＳＴ２９において、振れ補正画像データ生成処理終了条件を満足した場合には、判定が肯定されて、振れ補正画像データ生成処理が終了する。

【0122】

以上説明したように、本第１実施形態に係る撮像素子４４によれば、撮像素子４４は、撮像素子４４によって撮像されることで得られたアナログ画像データに対してアナログ信号処理及びデジタル信号処理を行う処理回路６２と、処理回路６２によってアナログ画像データから変換されたデジタル画像データを記憶するメモリ６４とを有する。処理回路６２は、出力フレームレートによって規定されるフレーム出力期間内に、撮像素子４４に与えられた振動を示す振動情報を受け付ける。処理回路６２は、デジタル画像データを構成する複数ラインの画素ラインデータの各々の先頭に、画素ライン振動情報を埋め込み、画素ライン振動情報を埋め込んだ画素ラインデータをメモリ６４に記憶する。処理回路６２は、１つのフレーム出力期間中に４フレームの振動情報埋め込み画像データをメモリ６４に記憶し、フレーム出力期間の最後に記憶された１フレームの振動情報埋め込み画像データを出力する。従って、本構成によれば、デジタル画像データに同期した振動情報を含む振動情報埋め込み画像データを出力することができる。

【0123】

また、本第１実施形態に係る撮像素子４４によれば、処理回路６２は、複数ラインの画素ラインデータの各々に、対応する画素ライン振動情報を埋め込む。従って、各画素ラインの画素ラインデータに画素ライン振動情報が埋め込まれない場合に比べ、画素ラインデータと振動情報とを的確に同期させることができる。

【0124】

また、本第１実施形態に係る撮像素子４４によれば、処理回路６２は、複数ラインの画素ラインデータの先頭に、対応する画素ライン振動情報を埋め込む。従って、画素ラインデータの先頭に画素ライン振動情報が埋め込まれない場合に比べ、画素ライン振動情報を画素ラインデータから容易に取り出すことができる。

【0125】

また、本第１実施形態に係る撮像素子４４によれば、撮像素子４４は、少なくとも光電変換素子６１とメモリ６４とが１チップ化された撮像素子である。従って、光電変換素子６１とメモリ６４とが１チップ化されていない場合に比べ、撮像素子４４の小型化に寄与することができる。

【0126】

また、本第１実施形態に係る撮像素子４４によれば、撮像素子４４は、光電変換素子６１とメモリ６４とが積層された積層型撮像素子である。従って、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、光電変換素子６１とメモリ６４とを接続する配線を短くすることができるため、配線遅延を減らし、画像データの転送速度を速めることができる。

【0127】

また、本第１実施形態に係る撮像素子４４によれば、制御回路６２Ｃの振れ補正部６２Ｃ２は、フレーム出力期間内に、振動情報埋め込み画像データに付与されている画素ライン振動情報に基づいて、振動情報埋め込み画像データに対して振れ補正処理を行う。従って、撮像素子４４内で振れ補正処理が行われるので、振れ補正処理を別の後段回路で行う場合に比べ、撮像装置１０の小型化を図ることができる。

【0128】

また、本第１実施形態に係る撮像素子４４によれば、振れ補正部６２Ｃ２は、画素ライン振動情報の平均値を用いて振れ補正処理を行う。従って、画素ライン振動情報の平均値を用いない場合に比べ、精度良く振れ補正処理を行うことができる。

【0129】

なお、本第１実施形態では、振動情報として、角速度が用いられたが、本開示の技術はこれに限定されない。振動情報は、加速度、角度の積分値、加速度の積分値、及び振れ補正量のうちの少なくとも１つであってもよい。従って、振動情報が一種類の値である場合に比べ、振れ補正処理の仕様に合わせて最適な振動情報を埋め込むことができる。

【0130】

また、本第１実施形態では、振動情報埋め込み部６２Ｃ１は、各画素ラインデータの先頭に画素ライン振動情報を埋め込んだが、本開示の技術はこれに限定されない。画素ラインデータの末尾に画素ライン振動情報を埋め込むビット領域を予め用意しておき、振動情報埋め込み部６２Ｃ１は、各画素ラインデータの末尾に画素ライン振動情報を埋め込んでもよい。この場合にも、各画素ラインデータの先頭に画素ライン振動情報を埋め込む場合と同じ効果が得られる。

【0131】

また、本第１実施形態では、複数ラインの画素ラインデータの各々の先頭に、画素ライン振動情報を埋め込むためのビット領域が設けられているが、本開示の技術はこれに限定されない。複数ラインの画素ラインデータのうち、少なくとも１ラインの画素ラインデータの先頭に、画素ライン振動情報を埋め込むためのビット領域が設けられていればよい。この場合にも、少なくとも１ラインの画素ラインデータに振動情報が埋め込まれない場合に比べ、画素ラインデータと振動情報とを的確に同期させることができる。

【0132】

また、本第１実施形態では、振れ補正部６２Ｃ２は、振動情報の平均値を用いて振れ補正処理を行ったが、本開示の技術はこれに限定されない。振れ補正部６２Ｃ２は、振動情報の平均値の代わりに、振動情報の中央値、又は最頻値を用いて振れ補正処理を行ってもよい。この場合にも、画素ライン振動情報の平均値を用いて振れ補正処理を行うのと同じ効果が得られる。

【0133】

また、本第１実施形態では、各画素ラインは１ラインからなる水平画素ラインから構成されているが、本開示の技術はこれに限定されず、複数ラインからなる水平画素ラインから各画素ラインを構成してもよい。

【0134】

また、本第１実施形態では、振動センサ４７は、予め定められた露光期間の中央で、水平画素ライン単位で振動情報を取得したが、本開示の技術はこれに限定されない。振動センサ４７は、各画素ラインの露光期間とは非同期に振動情報を取得してもよい。この場合、振動情報埋め込み部６２Ｃ１は、振動情報を取得した期間に最も近い期間で露光された画素ラインについての画素ラインデータの先頭に、振動情報を埋め込んでもよい。この場合、振動情報が、振動情報の取得期間に最も近い露光期間を有する画素ラインについての画素ラインデータに埋め込まれない場合に比べ、振動情報の取得期間と画素ラインの露光期間とが的確に合った画素ラインデータに振動情報を埋め込むことができる。なお、各画素ラインの露光期間と、振動情報の取得期間は非同期であるので、この場合、全ての画素ラインデータに振動情報が埋め込まれなくてもよい。

【0135】

［第２実施形態］
一例として図１１に示すように、本第２実施形態に係る撮像装置１０では、ユーザがタッチパネル・ディスプレイ２６に表示されたライブビュー画像のうちの一部領域に指又はスタイラスペン等の指示体で接触することにより、精度良く振れ補正処理を行う領域を指定する。コントローラ４６は、一部領域指定情報を撮像素子４４へ出力する。一部領域指定情報とは、ライブビュー画像としてディスプレイ３２に表示されたデジタル画像データにおいて、ユーザによりタッチパネル３４を介して指定された一部領域の位置を示す情報であり、例えば、一部領域を構成する少なくとも１つの画素の位置を示す座標である。例えば、デジタル画像データにより示される画像の左上の画素を原点とした場合に、一部領域指定情報は、ユーザにより指定された画素の座標（Ｘ，Ｙ）である（図１４参照）。撮像素子４４は、一部領域指定情報により示される一部領域の位置に対応する画素ラインの露光中に取得された画素ライン振動情報に基づいて、振れ補正処理を行う。

【0136】

本第２実施形態による撮像素子４４の構成は、上記第１実施形態による撮像素子４４と同じであるので、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。

【0137】

一例として図１２に示すように、本第２実施形態による撮像装置１０では、記録用撮像モードにおいて、処理回路６２により取得されたデジタル画像データは、出力フレームレートで、出力回路６２Ｄを介して信号処理部５０へ出力される。信号処理部５０は、デジタル画像データに対して各種の信号処理を行い、第１通信Ｉ／Ｆ４６Ｄ１を介してＣＰＵ４６Ａへ出力する。ＣＰＵ４６Ａは、入力されたデジタル画像データをライブビュー画像としてタッチパネル・ディスプレイ２６に表示する。

【0138】

ユーザは、タッチパネル・ディスプレイ２６に表示されたライブビュー画像を見て画角を決定し、指示体を用いて、ライブビュー画像のうちの一部領域に接触する（図１１参照）。一部領域としては、ライブビュー画像に表示された特定被写体のうち、特に鮮明に撮像したい領域が選択される。例えば、特定被写体が人物である場合には、一部領域として人物の顔を含む領域が選択される。

【0139】

タッチパネル３４は、ディスプレイ３２に表示されたライブビュー画像のうちの一部領域に対する接触を検知する。タッチパネル３４は、検知した接触の位置を特定する情報を、一部領域指定情報として、ＣＰＵ４６Ａへ出力する。ＣＰＵ４６Ａは、一部領域指定情報を、第２通信Ｉ／Ｆ４６Ｄ２を介して撮像素子４４へ出力する。

【0140】

一例として図１３に示すように、制御回路６２Ｃは、コントローラ４６から入力された一部領域指定情報を受け付け、メモリ６４に記憶する。

【0141】

この後、ユーザは、決定された画角で撮像装置１０に対して撮像を行わせる。処理回路６２は、上記第１実施形態と同様に、撮像フレームレートで撮像を行い、水平画素ライン単位でデジタル画像データを取得する。さらに、制御回路６２Ｃは、撮像素子４４に与えられた振動を示す振動情報を水平画素ライン単位で受け付け、振動情報埋め込み部６２Ｃ１は、デジタル画像データを構成する複数ラインの画素ラインデータの各々の先頭に、画素ライン振動情報を埋め込む。振動情報埋め込み部６２Ｃ１は、画素ライン振動情報を埋め込んだ画素ラインデータを順次メモリ６４に記憶する。

【0142】

全ての画素ラインデータをメモリ６４に記憶すると、振れ補正部６２Ｃ２は、１フレームの振動情報埋め込み画像データと、一部領域指定情報とをメモリ６４から読み出す。振れ補正部６２Ｃ２は、一部領域指定情報に含まれる座標（Ｘ，Ｙ）のＹ座標に基づいて、ユーザにより指定された一部領域に対応する画素ラインを特定する。

【0143】

一例として図１４に示すように、一部領域指定情報に含まれる座標（Ｘ，Ｙ）が、振動情報埋め込み画像データの第５画素ラインに相当する場合、振れ補正部６２Ｃ２は、第５画素ラインデータの先頭に埋め込まれた第５画素ライン振動情報を読み出す。ここで、第５画素ライン振動情報は、ユーザにより指定された一部領域に対応する第５画素ラインの露光期間に、振動センサ４７によって取得された振動情報である。振れ補正部６２Ｃ２は、第５画素ライン振動情報に基づいて、振動情報埋め込み画像データに対して振れ補正処理を行い、振れ補正処理によって生成された振れ補正画像データをメモリ６４に記憶する。

【0144】

なお、本第２実施形態では、ユーザが撮像を行う前に一部領域を指定したが、ユーザによって一部領域が指定されない場合もあり得る。この場合には、一例として図１５に示すように、制御回路６２Ｃは、撮像素子４４に含まれる複数の画素ラインのうち、撮像素子４４の中央に位置する中央画素ラインを特定する。図１５に示す例では、１フレームのデジタル画像データは、第１画素ラインデータから第１５画素ラインデータを含む１５ラインの画素ラインデータから構成されているので、第８画素ラインが中央画素ラインとして特定される。制御回路６２Ｃは、第８画素ラインデータの先頭に埋め込まれた第８画素ライン振動情報を読み出す。ここで、第８画素ラインデータは、中央画素ラインである第８画素ラインの露光期間に、振動センサ４７によって取得された振動情報である。

【0145】

振れ補正部６２Ｃ２は、第８画素ライン振動情報に基づいて、振動情報埋め込み画像データに対して振れ補正処理を行い、振れ補正処理によって生成された振れ補正画像データをメモリ６４に記憶する。

【0146】

次に、本第２実施形態に係る撮像素子４４の作用について説明する。撮像素子４４の処理回路６２によってフレーム出力期間内に実行される振れ補正画像データ生成処理について、図１０Ａ及び図１６を参照しながら説明する。

【0147】

図１０Ａに示す振れ補正画像データ生成処理に含まれるステップＳＴ１０からステップＳＴ２２の処理は、上記第１実施形態で説明した処理と同じであるので、その説明を省略する。また、図１６に示す振れ補正画像データ生成処理に含まれるステップＳＴ２３の処理、及びステップＳＴ２６からステップＳＴ２９の処理は、上記第１実施形態で説明した処理と同じであるので、その説明を省略する。以下、上記第１実施形態との相違点のみを説明する。

【0148】

図１６に示すステップＳＴ３０で、振れ補正部６２Ｃ２は、ユーザにより、一部領域が指定されているか否かを判定する。一部領域が指定されている場合には、メモリ６４に一部領域指定情報が記憶されているので、制御回路６２Ｃは一部領域指定情報の有無を確認することで、一部領域が指定されているか否かを判定することができる。ステップＳＴ３０において、一部領域が指定されている場合には、判定が肯定されて、振れ補正画像データ生成処理はステップＳＴ３１へ移行する。ステップＳＴ３０において、一部領域が指定されていない場合には、判定が否定されて、振れ補正画像データ生成処理はステップＳＴ３３へ移行する。

【0149】

ステップＳＴ３１で、振れ補正部６２Ｃ２は、一部領域指定情報をメモリ６４から読み出す。その後、振れ補正画像データ生成処理はステップＳＴ３２へ移行する。

【0150】

ステップＳＴ３２で、振れ補正部６２Ｃ２は、一部領域指定情報で指定された画素を含む画素ラインを特定する。一部領域指定情報は、例えば、ユーザにより指定された画素の座標（Ｘ，Ｙ）であり、振れ補正部６２Ｃ２は、座標（Ｘ，Ｙ）のＹ座標に基づいて、ユーザにより指定された一部領域に対応する画素ラインを特定する。その後、振れ補正画像データ生成処理はステップＳＴ３４へ移行する。

【0151】

一方、ステップＳＴ３３で、振れ補正部６２Ｃ２は、撮像素子４４の中央に位置する中央画素ラインを特定する。その後、振れ補正画像データ生成処理はステップＳＴ３４へ移行する。

【0152】

ステップＳＴ３４で、振れ補正部６２Ｃ２は、特定された画素ラインの画素ラインデータに含まれる画素ライン振動情報を用いて、振動情報埋め込み画像データに対して振れ補正処理を行う。すなわち、ステップＳＴ３０で一部領域が指定されている場合には、ステップＳＴ３２において、一部領域指定情報で指定された画素を含む画素ラインが特定されている。従って、振れ補正部６２Ｃ２は、一部領域指定情報で指定された画素を含む画素ラインの画素ラインデータに含まれる画素ライン振動情報を用いて、振れ補正処理を行う。一方、ステップＳＴ３０で一部領域が指定されていなかった場合には、ステップＳＴ３３において、中央画素ラインが特定されている。従って、振れ補正部６２Ｃ２は、中央画素ラインの画素ラインデータに含まれる画素ライン振動情報を用いて、振れ補正処理を行う。その後、振れ補正画像データ生成処理はステップＳＴ２６へ移行する。

【0153】

以上説明したように、本第２実施形態に係る撮像素子４４によれば、制御回路６２Ｃは、デジタル画像データのうちの一部領域を指定する一部領域指定情報を受け付ける。制御回路６２Ｃは、撮像素子４４に含まれる複数の画素ラインのうち、一部領域に対応する画素ラインの画素ラインデータの先頭に埋め込まれた画素ライン振動情報を読み出して、振れ補正処理に用いる。振れ補正処理に用いられる画素ライン振動情報は、一部領域に対応する画素ラインの露光期間に、振動センサ４７によって取得された画素ライン振動情報である。従って、撮像素子４４に含まれる複数の画素ラインのうち、ユーザが意図する画素ラインに対応する画素ライン振動情報に基づいて振れ補正処理を行うことができる。

【0154】

また、本第２実施形態に係る撮像素子４４によれば、一部領域指定情報が受け付けられなかった場合、制御回路６２Ｃは、撮像素子４４に含まれる複数の画素ラインのうち、撮像素子４４の中央に位置する中央画素ラインの露光期間における画素ライン振動情報を受け付ける。制御回路６２Ｃは、中央画素ラインの画素ラインデータの先頭に埋め込まれた画素ライン振動情報を読み出して、振れ補正処理に用いる。従って、中央画素ラインの露光期間における画素ライン振動情報が受け付けられない場合に比べ、振動情報とデジタル画像データとを的確に同期させることができる。

【0155】

なお、本第２実施形態では、一部領域指定情報は、一部領域を構成する少なくとも１つの画素の座標（Ｘ，Ｙ）であったが、本開示の技術はこれに限定されない。一部領域指定情報は、デジタル画像データが示す画像の左上の画素から、一部領域を構成する少なくとも１つの画素までのＸ軸方向及びＹ軸方向、各々の画素数であってもよい。

【0156】

また、本第２実施形態では、デジタル画像データが示す画像の左上の画素を原点として一部領域指定情報を表したが、本開示の技術はこれに限定されず、画像の他の画素を原点としてもよく、また画像の中央の画素を原点としてもよい。

【0157】

また、本第２実施形態では、一部領域として１つの画素が指定されたが、本開示の技術はこれに限定されず、一部領域は２つ以上の画素を含んでいてもよい。この結果、一部領域に対応する画素ラインが複数になる場合には、振れ補正部６２Ｃ２は、一部領域に対応する複数の画素ラインの画素ラインデータに含まれる画素ライン振動情報の平均値、中央値、又は最頻値を用いて、振動情報埋め込み画像データに対して振れ補正処理を行ってもよい。

【0158】

［第３実施形態］
一例として図１７に示すように、本第３実施形態に係る撮像素子４４では、制御回路６２Ｃが、比較部６２Ｃ３を有する。比較部６２Ｃ３は、振動情報の値に応じて、振動情報を画素ラインデータに埋め込むか否かを決定する。第３実施形態による撮像素子４４のその他の構成は、上記第１実施形態による撮像素子４４と同じであるので、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。

【0159】

比較部６２Ｃ３には、振動情報と比較するための閾値が予め定められている。閾値は、固定値であっても、可変値であってもよい。本第３実施形態では、振動情報は撮像素子４４に与えられた振動を示す角速度であるので、比較部６２Ｃ３には、角速度に対する閾値が予め設けられている。また、撮像装置１０の光学ズーム倍率が大きくなればなるほど、撮像素子４４に与えられる振動による画像データの振れは大きくなるので、閾値は、撮像装置１０の光学ズーム倍率に応じて定められてもよい。

【0160】

一例として図１８に示すように、閾値は、プラスの値とマイナスの値を含む絶対値である。比較部６２Ｃ３は、振動センサ４７により検出された振動情報を取得する。比較部６２Ｃ３は、水平画素ライン単位で、取得した振動情報を閾値と比較する。比較部６２Ｃ３は、振動情報が閾値を超えた場合に、振動情報を振動情報埋め込み部６２Ｃ１に出力する。振動情報埋め込み部６２Ｃ１は、比較部６２Ｃ３から入力された振動情報を、対応する画素ラインデータに埋め込む。

【0161】

図１８に示す例では、比較部６２Ｃ３は、水平画素ライン単位で、振動情報を閾値と比較する。第１画素ラインから第３画素ラインの露光中に振動センサ４７によって取得された第１画素ライン振動情報から第３画素ライン振動情報は、閾値よりも小さい。この場合、比較部６２Ｃ３は、画素ライン振動情報が閾値よりも小さいと判断して、画素ライン振動情報を振動情報埋め込み部６２Ｃ１へ出力しない。

【0162】

一方、第４画素ラインの露光中に振動センサ４７によって取得された振動情報である第４画素ライン振動情報は、閾値よりも大きい。比較部６２Ｃ３は、第４画素ライン振動情報が閾値よりも大きいと判断して、第４画素ライン振動情報を振動情報埋め込み部６２Ｃ１へ出力する。振動情報埋め込み部６２Ｃ１は、入力された第４画素ライン振動情報を第４画素ラインデータに埋め込み、第４画素ライン振動情報を埋め込んだ第４画素ラインデータをメモリ６４の対応する記憶領域に記憶する。

【0163】

同様に、第６画素ラインの露光中に振動センサ４７によって取得された振動情報である第６画素ライン振動情報も、閾値よりも大きい。比較部６２Ｃ３は、第６画素ライン振動情報が閾値よりも大きいと判断して、第６画素ライン振動情報を振動情報埋め込み部６２Ｃ１へ出力する。振動情報埋め込み部６２Ｃ１は、入力された第６画素ライン振動情報を第６画素ラインデータに埋め込み、第６画素ライン振動情報を埋め込んだ第６画素ラインデータをメモリ６４の対応する記憶領域に記憶する。

【0164】

従って、本第３実施形態による振動情報埋め込み画像データでは、露光中に、閾値よりも大きい振動情報が取得された画素ラインの画素ラインデータにのみ、画素ライン振動情報が埋め込まれている。

【0165】

全ての画素ラインについて、比較部６２Ｃ３は、振動情報と閾値とを比較し、振動情報埋め込み部６２Ｃ１は、閾値よりも大きい振動情報を埋め込んだ画素ラインデータをメモリ６４に記憶すると、振れ補正部６２Ｃ２は、メモリ６４から１フレームの振動情報埋め込み画像データを読み出す。振れ補正部６２Ｃ２は、振動情報埋め込み画像データに埋め込まれた画素ライン振動情報の平均値を算出し、平均値を用いて、振動情報埋め込み画像データに対して振れ補正処理を行う。振れ補正部６２Ｃ２は、振れ補正処理によって生成した振れ補正画像データをメモリ６４に記憶する。

【0166】

次に、本第３実施形態に係る撮像素子４４の作用について説明する。ここでは、撮像素子４４の処理回路６２によってフレーム出力期間内に実行される振れ補正画像データ生成処理について、図１９及び図１０Ｂを参照しながら説明する。

【0167】

図１９に示す振れ補正画像データ生成処理に含まれるステップＳＴ１０からステップＳＴ１６の処理、及びステップＳＴ１８からステップＳＴ２２の処理は、上記第１実施形態で説明した図１０Ａに示す処理と同じであるので、その説明を省略する。また、図１０Ｂに示す振れ補正画像データ生成処理に含まれるステップＳＴ２３からステップＳＴ２９の処理は、上記第１実施形態で説明した処理と同じであるのでその説明を省略する。以下、上記第１実施形態との相違点のみを説明する。

【0168】

ステップＳＴ４０で、比較部６２Ｃ３は、第ｎ－１画素ライン振動情報を閾値と比較する。その後、振れ補正画像データ生成処理は、ステップＳＴ４１へ移行する。

【0169】

ステップＳＴ４１で、比較部６２Ｃ３は、第ｎ－１画素ライン振動情報が閾値よりも大きいか否かを判定する。ステップＳＴ４１において、第ｎ－１画素ライン振動情報が閾値よりも大きい場合には、判定が肯定されて、振れ補正画像データ生成処理はステップＳＴ４２へ移行する。ステップＳＴ４１において、第ｎ－１画素ライン振動情報が閾値以下の場合には、判定が否定されて、振れ補正画像データ生成処理はステップＳＴ４３へ移行する。

【0170】

ステップＳＴ４２で、比較部６２Ｃ３は、第ｎ－１画素ライン振動情報を振動情報埋め込み部６２Ｃ１へ出力し、振動情報埋め込み部６２Ｃ１は、入力された第ｎ－１画素ライン振動情報を第ｎ－１画素ラインデータに埋め込む。その後、振れ補正画像データ生成処理は、ステップＳＴ４３へ移行する。

【0171】

ステップＳＴ４３で、振動情報埋め込み部６２Ｃ１は、第ｎ－１画素ラインデータをメモリ６４に記憶する。その後、振れ補正画像データ生成処理はステップＳＴ１８へ移行する。

【0172】

以上説明したように、本第３実施形態に係る撮像素子４４によれば、制御回路６２Ｃは、振動情報の値に応じて、振動情報をデジタル画像データに埋め込むか否かを決定する。従って、振動情報がデジタル画像データに常に埋め込まれる場合に比べ、振動情報を埋め込む処理負荷を軽減することができる。

【0173】

また、本第３実施形態に係る撮像素子４４によれば、制御回路６２Ｃは、振動情報が予め定められた閾値を超えた場合に、振動情報を対応する画素ラインデータに埋め込む。従って、閾値を超えた振動情報だけが画素ラインデータに埋め込まれるので、振動情報が全ての画素ラインの画素ラインデータに埋め込まれる場合に比べ、振動情報を埋め込む処理負荷を軽減することができる。

【0174】

なお、上記第３実施形態では、図１８において、振動情報が連続的なアナログのデータとして描かれているが、本開示の技術はこれに限定されない。振動センサ４７は、画素ラインの露光時間に同期して、水平画素ライン毎に１つ又は複数の振動情報の値を取得し、比較部６２Ｃ３は、取得された振動情報の値を閾値と比較してもよい。

【0175】

また、本第３実施形態では、閾値は、撮像素子４４に与えられた角速度に対する値であったが、本開示の技術はこれに限定されない。振動情報として、加速度、角度の積分値、加速度の積分値、又は振れ補正量が採用される場合には、各々の種類に応じた値が閾値として設けられる。

【0176】

［第４実施形態］
一例として図２０に示すように、本第４実施形態に係る撮像装置１０は、光学式振れ補正機構９６を備えている。光学式振れ補正機構９６は、撮像装置１０に与えられる振動を打ち消す方向に撮像レンズ４０を変位させることで、撮像装置１０によって撮像されることで得られる画像の振れを補正する。ここでは、光学式振れ補正機構９６として、いわゆるＯＩＳが採用されている。本第４実施形態による撮像装置１０のその他の構成は、上記第１実施形態による撮像装置１０と同じであるので、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。

【0177】

一例として図２１に示すように、本第４実施形態に係る撮像素子４４は、制御回路６２Ｃに比較部６２Ｃ３と、画像合成部６２Ｃ４とを備えている点で、上記第１実施形態による撮像素子４４と異なっている。本第４実施形態による撮像素子４４のその他の構成は、上記第１実施形態による撮像素子４４と同じであるので、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。

【0178】

本第４実施形態による撮像素子４４では、静止画像記録用撮像モードにおいて、処理回路６２は、出力フレームレートよりも高い高速撮像フレームレートで、複数フレームの画像データを取得する。処理回路６２は、複数フレームの画像データの各々に対して、振れ補正処理を含む画像データ処理を行った後、複数フレームの画像データを合成して、必要な露光量を有する１フレームの画像データを生成する。図２１に示す例では、４フレームの画像データを合成して１フレームの合成画像データを生成するので、高速撮像フレームレートは、標準的な露光量を有する１フレームの画像データを生成する場合の撮像フレームレートの１／４に設定されている。ここで、高速撮像フレームレートは、本開示の技術に係る「第２フレームレート」の一例である。

【0179】

制御回路６２Ｃは、画像データ処理を行う。詳しくは、後述するが、画像データ処理は、取得処理、受付処理、生成処理、及び振れ補正処理を含む。ここで、取得処理は、本開示の技術に係る「取得処理」の一例であり、受付処理は、本開示の技術に係る「受付処理」の一例であり、生成処理は、本開示の技術に係る「生成処理」の一例であり、振れ補正処理は、本開示の技術に係る「振れ補正処理」の一例である。

【0180】

取得処理は、デジタル処理回路６２Ｂからデジタル画像データを取得する処理である。受付処理は、振動センサ４７から入力された振動情報を、フレーム単位で受け付ける処理である。生成処理は、入力された振動情報を画像データに埋め込んで、振動情報埋め込み画像データを生成する処理である。振れ補正処理は、振動情報に基づいて、埋め込み画像データに対して振れ補正を行う処理である。

【0181】

比較部６２Ｃ３は、予め定められた閾値を有する。比較部６２Ｃ３は、入力された振動情報を閾値と比較する。本第４実施形態において、振動情報は撮像素子４４に与えられた振動を示す角速度であるので、比較部６２Ｃ３には、角速度に対する閾値が予め設けられている。また、一例として図２２に示すように、閾値は、プラスの値とマイナスの値を含む絶対値である。

【0182】

一例として図２２に示す例では、第１、第２、及び第４フレームで、入力された振動情報が閾値よりも小さい。この場合、比較部６２Ｃ３は、振動情報を振動情報埋め込み部６２Ｃ１に出力しない。振動情報埋め込み部６２Ｃ１は、対応する振動情報を埋め込まずに、第１、第２、及び第４フレームのデジタル画像データを、第１、第２、及び第４フレーム画像データとしてメモリ６４に記憶する。

【0183】

図２２に示す例では、第３フレームで、撮像素子４４に大きな振動が与えられている。第３フレームの画像データは、光学式振れ補正機構９６により、撮像レンズ４０に含まれる防振レンズ（図示省略）が、撮像素子４４に対して与えられた振動の方向と反対の方向に変位した状態で、撮像素子４４によって撮像されることで得られた画像データである。図２２において、第３フレーム画像データの右側及び下側に示されたハッチング部分は、光学式振れ補正機構９６による撮像レンズ４０の変位量を示す。

【0184】

さらに、第３フレームでは、入力された振動情報が閾値を超えているので、比較部６２Ｃ３は、振動情報を振動情報埋め込み部６２Ｃ１に出力する。ここで、振動情報埋め込み部６２Ｃ１は、生成処理を行う。生成処理は、入力された振動情報を第３フレーム画像データに埋め込んで、第３フレーム振動情報埋め込み画像データを生成する処理である。振動情報埋め込み部６２Ｃ１は、第３フレーム振動情報埋め込み画像データをメモリ６４に記憶する。

【0185】

振れ補正部６２Ｃ２は、振れ補正処理を行う。振れ補正処理は、第３フレーム振動情報埋め込み画像データをメモリ６４から読み出して、第３フレーム振動情報埋め込み画像データに対して振れ補正を行う処理である。すなわち、振れ補正処理は、第３フレーム振動情報埋め込み画像データに埋め込まれている振動情報に基づいて、第３フレーム画像データに対する振れを補正する処理である。振れ補正部６２Ｃ２は、振れ補正処理によって生成された第３フレーム振れ補正画像データを、メモリ６４の第３フレーム振動情報埋め込み画像データの記憶領域に上書きして記憶する。以下、第１、第２、及び第４フレーム画像データと第３フレーム振れ補正画像データとを区別して説明する必要がない場合、単に「合成用画像データ」と称する。

【0186】

画像合成部６２Ｃ４は、フレーム出力期間内に、メモリ６４から合成用画像データを読み出し、合成することによって、１フレームの合成画像データを生成する。合成画像データは、必要な露光量を有する１フレームの画像データである。ここで、合成画像データは、本開示の技術に係る「第３画像データ」の一例である。

【0187】

出力回路６２Ｄは、メモリ６４から合成画像データを読み出して、信号処理部５０に出力する。

【0188】

次に、本第４実施形態に係る撮像素子４４の作用について説明する。ここでは、撮像素子４４の処理回路６２によってフレーム出力期間内に実行される合成画像データ生成処理について、図２３Ａ及び図２３Ｂを参照しながら説明する。

【0189】

図２３Ａ及び図２３Ｂに示す合成画像データ生成処理では、先ず、ステップＳＴ５０で、比較部６２Ｃ３は、撮像タイミングが到来したか否かを判定する。ステップＳＴ５０において、撮像タイミングが到来していない場合には、判定が否定されて、合成画像データ生成処理はステップＳＴ６４へ移行する。ステップＳＴ５０において、撮像タイミングが到来した場合には、判定が肯定されて、合成画像データ生成処理はステップＳＴ５１へ移行する。

【0190】

ステップＳＴ５１で、比較部６２Ｃ３は、変数ｎを１に設定する。その後、合成画像データ生成処理はステップＳＴ５２へ移行する。

【0191】

ステップＳＴ５２で、比較部６２Ｃ３は、読出回路６２Ａ及びデジタル処理回路６２Ｂを制御することにより、第ｎフレーム画像データを取得する。制御回路６２Ｃは、取得した第ｎフレーム画像データを振動情報埋め込み部６２Ｃ１に出力する。その後、合成画像データ生成処理はステップＳＴ５３へ移行する。

【0192】

ステップＳＴ５３で、比較部６２Ｃ３は、第ｎフレーム画像データに関する露光中に振動センサ４７によって検出された振動情報を取得する。以後、第ｎフレーム画像データに関する露光中に振動センサ４７によって検出された振動情報を「第ｎフレーム振動情報」と称する。その後、合成画像データ生成処理はステップＳＴ５４へ移行する。

【0193】

ステップＳＴ５４で、比較部６２Ｃ３は、第ｎフレーム振動情報が予め定められた閾値より大きいか否かを判定する。ステップＳＴ５４において、第ｎフレーム振動情報が閾値以下の場合には、判定が否定されて、合成画像データ生成処理はステップＳＴ５６へ移行する。ステップＳＴ５４において、第ｎフレーム振動情報が閾値より大きい場合には、判定が肯定されて、合成画像データ生成処理は、ステップＳＴ５５へ移行する。

【0194】

ステップＳＴ５５で、比較部６２Ｃ３は、第ｎフレーム振動情報を振動情報埋め込み部６２Ｃ１に出力する。振動情報埋め込み部６２Ｃ１は、第ｎフレーム振動情報を第ｎフレーム画像データに埋め込んで第ｎフレーム振動情報埋め込み画像データを生成する。その後、合成画像データ生成処理はステップＳＴ５６へ移行する。

【0195】

ステップＳＴ５６で、振動情報埋め込み部６２Ｃ１は、第ｎフレーム画像データ又は第ｎフレーム振動情報埋め込み画像データをメモリ６４に記憶する。ステップＳＴ５４で、第ｎフレーム振動情報が閾値以下であると判定された場合には、振動情報は第ｎフレーム画像データに埋め込まれないので、振動情報埋め込み部６２Ｃ１は、振動情報を含まない第ｎフレーム画像データをメモリ６４に記憶する。一方、ステップＳＴ５４で、第ｎフレーム振動情報が閾値を超えていると判断された場合には、ステップＳＴ５５で振動情報が第ｎフレーム画像データに埋め込まれるので、振動情報埋め込み部６２Ｃ１は、第ｎフレーム振動情報埋め込み画像データをメモリ６４に記憶する。その後、合成画像データ生成処理はステップＳＴ５７へ移行する。

【0196】

ステップＳＴ５７で、振れ補正部６２Ｃ２は、ステップＳＴ５６でメモリ６４に記憶された第ｎフレーム画像データ又は第ｎフレーム振動情報埋め込み画像データを、メモリ６４から読み出す。その後、合成画像データ生成処理はステップＳＴ５８へ移行する。

【0197】

ステップＳＴ５８で、振れ補正部６２Ｃ２は、メモリ６４から読み出した画像データが振動情報を含んでいるか否かを判断する。ステップＳＴ５８において、メモリ６４から読み出した画像データが第ｎフレーム画像データの場合には、振動情報を含んでいないので、判定が否定されて、合成画像データ生成処理はステップＳＴ６１へ移行する。ステップＳＴ５８において、メモリ６４から読み出した画像データが第ｎフレーム振動情報埋め込み画像データの場合には、振動情報を含んでいるので、判定が肯定されて、合成画像データ生成処理はステップＳＴ５９へ移行する。

【0198】

ステップＳＴ５９で、振れ補正部６２Ｃ２は、第ｎフレーム振動情報埋め込み画像データに含まれている振動情報に基づいて、第ｎフレーム振動情報埋め込み画像データに対して振れ補正処理を行う。その後、合成画像データ生成処理はステップＳＴ６０へ移行する。

【0199】

ステップＳＴ６０で、振れ補正部６２Ｃ２は、ステップＳＴ５９において振れ補正処理を行うことで生成された第ｎフレーム振れ補正画像データをメモリ６４に記憶する。その後、合成画像データ生成処理はステップＳＴ６１へ移行する。

【0200】

ステップＳＴ６１で、処理回路６２は、変数ｎが４であるか否かを判定する。ステップＳＴ６１において、変数ｎが４である場合には、判定が肯定されて、合成画像データ生成処理はステップＳＴ６３へ移行する。ステップＳＴ６１において、変数ｎが４でない場合には、判定が否定されて、合成画像データ生成処理はステップＳＴ６２へ移行する。

【0201】

ステップＳＴ６２で、処理回路６２は、変数ｎを１だけ増加させる。その後、合成画像データ生成処理はステップＳＴ５２へ移行する。従って、変数ｎを１から４まで変化させながら、ステップＳＴ５２からステップＳＴ６０の処理が繰り返し実行される。

【0202】

ステップＳＴ６３で、画像合成部６２Ｃ４は、４フレームの合成用画像データをメモリ６４から読み出す。その後、合成画像データ生成処理はステップＳＴ６４へ移行する。

【0203】

ステップＳＴ６４で、画像合成部６２Ｃ４は、４フレームの合成用画像データに対して画像合成処理を行う。その後、合成画像データ生成処理はステップＳＴ６５へ移行する。

【0204】

ステップＳＴ６５で、画像合成部６２Ｃ４は、ステップＳＴ６４において生成された合成画像データをメモリ６４に記憶する。その後、合成画像データ生成処理はステップＳＴ６６へ移行する。

【0205】

ステップＳＴ６６で、画像合成部６２Ｃ４は、合成画像データをメモリ６４から読み出して、読み出した合成画像データを、出力回路６２Ｄを介して信号処理部５０に出力する。その後、合成画像データ生成処理はステップＳＴ６７へ移行する。

【0206】

ステップＳＴ６７で、画像合成部６２Ｃ４は、合成画像データ生成処理を終了する条件（以下、「合成画像データ生成処理終了条件」と称する）を満足したか否かを判定する。合成画像データ生成処理終了条件としては、例えば、合成画像データ生成処理を終了させる指示が受付デバイス８４（図４参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ６７において、合成画像データ生成処理終了条件を満足していない場合には、判定が否定されて、合成画像データ生成処理はステップＳＴ５０へ移行する。ステップＳＴ６７において、合成画像データ生成処理終了条件を満足した場合には、判定が肯定されて、合成画像データ生成処理が終了する。

【0207】

以上説明したように、本第４実施形態による撮像素子４４によれば、処理回路６２は、出力フレームレートよりも高い高速撮像フレームレートで撮像されたデジタル画像データに対して画像データ処理を行う。画像データ処理は、デジタル画像データを取得する取得処理と、振動情報を受け付ける受付処理と、振動情報をデジタル画像データに埋め込むことで振動情報埋め込み画像データを生成する生成処理と、振動情報埋め込み画像データに埋め込まれている振動情報に基づいて、振動情報埋め込み画像データに対する振れを補正する振れ補正処理と、を含む。従って、高速撮像フレームレートで撮像されることで得られたデジタル画像データに対して、振れ補正処理を含む画像データ処理を行うことができる。

【0208】

また、本第４実施形態による撮像素子４４によれば、処理回路６２は、フレーム出力期間内に、振れ補正処理後の複数フレームの合成用画像データを合成することで、１フレームの合成画像データを生成して出力する。従って、複数フレームの合成用画像データが合成されない場合に比べ、品質の良い画像データを出力することができる。

【0209】

なお、上記第４実施形態では、図２２において、振動情報が連続的なアナログのデータとして描かれているが、本開示の技術はこれに限定されない。振動センサ４７は、各フレームの露光時間に同期して、フレーム単位で１つ又は複数の振動情報の値を取得し、比較部６２Ｃ３は、取得された振動情報の値を閾値と比較してもよい。

【0210】

また、本第４実施形態では、予め定められた閾値を有する比較部６２Ｃ３が処理回路６２に備えられており、比較部６２Ｃ３によって振動情報が閾値を超えたと判定された場合に、振動情報埋め込み部６２Ｃ１が、振動情報を、対応するデジタル画像データに埋め込んだが、本開示の技術はこれに限定されない。振動情報埋め込み部６２Ｃ１は、上記第１実施形態と同様に、振動情報をフレーム単位で取得し、振動情報の大小に関わらず、取得した振動情報を、対応するデジタル画像データに埋め込んでもよい。

【0211】

また、本第４実施形態では、閾値は、撮像素子４４に与えられた角速度に対する値であったが、本開示の技術はこれに限定されない。振動情報として、加速度、角度の積分値、加速度の積分値、又は振れ補正量が採用される場合には、各々の種類に応じた値が閾値として設けられる。

【0212】

また、本第４実施形態では、撮像装置１０に光学式振れ補正機構９６が設けられているが、本開示の技術はこれに限定されず、光学式振れ補正機構９６を設けなくてもよい。

【0213】

［第５実施形態］
本第５実施形態に係る撮像装置１０は、上記第１実施形態に係る撮像素子４４と同様の撮像素子４４を備えている。但し、本第５実施形態による撮像素子４４の制御回路６２Ｃは振れ補正部６２Ｃ２を備えておらず（図７参照）、処理回路６２は、振動情報に基づく振れ補正処理を行わない。処理回路６２は、振動情報埋め込み画像データを後段の信号処理部５０を介してコントローラ４６に出力する。本第５実施形態に係る撮像素子４４のその他の構成は、上記第１実施形態に係る撮像素子４４と同じであるので、その説明を省略する。

【0214】

一例として図２４に示すように、第５実施形態による撮像装置１０において、ストレージ４６Ｂには、振れ補正画像データ生成プログラムが記憶されている。ＣＰＵ４６Ａは、ストレージ４６Ｂから振れ補正画像データ生成プログラムを読み出し、読み出した振れ補正画像データ生成プログラムをメモリ４６Ｃ上で実行する。ＣＰＵ４６Ａは、メモリ４６Ｃ上で実行する振れ補正画像データ生成プログラムに従って画像データ取得部４６Ａ１、特定被写体検出部４６Ａ２、特定被写体位置情報取得部４６Ａ３、及び振れ補正部４６Ａ４として動作する。ＣＰＵ４６Ａは、画像データ取得部４６Ａ１、特定被写体検出部４６Ａ２、特定被写体位置情報取得部４６Ａ３、及び振れ補正部４６Ａ４として動作することで、振れ補正画像データ生成処理を実行する。ここで、ＣＰＵ４６Ａは、本開示の技術に係る「第２プロセッサ」の一例である。

【0215】

画像データ取得部４６Ａ１は、撮像素子４４のメモリ６４に記憶された振動情報埋め込み画像データを出力回路６２Ｄ、信号処理部５０、及び第１通信Ｉ/Ｆ４６Ｄ１を介して取得する。一例として図２５に示すように、振動情報埋め込み画像データは複数ラインの画素ラインデータを含み、複数ラインの画素ラインデータの各々の先頭には、各画素ラインの露光期間に取得された振動情報が埋め込まれている。振動情報埋め込み画像データ及び振動情報については、上記第１実施形態で説明したので、ここでは説明を省略する。

【0216】

特定被写体検出部４６Ａ２は、振動情報埋め込み画像データに基づいて、特定被写体を検出する。ここでは、特定被写体を検出する方法として、パターンマッチングが採用されている。なお、ここで、特定被写体は、本開示の技術に係る「特定被写体」の一例である。

【0217】

特定被写体位置情報取得部４６Ａ３は、特定被写体検出部４６Ａ２で検出された特定被写体を含む領域の位置情報を、特定被写体位置情報として取得する。図２５に示す例では、人物の顔が特定被写体として特定被写体検出部４６Ａ２により検出されており、特定被写体を囲む矩形の領域がハッチングで示されている。特定被写体位置情報取得部４６Ａ３は、ハッチングで示された領域の位置情報を、特定被写体位置情報として取得する。特定被写体位置情報は、矩形領域の対角線上にある２つの画素、例えば、左上と右下の画素の座標である。ここで、特定被写体位置情報は、本開示の技術に係る「特定被写体位置情報」の一例である。

【0218】

振れ補正部４６Ａ４は、振動情報埋め込み画像データと、特定被写体位置情報とを取得し、特定被写体位置情報に基づいて、特定被写体の位置が複数の画素ラインのうちのどの画素ラインに対応しているかを検出する。例えば、図２５に示す例では、特定被写体の位置は、第３画素ラインから第７画素ラインに対応している。

【0219】

この場合、振れ補正部４６Ａ４は、振動情報埋め込み画像データから、第３～第７画素ラインデータの先頭に埋め込まれた第３～第７画素ライン振動情報を取得し、第３～第７画素ライン振動情報の平均値を算出する。振れ補正部４６Ａ４は、算出した平均値に基づいて、振動情報埋め込み画像データに対して振れ補正処理を行う。

【0220】

以上説明したように、本第５実施形態による撮像装置１０は、撮像素子４４と、撮像素子４４の後段に設けられ、撮像素子４４から振動情報埋め込み画像データが入力されるＣＰＵ４６Ａとを備える。振動情報埋め込み画像データは、複数ラインの画素ラインデータを含み、複数ラインの画素ラインデータの各々の先頭に振動情報が埋め込まれている。特定被写体位置情報取得部４６Ａ３は、振動情報埋め込み画像データに基づいて、特定被写体の位置を示す特定被写体位置情報を取得する。振れ補正部４６Ａ４は、複数ラインの画素ラインデータのうち、特定被写体位置情報に対応する画素ラインに埋め込まれている振動情報に基づいて、振動情報埋め込み画像データに対して振れ補正処理を行う。従って、振れ補正処理が後段回路のＣＰＵ４６Ａで行われるので、振れ補正処理が撮像素子４４内の処理回路６２で行われる場合に比べ、処理回路６２の負荷を軽減することができる。

【0221】

なお、本第５実施形態では、特定被写体を検出する方法として、パターンマッチングが用いられたが、本開示の技術はこれに限定されない。特定被写体検出部４６Ａ２は、画像のコントラスト又は機械学習を用いて特定被写体を検出してもよい。

【0222】

また、本第５実施形態では、特定被写体位置情報は、矩形領域の対角線上にある２つの画素、例えば、左上と右下の画素の座標であったが、本開示の技術はこれに限定されない。特定被写体位置情報は、矩形領域の対角線上にある左下と右上の画素の座標であってもよい。また、特定被写体位置情報は、矩形領域の左上の画素の座標、及び矩形領域の４辺のうちの隣り合う２辺各々の画素数であってもよい。

【0223】

また、本第５実施形態では、特定被写体位置情報は、矩形ではなく、円形又は楕円形等、特定被写体を囲む任意の図形の位置情報であってもよい。特定被写体位置情報が、円形で表される図形の位置情報である場合、特定被写体位置情報は、円の中心に相当する画素の座標と、半径に相当する画素数を含む情報であってもよい。

【0224】

また、本第５実施形態では、ストレージ４６Ｂに振れ補正画像データ生成プログラムが記憶されているが、本開示の技術はこれに限定されない。一例として図２６に示すように、コントローラ４６に内蔵されたコンピュータ９８に、上述した振れ補正画像データ生成処理を実行させるための振れ補正画像データ生成プログラムを記憶媒体１００に記憶させておく。

【0225】

図２６に示すように、コンピュータ９８は、ＣＰＵ４６Ａ、ストレージ４６Ｂ、及びメモリ４６Ｃを備えている。記憶媒体１００に記憶されている振れ補正画像データ生成プログラムは、コンピュータ９８にインストールされる。ＣＰＵ４６Ａは、振れ補正画像データ生成プログラムに従って、上述した振れ補正画像データ生成処理を実行する。

【0226】

ここでは、ＣＰＵ４６Ａとして、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ４６Ａに代えて複数のＣＰＵを採用してもよい。なお、記憶媒体１００の一例としては、フラッシュメモリカード、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。

【0227】

また、通信網（図示省略）を介してコンピュータ９８に接続される他のコンピュータ又はサーバ装置等の記憶部に振れ補正画像データ生成プログラムを記憶させておき、撮像装置１０の要求に応じて振れ補正画像データ生成プログラムがコンピュータ９８にダウンロードされるようにしてもよい。この場合、ダウンロードされた振れ補正画像データ生成プログラムがコンピュータ９８のＣＰＵ４６Ａによって実行される。

【0228】

なお、上記各実施形態では、振動情報が画素ラインデータの先頭、又はデジタル画像データの特定の位置に埋め込まれる場合について説明したが、本開示の技術はこれに限定されない。振動情報は、画素ラインデータ又はデジタル画像データの特定の位置に予め設けられたビット領域に付与又は付加されるのであれば、その方法及び形式は特に限定されない。

【0229】

また、上記各実施形態では、第１通信Ｉ／Ｆ４６Ｄ１及び第２通信Ｉ／Ｆ４６Ｄ２の通信規格としてＰＣＩ－ｅを例示したが、本開示の技術はこれに限定されない。第１通信Ｉ／Ｆ４６Ｄ１及び第２通信Ｉ／Ｆ４６Ｄ２は、例えば、ＭＩＰＩ、ＬＶＤＳ、ＳＡＴＡ、又はＳＬＶＳ－ＥＣ等を含む他の通信規格を採用してもよい。また、第１通信Ｉ／Ｆ４６Ｄ１と第２通信Ｉ／Ｆ４６Ｄ２とが、それぞれ別々の通信規格を採用してもよい。

【0230】

また、上記各実施形態では、処理回路６２がＡＳＩＣ及びＦＰＧＡを含むデバイスによって実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、上述した撮像処理は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。

【0231】

一例として図２７に示すように、撮像素子４４の処理回路６２はコンピュータ１０２を内蔵している。振れ補正画像データ生成処理及び合成画像データ生成処理を実行させるためのプログラムは、記憶媒体１０４に記憶されている。

【0232】

コンピュータ１０２は、ＣＰＵ１０２Ａ、ストレージ１０２Ｂ、及びメモリ１０２Ｃを備えている。そして、記憶媒体に記憶されているプログラムは、コンピュータ１０２にインストールされる。ＣＰＵ１０２Ａは、プログラムに従って、上述した振れ補正画像データ生成処理及び合成画像データ生成処理を実行する。

【0233】

ＣＰＵ１０２Ａは、単数のＣＰＵに限定されず、複数のＣＰＵを採用してもよい。なお、記憶媒体１０４の一例としては、フラッシュメモリカード、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。

【0234】

記憶媒体１０４にプログラムを記憶する代わりに、例えば、ストレージ１０２Ｂにプログラムを予め記憶させておいてもよい。ＣＰＵ１０２Ａがストレージ１０２Ｂからプログラムを読み出し、メモリ１０２Ｃ上でプログラムを実行するようにしてもよい。また、ストレージ１０２Ｂとメモリ１０２Ｃを同一の媒体、例えばメモリで実現してもよい。

【0235】

また、通信網（図示省略）を介してコンピュータ１０２に接続される他のコンピュータ又はサーバ装置等の記憶部にプログラムを記憶させておき、撮像装置１０の要求に応じてプログラムがコンピュータ１０２にダウンロードされるようにしてもよい。この場合、ダウンロードされたプログラムがコンピュータ１０２のＣＰＵ１０２Ａによって実行される。

【0236】

また、コンピュータは、撮像素子４４の外部に設けられるようにしてもよい。この場合、コンピュータがプログラムに従って処理回路６２を制御するようにすればよい。

【0237】

上記各実施形態で説明した振れ補正画像データ生成処理及び合成画像データ生成処理（以下、「各種処理」と称する）を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。

【0238】

各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。

【0239】

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、撮像装置内処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、撮像装置内処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

【0240】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

【0241】

また、上記各実施形態では、撮像装置１０としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、スマートデバイスに対して本開示の技術を適用するようにしてもよい。スマートデバイスには、上記実施形態で説明した撮像素子４４が搭載されている。このように構成されたスマートデバイスであっても、上記各実施形態で説明した撮像装置１０と同様の作用及び効果が得られる。なお、スマートデバイスに限らず、パーソナル・コンピュータ又はウェアラブル端末装置に対しても本開示の技術は適用可能である。

【0242】

また、上記の各種処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

【0243】

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0244】

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

【0245】

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23A】

【図23B】

【図24】

【図25】

【図26】

【図27】