ホーム > 特許ランキング > 富士フイルム株式会社
特開2024-156957撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024156957
(43)【公開日】2024-11-06
(54)【発明の名称】撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
(51)【国際特許分類】
H04N 23/54 20230101AFI20241029BHJP
【ＦＩ】
H04N23/54
【審査請求】有
【請求項の数】21
【出願形態】ＯＬ
(21)【出願番号】P 2024133234
(22)【出願日】2024-08-08
(62)【分割の表示】P 2022131343の分割
【原出願日】2020-07-01
(31)【優先権主張番号】P 2019138238
(32)【優先日】2019-07-26
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】河合 智行
(72)【発明者】
【氏名】長谷川 亮
(72)【発明者】
【氏名】桜武 仁史
(72)【発明者】
【氏名】小林 誠
(72)【発明者】
【氏名】菅原 一文
(57)【要約】 （修正有）
【課題】撮像素子から必要なデジタル画像データを選択的に取得する。
【解決手段】撮像素子は、撮像されることにより得られた画像データを記憶し、かつ、撮像素子に内蔵された記憶部、画像データの記憶部への記憶を制御し、画像データの属性情報を記憶部に対して記憶させ、かつ、撮像素子に内蔵された制御部、記憶部に記憶された画像データを出力し、かつ、撮像素子に内蔵された出力部、属性情報に関する指示を受け付ける受付部、を含む。制御部は、受信された属性情報に従って記憶部から画像データを取得し、取得した画像データを出力部に対して出力する。
【選択図】図８
【解決手段】撮像素子は、撮像されることにより得られた画像データを記憶し、かつ、撮像素子に内蔵された記憶部、画像データの記憶部への記憶を制御し、画像データの属性情報を記憶部に対して記憶させ、かつ、撮像素子に内蔵された制御部、記憶部に記憶された画像データを出力し、かつ、撮像素子に内蔵された出力部、属性情報に関する指示を受け付ける受付部、を含む。制御部は、受信された属性情報に従って記憶部から画像データを取得し、取得した画像データを出力部に対して出力する。
【選択図】図８
【特許請求の範囲】
【請求項1】
撮像されることにより得られた画像データを記憶するメモリと、
前記画像データの前記メモリへの記憶を制御し、前記画像データの属性情報を前記メモリに対して記憶させる制御回路と、
前記メモリに記憶された前記画像データを出力する出力インタフェースと、
前記属性情報に関する指示を受け付ける受付インタフェースと、を備え、
前記出力インタフェースは、前記受付インタフェースによって受け付けられた前記指示に応じた前記属性情報を、前記属性情報に対応する前記画像データの前記メモリへの記録が完了する前に出力する
撮像素子。
前記画像データの前記メモリへの記憶を制御し、前記画像データの属性情報を前記メモリに対して記憶させる制御回路と、
前記メモリに記憶された前記画像データを出力する出力インタフェースと、
前記属性情報に関する指示を受け付ける受付インタフェースと、を備え、
前記出力インタフェースは、前記受付インタフェースによって受け付けられた前記指示に応じた前記属性情報を、前記属性情報に対応する前記画像データの前記メモリへの記録が完了する前に出力する
撮像素子。
【請求項2】
前記出力インタフェースは、前記受付インタフェースによって前記指示が受け付けられたタイミングで前記属性情報を出力する請求項１に記載の撮像素子。
【請求項3】
前記指示は、外部からのフレーム同期信号である請求項１又は請求項２に記載の撮像素子。
【請求項4】
前記出力インタフェースは、前記メモリに記憶された前記画像データのうちの最新の画像データに関する前記属性情報を出力する請求項１から請求項３の何れか一項に記載の撮像素子。
【請求項5】
前記出力インタフェースは、前記受付インタフェースによって前記指示が受け付けられたタイミングで前記最新の画像データに関する前記属性情報を出力する請求項４に記載の撮像素子。
【請求項6】
前記出力インタフェースは、複数の前記画像データに対するそれぞれの属性情報を出力することが可能であり、
前記属性情報は、前記出力インタフェースによって撮像順に沿って出力される請求項１から請求項５の何れか一項に記載の撮像素子。
前記属性情報は、前記出力インタフェースによって撮像順に沿って出力される請求項１から請求項５の何れか一項に記載の撮像素子。
【請求項7】
前記属性情報は、アドレス、画像サイズ、撮像時刻、及び撮像条件のうちの少なくとも１つを含む情報である請求項１から請求項６の何れか一項に記載の撮像素子。
【請求項8】
次回の撮像に伴って前記メモリから前記画像データが消去される場合、前記出力インタフェースから出力される前記属性情報は、次回の撮像に伴って前記メモリから前記画像データが消去されることを示す消去情報を含む情報である請求項１から請求項７の何れか一項に記載の撮像素子。
【請求項9】
前記メモリから前記画像データが消去される場合、前記制御回路は、前記メモリ内の消去対象とされた前記画像データである消去対象画像データに関する前記属性情報を前記メモリから消去し、前記メモリから前記消去対象画像データを消去する請求項８に記載の撮像素子。
【請求項10】
前記画像データを圧縮する圧縮回路を備え、
前記制御回路は、既定のフレーム数分の前記画像データを前記メモリに対して記憶させ、前記圧縮回路によって前記画像データが圧縮されることで得られた圧縮画像データを前記メモリに対して記憶させ、かつ、前記圧縮画像データに関する前記属性情報と、前記画像データが圧縮されていることが特定可能な圧縮特定情報とを前記圧縮画像データに対応付ける請求項１から請求項９の何れか一項に記載の撮像素子。
前記制御回路は、既定のフレーム数分の前記画像データを前記メモリに対して記憶させ、前記圧縮回路によって前記画像データが圧縮されることで得られた圧縮画像データを前記メモリに対して記憶させ、かつ、前記圧縮画像データに関する前記属性情報と、前記画像データが圧縮されていることが特定可能な圧縮特定情報とを前記圧縮画像データに対応付ける請求項１から請求項９の何れか一項に記載の撮像素子。
【請求項11】
前記メモリに前記圧縮画像データが記憶される場合、前記出力インタフェースから出力される前記属性情報は、前記メモリに前記圧縮画像データが記憶される予定であることを示す圧縮予定情報を含む情報である請求項１０に記載の撮像素子。
【請求項12】
前記出力インタフェースから出力される前記属性情報は、前記圧縮画像データの圧縮形式を特定可能な情報を含む情報である請求項１０又は請求項１１に記載の撮像素子。
【請求項13】
前記指示は、前記出力インタフェースによる前記属性情報の出力量を含み、
前記出力インタフェースは、前記出力量で前記属性情報を出力する請求項１から請求項１２の何れか一項に記載の撮像素子。
前記出力インタフェースは、前記出力量で前記属性情報を出力する請求項１から請求項１２の何れか一項に記載の撮像素子。
【請求項14】
前記出力量は、前記画像データのフレーム数によって規定されている請求項１３に記載の撮像素子。
【請求項15】
前記撮像素子の後段に位置する後段回路から送信される前記属性情報を受信するレシーバを更に備え、
前記制御回路は、前記レシーバによって受信された前記属性情報に従って前記メモリから前記画像データを取得し、取得した前記画像データを前記出力インタフェースに対して前記後段回路に出力させる請求項１から請求項１４の何れか一項に記載の撮像素子。
前記制御回路は、前記レシーバによって受信された前記属性情報に従って前記メモリから前記画像データを取得し、取得した前記画像データを前記出力インタフェースに対して前記後段回路に出力させる請求項１から請求項１４の何れか一項に記載の撮像素子。
【請求項16】
前記出力インタフェースは、第１出力インタフェース及び第２出力インタフェースを有し、
前記第１出力インタフェースは、前記画像データを出力し、
前記第２出力インタフェースは、前記属性情報を出力する請求項１から請求項１５の何れか一項に記載の撮像素子。
前記第１出力インタフェースは、前記画像データを出力し、
前記第２出力インタフェースは、前記属性情報を出力する請求項１から請求項１５の何れか一項に記載の撮像素子。
【請求項17】
少なくとも光電変換素子と前記メモリとが１チップ化された請求項１から請求項１６の何れか一項に記載の撮像素子。
【請求項18】
前記撮像素子は、前記光電変換素子に前記メモリが積層された積層型撮像素子である請求項１７に記載の撮像素子。
【請求項19】
請求項１から請求項１８の何れか一項に記載の撮像素子と、
前記出力インタフェースにより出力された前記画像データに基づく画像をディスプレイに対して表示させる制御、及び前記出力インタフェースにより出力された前記画像データを記憶装置に対して記憶させる制御のうちの少なくとも一方を行う制御装置と、
を備える撮像装置。
前記出力インタフェースにより出力された前記画像データに基づく画像をディスプレイに対して表示させる制御、及び前記出力インタフェースにより出力された前記画像データを記憶装置に対して記憶させる制御のうちの少なくとも一方を行う制御装置と、
を備える撮像装置。
【請求項20】
撮像素子の作動方法であって、
撮像されることにより得られた画像データを記憶するメモリへの前記画像データの記憶を制御すること、
前記画像データの属性情報を前記メモリに対して記憶させること、
前記メモリに記憶された前記画像データを出力すること、
前記属性情報に関する指示を受け付けること、及び、
受け付けた前記指示に応じた前記属性情報を、前記属性情報に対応する前記画像データの前記メモリへの記録が完了する前に出力することを含む
撮像素子の作動方法。
撮像されることにより得られた画像データを記憶するメモリへの前記画像データの記憶を制御すること、
前記画像データの属性情報を前記メモリに対して記憶させること、
前記メモリに記憶された前記画像データを出力すること、
前記属性情報に関する指示を受け付けること、及び、
受け付けた前記指示に応じた前記属性情報を、前記属性情報に対応する前記画像データの前記メモリへの記録が完了する前に出力することを含む
撮像素子の作動方法。
【請求項21】
撮像素子に対して適用されるコンピュータに、
撮像されることにより得られた画像データを記憶するメモリへの前記画像データの記憶
を制御すること、
前記画像データの属性情報を前記メモリに対して記憶させること、
前記メモリに記憶された前記画像データを出力すること、
前記属性情報に関する指示を受け付けること、及び、
受け付けた前記指示に応じた前記属性情報を、前記属性情報に対応する前記画像データの前記メモリへの記録が完了する前に出力することを含む処理を実行させるためのプログラム。
撮像されることにより得られた画像データを記憶するメモリへの前記画像データの記憶
を制御すること、
前記画像データの属性情報を前記メモリに対して記憶させること、
前記メモリに記憶された前記画像データを出力すること、
前記属性情報に関する指示を受け付けること、及び、
受け付けた前記指示に応じた前記属性情報を、前記属性情報に対応する前記画像データの前記メモリへの記録が完了する前に出力することを含む処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、撮像素子、撮像装置、撮像素子の作動方法、及びプログラムに関する。
【背景技術】
【0002】
国際公開第２０１４／００７００４号には、画素アレイ部の各画素から信号線に読み出されるアナログ画素信号をデジタル化するＡＤ変換器を含み、デジタル化した画素データをフレームレートよりも速い第１速度で転送する信号処理部と、信号処理部から転送される画素データを保持するメモリ部と、メモリ部から第１速度よりも遅い第２速度で画素データを読み出すデータ処理部と、メモリ部から画素データを読み出す際に、信号線に接続されている電流源の動作及び信号処理部の少なくともＡＤ変換器の動作を停止する制御を行う制御部とを備える固体撮像素子が開示されている。
【0003】
国際公開第２０１４／００７００４号に記載の固体撮像素子において、信号処理部、メモリ部、データ処理部、及び、制御部は、画素アレイ部が形成されたチップと異なる少なくとも１つのチップに形成され、画素アレイ部が形成されたチップと他の少なくとも１つのチップとが積層された構造となっている。また、国際公開第２０１４／００７００４号に記載の固体撮像素子において、データ処理部は、メモリ部に対して列アドレスを指定するデコーダと、指定したアドレスの画素データを読み出すセンスアンプと、を有し、センスアンプ及びデコーダを通してメモリ部から画素データを読み出す。
【0004】
国際公開第２０１３／１４５７６５号には、１つ以上の画素を含む第１グループと、第１グループを構成する画素とは異なる画素を１つ以上含む第２グループとを含む撮像部と、第１グループに１回の電荷蓄積を実行させている期間に、第２グループに第１グループとは異なる回数の電荷蓄積を実行させて各々の画素信号を出力させる制御部と、を備える撮像ユニットが開示されている。
【0005】
国際公開第２０１３／１４５７６５号に記載の撮像ユニットでは、撮像部を含む撮像チップと、画素信号を処理する処理回路を含む信号処理チップとが、積層構造により電気的に接続されている。また、画素信号を格納する画素メモリを含むメモリチップも積層構造により電気的に接続されている。また、国際公開第２０１３／１４５７６５号に記載の撮像ユニットにおいて、制御部は、第２グループを含むグループ群のうちの指定グループに対する外部回路からの引渡要求に従って、指定グループの画素信号を画素メモリから読み出して画像処理部へ引き渡す。また、国際公開第２０１３／１４５７６５号に記載の撮像ユニットは、引渡要求に従って画素信号を伝送するデータ転送インタフェースを備えている。データ転送インタフェースによる画素信号の伝送は、ダブルデータレート方式、アドレス指定方式、バースト転送方式、バス方式、シリアル方式の少なくともいずれかを採用する。更に、国際公開第２０１３／１４５７６５号に記載の撮像ユニットにおいて、制御部は、複数回の電荷蓄積に対する各々の画素信号が画素メモリに格納されている場合には、各々の画素信号を画像処理部へ引き渡す。
【発明の概要】
【0006】
本開示の技術に係る一つの実施形態は、撮像素子から必要な画像データを選択的に取得することができる撮像素子、撮像装置、撮像素子の作動方法、及びプログラムを提供する。
【課題を解決するための手段】
【0007】
本開示の技術に係る第１の態様は、撮像素子であって、撮像されることにより得られた画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、画像データの記憶部への記憶を制御し、画像データの属性情報を記憶部に対して記憶させ、かつ、撮像素子に内蔵された制御部と、記憶部に記憶された画像データを出力し、かつ、撮像素子に内蔵された出力部と、属性情報に関する指示を受け付ける受付部と、を含み、出力部は、受付部によって受け付けられた指示に応じた属性情報を出力する撮像素子である。
【0008】
本開示の技術に係る第２の態様は、出力部は、受付部によって指示が受け付けられたタイミングで属性情報を出力する第１の態様に係る撮像素子である。
【0009】
本開示の技術に係る第３の態様は、指示は、外部からのフレーム同期信号である第１の態様又は第２の態様に係る撮像素子である。
【0010】
本開示の技術に係る第４の態様は、出力部は、記憶部に記憶された画像データのうちの最新の画像データに関する属性情報を出力する第１の態様から第３の態様の何れか１つの態様に係る撮像素子である。
【0011】
本開示の技術に係る第５の態様は、出力部は、受付部によって指示が受け付けられたタイミングで最新の画像データに関する属性情報を出力する第４の態様に係る撮像素子である。
【0012】
本開示の技術に係る第６の態様は、出力部は、複数の画像データに対するそれぞれの属性情報を出力することが可能であり、属性情報は、出力部によって撮像順に沿って出力される第１の態様から第５の態様の何れか１つの態様に係る撮像素子である。
【0013】
本開示の技術に係る第７の態様は、属性情報は、アドレス、画像サイズ、撮像時刻、及び撮像条件のうちの少なくとも１つを含む情報である第１の態様から第６の態様の何れか１つの態様に係る撮像素子である。
【0014】
本開示の技術に係る第８の態様は、次回の撮像に伴って記憶部から画像データが消去される場合、出力部から出力される属性情報は、次回の撮像に伴って記憶部から画像データが消去されることを示す消去情報を含む情報である第１の態様から第７の態様の何れか１つの態様に係る撮像素子である。
【0015】
本開示の技術に係る第９の態様は、記憶部から画像データが消去される場合、制御部は、記憶部内の消去対象とされた画像データである消去対象画像データに関する属性情報を記憶部から消去し、記憶部から消去対象画像データを消去する第８の態様に係る撮像素子である。
【0016】
本開示の技術に係る第１０の態様は、画像データを圧縮する圧縮回路を含み、制御部は、既定のフレーム数分の画像データを記憶部に対して記憶させ、圧縮回路によって画像データが圧縮されることで得られた圧縮画像データを記憶部に対して記憶させ、かつ、圧縮画像データに関する属性情報と、画像データが圧縮されていることが特定可能な圧縮特定情報とを圧縮画像データに対応付ける第１の態様から第９の態様の何れか１つの態様に係る撮像素子である。
【0017】
本開示の技術に係る第１１の態様は、記憶部に圧縮画像データが記憶される場合、出力部から出力される属性情報は、記憶部に圧縮画像データが記憶される予定であることを示す圧縮予定情報を含む情報である第１０の態様に係る撮像素子である。
【0018】
本開示の技術に係る第１２の態様は、出力部から出力される属性情報は、圧縮画像データの圧縮形式を特定可能な情報を含む情報である第１０の態様又は第１１の態様に係る撮像素子である。
【0019】
本開示の技術に係る第１３の態様は、指示は、出力部による属性情報の出力量を含み、出力部は、出力量で属性情報を出力する第１の態様から第１２の態様の何れか１つの態様に係る撮像素子である。
【0020】
本開示の技術に係る第１４の態様は、出力量は、画像データのフレーム数によって規定されている第１３の態様に係る撮像素子である。
【0021】
本開示の技術に係る第１５の態様は、撮像素子の後段に位置する後段回路から送信される属性情報を受信する受信部を更に含み、制御部は、受信部によって受信された属性情報に従って記憶部から画像データを取得し、取得した画像データを出力部に対して後段回路に出力させる第１の態様から第１４の態様の何れか１つの態様に係る撮像素子である。
【0022】
本開示の技術に係る第１６の態様は、出力部は、第１出力部及び第２出力部を有し、第１出力部は、画像データを出力し、第２出力部は、属性情報を出力する第１の態様から第１５の態様の何れか１つの態様に係る撮像素子である。
【0023】
本開示の技術に係る第１７の態様は、少なくとも光電変換素子と記憶部とが１チップ化された第１の態様から第１６の態様の何れか１つの態様に係る撮像素子である。
【0024】
本開示の技術に係る第１８の態様は、撮像素子は、光電変換素子に記憶部が積層された積層型撮像素子である第１７の態様に係る撮像素子である。
【0025】
本開示の技術に係る第１９の態様は、第１の態様から第１８の態様の何れか１つの態様に係る撮像素子と、出力部により出力された画像データに基づく画像を表示部に対して表示させる制御、及び出力部により出力された画像データを記憶装置に対して記憶させる制御のうちの少なくとも一方を行う制御装置と、を含む撮像装置である。
【0026】
本開示の技術に係る第２０の態様は、撮像されることにより得られた画像データを記憶する記憶部が内蔵された撮像素子の作動方法であって、画像データの記憶部への記憶を制御すること、画像データの属性情報を記憶部に対して記憶させること、記憶部に記憶された画像データを出力すること、属性情報に関する指示を受け付けること、及び、受け付けた指示に応じた属性情報を出力することを含む撮像素子の作動方法である。
【0027】
本開示の技術に係る第２１の態様は、撮像されることにより得られた画像データを記憶する記憶部が内蔵された撮像素子に対して適用されるコンピュータに、画像データの記憶部への記憶を制御すること、画像データの属性情報を記憶部に対して記憶させること、記憶部に記憶された画像データを出力すること、属性情報に関する指示を受け付けること、及び、受け付けた指示に応じた属性情報を出力することを含む処理を実行させるためのプログラムである。
【図面の簡単な説明】
【0028】
【図1】実施形態に係る撮像装置の外観の一例を示す斜視図である。
【図3】実施形態に係る撮像装置の構成の一例を示すブロック図である。
【図4】実施形態に係る撮像装置に含まれる撮像装置本体の電気系のハードウェア構成の一例を示すブロック図である。
【図5】実施形態に係る撮像装置に含まれる撮像素子のフレームレートの説明に供する概念図である。
【図6】実施形態に係る撮像素子の積層構造の一例を示す概念図である。
【図7】実施形態に係る撮像素子に含まれるメモリの構造の一例を示すブロック図である。
【図8】実施形態に係る撮像装置に含まれる撮像素子の電気系のハードウェア構成の一例を示すブロック図であって、撮像素子によって撮像が行われ、かつ、撮像素子から属性情報が出力される形態例の説明に供するブロック図である。
【図9】実施形態に係る撮像素子によって行われる撮像工程及び出力工程の内容の一例を示す概念図である。
【図10】実施形態に係る撮像装置に含まれる撮像素子での処理内容の一例を示すタイムチャートである。
【図11A】１フレーム目～４フレーム目に撮像素子の出力Ｉ／Ｆから出力される属性情報の内容の一例を示す概念図である。
【図11B】５フレーム目及び６フレーム目に撮像素子の出力Ｉ／Ｆから出力される属性情報の内容の一例を示す概念図である。
【図12】実施形態に係る撮像装置に含まれる撮像素子の電気系のハードウェア構成の一例を示すブロック図であって、撮像素子からデジタル画像データが出力される形態例の説明に供するブロック図である。
【図13】実施形態に係る属性情報出力処理の流れの一例を示すフローチャートである。
【図14】実施形態に係るデータ消去処理の流れの一例を示すフローチャートである。
【図15】デジタル画像データに対して圧縮処理が行われる場合にメモリに対してデジタル画像データ及び圧縮画像データが記憶される処理内容の一例を示すタイムチャートである。
【図16A】４フレーム目以降のデジタル画像データに対して圧縮処理が行われる場合の１フレーム目～４フレーム目に撮像素子の出力Ｉ／Ｆから出力される属性情報の内容の一例を示す概念図である。
【図16B】４フレーム目以降のデジタル画像データに対して圧縮処理が行われる場合の５フレーム目及び６フレーム目に撮像素子の出力Ｉ／Ｆから出力される属性情報の内容の一例を示す概念図である。
【図17A】次回の撮像に伴って１フレーム分のデジタル画像データが圧縮される予定であるか否かを示す圧縮予定フラグが含まれている属性情報であって、１フレーム目～４フレーム目に撮像素子の出力Ｉ／Ｆから出力される属性情報の内容の一例を示す概念図である。
【図17B】次回の撮像に伴って１フレーム分のデジタル画像データが圧縮される予定であるか否かを示す圧縮予定フラグが含まれている属性情報であって、５フレーム目及び６フレーム目に撮像素子の出力Ｉ／Ｆから出力される属性情報の内容の一例を示す概念図である。
【図18A】次回の撮像に伴って１フレーム分のデジタル画像データが圧縮される予定であるか否かを示す圧縮予定フラグが含まれており、かつ、圧縮形式特定情報が含まれている属性情報であって、４フレーム目及び５フレーム目に撮像素子の出力Ｉ／Ｆから出力される属性情報の内容の一例を示す概念図である。
【図18B】次回の撮像に伴って１フレーム分のデジタル画像データが圧縮される予定であるか否かを示す圧縮予定フラグが含まれており、かつ、圧縮形式特定情報が含まれている属性情報であって、６フレーム目に撮像素子の出力Ｉ／Ｆから出力される属性情報の内容の一例を示す概念図である。
【図19】属性情報に関する指示（例えば、垂直同期信号）が撮像素子の受付Ｉ／Ｆによって受け付けられたタイミングで属性情報が撮像素子の出力Ｉ／Ｆによって出力される場合の撮像素子での処理内容の一例を示すタイムチャートである。
【図20】フレーム毎に出力される属性情報が１フレーム分のデジタル画像データに関する属性情報である場合の１フレーム目～６フレーム目に出力される属性情報の内容の一例を示す概念図である。
【図21】フレーム毎に出力される属性情報が１フレーム分のデジタル画像データに関する属性情報である場合の１フレーム目～６フレーム目に出力される属性情報であって、消去フラグ及び圧縮予定フラグが含まれていない属性情報の内容の一例を示す概念図である。
【図22】実施形態に係る属性情報出力処理の流れの変形例を示すフローチャートである。
【図23】実施形態に係る撮像装置に含まれる撮像素子の電気系のハードウェア構成の変形例を示すブロック図である。
【図24】実施形態に係るスマートデバイスの背面側の外観の一例を示す背面視斜視図である。
【図26】実施形態に係る撮像素子側プログラムが記憶された記憶媒体から、撮像素子側プログラムが撮像素子内のコンピュータにインストールされる態様の一例を示す概念図である。
【発明を実施するための形態】
【0029】
以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。
【0030】
先ず、以下の説明で使用される文言について説明する。
【0031】
ＣＰＵとは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。ＧＰＵとは、“Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。ＲＡＭとは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＲＯＭとは、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＤＲＡＭとは、“Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＳＲＡＭとは、“Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＬＳＩとは、“Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ”の略称を指す。ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称を指す。ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称を指す。ＳｏＣとは、“Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ”の略称を指す。ＳＳＤとは、“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称を指す。ＨＤＤとは、“Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＣＣＤとは、“Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ”の略称を指す。ＣＭＯＳとは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ
Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＵＩとは、“Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＬＶＤＳとは、“Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ”の略称を指す。ＰＣＩ－ｅとは、“Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ”の略称を指す。ＳＡＴＡとは、“Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎ
ｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ”の略称を指す。ＳＬＶＳ－ＥＣとは、“Ｓｃａｌａｂｌｅ Ｌｏｗ Ｓｉｇｎａｌｉｎｇ ｗｉｔｈ Ｅｍｂｅｄｄｅｄ Ｃｌｏｃｋ”の略称を指す。ＭＩＰＩとは、“Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｓｓｏｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。ｆｐｓとは、“ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ”の略称を指す。ＦＩＦＯとは、“Ｆｉｒｓｔ Ｉｎ， Ｆｉｒｓｔ Ｏｕｔ”の略称を指す。ＭＰＥＧとは、“Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ”の略称を指す。ＪＰＥＧとは、“Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ”の略称を指す。ＴＩＦＦとは、“Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ”の略称を指す。ＢＭＰとは、“Ｂｉｔｍａｐ”の略称を指す。ＰＮＧとは、“Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ”の略称を指す。ＧＩＦとは、“Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ”の略称を指す。
Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＵＩとは、“Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＬＶＤＳとは、“Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ”の略称を指す。ＰＣＩ－ｅとは、“Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ”の略称を指す。ＳＡＴＡとは、“Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎ
ｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ”の略称を指す。ＳＬＶＳ－ＥＣとは、“Ｓｃａｌａｂｌｅ Ｌｏｗ Ｓｉｇｎａｌｉｎｇ ｗｉｔｈ Ｅｍｂｅｄｄｅｄ Ｃｌｏｃｋ”の略称を指す。ＭＩＰＩとは、“Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｓｓｏｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。ｆｐｓとは、“ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ”の略称を指す。ＦＩＦＯとは、“Ｆｉｒｓｔ Ｉｎ， Ｆｉｒｓｔ Ｏｕｔ”の略称を指す。ＭＰＥＧとは、“Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ”の略称を指す。ＪＰＥＧとは、“Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ”の略称を指す。ＴＩＦＦとは、“Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ”の略称を指す。ＢＭＰとは、“Ｂｉｔｍａｐ”の略称を指す。ＰＮＧとは、“Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ”の略称を指す。ＧＩＦとは、“Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ”の略称を指す。
【0032】
一例として図１に示すように、撮像装置１０は、レンズ交換式で、かつ、レフレックスミラーが省略されたデジタルカメラである。撮像装置１０は、撮像装置本体１２と、撮像装置本体１２に交換可能に装着される交換レンズ１４と、を備えている。なお、ここでは、撮像装置１０の一例として、レンズ交換式で、かつ、レフレックスミラーが省略されたデジタルカメラが挙げられているが、本開示の技術はこれに限定されず、撮像装置１０は、レンズ固定式等の他種類のデジタルカメラであってもよい。
【0033】
撮像装置本体１２には、撮像素子３８が設けられている。交換レンズ１４が撮像装置本体１２に装着された場合に、被写体を示す被写体光は、交換レンズ１４を透過して撮像素子３８に結像され、撮像素子３８によって被写体の画像を示す画像データ（例えば、図４及び図５参照）が生成される。
【0034】
撮像装置本体１２には、ハイブリッドファインダー（登録商標）１６が設けられている。ここで言うハイブリッドファインダー１６とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。なお、ＯＶＦとは、“ｏｐｔｉｃａｌ ｖｉｅｗｆｉｎｄｅｒ”の略称を指す。また、ＥＶＦとは、“ｅｌｅｃｔｒｏｎｉｃ ｖｉｅｗｆｉｎｄｅｒ”の略称を指す。
【0035】
撮像装置本体１２の前面には、ファインダー切替レバー１８が設けられている。ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像であるライブビュー画像とは、ファインダー切替レバー１８を矢印ＳＷ方向に回動させることで切り換わる。ここで言う「ライブビュー画像」とは、撮像素子３８によって撮像されることにより得られた画像データに基づく表示用の動画像を指す。ライブビュー画像は、一般的には、スルー画像とも称されている。撮像装置本体１２の上面には、レリーズボタン２０及びダイヤル２３が設けられている。ダイヤル２３は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作され、これによって、撮像装置１０では、動作モードとして撮像モードと再生モードとが選択的に設定される。
【0036】
レリーズボタン２０は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。
【0037】
一例として図２に示すように、撮像装置本体１２の背面には、タッチパネル・ディスプレイ２４、指示キー２７、及びファインダー接眼部３０が設けられている。
【0038】
タッチパネル・ディスプレイ２４は、ディスプレイ２６及びタッチパネル２８（図４も参照）を備えている。ディスプレイ２６の一例としては、液晶ディスプレイが挙げられる。ディスプレイ２６は、液晶ディスプレイではなく、有機ＥＬディスプレイ又は無機ＥＬディスプレイなどの他種類のディスプレイであってもよい。なお、ディスプレイ２６及びＥＶＦは、本開示の技術に係る「表示部（ディスプレイ）」の一例である。ＥＶＦの表示についてはディスプレイ２６の表示と同等であるため以後の記載は省略するが、本明細書においては、ディスプレイ２６への表示をＥＶＦへの表示に読み替えることができる。
【0039】
ディスプレイ２６は、画像及び文字情報等を表示する。ディスプレイ２６は、撮像装置１０が撮像モードの場合に連続的な撮像により得られたライブビュー画像の表示に用いられる。また、ディスプレイ２６は、静止画像用の撮像の指示が与えられた場合に撮像されることで得られた静止画像の表示にも用いられる。更に、ディスプレイ２６は、撮像装置１０が再生モードの場合の再生画像の表示及びメニュー画面等の表示にも用いられる。
【0040】
タッチパネル２８は、透過型のタッチパネルであり、ディスプレイ２６の表示領域の表面に重ねられている。タッチパネル２８は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。
【0041】
指示キー２７は、各種の指示を受け付ける。ここで言う「各種の指示」とは、例えば、各種メニューを選択可能なメニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、選択内容の消去の指示、ズームイン、ズームアウト、及びコマ送り等の各種の指示等を指す。
【0042】
一例として図３に示すように、交換レンズ１４は、撮像レンズ４０を有する。撮像レンズ４０は、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃを備えている。対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃは、被写体側（物体側）から撮像装置本体１２側（像側）にかけて、光軸Ｌ１に沿って、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃの順に配置されている。フォーカスレンズ４０Ｂ及び絞り４０Ｃは、モータ等の駆動源（図示省略）からの動力を受けることで作動する。すなわち、フォーカスレンズ４０Ｂ及び絞り４０Ｃは、付与された動力に応じて光軸Ｌ１に沿って移動する。また、絞り４０Ｃは、付与された動力に応じて作動することで露出を調節する。
【0043】
撮像装置本体１２は、後段回路１３、ＵＩ系デバイス１７、メカニカルシャッタ４１、及び撮像素子３８を備えている。後段回路１３は、撮像素子３８の後段に位置する回路である。後段回路１３は、コントローラ１５及び信号処理回路３４を有する。コントローラ１５は、ＵＩ系デバイス１７、信号処理回路３４、及び撮像素子３８に接続されており、撮像装置１０の電気系の全体を制御する。
【0044】
撮像素子３８は、受光面４２Ａを有する光電変換素子４２を備えている。本実施形態において、撮像素子３８は、ＣＭＯＳイメージセンサである。また、ここでは、撮像素子３８としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、撮像素子３８がＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。
【0045】
メカニカルシャッタ４１は、モータ等の駆動源（図示省略）からの動力を受けることで作動する。交換レンズ１４が撮像装置本体１２に装着された場合に、被写体を示す被写体光は、撮像レンズ４０を透過し、メカニカルシャッタ４１を介して受光面４２Ａに結像される。
【0046】
ＵＩ系デバイス１７は、ユーザに対して情報を提示したり、ユーザからの指示を受け付けたりするデバイスである。コントローラ１５は、ＵＩ系デバイス１７からの各種情報の取得、及びＵＩ系デバイス１７の制御を行う。
【0047】
撮像素子３８は、コントローラ１５に接続されており、コントローラ１５の制御下で、被写体を撮像することで、被写体の画像を示す画像データを生成する。
【0048】
撮像素子３８は、信号処理回路３４に接続されている。信号処理回路３４は、ＬＳＩであり、具体的には、ＡＳＩＣ及びＦＰＧＡを含むデバイスである。コントローラ１５は、信号処理回路３４からの各種情報の取得、及び撮像素子３８の制御を行う。撮像素子３８は、コントローラ１５の制御下で、光電変換素子４２によって生成された画像データを信号処理回路３４に出力する。
【0049】
信号処理回路３４は、撮像素子３８から入力された画像データに対して各種の信号処理を行う。信号処理回路３４によって行われる各種の信号処理には、例えば、ホワイトバランス調整、シャープネス調整、ガンマ補正、色空間変換処理、及び色差補正などの公知の信号処理が含まれる。
【0050】
なお、信号処理回路３４によって行われる各種の信号処理は、信号処理回路３４と撮像素子３８とで分散して行われるようにしてもよい。すなわち、信号処理回路３４によって行われる各種の信号処理のうちの少なくとも一部を撮像素子３８の処理回路１１０に担わせるようにしてもよい。
【0051】
なお、本実施形態では、信号処理回路３４としてＡＳＩＣ及びＦＰＧＡを含むデバイスを例示しているが、本開示の技術はこれに限定されず、信号処理回路３４は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。
【0052】
また、信号処理回路３４は、ＣＰＵ、ストレージ、及びメモリを含むコンピュータであってもよい。ここで言う「ストレージ」とは、ＳＳＤ又はＨＤＤ等の不揮発性の記憶装置を指し、ここで言う「メモリ」とは、ＤＲＡＭ又はＳＲＡＭ等の揮発性の記憶装置を指す。コンピュータに含まれるＣＰＵは、単数であってもよいし、複数であってもよい。また、ＣＰＵに代えてＧＰＵを用いてもよい。また、信号処理回路３４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
【0053】
一例として図４に示すように、コントローラ１５は、ＣＰＵ１５Ａ、ストレージ１５Ｂ、メモリ１５Ｃ、出力Ｉ／Ｆ１５Ｄ、及び受付Ｉ／Ｆ１５Ｅを備えている。ＣＰＵ１５Ａ、ストレージ１５Ｂ、メモリ１５Ｃ、出力Ｉ／Ｆ１５Ｄ、及び受付Ｉ／Ｆ１５Ｅは、バスライン１００を介して接続されている。図４に示す例では、図示の都合上、バスライン１００として１本のバスラインが図示されているが、バスライン１００には、データバス、アドレスバス、及びコントロールバス等が含まれている。
【0054】
ストレージ１５Ｂは、各種パラメータ及び各種プログラムを記憶している。ストレージ１５Ｂは、不揮発性の記憶装置である。ここでは、ストレージ１５Ｂの一例として、ＥＥＰＲＯＭが採用されているが、これに限らず、マスクＲＯＭ、ＨＤＤ、又はＳＳＤ等であってもよい。メモリ１５Ｃは、揮発性の記憶装置である。メモリ１５Ｃには、各種情報が一時的に記憶される。メモリ１５Ｃは、ＣＰＵ１５Ａによってワークメモリとして用いられる。ここでは、メモリ１５Ｃの一例として、ＤＲＡＭが採用されているが、これに限らず、ＳＲＡＭ等の他の種類の揮発性の記憶装置であってもよい。なお、ＣＰＵ１５Ａは、本開示の技術に係る「制御装置」の一例であり、ストレージ１５Ｂは、本開示の技術に係
る「記憶装置」の一例である。
る「記憶装置」の一例である。
【0055】
ストレージ１５Ｂには、各種プログラムが記憶されている。ＣＰＵ１５Ａは、ストレージ１５Ｂから各種プログラムを読み出し、読み出した各種プログラムをメモリ１５Ｃに展開する。ＣＰＵ１５Ａは、メモリ１５Ｃに展開した各種プログラムに従って撮像装置１０の全体を制御する。
【0056】
出力Ｉ／Ｆ１５Ｄは、撮像素子３８に接続されている。ＣＰＵ１５Ａは、出力Ｉ／Ｆ１５Ｄを介して撮像素子３８を制御する。例えば、ＣＰＵ１５Ａは、出力Ｉ／Ｆ１５Ｄを介して撮像素子３８に対して、撮像を行うタイミングを規定する撮像タイミング信号を供給することで撮像素子３８によって行われる撮像のタイミングを制御する。
【0057】
受付Ｉ／Ｆ１５Ｅは、信号処理回路３４に接続されている。ＣＰＵ１５Ａは、受付Ｉ／Ｆ１５Ｅを介して信号処理回路３４との間で各種情報の授受を行う。
【0058】
信号処理回路３４には、撮像素子３８から画像データが入力される。信号処理回路３４は、撮像素子３８から入力された画像データに対して各種の信号処理（詳しくは後述）を行う。信号処理回路３４は、各種の信号処理を行った画像データを受付Ｉ／Ｆ１５Ｅに出力する。受付Ｉ／Ｆ１５Ｅは、信号処理回路３４からの画像データを受け付け、受け付けた画像データをＣＰＵ１５Ａに転送する。
【0059】
バスライン１００には、外部Ｉ／Ｆ１０４が接続されている。外部Ｉ／Ｆ１０４は、回路で構成された通信デバイスである。なお、ここでは、外部Ｉ／Ｆ１０４として回路で構成されたデバイスが採用されているが、これは、あくまでも一例に過ぎない。外部Ｉ／Ｆ１０４は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、外部Ｉ／Ｆ１０４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
【0060】
外部Ｉ／Ｆ１０４の一例としては、ＵＳＢインタフェースがあり、ここにメモリカードコントローラ、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、及び／又はメモリカード等の外部装置（図示省略）が接続可能である。外部Ｉ／Ｆ１０４は、ＣＰＵ１５Ａと外部装置との間の各種情報の授受を司る。なお、外部Ｉ／Ｆ１０４に直接又は間接的に接続される外部装置、すなわち、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ及び／又はメモリカード等の外部装置は、本開示の技術に係る「記憶装置」の一例である。
【0061】
ＵＩ系デバイス１７は、タッチパネル・ディスプレイ２４及び受付デバイス８４を備えている。ディスプレイ２６及びタッチパネル２８は、バスライン１００に接続されている。従って、ＣＰＵ１５Ａは、ディスプレイ２６に対して各種情報を表示させ、タッチパネル２８によって受け付けられた各種指示に従って動作する。
【0062】
受付デバイス８４は、ハードキー部２５を備えている。ハードキー部２５は、複数のハードキーであり、レリーズボタン２０（図１参照）、ダイヤル２３（図１及び図２参照）、及び指示キー２７（図２参照）を有する。ハードキー部２５は、バスライン１００に接続されており、ＣＰＵ１５Ａは、ハードキー部２５によって受け付けられた指示を取得し、取得した指示に従って動作する。
【0063】
一例として図５に示すように、撮像素子３８にはコントローラ１５から撮像タイミング信号が入力される。撮像タイミング信号には、垂直同期信号及び水平同期信号が含まれている。垂直同期信号は、光電変換素子４２からの１フレーム毎の画像データの読み出しの
開始タイミングを規定する同期信号である。水平同期信号は、光電変換素子４２からの水平ライン毎の画像データの読み出しの開始タイミングを規定する同期信号である。撮像素子３８は、コントローラ１５から入力された垂直同期信号に応じて定まるフレームレートに従って、光電変換素子４２から画像データを読み出す。なお、垂直同期信号は、本開示の技術に係る「属性情報に関する指示」及び「外部からのフレーム同期信号」の一例であり、コントローラ１５は、本開示の技術に係る「外部」の一例である。
開始タイミングを規定する同期信号である。水平同期信号は、光電変換素子４２からの水平ライン毎の画像データの読み出しの開始タイミングを規定する同期信号である。撮像素子３８は、コントローラ１５から入力された垂直同期信号に応じて定まるフレームレートに従って、光電変換素子４２から画像データを読み出す。なお、垂直同期信号は、本開示の技術に係る「属性情報に関する指示」及び「外部からのフレーム同期信号」の一例であり、コントローラ１５は、本開示の技術に係る「外部」の一例である。
【0064】
図５に示す例では、撮像素子３８のフレームレートとして、期間Ｔ内に光電変換素子４２から８フレーム分の読み出しが行われるフレームレートが示されている。具体的なフレームレートの一例としては、１２０ｆｐｓが挙げられるが、これに限らず、１２０ｆｐｓを超えるフレームレート（例えば、２４０ｆｐｓ）であってもよいし、１２０ｆｐｓ未満のフレームレート（例えば、６０ｆｐｓ）であってもよい。
【0065】
一例として図６に示すように、撮像素子３８には、光電変換素子４２、処理回路１１０、及びメモリ１１２が内蔵されている。撮像素子３８は、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化された撮像素子である。すなわち、光電変換素子４２、処理回路１１０、及びメモリ１１２は１パッケージ化されている。撮像素子３８では、光電変換素子４２に対して処理回路１１０及びメモリ１１２が積層されている。具体的には、光電変換素子４２及び処理回路１１０は、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されており、処理回路１１０及びメモリ１１２、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されている。
【0066】
処理回路１１０は、例えば、ＬＳＩである。メモリ１１２は、書き込みタイミングと読み出しタイミングとが異なるメモリである。ここでは、メモリ１１２の一例として、ＤＲＡＭが採用されている。
【0067】
処理回路１１０は、ＡＳＩＣ及びＦＰＧＡを含むデバイスであり、上述のコントローラ１５の指示に従って、撮像素子３８の全体を制御する。なお、ここでは、処理回路１１０がＡＳＩＣ及びＦＰＧＡを含むデバイスによって実現される例を挙げているが、本開示の技術はこれに限定されるものではなく、例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、処理回路１１０として、ＣＰＵと、不揮発性の記憶装置であるＥＥＰＲＯＭ等のストレージと、揮発性の記憶装置であるＲＡＭ等のメモリとを含むコンピュータが採用されてもよい。コンピュータに含まれるＣＰＵは、単数であってもよいし、複数であってもよい。ＣＰＵに代えてＧＰＵを用いてもよい。また、処理回路１１０は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
【0068】
光電変換素子４２は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。
【0069】
光電変換素子４２に含まれる各フォトダイオードには、カラーフィルタが配置されている。カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。
【0070】
光電変換素子４２は、Ｒ画素、Ｇ画素、及びＢ画素を有する。Ｒ画素は、Ｒフィルタが配置されたフォトダイオードに対応する画素であり、Ｇ画素は、Ｇフィルタが配置されたフォトダイオードに対応する画素であり、Ｂ画素は、Ｂフィルタが配置されたフォトダイオードに対応する画素である。Ｒ画素、Ｇ画素、及びＢ画素は、行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。本実施形態では、Ｒ画素、
Ｇ画素、及びＢ画素がＸ－Ｔｒａｎｓ（登録商標）配列に対応した周期性で配列されている。なお、ここでは、Ｘ－Ｔｒａｎｓ配列を例示しているが、本開示の技術はこれに限定されず、Ｒ画素、Ｇ画素、及びＢ画素の配列は、ベイヤ配列又はハニカム配列などであってもよい。
Ｇ画素、及びＢ画素がＸ－Ｔｒａｎｓ（登録商標）配列に対応した周期性で配列されている。なお、ここでは、Ｘ－Ｔｒａｎｓ配列を例示しているが、本開示の技術はこれに限定されず、Ｒ画素、Ｇ画素、及びＢ画素の配列は、ベイヤ配列又はハニカム配列などであってもよい。
【0071】
撮像素子３８は、いわゆる電子シャッタ機能を有しており、コントローラ１５の制御下で電子シャッタ機能を働かせることで、光電変換素子４２内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。
【0072】
撮像素子３８では、ローリングシャッタ方式で、静止画像用の撮像と、ライブビュー画像用の撮像とが選択的に行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ（図示省略）を作動させることで実現され、ライブビュー画像用の撮像は、メカニカルシャッタを作動させずに、電子シャッタ機能を働かせることで実現される。なお、ここでは、ローリングシャッタ方式が例示されているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。
【0073】
なお、メモリ１１２は、本開示の技術に係る「記憶部（メモリ）」の一例である。本実施形態において、メモリ１１２としてＤＲＡＭが採用されているが、メモリ１１２が他の種類のメモリであっても本開示の技術は成立する。また、撮像素子３８は、本開示の技術に係る「積層型撮像素子」の一例である。
【0074】
一例として図７に示すように、メモリ１１２は、第１記憶領域１１２Ａ、第２記憶領域１１２Ｂ、第３記憶領域１１２Ｃ、第４記憶領域１１２Ｄ、第５記憶領域１１２Ｅ、及び第６記憶領域１１２Ｆを有する。なお、ここでは、説明の便宜上、６つの記憶領域を例示しているが、これはあくまでも一例に過ぎず、メモリ１１２は、複数フレーム分の画像データが記憶可能な複数の記憶領域を有していればよい。
【0075】
図７に示す例では、第１記憶領域１１２Ａ、第２記憶領域１１２Ｂ、第３記憶領域１１２Ｃ、第４記憶領域１１２Ｄ、第５記憶領域１１２Ｅ、及び第６記憶領域１１２Ｆの各々に対して、メモリ１１２内のアドレスが付与されている。第１記憶領域１１２Ａに対しては、“０Ｘ００００００００”というアドレスが付与されている。第２記憶領域１１２Ｂに対しては、“０Ｘ００１０００００”というアドレスが付与されている。第３記憶領域１１２Ｃに対しては、“０Ｘ００２０００００”というアドレスが付与されている。第４記憶領域１１２Ｄに対しては、“０Ｘ００３０００００”というアドレスが付与されている。第５記憶領域１１２Ｅに対しては、“０Ｘ００４０００００”というアドレスが付与されている。第６記憶領域１１２Ｆに対しては、“０Ｘ００５０００００”というアドレスが付与されている。
【0076】
一例として図８に示すように、処理回路１１０は、受付Ｉ／Ｆ１１０Ｄ１及び出力Ｉ／Ｆ１１０Ｄ２を備えている。ここで、受付Ｉ／Ｆ１１０Ｄ１は、本開示の技術に係る「受付部」及び「受信部」の一例であり、出力Ｉ／Ｆ１１０Ｄ２は、本開示の技術に係る「出力部（出力インタフェース）」の一例である。なお、受付部とは、例えば、アクセプタを意味し、受信部とは、例えば、レシーバを意味する。
【0077】
コントローラ１５の出力Ｉ／Ｆ１５Ｄは、処理回路１１０の受付Ｉ／Ｆ１１０Ｄ１に接続されており、撮像タイミング信号を受付Ｉ／Ｆ１１０Ｄ１に出力する。受付Ｉ／Ｆ１１０Ｄ１は、出力Ｉ／Ｆ１５Ｄから出力された撮像タイミング信号を受け付ける。
【0078】
信号処理回路３４は、受付Ｉ／Ｆ３４Ａ及び出力Ｉ／Ｆ３４Ｂを備えている。受付Ｉ／
Ｆ３４Ａは、撮像素子３８の出力Ｉ／Ｆ１１０Ｄ２に接続されている。処理回路１１０の出力Ｉ／Ｆ１１０Ｄ２は、画像データ等の各種情報（以下、単に「各種情報」とも称する）を信号処理回路３４の受付Ｉ／Ｆ３４Ａに出力し、受付Ｉ／Ｆ３４Ａは、出力Ｉ／Ｆ１１０Ｄ２から出力された各種情報を受け付ける。信号処理回路３４は、受付Ｉ／Ｆ３４Ａによって受け付けられた各種情報に対して、必要に応じて信号処理を施す。出力Ｉ／Ｆ３４Ｂは、コントローラ１５の受付Ｉ／Ｆ１５Ｅに接続されており、各種情報をコントローラ１５の受付Ｉ／Ｆ１５Ｅに出力する。受付Ｉ／Ｆ１５Ｅは、出力Ｉ／Ｆ３４Ｂから出力された各種情報を受け付ける。
Ｆ３４Ａは、撮像素子３８の出力Ｉ／Ｆ１１０Ｄ２に接続されている。処理回路１１０の出力Ｉ／Ｆ１１０Ｄ２は、画像データ等の各種情報（以下、単に「各種情報」とも称する）を信号処理回路３４の受付Ｉ／Ｆ３４Ａに出力し、受付Ｉ／Ｆ３４Ａは、出力Ｉ／Ｆ１１０Ｄ２から出力された各種情報を受け付ける。信号処理回路３４は、受付Ｉ／Ｆ３４Ａによって受け付けられた各種情報に対して、必要に応じて信号処理を施す。出力Ｉ／Ｆ３４Ｂは、コントローラ１５の受付Ｉ／Ｆ１５Ｅに接続されており、各種情報をコントローラ１５の受付Ｉ／Ｆ１５Ｅに出力する。受付Ｉ／Ｆ１５Ｅは、出力Ｉ／Ｆ３４Ｂから出力された各種情報を受け付ける。
【0079】
撮像素子３８において、処理回路１１０は、受付Ｉ／Ｆ１１０Ｄ１及び出力Ｉ／Ｆ１１０Ｄ２の他に、読出回路１１０Ａ、デジタル処理回路１１０Ｂ、制御回路１１０Ｃ、画像処理回路１１０Ｅを備えている。なお、制御回路１１０Ｃは、本開示の技術に係る「制御部（制御回路）」の一例である。
【0080】
読出回路１１０Ａは、光電変換素子４２、デジタル処理回路１１０Ｂ、及び制御回路１１０Ｃの各々に接続されている。デジタル処理回路１１０Ｂは、制御回路１１０Ｃに接続されている。制御回路１１０Ｃは、メモリ１１２、受付Ｉ／Ｆ１１０Ｄ１、出力Ｉ／Ｆ１１０Ｄ２、及び画像処理回路１１０Ｅの各々に接続されている。
【0081】
上述の画像データは、一例として図８に示すように、アナログ画像データ７０Ａとデジタル画像データ７０Ｂとに大別される。なお、以下では、説明の便宜上、アナログ画像データ７０Ａとデジタル画像データ７０Ｂとを区別して説明する必要がない場合、符号を付さずに「画像データ」と称する。
【0082】
処理回路１１０の受付Ｉ／Ｆ１１０Ｄ１及び出力Ｉ／Ｆ１１０Ｄ２の各々は、ＦＰＧＡを有する通信デバイスである。また、コントローラ１５の出力Ｉ／Ｆ１５Ｄ及び受付Ｉ／Ｆ１５Ｅの各々も、ＦＰＧＡを有する通信デバイスである。更に、信号処理回路３４の受付Ｉ／Ｆ３４Ａ及び出力Ｉ／Ｆ３４Ｂの各々も、ＦＰＧＡを有する通信デバイスである。
【0083】
処理回路１１０の受付Ｉ／Ｆ１１０Ｄ１とコントローラ１５の出力Ｉ／Ｆ１５Ｄとの間は、ＰＣＩ－ｅの接続規格に従って接続されている。また、処理回路１１０の出力Ｉ／Ｆ１１０Ｄ２と信号処理回路３４の受付Ｉ／Ｆ３４Ａとの間も、ＰＣＩ－ｅの接続規格に従って接続されている。更に、信号処理回路３４の出力Ｉ／Ｆ３４Ｂとコントローラ１５の受付Ｉ／Ｆ１５Ｅとの間も、ＰＣＩ－ｅの接続規格に従って接続されている。なお、以下では、受付Ｉ／Ｆ１１０Ｄ１、出力Ｉ／Ｆ１１０Ｄ２、受付Ｉ／Ｆ３４Ａ、出力Ｉ／Ｆ３４Ｂ、受付Ｉ／Ｆ１５Ｅ、及び出力Ｉ／Ｆ１５Ｄを区別して説明する必要がない場合、符号を付さずに「通信Ｉ／Ｆ」と称する。
【0084】
ここでは、通信Ｉ／Ｆとして回路（ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等）で構成された通信デバイスが採用されているが、これはあくまでも一例に過ぎない。通信Ｉ／Ｆは、ＣＰＵ、ＥＥＰＲＯＭ等のストレージ、及びＲＡＭ等のメモリを含むコンピュータであってもよい。この場合、コンピュータに含まれるＣＰＵは、単数であってもよいし、複数であってもよい。ＣＰＵに代えてＧＰＵを用いてもよい。また、通信Ｉ／Ｆは、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
【0085】
受付Ｉ／Ｆ１１０Ｄ１は、コントローラ１５の出力Ｉ／Ｆ１５Ｄから出力された撮像タイミング信号を受け付け、受け付けた撮像タイミング信号を制御回路１１０Ｃに転送する。
【0086】
読出回路１１０Ａは、制御回路１１０Ｃの制御下で、光電変換素子４２を制御し、光電
変換素子４２からアナログ画像データ７０Ａを読み出す。光電変換素子４２からのアナログ画像データ７０Ａの読み出しは、コントローラ１５から処理回路１１０に入力された撮像タイミング信号に従って行われる。
変換素子４２からアナログ画像データ７０Ａを読み出す。光電変換素子４２からのアナログ画像データ７０Ａの読み出しは、コントローラ１５から処理回路１１０に入力された撮像タイミング信号に従って行われる。
【0087】
具体的には、先ず、受付Ｉ／Ｆ１１０Ｄ１がコントローラ１５から撮像タイミング信号を受け付け、受け付けた撮像タイミング信号を制御回路１１０Ｃに転送する。次に、制御回路１１０Ｃは、受付Ｉ／Ｆ１１０Ｄ１から転送された撮像タイミング信号を読出回路１１０Ａに転送する。すなわち、読出回路１１０Ａには、垂直同期信号及び水平同期信号が転送される。そして、読出回路１１０Ａは、制御回路１１０Ｃから転送された垂直同期信号に従って光電変換素子４２からフレーム単位でのアナログ画像データ７０Ａの読み出しを開始する。また、読出回路１１０Ａは、制御回路１１０Ｃから転送された水平同期信号に従って水平ライン単位でのアナログ画像データ７０Ａの読み出しを開始する。
【0088】
読出回路１１０Ａは、光電変換素子４２から読み出されたアナログ画像データ７０Ａに対してアナログ信号処理を行う。アナログ信号処理には、ノイズキャンセル処理及びアナログゲイン処理などの公知の処理が含まれる。ノイズキャンセル処理は、光電変換素子４２に含まれる画素間の特性のばらつきに起因するノイズをキャンセルする処理である。アナログゲイン処理は、アナログ画像データ７０Ａに対してゲインをかける処理である。また、読出回路１１０Ａは、アナログ画像データ７０Ａに対して相関二重サンプリングを行う。読出回路１１０Ａによって、アナログ画像データ７０Ａに対して相関二重サンプリングが行われた後、アナログ画像データ７０Ａは、デジタル処理回路１１０Ｂに出力される。
【0089】
デジタル処理回路１１０Ｂは、Ａ／Ｄ変換器１１０Ｂ１を備えている。Ａ／Ｄ変換器１１０Ｂ１は、アナログ画像データ７０ＡをＡ／Ｄ変換する。
【0090】
デジタル処理回路１１０Ｂは、読出回路１１０Ａから入力されたアナログ画像データ７０Ａに対してデジタル信号処理を行う。デジタル信号処理には、例えば、相関二重サンプリング、Ａ／Ｄ変換器１１０Ｂ１によるＡ／Ｄ変換、及びデジタルゲイン処理が含まれる。
【0091】
読出回路１１０Ａから入力されたアナログ画像データ７０Ａに対しては、Ａ／Ｄ変換器１１０Ｂ１によってＡ／Ｄ変換が行われ、これによって、アナログ画像データ７０Ａがデジタル化され、ＲＡＷデータとしてデジタル画像データ７０Ｂが得られる。そして、デジタル画像データ７０Ｂに対しては、デジタル処理回路１１０Ｂによってデジタルゲイン処理が行われる。デジタルゲイン処理とは、デジタル画像データ７０Ｂに対してゲインをかける処理を指す。このようにデジタル信号処理が行われることによって得られたデジタル画像データ７０Ｂは、デジタル処理回路１１０Ｂによって制御回路１１０Ｃに出力される。
【0092】
制御回路１１０Ｃは、デジタル処理回路１１０Ｂから入力されたデジタル画像データ７０Ｂを画像処理回路１１０Ｅに出力する。画像処理回路１１０Ｅは、制御回路１１０Ｃから入力されたデジタル画像データ７０Ｂに対して画像処理を行い、画像処理済みのデジタル画像データ７０Ｂを制御回路１１０Ｃに出力する。ここで言う「画像処理」としては、例えば、デモザイク処理及び／又はデジタル間引き処理等が挙げられる。
【0093】
デモザイク処理は、カラーフィルタの配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理である。例えば、撮像素子３８がＲＧＢの３色のカラーフィルタが適用された撮像素子であれば、ＲＧＢのモザイク画像から画素毎にＲＧＢ全ての色情報が算出される。デジタル間引き処理は、画像データに含まれる画素をライン単位で間引く処
理である。ライン単位とは、例えば、水平ライン単位及び／又は垂直ライン単位を指す。
理である。ライン単位とは、例えば、水平ライン単位及び／又は垂直ライン単位を指す。
【0094】
メモリ１１２は、複数フレームのデジタル画像データを記憶可能なメモリである。メモリ１１２は、画素単位の記憶領域（図７参照）を有しており、デジタル画像データ７０Ｂは、制御回路１１０Ｃによって、画素単位で、メモリ１１２のうちの対応する記憶領域に記憶される。制御回路１１０Ｃは、画像処理回路１１０Ｅから入力されたデジタル画像データ７０Ｂをメモリ１１２に記憶する。
【0095】
制御回路１１０Ｃは、メモリ１１２に対してランダムアクセス可能である。制御回路１１０Ｃは、コントローラ１５からの指示に応じて、メモリ１１２に記憶されているデジタル画像データ７０Ｂの属性情報を取得する。属性情報は、メモリ１１２に記憶されているデジタル画像データ７０Ｂの属性を示す情報である。ここで、属性情報とは、例えば、アドレス、画像サイズ、撮像時刻、露光時間、撮像素子感度、及び消去フラグを含む情報を指す。
【0096】
アドレスとは、メモリ１１２におけるフレーム単位でのデジタル画像データ７０Ｂの格納箇所を特定する情報（記録アドレス）を指す。画像サイズとは、１フレーム分のデジタル画像データ７０Ｂの水平ライン方向のサイズ（水平サイズ）、及び１フレーム分のデジタル画像データ７０Ｂの垂直ライン方向のサイズ（垂直サイズ）を指す。撮像時刻とは、撮像素子３８による撮像が行われた時刻（例えば、年月日時分秒）を指す。ここで言う「撮像が行われた時刻」とは、例えば、１フレーム分のデジタル画像データ７０Ｂがメモリ１１２に記憶された時点での時刻を指す。但し、これはあくまでも一例に過ぎず、撮像が行われた時刻は、１フレーム分の露光が完了した時刻、又は、１フレーム分のＡ／Ｄ変換が完了した時刻等であってもよい。
【0097】
露光時間とは、１フレーム分のデジタル画像データ７０Ｂを得るのに要した露光の時間を指す。撮像素子感度とは、例えば、光電変換素子４２の感度（センサゲイン）を指す。消去フラグとは、次回の撮像に伴ってメモリ１１２からデジタル画像データ７０Ｂが消去されるか否かを示すフラグを指す。消去フラグがオフの場合は、次回の撮像に伴ってメモリ１１２からデジタル画像データ７０Ｂは消去されず、消去フラグがオンの場合は、次回の撮像に伴ってメモリ１１２からデジタル画像データ７０Ｂが消去される。メモリ１１２から消去されるデジタル画像データ７０Ｂの一例としては、メモリ１１２から消去される１フレーム分のデジタル画像データ７０Ｂが挙げられる。
【0098】
なお、露光時間及び撮像素子感度は、本開示の技術の「撮像条件」の一例であり、オン状態の消去フラグは、本開示の技術に係る「消去情報」の一例である。
【0099】
ここでは、本開示の技術に係る「撮像条件」の一例として、露光時間及び撮像素子感度を挙げているが、本開示の技術はこれに限定されず、露光時間及び／若しくは撮像素子感度に代えて、又は、露光時間及び／若しくは撮像素子感度に加えて、撮像レンズ４０の種類、被写体距離、焦点距離、画角、及び／又は振れ補正の有無等が採用されてもよい。
【0100】
制御回路１１０Ｃは、コントローラ１５からの属性情報に関する指示に応じて、属性情報を生成し、生成した属性情報を出力Ｉ／Ｆ１１０Ｄ２に出力する。属性情報に関する指示とは、例えば、コントローラ１５が処理回路１１０に対して属性情報の出力を要求する指示を指す。本実施形態では、属性情報に関する指示の一例として、垂直同期信号が採用されている。出力Ｉ／Ｆ１１０Ｄ２は、制御回路１１０Ｃから入力された属性情報を信号処理回路３４に出力する。
【0101】
具体的には、先ず、受付Ｉ／Ｆ１１０Ｄ１が、コントローラ１５から属性情報に関する
指示として垂直同期信号を受け付ける。次に、制御回路１１０Ｃは、受付Ｉ／Ｆ１１０Ｄ１によって受け付けられた垂直同期信号に応じた属性情報として、メモリ１１２に記憶されているデジタル画像データ７０Ｂのうち、最も過去に記憶されたデジタル画像データ７０Ｂに関する属性情報を生成する。そして、出力Ｉ／Ｆ１１０Ｄ２は、制御回路１１０Ｃによって生成された属性情報を信号処理回路３４に出力する。
指示として垂直同期信号を受け付ける。次に、制御回路１１０Ｃは、受付Ｉ／Ｆ１１０Ｄ１によって受け付けられた垂直同期信号に応じた属性情報として、メモリ１１２に記憶されているデジタル画像データ７０Ｂのうち、最も過去に記憶されたデジタル画像データ７０Ｂに関する属性情報を生成する。そして、出力Ｉ／Ｆ１１０Ｄ２は、制御回路１１０Ｃによって生成された属性情報を信号処理回路３４に出力する。
【0102】
一例として図９に示すように、撮像素子３８によって行われる工程には、撮像工程と出力工程とが含まれている。
【0103】
撮像工程では、露光、アナログ画像データ７０Ａの読み出し、光電変換素子４２に対するリセット、アナログ信号処理、デジタル信号処理、１回目の記憶、デジタル画像データ７０Ｂの取得、画像処理、及び２回目の記憶が順に行われる。
【0104】
露光は、光電変換素子４２によって行われる。アナログ画像データ７０Ａの読み出し、光電変換素子４２に対するリセット、及びアナログ信号処理は、読出回路１１０Ａによって行われる。アナログ画像データ７０Ａの読み出しは、垂直同期信号が受付Ｉ／Ｆ１１０Ｄ１によって受け付けられたことを条件に開始される。光電変換素子４２によって露光が行われる期間は、アナログ画像データ７０Ａの読み出し及び光電変換素子４２に対するリセットが行われていない期間である。光電変換素子４２に対するリセットとは、光電変換素子４２内の各画素の残留電荷を消去する動作を指す。光電変換素子４２による露光は、光電変換素子４２に対する読出回路１１０Ａによる前回のリセットが行われてから読み出しが行われるまでの間に行われる。
【0105】
デジタル信号処理は、デジタル処理回路１１０Ｂによって行われる。１回目の記憶とは、デジタル信号処理が行われることによって得られたデジタル画像データ７０Ｂのメモリ１１２への記憶を指す。デジタル画像データ７０Ｂの取得とは、メモリ１１２からのデジタル画像データ７０Ｂの取得を指す。１回目の記憶及びデジタル画像データ７０Ｂの取得は、制御回路１１０Ｃによって行われる。画像処理は、制御回路１１０Ｃによって取得されたデジタル画像データ７０Ｂに対して画像処理回路１１０Ｅによって行われる。２回目の記憶とは、画像処理が行われたデジタル画像データ７０Ｂのメモリ１１２への記憶を指す。２回目の記憶は、制御回路１１０Ｃによって行われる。
【0106】
出力工程では、属性情報の生成と、属性情報の出力とが行われる。属性情報の生成は、メモリ１１２に記憶されているデジタル画像データ７０Ｂに関するフレーム毎の属性情報の生成を指す。属性情報の生成は、制御回路１１０Ｃによって行われる。属性情報の出力とは、制御回路１１０Ｃによって生成された属性情報の出力Ｉ／Ｆ１１０Ｄ２による出力を指す。
【0107】
図１０には、１フレーム目（１Ｆ）～６フレーム目（６Ｆ）の画像データの読み出しからメモリ１１２への記憶までの流れと、フレーム毎の属性情報の出力タイミングの一例が示されている。図１０に示す１Ｆ～６Ｆの“Ｆ”とは、“Ｆｒａｍｅ”の略称を指す。図１０に示す例では、説明の便宜上、メモリ１１２の第１記憶領域１１２Ａ、第２記憶領域１１２Ｂ、第３記憶領域１１２Ｃ、第４記憶領域１１２Ｄ、第５記憶領域１１２Ｅ、及び第６記憶領域１１２Ｆの各々に１フレーム分のデジタル画像データ７０Ｂが記憶される態様が示されている。
【0108】
一例として図１０に示すように、垂直同期信号が受付Ｉ／Ｆ１１０Ｄ１によって受け付けられる毎に、光電変換素子４２からの１フレーム分のアナログ画像データ７０Ａの読み出しが開始される。図１０に示す例では、１回目～６回目の垂直同期信号が受付Ｉ／Ｆ１１０Ｄ１によって順次に受け付けられ、１フレーム目～６フレーム目のアナログ画像デー
タ７０Ａの読み出しが開始される。
タ７０Ａの読み出しが開始される。
【0109】
アナログ画像データ７０Ａの読み出しは、光電変換素子４２の１行目の水平ラインから最終行の水平ラインにかけて水平同期信号に従って１ライン毎に行われ、１ライン毎に読み出しが終了すると、読み出しが終了した水平ラインの各画素はリセットされる。アナログ画像データ７０Ａは、デジタル画像データ７０Ｂに変換され、読み出されたアナログ画像データ７０Ａのフレームの順（撮像順）に、デジタル画像データ７０Ｂがメモリ１１２に１フレーム単位で区別可能に、かつ、ＦＩＦＯ方式で記憶される。具体的には、第１記憶領域１１２Ａ、第２記憶領域１１２Ｂ、第３記憶領域１１２Ｃ、第４記憶領域１１２Ｄ、第５記憶領域１１２Ｅ、及び第６記憶領域１１２Ｆに対して順次に最新のデジタル画像データ７０Ｂが１フレーム単位で上書き保存される。上書き保存は、第１記憶領域１１２Ａ、第２記憶領域１１２Ｂ、第３記憶領域１１２Ｃ、第４記憶領域１１２Ｄ、第５記憶領域１１２Ｅ、及び第６記憶領域１１２Ｆの順に繰り返し行われる。
【0110】
出力Ｉ／Ｆ１１０Ｄ２は、メモリ１１２に記憶されたデジタル画像データ７０Ｂのうちの最新のデジタル画像データ７０Ｂに関する属性情報を信号処理回路３４に出力する。この場合、先ず、制御回路１１０Ｃは、受付Ｉ／Ｆ１１０Ｄ１によって垂直同期信号が受け付けられたタイミングで１フレーム分の最新のデジタル画像データ７０Ｂのメモリ１１２への記憶が完了する毎に、メモリ１１２に記憶されたデジタル画像データ７０Ｂのうちの最新のデジタル画像データ７０Ｂに関する属性情報を生成する。そして、出力Ｉ／Ｆ１１０Ｄ２は、制御回路１１０Ｃによって生成された属性情報を信号処理回路３４に出力する。
【0111】
一例として図１１Ａ及び図１１Ｂに示すように、各フレーム（図１１Ａ及び図１１Ｂに示す例では、１フレーム目～６フレーム目）の属性情報は、出力Ｉ／Ｆ１１０Ｄ２によって信号処理回路３４に出力される。そして、信号処理回路３４は、入力された属性情報をコントローラ１５に出力する。
【0112】
一例として図１１Ａに示すように、１フレーム目に出力される属性情報は、第１記憶領域１１２Ａに記憶されているデジタル画像データ７０Ｂに関する属性情報である。図１１Ａに示す例では、第１記憶領域１１２Ａに記憶されているデジタル画像データ７０Ｂに関する属性情報の一例として、第１記憶領域１１２Ａのアドレス、第１記憶領域１１２Ａ内のデジタル画像データ７０Ｂの水平サイズ、第１記憶領域１１２Ａ内のデジタル画像データ７０Ｂの垂直サイズ、第１記憶領域１１２Ａ内のデジタル画像データ７０Ｂに関する撮像時刻、第１記憶領域１１２Ａ内のデジタル画像データ７０Ｂに関する露光時間、第１記憶領域１１２Ａ内のデジタル画像データ７０Ｂに関する撮像素子感度、及び消去フラグ＿オフを含む情報が挙げられている。ここで、「消去フラグ＿オフ」とは、消去フラグがオフの状態を示す情報を指す。
【0113】
２フレーム目に出力される属性情報は、第１記憶領域１１２Ａに記憶されているデジタル画像データ７０Ｂに関する属性情報、及び第２記憶領域１１２Ｂに記憶されているデジタル画像データ７０Ｂに関する属性情報である。図１１Ａに示す例では、第２記憶領域１１２Ｂに記憶されているデジタル画像データ７０Ｂに関する属性情報の一例として、第２記憶領域１１２Ｂのアドレス、第２記憶領域１１２Ｂ内のデジタル画像データ７０Ｂの水平サイズ、第２記憶領域１１２Ｂ内のデジタル画像データ７０Ｂの垂直サイズ、第２記憶領域１１２Ｂ内のデジタル画像データ７０Ｂに関する撮像時刻、第２記憶領域１１２Ｂ内のデジタル画像データ７０Ｂに関する露光時間、第２記憶領域１１２Ｂ内のデジタル画像データ７０Ｂに関する撮像素子感度、及び消去フラグ＿オフを含む情報が挙げられている。
【0114】
３フレーム目に出力される属性情報は、第１記憶領域１１２Ａに記憶されているデジタル画像データ７０Ｂに関する属性情報、第２記憶領域１１２Ｂに記憶されているデジタル画像データ７０Ｂに関する属性情報、及び第３記憶領域１１２Ｃに記憶されているデジタル画像データ７０Ｂに関する属性情報である。図１１Ａに示す例では、第３記憶領域１１２Ｃに記憶されているデジタル画像データ７０Ｂに関する属性情報の一例として、第３記憶領域１１２Ｃのアドレス、第３記憶領域１１２Ｃ内のデジタル画像データ７０Ｂの水平サイズ、第３記憶領域１１２Ｃ内のデジタル画像データ７０Ｂの垂直サイズ、第３記憶領域１１２Ｃ内のデジタル画像データ７０Ｂに関する撮像時刻、第３記憶領域１１２Ｃ内のデジタル画像データ７０Ｂに関する露光時間、第３記憶領域１１２Ｃ内のデジタル画像データ７０Ｂに関する撮像素子感度、及び消去フラグ＿オフを含む情報が挙げられている。
【0115】
４フレーム目に出力される属性情報は、第１記憶領域１１２Ａに記憶されているデジタル画像データ７０Ｂに関する属性情報、第２記憶領域１１２Ｂに記憶されているデジタル画像データ７０Ｂに関する属性情報、第３記憶領域１１２Ｃに記憶されているデジタル画像データ７０Ｂに関する属性情報、及び第４記憶領域１１２Ｄに記憶されているデジタル画像データ７０Ｂに関する属性情報である。図１１Ａに示す例では、第４記憶領域１１２Ｄに記憶されているデジタル画像データ７０Ｂに関する属性情報の一例として、第４記憶領域１１２Ｄのアドレス、第４記憶領域１１２Ｄ内のデジタル画像データ７０Ｂの水平サイズ、第４記憶領域１１２Ｄ内のデジタル画像データ７０Ｂの垂直サイズ、第４記憶領域１１２Ｄ内のデジタル画像データ７０Ｂに関する撮像時刻、第４記憶領域１１２Ｄ内のデジタル画像データ７０Ｂに関する露光時間、第４記憶領域１１２Ｄ内のデジタル画像データ７０Ｂに関する撮像素子感度、及び消去フラグ＿オフを含む情報が挙げられている。ここで、４フレーム目に出力される属性情報に含まれる第１記憶領域１１２Ａに記憶されているデジタル画像データ７０Ｂに関する属性情報内の「消去フラグ＿オフ」は、制御回路１１０Ｃによって「消去フラグ＿オン」に変更される。「消去フラグ＿オン」とは、消去フラグがオンの状態を示す情報を指す。
【0116】
このように、第１記憶領域１１２Ａに記憶されているデジタル画像データ７０Ｂに関する属性情報内の「消去フラグ＿オフ」は、制御回路１１０Ｃによって「消去フラグ＿オン」に変更される。これは、出力Ｉ／Ｆ１１０Ｄ２から４フレーム目に出力される属性情報が、次回の撮像に伴ってメモリ１１２から第１記憶領域１１２Ａ内のデジタル画像データ７０Ｂが消去されることを示す情報を含む情報であることを意味する。
【0117】
４フレーム目に出力される属性情報に「消去フラグ＿オン」が含まれている場合、次回の撮像に伴って（例えば、５フレーム目の撮像が開始される時点、又は、現時点から５フレーム目の撮像が開始されるまでの間）、メモリ１１２内の消去対象とされたデジタル画像データ７０Ｂである消去対象画像データに関する属性情報、すなわち、第１記憶領域１１２Ａに関する属性情報が制御回路１１０Ｃによって消去される。また、第１記憶領域１１２Ａからデジタル画像データ７０Ｂも制御回路１１０Ｃによって消去される。この場合、例えば、次回の撮像に伴って、先ず、第１記憶領域１１２Ａに関する属性情報が制御回路１１０Ｃによって消去され、次に、第１記憶領域１１２Ａからデジタル画像データ７０Ｂが制御回路１１０Ｃによって消去される。なお、ここでは、デジタル画像データ７０Ｂ及び属性情報が消去される形態例を挙げているが、本開示の技術はこれに限定されず、「消去」には、実際にデジタル画像データ７０Ｂ及び属性情報を消去することの他に、領域を解放し、上書き可能にする処理も含まれる。
【0118】
一例として図１１Ｂに示すように、５フレーム目に出力される属性情報は、第２記憶領域１１２Ｂに記憶されているデジタル画像データ７０Ｂに関する属性情報、第３記憶領域１１２Ｃに記憶されているデジタル画像データ７０Ｂに関する属性情報、第４記憶領域１１２Ｄに記憶されているデジタル画像データ７０Ｂに関する属性情報、及び第５記憶領域
１１２Ｅに記憶されているデジタル画像データ７０Ｂに関する属性情報である。図１１Ｂに示す例では、第５記憶領域１１２Ｅに記憶されているデジタル画像データ７０Ｂに関する属性情報の一例として、第５記憶領域１１２Ｅのアドレス、第５記憶領域１１２Ｅ内のデジタル画像データ７０Ｂの水平サイズ、第５記憶領域１１２Ｅ内のデジタル画像データ７０Ｂの垂直サイズ、第５記憶領域１１２Ｅ内のデジタル画像データ７０Ｂに関する撮像時刻、第５記憶領域１１２Ｅ内のデジタル画像データ７０Ｂに関する露光時間、第５記憶領域１１２Ｅ内のデジタル画像データ７０Ｂに関する撮像素子感度、及び消去フラグ＿オフを含む情報が挙げられている。ここで、５フレーム目に出力される属性情報に含まれる第２記憶領域１１２Ｂに記憶されているデジタル画像データ７０Ｂに関する属性情報内の「消去フラグ＿オフ」は、制御回路１１０Ｃによって「消去フラグ＿オン」に変更される。
１１２Ｅに記憶されているデジタル画像データ７０Ｂに関する属性情報である。図１１Ｂに示す例では、第５記憶領域１１２Ｅに記憶されているデジタル画像データ７０Ｂに関する属性情報の一例として、第５記憶領域１１２Ｅのアドレス、第５記憶領域１１２Ｅ内のデジタル画像データ７０Ｂの水平サイズ、第５記憶領域１１２Ｅ内のデジタル画像データ７０Ｂの垂直サイズ、第５記憶領域１１２Ｅ内のデジタル画像データ７０Ｂに関する撮像時刻、第５記憶領域１１２Ｅ内のデジタル画像データ７０Ｂに関する露光時間、第５記憶領域１１２Ｅ内のデジタル画像データ７０Ｂに関する撮像素子感度、及び消去フラグ＿オフを含む情報が挙げられている。ここで、５フレーム目に出力される属性情報に含まれる第２記憶領域１１２Ｂに記憶されているデジタル画像データ７０Ｂに関する属性情報内の「消去フラグ＿オフ」は、制御回路１１０Ｃによって「消去フラグ＿オン」に変更される。
【0119】
このように、第２記憶領域１１２Ｂに記憶されているデジタル画像データ７０Ｂに関する属性情報内の「消去フラグ＿オフ」が制御回路１１０Ｃによって「消去フラグ＿オン」に変更されると、次回の撮像に伴って（例えば、６フレーム目の撮像が開始される時点、又は、現時点から６フレーム目の撮像が開始されるまでの間）、メモリ１１２内の消去対象とされたデジタル画像データ７０Ｂである消去対象画像データに関する属性情報、すなわち、第２記憶領域１１２Ｂに関する属性情報が制御回路１１０Ｃによって消去される。また、第２記憶領域１１２Ｂからデジタル画像データ７０Ｂも制御回路１１０Ｃによって消去される。この場合、例えば、次回の撮像に伴って、先ず、第２記憶領域１１２Ｂに関する属性情報が制御回路１１０Ｃによって消去され、次に、第２記憶領域１１２Ｂからデジタル画像データ７０Ｂが制御回路１１０Ｃによって消去される。
【0120】
６フレーム目に出力される属性情報は、第３記憶領域１１２Ｃに記憶されているデジタル画像データ７０Ｂに関する属性情報、第４記憶領域１１２Ｄに記憶されているデジタル画像データ７０Ｂに関する属性情報、第５記憶領域１１２Ｅに記憶されているデジタル画像データ７０Ｂに関する属性情報、及び第６記憶領域１１２Ｆに記憶されているデジタル画像データ７０Ｂに関する属性情報である。図１１Ｂに示す例では、第６記憶領域１１２Ｆに記憶されているデジタル画像データ７０Ｂに関する属性情報の一例として、第６記憶領域１１２Ｆのアドレス、第６記憶領域１１２Ｆ内のデジタル画像データ７０Ｂの水平サイズ、第６記憶領域１１２Ｆ内のデジタル画像データ７０Ｂの垂直サイズ、第６記憶領域１１２Ｆ内のデジタル画像データ７０Ｂに関する撮像時刻、第６記憶領域１１２Ｆ内のデジタル画像データ７０Ｂに関する露光時間、第６記憶領域１１２Ｆ内のデジタル画像データ７０Ｂに関する撮像素子感度、及び消去フラグ＿オフを含む情報が挙げられている。ここで、６フレーム目に出力される属性情報に含まれる第３記憶領域１１２Ｃに記憶されているデジタル画像データ７０Ｂに関する属性情報内の「消去フラグ＿オフ」は、制御回路１１０Ｃによって「消去フラグ＿オン」に変更される。
【0121】
このように、第３記憶領域１１２Ｃに記憶されているデジタル画像データ７０Ｂに関する属性情報内の「消去フラグ＿オフ」が制御回路１１０Ｃによって「消去フラグ＿オン」に変更されると、次回の撮像に伴って（例えば、７フレーム目の撮像が開始される時点、又は、現時点から７フレーム目の撮像が開始されるまでの間）、メモリ１１２内の消去対象とされたデジタル画像データ７０Ｂである消去対象画像データに関する属性情報、すなわち、第３記憶領域１１２Ｃに関する属性情報が制御回路１１０Ｃによって消去される。また、第３記憶領域１１２Ｃからデジタル画像データ７０Ｂも制御回路１１０Ｃによって消去される。この場合、例えば、次回の撮像に伴って、先ず、第３記憶領域１１２Ｃに関する属性情報が制御回路１１０Ｃによって消去され、次に、第３記憶領域１１２Ｃからデジタル画像データ７０Ｂが制御回路１１０Ｃによって消去される。
【0122】
このように、フレーム毎に属性情報が出力Ｉ／Ｆ１１０Ｄ２によって信号処理回路３４
に送信されると、信号処理回路３４は、属性情報をコントローラ１５に転送する。信号処理回路３４からコントローラ１５に転送された属性情報は、コントローラ１５の受付Ｉ／Ｆ１５Ｅによって受け付けられる。コントローラ１５は、受付Ｉ／Ｆ１５Ｅによって受け付けられた属性情報から、必要に応じてアドレスを取得する。
に送信されると、信号処理回路３４は、属性情報をコントローラ１５に転送する。信号処理回路３４からコントローラ１５に転送された属性情報は、コントローラ１５の受付Ｉ／Ｆ１５Ｅによって受け付けられる。コントローラ１５は、受付Ｉ／Ｆ１５Ｅによって受け付けられた属性情報から、必要に応じてアドレスを取得する。
【0123】
一例として図１２に示すように、コントローラ１５は、属性情報から取得したアドレスを出力Ｉ／Ｆ１５Ｄを介して撮像素子３８の受付Ｉ／Ｆ１１０Ｄ１に出力する。撮像素子３８の受付Ｉ／Ｆ１１０Ｄ１は、コントローラ１５からのアドレスを受け付ける。制御回路１１０Ｃは、受付Ｉ／Ｆ１１０Ｄ１によって受け付けられたアドレスに従ってメモリ１１２からデジタル画像データ７０Ｂを取得し、取得したデジタル画像データ７０Ｂを出力Ｉ／Ｆ１１０Ｄ２に対して信号処理回路３４に出力させる。
【0124】
なお、ここでは、コントローラ１５の出力Ｉ／Ｆ１５Ｄからアドレスが撮像素子３８に出力される形態例を挙げて説明しているが、本開示の技術はこれに限定されない。例えば、コントローラ１５が送信Ｉ／Ｆを更に備えており、送信Ｉ／Ｆからアドレスが撮像素子３８に送信されるようにしてもよい。
【0125】
また、ここでは、受付Ｉ／Ｆ１１０Ｄ１によってアドレスが受け付けられる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像素子３８が受信Ｉ／Ｆを更に備えており、コントローラ１５から送信されたアドレスが撮像素子３８の受信Ｉ／Ｆによって受信されるようにしてもよい。
【0126】
次に、撮像装置１０の作用について説明する。
【0127】
先ず、撮像素子３８の処理回路１１０によって実行される属性情報出力処理の流れについて図１３を参照しながら説明する。
【0128】
図１３に示す属性情報出力処理では、先ず、ステップＳＴ１０で、制御回路１１０Ｃは、受付Ｉ／Ｆ１１０Ｄ１によって垂直同期信号が受け付けられたか否かを判定する。ステップＳＴ１０において、受付Ｉ／Ｆ１１０Ｄ１によって垂直同期信号が受け付けられていない場合は、判定が否定されて、属性情報出力処理はステップＳＴ２２へ移行する。ステップＳＴ１０において、受付Ｉ／Ｆ１１０Ｄ１によって垂直同期信号が受け付けられた場合は、判定が肯定されて、属性情報出力処理はステップＳＴ１２へ移行する。
【0129】
ステップＳＴ１２で、制御回路１１０Ｃは、撮像されることで得たデジタル画像データ７０Ｂをメモリ１１２に記憶し、その後、属性情報出力処理はステップＳＴ１４へ移行する。
【0130】
ステップＳＴ１４で、制御回路１１０Ｃは、ステップＳＴ１２でメモリ１１２に記憶されたデジタル画像データ７０Ｂに関しての属性情報を生成し、生成した属性情報を保持し、その後、属性情報出力処理はステップＳＴ１６へ移行する。
【0131】
ステップＳＴ１６で、制御回路１１０Ｃは、次回の撮像が行われることによってメモリ１１２内にデジタル画像データ７０Ｂが記憶可能なフレーム数が上限数に到達するか否かを判定する。本実施形態では、メモリ１１２が、第１記憶領域１１２Ａ、第２記憶領域１１２Ｂ、第３記憶領域１１２Ｃ、第４記憶領域１１２Ｄ、第５記憶領域１１２Ｅ、及び第６記憶領域１１２Ｆという６つの記憶領域を有しているので、ここで言う「上限数」は、“６”である。なお、上限数は、これに限定されず、メモリ１１２に記憶可能なフレーム数であればよい。
【0132】
ステップＳＴ１６において、次回の撮像が行われることによってメモリ１１２内にデジタル画像データ７０Ｂが記憶可能なフレーム数が上限数に到達しない場合は、判定が否定されて、属性情報出力処理はステップＳＴ２０へ移行する。ステップＳＴ１６において、次回の撮像が行われることによってメモリ１１２内にデジタル画像データ７０Ｂが記憶可能なフレーム数が上限数に到達した場合は、判定が肯定されて、属性情報出力処理はステップＳＴ１８へ移行する。
【0133】
ステップＳＴ１８で、制御回路１１０Ｃは、メモリ１１２に記憶されている全フレーム分のデジタル画像データ７０Ｂのうち、最も過去にメモリ１１２に記憶された１フレーム分のデジタル画像データ７０Ｂに関しての属性情報に含まれる消去フラグをオンし、その後、属性情報出力処理はステップＳＴ２０へ移行する。
【0134】
ステップＳＴ２０で、制御回路１１０Ｃは、現時点で保持している属性情報を出力Ｉ／Ｆ１１０Ｄ２に対して信号処理回路３４に出力させ、その後、属性情報出力処理はステップＳＴ２２へ移行する。
【0135】
ステップＳＴ２２で、制御回路１１０Ｃは、属性情報出力処理を終了する条件（以下、「属性情報出力処理終了条件」と称する）を満足したか否かを判定する。属性情報出力処理終了条件の一例としては、属性情報出力処理を終了させる指示が受付デバイス８４（図４参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ２２において、属性情報出力処理終了条件を満足していない場合は、判定が否定されて、属性情報出力処理はステップＳＴ１０へ移行する。ステップＳＴ２２において、属性情報出力処理終了条件を満足した場合は、判定が肯定されて、属性情報出力処理が終了する。
【0136】
次に、撮像素子３８の処理回路１１０によって実行されるデータ消去処理の流れについて図１４を参照しながら説明する。
【0137】
図１４に示すデータ消去処理では、先ず、ステップＳＴ５０で、制御回路１１０Ｃは、出力Ｉ／Ｆ１１０Ｄ２によって属性情報が出力されたか否かを判定する。ステップＳＴ５０において、出力Ｉ／Ｆ１１０Ｄ２によって属性情報が出力されていない場合は、判定が否定されて、データ消去処理はステップＳＴ６０へ移行する。ステップＳＴ５０において、出力Ｉ／Ｆ１１０Ｄ２によって属性情報が出力された場合は、判定が肯定されて、データ消去処理はステップＳＴ５２へ移行する。
【0138】
ステップＳＴ５２で、制御回路１１０Ｃは、受付Ｉ／Ｆ１１０Ｄ１によって垂直同期信号が受け付けられたか否かを判定する。ステップＳＴ５２において、受付Ｉ／Ｆ１１０Ｄ１によって垂直同期信号が受け付けられていない場合は、判定が否定されて、ステップＳＴ５２の判定が再び行われる。ステップＳＴ５２において、受付Ｉ／Ｆ１１０Ｄ１によって垂直同期信号が受け付けられた場合は、判定が肯定されて、データ消去処理はステップＳＴ５４へ移行する。
【0139】
ステップＳＴ５４で、制御回路１１０Ｃは、消去フラグがオンされた属性情報を保持しているか否かを判定する。ステップＳＴ５４において、消去フラグがオンされた属性情報を保持していない場合は、判定が否定されて、データ消去処理はステップＳＴ６０へ移行する。ステップＳＴ５４において、消去フラグがオンされた属性情報を保持している場合は、判定が肯定されて、データ消去処理はステップＳＴ５６へ移行する。
【0140】
ステップＳＴ５６で、制御回路１１０Ｃは、先ず、現時点で保持している全ての属性情報のうち、消去フラグがオンされた属性情報に含まれるアドレスからデジタル画像データ７０Ｂを特定する。次に、制御回路１１０Ｃは、現時点で保持している全ての属性情報の
うち、消去フラグがオンされた属性情報を消去する。そして、制御回路１１０Ｃは、アドレスから特定したデジタル画像データ７０Ｂをメモリ１１２から消去し、その後、データ消去処理はステップＳＴ６０へ移行する。
うち、消去フラグがオンされた属性情報を消去する。そして、制御回路１１０Ｃは、アドレスから特定したデジタル画像データ７０Ｂをメモリ１１２から消去し、その後、データ消去処理はステップＳＴ６０へ移行する。
【0141】
ステップＳＴ６０で、制御回路１１０Ｃは、データ消去処理を終了する条件（以下、「データ消去処理終了条件」と称する）を満足したか否かを判定する。データ消去処理終了条件の一例としては、データ消去処理を終了させる指示が受付デバイス８４（図４参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ６０において、データ消去処理終了条件を満足していない場合は、判定が否定されて、データ消去処理はステップＳＴ５０へ移行する。ステップＳＴ６０において、データ消去処理終了条件を満足した場合は、判定が肯定されて、データ消去処理が終了する。
【0142】
以上説明したように、撮像装置１０では、属性情報に関する指示が受付Ｉ／Ｆ１１０Ｄ１によって受け付けられ、受け付けられた指示に応じた属性情報が出力Ｉ／Ｆ１１０Ｄ２によって後段回路１３に出力される。これにより、後段回路１３は、属性情報を用いることで撮像素子３８に対してデジタル画像データ７０Ｂの提供を要求することが可能なる。従って、後段回路１３は、撮像素子３８から必要なデジタル画像データ７０Ｂを選択的に取得することができる。また、デジタル画像データ７０Ｂと属性情報に含まれる少なくとも一部との両方が同時に出力される場合に比べ、撮像素子３８による出力に要する消費電力を低減することができる。
【0143】
また、撮像装置１０では、制御回路１１０Ｃにより、コントローラ１５からの垂直同期信号に応じた属性情報が生成され、生成された属性情報が出力Ｉ／Ｆ１１０Ｄ２によって信号処理回路３４に出力される。従って、後段回路１３は、垂直同期信号とは異なる信号を新たに生成して用いることなく属性情報を撮像素子３８から取得することができる。
【0144】
また、撮像装置１０では、メモリ１１２に記憶された全てのデジタル画像データ７０Ｂのうちの最新のデジタル画像データ７０Ｂに関する属性情報が出力Ｉ／Ｆ１１０Ｄ２によって出力される。従って、後段回路１３は、最新のデジタル画像データ７０Ｂに関する属性情報を取得することができる。
【0145】
また、撮像装置１０では、受付Ｉ／Ｆ１１０Ｄ１によって垂直同期信号が受け付けられたタイミングでの最新のデジタル画像データ７０Ｂに関する属性情報が出力Ｉ／Ｆ１１０Ｄ２によって出力される。従って、後段回路１３は、受付Ｉ／Ｆ１１０Ｄ１によって垂直同期信号が受け付けられたタイミングでの最新のデジタル画像データ７０Ｂに関する属性情報を取得することができる。
【0146】
また、撮像装置１０では、出力Ｉ／Ｆ１１０Ｄ２は、複数フレームのデジタル画像データ７０Ｂに対するそれぞれの属性情報を出力することが可能であり、属性情報が出力Ｉ／Ｆ１１０Ｄ２によって撮像順に沿って出力される。従って、後段回路１３は撮像素子３８からデジタル画像データ７０Ｂを撮像順に取得することができる。
【0147】
また、撮像装置１０では、属性情報として、アドレス、画像サイズ、撮像時刻、及び撮像条件を含む情報が採用されている。従って、属性情報に、アドレス、画像サイズ、撮像時刻、及び撮像条件の何れも含まれていない場合に比べ、後段回路１３が撮像素子３８から取得したデジタル画像データ７０Ｂの用途の幅を広げることができる。
【0148】
また、撮像装置１０では、次回の撮像に伴ってメモリ１１２からデジタル画像データ７０Ｂが消去される場合、出力Ｉ／Ｆ１１０Ｄ２から出力される属性情報には、フラグがオンされた消去フラグが含まれる。従って、メモリ１１２に記憶されていないデジタル画像
データ７０Ｂの出力が後段回路１３によって指示されないようにすることができる。
データ７０Ｂの出力が後段回路１３によって指示されないようにすることができる。
【0149】
また、撮像装置１０では、次回の撮像に伴ってメモリ１１２からデジタル画像データ７０Ｂが消去される場合、消去フラグがオンされた属性情報が制御回路１１０Ｃによってメモリ１１２から消去され、消去フラグがオンされた属性情報に含まれるアドレスから特定されたデジタル画像データ７０Ｂが制御回路１１０Ｃによってメモリ１１２から消去される。従って、属性情報と属性情報に関するデジタル画像データ７０Ｂとの両方を異なるタイミングで消去することができる。
【0150】
また、撮像装置１０では、コントローラ１５から送信された属性情報が受付Ｉ／Ｆ１１０Ｄ１によって受け付けられる。制御回路１１０Ｃでは、受付Ｉ／Ｆ１１０Ｄ１によって受け付けられた属性情報に従ってメモリ１１２からデジタル画像データ７０Ｂが取得され、取得されたデジタル画像データ７０Ｂが出力Ｉ／Ｆ１１０Ｄ２によって信号処理回路３４に出力される。従って、撮像素子３８は、後段回路１３が要求するデジタル画像データ７０Ｂを後段回路１３に出力することができる。
【0151】
また、撮像装置１０では、撮像素子３８として、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化された撮像素子が採用されている。これにより、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化されていない撮像素子に比べ、撮像素子３８の可搬性が高くなる。また、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化されていない撮像素子に比べ、設計の自由度も高めることができる。更に、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化されていない撮像素子に比べ、撮像装置１０の小型化にも寄与することができる。
【0152】
また、図６に示すように、撮像素子３８として、光電変換素子４２にメモリ１１２が積層された積層型撮像素子が採用されている。これにより、光電変換素子４２とメモリ１１２とが積層されていない場合に比べ、光電変換素子４２からメモリ１１２への画像データの転送速度を高めることができる。転送速度の向上は、処理回路１１０全体での処理の高速化にも寄与する。また、光電変換素子４２とメモリ１１２とが積層されていない場合に比べ、設計の自由度も高めることができる。更に、光電変換素子４２とメモリ１１２とが積層されていない場合に比べ、撮像装置１０の小型化にも寄与することができる。
【0153】
また、撮像装置１０では、出力Ｉ／Ｆ１１０Ｄ２によって出力されたデジタル画像データ７０Ｂに基づくライブビュー画像等がＣＰＵ１５Ａによってディスプレイ２６に表示される。これにより、出力Ｉ／Ｆ１１０Ｄ２によって出力されたデジタル画像データ７０Ｂに基づくライブビュー画像等をユーザに視認させることができる。
【0154】
更に、撮像装置１０では、出力Ｉ／Ｆ１１０Ｄ２によって出力されたデジタル画像データ７０ＢがＣＰＵ１５Ａによってストレージ１５Ｂ、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、及び／又はメモリカード等に記憶される。これにより、出力Ｉ／Ｆ１１０Ｄ２によって出力されたデジタル画像データ７０Ｂを管理することができる。
【0155】
なお、上記実施形態では、複数フレーム分のデジタル画像データ７０Ｂがメモリ１１２に記憶される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、メモリ１１２に、複数フレーム分のデジタル画像データ７０Ｂの他に、圧縮画像データが記憶されるようにしてもよい。圧縮画像データは、画像処理回路１１０Ｅによって圧縮処理が行われることで得られる。圧縮処理とは、デジタル画像データ７０Ｂを圧縮する処理を指す。すなわち、メモリ１１２には、複数フレーム分のデジタル画像データ７０Ｂの他に、本開示の技術に係る「圧縮回路」の一例である画像処理回路１１０Ｅによってデジタ
ル画像データ７０Ｂが圧縮されることで得られた圧縮画像データが記憶されるようにしてもよい。
ル画像データ７０Ｂが圧縮されることで得られた圧縮画像データが記憶されるようにしてもよい。
【0156】
具体的には、制御回路１１０Ｃは、既定のフレーム数分（図１５に示す例では、４フレーム分）のデジタル画像データ７０Ｂをメモリ１１２に対して記憶させる。また、制御回路１１０Ｃは、画像処理回路１１０Ｅによってデジタル画像データが圧縮されることで得られた圧縮画像データをメモリ１１２に対して記憶させる。更に、制御回路１１０Ｃは、圧縮画像データに関する属性情報と、画像データが圧縮されていることが特定可能な圧縮特定情報とを圧縮画像データに対応付ける。
【0157】
この場合、一例として図１５に示すように、メモリ１１２は、上記実施形態で説明したアドレスに加え、“０Ｘ００５４００００”、“０Ｘ００５８００００”、及び“０Ｘ００５Ｃ００００”というアドレスを有しており、アドレス毎に１フレーム分の記憶領域を有する。図１５に示す例では、４フレーム目のデジタル画像データ７０Ｂが第４記憶領域１１２Ｄ（“０Ｘ００３０００００”というアドレスの記憶領域）に記憶された場合に、画像処理回路１１０Ｅによって４フレーム目のデジタル画像データ７０Ｂが圧縮処理される。４フレーム目のデジタル画像データ７０Ｂが圧縮されることで得られた圧縮画像データ（図１５に示す例の「圧縮データ」）は、第５記憶領域１１２Ｅ（“０Ｘ００４０００００”というアドレスの記憶領域）に制御回路１１０Ｃによって記憶される。
【0158】
また、図１５に示す例では、４フレーム目の撮像の完了に伴って１フレーム目のデジタル画像データ７０Ｂが第１記憶領域１１２Ａ（“０Ｘ００００００００”というアドレスの記憶領域）から制御回路１１０Ｃによって消去され、５フレーム目のデジタル画像データ７０Ｂが制御回路１１０Ｃによって第１記憶領域１１２Ａに記憶される。そして、５フレーム目のデジタル画像データ７０Ｂが第１記憶領域１１２Ａに記憶された場合に、画像処理回路１１０Ｅによって５フレーム目のデジタル画像データ７０Ｂが圧縮処理される。５フレーム目のデジタル画像データ７０Ｂが圧縮されることで得られた圧縮画像データは、第６記憶領域１１２Ｆ（“０Ｘ００５０００００”というアドレスの記憶領域）に制御回路１１０Ｃによって記憶される。
【0159】
更に、図１５に示す例では、５フレーム目の撮像の完了に伴って２フレーム目のデジタル画像データ７０Ｂが第２記憶領域１１２Ｂ（“０Ｘ００１０００００”というアドレスの記憶領域）から制御回路１１０Ｃによって消去され、６フレーム目のデジタル画像データ７０Ｂが制御回路１１０Ｃによって第２記憶領域１１２Ｂに記憶される。そして、６フレーム目のデジタル画像データ７０Ｂが第２記憶領域１１２Ｂに記憶された場合に、画像処理回路１１０Ｅによって６フレーム目のデジタル画像データ７０Ｂが圧縮処理される。６フレーム目のデジタル画像データ７０Ｂが圧縮されることで得られた圧縮画像データは、第７記憶領域１１２Ｇ（“０Ｘ００５４００００”というアドレスの記憶領域）に制御回路１１０Ｃによって記憶される。
【0160】
このように、４フレーム目以降のデジタル画像データ７０Ｂは、画像処理回路１１０Ｅによって圧縮され、圧縮されることで得られた圧縮画像データがメモリ１１２の空き記憶領域に制御回路１１０Ｃによって記憶される。
【0161】
また、４フレーム目以降のデジタル画像データ７０Ｂが圧縮され、圧縮画像データとしてメモリ１１２に記憶される場合、一例として図１６Ａ及び図１６Ｂに示すように、制御回路１１０Ｃによって属性情報が生成される。
【0162】
一例として図１６Ａに示すように、１フレーム目～３フレーム目に出力される属性情報は、図１１Ａと同様の属性情報である。４フレーム目に出力される属性情報には、４フレ
ーム目のデジタル画像データ７０Ｂに関する属性情報が含まれている。図１６Ａに示す例では、４フレーム目のデジタル画像データ７０Ｂに関する属性情報として、第４記憶領域１１２Ｄを特定可能な“０Ｘ００３０００００”というアドレス、画像サイズ、撮像時刻、撮像条件、及び消去フラグ＿オフが示されている。また、４フレーム目に出力される属性情報に含まれる第１フレーム目の属性情報の消去フラグはオンされる。これにより、５フレーム目の撮像に伴って１フレーム目のデジタル画像データ７０Ｂが第１記憶領域１１２Ａから消去される。また、４フレーム目に出力される属性情報には、５フレーム目のデジタル画像データ７０Ｂの圧縮画像データに関する属性情報も含まれている。図１６Ａに示す例では、５フレーム目のデジタル画像データ７０Ｂの圧縮画像データに関する属性情報として、第５記憶領域１１２Ｅを特定可能な“０Ｘ００４０００００”というアドレス、画像サイズ、撮像時刻、撮像条件、及び圧縮特定情報が示されている。
ーム目のデジタル画像データ７０Ｂに関する属性情報が含まれている。図１６Ａに示す例では、４フレーム目のデジタル画像データ７０Ｂに関する属性情報として、第４記憶領域１１２Ｄを特定可能な“０Ｘ００３０００００”というアドレス、画像サイズ、撮像時刻、撮像条件、及び消去フラグ＿オフが示されている。また、４フレーム目に出力される属性情報に含まれる第１フレーム目の属性情報の消去フラグはオンされる。これにより、５フレーム目の撮像に伴って１フレーム目のデジタル画像データ７０Ｂが第１記憶領域１１２Ａから消去される。また、４フレーム目に出力される属性情報には、５フレーム目のデジタル画像データ７０Ｂの圧縮画像データに関する属性情報も含まれている。図１６Ａに示す例では、５フレーム目のデジタル画像データ７０Ｂの圧縮画像データに関する属性情報として、第５記憶領域１１２Ｅを特定可能な“０Ｘ００４０００００”というアドレス、画像サイズ、撮像時刻、撮像条件、及び圧縮特定情報が示されている。
【0163】
一例として図１６Ｂに示すように、５フレーム目に出力される属性情報には、５フレーム目のデジタル画像データ７０Ｂに関する属性情報が含まれている。図１６Ｂに示す例では、５フレーム目のデジタル画像データ７０Ｂに関する属性情報として、第１記憶領域１１２Ａを特定可能な“０Ｘ００００００００”というアドレス、画像サイズ、撮像時刻、撮像条件、及び消去フラグ＿オフが示されている。また、５フレーム目に出力される属性情報に含まれる第２フレーム目の属性情報の消去フラグはオンされる。これにより、６フレーム目の撮像に伴って２フレーム目のデジタル画像データ７０Ｂが第２記憶領域１１２Ｂから消去される。また、５フレーム目に出力される属性情報には、５フレーム目のデジタル画像データ７０Ｂの圧縮画像データに関する属性情報、及び６フレーム目のデジタル画像データ７０Ｂの圧縮画像データに関する属性情報も含まれている。図１６Ｂに示す例では、６フレーム目のデジタル画像データ７０Ｂの圧縮画像データに関する属性情報として、第６記憶領域１１２Ｆを特定可能な“０Ｘ００５０００００”というアドレス、画像サイズ、撮像時刻、撮像条件、及び圧縮特定情報が示されている。
【0164】
一例として図１６Ｂに示すように、６フレーム目に出力される属性情報には、６フレーム目のデジタル画像データ７０Ｂに関する属性情報が含まれている。図１６Ｂに示す例では、６フレーム目のデジタル画像データ７０Ｂに関する属性情報として、第２記憶領域１１２Ｂを特定可能な“０Ｘ０１００００００”というアドレス、画像サイズ、撮像時刻、撮像条件、及び消去フラグ＿オフが示されている。また、６フレーム目に出力される属性情報に含まれる第３フレーム目の属性情報の消去フラグはオンされる。これにより、７フレーム目の撮像に伴って３フレーム目のデジタル画像データ７０Ｂが第３記憶領域１１２Ｃから消去される。また、５フレーム目に出力される属性情報には、５フレーム目のデジタル画像データ７０Ｂの圧縮画像データに関する属性情報、６フレーム目のデジタル画像データ７０Ｂの圧縮画像データに関する属性情報、及び７フレーム目のデジタル画像データ７０Ｂの圧縮画像データに関する属性情報も含まれている。図１６Ｂに示す例では、７フレーム目のデジタル画像データ７０Ｂの圧縮画像データに関する属性情報として、“０Ｘ００５４００００”というアドレス、画像サイズ、撮像時刻、撮像条件、及び圧縮特定情報が示されている。
【0165】
このように、制御回路１１０Ｃによって既定のフレーム数分のデジタル画像データ７０Ｂがメモリ１１２に記憶され、制御回路１１０Ｃによって圧縮画像データもメモリ１１２に記憶され、かつ、制御回路１１０Ｃによって圧縮画像データに関する属性情報と圧縮特定情報とが対応付けられる（図１６Ａ及び図１６Ｂに示す例では、属性情報に圧縮特定情報を含めている）。従って、メモリ１１２にデジタル画像データ７０Ｂと圧縮画像データとが記憶されている場合であっても、デジタル画像データ７０Ｂと圧縮画像データとを区別可能に特定することができる。
【0166】
図１６Ａ及び図１６Ｂに示す例では、デジタル画像データ７０Ｂに関する属性情報に、
アドレス、画像サイズ、撮像時刻、撮像条件、及び消去フラグが含まれる形態例を示したが、本開示の技術はこれに限定されない。例えば、メモリ１１２に圧縮画像データが記憶される場合、一例として図１７Ａ及び図１７Ｂに示すように、デジタル画像データ７０Ｂに関する属性情報に、アドレス、画像サイズ、撮像時刻、撮像条件、及び消去フラグに加え、メモリ１１２に圧縮画像データが記憶される予定であるか否かを示す圧縮予定フラグも含まれるようにしてもよい。オンされた圧縮予定フラグは、本開示の技術に係る「圧縮予定情報」の一例であり、次回の撮像に伴ってメモリ１１２に圧縮画像データが記憶される予定であることを示している。オフされた圧縮予定フラグは、次回の撮像に伴ってメモリ１１２に圧縮画像データが記憶される予定がないことを示している。
アドレス、画像サイズ、撮像時刻、撮像条件、及び消去フラグが含まれる形態例を示したが、本開示の技術はこれに限定されない。例えば、メモリ１１２に圧縮画像データが記憶される場合、一例として図１７Ａ及び図１７Ｂに示すように、デジタル画像データ７０Ｂに関する属性情報に、アドレス、画像サイズ、撮像時刻、撮像条件、及び消去フラグに加え、メモリ１１２に圧縮画像データが記憶される予定であるか否かを示す圧縮予定フラグも含まれるようにしてもよい。オンされた圧縮予定フラグは、本開示の技術に係る「圧縮予定情報」の一例であり、次回の撮像に伴ってメモリ１１２に圧縮画像データが記憶される予定であることを示している。オフされた圧縮予定フラグは、次回の撮像に伴ってメモリ１１２に圧縮画像データが記憶される予定がないことを示している。
【0167】
圧縮予定フラグがオンされると、圧縮予定フラグがオンされた属性情報に関するデジタル画像データ７０Ｂは、次回の撮像に伴って、画像処理回路１１０Ｅによって圧縮される。例えば、図１７Ａに示すように、３フレーム目に出力される属性情報に含まれる１フレーム目のデジタル画像データ７０Ｂに関する属性情報には、圧縮予定フラグがオンされた状態を示す「圧縮予定フラグ＿オン」が含まれている。この場合、次回の撮像（４フレーム目の撮像）に伴って１フレーム目のデジタル画像データ７０Ｂが画像処理回路１１０Ｅによって圧縮され、圧縮されることで得られた圧縮画像データが第５記憶領域１１２Ｅに記憶される。これに伴って、４フレーム目に出力される属性情報には、第５記憶領域１１２Ｅ（“０Ｘ００４０００００”というアドレスの記憶領域）に記憶されている圧縮画像データに関する属性情報が含まれる。第５記憶領域１１２Ｅに記憶されている圧縮画像データに関する属性情報には、圧縮特定情報が含まれており、これにより、後段回路１３は、第５記憶領域１１２Ｅに圧縮画像データが記憶されていることを特定することが可能となる。
【0168】
なお、消去フラグ及び圧縮予定フラグがオンされるタイミングは同期しており、一例として図１７Ａ及び図１７Ｂに示すように、制御回路１１０Ｃによって消去フラグがオンされると、これに伴って、制御回路１１０Ｃによって圧縮予定フラグもオンされる。これにより、メモリ１１２からデジタル画像データ７０Ｂが消去されたとしても、消去前のデジタル画像データ７０Ｂが圧縮されることで得られた圧縮画像データがメモリ１１２によって保持される。
【0169】
このように、メモリ１１２に圧縮画像データが記憶される場合に、出力Ｉ／Ｆ１１０Ｄ２から出力される属性情報に、オンされた圧縮予定フラグが含まれるので、圧縮画像データの出力先（例えば、後段回路１３）に対して、圧縮画像データの受け入れの準備猶予を与えることができる。
【0170】
なお、デジタル画像データ７０Ｂが圧縮画像データに圧縮される場合の圧縮形式としては、例えば、ＭＰＥＧ、ＪＰＥＧ、ＴＩＦＦ、ＰＮＧ、ＧＩＦ、及びＢＭＰ等が挙げられる。圧縮画像データがメモリ１１２に記憶される場合、一例として図１８Ａ及び図１８Ｂに示すように、出力Ｉ／Ｆ１１０Ｄ２から出力される属性情報に、圧縮画像データの圧縮形式を特定可能な圧縮形式特定情報が含まれていてもよい。図１８Ａ及び図１８Ｂに示す例では、圧縮形式特定情報は、圧縮特定情報と共に属性情報に含まれている。これにより、圧縮画像データの出力先（例えば、後段回路１３）に対して、圧縮形式に応じて処理を行わせることができる。
【0171】
また、上記実施形態では、メモリ１１２に１フレーム分のデジタル画像データ７０Ｂが記憶されてから属性情報が出力Ｉ／Ｆ１１０Ｄ２によって出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図１９に示すように、属性情報に関する指示（例えば、垂直同期信号）が受付Ｉ／Ｆ１１０Ｄ１によって受け付けられたタイミングで属性情報が出力Ｉ／Ｆ１１０Ｄ２によって出力されるようにしてもよい。これ
により、属性情報に関する指示に応じて即時的に属性情報を後段回路１３に提供することができる。
により、属性情報に関する指示に応じて即時的に属性情報を後段回路１３に提供することができる。
【0172】
上記実施形態では、フレーム毎に出力される属性情報に、複数フレーム分の属性情報が含まれている形態例を挙げて説明したが、本開示の技術はこれに限定されず、例えば、図２０に示すように、フレーム毎に出力される属性情報は、対応するフレームのデジタル画像データ７０Ｂに関する属性情報のみであってもよい。この場合、フレーム毎に出力される属性情報に、複数フレーム分の属性情報が含まれている場合に比べ、フレーム毎に信号処理回路３４に出力する属性情報の情報量を少なくすることができる。
【0173】
なお、図２０に示す例では、フレーム毎に出力される属性情報に消去フラグ及び圧縮予定フラグが含まれているが、本開示の技術はこれに限定されず、例えば、図２１に示すように、フレーム毎に出力される属性情報に消去フラグ及び圧縮予定フラグが含まれていなくてもよい。また、フレーム毎に出力される属性情報に、消去フラグが含まれずに、圧縮予定フラグが含まれるようにしてもよい。
【0174】
また、上記実施形態では、全フレームの各々に関する属性情報が出力Ｉ／Ｆ１１０Ｄ２によって出力される形態例を挙げて説明したが、本開示の技術はこれに限定されず、何フレーム分の属性情報を出力Ｉ／Ｆ１１０Ｄ２に対して出力させるのかを後段回路１３側から撮像素子３８に対して指示するようにしてもよい。
【0175】
【0176】
図２２に示す属性情報出力処理は、図１３に示す属性情報出力処理に比べ、ステップＳＴ１０に代えてステップＳＴ１０Ａを有する点、ステップＳＴ１８に代えてステップＳＴ１８Ａを有する点、及びステップＳＴ２０に代えてステップＳＴ２０Ａを有する点が異なる。コントローラ１５は、出力Ｉ／Ｆ１５Ｄを介して属性情報要求指示を撮像素子３８に出力する。属性情報要求指示には、垂直同期信号と出力量情報とが含まれている。出力量情報とは、撮像素子３８の出力Ｉ／Ｆ１１０Ｄ２による属性情報の出力量を示す情報を指す。ここで言う「出力量」は、例えば、フレーム数で規定されている。
【0177】
図２２に示す属性情報出力処理では、ステップＳＴ１０Ａで、制御回路１１０Ｃは、コントローラ１５から出力された属性情報要求指示が受付Ｉ／Ｆ１１０Ｄ１によって受け付けられたか否かを判定する。ステップＳＴ１０Ａにおいて、属性情報要求指示が受付Ｉ／Ｆ１１０Ｄ１によって受け付けられていない場合は、判定が否定されて、属性情報出力処理はステップＳＴ２２へ移行する。ステップＳＴ１０Ａにおいて、属性情報要求指示が受付Ｉ／Ｆ１１０Ｄ１によって受け付けられた場合は、判定が肯定されて、属性情報出力処理はステップＳＴ１２へ移行する。
【0178】
ステップＳＴ１８Ａで、制御回路１１０Ｃは、現時点で保持している属性情報のうち、出力Ｉ／Ｆ１１０Ｄ２に対して信号処理回路３４に出力させる属性情報を、属性情報要求指示に含まれる出力量情報により示される出力量に従って選定する。例えば、制御回路１１０Ｃは、出力量情報により示される出力量が１フレームであれば、１フレーム分の最新のデジタル画像データ７０Ｂに関する属性情報を選び、出力量情報により示される出力量が２フレームであれば、２フレーム分の最新のデジタル画像データ７０Ｂに関する属性情報を選ぶ。
【0179】
ステップＳＴ２０Ａで、制御回路１１０Ｃは、ステップＳＴ１８Ａで選定された属性情報を、出力Ｉ／Ｆ１１０Ｄ２に対して信号処理回路３４に出力させる。これにより、出力
Ｉ／Ｆ１１０Ｄ２から属性情報が必要以上に多く出力されることを回避することができる。また、出力量がフレーム数で規定されているので、後段回路１３は、属性情報をフレーム単位で処理することができる。
Ｉ／Ｆ１１０Ｄ２から属性情報が必要以上に多く出力されることを回避することができる。また、出力量がフレーム数で規定されているので、後段回路１３は、属性情報をフレーム単位で処理することができる。
【0180】
また、上記実施形態では、出力Ｉ／Ｆ１１０Ｄ２によって属性情報及びデジタル画像データ７０Ｂが信号処理回路３４に出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２３に示すように、出力Ｉ／Ｆ１１０Ｄ２及び出力Ｉ／Ｆ１１０Ｄ３によって属性情報及びデジタル画像データ７０Ｂが信号処理回路３４に出力されるようにしてもよい。図２３に示す例では、処理回路１１０は、出力Ｉ／Ｆ１１０Ｄ２及び出力Ｉ／Ｆ１１０Ｄ３を有する。出力Ｉ／Ｆ１１０Ｄ３は、本開示の技術に係る「第１出力部」の一例であり、出力Ｉ／Ｆ１１０Ｄ２は、本開示の技術に係る「第２出力部」の一例である。
【0181】
出力Ｉ／Ｆ１１０Ｄ３は、制御回路１１０Ｃに接続されている。また、信号処理回路３４は、受付Ｉ／Ｆ３４Ｃを備えている。出力Ｉ／Ｆ１１０Ｄ２は、属性情報を信号処理回路３４に出力する。出力Ｉ／Ｆ１１０Ｄ２によって出力された属性情報は、信号処理回路３４の受付Ｉ／Ｆ３４Ａによって受け付けられる。また、出力Ｉ／Ｆ１１０Ｄ３は、制御回路１１０Ｃの制御下で、デジタル画像データ７０Ｂを信号処理回路３４に出力する。出力Ｉ／Ｆ１１０Ｄ３によって出力されたデジタル画像データ７０Ｂは、信号処理回路３４の受付Ｉ／Ｆ３４Ｃによって受け付けられる。
【0182】
図２３に示す構成によれば、出力Ｉ／Ｆ１１０Ｄ２によって属性情報が出力され、出力Ｉ／Ｆ１１０Ｄ３によってデジタル画像データ７０Ｂが出力されるので、属性情報とデジタル画像データ７０Ｂとを並行して出力することができる。
【0183】
上記実施形態では、レンズ交換式の撮像装置１０を例示したが、本開示の技術はこれに限定されない。例えば、図２４に示すように、スマートデバイス２００に、上記実施形態で説明した撮像装置本体１２に相当する構成及び機能を有する撮像装置本体２１４が搭載されていてもよい。
【0184】
一例として図２４に示すように、スマートデバイス２００は、筐体２１２を備えており、筐体２１２に撮像装置本体２１４が収容されている。スマートデバイス２００の一例としては、スマートフォンが挙げられる。ここでは、スマートデバイス２００としては、例えば、撮像機能付きの電子機器であるスマートフォン又はタブレット端末等が挙げられる。
【0185】
筐体２１２には、撮像レンズ２１６が取り付けられている。図２４に示す例では、撮像レンズ２１６が、スマートデバイス２００を縦置きの状態にした場合の筐体２１２の背面２１２Ａの左上部において、背面２１２Ａから露出している。撮像レンズ２１６の中心は光軸Ｌ１上に位置している。撮像装置本体２１４には、撮像素子３８が内蔵されている。撮像装置本体２１４は、被写体光を撮像レンズ２１６から取り込む。撮像装置本体２１４内に取り込まれた被写体光は撮像素子３８に結像され、上記実施形態で説明したように撮像が行われる。
【0186】
一例として図２５に示すように、筐体２１２の前面２１２Ｂには、指示キー２２２及びタッチパネル・ディスプレイ２２４が設けられている。スマートデバイス２００を縦置きの状態にした場合の前面２１２Ｂの下部には、指示キー２２２が配置されており、指示キー２２２の上方にタッチパネル・ディスプレイ２２４が配置されている。タッチパネル・ディスプレイ２２４は、ディスプレイ２２６及びタッチパネル２２８を備えており、ディスプレイ２２６にタッチパネル２２８が重ねられている。タッチパネル・ディスプレイ２
２４及び指示キー２２２は、上記実施形態で説明したＵＩ系デバイス１７と同様の機能を有する。すなわち、タッチパネル・ディスプレイ２２４及び指示キー２２２は、ユーザに対して情報を提示したり、ユーザからの指示を受け付けたりする。ユーザからの指示は、例えば、タッチパネル・ディスプレイ２２４に表示されたソフトキー（例えば、レリーズボタン２０等に相当するソフトキー）に対してタッチ操作が行われることによって実現される。
２４及び指示キー２２２は、上記実施形態で説明したＵＩ系デバイス１７と同様の機能を有する。すなわち、タッチパネル・ディスプレイ２２４及び指示キー２２２は、ユーザに対して情報を提示したり、ユーザからの指示を受け付けたりする。ユーザからの指示は、例えば、タッチパネル・ディスプレイ２２４に表示されたソフトキー（例えば、レリーズボタン２０等に相当するソフトキー）に対してタッチ操作が行われることによって実現される。
【0187】
なお、ディスプレイ２２６は、本開示の技術に係る「表示部（ディスプレイ）」の一例である。また、スマートデバイス２００は、本開示の技術に係る「撮像装置」の一例である。また、図２４に示す例では、撮像装置本体２１４のみがスマートデバイス２００に内蔵されている形態例が示されているが、本開示の技術はこれに限定されず、スマートデバイス２００に複数台のデジタルカメラが内蔵されていてもよく、この場合、少なくとも１台のデジタルカメラに撮像装置本体２１４が搭載されていればよい。
【0188】
また、上記実施形態では、撮像素子３８として、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化された撮像素子が例示されているが、本開示の技術はこれに限定されない。例えば、光電変換素子４２、処理回路１１０、及びメモリ１１２のうち、少なくとも光電変換素子４２及びメモリ１１２が１チップ化されていればよい。
【0189】
また、上記実施形態では、属性情報が、アドレス、画像サイズ、撮像時刻、及び撮像条件を含む情報であることを例示したが、本開示の技術はこれに限定されない。例えば、属性情報は、アドレス、画像サイズ、撮像時刻、及び撮像条件のうちのアドレスを含む情報であってもよく、アドレス、画像サイズ、撮像時刻、及び／又は撮像条件を含む情報であればよい。
【0190】
また、上記実施形態では、通信Ｉ／Ｆ間がＰＣＩ－ｅの接続規格に従って接続されているが、本開示の技術はこれに限定されない。ＰＣＩ－ｅの接続規格に代えて、ＬＶＤＳ、ＳＡＴＡ、ＳＬＶＳ－ＥＣ、又はＭＩＰＩ等の他の接続規格が採用されてもよい。
【0191】
また、上記実施形態では、撮像素子３８と信号処理回路３４との間の通信、コントローラ１５と撮像素子３８との通信、及び信号処理回路３４とコントローラ１５との通信は何れも有線形式の通信である。しかし、本開示の技術はこれに限定されない。撮像素子３８と信号処理回路３４との間の通信、コントローラ１５と撮像素子３８との通信、及び／又は信号処理回路３４とコントローラ１５との通信を無線形式の通信としてもよい。
【0192】
また、上記実施形態では、ＵＩ系デバイス１７が撮像装置本体１２に組み込まれている形態例を挙げて説明したが、ＵＩ系デバイス１７に含まれる複数の構成要素の少なくとも一部が撮像装置本体１２に対して外付けされていてもよい。また、ＵＩ系デバイス１７に含まれる複数の構成要素のうちの少なくとも一部が別体として外部Ｉ／Ｆ１０４に接続されることによって使用されるようにしてもよい。
【0193】
また、上記実施形態では、フレームレートとして１２０ｆｐｓを例示したが、本開示の技術はこれに限定されず、撮像用のフレームレート（例えば、図９に示す撮像工程で適用されるフレームレート）と出力用のフレームレート（例えば、図９に示す出力工程で適用されるフレームレート及び／又はデジタル画像データ７０Ｂの出力用のフレームレート）とを異なるフレームレートとしてもよい。撮像用のフレームレート及び／又は出力用のフレームレートは固定のフレームレートであってもよいし、可変のフレームレートであってもよい。可変のフレームレートの場合、例えば、既定条件（例えば、フレームレートを変更する指示が受付デバイス８４によって受け付けられたとの条件、及び／又は、フレームレートを変更するタイミングとして事前に定められたタイミングが到来したとの条件）を
満足した場合にフレームレートが変更されるようにしてもよい。可変のフレームレートの場合、フレームレートの具体的な数値は、例えば、受付デバイス８４によって受け付けられた指示に従って変更されるようにしてもよいし、後段回路１３及び／又は撮像素子３８の稼働率に従って変更されるようにしてもよい。
満足した場合にフレームレートが変更されるようにしてもよい。可変のフレームレートの場合、フレームレートの具体的な数値は、例えば、受付デバイス８４によって受け付けられた指示に従って変更されるようにしてもよいし、後段回路１３及び／又は撮像素子３８の稼働率に従って変更されるようにしてもよい。
【0194】
また、上記実施形態では、信号処理回路３４を例示したが、本開示の技術はこれに限定されず、信号処理回路３４の他に１つ以上の信号処理回路を用いてもよい。この場合、撮像素子３８を複数の信号処理回路の各々に対して直接接続するようにすればよい。
【0195】
また、上記実施形態では、処理回路１１０がＡＳＩＣ及びＦＰＧＡを含むデバイスによって実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、処理回路１１０に含まれる複数のデバイスのうちの少なくとも制御回路１１０Ｃはコンピュータによるソフトウェア構成により実現されるようにしてもよい。
【0196】
この場合、例えば、図２６に示すように、撮像素子３８にはコンピュータ８５２が内蔵されており、コンピュータ８５２に上記実施形態に係る属性情報出力処理を実行させるための属性情報出力プログラム９０２と、上記実施形態に係るデータ消去処理を実行させるためのデータ消去プログラム９０４とを記憶媒体９００に記憶させておく。記憶媒体９００の一例としては、非一時的記憶媒体であるＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。以下では、説明の便宜上、属性情報出力処理及びデータ消去処理を区別して説明する必要がない場合、「撮像素子側処理」と称し、属性情報出力プログラム９０２及びデータ消去プログラム９０４を区別して説明する必要がない場合、「撮像素子側プログラム」と称する。
【0197】
コンピュータ８５２は、ＣＰＵ８５２Ａ、ストレージ８５２Ｂ、及びメモリ８５２Ｃを備えている。ストレージ８５２Ｂは、ＥＥＰＲＯＭ等の不揮発性の記憶装置であり、メモリ８５２Ｃは、ＲＡＭ等の揮発性の記憶装置である。記憶媒体９００に記憶されている撮像素子側プログラムは、コンピュータ８５２にインストールされる。ＣＰＵ８５２Ａは、撮像素子側プログラムに従って撮像素子側処理を実行する。
【0198】
撮像素子側プログラムは、記憶媒体９００ではなく、ストレージ８５２Ｂに記憶されていてもよい。この場合、ＣＰＵ８５２Ａは、ストレージ８５２Ｂから撮像素子側プログラムを読み出し、読み出した撮像素子側プログラムをメモリ８５２Ｃに展開する。そして、ＣＰＵ８５２Ａは、メモリ８５２Ｃに展開した撮像素子側プログラムに従って、撮像素子側処理を実行する。
【0199】
また、ここでは、属性情報出力プログラム９０２及びデータ消去プログラム９０４がストレージ８５２Ｂに記憶されている形態例を挙げているが、これに限らず、属性情報出力プログラム９０２及びデータ消去プログラム９０４の一方がストレージ８５２Ｂに記憶されており、他方が記憶媒体９００に記憶されていてもよい。
【0200】
また、通信網（図示省略）を介してコンピュータ８５２に接続される他のコンピュータ又はサーバ装置等の記憶部に撮像素子側プログラムを記憶させておき、上述の撮像装置１０又はスマートデバイス２００の要求に応じて撮像素子側プログラムがダウンロードされ、コンピュータ８５２にインストールされるようにしてもよい。
【0201】
なお、コンピュータ８５２に接続される他のコンピュータ又はサーバ装置等の記憶部に撮像素子側プログラムの全てを記憶させておく必要はなく、撮像素子側プログラムの一部（例えば、属性情報出力プログラム９０２又はデータ消去プログラム９０４）を記憶させておいてもよい。
【0202】
図２６に示す例では、撮像素子３８にコンピュータ８５２が内蔵されている態様例が示されているが、本開示の技術はこれに限定されず、例えば、コンピュータ８５２が撮像素子３８の外部に設けられるようにしてもよい。
【0203】
図２６に示す例では、ＣＰＵ８５２Ａは、単数のＣＰＵであるが、複数のＣＰＵであってもよい。また、ＣＰＵ８５２Ａに代えてＧＰＵを適用してもよい。
【0204】
図２６に示す例では、コンピュータ８５２が例示されているが、本開示の技術はこれに限定されず、コンピュータ８５２に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ８５２に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
【0205】
上記実施形態で説明した撮像素子側処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、撮像素子側処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで撮像素子側処理を実行する。
【0206】
撮像素子側処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、撮像素子側処理を実行するハードウェア資源は１つのプロセッサであってもよい。
【0207】
１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、撮像素子側処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、撮像素子側処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、撮像素子側処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
【0208】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
【0209】
また、図１に示す例では、撮像装置１０を例示し、図２４に示す例ではスマートデバイス２００を例示したが、本開示の技術はこれに限定されない。すなわち、上記実施形態で説明した撮像装置本体１２に相当する構成及び機能を有する撮像装置が内蔵された各種の電子機器（例えば、レンズ固定式カメラ、パーソナル・コンピュータ、又はウェアラブル端末装置等）に対しても本開示の技術は適用可能であり、これらの電子機器であっても、撮像装置１０及びスマートデバイス２００と同様の作用及び効果が得られる。
【0210】
また、上記実施形態では、ディスプレイ２６及び２２６を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部」として用いるようにしてもよい。
【0211】
また、上記の各種処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0212】
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【0213】
本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
【0214】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【0215】
以上の実施形態に関し、更に以下の付記を開示する。
【0216】
（付記１）
プロセッサと、
撮像されることにより得られた画像データを記憶し、かつ、上記撮像素子に内蔵されたメモリと、が内蔵された撮像素子であって、
上記プロセッサは、
上記画像データの上記メモリへの記憶を制御し、
上記画像データの属性情報を上記メモリに対して記憶させ、
上記メモリに記憶された上記画像データを出力し、
上記属性情報に関する指示を受け付け、
受け付けた上記指示に応じた上記属性情報を出力する
撮像素子。
プロセッサと、
撮像されることにより得られた画像データを記憶し、かつ、上記撮像素子に内蔵されたメモリと、が内蔵された撮像素子であって、
上記プロセッサは、
上記画像データの上記メモリへの記憶を制御し、
上記画像データの属性情報を上記メモリに対して記憶させ、
上記メモリに記憶された上記画像データを出力し、
上記属性情報に関する指示を受け付け、
受け付けた上記指示に応じた上記属性情報を出力する
撮像素子。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図17A】
【図17B】
【図18A】
【図18B】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
