特開 2024-4889 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024004889

(43)【公開日】2024-01-17

(54)【発明の名称】撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240110BHJP

   H04N 23/54 20230101ALI20240110BHJP

   H04N 23/63 20230101ALI20240110BHJP

   H04N 25/40 20230101ALI20240110BHJP

   H04N 25/771 20230101ALI20240110BHJP

【ＦＩ】

H04N5/232

H04N5/225 300

H04N5/232 930

H04N5/341

H04N5/3745 200

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2022104770

(22)【出願日】2022-06-29

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110002505

【氏名又は名称】弁理士法人航栄事務所

(72)【発明者】

【氏名】古田 善工

(72)【発明者】

【氏名】小田 和也

(72)【発明者】

【氏名】河合 智行

【テーマコード（参考）】

5C024

5C122

【Ｆターム（参考）】

5C024CX54

5C024CX61

5C024CY17

5C024GX03

5C024GX16

5C024GX18

5C024GY39

5C024GY41

5C122FC02

5C122FC07

5C122FD07

5C122FK08

5C122HA86

5C122HB02

(57)【要約】

【課題】撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供する。
【解決手段】システム制御部１１は、露光期間ＥＸを終了すると、グループＧ１から画素信号を読み出し、読み出しを終了すると、グループＧ２からの画素信号の読み出しと、グループＧ１による被写体の撮像（露光期間ＥＸ（Ｇ１））と、を行う。そして、システム制御部１１は、この撮像の終了後、グループＧ１から画素信号を読み出し、その画素信号に基づいて、ライブビュー画像ＬＶ１を表示させる。
【選択図】図５

【特許請求の範囲】

【請求項1】

光電変換部及び前記光電変換部から転送される電荷を保持する電荷保持部を含む画素が一方向に複数配列された画素行を複数有する撮像素子を制御する撮像制御装置であって、
プロセッサを備え、
前記プロセッサは、
前記複数の画素行を露光し、当該露光によって前記複数の画素行の前記光電変換部に蓄積された電荷を前記電荷保持部に転送する第１制御を行い、
前記第１制御により電荷を保持した前記電荷保持部のうち、一部の前記画素行の前記電荷保持部に保持された電荷に応じた信号を読み出す第２制御を行い、
前記第１制御により電荷を保持した前記電荷保持部のうち、前記一部の画素行以外の前記画素行の前記電荷保持部に保持された電荷に応じた信号の読み出し、及び、前記第２制御で信号を読み出した前記一部の画素行の露光を行う第３制御を行い、
前記第２制御によって信号が読み出された前記一部の画素行の前記電荷保持部に保持された電荷に応じた信号を読み出す第４制御を行う、撮像制御装置。

【請求項2】

請求項１に記載の撮像制御装置であって、
前記プロセッサは、前記第２制御及び前記第４制御の一方又は両方の結果に基づいて、ライブビュー画像の表示制御を行う、撮像制御装置。

【請求項3】

請求項１に記載の撮像制御装置であって、
前記プロセッサは、前記第３制御において、前記一部の画素行の全て又は一部の露光期間をずらして前記一部の画素行の露光を行う、撮像制御装置。

【請求項4】

請求項１に記載の撮像制御装置であって、
前記撮像素子は、位相差検出用画素を含む前記画素行である位相差検出用画素行を含み、
前記一部の画素行は、前記位相差検出用画素行を含み、
前記プロセッサは、前記第２制御によって前記位相差検出用画素行の前記電荷保持部から読み出された信号に基づいて、焦点調節用の評価値を導出する、撮像制御装置。

【請求項5】

請求項４に記載の撮像制御装置であって、
前記プロセッサは、前記評価値に基づいて、前記第３制御の実行と非実行のどちらかを決定する、撮像制御装置。

【請求項6】

請求項５に記載の撮像制御装置であって、
前記プロセッサは、前記評価値が閾値以上の場合には、前記第３制御を非実行とする、撮像制御装置。

【請求項7】

請求項５に記載の撮像制御装置であって、
前記プロセッサは、前記第３制御を非実行とする場合には、前記第１制御により電荷を保持した前記電荷保持部のうち、前記一部の画素行以外の前記画素行の前記電荷保持部に保持された電荷に応じた信号の読み出しを行う第５制御を、前記第３制御及び前記第４制御の代わりに行う、撮像制御装置。

【請求項8】

請求項５に記載の撮像制御装置であって、
前記プロセッサは、前記第３制御を非実行とする場合には、前記第１制御を前記第３制御及び前記第４制御の代わりに行う、撮像制御装置。

【請求項9】

請求項４に記載の撮像制御装置であって、
前記プロセッサは、前記評価値に基づいて、前記第４制御における信号の読み出し速度を制御する、撮像制御装置。

【請求項10】

請求項９に記載の撮像制御装置であって、
前記プロセッサは、前記評価値が閾値以上の場合には、前記第４制御における信号の読み出し速度を、前記第３制御における信号の読み出し速度よりも速くする、撮像制御装置。

【請求項11】

請求項１に記載の撮像制御装置であって、
前記プロセッサは、前記第４制御における信号の読み出し速度を、前記第３制御における信号の読み出し速度よりも速くする、撮像制御装置。

【請求項12】

請求項１に記載の撮像制御装置であって、
前記プロセッサは、前記第２制御を行った後、前記第３制御と前記第４制御をこの順で行う処理を少なくとも１回行う、撮像制御装置。

【請求項13】

請求項１２に記載の撮像制御装置であって、
前記プロセッサは、前記第３制御によって前記一部の画素行以外の前記画素行の電荷保持部からの信号の読み出しを完了した場合に、当該第３制御に続けて行う前記第４制御を省略して、又は、当該第４制御と併せて、前記第１制御を開始する、撮像制御装置。

【請求項14】

請求項１２に記載の撮像制御装置であって、
前記プロセッサは、ｎを複数としてｎ回の前記処理を行い、ｎ回目の前記処理の後に、前記第１制御、及び、前記一部の画素行以外の画素行のうちの信号読み出しが未完了の画素行における前記電荷保持部に保持されている電荷に応じた信号を読み出す制御を行う、撮像制御装置。

【請求項15】

請求項１から１４のいずれか１項に記載の撮像制御装置と、
前記撮像素子と、を備える撮像装置。

【請求項16】

光電変換部及び前記光電変換部から転送される電荷を保持する電荷保持部を含む画素が一方向に複数配列された画素行を複数有する撮像素子を制御する撮像制御方法であって、
前記複数の画素行を露光し、当該露光によって前記複数の画素行の前記光電変換部に蓄積された電荷を前記電荷保持部に転送する第１制御を行い、
前記第１制御により電荷を保持した前記電荷保持部のうち、一部の前記画素行の前記電荷保持部に保持された電荷に応じた信号を読み出す第２制御を行い、
前記第１制御により電荷を保持した前記電荷保持部のうち、前記一部の画素行以外の前記画素行の前記電荷保持部に保持された電荷に応じた信号の読み出し、及び、前記第２制御で信号を読み出した前記一部の画素行の露光を行う第３制御を行い、
前記第２制御によって信号が読み出された前記一部の画素行の前記電荷保持部に保持された電荷に応じた信号を読み出す第４制御を行う、撮像制御方法。

【請求項17】

光電変換部及び前記光電変換部から転送される電荷を保持する電荷保持部を含む画素が一方向に複数配列された画素行を複数有する撮像素子を制御する撮像制御プログラムであって、
前記複数の画素行を露光し、当該露光によって前記複数の画素行の前記光電変換部に蓄積された電荷を前記電荷保持部に転送する第１制御を行い、
前記第１制御により電荷を保持した前記電荷保持部のうち、一部の前記画素行の前記電荷保持部に保持された電荷に応じた信号を読み出す第２制御を行い、
前記第１制御により電荷を保持した前記電荷保持部のうち、前記一部の画素行以外の前記画素行の前記電荷保持部に保持された電荷に応じた信号の読み出し、及び、前記第２制御で信号を読み出した前記一部の画素行の露光を行う第３制御を行い、
前記第２制御によって信号が読み出された前記一部の画素行の前記電荷保持部に保持された電荷に応じた信号を読み出す第４制御を行う、ステップをプロセッサに実行させる撮像制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムに関する。

【背景技術】

【0002】

特許文献１には、複数の光電変換素子を備えた撮像素子で撮像され、光ノイズが重畳するメモリ部に転送された画像データを、上記メモリ部の区分けされた複数の領域の各々毎に領域画像データとして読み出し、かつ上記領域画像データ毎の読み出しが終了した後、予め定められた領域のデータを再度読み出す読出部と、上記撮像素子により撮像されて上記メモリ部に格納された撮像画像データが、上記読出部により再度読み出された上記データに応じて定まる光ノイズに従って上記複数の領域の各々毎に補正されて得られた補正画像データを出力する出力部と、を含む画像処理装置が記載されている。

【0003】

特許文献２には、撮像指示があると撮像素子の受光面を露光し、この露光の終了後、５つのフィールド期間に分けて撮像素子から撮像信号を読み出し、最初のフィールド期間では、位相差検出用画素を含むフィールドから撮像信号を読み出し、その次のフィールド期間では撮像用画素のみを含むフィールドから撮像信号を読み出し、最初のフィールド期間で読み出された撮像信号に基づいてポストビュー画像を表示し、その次のフィールド期間で読み出した撮像信号に基づいてポストビュー画像を更新する撮像装置が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０２０／０２１８８７号

【特許文献2】国際公開第２０１８／０８８１１９号

【発明の概要】

【課題を解決するための手段】

【0005】

本開示の技術は以下に示すものである。

【0006】

（１）
光電変換部（光電変換部６１Ａ）及び上記光電変換部から転送される電荷を保持する電荷保持部（電荷保持部６１Ｂ）を含む画素（画素６１）が一方向（行方向Ｘ）に複数配列された画素行（画素行６２）を複数有する撮像素子（撮像素子５）を制御する撮像制御装置であって、
プロセッサ（システム制御部１１）を備え、
上記プロセッサは、
上記複数の画素行（グループＧ１、グループＧ２、グループＧ３、及びグループＧ４）を露光し、その露光によって上記複数の画素行の上記光電変換部に蓄積された電荷を上記電荷保持部に転送する第１制御を行い、
上記第１制御により電荷を保持した上記電荷保持部のうち、一部の上記画素行（グループＧ１）の上記電荷保持部に保持された電荷に応じた信号を読み出す第２制御を行い、
上記第１制御により電荷を保持した上記電荷保持部のうち、上記一部の画素行以外の上記画素行（グループＧ２、グループＧ３、及びグループＧ４のいずれか）の上記電荷保持部に保持された電荷に応じた信号の読み出し、及び、上記第２制御で信号を読み出した上記一部の画素行の露光を行う第３制御を行い、
上記第２制御によって信号が読み出された上記一部の画素行の上記電荷保持部に保持された電荷に応じた信号を読み出す第４制御を行う、撮像制御装置。

【0007】

（２）
（１）に記載の撮像制御装置であって、
上記プロセッサは、上記第２制御及び上記第４制御の一方又は両方の結果に基づいて、ライブビュー画像の表示制御を行う、撮像制御装置。

【0008】

（３）
（１）又は（２）に記載の撮像制御装置であって、
上記プロセッサは、上記第３制御において、上記一部の画素行の全て又は一部の露光期間をずらして上記一部の画素行の露光を行う、撮像制御装置。

【0009】

（４）
（１）から（３）のいずれかに記載の撮像制御装置であって、
上記撮像素子は、位相差検出用画素を含む上記画素行である位相差検出用画素行（第２画素行）を含み、
上記一部の画素行は、上記位相差検出用画素行を含み、
上記プロセッサは、上記第２制御によって上記位相差検出用画素行の上記電荷保持部から読み出された信号に基づいて、焦点調節用の評価値を導出する、撮像制御装置。

【0010】

（５）
（４）に記載の撮像制御装置であって、
上記プロセッサは、上記評価値に基づいて、上記第３制御の実行と非実行のどちらかを決定する、撮像制御装置。

【0011】

（６）
（５）に記載の撮像制御装置であって、
上記プロセッサは、上記評価値が閾値以上の場合には、上記第３制御を非実行とする、撮像制御装置。

【0012】

（７）
（５）又は（６）に記載の撮像制御装置であって、
上記プロセッサは、上記第３制御を非実行とする場合には、上記第１制御により電荷を保持した上記電荷保持部のうち、上記一部の画素行以外の上記画素行の上記電荷保持部に保持された電荷に応じた信号の読み出しを行う第５制御を、上記第３制御及び上記第４制御の代わりに行う、撮像制御装置。

【0013】

（８）
（５）又は（６）に記載の撮像制御装置であって、
上記プロセッサは、上記第３制御を非実行とする場合には、上記第１制御を上記第３制御及び上記第４制御の代わりに行う、撮像制御装置。

【0014】

（９）
（４）に記載の撮像制御装置であって、
上記プロセッサは、上記評価値に基づいて、上記第４制御における信号の読み出し速度を制御する、撮像制御装置。

【0015】

（１０）
（９）に記載の撮像制御装置であって、
上記プロセッサは、上記評価値が閾値以上の場合には、上記第４制御における信号の読み出し速度を、上記第３制御における信号の読み出し速度よりも速くする、撮像制御装置。

【0016】

（１１）
（１）から（８）のいずれかに記載の撮像制御装置であって、
上記プロセッサは、上記第４制御における信号の読み出し速度を、上記第３制御における信号の読み出し速度よりも速くする、撮像制御装置。

【0017】

（１２）
（１）から（１１）のいずれかに記載の撮像制御装置であって、
上記プロセッサは、上記第２制御を行った後、上記第３制御と上記第４制御をこの順で行う処理を少なくとも１回行う、撮像制御装置。

【0018】

（１３）
（１２）に記載の撮像制御装置であって、
上記プロセッサは、上記第３制御によって上記一部の画素行以外の上記画素行の電荷保持部からの信号の読み出しを完了した場合に、その第３制御に続けて行う上記第４制御を省略して、又は、その第４制御と併せて、上記第１制御を開始する、撮像制御装置。

【0019】

（１４）
（１２）に記載の撮像制御装置であって、
上記プロセッサは、ｎを複数としてｎ回の上記処理を行い、ｎ回目の上記処理の後に、上記第１制御、及び、上記一部の画素行以外の画素行のうちの信号読み出しが未完了の画素行における上記電荷保持部に保持されている電荷に応じた信号を読み出す制御（直線ＲＯｇ４で示される駆動を実行させる制御）を行う、撮像制御装置。

【0020】

（１５）
（１）から（１４）のいずれかに記載の撮像制御装置と、
上記撮像素子と、を備える撮像装置（デジタルカメラ１００）。

【0021】

（１６）
光電変換部及び上記光電変換部から転送される電荷を保持する電荷保持部を含む画素が一方向に複数配列された画素行を複数有する撮像素子を制御する撮像制御方法であって、
上記複数の画素行を露光し、その露光によって上記複数の画素行の上記光電変換部に蓄積された電荷を上記電荷保持部に転送する第１制御を行い、
上記第１制御により電荷を保持した上記電荷保持部のうち、一部の上記画素行の上記電荷保持部に保持された電荷に応じた信号を読み出す第２制御を行い、
上記第１制御により電荷を保持した上記電荷保持部のうち、上記一部の画素行以外の上記画素行の上記電荷保持部に保持された電荷に応じた信号の読み出し、及び、上記第２制御で信号を読み出した上記一部の画素行の露光を行う第３制御を行い、
上記第２制御によって信号が読み出された上記一部の画素行の上記電荷保持部に保持された電荷に応じた信号を読み出す第４制御を行う、撮像制御方法。

【0022】

（１７）
光電変換部及び上記光電変換部から転送される電荷を保持する電荷保持部を含む画素が一方向に複数配列された画素行を複数有する撮像素子を制御する撮像制御プログラムであって、
上記複数の画素行を露光し、その露光によって上記複数の画素行の上記光電変換部に蓄積された電荷を上記電荷保持部に転送する第１制御を行い、
上記第１制御により電荷を保持した上記電荷保持部のうち、一部の上記画素行の上記電荷保持部に保持された電荷に応じた信号を読み出す第２制御を行い、
上記第１制御により電荷を保持した上記電荷保持部のうち、上記一部の画素行以外の上記画素行の上記電荷保持部に保持された電荷に応じた信号の読み出し、及び、上記第２制御で信号を読み出した上記一部の画素行の露光を行う第３制御を行い、
上記第２制御によって信号が読み出された上記一部の画素行の上記電荷保持部に保持された電荷に応じた信号を読み出す第４制御を行う、ステップをプロセッサに実行させる撮像制御プログラム。

【図面の簡単な説明】

【0023】

【図1】本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。

【図2】図１に示す撮像素子５の概略構成を示す平面模式図である。

【図3】図２に示す撮像素子５における画素６１の概略構成を示す平面模式図である。

【図4】図３に示す画素６１のＡ－Ａ線の断面模式図である。

【図5】図１に示すデジタルカメラ１００の撮像モード時の動作を示すタイミングチャートである。

【図6】図１に示すデジタルカメラ１００の撮像モード時の動作の第一変形例を示すタイミングチャートである。

【図7】図１に示すデジタルカメラ１００の撮像モード時の動作の第二変形例を示すタイミングチャートである。

【図8】図１に示すデジタルカメラ１００の撮像モード時の動作の第三変形例を示すタイミングチャートである。

【図9】図１に示すデジタルカメラ１００の撮像モード時の動作の第四変形例を示すタイミングチャートである。

【図10】図１に示すデジタルカメラ１００の撮像モード時の動作の第五変形例を示すタイミングチャートである。

【図11】図１に示すデジタルカメラ１００の撮像モード時の動作の第六変形例を示すタイミングチャートである。

【図12】スマートフォン２００の外観を示すものである。

【図13】図１２に示すスマートフォン２００の構成を示すブロック図である。

【発明を実施するための形態】

【0024】

図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。図１に示すデジタルカメラ１００は、撮像レンズ１、絞り２、撮像レンズ１を駆動するレンズ駆動部８、絞り２を駆動する絞り駆動部９、及び、レンズ駆動部８と絞り駆動部９を制御するレンズ制御部４を有するレンズ装置４０と、本体部１００Ａと、を備える。

【0025】

本体部１００Ａは、撮像素子５と、デジタルカメラ１００の電気制御系全体を統括制御するシステム制御部１１と、操作部１４と、表示装置２２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）等を含むメモリ１６と、メモリ１６へのデータ記憶及びメモリ１６からのデータ読み出しの制御を行うメモリ制御部１５と、デジタル信号処理部１７と、記憶媒体２１へのデータ記憶及び記憶媒体２１からのデータ読み出しの制御を行う外部メモリ制御部２０と、を備える。

【0026】

レンズ装置４０は、本体部１００Ａに着脱可能なものであってもよいし、本体部１００Ａと一体化されたものであってもよい。撮像レンズ１は、光軸方向に移動可能なフォーカスレンズ等を含む。このフォーカスレンズは、撮像レンズ１及び絞り２を含む撮像光学系の焦点を調節するためのレンズであり、単一のレンズ又は複数のレンズで構成される。フォーカスレンズが光軸方向に移動することで、フォーカスレンズの主点の位置が光軸方向に沿って変化し、被写体側の焦点位置の変更が行われる。なお、フォーカスレンズとしては、電気的な制御により、光軸方向の主点の位置を変更可能な液体レンズが用いられてもよい。

【0027】

レンズ装置４０のレンズ制御部４は、システム制御部１１から送信されてくるレンズ駆動信号に基づいてレンズ駆動部８を制御して、撮像レンズ１に含まれるフォーカスレンズの主点の位置を変更する。レンズ装置４０のレンズ制御部４は、システム制御部１１から送信されてくる駆動制御信号に基づいて絞り駆動部９を制御して、絞り２の開口量（Ｆ値）を変更する。

【0028】

撮像素子５は、撮像レンズ１及び絞り２を含む撮像光学系を通して被写体を撮像する。撮像素子５は、複数の画素が二次元状に配置された受光面６０（図２参照）を有し、撮像光学系によってこの受光面６０に結像される被写体像をこの複数の画素によって画素信号群に変換して出力する。撮像素子５は、例えばＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサが用いられる。撮像素子５は、図示省略のドライバによって駆動され、このドライバは、システム制御部１１によって制御される。

【0029】

システム制御部１１は、デジタルカメラ１００全体を統括制御するものであり、ハードウェア的な構造は、撮像制御プログラムを含むプログラムを実行して処理を行う各種のプロセッサである。システム制御部１１の実行するプログラムは、メモリ１６のＲＯＭに格納されている。

【0030】

各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0031】

システム制御部１１は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。

【0032】

システム制御部１１は、撮像制御プログラムにしたがって、撮像素子５とレンズ装置４０を駆動し、レンズ装置４０の撮像光学系を通して撮像した被写体像を画素信号群として出力させる。システム制御部１１とメモリ１６によって、撮像制御装置が構成される。撮像素子５から出力された画素信号群は、デジタル信号処理部１７で処理されて、表示装置２２での表示に適したデータ又は記憶媒体２１への記憶に適したデータである撮像画像データが生成される。

【0033】

システム制御部１１には、操作部１４を通して利用者からの指示信号が入力される。操作部１４には、表示面２２ｂと一体化されたタッチパネルと、各種ボタン等が含まれる。

【0034】

表示装置２２は、有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）パネル又は液晶パネル等で構成される表示面２２ｂと、表示面２２ｂの表示を制御する表示コントローラ２２ａと、を備える。

【0035】

メモリ制御部１５、デジタル信号処理部１７、外部メモリ制御部２０、及び表示コントローラ２２ａは、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

【0036】

図２は、図１に示す撮像素子５の概略構成を示す平面模式図である。図３は、図２に示す撮像素子５における画素６１の概略構成を示す平面模式図である。図４は、図３に示す画素６１のＡ－Ａ線の断面模式図である。

【0037】

撮像素子５は、行方向Ｘに配列された複数の画素６１からなる画素行６２が、行方向Ｘと直交する列方向Ｙに複数配列された受光面６０と、受光面６０に配列された画素６１を駆動する駆動回路６３と、受光面６０に配列された画素行６２の各画素６１から信号線に読み出される画素信号を処理する信号処理回路６４と、を備える。

【0038】

複数の画素６１には、撮像光学系の瞳領域の行方向Ｘに並ぶ異なる２つの部分を通過した一対の光束の一方を受光し受光量に応じた信号を検出する位相差検出用画素と、この一対の光束の他方を受光し受光量に応じた信号を検出する位相差検出用画素と、この一対の光束の両方を受光し受光量に応じた信号を検出する通常画素と、が含まれる。

【0039】

画素行６２には、通常画素のみを含む第１画素行と、位相差検出用画素及び通常画素を含む第２画素行とが含まれており、例えば第２画素行は列方向Ｙに等間隔で離散的に配置されている。なお、撮像素子５において、位相差検出用画素は必須ではなく、全ての画素６１が通常画素で構成されていてもよい。

【0040】

以下では、図２において受光面６０の列方向Ｙの上側の端部を上端といい、受光面６０の列方向Ｙの下側の端部を下端という。この上端は受光面６０の一端を構成し、この下端は受光面６０の他端を構成する。

【0041】

受光面６０に配置された画素６１は、複数のグループに分類されている。例えば、Ｍを０以上の整数とし、受光面６０に設定されるグループ数をｎ（ここではｎ＝４）とし、ｋを１～ｎとする。図２の例では、受光面６０に配列された全ての画素行６２のうちの受光面６０の上端側から数えて（ｎ×Ｍ＋ｋ）番目にある画素行６２がグループＧｋとされている。受光面６０に配置された画素６１は、図２に示すように、グループＧ１と、グループＧ２と、グループＧ３と、グループＧ４と、に分類されている。このグループ分けは一例であり、これに限定されるものではない。

【0042】

図３に示すように、画素６１は、光電変換部６１Ａ、電荷保持部６１Ｂ、電荷転送部６１Ｃ、フローティングディフュージョン６１Ｄ、及び読み出し回路６１Ｅを備える。

【0043】

光電変換部６１Ａは、レンズ装置４０の撮像光学系を通った光を受光し受光量に応じた電荷を発生して蓄積する。光電変換部６１Ａは、フォトダイオード等で構成される。

【0044】

電荷転送部６１Ｃは、光電変換部６１Ａに蓄積された電荷を電荷保持部６１Ｂに転送する。電荷転送部６１Ｃは、半導体基板内の不純物領域と、この不純物領域の上方に形成された電極とで構成される。

【0045】

電荷転送部６１Ｃを構成する電極に印加される電圧が駆動回路６３によって制御されることで、光電変換部６１Ａから電荷保持部６１Ｂへの電荷の転送が行われる。

【0046】

電荷保持部６１Ｂは、光電変換部６１Ａから電荷転送部６１Ｃによって転送された電荷を保持する。電荷保持部６１Ｂは、半導体基板内の不純物領域により構成される。

【0047】

フローティングディフュージョン６１Ｄは、電荷を信号に変換するためのものであり、電荷保持部６１Ｂに保持された電荷が転送されてくる。

【0048】

読み出し回路６１Ｅは、フローティングディフュージョン６１Ｄの電位に応じた信号を画素信号として信号線６５に読み出す回路である。読み出し回路６１Ｅは、駆動回路６３によって駆動される。画素信号の集合によって上述した画像信号が構成される。

【0049】

図４に示すように、Ｎ型基板７０表面にはＰウェル層７１が形成され、Ｐウェル層７１の表面部には光電変換部６１Ａが形成されている。

【0050】

光電変換部６１Ａは、Ｎ型不純物層７３とこの上に形成されたＰ型不純物層７４によって構成されている。Ｎ型基板７０とＰウェル層７１によって半導体基板が構成される。

【0051】

Ｐウェル層７１の表面部には、光電変換部６１Ａから少し離間して、Ｎ型不純物層からなる電荷保持部６１Ｂが形成されている。

【0052】

電荷保持部６１Ｂと光電変換部６１Ａとの間のＰウェル層７１の領域７５の上方には、図示省略の酸化膜を介して、転送電極７６が形成されている。

【0053】

領域７５と転送電極７６とが電荷転送部６１Ｃを構成する。図３の例では、転送電極７６が電荷保持部６１Ｂの上方にまで形成されているが、転送電極７６は少なくとも領域７５上方に形成されていればよい。

【0054】

転送電極７６の電位を制御して領域７５にチャネルを形成することで、光電変換部６１Ａに蓄積された電荷を電荷保持部６１Ｂに転送することができる。転送電極７６の電位は駆動回路６３によって制御される。

【0055】

Ｐウェル層７１の表面部には、電荷保持部６１Ｂから少し離間して、Ｎ型不純物層からなるフローティングディフュージョン６１Ｄが形成されている。

【0056】

電荷保持部６１Ｂとフローティングディフュージョン６１Ｄとの間のＰウェル層７１の上方には、図示省略の酸化膜を介して、読み出し電極７２が形成されている。

【0057】

読み出し電極７２の電位を制御して、電荷保持部６１Ｂとフローティングディフュージョン６１Ｄとの間の領域にチャネルを形成することで、電荷保持部６１Ｂに保持された電荷をフローティングディフュージョン６１Ｄに転送することができる。読み出し電極７２の電位は駆動回路６３によって制御される。

【0058】

図４に示す例では、読み出し回路６１Ｅは、フローティングディフュージョン６１Ｄの電位をリセットするためのリセットトランジスタ７７と、フローティングディフュージョン６１Ｄの電位を画素信号に変換して出力する出力トランジスタ７８と、出力トランジスタ７８から出力される画素信号を選択的に信号線６５に読み出すための選択トランジスタ７９とによって構成されている。読み出し回路の構成は一例であり、これに限るものではない。読み出し回路６１Ｅは、複数の画素６１で共用される場合もある。

【0059】

画素６１には図示省略の遮光膜が設けられ、光電変換部６１Ａ以外の領域はこの遮光膜によって遮光される。

【0060】

図３及び図４に示した画素６１の構造は一例であり、これに限定されるものではない。

【0061】

図２に示す駆動回路６３は、各画素６１の転送電極７６、読み出し電極７２、及び読み出し回路６１Ｅを画素行６２毎に独立に駆動して、画素行６２に含まれる各光電変換部６１Ａのリセット（光電変換部６１Ａに蓄積されている電荷の排出）と、この各光電変換部６１Ａに蓄積された電荷に応じた画素信号の信号線６５への読み出し等を行う。

【0062】

また、駆動回路６３は、全ての画素６１の電荷転送部６１Ｃを同時に駆動して、各画素６１の光電変換部６１Ａから電荷保持部６１Ｂに電荷を同時に転送する。駆動回路６３は、システム制御部１１によって制御される。

【0063】

光電変換部６１Ａのリセットは、電荷転送部６１Ｃを電荷が転送可能な状態とし、かつ、読み出し電極７２下方の半導体基板にチャネルを形成した状態で、リセットトランジスタ７７によってフローティングディフュージョン６１Ｄをリセットすることで行われる。

【0064】

このため、電荷保持部６１Ｂで保持される電荷に応じた画素信号の読み出しが完了した状態であれば、その電荷保持部６１Ｂに電荷を転送する光電変換部６１Ａのリセット（換言すると、光電変換部６１Ａの露光開始）は可能である。

【0065】

図２に示す信号処理回路６４は、画素行６２の各画素６１から信号線６５に読み出された画素信号に対し、相関二重サンプリング処理を行い、相関二重サンプリング処理後の画素信号をデジタル信号に変換してデータバス２５（図１参照）に出力する。信号処理回路６４は、システム制御部１１によって制御される。デジタル信号処理部１７は、撮像素子５からデータバス２５に出力された画素信号群にデモザイク処理及びガンマ補正処理等の信号処理を施して撮像画像データを生成する。

【0066】

システム制御部１１は、撮像素子５を、グローバルリセット駆動、グローバルシャッタ駆動、ローリングリセット駆動、ローリングシャッタ駆動、及びローリング読み出し駆動のそれぞれで駆動可能である。

【0067】

グローバルリセット駆動は、露光対象となる各画素６１の光電変換部６１Ａを同時にリセットして、この各画素６１の露光を同時に開始する駆動である。

【0068】

グローバルシャッタ駆動は、グローバルリセット駆動によって各画素６１で開始された露光によりこの各画素６１の光電変換部６１Ａに蓄積された電荷を、電荷保持部６１Ｂに同時に転送して、各画素６１で同時に露光を終了する駆動である。

【0069】

ローリングリセット駆動は、露光対象となる複数の画素行６２に対し、画素行６２の各光電変換部６１Ａをリセットしてその各光電変換部６１Ａの露光を開始する処理を、画素行６２を変えながら順次行う駆動である。

【0070】

ローリングシャッタ駆動は、ローリングリセット駆動によって露光が開始された画素行６２の光電変換部６１Ａからその画素行６２の電荷保持部６１Ｂに電荷を転送してその画素行６２の露光を終了する処理を、画素行６２を変えながら順次行う駆動である。

【0071】

ローリングリセット駆動及びローリングシャッタ駆動を行うと、露光対象となる複数の画素行６２の全ての露光期間が僅かにずれた状態となる。ただし、ローリングリセット駆動及びローリングシャッタ駆動によって、露光対象となる複数の画素行の一部で露光期間がずれた状態にすることもできる。

【0072】

例えば、信号処理回路６４を、受光面６０の上側に更に配置する構成を想定する。この構成では、２つの信号処理回路６４が存在するため、２つの画素行６２から同時に画素信号を読み出すことが可能になる。このため、露光対象となる複数の画素行６２のうち、隣接する２つの画素行６２をペアとすると、ペアの露光を開始する処理を、ペアを変えながら順次行い、露光が開始されたペアの露光を終了する処理を、ペアを変えながら順次行うことで、各ペアについては露光期間を同一とし、ペア毎に露光期間をずらすことが可能となる。

【0073】

ローリング読み出し駆動は、各電荷保持部６１Ｂに保持された電荷に応じた画素信号を、画素行６２毎に順次読み出す駆動である。

【0074】

システム制御部１１は、デジタルカメラ１００が撮像モードに設定されると、例えば、ローリングリセット駆動、ローリングシャッタ駆動、及びローリング読み出し駆動のセットによってライブビュー画像表示用の撮像（以下、ＬＶ撮像という）を連続して行う。なお、システム制御部１１は、グローバルリセット駆動、グローバルシャッタ駆動、及びローリング読み出し駆動のセットによってＬＶ撮像を行ってもよい。

【0075】

そして、システム制御部１１は、このセットの実行中に、静止画像データの記憶媒体２１への記憶のための記憶用の撮像（以下、本撮像と記載）を行う指示（以下、撮像指示という）を受けると、グローバルリセット駆動及びグローバルシャッタ駆動を実行させる制御を行って、本撮像を実行させる。図１に示すデジタル信号処理部１７は、本撮像によって撮像素子５から出力される画素信号群を処理して撮像画像データを生成し、この撮像画像データを記憶媒体２１に記憶させる。

【0076】

図５は、図１に示すデジタルカメラ１００の撮像モード時の動作を示すタイミングチャートである。図５において横軸は時刻を示している。

【0077】

図５の上段と中段には、撮像素子５の各画素行６２の光電変換部６１Ａ及び電荷保持部６１Ｂの駆動タイミングが示されている。図５の上段及び中段において、縦軸は画素行６２の列方向Ｙの位置を示している。

【0078】

図５の上段における実線及び破線で示す直線は、グローバルリセット駆動とグローバルシャッタ駆動が行われるタイミングを示している。

【0079】

図５の中段における実線で示す直線は、グローバルシャッタ駆動によって、電荷保持部６１Ｂに電荷が保持されるタイミングを示している。

【0080】

図５の中段における破線で示す直線は、ローリング読み出し駆動によって、電荷保持部６１Ｂから画素信号が読み出されるタイミングを示している。

【0081】

図５の下段には、表示面２２ｂの描画状態が示されている。図５の下段において、縦軸は表示面２２ｂの表示画素行の列方向Ｙの位置を示している。図５の下段に示す実線の直線は、表示面２２ｂの表示画素行に描画が行われるタイミングを示している。

【0082】

システム制御部１１は、撮像モードに設定されると、ＬＶ撮像を連続して行い、表示面２２ｂにライブビュー画像を表示する制御を行う。ＬＶ撮像が行われている間に撮像指示がなされると、システム制御部１１は、撮像指示を受けた時点で実行中のＬＶ撮像を終了する。

【0083】

そして、システム制御部１１は、時刻ｔ１において、直線ＧＲで示されるグローバルリセット駆動を実行させる制御を行い、受光面６０に形成された全ての画素行６２において同時に光電変換部６１Ａのリセットを行う。これにより、受光面６０に形成された全ての画素行６２において、同じタイミングで露光が開始する。

【0084】

その後、所定の露光時間が経過すると、システム制御部１１は、時刻ｔ２において、直線ＧＳで示されるグローバルシャッタ駆動を実行させる制御を行う。このグローバルシャッタ駆動により、受光面６０に形成された全ての画素行６２において同時に、光電変換部６１Ａから電荷保持部６１Ｂへの電荷の転送が行われ、直線ＳＴで示されるように、電荷保持部６１Ｂにて電荷が保持される。これにより、受光面６０に形成された全ての画素行６２で同じタイミングで露光が終了する。図５では、直線ＧＲと直線ＧＳとで囲まれる期間が本撮像の露光期間ＥＸとして示されている。

【0085】

システム制御部１１は、直線ＧＳで示されるグローバルシャッタ駆動を実行させる制御を行った後、直線ＲＯｇ１で示されるローリング読み出し駆動を実行させる制御を行う。このローリング読み出し駆動により、グループＧ１、グループＧ２、グループＧ３、及びグループＧ４のうちのいずれか１つ（ここではグループＧ１とする）における画素行６２が、受光面６０の上端から下端に向かって順番に選択され、選択された画素行６２の電荷保持部６１Ｂから画素信号が読み出される。直線ＲＯｇ１で示されるローリング読み出し駆動によってグループＧ１から読み出された画素信号群を、画素信号群ＩＭＧ１と記載する。

【0086】

システム制御部１１は、直線ＲＯｇ１で示されるローリング読み出し駆動によってグループＧ１の画素行６２から順次読み出される画素信号をデジタル信号処理部１７に処理させる。そして、システム制御部１１は、その処理によってライン画像が生成されると、そのライン画像を表示面２２ｂに表示させる制御を行う。この制御により、直線ＤＲ１に示すように、本撮像（露光期間ＥＸ）で撮像された被写体のライブビュー画像（所謂、ポストビュー画像ＰＶ）が表示面２２ｂに表示される。

【0087】

直線ＲＯｇ１で示されるローリング読み出し駆動が終了する時刻ｔ３になると、システム制御部１１は、グループＧ１に対して、直線ＧＲｇ１で示されるグローバルリセット駆動を実行させる制御を行う。このグローバルリセット駆動により、グループＧ１の全ての画素行６２において同時に光電変換部６１Ａのリセットが行われ、グループＧ１の全ての画素行６２において、同じタイミングで露光が開始する。なお、時刻ｔ３では、直線ＲＯｇ１で示されるローリング読み出し駆動によって、グループＧ１における全ての電荷保持部６１Ｂから画素信号の読み出しが完了している。このため、時刻ｔ３の時点で、グループＧ１の全ての画素６１において同時に露光を開始可能である。

【0088】

また、システム制御部１１は、時刻ｔ３において、直線ＲＯｇ２で示されるローリング読み出し駆動を実行させる制御を行う。このローリング読み出し駆動により、グループＧ２、グループＧ３、及びグループＧ４のいずれか１つ（ここではグループＧ２とする）における画素行６２が、受光面６０の上端から下端に向かって順番に選択され、選択された画素行６２の電荷保持部６１Ｂから画素信号が読み出される。直線ＲＯｇ２で示されるローリング読み出し駆動によってグループＧ２から読み出された画素信号群を、画素信号群ＩＭＧ２と記載する。

【0089】

直線ＲＯｇ２で示されるローリング読み出し駆動が終了する時刻ｔ４になると、システム制御部１１は、グループＧ１に対して、直線ＧＳｇ１で示されるグローバルシャッタ駆動を実行させる制御を行う。このグローバルシャッタ駆動により、グループＧ１の全ての画素行６２において同時に、光電変換部６１Ａから電荷保持部６１Ｂへの電荷の転送が行われ、直線ＳＴｇ１で示されるように、電荷保持部６１Ｂにて電荷が保持される。これにより、グループＧ１の全ての画素行６２で同じタイミングで露光が終了する。図５では、直線ＧＲｇ１と直線ＧＳｇ１とで囲まれる期間が露光期間ＥＸ（Ｇ１）として示されている。

【0090】

また、システム制御部１１は、時刻ｔ４において、直線ＧＳｇ１で示されるグローバルシャッタ駆動を実行させる制御を行った後、直線ＲＯＧ１で示されるローリング読み出し駆動を実行させる制御を行う。このローリング読み出し駆動では、グループＧ１の画素行６２が、受光面６０の上端から下端に向かって順番に選択され、選択された画素行６２の電荷保持部６１Ｂから画素信号が読み出される。

【0091】

システム制御部１１は、時刻ｔ４で開始した直線ＲＯＧ１で示されるローリング読み出し駆動によってグループＧ１の画素行６２から順次読み出される画素信号をデジタル信号処理部１７に処理させる。システム制御部１１は、その処理によってライン画像が生成されると、そのライン画像を表示面２２ｂに表示させる制御を行う。この制御により、直線ＤＲ２に示すように、時刻ｔ３と時刻ｔ４の間の期間Ｆ２にグループＧ１によって撮像された被写体のライブビュー画像ＬＶ１が、表示面２２ｂに表示される。なお、図５では、時刻ｔ２と時刻ｔ３の間の期間を期間Ｆ１として示している。

【0092】

時刻ｔ４で開始された直線ＲＯＧ１で示されるローリング読み出し駆動が終了する時刻ｔ５になると、システム制御部１１は、グループＧ１に対して、直線ＧＲｇ１で示されるグローバルリセット駆動を実行させる制御を行う。このグローバルリセット駆動により、グループＧ１の全ての画素行６２において同時に光電変換部６１Ａのリセットが行われて、グループＧ１の全ての画素行６２において、同じタイミングで露光が開始する。

【0093】

また、システム制御部１１は、時刻ｔ５において、直線ＲＯｇ３で示されるローリング読み出し駆動を実行させる制御を行う。このローリング読み出し駆動では、グループＧ３及びグループＧ４のいずれか１つ（ここではグループＧ３とする）における画素行６２が、受光面６０の上端から下端に向かって順番に選択され、選択された画素行６２の電荷保持部６１Ｂから画素信号が読み出される。直線ＲＯｇ３で示されるローリング読み出し駆動によってグループＧ３から読み出された画素信号群を、画素信号群ＩＭＧ３と記載する。

【0094】

直線ＲＯｇ３で示されるローリング読み出し駆動が終了する時刻ｔ６になると、システム制御部１１は、グループＧ１に対して、直線ＧＳｇ１で示されるグローバルシャッタ駆動を実行させる制御を行う。このグローバルシャッタ駆動により、グループＧ１の全ての画素行６２において同時に、光電変換部６１Ａから電荷保持部６１Ｂへの電荷の転送が行われ、直線ＳＴｇ１で示されるように電荷保持部６１Ｂにて電荷が保持される。これにより、グループＧ１の全ての画素行６２で同じタイミングで露光が終了する。

【0095】

また、システム制御部１１は、時刻ｔ６において、直線ＧＳｇ１で示されるグローバルシャッタ駆動を実行させる制御を行った後、直線ＲＯＧ１で示されるローリング読み出し駆動を実行させる制御を行う。このローリング読み出し駆動では、グループＧ１の画素行６２が、受光面６０の上端から下端に向かって順番に選択され、選択された画素行６２の電荷保持部６１Ｂから画素信号が読み出される。

【0096】

システム制御部１１は、時刻ｔ６で開始した直線ＲＯＧ１で示されるローリング読み出し駆動によってグループＧ１の画素行６２から順次読み出される画素信号をデジタル信号処理部１７に処理させる。システム制御部１１は、その処理によってライン画像が生成されると、そのライン画像を表示面２２ｂに表示させる制御を行う。この制御により、直線ＤＲ３に示すように、時刻ｔ５と時刻ｔ６の間の期間Ｆ４に撮像された被写体のライブビュー画像ＬＶ２が、表示面２２ｂに表示される。なお、図５では、時刻ｔ４と時刻ｔ５の間の期間を期間Ｆ３として示している。

【0097】

時刻ｔ６で開始された直線ＲＯＧ１で示されるローリング読み出し駆動が終了する時刻ｔ７になると、システム制御部１１は、グループＧ１に対して、直線ＧＲｇ１で示されるグローバルリセット駆動を実行させる制御を行う。このグローバルリセット駆動により、グループＧ１の全ての画素行６２において同時に光電変換部６１Ａのリセットが行われ、グループＧ１の全ての画素行６２において、同じタイミングで露光が開始する。

【0098】

また、システム制御部１１は、時刻ｔ７において、直線ＲＯｇ４で示されるローリング読み出し駆動を実行させる制御を行う。このローリング読み出し駆動では、グループＧ４の画素行６２が、受光面６０の上端から下端に向かって順番に選択され、選択された画素行６２の電荷保持部６１Ｂから画素信号が読み出される。直線ＲＯｇ４で示されるローリング読み出し駆動によってグループＧ４から読み出された画素信号群を、画素信号群ＩＭＧ４と記載する。

【0099】

直線ＲＯｇ４で示されるローリング読み出し駆動が終了する時刻ｔ８になると、システム制御部１１は、グループＧ１に対して、直線ＧＳｇ１で示されるグローバルシャッタ駆動を実行させる制御を行う。このグローバルシャッタ駆動により、グループＧ１の全ての画素行６２において同時に、光電変換部６１Ａから電荷保持部６１Ｂへの電荷の転送が行われ、直線ＳＴｇ１で示されるように電荷保持部６１Ｂにて電荷が保持される。これにより、グループＧ１の全ての画素行６２で同じタイミングで露光が終了する。

【0100】

また、システム制御部１１は、時刻ｔ８において、直線ＧＳｇ１で示されるグローバルシャッタ駆動を実行させる制御を行った後、直線ＲＯＧ１で示されるローリング読み出し駆動を実行させる制御を行う。このローリング読み出し駆動では、グループＧ１の画素行６２が、受光面６０の上端から下端に向かって順番に選択され、選択された画素行６２の電荷保持部６１Ｂから画素信号が読み出される。

【0101】

システム制御部１１は、時刻ｔ８で開始した直線ＲＯＧ１で示されるローリング読み出し駆動によってグループＧ１の画素行６２から順次読み出される画素信号をデジタル信号処理部１７に処理させる。システム制御部１１は、その処理によってライン画像が生成されると、そのライン画像を表示面２２ｂに表示させる制御を行う。この制御により、直線ＤＲ４に示すように、時刻ｔ７と時刻ｔ８の間の期間Ｆ６に撮像された被写体のライブビュー画像ＬＶ３が、表示面２２ｂに表示される。なお、図５では、時刻ｔ６と時刻ｔ７の間の期間を期間Ｆ５として示している。また、時刻ｔ８で開始した直線ＲＯＧ１で示されるローリング読み出し駆動が終了する時刻ｔ９と時刻ｔ８の間の期間を期間Ｆ７として示している。

【0102】

時刻ｔ８において、デジタル信号処理部１７は、時刻ｔ２から時刻ｔ８までの間に読み出された画素信号群ＩＭＧ１、画素信号群ＩＭＧ２、画素信号群ＩＭＧ３、及び画素信号群ＩＭＧ４を処理して、撮像画像データを生成し、記憶媒体２１に記憶する。

【0103】

図５において、直線ＧＲ及び直線ＧＳで示される駆動を実行させる制御が第１制御を構成する。また、期間Ｆ１における直線ＲＯｇ１で示される駆動を実行させる制御が第２制御を構成する。また、期間Ｆ２における直線ＲＯｇ２、直線ＧＲｇ１、及び直線ＧＳｇ１で示される駆動を実行させる制御と、期間Ｆ４における直線ＲＯｇ３、直線ＧＲｇ１、及び直線ＧＳｇ１で示される駆動を実行させる制御と、期間Ｆ６における直線ＲＯｇ４、直線ＧＲｇ１、及び直線ＧＳｇ１で示される駆動を実行させる制御が、それぞれ、第３制御を構成する。また、期間Ｆ３における直線ＲＯＧ１で示される駆動を実行させる制御と、期間Ｆ５における直線ＲＯＧ１で示される駆動を実行させる制御と、期間Ｆ７における直線ＲＯＧ１で示される駆動を実行させる制御が、それぞれ、第４制御を構成する。

【0104】

以上のように、デジタルカメラ１００によれば、受光面６０に形成される画素６１の総数が多くなり、全ての画素６１からの画素信号の読み出しを完了するまでに時間を要する場合であっても、全ての画素信号の読み出しを完了するよりも前に、具体的には、図５に示す時刻ｔ２の少し後に、ポストビュー画像ＰＶを表示することができる。このため、露光期間ＥＸにて撮像した被写体の状態を瞬時に確認することができ、利便性を向上させることができる。

【0105】

また、デジタルカメラ１００によれば、ポストビュー画像ＰＶが表示された後も、既に画素信号の読み出しを完了したグループＧ１を利用して、ライブビュー画像を生成するための撮像（図５における期間Ｆ２、期間Ｆ４、及び期間Ｆ６の露光）を行うことができる。この撮像によって、本撮像で得られる全ての画素信号の読み出しを完了するよりも前に、ライブビュー画像を表示し、更には、このライブビュー画像を更新することができる。このため、ユーザは、ポストビュー画像ＰＶと、それに続いて表示されるライブビュー画像とによって、撮像したい被写体の状態を確認し続けることができ、適切なシャッタチャンスを捉えて、良好な撮像を行うことができる。

【0106】

システム制御部１１は、図５に示す期間Ｆ１、期間Ｆ３、及び期間Ｆ５のそれぞれにおいては、位相差検出用画素を含む第２画素行を含むグループから、画素信号の読み出しを行うことが好ましい。つまり、上記説明においては、グループＧ１に、第２画素行が含まれていることが好ましい。

【0107】

期間Ｆ１、期間Ｆ３、及び期間Ｆ５のそれぞれにおいて、第２画素行から画素信号を読み出すことで、システム制御部１１は、位相差検出用画素から読み出された画素信号を用いて、焦点調節用の評価値（主要被写体と焦点位置とのズレ量を評価するための値。例えばデフォーカス量）を導出することができる。これにより、例えば、時刻ｔ３から時刻ｔ５までの期間と、時刻ｔ５から時刻ｔ７までの期間と、時刻ｔ７から時刻ｔ９までの期間と、のそれぞれにおいて、評価値を導出して、その評価値に基づくフォーカスレンズの制御や被写体位置の予測等を行うことができる。この結果、次の本撮像の開始までの間に、焦点調節を高速且つ高精度に行うことができる。特に、撮像指示に応じて本撮像を複数回連続して行う連写モードの場合には、上記の評価値を高頻度に導出できることで、撮像画像の品質を向上させることができる。

【0108】

なお、期間Ｆ１、期間Ｆ３、及び期間Ｆ５の代わりに、期間Ｆ２と期間Ｆ４の少なくとも一方において、第２画素行を含むグループからの画素信号を読み出すようにしてもよい。このようにしても、次の本撮像時における焦点調節を高速且つ高精度に行うことができる。

【0109】

図５に示す動作において、ポストビュー画像ＰＶの表示は省略してもよい。このようにしても、ライブビュー画像ＬＶ１とライブビュー画像ＬＶ２によって、本撮像後、すぐに、被写体の状態を確認可能となる。

【0110】

また、図５に示す動作において、ライブビュー画像ＬＶ１の表示は省略してもよい。このようにすると、ポストビュー画像ＰＶをより長く表示でき、本撮像で撮像した被写体を詳細に確認可能となる。

【0111】

また、図５に示す動作において、ライブビュー画像ＬＶ１とライブビュー画像ＬＶ２とライブビュー画像ＬＶ３の表示は省略してもよい。このようにしても、期間Ｆ２、期間Ｆ４、及び期間Ｆ６のそれぞれでグループＧ１によって撮像される撮像画像データを用いて、例えば、被写体検出処理や評価値の導出処理を行うことで、特定の被写体の動き予測の精度を向上させたり、特定の被写体に焦点を合わせ続ける制御の精度を向上させたりすることが可能となる。

【0112】

なお、図５に示したように、ポストビュー画像ＰＶ、ライブビュー画像ＬＶ１、ライブビュー画像ＬＶ２、及びライブビュー画像ＬＶ３の表示を行う場合でも、期間Ｆ２、期間Ｆ４、及び期間Ｆ６のそれぞれでグループＧ１によって撮像される撮像画像データを用いて、例えば、被写体検出処理や評価値の導出処理を併せて行うことで、特定の被写体の動き予測の精度を向上させたり、特定の被写体に焦点を合わせ続ける制御の精度を向上させたりすることが可能となる。

【0113】

以上の説明では、受光面６０に形成された画素６１が４つのグループに分類されるものとしているが、画素６１は２つ以上のグループに分類されていればよい。例えば、受光面６０にグループＧ４が存在しない構成とした場合には、図５に示す処理を、時刻ｔ７以降の処理を削除したものに変更すればよい。

【0114】

また、例えば、グループＧ１とグループＧ３を統合して第１グループとし、グループＧ２とグループＧ４を統合して第２グループとしてもよい。この場合には、システム制御部１１は、期間Ｆ１において、第１グループから画素信号を読み出してポストビュー画像を表示する制御を行い、期間Ｆ２において、第１グループの露光と第２グループからの画素信号の読み出しを行う制御を行い、期間Ｆ３において、第１グループから画素信号を読み出してライブビュー画像を表示したり、被写体検出処理を行ったり、評価値の導出処理を行ったりする制御を行えばよい。

【0115】

以下では、デジタルカメラ１００の撮像モード時の動作の変形例について説明する。

【0116】

図６は、図１に示すデジタルカメラ１００の撮像モード時の動作の第一変形例を示すタイミングチャートである。図６に示すタイミングチャートは、図５において直線ＧＲｇ１で示されていたグローバルリセット駆動が、直線ＲＲｇ１で示されるローリングリセット駆動に変更された点と、図５において直線ＧＳｇ１で示されていたグローバルシャッタ駆動が、直線ＲＳｇ１で示されるローリングシャッタ駆動に変更された点と、図５において示されていた直線ＳＴｇ１が削除された点と、図５において直線ＲＯＧ１で示されていたローリング読み出し駆動が、直線ｒｏｇ１で示されるローリング読み出し駆動に変更された点と、を除いては、図５に示すタイミングチャートと同じである。

【0117】

システム制御部１１は、時刻ｔ３において、直線ＲＲｇ１で示されるローリングリセット駆動を実行させる制御を行う。このローリングリセット駆動では、グループＧ１の画素行６２が上端側から順次選択され、選択された画素行６２における光電変換部６１Ａのリセットが行われる。

【0118】

システム制御部１１は、時刻ｔ４においてローリングリセット駆動が終了すると、直線ＲＳｇ１で示されるローリングシャッタ駆動を実行させる制御を行う。このローリングシャッタ駆動では、グループＧ１の画素行６２が上端側から順次選択され、選択された画素行６２における光電変換部６１Ａに蓄積された電荷が電荷保持部６１Ｂに転送される。このローリングシャッタ駆動によって電荷保持部６１Ｂに電荷が転送されると、直線ｒｏｇ１で示されるローリング読み出し駆動によって、その電荷に応じた画素信号が読み出され、この画素信号に基づいて、ライブビュー画像ＬＶ１の表示が行われる。

【0119】

システム制御部１１は、時刻ｔ５においても、グループＧ１に対してローリングリセット駆動を実行させる制御を行い、時刻ｔ６において、このローリングリセット駆動が終了すると、グループＧ１に対してローリングシャッタ駆動を実行させる制御を行う。このローリングシャッタ駆動によって電荷保持部６１Ｂに電荷が転送されると、直線ｒｏｇ１で示されるローリング読み出し駆動によって、その電荷に応じた画素信号が読み出され、この画素信号に基づいて、ライブビュー画像ＬＶ２の表示が行われる。

【0120】

システム制御部１１は、時刻ｔ７においても、グループＧ１に対してローリングリセット駆動を実行させる制御を行い、時刻ｔ８において、このローリングリセット駆動が終了すると、グループＧ１に対してローリングシャッタ駆動を実行させる制御を行う。このローリングシャッタ駆動によって電荷保持部６１Ｂに電荷が転送されると、直線ｒｏｇ１で示されるローリング読み出し駆動によって、その電荷に応じた画素信号が読み出され、この画素信号に基づいて、ライブビュー画像ＬＶ３の表示が行われる。

【0121】

以上のように、図６に示す処理によれば、直線ＲＳｇ１で示されるグループＧ１の各画素行６２の露光終了から、その各画素行６２に対応するライン画像の表示開始までに要する時間を、グループＧ１の全ての画素行６２において均一にすることができる。このため、ライブビュー画像ＬＶ１、ライブビュー画像ＬＶ２、及びライブビュー画像ＬＶ３の品質を向上させることができる。

【0122】

図６に示す処理では、期間Ｆ２及び期間Ｆ３における直線ＲＯｇ２、直線ＲＲｇ１、及び直線ＲＳｇ１で示される駆動を実行させる制御と、期間Ｆ４及び期間Ｆ５における直線ＲＯｇ３、直線ＲＲｇ１、及び直線ＲＳｇ１で示される駆動を実行させる制御と、期間Ｆ６及び期間Ｆ７における直線ＲＯｇ４、直線ＲＲｇ１、及び直線ＲＳｇ１で示される駆動を実行させる制御が、それぞれ、第３制御を構成する。また、直線ｒｏｇ１で示される駆動を実行させる制御が第４制御を構成する。

【0123】

図７は、図１に示すデジタルカメラ１００の撮像モード時の動作の第二変形例を示すタイミングチャートである。図７に示すタイミングチャートは、時刻ｔ３以降の処理が図５と相違する。また、第二変形例では、本撮像後に最初に画素信号を読み出すグループ（グループＧ１）に第２画素行が含まれることを前提としている。

【0124】

システム制御部１１は、期間Ｆ１で開始されたローリング読み出し駆動によってグループＧ１から読み出された画素信号のうち、位相差検出用画素の画素信号を取得し、この画素信号に基づいて、焦点調節用の評価値を導出する。

【0125】

そして、システム制御部１１は、導出した評価値に基づいて、図５における時刻ｔ３以降の制御（すなわち、第３制御と第４制御）の実行と非実行のどちらかを決定する。具体的には、システム制御部１１は、評価値が閾値未満の場合には、図５における時刻ｔ３以降の制御を実行することを決定し、この制御を実行する。この場合の動作は図５に示した通りとなる。

【0126】

一方、システム制御部１１は、評価値が閾値以上の場合には、図５における時刻ｔ３以降の制御を非実行することを決定し、図７に示すように、第３制御及び第４制御の代わりに、直線ＲＯで示されるローリング読み出し駆動を実行させる制御を行う。このローリング読み出し駆動では、グループＧ２、グループＧ３、及びグループＧ４に含まれる画素行６２が、受光面６０の上端から下端に向かって順番に選択され、選択された画素行６２の電荷保持部６１Ｂから画素信号が読み出される。

【0127】

直線ＲＯで示されるローリング読み出し駆動を実行させる制御が第５制御を構成する。直線ＲＯで示されるローリング読み出し駆動によってグループＧ２、グループＧ３、及びグループＧ４から読み出された画素信号群を、画素信号群ＩＭＧ５と記載する。

【0128】

直線ＲＯで示されるローリング読み出し駆動が終了すると、デジタル信号処理部１７は、撮像素子５から読み出された画素信号群ＩＭＧ１及び画素信号群ＩＭＧ５を処理して、撮像画像データを生成し、記憶媒体２１に記憶する。システム制御部１１は、直線ＲＯで示されるローリング読み出し駆動が終了すると、次の本撮像を開始する。

【0129】

期間Ｆ１においてグループＧ１から読み出した画素信号に基づいて導出される評価値が大きい場合には、本撮像で得られる撮像画像データのボケ度合が大きいと推定される。したがって、このような場合には、グループＧ２、グループＧ３、及びグループＧ４からの画素信号の読み出しを、期間を分けて行い且つその読み出しの間にグループＧ１による撮像を行うのではなく、グループＧ２、グループＧ３、及びグループＧ４から画素信号を一気に読み出すことで、次の本撮像が可能になるまでの時間を短縮できる。この結果、適切なシャッタチャンスを捉えて、良好な撮像を行うことができる。

【0130】

図７に示す動作例では、グループＧ１から読み出した画素信号に基づいて導出した評価値が閾値以上の場合に、直線ＲＯで示されるローリング読み出し駆動を行うものとした。

【0131】

この変形例として、システム制御部１１は、評価値が閾値以上の場合には、グループＧ２、グループＧ３、及びグループＧ４からの画素信号の読み出しを中止し、次の本撮像を行う制御（つまり第１制御）を行ってもよい。

【0132】

図８は、図１に示すデジタルカメラ１００の撮像モード時の動作の第三変形例を示すタイミングチャートである。図８に示すタイミングチャートは、時刻ｔ３において、システム制御部１１が、グループＧ２、グループＧ３、及びグループＧ４からの画素信号の読み出しを中止し、その後、次の本撮像を開始する制御を行う点が、図７と相違する。

【0133】

図８において、時刻ｔ３の後に開始される露光期間ＥＸの終了後は、例えば、この露光期間ＥＸにて露光されたグループＧ１から読み出された画素信号に基づいて導出される評価値が閾値未満であれば、図５に示した時刻ｔ３以降の処理が行われ、この評価値が閾値以上であれば、次の本撮像が行われる。図８のようにすることでも、次の本撮像が可能になるまでの時間を短縮でき、適切なシャッタチャンスを捉えて、良好な撮像を行うことができる。

【0134】

図９は、図１に示すデジタルカメラ１００の撮像モード時の動作の第四変形例を示すタイミングチャートである。図９に示すタイミングチャートは、期間Ｆ３、期間Ｆ５、及び期間Ｆ７のそれぞれの長さが、期間Ｆ１、期間Ｆ２、期間Ｆ４、及び期間Ｆ６のそれぞれの長さよりも短くなっている点が、図５と相違する。

【0135】

つまり、図９に示すタイミングチャートでは、直線ＲＯＧ１で示されるローリング読み出し駆動による画素信号の読み出し速度が、直線ＲＯｇ１、直線ＲＯｇ２、直線ＲＯｇ３、及び直線ＲＯｇ４のそれぞれで示されるローリング読み出し駆動による画素信号の読み出し速度よりも速くなっている。

【0136】

撮像素子５からの画素信号の読み出し速度の変更は、信号処理回路６４に含まれるＡＤ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）変換器に設定する変換ビット数の変更や、ＡＤ変換器のクロック周波数の変更等によって行うことができる。また、グループＧ１から画素信号を読み出す画素６１の数を変更することによっても、読み出し速度を変更できる。

【0137】

図９に示す処理によれば、本撮像で得られる全ての画素信号の読み出し完了までの時間を短縮でき、次の本撮像を早く開始できる。連写モードであれば、連写速度を高めることができる。

【0138】

なお、図９に示したような、期間Ｆ３、期間Ｆ５、及び期間Ｆ７における画素信号の読み出し速度の高速化の制御は、常時行われてもよいが、上述してきた評価値が閾値以上の場合にのみ行うようにしてもよい。

【0139】

つまり、システム制御部１１は、期間Ｆ１において位相差検出用画素を含むグループＧ１から読み出した画素信号に基づいて導出した評価値が閾値以上の場合には、上記の高速化の制御を実行し、この評価値が閾値未満の場合には、上記の高速化の制御を非実行として、期間Ｆ３、期間Ｆ５、及び期間Ｆ７における画素信号の読み出し速度を、期間Ｆ１、期間Ｆ２、期間Ｆ４、及び期間Ｆ６における画素信号の読み出し速度と同じにしてもよい。

【0140】

このようにすることで、本撮像で撮像された被写体像に大きなボケが生じている場合に、次の本撮像が可能になるまでの時間を短縮できる。一方、本撮像で撮像された被写体像に大きなボケが生じていない場合には、ポストビュー画像とライブビュー画像を同条件で表示したり、ライブビュー画像自体を高画質化したりでき、撮像中の被写体を良好に観察可能となる。

【0141】

図１０は、図１に示すデジタルカメラ１００の撮像モード時の動作の第五変形例を示すタイミングチャートである。図１０に示すタイミングチャートは、期間Ｆ７において次の本撮像が開始される点を除いては、図５に示すタイミングチャートと同じである。

【0142】

図１０に示すタイミングチャートにおいて、システム制御部１１は、時刻ｔ８において直線ＲＯｇ４で示されるローリング読み出し駆動が終了すると、直線ＲＯＧ１で示されるローリング読み出し駆動を実行させる制御と並行して、次の本撮像を実行する制御（つまり第１制御）を行う。

【0143】

図１０において、時刻ｔ８の後に開始される露光期間ＥＸの終了後の動作は、時刻ｔ２から時刻ｔ９までの動作と同じである。図１０に示す処理によれば、次の本撮像までの時間を短縮することができ、連写モードであれば、連写速度を速めることができる。なお、図１０において、期間Ｆ６における直線ＧＲｇ１及び直線ＧＳｇ１で示す駆動と、期間Ｆ７における直線ＲＯＧ１で示す駆動は、必須ではなく省略可能である。

【0144】

図１１は、図１に示すデジタルカメラ１００の撮像モード時の動作の第六変形例を示すタイミングチャートである。図１１に示すタイミングチャートは、期間Ｆ６におけるグループＧ１の露光と、期間Ｆ７におけるその露光によって得られる画素信号の読み出しが削除された点と、時刻ｔ７において次の本撮像が開始される点を除いては、図５に示すタイミングチャートと同じである。

【0145】

図１１に示すタイミングチャートにおいて、システム制御部１１は、時刻ｔ７において直線ＲＯＧ１で示されるローリング読み出し駆動が終了すると、直線ＲＯｇ４で示されるローリング読み出し駆動を実行させる制御（つまり第４制御）と並行して、次の本撮像を実行する制御（つまり第１制御）を行う。時刻ｔ７にて開始される露光期間ＥＸの終了後の動作は、時刻ｔ２から時刻ｔ８までの動作と同じである。図１１に示す処理によれば、次の本撮像までの時間を短縮することができ、連写モードであれば、連写速度を速めることができる。

【0146】

次に、本発明の撮像装置の別実施形態であるスマートフォンの構成について説明する。

【0147】

図１２は、スマートフォン２００の外観を示すものである。図１２に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。

【0148】

また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。

【0149】

図１３は、図１２に示すスマートフォン２００の構成を示すブロック図である。

【0150】

図１３に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。

【0151】

また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

【0152】

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、ウェブデータ又はストリーミングデータ等の受信を行う。

【0153】

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）又は文字情報等を表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

【0154】

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等を表示デバイスとして用いたものである。

【0155】

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

【0156】

図１３に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

【0157】

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

【0158】

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２０１の大きさ等に応じて適宜設計されるものである。

【0159】

さらにまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等が挙げられ、いずれの方式を採用することもできる。

【0160】

通話部２１１は、スピーカ２０５又はマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。

【0161】

また、図１２に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

【0162】

操作部２０７は、キースイッチ等を用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１２に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。

【0163】

記憶部２１２は、主制御部２２０の制御プログラム及び制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータ等を一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。

【0164】

なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の格納媒体を用いて実現される。

【0165】

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）等）又はネットワーク（例えば、イーサネット（登録商標）、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等）により直接的又は間接的に接続するためのものである。

【0166】

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるパーソナルコンピュータ、イヤホン等がある。

【0167】

外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達したり、スマートフォン２００の内部のデータが外部機器に伝送されるようにしたりすることができる。

【0168】

ＧＮＳＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＮＳＳ衛星ＳＴ１～ＳＴｎから送信されるＧＮＳＳ信号を受信し、受信した複数のＧＮＳＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＮＳＳ受信部２１４は、無線通信部２１０又は外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

【0169】

モーションセンサ部２１５は、例えば、３軸の加速度センサ等を備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向又は加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

【0170】

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

【0171】

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。主制御部２２０のマイクロプロセッサはシステム制御部１１と同様の機能を持つ。また、主制御部２２０は、無線通信部２１０を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

【0172】

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又はウェブページを閲覧するウェブブラウジング機能等がある。

【0173】

また、主制御部２２０は、受信データ又はダウンロードしたストリーミングデータ等の画像データ（静止画像又は動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。

【0174】

画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

【0175】

さらに、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。

【0176】

表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。

【0177】

なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

【0178】

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作と上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。

【0179】

さらに、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

【0180】

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。

【0181】

ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

【0182】

カメラ部２０８は、図１に示したレンズ装置４０と撮像素子５とデジタル信号処理部１７を含む。スマートフォン２００においては、主制御部２２０と内部記憶部２１７によって、撮像制御装置が構成される。

【0183】

カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることができる。

【0184】

図１３に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

【0185】

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示したり、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用したりすることができる。

【0186】

また、ＧＮＳＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。さらには、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断したり、現在の使用環境を判断したりすることもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

【0187】

その他、静止画又は動画の画像データにＧＮＳＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等を付加して記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることもできる。以上の構成のスマートフォン２００であっても、デジタルカメラ１００と同じ効果を得ることができる。

【符号の説明】

【0188】

１ 撮像レンズ
２ 絞り
４ レンズ制御部
５ 撮像素子
８ レンズ駆動部
９ 絞り駆動部
１１ システム制御部
１４，２０７ 操作部
１５ メモリ制御部
１６ メモリ
１７ デジタル信号処理部
２０ 外部メモリ制御部
２１ 記憶媒体
２２ａ 表示コントローラ
２２ｂ 表示面
２２ 表示装置
２４ 制御バス
２５ データバス
４０ レンズ装置
６０ 受光面
６１Ａ 光電変換部
６１Ｂ 電荷保持部
６１Ｃ 電荷転送部
６１Ｄ フローティングディフュージョン
６１Ｅ 回路
６１ 画素
６２ 画素行
６３ 駆動回路
６４ 信号処理回路
６５ 信号線
７０ Ｎ型基板
７１ Ｐウェル層
７２ 電極
７３ Ｎ型不純物層
７４ Ｐ型不純物層
７５ 領域
７６ 転送電極
７７ リセットトランジスタ
７８ 出力トランジスタ
７９ 選択トランジスタ
１００Ａ 本体部
１００ デジタルカメラ
ＧＲ、ＧＳ、ＧＲｇ１、ＧＳｇ１、ＲＲｇ１、ＲＳｇ１、ＲＯ 直線
ＳＴ、ＲＯｇ１、ＲＯｇ２、ＲＯｇ３、ＲＯｇ４、ＲＯＧ１、ｒｏｇ１ 直線
ＤＲ１、ＤＲ２、ＤＲ３、ＤＲ４ 直線
２００ スマートフォン
２０１ 筐体
２０２ 表示パネル
２０３ 操作パネル
２０４ 表示入力部
２０５ スピーカ
２０６ マイクロホン
２０８ カメラ部
２１０ 無線通信部
２１１ 通話部
２１２ 記憶部
２１３ 外部入出力部
２１４ ＧＮＳＳ受信部
２１５ モーションセンサ部
２１６ 電源部
２１７ 内部記憶部
２１８ 外部記憶部
２２０ 主制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】