特許 6432005 撮像装置、撮像装置の作動方法、撮像装置の作動プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6432005

(24)【登録日】2018年11月9日

(45)【発行日】2018年11月28日

(54)【発明の名称】撮像装置、撮像装置の作動方法、撮像装置の作動プログラム

(51)【国際特許分類】

   H04N 5/353 20110101AFI20181119BHJP

【ＦＩ】

   H04N5/353

【請求項の数】13

【全頁数】25

(21)【出願番号】特願2018-540915(P2018-540915)

(86)(22)【出願日】2017年8月10日

(86)【国際出願番号】JP2017029200

(87)【国際公開番号】WO2018055948

(87)【国際公開日】20180329

【審査請求日】2018年9月7日

(31)【優先権主張番号】特願2016-185291(P2016-185291)

(32)【優先日】2016年9月23日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110002505

【氏名又は名称】特許業務法人航栄特許事務所

(72)【発明者】

【氏名】小林 誠

【審査官】 松永 隆志

(56)【参考文献】

【文献】 特開2014-27520（ＪＰ，Ａ）

【文献】 特開2012-129817（ＪＰ，Ａ）

【文献】 特開2012-248952（ＪＰ，Ａ）

【文献】 特開2012-4819（ＪＰ，Ａ）

【文献】 特開2013-98792（ＪＰ，Ａ）

【文献】 特開2012-10074（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２５−５／３７８

Ｈ０４Ｎ ９／００−９／１１

(57)【特許請求の範囲】

【請求項1】

光電変換素子と、前記光電変換素子で発生した電荷を保持し、前記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、一方向に配列された複数の前記画素からなる複数の画素行を備えるＭＯＳ型の撮像素子と、
前記複数の画素の各々の前記光電変換素子を同時にリセットして前記複数の画素の露光を開始し、前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了し、前記電荷保持部に保持された前記電荷に応じた信号を前記画素行毎に順次読み出すグローバルシャッタ方式による駆動制御と、前記画素行の前記光電変換素子をリセットして当該画素行の前記光電変換素子の露光を開始し、当該画素行の前記光電変換素子に蓄積された電荷を前記電荷保持部に転送して当該露光を終了し、当該電荷保持部に保持された前記電荷に応じた信号を読み出す駆動を、前記画素行を変えながら順次行うローリングシャッタ方式による駆動制御と、を選択的に行う駆動制御部と、を備え、
前記駆動制御部は、前記ローリングシャッタ方式による駆動制御を連続して行う間に前記グローバルシャッタ方式による駆動制御を行う撮像モードにおいて、前記ローリングシャッタ方式による駆動制御における１つの前記画素行からの信号の読み出しに要する第一の時間を、前記グローバルシャッタ方式による駆動制御における１つの前記画素行からの信号の読み出しに要する第二の時間よりも長くする撮像装置。

【請求項2】

請求項１記載の撮像装置であって、
前記撮像モード時に、前記ローリングシャッタ方式による駆動制御によって前記撮像素子から順次出力される信号に基づいて生成されるライブビュー画像を表示部に表示させる表示制御部を更に備え、
前記ライブビュー画像の１ラインの前記表示部への描画に要する描画時間と前記第一の時間の一方が、前記描画時間と前記第一の時間の他方に基づいて決定される撮像装置。

【請求項3】

請求項２記載の撮像装置であって、
前記表示制御部は、前記第一の時間に基づいて前記描画時間を設定する撮像装置。

【請求項4】

請求項２又は３記載の撮像装置であって、
前記表示制御部は、前記描画時間を前記第一の時間と略同じに設定する撮像装置。

【請求項5】

請求項２記載の撮像装置であって、
前記撮像モードは、前記ローリングシャッタ方式による駆動制御が行われている間に行われる撮像指示に応じて前記グローバルシャッタ方式による駆動制御を複数回連続して行い、前記複数回の駆動制御によって前記撮像素子から読み出された信号に基づいて生成される複数の撮像画像データを記憶媒体に記憶するモードであり、
前記表示制御部は、前記撮像指示に応じて行われる前記駆動制御の回数が閾値を超える場合には、前記回数が前記閾値以下の場合と比べて前記描画時間を長くし、
前記駆動制御部は、前記描画時間に基づいて前記第一の時間を設定する撮像装置。

【請求項6】

請求項２又は５記載の撮像装置であって、
前記駆動制御部は、前記第一の時間を前記描画時間と略同じに設定する撮像装置。

【請求項7】

光電変換素子と、前記光電変換素子で発生した電荷を保持し、前記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、一方向に配列された複数の前記画素からなる複数の画素行を備えるＭＯＳ型の撮像素子を備える撮像装置の作動方法であって、
前記複数の画素の各々の前記光電変換素子を同時にリセットして前記複数の画素の露光を開始し、前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了し、前記電荷保持部に保持された前記電荷に応じた信号を前記画素行毎に順次読み出すグローバルシャッタ方式による駆動制御と、前記画素行の前記光電変換素子をリセットして当該画素行の前記光電変換素子の露光を開始し、当該画素行の前記光電変換素子に蓄積された電荷を前記電荷保持部に転送して当該露光を終了し、当該電荷保持部に保持された前記電荷に応じた信号を読み出す駆動を、前記画素行を変えながら順次行うローリングシャッタ方式による駆動制御と、を選択的に行う駆動制御ステップを備え、
前記ローリングシャッタ方式による駆動制御を連続して行う間に前記グローバルシャッタ方式による駆動制御を行う撮像モードにおいて、前記駆動制御ステップでは、前記ローリングシャッタ方式による駆動制御における１つの前記画素行からの信号の読み出しに要する第一の時間を、前記グローバルシャッタ方式による駆動制御における１つの前記画素行からの信号の読み出しに要する第二の時間よりも長くする撮像装置の作動方法。

【請求項8】

請求項７記載の撮像装置の作動方法であって、
前記撮像モード時に、前記ローリングシャッタ方式による駆動制御によって前記撮像素子から順次出力される信号に基づいて生成されるライブビュー画像を表示部に表示させる表示制御ステップを更に備え、
前記ライブビュー画像の１ラインの前記表示部への描画に要する描画時間と前記第一の時間の一方が、前記描画時間と前記第一の時間の他方に基づいて決定される撮像装置の作動方法。

【請求項9】

請求項８記載の撮像装置の作動方法であって、
前記表示制御ステップでは、前記第一の時間に基づいて前記描画時間を設定する撮像装置の作動方法。

【請求項10】

請求項８又は９記載の撮像装置の作動方法であって、
前記表示制御ステップでは、前記描画時間を前記第一の時間と略同じに設定する撮像装置の作動方法。

【請求項11】

請求項８記載の撮像装置の作動方法であって、
前記撮像モードは、前記ローリングシャッタ方式による駆動制御が行われている間に行われる撮像指示に応じて前記グローバルシャッタ方式による駆動制御を複数回連続して行い、前記複数回の駆動制御によって前記撮像素子から読み出された信号に基づいて生成される複数の撮像画像データを記憶媒体に記憶するモードであり、
前記表示制御ステップでは、前記撮像指示に応じて行われる前記駆動制御の回数が閾値を超える場合には、前記回数が前記閾値以下の場合と比べて前記描画時間を長くし、
前記駆動制御ステップでは、前記描画時間に基づいて前記第一の時間を設定する撮像装置の作動方法。

【請求項12】

請求項８又は１１記載の撮像装置の作動方法であって、
前記駆動制御ステップでは、前記第一の時間を前記描画時間と略同じに設定する撮像装置の作動方法。

【請求項13】

光電変換素子と、前記光電変換素子で発生した電荷を保持し、前記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、一方向に配列された複数の前記画素からなる複数の画素行を備えるＭＯＳ型の撮像素子を備える撮像装置の作動プログラムであって、
前記複数の画素の各々の前記光電変換素子を同時にリセットして前記複数の画素の露光を開始し、前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了し、前記電荷保持部に保持された前記電荷に応じた信号を前記画素行毎に順次読み出すグローバルシャッタ方式による駆動制御と、前記画素行の前記光電変換素子をリセットして当該画素行の前記光電変換素子の露光を開始し、当該画素行の前記光電変換素子に蓄積された電荷を前記電荷保持部に転送して当該露光を終了し、当該電荷保持部に保持された前記電荷に応じた信号を読み出す駆動を、前記画素行を変えながら順次行うローリングシャッタ方式による駆動制御と、を選択的に行う駆動制御ステップをコンピュータに実行させるためのプログラムであり、
前記ローリングシャッタ方式による駆動制御を連続して行う間に前記グローバルシャッタ方式による駆動制御を行う撮像モードにおいて、前記駆動制御ステップでは、前記ローリングシャッタ方式による駆動制御における１つの前記画素行からの信号の読み出しに要する第一の時間を、前記グローバルシャッタ方式による駆動制御における１つの前記画素行からの信号の読み出しに要する第二の時間よりも長くする撮像装置の作動プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、撮像装置の作動方法、撮像装置の作動プログラムに関する。

【背景技術】

【0002】

近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、又は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子の高解像度化に伴い、電子内視鏡、デジタルスチルカメラ、デジタルビデオカメラ、又は、カメラ付きの携帯電話機等の撮像機能を有する電子機器の需要が急増している。なお、以上のような撮像機能を有する電子機器を撮像装置と称する。

【0003】

ＭＯＳ型の撮像素子には、光電変換素子と、この光電変換素子で発生し蓄積された電荷を保持する電荷保持部と、この電荷保持部に保持された電荷に応じた電圧信号を信号線に読み出す読み出し回路とを含む画素が二次元状に配置されたものがある。このような撮像素子は、グローバルシャッタ方式の駆動とローリングシャッタ方式の駆動とを行うことが可能である。

【0004】

グローバルシャッタ方式は、全ての画素の光電変換素子を同時にリセットして全ての画素で同時に露光を開始し、その後、各画素の光電変換素子に蓄積された電荷を電荷保持部に同時に転送することで全ての画素で同時に露光を終了し、その後、画素行毎に順次、電荷保持部に蓄積された電荷を電圧信号に変換して信号線に読み出していく方式である。

【0005】

ローリングシャッタ方式は、画素行の光電変換素子をリセットしてこの画素行の露光を開始し、その後、この画素行の光電変換素子に蓄積された電荷を電荷保持部に転送してこの露光を終了し、この電荷保持部に保持された電荷に応じた電圧信号を信号線に読み出す駆動を、画素行を変えながら順次行う方式である。

【0006】

また、ＭＯＳ型の撮像素子として上記の電荷保持部を省略したものでは、ローリングシャッタ方式による駆動と、グローバルリセット方式による駆動とが可能である。

【0007】

グローバルリセット方式は、全ての画素の光電変換素子を同時にリセットして全ての画素で同時に露光を開始し、その後、受光面前方に配置されるメカシャッタを閉じることで全ての画素で同時に露光を終了し、その後、画素行毎に順次、光電変換素子に蓄積された電荷を電圧信号に変換して信号線に読み出していく方式である。

【0008】

特許文献１及び特許文献２には、記録用の撮像時には、撮像素子をグローバルリセット方式で駆動し、ライブビュー表示用の撮像時には、撮像素子をローリングシャッタ方式で駆動する撮像装置が記載されている。

【0009】

特許文献３及び特許文献４には、記録用の撮像時には、撮像素子をグローバルシャッタ方式で駆動し、ライブビュー表示用の撮像時には、撮像素子をローリングシャッタ方式で駆動する撮像装置が記載されている。

【0010】

特許文献５には、記録用の撮像時には、撮像素子をグローバルシャッタ方式とローリングシャッタ方式のいずれかで駆動し、ライブビュー表示用の撮像時には、撮像素子をローリングシャッタ方式で駆動する撮像装置が記載されている。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】日本国特開２００６−１９１２３６号公報

【特許文献2】日本国特開２０１３−０９８７９２号公報

【特許文献3】日本国特開２０１２−１２９８１７号公報

【特許文献4】日本国特開２０１２−００４８１９号公報

【特許文献5】日本国特開２００９−１５９４５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0012】

特許文献１−５に記載されているように、記録用の撮像時には、撮像素子をグローバルシャッタ方式又はグローバルリセット方式で駆動し、ライブビュー表示用の撮像時には、撮像素子をローリングシャッタ方式で駆動する構成によれば、ライブビュー表示用の撮像時においては、露光が順次終了する画素行からの電圧信号に基づいてライブビュー画像の描画を開始することができる。このため、被写体を撮像してからその被写体のライブビュー画像が表示されるまでの時間を短縮することができる。

【0013】

電荷保持部を含む画素を備えた撮像素子の場合、ローリングシャッタ方式では、画素行毎に、光電変換素子から電荷保持部への電荷転送のステップと、電荷保持部から読み出し回路への電荷転送のステップとを行う必要がある。

【0014】

一方、グローバルシャッタ方式では、全ての画素で同時に光電変換素子から電荷保持部に電荷を転送した後、画素行毎に、電荷保持部から読み出し回路への電荷転送のステップを行う。

【0015】

このため、グローバルシャッタ方式で撮像素子を駆動して撮像を行う場合と、ローリングシャッタ方式で撮像素子を駆動して撮像を行う場合とで、フレームレートを同じにしようとすると、ローリングシャッタ方式の駆動時においては、電荷保持部から読み出し回路への電荷の転送時間が短くなる。したがって、電荷保持部から読み出し回路への電荷の転送残りが発生し、ライブビュー画像の品質が低下する。

【0016】

特許文献１及び特許文献２は、電荷保持部を含まない撮像素子を前提としており、ライブビュー画像の品質低下についての課題を考慮していない。

【0017】

特許文献３−５は、グローバルシャッタ方式による駆動とローリングシャッタ方式による駆動とを併用して撮像を行う場合のライブビュー画像の品質の低下については考慮していない。

【0018】

本発明は、上記事情に鑑みてなされたものであり、グローバルシャッタ方式による駆動とローリングシャッタ方式による駆動とを併用して撮像を行う場合に、撮像される撮像画像の品質低下を防ぐことのできる撮像装置とその作動方法及び作動プログラムを提供することを目的とする。

【課題を解決するための手段】

【0019】

本発明の撮像装置は、光電変換素子と、上記光電変換素子で発生した電荷を保持し、上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備えるＭＯＳ型の撮像素子と、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始し、上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了し、上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出すグローバルシャッタ方式による駆動制御と、上記画素行の上記光電変換素子をリセットしてその画素行の上記光電変換素子の露光を開始し、その画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送してその露光を終了し、その電荷保持部に保持された上記電荷に応じた信号を読み出す駆動を、上記画素行を変えながら順次行うローリングシャッタ方式による駆動制御と、を選択的に行う駆動制御部と、を備え、上記駆動制御部は、上記ローリングシャッタ方式による駆動制御を連続して行う間に上記グローバルシャッタ方式による駆動制御を行う撮像モードにおいて、上記ローリングシャッタ方式による駆動制御における１つの上記画素行からの信号の読み出しに要する第一の時間を、上記グローバルシャッタ方式による駆動制御における１つの上記画素行からの信号の読み出しに要する第二の時間よりも長くするものである。

【0020】

本発明の撮像装置の作動方法は、光電変換素子と、上記光電変換素子で発生した電荷を保持し、上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備えるＭＯＳ型の撮像素子を備える撮像装置の作動方法であって、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始し、上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了し、上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出すグローバルシャッタ方式による駆動制御と、上記画素行の上記光電変換素子をリセットしてその画素行の上記光電変換素子の露光を開始し、その画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送してその露光を終了し、その電荷保持部に保持された上記電荷に応じた信号を読み出す駆動を、上記画素行を変えながら順次行うローリングシャッタ方式による駆動制御と、を選択的に行う駆動制御ステップを備え、上記ローリングシャッタ方式による駆動制御を連続して行う間に上記グローバルシャッタ方式による駆動制御を行う撮像モードにおいて、上記駆動制御ステップでは、上記ローリングシャッタ方式による駆動制御における１つの上記画素行からの信号の読み出しに要する第一の時間を、上記グローバルシャッタ方式による駆動制御における１つの上記画素行からの信号の読み出しに要する第二の時間よりも長くするものである。

【0021】

本発明の撮像装置の作動プログラムは、光電変換素子と、上記光電変換素子で発生した電荷を保持し、上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備えるＭＯＳ型の撮像素子を備える撮像装置の作動プログラムであって、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始し、上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了し、上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出すグローバルシャッタ方式による駆動制御と、上記画素行の上記光電変換素子をリセットしてその画素行の上記光電変換素子の露光を開始し、その画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送してその露光を終了し、その電荷保持部に保持された上記電荷に応じた信号を読み出す駆動を、上記画素行を変えながら順次行うローリングシャッタ方式による駆動制御と、を選択的に行う駆動制御ステップをコンピュータに実行させるためのプログラムであり、上記ローリングシャッタ方式による駆動制御を連続して行う間に上記グローバルシャッタ方式による駆動制御を行う撮像モードにおいて、上記駆動制御ステップでは、上記ローリングシャッタ方式による駆動制御における１つの上記画素行からの信号の読み出しに要する第一の時間を、上記グローバルシャッタ方式による駆動制御における１つの上記画素行からの信号の読み出しに要する第二の時間よりも長くするものである。

【発明の効果】

【0022】

本発明によれば、グローバルシャッタ方式による駆動とローリングシャッタ方式による駆動とを併用して撮像を行う場合に、撮像される撮像画像の品質低下を防ぐことのできる撮像装置とその作動方法及び作動プログラムを提供することができる。

【図面の簡単な説明】

【0023】

【図1】本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。

【図2】図１に示す撮像素子５の概略構成を示す平面模式図である。

【図3】図２に示す撮像素子５の画素６１の概略構成を示す平面模式図である。

【図4】図３に示す撮像素子５の画素６１のＡ−Ａ線の断面模式図である。

【図5】図１に示すシステム制御部１１の機能ブロックを示す図である。

【図6】図１に示すデジタルカメラの静止画撮像モード時の動作を示すタイミングチャートである。

【図7】本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。

【図8】図７に示すスマートフォン２００の構成を示すブロック図である。

【発明を実施するための形態】

【0024】

以下、本発明の実施形態について図面を参照して説明する。

【0025】

図１は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。

【0026】

図１に示すデジタルカメラは、撮像レンズ１と、絞り２と、レンズ制御部４と、レンズ駆動部８と、絞り駆動部９と、を有するレンズ装置４０を備える。

【0027】

本実施形態において、レンズ装置４０はデジタルカメラ本体に着脱可能なものとして説明するが、デジタルカメラ本体に固定されるものであってもよい。撮像レンズ１と絞り２は撮像光学系を構成する。

【0028】

レンズ装置４０のレンズ制御部４は、デジタルカメラ本体のシステム制御部１１と有線又は無線によって通信可能に構成される。

【0029】

レンズ制御部４は、システム制御部１１からの指令にしたがい、レンズ駆動部８を介して撮像レンズ１に含まれるフォーカスレンズを駆動したり、絞り駆動部９を介して絞り２を駆動したりする。

【0030】

デジタルカメラ本体は、撮像光学系を通して被写体を撮像するＣＭＯＳイメージセンサ等のＭＯＳ型の撮像素子５と、撮像素子５を駆動する撮像素子駆動部１０と、デジタルカメラの電気制御系全体を統括制御するシステム制御部１１と、操作部１４と、デジタル信号処理部１７と、着脱自在の記憶媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ又はＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示部２３を駆動する表示ドライバ２２と、を備える。

【0031】

システム制御部１１は、各種のプロセッサとＲＡＭ（Ｒａｍｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と含んで構成され、デジタルカメラ全体を統括制御する。

【0032】

各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0033】

これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0034】

システム制御部１１のプロセッサは、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。

【0035】

システム制御部１１のプロセッサは、システム制御部１１に内蔵のＲＯＭに格納された作動プログラムを実行することで、後述する各機能を実現する。

【0036】

デジタル信号処理部１７は、上述した各種のプロセッサとＲＡＭとＲＯＭを含み、このＲＯＭに格納されたプログラムをこのプロセッサが実行することで各種処理を行う。

【0037】

デジタル信号処理部１７は、撮像素子５から出力される撮像信号に対し、補間演算、ガンマ補正演算、及び、ＲＧＢ／ＹＣ変換処理等の処理を行うことで、表示部２３への表示用のライブビュー画像データと、記憶媒体２１への記憶用の撮像画像データとを生成する。

【0038】

デジタル信号処理部１７、外部メモリ制御部２０、及び、表示ドライバ２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令に基づいて動作する。

【0039】

図２は、図１に示す撮像素子５の概略構成を示す平面模式図である。図３は、図２に示す撮像素子５の画素６１の概略構成を示す平面模式図である。図４は、図３に示す撮像素子５の画素６１のＡ−Ａ線の断面模式図である。

【0040】

撮像素子５は、一方向である行方向Ｘに配列された複数の画素６１からなる画素行６２が、行方向Ｘと直交する列方向Ｙに複数配列された受光面６０と、受光面６０に配列された画素６１を駆動する駆動回路６３と、受光面６０に配列された画素行６２の各画素６１から信号線に読み出される撮像信号を処理する信号処理回路６４と、を備える。

【0041】

以下では、図２において受光面６０の列方向Ｙの上方向の端部を上端といい、受光面６０の列方向Ｙの下方向の端部を下端という。

【0042】

図３に示すように、画素６１は、半導体基板に形成された光電変換素子６１Ａ、電荷保持部６１Ｂ、電荷転送部６１Ｃ、フローティングディフュージョン６１Ｄ、及び、読み出し回路６１Ｅを備える。

【0043】

光電変換素子６１Ａは、レンズ装置４０の撮像光学系を通った光を受光し受光量に応じた電荷を発生して蓄積する。光電変換素子６１Ａは、フォトダイオード等で構成される。

【0044】

電荷転送部６１Ｃは、光電変換素子６１Ａに蓄積された電荷を電荷保持部６１Ｂに転送する。電荷転送部６１Ｃは、半導体基板内の不純物領域と、この不純物領域の上方に形成された電極とで構成される。

【0045】

電荷転送部６１Ｃを構成する電極に印加される電圧が駆動回路６３によって制御されることで、光電変換素子６１Ａから電荷保持部６１Ｂへの電荷の転送が行われる。

【0046】

電荷保持部６１Ｂは、光電変換素子６１Ａから電荷転送部６１Ｃによって転送された電荷を保持する。電荷保持部６１Ｂは、半導体基板内の不純物領域により構成される。

【0047】

フローティングディフュージョン６１Ｄは、電荷を電圧に変換するためのものであり、電荷保持部６１Ｂに保持された電荷が転送されてくる。

【0048】

読み出し回路６１Ｅは、フローティングディフュージョン６１Ｄの電位に応じた信号を撮像信号として信号線６５に読み出す回路である。読み出し回路６１Ｅは、駆動回路６３によって駆動される。

【0049】

図４に示すように、Ｎ型基板７０表面にはＰウェル層７１が形成され、Ｐウェル層７１の表面部には光電変換素子６１Ａが形成されている。光電変換素子６１Ａは、Ｎ型不純物層７３とこの上に形成されたＰ型不純物層７４とによって構成されている。Ｎ型基板７０とＰウェル層７１によって半導体基板が構成される。

【0050】

Ｐウェル層７１の表面部には、光電変換素子６１Ａから少し離間して、Ｎ型不純物層からなる電荷保持部６１Ｂが形成されている。電荷保持部６１Ｂと光電変換素子６１Ａとの間のＰウェル層７１の領域７５の上方には、図示省略の酸化膜を介して、転送電極７６が形成されている。

【0051】

領域７５と転送電極７６とが電荷転送部６１Ｃを構成する。図４の例では、転送電極７６が電荷保持部６１Ｂの上方にまで形成されているが、転送電極７６は少なくとも領域７５上方に形成されていればよい。転送電極７６の電位を制御して領域７５にチャネルを形成することで、光電変換素子６１Ａに蓄積された電荷を電荷保持部６１Ｂに転送することができる。転送電極７６の電位は駆動回路６３によって制御される。

【0052】

Ｐウェル層７１の表面部には、電荷保持部６１Ｂから少し離間して、Ｎ型不純物層からなるフローティングディフュージョン６１Ｄが形成されている。電荷保持部６１Ｂとフローティングディフュージョン６１Ｄとの間のＰウェル層７１の上方には、図示省略の酸化膜を介して、読み出し電極７２が形成されている。

【0053】

読み出し電極７２の電位を制御して、電荷保持部６１Ｂとフローティングディフュージョン６１Ｄとの間の領域にチャネルを形成することで、電荷保持部６１Ｂに保持された電荷をフローティングディフュージョン６１Ｄに転送することができる。読み出し電極７２の電位は駆動回路６３によって制御される。

【0054】

図４に示す例では、読み出し回路６１Ｅは、フローティングディフュージョン６１Ｄの電位をリセットするためのリセットトランジスタ７７と、フローティングディフュージョン６１Ｄの電位を撮像信号に変換して出力する出力トランジスタ７８と、出力トランジスタ７８から出力される撮像信号を選択的に信号線６５に読み出すための選択トランジスタ７９とによって構成されている。読み出し回路の構成は一例であり、これに限るものではない。

【0055】

なお、読み出し回路６１Ｅは、複数の画素６１で共用される場合もある。

【0056】

図２に示す駆動回路６３は、各画素６１の転送電極７６、読み出し電極７２、及び、読み出し回路６１Ｅを画素行６２毎に独立に駆動して、画素行６２に含まれる各光電変換素子６１Ａのリセット（光電変換素子６１Ａに蓄積されている電荷の排出）、この各光電変換素子６１Ａに蓄積された電荷に応じた撮像信号の信号線６５への読み出し等を行う。

【0057】

また、駆動回路６３は、全ての画素６１の電荷転送部６１Ｃを同時に駆動して、各画素６１の光電変換素子６１Ａから電荷保持部６１Ｂに電荷を同時に転送する。

【0058】

また、駆動回路６３は、各画素６１の電荷転送部６１Ｃを画素行単位で駆動して、画素行６２の各画素６１の光電変換素子６１Ａから電荷保持部６１Ｂへの電荷の転送を、画素行６２毎に独立して行う。駆動回路６３は、撮像素子駆動部１０によって制御される。

【0059】

なお、光電変換素子６１Ａのリセットは、電荷転送部６１Ｃを電荷が転送可能な状態とし、かつ、読み出し電極７２下方の半導体基板にチャネルを形成した状態で、リセットトランジスタ７７によってフローティングディフュージョン６１Ｄをリセットすることで行われる。

【0060】

図２に示す信号処理回路６４は、画素行６２の各画素６１から信号線６５に読み出された撮像信号に対し、相関二重サンプリング処理を行い、相関二重サンプリング処理後の撮像信号をデジタル信号に変換してデータバス２５に出力する。信号処理回路６４は、撮像素子駆動部１０によって制御される。

【0061】

図５は、図１に示すシステム制御部１１の機能ブロックを示す図である。

【0062】

システム制御部１１では、作動プログラムを実行したプロセッサが、駆動制御部１１Ａと、表示制御部１１Ｂとして機能する。

【0063】

駆動制御部１１Ａは、静止画記録を行うための静止画撮像モードにおいて、グローバルシャッタ方式による駆動制御と、ローリングシャッタ方式による駆動制御と、を選択的に行う。

【0064】

グローバルシャッタ方式による駆動制御とは、撮像素子駆動部１０を介して駆動回路６３を制御することで、受光面６０にある全ての画素６１の各々の光電変換素子６１Ａを同時にリセットして全ての画素６１の露光を同時に開始し、その後、全ての画素６１の各々の光電変換素子６１Ａに蓄積された電荷を電荷保持部６１Ｂに同時に転送して全ての画素６１の露光を終了し、この露光の終了後、電荷保持部６１Ｂに保持された電荷に応じた撮像信号を、画素行６２毎に順次、信号線６５に読み出すことを言う。

【0065】

ローリングシャッタ方式による駆動制御とは、撮像素子駆動部１０を介して駆動回路６３を制御することで、画素行６２の光電変換素子６１Ａをリセットしてこの画素行６２の光電変換素子６１Ａの露光を開始し、その後、この画素行６２の光電変換素子６１Ａに蓄積された電荷を電荷保持部６１Ｂに転送してこの露光を終了し、この電荷保持部６１Ｂに保持された電荷に応じた撮像信号を信号線６５に読み出す駆動を、画素行６２を変えながら順次行うことを言う。

【0066】

駆動制御部１１Ａは、デジタルカメラの撮像モードの１つである上記の静止画撮像モードが設定されると、ローリングシャッタ方式による駆動制御を連続して行い、ローリングシャッタ方式による駆動制御を行っている間に、静止画記録を指示する撮像指示が行われると、この撮像指示に応じてグローバルシャッタ方式による駆動制御を行う。

【0067】

駆動制御部１１Ａは、静止画撮像モードにおいて、ローリングシャッタ方式による駆動制御における１つの画素行６２からの撮像信号の信号線６５への読み出しに要する第一の時間を、グローバルシャッタ方式による駆動制御における１つの画素行６２からの撮像信号の信号線６５への読み出しに要する第二の時間よりも長くする。

【0068】

１つの画素行６２からの撮像信号の信号線６５への読み出しに要する時間とは、この画素行６２の各画素６１に含まれる電荷保持部６１Ｂからフローティングディフュージョン６１Ｄへの電荷転送にかかる時間を言う。

【0069】

つまり、１つの画素行６２の各画素６１に含まれる読み出し電極７２によって電荷転送のためのチャネルを形成している時間が上記の第一の時間又は第二の時間となる。

【0070】

ここで、第一の時間は、電荷保持部６１Ｂからフローティングディフュージョン６１Ｄに電荷を転送完了した状態で、電荷保持部６１Ｂの残留電荷の量が撮像品質に影響を及ぼさなくなる程度となる時間（理想的には、電荷保持部６１Ｂの電荷が完全に転送されて残留電荷がゼロとなる時間）の下限値に設定されている。

【0071】

デジタル信号処理部１７は、静止画撮像モードにおいて、グローバルシャッタ方式による駆動制御によって撮像素子５から出力される撮像信号を処理して、記録用の撮像画像データと、ライブビュー画像表示用のライブビュー画像データとを生成する。

【0072】

同様に、デジタル信号処理部１７は、静止画撮像モードにおいて、ローリングシャッタ方式による駆動制御によって撮像素子５から出力される撮像信号を処理して、ライブビュー画像データを生成する。

【0073】

ライブビュー画像データは、多数の画素データによって構成される。ライブビュー画像データは、行方向Ｘと同じ方向に並ぶ複数の画素データからなる画素データ行が、この方向と直交する方向に複数並ぶ構成である。

【0074】

デジタル信号処理部１７は、異なる画素行６２から出力される撮像信号群を記憶する複数のラインメモリを有しており、このラインメモリに記憶した撮像信号群に基づいて画素データ行を順次生成し、生成した画素データ行をシステム制御部１１に順次送信する。

【0075】

表示制御部１１Ｂは、デジタル信号処理部１７によって生成されたライブビュー画像データの画素データ行を表示ドライバ２２に順次入力し、このライブビュー画像データに基づくライブビュー画像を表示ドライバ２２によって表示部２３に表示させる。

【0076】

表示部２３は、行方向Ｘと同じ方向に並ぶ複数の表示画素からなる表示画素行が、この方向と直交する方向に複数配列された表示面を有する。

【0077】

表示ドライバ２２は、表示制御部１１Ｂから入力される画素データ行に基づくライブビュー画像の１ラインを、表示部２３の１つの表示画素行に描画する。

【0078】

表示ドライバ２２は、画素データ行が入力される毎に、この画素データ行に基づくライブビュー画像の１ラインの描画先を１つずつずらしていくことで、ライブビュー画像の全ラインの描画を行う。

【0079】

表示制御部１１Ｂは、静止画撮像モードにおいてグローバルシャッタ方式による駆動制御が行われた場合には、表示ドライバ２２によるライブビュー画像の１ラインの表示部２３への描画に要する時間である描画時間を、上記の第二の時間に設定する。

【0080】

表示制御部１１Ｂは、静止画撮像モードにおいてローリングシャッタ方式による駆動制御が行われた場合には、描画時間を上記の第一の時間に基づいて設定する。具体的には、表示制御部１１Ｂは、この描画時間を、第一の時間と略同じに設定する。

【0081】

本明細書において、２つの時間が略同じであるとは、この２つの時間の各々に対するこの２つの時間の差の割合が１０％以下であることを意味する。

【0082】

以上のように構成されたデジタルカメラの静止画撮像モード時の動作を説明する。

【0083】

図６は、図１に示すデジタルカメラの静止画撮像モード時の動作を示すタイミングチャートである。

【0084】

図６において横軸は時間を示している。図６の上段には、垂直同期信号ＶＤが示されている。

【0085】

図６の中段には、撮像素子５の受光面６０にある各画素行６２の駆動タイミングが示されている。図６の中段において、縦軸は画素行６２の列方向Ｙの位置を示している。

【0086】

図６の中段に示す直線ＲＲと直線ＧＲは、画素行６２に含まれる各光電変換素子６１Ａのリセットが行われるタイミングを示している。

【0087】

図６の中段に示す直線ＲＯは、画素行６２に含まれる各光電変換素子６１Ａから電荷保持部６１Ｂを経由してフローティングディフュージョン６１Ｄに電荷が転送されるタイミングを示している。

【0088】

図６の中段に示す直線ＧＳは、画素行６２に含まれる各光電変換素子６１Ａから電荷保持部６１Ｂに電荷が転送されるタイミングを示している。

【0089】

図６の中段に示す直線ＧＯは、画素行６２に含まれる各電荷保持部６１Ｂからフローティングディフュージョン６１Ｄに電荷の転送が行われるタイミングを示している。

【0090】

図６の下段には、表示部２３の描画状態が示されている。図６の下段において、縦軸は表示部２３の表示画素行の位置を示している。

【0091】

図６の下段に示す直線ＤＲは、表示面の表示画素行に描画が行われるタイミングを示している。

【0092】

静止画撮像モードに設定されると、駆動制御部１１Ａによってローリングシャッタ方式による駆動制御が開始される。

【0093】

ローリングシャッタ方式による駆動制御が開始されると、直線ＲＲで示されるように、受光面６０の上端側から下端側に向かって画素行６２が順番に選択され、選択された画素行６２について光電変換素子６１Ａのリセットが行われる。これにより、画素行６２毎に異なるタイミングで露光が開始する。

【0094】

所定の露光時間が経過すると、直線ＲＯで示されるように、受光面６０の上端側から下端側に向かって画素行６２が例えば４つに１つの割合で順番に選択され、選択された画素行６２において、光電変換素子６１Ａから電荷保持部６１Ｂへの電荷の転送及び電荷保持部６１Ｂからフローティングディフュージョン６１Ｄへの電荷の転送が行われる。これにより、選択された画素行６２から読み出された撮像信号がデータバス２５に出力される。

【0095】

データバス２５に出力された撮像信号に基づいてデジタル信号処理部１７により画素データ行が生成されると、直線ＤＲで示されるように、ライブビュー画像が表示面の上端側から順番に１ラインずつ描画されていく。

【0096】

撮像指示がなされるまでは、垂直同期信号ＶＤに同期して、以上の処理が繰り返し行われる。

【0097】

そして、例えば、２つ目の垂直同期信号ＶＤの立下り後に撮像指示がなされると、３つ目の垂直同期信号ＶＤの立下り後に、グローバルシャッタ方式による駆動制御が開始される。

【0098】

この駆動制御では、直線ＧＲで示されるように、全ての画素行６２において同時に、光電変換素子６１Ａのリセットが行われる。これにより、全ての画素行６２で同じタイミングで露光が開始する。

【0099】

その後、所定の露光時間が経過すると、直線ＧＳで示されるように、全ての画素行６２において同時に、光電変換素子６１Ａから電荷保持部６１Ｂへの電荷の転送が行われる。これにより、全ての画素行６２で同じタイミングで露光が終了する。

【0100】

その後、直線ＧＯで示されるように、受光面６０の上端側から下端側に向かって画素行６２が順番に選択され、選択された画素行６２において、電荷保持部６１Ｂからフローティングディフュージョン６１Ｄへの電荷の転送が行われる。これにより、選択された画素行６２から読み出された撮像信号がデータバス２５に出力される。

【0101】

データバス２５に出力された撮像信号に基づいてデジタル信号処理部１７によりライブビュー画像が生成されると、直線ＤＲで示されるように、ライブビュー画像が表示面の上端側から順番に１ラインずつ描画されていく。また、この撮像信号に基づいて生成された撮像画像データは記憶媒体２１に記憶される。

【0102】

その後は、再び、ローリングシャッタ方式による駆動制御が再開される。

【0103】

以上のように図１のデジタルカメラによれば、ローリングシャッタ方式による駆動制御のときには、グローバルシャッタ方式による駆動制御のときと比べて、１つの画素行６２からの撮像信号の信号線６５への読み出しに要する時間が長くなる。

【0104】

このため、電荷保持部６１Ｂからフローティングディフュージョン６１Ｄへの電荷の転送残りを防ぐことができる。この結果、ローリングシャッタ方式による駆動制御によって表示されるライブビュー画像の品質を向上させることができる。

【0105】

また、ローリングシャッタ方式による駆動制御が行われている場合には、表示制御部１１Ｂが、ライブビュー画像の１ラインの表示部２３への描画時間を上記の第一の時間と略同じに設定する。

【0106】

この構成によれば、撮像素子５から出力される撮像信号の信号処理と、表示部２３による画素データ行の描画処理とを同期させることができるため、ライブビュー画像の更新を高速に行うことができる。

【0107】

なお、上記の描画時間は、撮像モードによっては、上記の第一の時間として設定している値（電荷保持部６１Ｂからフローティングディフュージョン６１Ｄに電荷を転送完了した状態で、電荷保持部６１Ｂの残留電荷の量が撮像品質に影響を及ぼさなくなる程度となる時間の下限値）よりも大きい値にすることがある。

【0108】

例えば、静止画記録を複数回連続して行う連写モードにおいて、静止画の記録枚数を多くすることを優先する場合には、描画時間を長くして、ライブビュー画像の更新頻度を下げることが行われる。

【0109】

図１のデジタルカメラは静止画撮像モードの１つとして連写モードを搭載しており、連写モード時には、駆動制御部１１Ａが、ローリングシャッタ方式による駆動制御を行っている間に撮像指示が行われると、この撮像指示に応じて、グローバルシャッタ方式による駆動制御をＮ回（Ｎは２以上の整数）連続して行う。

【0110】

そして、このＮ回の駆動制御によって撮像素子５から出力された撮像信号に基づいて生成されるＮ個の撮像画像データが、システム制御部１１の制御によって記憶媒体２１に記憶される。

【0111】

また、この連写モードは、上記Ｎの値をユーザによって設定可能である。そして、表示制御部１１Ｂは、上記Ｎの値が閾値ＴＨ以下の場合には、描画時間を上記の下限値に設定し、上記Ｎの値が閾値ＴＨを超える場合には、描画時間を上記の下限値よりも大きな値に設定する。

【0112】

このように、連写モードにおいてＮの値が閾値ＴＨを超える場合には、駆動制御部１１Ａは、上記の第一の時間を、表示制御部１１Ｂによって設定された描画時間（上記の下限値よりも大きな値）に基づいて設定する。具体的には、駆動制御部１１Ａは、上記の第一の時間を描画時間（上記の下限値よりも大きな値）と略同じに設定する。

【0113】

以上のように、描画時間が長くなるモードにおいては、第一の時間を上記の下限値よりも大きくすることで、ローリングシャッタ方式による駆動制御時において、撮像素子５の駆動に要する電圧を下げることが可能となる。このため、消費電力の低減を図ることができる。また、連写枚数を増やしながら、ライブビュー画像の品質低下を防ぐことができる。

【0114】

ここまでは撮像装置としてデジタルカメラを例にしたが、以下では、撮像装置としてカメラ付のスマートフォンの実施形態について説明する。

【0115】

図７は、本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。

【0116】

図７に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。

【0117】

また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。

【0118】

なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。

【0119】

図８は、図７に示すスマートフォン２００の構成を示すブロック図である。

【0120】

図８に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。

【0121】

また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

【0122】

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、又は、Ｗｅｂデータ又はストリーミングデータ等の受信を行う。

【0123】

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像および動画像）又は文字情報等を表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

【0124】

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等を表示デバイスとして用いたものである。

【0125】

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

【0126】

図７に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

【0127】

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

【0128】

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０１の大きさ等に応じて適宜設計されるものである。

【0129】

更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、又は、静電容量方式等が挙げられ、いずれの方式を採用することもできる。

【0130】

通話部２１１は、スピーカ２０５又はマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。

【0131】

また、図７に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

【0132】

操作部２０７は、キースイッチ等を用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図７に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。

【0133】

記憶部２１２は、主制御部２２０の制御プログラム又は制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ又は、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータ等を一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。

【0134】

なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の格納媒体を用いて実現される。

【0135】

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４等）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）等）により直接的又は間接的に接続するためのものである。

【0136】

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）又はＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ
Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホン等がある。

【0137】

外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達したり、スマートフォン２００の内部のデータを外部機器に伝送したりする。

【0138】

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。

【0139】

ＧＰＳ受信部２１４は、無線通信部２１０又は外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

【0140】

モーションセンサ部２１５は、例えば、３軸の加速度センサ等を備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向又は加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

【0141】

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

【0142】

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラム又は制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。

【0143】

また、主制御部２２０は、無線通信部２１０を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

【0144】

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。

【0145】

アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又は、ウェブページを閲覧するウェブブラウジング機能等がある。

【0146】

また、主制御部２２０は、受信データ又はダウンロードしたストリーミングデータ等の画像データ（静止画像又は動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。

【0147】

画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

【0148】

更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。

【0149】

なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

【0150】

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作又は、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

【0151】

更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

【0152】

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

【0153】

カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２０、記憶媒体２１、及び操作部１４以外の構成を含む。カメラ部２０８の表示ドライバ２２は、表示部２３の代わりに表示パネル２０２を駆動する。

【0154】

カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることができる。

【0155】

図７に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

【0156】

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することができる。操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。

【0157】

また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断したり現在の使用環境を判断したりすることもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

【0158】

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等を付加して記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることもできる。

【0159】

以上のように、本明細書には以下の事項が開示されている。

【0160】

（１） 光電変換素子と、上記光電変換素子で発生した電荷を保持し、上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備えるＭＯＳ型の撮像素子と、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始し、上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了し、上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出すグローバルシャッタ方式による駆動制御と、上記画素行の上記光電変換素子をリセットしてその画素行の上記光電変換素子の露光を開始し、その画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送してその露光を終了し、その電荷保持部に保持された上記電荷に応じた信号を読み出す駆動を、上記画素行を変えながら順次行うローリングシャッタ方式による駆動制御と、を選択的に行う駆動制御部と、を備え、上記駆動制御部は、上記ローリングシャッタ方式による駆動制御を連続して行う間に上記グローバルシャッタ方式による駆動制御を行う撮像モードにおいて、上記ローリングシャッタ方式による駆動制御における１つの上記画素行からの信号の読み出しに要する第一の時間を、上記グローバルシャッタ方式による駆動制御における１つの上記画素行からの信号の読み出しに要する第二の時間よりも長くする撮像装置。

【0161】

（２） （１）記載の撮像装置であって、上記撮像モード時に、上記ローリングシャッタ方式による駆動制御によって上記撮像素子から順次出力される信号に基づいて生成されるライブビュー画像を表示部に表示させる表示制御部を更に備え、上記ライブビュー画像の１ラインの上記表示部への描画に要する描画時間と上記第一の時間の一方が、上記描画時間と上記第一の時間の他方に基づいて決定される撮像装置。

【0162】

（３） （２）記載の撮像装置であって、上記表示制御部は、上記第一の時間に基づいて上記描画時間を設定する撮像装置。

【0163】

（４） （２）又は（３）記載の撮像装置であって、上記表示制御部は、上記描画時間を上記第一の時間と略同じに設定する撮像装置。

【0164】

（５） （２）記載の撮像装置であって、上記撮像モードは、上記ローリングシャッタ方式による駆動制御が行われている間に行われる撮像指示に応じて上記グローバルシャッタ方式による駆動制御を複数回連続して行い、上記複数回の駆動制御によって上記撮像素子から読み出された信号に基づいて生成される複数の撮像画像データを記憶媒体に記憶するモードであり、上記表示制御部は、上記撮像指示に応じて行われる上記駆動制御の回数が閾値を超える場合には、上記回数が上記閾値以下の場合と比べて上記描画時間を長くし、上記駆動制御部は、上記描画時間に基づいて上記第一の時間を設定する撮像装置。

【0165】

（６） （２）又は（５）記載の撮像装置であって、上記駆動制御部は、上記第一の時間を上記描画時間と略同じに設定する撮像装置。

【0166】

（７） 光電変換素子と、上記光電変換素子で発生した電荷を保持し、上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備えるＭＯＳ型の撮像素子を備える撮像装置の作動方法であって、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始し、上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了し、上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出すグローバルシャッタ方式による駆動制御と、上記画素行の上記光電変換素子をリセットしてその画素行の上記光電変換素子の露光を開始し、その画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送してその露光を終了し、その電荷保持部に保持された上記電荷に応じた信号を読み出す駆動を、上記画素行を変えながら順次行うローリングシャッタ方式による駆動制御と、を選択的に行う駆動制御ステップを備え、上記ローリングシャッタ方式による駆動制御を連続して行う間に上記グローバルシャッタ方式による駆動制御を行う撮像モードにおいて、上記駆動制御ステップでは、上記ローリングシャッタ方式による駆動制御における１つの上記画素行からの信号の読み出しに要する第一の時間を、上記グローバルシャッタ方式による駆動制御における１つの上記画素行からの信号の読み出しに要する第二の時間よりも長くする撮像装置の作動方法。

【0167】

（８） （７）記載の撮像装置の作動方法であって、上記撮像モード時に、上記ローリングシャッタ方式による駆動制御によって上記撮像素子から順次出力される信号に基づいて生成されるライブビュー画像を表示部に表示させる表示制御ステップを更に備え、上記ライブビュー画像の１ラインの上記表示部への描画に要する描画時間と上記第一の時間の一方が、上記描画時間と上記第一の時間の他方に基づいて決定される撮像装置の作動方法。

【0168】

（９） （８）記載の撮像装置の作動方法であって、上記表示制御ステップでは、上記第一の時間に基づいて上記描画時間を設定する撮像装置の作動方法。

【0169】

（１０） （８）又は（９）記載の撮像装置の作動方法であって、上記表示制御ステップでは、上記描画時間を上記第一の時間と略同じに設定する撮像装置の作動方法。

【0170】

（１１） （８）記載の撮像装置の作動方法であって、上記撮像モードは、上記ローリングシャッタ方式による駆動制御が行われている間に行われる撮像指示に応じて上記グローバルシャッタ方式による駆動制御を複数回連続して行い、上記複数回の駆動制御によって上記撮像素子から読み出された信号に基づいて生成される複数の撮像画像データを記憶媒体に記憶するモードであり、上記表示制御ステップでは、上記撮像指示に応じて行われる上記駆動制御の回数が閾値を超える場合には、上記回数が上記閾値以下の場合と比べて上記描画時間を長くし、上記駆動制御ステップでは、上記描画時間に基づいて上記第一の時間を設定する撮像装置の作動方法。

【0171】

（１２） （８）又は（１１）記載の撮像装置の作動方法であって、上記駆動制御ステップでは、上記第一の時間を上記描画時間と略同じに設定する撮像装置の作動方法。

【0172】

（１３） 光電変換素子と、上記光電変換素子で発生した電荷を保持し、上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備えるＭＯＳ型の撮像素子を備える撮像装置の作動プログラムであって、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始し、上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了し、上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出すグローバルシャッタ方式による駆動制御と、上記画素行の上記光電変換素子をリセットしてその画素行の上記光電変換素子の露光を開始し、その画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送してその露光を終了し、その電荷保持部に保持された上記電荷に応じた信号を読み出す駆動を、上記画素行を変えながら順次行うローリングシャッタ方式による駆動制御と、を選択的に行う駆動制御ステップをコンピュータに実行させるためのプログラムであり、上記ローリングシャッタ方式による駆動制御を連続して行う間に上記グローバルシャッタ方式による駆動制御を行う撮像モードにおいて、上記駆動制御ステップでは、上記ローリングシャッタ方式による駆動制御における１つの上記画素行からの信号の読み出しに要する第一の時間を、上記グローバルシャッタ方式による駆動制御における１つの上記画素行からの信号の読み出しに要する第二の時間よりも長くする撮像装置の作動プログラム。

【産業上の利用可能性】

【0173】

本発明によれば、グローバルシャッタ方式による駆動とローリングシャッタ方式による駆動とを併用して撮像を行う場合に、撮像される撮像画像の品質低下を防ぐことができる。

【0174】

以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
本出願は、２０１６年９月２３日出願の日本特許出願（特願２０１６−１８５２９１）に基づくものであり、その内容はここに取り込まれる。

【符号の説明】

【0175】

１ 撮像レンズ
２ 絞り
４ レンズ制御部
５ 撮像素子
４０ レンズ装置
６０ 受光面
６１ 画素
６１Ａ 光電変換素子
６１Ｂ 電荷保持部
６１Ｃ 電荷転送部
６１Ｄ フローティングディフュージョン
６１Ｅ 読み出し回路
６２ 画素行
６３ 駆動回路
６４ 信号処理回路
６５ 信号線
７０ Ｎ型基板
７１ Ｐウェル層
７２ 読み出し電極
７３ Ｎ型不純物層
７４ Ｐ型不純物層
７５ 領域
７６ 転送電極
７７ リセットトランジスタ
７８ 出力トランジスタ
７９ 選択トランジスタ
Ｘ 行方向
Ｙ 列方向
８ レンズ駆動部
９ 絞り駆動部
１０ 撮像素子駆動部
１１ システム制御部
１１Ａ 駆動制御部
１１Ｂ 表示制御部
１４ 操作部
１７ デジタル信号処理部
２０ 外部メモリ制御部
２１ 記憶媒体
２２ 表示ドライバ
２３ 表示部
２４ 制御バス
２５ データバス
ＲＲ、ＧＲ リセットタイミングを示す直線
ＲＯ 露光終了及び信号読み出しタイミングを示す直線
ＧＳ 露光終了タイミングを示す直線
ＧＯ 信号読み出しタイミングを示す直線
ＤＲ 描画タイミングを示す直線
２００ スマートフォン
２０１ 筐体
２０２ 表示パネル
２０３ 操作パネル
２０４ 表示入力部
２０５ スピーカ
２０６ マイクロホン
２０７ 操作部
２０８ カメラ部
２１０ 無線通信部
２１１ 通話部
２１２ 記憶部
２１３ 外部入出力部
２１４ ＧＰＳ受信部
２１５ モーションセンサ部
２１６ 電源部
２１７ 内部記憶部
２１８ 外部記憶部
２２０ 主制御部
ＳＴ１〜ＳＴｎ ＧＰＳ衛星

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】