特許 5983616 撮像装置、撮像方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5983616

(24)【登録日】2016年8月12日

(45)【発行日】2016年9月6日

(54)【発明の名称】撮像装置、撮像方法及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20160823BHJP

   H04N 5/228 20060101ALI20160823BHJP

   H04N 5/347 20110101ALI20160823BHJP

   H04N 5/345 20110101ALI20160823BHJP

   G03B 5/00 20060101ALI20160823BHJP

   H04N 101/00 20060101ALN20160823BHJP

【ＦＩ】

   H04N5/232 Z

   H04N5/228 Z

   H04N5/232 A

   H04N5/335 470

   H04N5/335 450

   G03B5/00 D

   H04N101:00

【請求項の数】10

【全頁数】24

(21)【出願番号】特願2013-533670(P2013-533670)

(86)(22)【出願日】2012年9月11日

(86)【国際出願番号】JP2012073184

(87)【国際公開番号】WO2013039061

(87)【国際公開日】20130321

【審査請求日】2015年8月6日

(31)【優先権主張番号】特願2011-199992(P2011-199992)

(32)【優先日】2011年9月13日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】谷田部 祐介

(72)【発明者】

【氏名】小味 弘典

(72)【発明者】

【氏名】増田 浩三

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２００４−１７２８４５（ＪＰ，Ａ）

【文献】 特開２００７−２５１３４３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０３Ｂ ５／００ − ５／０８

Ｈ０４Ｎ ５／３０ − ５／３７８

Ｈ０４Ｎ １０１／００

(57)【特許請求の範囲】

【請求項1】

複数の画素が２次元に配列されている撮像素子を有し、該撮像素子の複数の画素の画像信号を１画素に対応する画像信号として読み出す画素加算読み出し法と、全画素又は一部の画素の画像信号を個別に読み出す切り出し読み出し法のうち、いずれか設定された読み出し方法に従って前記複数の画素の画像信号を読み出し、該画像信号を出力する撮像部と、
前記撮像部が出力した前記画像信号により定義される撮像画像を出力する信号処理部と、
ズーム倍率を指定するズーム信号に基づいてズーム倍率を設定するズーム設定部と、
被写体の明るさを示す被写体の明度を検出する明度検出部と、
前記被写体の明度に応じて閾値が変化する閾値特性に基づいて、前記明度検出部が検出した被写体の明度に対応する閾値を特定し、前記設定されたズーム倍率と前記特定された閾値とを比較した結果に基づいて、前記読み出し方法を設定する読み出し方法切替制御部と、
を備えることを特徴とする撮像装置。

【請求項2】

前記閾値特性は、前記被写体の明度の低下に応じて前記閾値が高くなる特性を有し、
前記読み出し方法切替制御部は、前記閾値特性に基づいて、前記明度検出部が検出した被写体の明度に対応する閾値を特定し、前記設定されたズーム倍率と前記特定された閾値とを比較し、前記設定されたズーム倍率が前記特定された閾値より小さい場合、前記読み出し方法を画素加算読み出し法に設定し、前記設定されたズーム倍率が前記特定された閾値より大きい場合、前記読み出し方法を前記切り出し読み出し法に設定する、
ことを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記閾値特性は、前記読み出し方法毎に前記被写体の明度に応じて閾値が変化する特性を有し、
前記読み出し方法切替制御部は、現在設定されている読み出し方法に対応する前記閾値特性に基づいて、前記明度検出部が検出した被写体の明度に対応する閾値を特定し、前記設定されたズーム倍率と前記特定された閾値との比較結果に基づいて前記読み出し方法を設定する、
ことを特徴とする請求項１又は２に記載の撮像装置。

【請求項4】

画像圧縮率を示す圧縮率情報に基づいて前記信号処理部が出力した前記撮像画像を圧縮する画像圧縮部を備え、
前記閾値特性は、前記画像圧縮率毎に前記被写体の明度に応じて閾値が変化する特性を有し、
前記読み出し方法切替制御部は、前記画像圧縮率に対応する前記閾値特性に基づいて、前記明度検出部が検出した被写体の明度に対応する前記閾値を特定し、前記設定されたズーム倍率と前記特定された閾値との比較結果に基づいて前記読み出し方法を設定する、
ことを特徴とする請求項１又は２に記載の撮像装置。

【請求項5】

前記被写体の明度に応じてゲイン値が変化する明度−ゲイン特性に基づいて、前記明度検出部が検出した被写体の明度に対応するゲイン値を設定するゲイン設定部を備え、
前記撮像部は、前記読み出した画像信号に前記設定したゲイン値を乗じて該画像信号を増幅し、該増幅した画像信号を出力し、
前記閾値特性は、前記明度−ゲイン特性と、前記明度−ゲイン特性に基づいて定まるゲイン値に応じて前記閾値が変化する特性と、を有し、
前記読み出し方法切替制御部は、前記閾値特性に基づいて、前記設定したゲイン値に対応する前記閾値を特定し、前記設定されたズーム倍率と前記特定された閾値とを比較し、前記設定されたズーム倍率が前記特定された閾値より小さい場合、前記読み出し方法を画素加算読み出し法に設定し、前記設定されたズーム倍率が前記特定された閾値より大きい場合、前記読み出し方法を前記切り出し読み出し法に設定する、
ことを特徴とする請求項１に記載の撮像装置。

【請求項6】

前記明度検出部は、明度センサを備える、
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。

【請求項7】

前記明度検出部は、前記撮像部が出力する前記複数の画素の画像信号に基づいて前記被写体の明度を求める、
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。

【請求項8】

読み出し方法切替制御部は、前記被写体の明度に応じて閾値が変化する閾値特性に基づいて、前記明度検出部が検出した被写体の明度に対応する閾値を特定し、前記設定されたズーム倍率と前記特定された閾値とを比較し、該比較により特定されたズーム倍率と閾値との大小関係と、前回行った前記比較により特定されたズーム倍率と閾値との大小関係と、が異なるときには、前記読み出し方法の切り替えを指示する切替信号を出力し、前記読み出し方法を切り替える、
ことを特徴とする請求項１に記載の撮像装置。

【請求項9】

撮像素子の複数の画素の画像信号を１画素に対応する画像信号として読み出す画素加算読み出し法と、全画素又は一部の画素の画像信号を個別に読み出す切り出し読み出し法のうち、いずれかに設定された読み出し方法に従って前記複数の画素の画像信号を読み出し、該画像信号を出力する撮像ステップと、
前記撮像ステップで出力された前記画像信号により定義される撮像画像を出力する信号処理ステップと、
ズーム倍率を指定するズーム信号に基づいてズーム倍率を設定するズーム設定ステップと、
被写体の明るさを示す被写体の明度を検出する明度検出ステップと、
前記被写体の明度に応じて閾値が変化する閾値特性に基づいて、前記明度検出ステップで検出された被写体の明度に対応する閾値を特定し、前記設定されたズーム倍率と前記特定された閾値とを比較した結果に基づいて、前記読み出し方法を設定する読み出し方法切替制御ステップと、
を備えることを特徴とする撮像方法。

【請求項10】

コンピュータに、
撮像素子の複数の画素の画像信号を１画素に対応する画像信号として読み出す画素加算読み出し法と、全画素又は一部の画素の画像信号を個別に読み出す切り出し読み出し法のうち、いずれかに設定された読み出し方法に従って前記複数の画素の画像信号を読み出し、該画像信号を出力する撮像ステップと、
前記撮像ステップで出力された前記画像信号により定義される撮像画像を出力する信号処理ステップと、
ズーム倍率を指定するズーム信号に基づいてズーム倍率を設定するズーム設定ステップと、
被写体の明るさを示す被写体の明度を検出する明度検出ステップと、
前記被写体の明度に応じて閾値が変化する閾値特性に基づいて、前記明度検出ステップで検出された被写体の明度に対応する閾値を特定し、前記設定されたズーム倍率と前記特定された閾値とを比較した結果に基づいて、前記読み出し方法を設定する読み出し方法切替制御ステップと、
を実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、撮像方法及びプログラムに関する。

【背景技術】

【0002】

撮像装置のイメージセンサから画像信号（画像データ）を読み出す方法として、画素加算読み出し法と、切り出し読み出し法とが知られている。画素加算読み出し法は、複数画素を１画素として画像信号を読み出す方法である。切り出し読み出し法は、各画素から画像信号を読み出す方法である。各読み出し方法は、それぞれ利点と欠点を有する。

【0003】

画素加算読み出し法の利点は、広い画角の画像の画像信号を少ない電力で読み出すことができること、複数画素の画像信号を加算して読み出すので感度が向上すること、及び画像信号に含まれるノイズ成分の割合が低減することである。画素加算読み出し法の欠点は、複数画素の画像信号を加算するため、画像の解像度が低下すること、画素間の位相のずれに起因するジャギーノイズが画像に現れること等である。

【0004】

これに対して、切り出し読み出し法の利点は、画像の解像度が高いこと、及びジャギーノイズの発生が少ないことである。切り出し読み出し法の欠点は、画角が狭いこと、及び画素加算読み出し法に比べて感度が低いことである。

【0005】

このように、各読み出し方法は、それぞれ固有の利点及び欠点を有する。このため、ズーム倍率若しくは被写体の明るさを示す被写体の明度に応じて最適な読み出し法を選択する読み出し方法が採用されている。

【0006】

例えば、特許文献１には、ズーム倍率に応じて画素加算読み出し法と切り出し読み出し法（非加算法）とを切り替える撮像装置を開示する。この撮像装置は、読み出した画像に、表示用の画像サイズに合わせた変倍処理及びトリミング処理を施す。また、この撮像装置は、読み出し法の切り替えにより、電子ビューファインダの表示に影響を与えることなく、解像度の高い画面を表示することができる。

【0007】

また、特許文献２には、被写体の明度が低い場合には、ライブビュー読み出し法（切り出し読み出し法）と画素加算読み出し法とを、フレーム毎に切り替えて画像信号を読み出す撮像装置を開示する。この撮像装置は、ライブビュー読み出し法により画像信号を読み出す期間において表示部に画像を表示し、画素加算読み出し法により画像信号を読み出す期間においてオートフォーカスを制御する。

【0008】

また、特許文献３には、撮影場所が暗い場合には、画素加算読み出し法に設定し、撮影場所が明るい場合には、切り出し読み出し法（間引き読み出し法）に設定する撮像装置が開示されている。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２０１０−１３６２１８号公報

【特許文献2】特開２００６−２６１９２９号公報

【特許文献3】特開２００３−１８９１８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

特許文献１乃至３に記載の撮像装置は、ズーミングして被写体を撮像するときに、良好な撮像画像を得られない可能性がある。

【0011】

例えば、ズームアップによりズーム倍率が閾値に達し、画像信号の読み出し方法が画素加算読み出し法から切り出し読み出し法に切り替わった場面を想定する。この場合、ズームアップにより被写体像は暗くなっており、さらに、切り出し読み出し法では撮像装置の感度が低いため、撮像画像に含まれるランダムノイズの割合が高くなる。そのため、高品質な画質の撮像画像を得ることができない。なお、画像信号の増幅処理のゲインを大きくすることにより、切り出し読み出し法に起因する感度の低さを補うことは可能である。しかし、ゲインを大きくすると、撮像画像に含まれるランダムノイズが強調されてしまう。そのため、高品質な画質の撮像画像を得ることができない。

【0012】

本発明は、上記課題を解決するためになされたものであり、ズーミングしながら被写体を撮像する場合に、被写体の明度とズーム倍率に応じて高品質な画質の撮像画像が得られる撮像装置、撮像方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0013】

上記の目的を達成するために、本発明の第１の観点に係る撮像装置は、
複数の画素が２次元に配列されている撮像素子を有し、該撮像素子の複数の画素の画像信号を１画素に対応する画像信号として読み出す画素加算読み出し法と、全画素又は一部の画素の画像信号を個別に読み出す切り出し読み出し法のうち、いずれか設定された読み出し方法に従って前記複数の画素の画像信号を読み出し、該画像信号を出力する撮像部と、
前記撮像部が出力した前記画像信号により定義される撮像画像を出力する信号処理部と、
ズーム倍率を指定するズーム信号に基づいてズーム倍率を設定するズーム設定部と、
被写体の明るさを示す被写体の明度を検出する明度検出部と、
前記被写体の明度に応じて閾値が変化する閾値特性に基づいて、前記明度検出部が検出した被写体の明度に対応する閾値を特定し、前記設定されたズーム倍率と前記特定された閾値とを比較した結果に基づいて、前記読み出し方法を設定する読み出し方法切替制御部と、
を備えることを特徴とする。

【0014】

上述の目的を達成するために、本発明の第２の観点に係る撮像方法は、
撮像素子の複数の画素の画像信号を１画素に対応する画像信号として読み出す画素加算読み出し法と、全画素又は一部の画素の画像信号を個別に読み出す切り出し読み出し法のうち、いずれかに設定された読み出し方法に従って前記複数の画素の画像信号を読み出し、該画像信号を出力する撮像ステップと、
前記撮像ステップで出力された前記画像信号により定義される撮像画像を出力する信号処理ステップと、
ズーム倍率を指定するズーム信号に基づいてズーム倍率を設定するズーム設定ステップと、
被写体の明るさを示す被写体の明度を検出する明度検出ステップと、
前記被写体の明度に応じて閾値が変化する閾値特性に基づいて、前記明度検出ステップで検出された被写体の明度に対応する閾値を特定し、前記設定されたズーム倍率と前記特定された閾値とを比較した結果に基づいて、前記読み出し方法を設定する読み出し方法切替制御ステップと、
を備えることを特徴とする。

【0015】

上述の目的を達成するために、本発明の第３の観点に係るプログラムは、
コンピュータに、
撮像素子の複数の画素の画像信号を１画素に対応する画像信号として読み出す画素加算読み出し法と、全画素又は一部の画素の画像信号を個別に読み出す切り出し読み出し法のうち、いずれかに設定された読み出し方法に従って前記複数の画素の画像信号を読み出し、該画像信号を出力する撮像ステップと、
前記撮像ステップで出力された前記画像信号により定義される撮像画像を出力する信号処理ステップと、
ズーム倍率を指定するズーム信号に基づいてズーム倍率を設定するズーム設定ステップと、
被写体の明るさを示す被写体の明度を検出する明度検出ステップと、
前記被写体の明度に応じて閾値が変化する閾値特性に基づいて、前記明度検出ステップで検出された被写体の明度に対応する閾値を特定し、前記設定されたズーム倍率と前記特定された閾値とを比較した結果に基づいて、前記読み出し方法を設定する読み出し方法切替制御ステップと、
を実行させることを特徴とする。

【発明の効果】

【0016】

本発明によれば、ズーミングしながら被写体を撮像する場合に、被写体の明度とズーム倍率に応じて高品質な画質の撮像画像が得られる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態１に係る撮像装置の構成例を示すブロック図である。

【図2】画像信号を読み出す方法を説明する図である。

【図3】実施形態１に係る撮像装置の、画像信号読み出し法切り替えの閾値特性を示す図である。

【図4】実施形態１に係る撮像装置の閾値特性テーブルを示す図である。

【図5】実施形態１に係る撮像装置の撮像処理の内容を示すフローチャートである。

【図6】実施形態１の変形例に係る撮像装置の構成を示すブロック図である。

【図7】実施形態１の他の変形例に係る撮像装置の構成を示すブロック図である。

【図8】実施形態１の他の変形例に係る撮像装置の閾値特性を示す図である。

【図9】撮像装置の閾値のヒステリシス特性を示す図である。

【図10】本発明の実施形態２に係る撮像装置の閾値特性を示す図である。

【図11】実施形態２に係る撮像装置の画像信号読み出し法の切り替えの状態遷移図である。

【図12】実施形態２に係る撮像装置の閾値特性の変形例を示す図である。

【図13】実施形態２に係る撮像装置の閾値特性の変形例の閾値のヒステリシス特性を示す図である。

【図14】本発明の実施形態３に係る撮像装置の構成例を示すブロック図である。

【図15】実施形態３に係る撮像装置の閾値特性を示す図である。

【図16】実施形態３に係る撮像装置の閾値特性テーブルを示す図である。

【図17】実施形態に係る撮像装置のコンピュータとしての構成例を示すブロック図である。

【発明を実施するための形態】

【0018】

（実施形態１）
以下、図面を参照して、本発明の実施形態について詳細に説明する。本実施形態に係る撮像装置１００は、図１に示すように、撮像部１、信号処理部２、操作部３、明度検出部４、制御部５、記憶部６、及び表示部７を備えている。

【0019】

撮像部１は、レンズ部とイメージセンサ部とを備える。レンズ部は、複数のレンズ、フォーカス機構、光学ズーム機構、アイリス機構等を有する光学システムであり、被写体の像をイメージセンサ部の受光面に結像する。フォーカス機構、光学ズーム機構、アイリス機構等は、制御部５によって制御される。

【0020】

イメージセンサ部は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の、複数の画素を２次元に配列して構成された撮像素子を有する。撮像素子の各画素は、レンズ部を介して入射する被写体からの光信号を電荷の量である画像信号に変換する。２次元に配列された画素の画像信号が撮像画像を構成する。この撮像素子は、水平方向（主走査方向）にｎ個（例えば、４８００個）の画素、及び垂直方向（副走査方向）にｍ個（例えば、３６００個）の画素を有する。イメージセンサ部は、制御部５によって設定された（後述する）読み出し方法に従って各画素の画像信号を読み出して出力する。

【0021】

信号処理部２は、撮像部１から出力される画像信号をアナログからデジタルに変換するＡ／Ｄ変換処理、デジタル化された画像信号を輝度信号と色差信号に分離する信号分離処理、ノイズ除去やエッジ強調等の高画質処理等の処理を施す。信号処理部２は、処理後の画像信号を記憶部６に記憶すると共に、画像信号を撮像画像として表示部７に出力する。また、信号処理部２は、制御部５から通知される電子ズーム（デジタルズーム）倍率に応じて、撮像画像の拡大や縮小等の電子ズーム処理を実行する。信号処理部２は、撮像画像を拡大・縮小する際には、表示部７の画素数や記録画像の画素数に合わせるために、撮像画像の変倍処理、トリミング等を実行する。

【0022】

操作部３は、ズーム操作部や電源スイッチ、シャッタスイッチ等の複数のスイッチを有し、ユーザの操作に応じて、その操作情報を制御部５に供給する。例えば、ユーザがズームボタン等で構成されるズーム操作部を操作すると、操作部３は、ズームアップ又はズームダウンの操作情報をズーム信号として制御部５に供給（出力）する。

【0023】

明度検出部４は、複数の撮像素子が配置されたイメージセンサを備え、被写体の明るさを示す被写体の明度を検出し、検出結果を検出明度として制御部５に送信する。ここで、被写体の明度とは、被写体を撮影した際に、イメージセンサの各撮像素子から出力される画像信号の信号量の平均値である。

【0024】

制御部５は、ＣＰＵ（Central Processing Unit）等のプロセッサ、ＲＯＭ（Read Only Memory）又はフラッシュメモリ等の制御プログラムを記憶するプログラムメモリ、ＲＡＭ（Random Access Memory）等のワークメモリを有する。制御部５は、プログラムメモリに記憶されている制御プログラムをワークメモリに読み出して実行することにより、撮像部１、信号処理部２、操作部３、明度検出部４を制御し、各種処理を行う。また、制御部５は、記憶部６と表示部７を制御し、必要に応じて処理結果を記憶部６に記憶し、表示部７に表示する。

【0025】

制御部５は、機能構成要素としてズーム設定部５１及び読み出し方法切替制御部５２を備える。これらは、制御プログラムを実行することにより撮像装置１００の各部を制御する。

【0026】

ズーム設定部５１は、操作部３から入力されたズームアップ又はズームダウンの操作情報を知らせるズーム信号に基づいて、広角から望遠までの間の被写体に対するズーム倍率を設定する。また、ズーム設定部５１は、ズーム倍率に基づいて、光学ズーム倍率と電子ズーム倍率を設定し、撮像部１の光学ズーム機構を光学ズーム倍率に従って制御すると共に、電子ズーム倍率を信号処理部２に通知する。なお、最終的なズーム倍率は、光学ズーム倍率と電子ズーム倍率の積である。

【0027】

読み出し方法切替制御部５２は、ズーム設定部５１によって設定されたズーム倍率、明度検出部４によって検出された検出明度（被写体の明度）に応じて、画像信号の読み出し方法を設定し、撮像部１のイメージセンサ部に通知する。画像信号の読み出し方法には、画素加算読み出し法と切り出し読み出し法とがある。

【0028】

記憶部６は、ハードディスク、フラッシュメモリ等の記憶装置から構成され、信号処理部２が出力する画像信号を記憶する。

【0029】

表示部７は、例えば、ＬＣＤ(Liquid Crystal Display)や有機ＥＬ（Electro Luminescence）ディスプレイ等の表示画面から構成され、信号処理部２が出力する画像信号を撮像画像として表示する。

【0030】

画素加算読み出し法は、イメージセンサ部が有する撮像素子から画像信号を読み出して出力する際に、複数の画素の画像信号を１画素の画像信号として読み出す方法である。具体的には、画素加算読み出し法では、イメージセンサ部が、複数の画素の画像信号に加算処理又は平均処理を行い、１画素の画像信号として読み出す。画素加算読み出し法は、通常、広角側、すなわちズーム倍率が低い側で使用される。この読み出し方法では、解像度は、加算処理又は平均処理の対象となる画素の数に応じた程度で低下する。一方、複数の画素の画像信号について加算処理又は平均処理を行うことによって、画像信号に含まれるランダムノイズの割合は、切り出し読み出し法で画像信号に含まれるランダムノイズの割合より低くなる。なお、画素加算読み出し法を採用するには、撮像素子の画素数が表示部７の画素数や記録の際の画素数よりも大きいことが望ましい。

【0031】

切り出し読み出し法は、イメージセンサ部が有する撮像素子から画像信号を読み出して出力する際に、撮像素子の全領域又は一部領域を切り出して、その領域の画素の画像信号を、画素間の画像信号の加算処理又は平均処理を行うことなく、元の画素の画像信号のまま読み出す方法である。切り出し読み出し法は、通常、望遠側、すなわちズーム倍率が高い側で使用される。この読み出し方法では、解像度は低下しない。しかし、画素加算読み出し法に比べると画像信号に含まれるランダムノイズの割合が高い。

【0032】

両読み出し方法の具体例について図２を参照して説明する。図２の上段は、画素加算読み出し法による撮像画像の読み出しの例を示す。また、図２の下段は、切り出し読み出し法による撮像画像の読み出しの例を示す。前述のように、イメージセンサ部のイメージセンサ１１には撮像素子１２が設置されている。ここでは、理解を容易にするため、撮像素子１２は、水平方向に８個及び垂直方向に８個の計６４個の画素で構成されているものとする。画像ｉｍ１０１は、撮像素子１２を構成する６４個の画素の画像信号に基づいて生成した撮像画像の画像イメージである。なお、撮像画像は、６４個より多くの画素で構成された撮像素子１２により得られた撮像画像であってもよい。

【0033】

画素加算読み出し法においては、イメージセンサ部は、図２に示すように、４個の画素の画像信号を加算して１画素の画像信号として読み出す。そして、イメージセンサ部は、読み出した画像信号に基づいて生成した画像ｉｍ１０２のうち、表示対象となる出力画像ｉｍ１０３を出力する。この例では、イメージセンサ部は、６４個の画素の１／４である１６個の画素に対応する出力画像ｉｍ１０３を出力する。出力画像ｉｍ１０３の画像イメージは、画像ｉｍ１０４に示されている。この例では、画像ｉｍ１０４は、画像ｉｍ１０１全体の画像イメージに対応している。なお、図２で加算対象となる４個の画素が一つおきに選択されている理由は、各画像信号がＲＢＧの色差信号のうち、いずれかに対応しており、さらに、加算対象となる画像信号が同じ色相の色差信号に対応する画像信号だからである。

【0034】

一方、切り出し読み出し法においては、イメージセンサ部は、図２に示すように、画像処理の対象となる撮像素子１２の全画素のうち、画素加算読み出し法により出力された画像の画素数と同じ、水平方向、垂直方向共に４個の計１６個の画素で構成される領域１２ａを切り出す。そして、イメージセンサ部は、切り出した領域１２ａに配列された１６個の画素に対応する出力画像ｉｍ１０５を出力する。出力画像ｉｍ１０５の画像イメージは、画像ｉｍ１０６に示されている。この画像ｉｍ１０６は、６４個の画素で構成される撮像素子１２で得られた撮像画像である。また、画像ｉｍ１０６には、画像ｉｍ１０１の一部の領域に表示される画像イメージが画像ｉｍ１０４が表示される領域と同じ領域に表示される。よって、画像ｉｍ１０６は、画像ｉｍ１０４がズームアップされた画像になっている。

【0035】

制御部５の読み出し方法切替制御部５２は、ズーム倍率が読み出し方法の切替の閾値よりも低いときに画素加算読み出し法を設定し、ズーム倍率が読み出し方法の切替の閾値よりも高いときに切り出し読み出し法を設定する。

【0036】

本実施形態に係る撮像装置１００の特徴は、読み出し方法の切替の閾値が、被写体の明度に依存して変化する閾値特性を有することにある。この閾値特性は、図３に示す読み出し方法の切替の閾値ZOOM_THとして示される。閾値ZOOM_THは、被写体の明度Ｂａ〜明度Ｂｂの範囲で、被写体の明度の低下と共に、より高いズーム倍率値に変化する特性を有する。

【0037】

このような閾値特性にした理由は、被写体の明度が低下すると画像信号に含まれるランダムノイズの割合が増えて画質が劣化するため、被写体の明度が低下するほど、より高いズーム倍率まで画素加算読み出し法により画像信号を読み出すためである。これにより、被写体の明度が低下したとき、撮像画像の画質の劣化が抑えられる。

【0038】

図３に示す閾値特性では、被写体の明度が明度Ｂａを超える場合には、従来と同様に、ズーム倍率Ａ（倍率Ａ）が読み出し方法の切替の閾値ZOOM_THとなる。被写体の明度が明度Ｂｂ（明度Ｂｂ＜明度Ｂａ）未満の場合には、読み出し方法の切替の閾値ZOOM_THは設定されていない。そのため、読み出し方法切替制御部５２は、ズーム倍率によらず読み出し方法を画素加算読み出し法に設定する。被写体の明度Ｂａ〜明度Ｂｂの範囲では、閾値は被写体の明度に依存して変化する。

【0039】

図３に示された閾値特性は、例えば図４に示すように、閾値特性テーブル７１に、各被写体の明度の値にズーム倍率の閾値が対応するかたちで記憶される（閾値特性テーブル７１は、記憶部６に記憶される。）。そして、該閾値特性は、必要に応じて読み出し方法切替制御部５２により閾値特性テーブル７１から読み出される。なお、閾値特性は、テーブル形式に代え関数形式等、可能な態様で記憶されてもよい。

【0040】

次に、図５に示すフローチャートに従って撮像装置１００のズーム時を含む撮像時の動作について説明する。図５は動画を撮像する場合の撮像処理を示す。

【0041】

撮像装置１００の制御部５は、操作部３から撮像開始信号が入力されているかどうかを判定する（ステップＳ１）。撮像開始信号は、撮像装置１００のユーザにより操作部３を介して入力される。撮像開始信号が入力されていなければ（ステップＳ１；ＮＯ）、制御部５は、ステップＳ１に戻り撮像開始信号が入力されるまで待機する。

【0042】

撮像開始信号が入力されていれば（ステップＳ１；ＹＥＳ）、制御部５は、撮像部１を制御して撮像を開始する（ステップＳ２）。撮像が開始されると、撮像部１は、所定時間、画像信号を生成する（ステップＳ３）。そして、撮像部１は、生成した画像信号を読み出し、信号処理部２に出力する（ステップＳ４）。

【0043】

なお、撮像部１は、あらかじめ設定されている読み出し方法に従い、画像信号を読み出す。通常、撮像開始時には、読み出し方法は、画素加算読み出し法に設定されている。

【0044】

一方、明度検出部４は被写体の明度を検出し、検出明度として制御部５に送信する（ステップＳ５）。また、ズーム設定部５１は、操作部３から入力されたズーム信号に基づきズーム倍率を設定する（ステップＳ６）。

【0045】

読み出し方法切替制御部５２は、閾値特性に基づき、明度検出部４から受信した検出明度に対応する閾値を取得する。次に、読み出し方法切替制御部５２は、取得した閾値とズーム設定部５１が設定したズーム倍率との大小関係に応じて読み出し法を設定し、いずれの読み出し法を設定したかを示す情報を撮像部１に送信する（ステップＳ７）。なお、読み出し方法切替制御部５２が取得した閾値とズーム設定部５１が設定したズーム倍率との大小関係は、ズーム倍率の変化だけでなく検出明度の変化に伴う取得した閾値の変化によっても変化しうる。

【0046】

次に、制御部５は、操作部３から撮像停止信号が入力されたかどうかにより撮像停止の有無を判定し（ステップＳ８）、撮像停止無しと判定したときは（ステップＳ８；ＮＯ）、ステップＳ３に戻り、撮像部１での所定時間の画像信号の生成、すなわち撮像を継続する。制御部５は、撮像停止有りと判定したときは（ステップＳ８；ＹＥＳ）、操作部３を介して電源ＯＦＦ信号が入力されたかどうかを判定する（ステップＳ９）。電源ＯＦＦ信号が入力されていなければ（ステップＳ９；ＮＯ）、制御部５は、ステップＳ１に戻り、撮像開始信号の入力を待って待機する。電源ＯＦＦ信号が入力されていれば（ステップＳ９；ＹＥＳ）、制御部５は、撮像処理を終了する。

【0047】

図５に示すフローチャートは、図１に係る撮像装置１００の動作だけではなく撮像方法をも示す。

【0048】

図６に本実施形態の変形例に係る撮像装置１００の構成を示す。図１との違いは、明度検出部４を信号処理部２の機能構成要素としたことである。信号処理部２は、既に説明したように画像信号を輝度信号と色差信号に分離する信号分離処理機能を有する。明度検出部４は、このときに各画素で得られる輝度信号についてその輝度レベルの平均値を算出し、これを明度として検出する。なお、明度検出においては、制御部５によって重要と判定された領域の画素に重み付けを行った後に輝度レベルの平均値を算出するようにしてもよい。

【0049】

図６の撮像装置１００の動作は、図５に示す撮像処理と同じである。

【0050】

このように、図１及び図６に示す撮像装置１００は、ズーミング撮像時において、画像信号の読み出し法の切り替えに係るズーム倍率の閾値ZOOM_THを、被写体の明度に応じて変化させる。具体的には、被写体の明度が低い場合、撮像装置１００は、被写体の明度の低下に応じて画素加算読み出し法で撮像するズーム倍率の範囲を望遠側に拡張する。従って、撮像装置１００の読み出し方法の切替方法は、ズーム倍率の閾値が固定されている状態で読み出し方法を切り替える従来の切替方法に比べると、ランダムノイズによる画質劣化と画素加算による解像度低下に起因する画質劣化との間のバランスを考慮した画像が得られ、その分高品質な画質の撮像画像が得られる。この効果は、明度検出部４が独立したハードウェアとして設置されているか、それとも信号処理部２の機能構成要素として実現されているかを問わない。

【0051】

なお、図１に示す構成の撮像装置１００の場合は、明度検出部４は、信号処理部２とは独立した形で、例えば明度センサで構成されるので、被写体の明度を精度良く検出できる。

【0052】

一方、図６に示す構成の撮像装置１００の場合は、信号処理部２の機能構成要素に明度検出部４が含まれるので新たなハードウェアを設置する必要がない。従って、撮像装置１００のコンパクト化に資することができ、さらに撮像装置１００の製造コストを低減できるという効果を奏する。

【0053】

以上の説明では読み出し方法切替制御部５２は、読み出し方法を設定するとしたが、読み出し方法の切替の有無を設定し、切替有りのとき切替信号を撮像部１のイメージセンサ部に出力してもよい。読み出し方法切替制御部５２は、ズーム設定部５１で設定したズーム倍率と、閾値特性及び検出明度に基づき取得した閾値との大小関係が変化したときに、切替有りとして切替信号を発生する。ここで、大小関係が変化したときとは、ズーミングの際にズーム倍率が変化した結果、閾値との大小関係が変化した場合と、被写体の明度の変化により検出明度が変化し、この検出明度と閾値特性に基づき取得した閾値が変化し、その結果取得した閾値とズーム倍率との大小関係が変化した場合とズーム倍率と閾値の両者が変化した結果両者の大小関係が変化した場合とを含む。

【0054】

なお、撮像部１のイメージセンサ部は、起動時の最初の読み出し方法をあらかじめイメージセンサ部に設定されている読み出し方法とし、切替信号が入力されたときはこれまでの読み出し方法を他の読み出し方法に切り替えて画像信号を読み出す。なお、起動時の最初の読み出し方法は、通常、画素加算読み出し法に設定される。

【0055】

図７に本実施形態の他の変形例に係る撮像装置１００の構成を示す。図６に示す構成との違いは、制御部５がゲイン設定部５３を備えていることである。なお、図７では明度検出部４が機能構成要素として信号処理部２に含まれている場合を例示している。

【0056】

ゲイン設定部５３は、撮像部１のイメージセンサ部から出力される画像信号に乗じるゲイン値を設定し、撮像部１に送信する。このゲイン値は、自動露出（Automatic Exposure）において実行される自動利得制御（Automatic Gain Control）により、明度検出部４から入力された検出明度（被写体の明度）に基づいて設定される。撮像部１のイメージセンサ部は、画像信号に受信したゲイン値を乗じ、ゲイン値を乗じた画像信号を新たな画像信号として信号処理部２に出力する。

【0057】

画像信号にゲイン値を乗じる理由は、被写体の明度が、信号処理部２での画像信号の処理が容易になる明度より低い場合に、この明度まで被写体の明度を増幅するためである。従って、被写体の明度が低いとゲイン値は大きくなり、被写体の明度が高いとゲイン値は小さくなる。なお、ゲイン値は回路の制約上、ゲインの上限値と下限値が設定される。よって、ゲイン値は、被写体の明度がゲインの上限値に対応する明度以下ではゲインの上限値に固定され、ゲインの下限値に対応する明度以上ではゲインの上限値に固定される。

【0058】

このように、撮像部１から出力される画像信号にはゲイン値が乗じられている。よって、明度検出部４が信号処理部２の機能構成要素である場合、明度検出部４は、撮像部１から入力された画像信号に含まれる輝度レベルの平均値をゲイン値で除算（正規化）し、除算して得た明度を被写体の明度とする。

【0059】

ゲイン設定部５３は、信号処理部２での画像信号の処理が容易になる明度を明度検出部４で検出された明度で除して、その結果得られる値をゲイン値として設定する。すなわち、新規のゲイン値は、信号処理部２での画像信号の処理が容易になる明度を明度検出部４で検出された明度で除算した結果得られる。

【0060】

また、図７に示す構成の撮像装置１００は、明度検出部４を信号処理部２の機能構成要素に含めているので、図６に示す構成の撮像装置１００と同様に、撮像装置１００のコンパクト化に資することができ、さらに撮像装置１００の製造コストを低減できるという効果を奏する。

【0061】

なお、制御部５がゲイン設定部５３を備える場合は、読み出し方法切替制御部５２は、被写体の明度に依存する閾値として定義される閾値特性に代えて、被写体の明度と対応付けられたゲイン値に依存する閾値として定義されるゲイン閾値特性を利用して、読み出し方法を設定してもよい。

【0062】

ゲイン閾値特性として図８に閾値ZOOM_TH_Gを示す。図８に示す閾値ZOOM_TH_Gは、ゲイン設定部５３でのゲイン値の設定と同様に、信号処理部２での画像信号の処理が容易になる明度を図３の閾値ZOOM_THの被写体の明度によって除算し、その結果得られるゲイン値に置き換えることにより得られる。図８の縦軸に示すＧ_Ｕ、Ｇ_Ｌ、Ｇａ、Ｇｂはそれぞれゲインの上限値、ゲインの下限値、明度Ｂａに対応するゲイン値、明度Ｂｂに対応するゲイン値である。

【0063】

ゲイン閾値特性は、例えば記憶部６に記憶される閾値特性テーブル７１に記憶される。読み出し方法切替制御部５２は、この閾値特性テーブル７１からゲイン閾値特性を読み出して利用する。なお、ゲイン閾値特性を記憶する閾値特性テーブル７１は、例えば図４の明度の各値がゲイン値に置き換られることにより、閾値がゲイン値に対応付けられる。

【0064】

読み出し方法切替制御部５２は、この閾値特性を、記憶部６から閾値特性テーブル７１の形で読み出し、読み出した閾値特性と、ズーム設定部５１で設定されるズーム倍率と、ゲイン設定部５３で設定されるゲイン値とに基づき読み出し方法を設定する。

【0065】

このようにゲイン閾値特性を利用して読み出し方法の切替を行う場合の撮像装置１００の動作内容は、図５に示す撮像処理のうち、ステップＳ５とステップＳ７を次のように変更することにより得られる。ステップＳ５では、まず、明度検出部４が被写体の明度を検出する。次に、ゲイン設定部５３が検出明度に基づきゲイン値を設定する。ステップＳ７では、被写体の明度に基づき、という部分を被写体の明度に対応したゲイン値に基づき、に読み替える。図５に示すフローチャートはゲイン閾値特性を利用する撮像装置１００の動作だけではなく撮像方法をも示す。

【0066】

なお、読み出し方法切替制御部５２は、設定した読み出し方法ではなく既に説明したように読み出し方法の切替信号を出力するようにしてもよい。

【0067】

図７に示す他の変形例では、明度検出部４が信号処理部２の機能構成要素である場合を示したが、図１に示すように信号処理部２とは独立して設定された明度検出部４であってもよい。この場合も、ゲイン設定部５３は、明度検出部４から得られる検出明度（被写体の明度）に基づきゲイン値を設定する。

【0068】

読み出し方法の切替にゲイン値を利用する撮像装置１００は、ゲイン値が被写体の明度に対応付けられていることから、読み出し方法の切替に検出明度を利用する撮像装置１００と同様の効果を奏することができる。

【0069】

（実施形態２）
本実施形態の撮像装置１００について説明する。本実施形態における撮像装置１００のハードウェアの構成は、図１、図６、又は図７に示した実施形態１の撮像装置１００のハードウェアの構成と比べると、読み出し方法切替制御部５２の機能を除き同一である。よって、同一部分についての説明を省略し、読み出し方法切替制御部５２についてのみ説明する。

【0070】

本実施形態の撮像装置１００において、読み出し方法切替制御部５２は、ヒステリシス特性を有する閾値特性に基づき読み出し方法を設定する点において実施形態１の読み出し方法切替制御部５２と異なる。すなわち、本実施形態では、読み出し方法の切替に係るズーム倍率の閾値を被写体の明度に依存させると共に、広角側から望遠側にズーミング（ズームアップ）する場合と、望遠側から広角側にズーミング（ズームダウン）する場合とで、閾値を異なる値に設定する。

【0071】

ここで、ズーム倍率の変化にかかわらず、被写体の明度が一定であると仮定すると、広角側から望遠側にズームアップする場合には、画素加算読み出し法から切り出し読み出し法に切り替わる閾値は、図９に示すように、閾値Ａ（後述の閾値ZOOM_UP_THに対応）に設定される。一方、望遠側から広角側にズームダウンする場合には、切り出し読み出し法から画素加算読み出し法に切り替わる閾値は、図９に示すように、閾値Ａよりズーム倍率が小さい閾値Ａ’（後述の閾値ZOOM_DOWN_THに対応）に設定される。

【0072】

実際は、ズーム倍率の変化に応じて被写体の明度も変化するので、本実施形態に係る撮像装置１００の閾値特性は、図１０に示すように、被写体の明度に応じて閾値が変化するZOOM_UP_THとZOOM_DOWN_THの２種類の閾値を有する。図１０に示す例では、同一明度で比べると、閾値ZOOM_DOWN_THは閾値ZOOM_UP_TH上よりもズーム倍率の小さな値に設定されている。

【0073】

読み出し方法切替制御部５２は、取得した閾値とズーム設定部５１が設定したズーム倍率との大小関係を判定するとき、そのときの読み出し方法が２つの読み出し方法のうち、どちらであるかを判定する。読み出し方法切替制御部５２は、画素加算読み出し法と判定したときは、閾値として閾値ZOOM_UP_THを記憶部６から読み出し、切り出し読み出し法と判定したときは、閾値として閾値ZOOM_DOWN_THを記憶部６から読み出す。

【0074】

次に、読み出し方法切替制御部５２は、読み出した閾値ZOOM_UP_TH又はZOOM_DOWN_THから検出明度に対応した閾値を取得し、ズーム設定部５１で設定されたズーム倍率と取得した閾値との大小関係を判定して、その結果に応じた読み出し方法を設定する。

【0075】

具体的には、読み出し方法切替制御部５２は、次のように読み出し方法を設定する。まず、読み出し方法切替制御部５２は、現時点の読み出し方法が２つの読み出し方法のうちどちらの方法に設定されているかを判定する。判定の結果、読み出し方法が画素加算読み出し法に設定されていれば、読み出し方法切替制御部５２は、閾値ZOOM_UP_THから検出明度に対応する閾値を取得する。次に、読み出し方法切替制御部５２は、ズーム設定部５１で設定されたズーム倍率がこの閾値以上であれば、読み出し方法を切り出し読み出し法に設定し、この閾値未満であれば読み出し方法を画素加算読み出し法に設定する。逆に、現時点の読み出し方法が切り出し読み出し法であれば、読み出し方法切替制御部５２は、閾値ZOOM_DOWN_THから検出明度に対応する閾値を取得する。次に、設定されたズーム倍率がこの閾値以下であれば、読み出し方法を画素加算読み出し法に設定し、この閾値より大きければ読み出し方法として切り出し読み出し法を設定する。

【0076】

なお、検出明度は、ズーム操作だけでなく、被写体により変化しうる。そのため、ズーム操作によりズーム倍率が変化しなくても、被写体の変化に応じて、取得した閾値も変化しうる。従って、ズーム倍率と閾値との大小関係の変化は、ズーム操作によりズーム倍率が変化しない場合であっても、取得した閾値がこれまでとは異なる値に変化することにより変化しうる。

【0077】

閾値にヒステリシス特性を持たせる理由は、撮像装置１００が読み出し方法の切替に時間を割かれて画像信号のスムーズな読み出しができなくなり、制御不能となるような事態を避けるためである。例えば、動画撮像時において、閾値近傍でズームアップとズームダウンとを頻繁に行うと、ズーム設定部５１により設定されたズーム倍率と閾値との大小関係が頻繁に変化する。そのため、読み出し方法の切替が頻繁に発生しうる。その場合、撮像装置１００は読み出し方法の切替に時間を割かれて画像信号のスムーズな読み出しができなくなる恐れがある。

【0078】

本実施形態に係る撮像装置１００の撮像動作は、図５に示す撮像処理の内容と同様であるが、読み出し方法切替制御部５２に係るステップＳ７の処理内容について一部異なる。なお、ステップＳ７の処理内容は、本実施形態に係る読み出し方法切替制御部５２について説明した内容と同じである。従って、このような前提で図５に示すフローチャートは撮像装置１００の撮像動作だけでなく撮像方法をも示す。

【0079】

なお、読み出し方法切替制御部５２は、読み出し方法を設定するのではなく、読み出し方法の切替の有無を設定し、切替有りのとき切替信号を撮像部１のイメージセンサ部に出力してもよい。この場合の撮像部１のイメージセンサ部は、切替信号が入力されるとこれまでの読み出し方法を他の読み出し方法に切り替えて画像信号を読み出す。起動時の最初の読み出し方法は、通常、画素加算読み出し法に設定されている。

【0080】

図１１に、読み出し方法切替制御部５２が切替信号を出力する場合について、本実施形態に係る撮像装置１００の読み出し方法が他の読み出し方法に遷移する条件をまとめた。撮影装置１００は、リセット状態（Ｓ１０１）から撮影を開始すると、画素加算読み出し法（ステップＳ１０２）に遷移する。画素加算読み出し法（ステップＳ１０２）から切り出し読み出し法（ステップＳ１０３）に遷移する条件は、ズーム倍率が閾値ZOOM_UP_THの検出明度に対応する値以上になったときである（ステップＳ１０４）。

【0081】

一方、切り出し読み出し法（ステップＳ１０３）から画素加算読み出し法（ステップＳ１０２）に遷移する条件は、ズーム倍率が閾値ZOOM_DOWN_THの検出明度に対応する値以下になったときである（ステップＳ１０５）。

【0082】

図１０に示す閾値特性は、図１２に示す閾値特性であってもよい。これらの閾値特性の違いは、図１０では閾値ZOOM_UP_THと閾値ZOOM_DOWN_THとはズーム倍率Ｂ、明度Ｂｂで１点に収束するが、図１２では、明度Ｂｂでは１点に収束せず、閾値ZOOM_DOWN_THは常に閾値ZOOM_UP_THよりもズーム倍率の小さな値になっている点にある。図１０に示す閾値特性では、同じ検出明度に対応する閾値ZOOM_UP_THと閾値ZOOM_DOWN_THを比べると、検出明度が低下する程、ヒステリシス特性を示すズーム倍率に係る両閾値間の幅、すなわち両閾値のズーム倍率の差は小さくなる。そして、検出明度が明度Ｂｂになるとその差は０になり、図１０に示す閾値特性は、ヒステリシス特性を喪失してしまう。しかし、図１２に示す閾値特性では、閾値が設定されている全範囲で閾値ZOOM_UP_THと閾値ZOOM_DOWN_THとが交差する点は存在しない。従って、図１２に示す閾値特性は、ヒステリシス特性を喪失してしまうことはない。図１３は、図１２の明度Ｂｃ、明度Ｂｄ、明度Ｂｅのそれぞれにおける閾値のヒステリシス特性を示したものである。ヒステリシス特性を示すズーム倍率に係る両閾値間の幅は、明度Ｂｃでｗ_１、明度Ｂｄでｗ_２、明度Ｂｅでｗ_３である。ｗ_１〜ｗ_３の大小関係は、閾値ZOOM_UP_THと閾値ZOOM_DOWN_THのそれぞれの中で、明度が低下すると閾値がズーム倍率の高い側に変化する部分の勾配の差を調整することにより調整される。

【0083】

本実施形態に係る撮像装置１００によれば、ズーム倍率についての読み出し方法の切替の閾値を被写体の明度に依存して変化させると共に、その閾値にヒステリシス特性を持たせたので、実施形態１と同様の効果を奏し、且つ広角側と望遠側との間でズームアップ操作及びズームダウン操作を頻繁に行った場合でも、撮像装置１００が制御不能になることを防止することができる。

【0084】

なお、図１０又は図１２に示す閾値特性においては、閾値ZOOM_UP_THと閾値ZOOM_DOWN_THとの関係は、被写体の明度が同じであれば、閾値ZOOM_UP_THが閾値ZOOM_DOWN_THよりも大きい値に設定されたものとしたが、閾値ZOOM_UP_THが閾値ZOOM_DOWN_THよりも小さな値に設定されたものであってもよい。この場合でも、撮像装置１００は、広角側と望遠側との間でズームアップ操作及びズームダウン操作が頻繁に行われたとき、撮像装置１００が制御不能になることを防止することができる。

【0085】

なお、図７に示す撮像装置１００に係る閾値特性は、図８に示すようなゲイン値の変化に応じて閾値が変化する特性を有しているが、図１または図６等に示す撮像装置１００と同様に、ヒステリシス特性を有していても良い。従って、図７に示す撮像装置１００は、本実施形態で説明した効果と同様の効果を奏する。

【0086】

（実施形態３）
本実施形態について説明する。本実施形態に係る撮像装置１００を、図１４に示す。図１４に示す撮像装置１００は、図１に示す撮像装置１００に、コーデック部８（画像圧縮部８１、画像伸張部８２を含む）、及び表示制御部９を付加したものである。また、操作部３には、コーデック部８による画像圧縮の際の画像圧縮率（圧縮率と呼ぶ）を指定する画像圧縮設定スイッチが設けられている。なお、他のハードウェアの構成は、図１に示した実施形態１のハードウェアの構成と基本的に同じであるので、同一の符号で示す。また、ハードウェアの構成については重複する説明を省略する。このようなコーデック部８を有する撮像装置１００は、例えば、カメラ付き携帯電話等に採用されている。

【0087】

操作部３は、ユーザによる画像圧縮設定スイッチの操作により、ユーザが指定する画像圧縮の際の圧縮率を制御部５に入力する。

【0088】

コーデック部８の画像圧縮部８１は、信号処理部２によって高画質処理がなされた画像信号で形成される撮像画像に、ユーザが指定する圧縮率により画像圧縮処理を行って、画像圧縮処理により生成された圧縮画像を記憶部６に記憶する。また、コーデック部８の画像伸張部８２は、記憶部６から読み出した圧縮画像に画像伸張処理を行う。表示制御部９は、画像伸張処理により生成された撮像画像を表示部７に表示する。

【0089】

本実施形態に係る撮像装置１００が備える閾値特性（ここでは圧縮率対応閾値特性と呼ぶ）は、異なる複数の圧縮率毎に、図３に示すような閾値ZOOM_THを有する。図１５に一例を示す。図１５に示す圧縮率対応閾値特性は、例えば３つの圧縮率a、ｂ、ｃ（圧縮率iで代表させる）毎に閾値ZOOM_THa、閾値ZOOM_THｂ、閾値ZOOM_THｃ（ZOOM_THiで代表させる）で示す閾値特性を有する。圧縮率は、圧縮率ｃ、ｂ、aの順に高い。閾値ZOOM_THiは、圧縮率iが高いほどズーム倍率のより高い側にシフトしたものとなっている。

【0090】

読み出し方法切替制御部５２は、図１５に例示する閾値ZOOM_THiのうち、操作部３から入力された圧縮率ｊに対応する閾値ZOOM_THｊを抽出する。具体例を説明する。閾値特性は、図１６に例示するように、閾値特性テーブル７１に、圧縮率i毎に複数の明度が対応付けられ、さらに複数の明度に閾値（ズーム倍率）が１対１で対応付けられて記憶されている。読み出し方法切替制御部５２は、この閾値特性データを記憶部６から読み出す。次に、読み出し方法切替制御部５２は、読み出した閾値特性データから検出明度に等しい明度に対応付けられた閾値を抽出する。閾値特性データに圧縮率jと等しい圧縮率iが無ければ、読み出し方法切替制御部５２は、圧縮率ｊとの圧縮率の差が最も小さいものから順に圧縮率iを２つ抽出し、該２つの圧縮率iに係る閾値特性データを読み出す。次に、読み出し方法切替制御部５２は、抽出した２つの圧縮率iに係る閾値特性データのうち、検出明度に等しい明度に対応付けられた閾値を抽出し、圧縮率に関する補間又は補外計算により圧縮率jに対応する閾値を算定する。抽出した２つの圧縮率iに係る閾値特性データのなかに検出明度と等しい明度がない場合は、読み出し方法切替制御部５２は、明度に関する補間又は補外計算により検出明度に対応する閾値を算定する。その後の読み出し方法切替制御部５２の処理は、実施形態１で説明した内容と同じである。

【0091】

本実施形態に係る撮像装置１００の動作については上記読み出し方法切替制御部５２での処理内容を除き実施形態１の場合と同じなので説明を省略する。

【0092】

なお、明度検出部４は、図６に示すように信号処理部２の機能構成要素であってもよい。また、実施形態１の変形例で説明したように、制御部５は、機能構成要素としてゲイン設定部５３を備え、閾値特性を、図８に示すように明度をゲイン値に置き換えて変換するもの（明度−ゲイン特性）であってもよい。

【0093】

本実施形態に係る撮像装置１００では、画像圧縮の際の圧縮率が高くなるほどノイズ成分に多くの情報が使われるため圧縮画像の画質が低下する。一方、該撮像装置１００は、図１５に示すように圧縮率が高くなるほど、読み出し方法の切替の閾値がズーム倍率の高い方にシフトする閾値特性を有する。すなわち、該撮像装置１００は、画像圧縮処理による画像の圧縮率が高くなるほど、より高いズーム倍率まで画像信号を画素加算読み出し法で読み出すことになる。そのため、該撮像装置１００は、画像の圧縮率が高い場合、画像信号を画素加算読み出し法で読み出すことにより画像信号に含まれるノイズ成分の割合を低減させるので、圧縮画像の画質の低下を防止できる。

【0094】

また、本実施形態において、図１５に例示するZOOM_THa、ZOOM_THb、ZOOM_THcのそれぞれにヒステリシス特性を持たせる構成にしてもよい。この場合には、広角側と望遠側との間でズームアップ操作及びズームダウン操作を高い頻度で行っても、撮像装置１００が制御不能になることを防止することができる。

【0095】

図１７は、図１、図６、図７、図１４に示す実施形態１〜３に係る撮像装置１００のコンピュータとしてのハードウェア構成例を示すブロック図である。撮像装置１００は、制御装置１１０、主記憶装置１２０、外部記憶装置１３０、入出力装置１４０を備える。主記憶装置１２０、外部記憶装置１３０、入出力装置１４０はいずれもバスライン１５０を介して制御装置１１０に接続されている。

【0096】

図１、図６、図７、図１４の撮像部１、信号処理部２、操作部３、及び明度検出部４は、入出力装置１４０に対応する。また、図１、図６、図７、図１４の制御部５は、制御装置１１０と主記憶装置１２０とで構成される。外部記憶装置１３０は、図１、図６、図７、図１４の記憶部６に対応し、制御用プログラムの格納、閾値特性のデータの記憶、撮像画像の記憶等に用いられる。

【0097】

制御装置１１０は、ＣＰＵ１１１を備える。また、ＣＰＵ１１１は、外部記憶装置１３０に記憶されている制御プログラム２００を主記憶装置１２０に読み出して実行することにより各種処理を実行する。図１、図６、図７、図１４に示すズーム設定部５１、読み出し方法切替制御部５２及び図７に示すゲイン設定部５３は、いずれもＣＰＵ１１１が制御プログラム２００を実行することによりその機能が実現される制御部５の機能構成要素である。

【0098】

なお、図５に示す撮像処理はコンピュータとしての撮像装置１００が実行するプログラムの内容をも示している。

【0099】

なお、上記実施形態において、被写体の明度は、被写体を撮影した際に、イメージセンサの各撮像素子から出力される画像信号の信号量の平均値であるとした。しかし、これに限定されず、被写体の明度を示す値であればどのような値でもよい。例えば、被写体の明度は、各撮像素子から出力される画像信号の信号量の中央値、最頻値等であってもよい。
また、上記実施形態において、輝度レベルの平均値を被写体の明度としたが、これに限定されず、光度、照度等に基づいて算出された値を被写体の明度としてもよい。

【0100】

なお、上記各実施形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto-Optical disc）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。

【0101】

また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。

【0102】

なお、上述の機能を、ＯＳが分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。

【0103】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0104】

（付記１）
複数の画素が２次元に配列されている撮像素子を有し、該撮像素子の複数の画素の画像信号を１画素に対応する画像信号として読み出す画素加算読み出し法と、全画素又は一部の画素の画像信号を個別に読み出す切り出し読み出し法のうち、いずれか設定された読み出し方法に従って前記複数の画素の画像信号を読み出し、該画像信号を出力する撮像部と、
前記撮像部が出力した前記画像信号により定義される撮像画像を出力する信号処理部と、
ズーム倍率を指定するズーム信号に基づいてズーム倍率を設定するズーム設定部と、
被写体の明るさを示す被写体の明度を検出する明度検出部と、
前記被写体の明度に応じて閾値が変化する閾値特性に基づいて、前記明度検出部が検出した被写体の明度に対応する閾値を特定し、前記設定されたズーム倍率と前記特定された閾値とを比較した結果に基づいて、前記読み出し方法を設定する読み出し方法切替制御部と、
を備えることを特徴とする撮像装置。

【0105】

（付記２）
前記閾値特性は、前記被写体の明度の低下に応じて前記閾値が高くなる特性を有し、
前記読み出し方法切替制御部は、前記閾値特性に基づいて、前記明度検出部が検出した被写体の明度に対応する閾値を特定し、前記設定されたズーム倍率と前記特定された閾値とを比較し、前記設定されたズーム倍率が前記特定された閾値より小さい場合、前記読み出し方法を画素加算読み出し法に設定し、前記設定されたズーム倍率が前記特定された閾値より大きい場合、前記読み出し方法を前記切り出し読み出し法に設定する、
ことを特徴とする付記１に記載の撮像装置。

【0106】

（付記３）
前記閾値特性は、前記読み出し方法毎に前記被写体の明度に応じて閾値が変化する特性を有し、
前記読み出し方法切替制御部は、現在設定されている読み出し方法に対応する前記閾値特性に基づいて、前記明度検出部が検出した被写体の明度に対応する閾値を特定し、前記設定されたズーム倍率と前記特定された閾値との比較結果に基づいて前記読み出し方法を設定する、
ことを特徴とする付記１又は２に記載の撮像装置。

【0107】

（付記４）
画像圧縮率を示す圧縮率情報に基づいて前記信号処理部が出力した前記撮像画像を圧縮する画像圧縮部を備え、
前記閾値特性は、前記画像圧縮率毎に前記被写体の明度に応じて閾値が変化する特性を有し、
前記読み出し方法切替制御部は、前記画像圧縮率に対応する前記閾値特性に基づいて、前記明度検出部が検出した被写体の明度に対応する前記閾値を特定し、前記設定されたズーム倍率と前記特定された閾値との比較結果に基づいて前記読み出し方法を設定する、
ことを特徴とする付記１又は２に記載の撮像装置。

【0108】

（付記５）
前記被写体の明度に応じてゲイン値が変化する明度−ゲイン特性に基づいて、前記明度検出部が検出した被写体の明度に対応するゲイン値を設定するゲイン設定部を備え、
前記撮像部は、前記読み出した画像信号に前記設定したゲイン値を乗じて該画像信号を増幅し、該増幅した画像信号を出力し、
前記閾値特性は、前記明度−ゲイン特性と、前記明度−ゲイン特性に基づいて定まるゲイン値に応じて前記閾値が変化する特性と、を有し、
前記読み出し方法切替制御部は、前記閾値特性に基づいて、前記設定したゲイン値に対応する前記閾値を特定し、前記設定されたズーム倍率と前記特定された閾値とを比較し、前記設定されたズーム倍率が前記特定された閾値より小さい場合、前記読み出し方法を画素加算読み出し法に設定し、前記設定されたズーム倍率が前記特定された閾値より大きい場合、前記読み出し方法を前記切り出し読み出し法に設定する、
ことを特徴とする付記１に記載の撮像装置。

【0109】

（付記６）
前記明度検出部は、明度センサを備える、
ことを特徴とする付記１乃至５のいずれか１に記載の撮像装置。

【0110】

（付記７）
前記明度検出部は、前記撮像部が出力する前記複数の画素の画像信号に基づいて前記被写体の明度を求める、
ことを特徴とする付記１乃至５のいずれか１に記載の撮像装置。

【0111】

（付記８）
読み出し方法切替制御部は、前記被写体の明度に応じて閾値が変化する閾値特性に基づいて、前記明度検出部が検出した被写体の明度に対応する閾値を特定し、前記設定されたズーム倍率と前記特定された閾値とを比較し、該比較により特定されたズーム倍率と閾値との大小関係と、前回行った前記比較により特定されたズーム倍率と閾値との大小関係と、が異なるときには、前記読み出し方法の切り替えを指示する切替信号を出力し、前記読み出し方法を切り替える、
ことを特徴とする付記１に記載の撮像装置。

【0112】

（付記９）
撮像素子の複数の画素の画像信号を１画素に対応する画像信号として読み出す画素加算読み出し法と、全画素又は一部の画素の画像信号を個別に読み出す切り出し読み出し法のうち、いずれかに設定された読み出し方法に従って前記複数の画素の画像信号を読み出し、該画像信号を出力する撮像ステップと、
前記撮像ステップで出力された前記画像信号により定義される撮像画像を出力する信号処理ステップと、
ズーム倍率を指定するズーム信号に基づいてズーム倍率を設定するズーム設定ステップと、
被写体の明るさを示す被写体の明度を検出する明度検出ステップと、
前記被写体の明度に応じて閾値が変化する閾値特性に基づいて、前記明度検出ステップで検出された被写体の明度に対応する閾値を特定し、前記設定されたズーム倍率と前記特定された閾値とを比較した結果に基づいて、前記読み出し方法を設定する読み出し方法切替制御ステップと、
を備えることを特徴とする撮像方法。

【0113】

（付記１０）
コンピュータに、
撮像素子の複数の画素の画像信号を１画素に対応する画像信号として読み出す画素加算読み出し法と、全画素又は一部の画素の画像信号を個別に読み出す切り出し読み出し法のうち、いずれかに設定された読み出し方法に従って前記複数の画素の画像信号を読み出し、該画像信号を出力する撮像ステップと、
前記撮像ステップで出力された前記画像信号により定義される撮像画像を出力する信号処理ステップと、
ズーム倍率を指定するズーム信号に基づいてズーム倍率を設定するズーム設定ステップと、
被写体の明るさを示す被写体の明度を検出する明度検出ステップと、
前記被写体の明度に応じて閾値が変化する閾値特性に基づいて、前記明度検出ステップで検出された被写体の明度に対応する閾値を特定し、前記設定されたズーム倍率と前記特定された閾値とを比較した結果に基づいて、前記読み出し方法を設定する読み出し方法切替制御ステップと、
を実行させるプログラムを格納することを特徴とするコンピュータ読み取り可能な記録媒体。

【0114】

なお、本発明は、本発明の広義の趣旨及び範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。

【0115】

本発明は、２０１１年９月１３日に出願された日本国特許出願２０１１−１９９９９２号に基づく。本明細書中に日本国特許出願２０１１−１９９９９２号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。

【産業上の利用可能性】

【0116】

本発明の撮像装置、撮像方法及びプログラムは、２次元の撮像素子を有するイメージセンサ部を備えた電子スチルカメラ、ビデオカメラ、カメラ付き携帯電話機等に適している。

【符号の説明】

【0117】

１ 撮像部
２ 信号処理部
３ 操作部
４ 明度検出部
５ 制御部
６ 記憶部
７ 表示部
８ コーデック部
９ 表示制御部
１１ イメージセンサ
１２ 撮像素子
５１ ズーム設定部
５２ 読み出し方法切替制御部
５３ ゲイン設定部
７１ 閾値特性テーブル
８１ 画像圧縮部
８２ 画像伸張部
１００ 撮像装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】