特開 2024-162915 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024162915

(43)【公開日】2024-11-21

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 25/76 20230101AFI20241114BHJP

   H04N 25/78 20230101ALI20241114BHJP

   H04N 25/42 20230101ALI20241114BHJP

   H04N 23/54 20230101ALI20241114BHJP

   H04N 23/745 20230101ALI20241114BHJP

【ＦＩ】

H04N25/76

H04N25/78

H04N25/42

H04N23/54

H04N23/745

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023078902

(22)【出願日】2023-05-11

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】前田 真一

【テーマコード（参考）】

5C024

5C122

【Ｆターム（参考）】

5C024CY16

5C024CY45

5C024GY39

5C024GY41

5C122EA13

5C122EA52

5C122FC01

5C122FC02

5C122FC06

5C122FH08

5C122HB01

5C122HB02

(57)【要約】

【課題】 実装面積及び消費電力の両方の観点に基づき、撮像素子と処理部間の伝送を制御する。
【解決手段】 第一の読み出しと第二の読み出しで読み出された画像データを設定された圧縮率に従って符号化する符号化部と、前記符号化部で得たデータを転送する送信側Ｉ／Ｆ部とを有し、前記第一の読み出しと前記第二の読み出しで前記符号化部を共有し、前記第一の読み出しと前記第二の読み出しで前記符号化部の圧縮率が異なる。
【選択図】 図２

【特許請求の範囲】

【請求項1】

複数の画素が行列状に配置され、各画素列に複数の列出力線を備えた画素アレイと、
前記画素アレイから読み出された信号に基づく画像データを圧縮符号化する符号化部と、
前記画像データを出力する出力部と、
前記画素アレイの第１の画素行から第１の列出力線を介して読み出した信号に基づく第１の画像データを前記出力部から出力するとともに、前記画素アレイの前記第１の画素行と異なる第２の画素行から前記第１の列出力線と異なる第２の列出力線を介して読み出した信号に基づく第２の画像データを前記第１の画像データと並行して前記出力部から出力するように制御する制御手段と、を有し、
前記第１の画像データを出力する際に使用する前記出力部のレーン数の方が前記第２の画像データを前記出力部から出力する際に使用する前記出力部のレーン数よりも多く、前記符号化部における前記第１の画像データに対する圧縮率の方が前記符号化部による前記第２の画像データに対する圧縮率よりも高いことを特徴とする撮像装置。

【請求項2】

前記符号化部は、前記第１の画像データと前記第２の画像データを時分割で圧縮符号化することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記符号化部は、前記第２の画像データを圧縮符号化しないことを特徴とする請求項１に記載の撮像装置。

【請求項4】

前記制御手段は、前記符号化部で圧縮符号化された前記第１の画像データと前記第２の画像データのそれぞれのデータ量に応じた前記出力部のレーンを活性化するように制御することを特徴とする請求項１に記載の撮像装置。

【請求項5】

前記制御手段は、前記第１の画像データの圧縮符号化される前のデータ量に基づく前記出力部のレーン数と、前記第１の画像データの圧縮符号化された後のデータ量に基づく前記出力部のレーン数とを比較して前記符号化部による圧縮率を設定し、前記第２の画像データの圧縮符号化される前のデータ量に基づく前記出力部のレーン数と、前記第２の画像データの圧縮符号化された後のデータ量に基づく前記出力部のレーン数とを比較して前記符号化部による圧縮率を設定することを特徴とする請求項４に記載の撮像装置。

【請求項6】

前記第１の画像データはライブビューに用いられ、前記第２の画像データはフリッカ検出に用いられることを特徴とする請求項１に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関するものである。

【背景技術】

【0002】

デジタルカメラ等の撮像装置に備えられる撮像素子の中には、画素部のライン単位で領域ごとに独立して読み出しタイミングを変更し、フレームレートや露出の異なる画像データを並列して出力（所謂マルチストリーム出力）できるものがある。マルチストリーム出力による読み出し画素数の増加に伴い、読み出しデータ量が増加するため、読み出し速度が低下する要因となる。そこで、撮像素子内部で画像データを圧縮処理することによりデータ量を削減することで、読み出し速度低下を抑制することができる。その一方で、圧縮回路の回路規模による撮像素子の面積増大や消費電力が問題となる。

【0003】

撮像素子と画像処理回路のＩ／Ｆ部は、高速な転送速度の要求に対してシリアルの差動信号を転送するように構成される。このシリアルの差動信号は、正負２線のペアを１レーンとして実装し、複数レーンで１つのチャンネルを構成するように定義される。Ｉ／Ｆ部の伝送路帯域は一定であることから、画像データのデータ量が増加することで相対的に全画像信号の転送時間が長くなるという問題がある。

【0004】

転送時間を短縮するためにレーン数を増やすなど高速転送する構成にすると、Ｉ／Ｆ部の消費電力、撮像素子と画像処理回路間の伝送路の実装面積などが問題になり、小規模な撮像装置では実現が困難となる。

【0005】

特許文献１では、Ｒ／Ｂ画素信号とＧｒ／Ｇｂ画素信号をマルチストリームで出力する場合に、各経路に符号化回路をそれぞれ備え、Ｒ／Ｂ画素信号とＧｒ／Ｇｂ画素信号の符号化回路における圧縮率と出力レーン数を異ならせることが記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２１－１３６６０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１に開示された従来技術では、Ｒ／Ｂ画素信号とＧｒ／Ｇｂ画素信号をそれぞれに対応して設けられた符号化回路で圧縮符号化するように構成されている。そのため、２つの符号化回路の実装面積が必要であり、さらに消費電力も大きくなるという課題がある。

【0008】

本発明は上述した課題に鑑みてなされたものであり、その目的は、回路実装面積と消費電力の観点から、撮像された画像データの画像処理部への伝送を適切に制御可能な撮像装置を提供することである。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本発明の撮像装置は、複数の画素が行列状に配置され、各画素列に複数の列出力線を備えた画素アレイと、前記画素アレイから読み出された信号に基づく画像データを圧縮符号化する符号化部と、前記画像データを出力する出力部と、前記画素アレイの第１の画素行から第１の列出力線を介して読み出した信号に基づく第１の画像データを前記出力部から出力するとともに、前記画素アレイの前記第１の画素行と異なる第２の画素行から前記第１の列出力線と異なる第２の列出力線を介して読み出した信号に基づく第２の画像データを前記第１の画像データと並行して前記出力部から出力するように制御する制御手段と、を有し、前記第１の画像データを出力する際に使用する前記出力部のレーン数の方が前記第２の画像データを前記出力部から出力する際に使用する前記出力部のレーン数よりも多く、前記符号化部における前記第１の画像データに対する圧縮率の方が前記符号化部による前記第２の画像データに対する圧縮率よりも高いことを特徴とする。

【発明の効果】

【0010】

本発明によれば、回路実装面積と消費電力の観点から撮像画像データの画像処理部への伝送を適切に制御可能な撮像装置を提供することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態に係る撮像装置の構成例を示す図である。

【図2】本発明の実施形態に係る撮像素子の構成を示す図である。

【図3】本発明の実施形態に係る画像処理回路のブロック図である。

【図4】本発明の実施形態に係る符号化部のブロック図である。

【図5】本発明の実施形態に係る復号部のブロック図である。

【図6】本発明の実施形態に係るＩ／Ｆ送受信部のブロック図である。

【図7】本発明の実施形態に係るライブビューとフリッカ検出モードにおける撮像素子の読み出し行を示す図である。

【図8】本発明の実施形態に係るライブビュー中にフリッカ検出モードを行う際のタイミング図である。

【図9】本発明の実施形態に係る動作フローを示すフローチャートである。

【図10】本発明の第２の実施形態に係る動作フローを示すフローチャートである。

【発明を実施するための形態】

【0012】

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

【0013】

（実施例１）
図１は、本発明の実施形態に係る撮像装置１００の構成例を示す図である。

【0014】

本実施形態による撮像装置１００は、デジタルカメラである。図１に示すように、結像光学系の先端部に第１レンズ群１０１が配置されており、第１レンズ群１０１は光軸方向に進退可能に保持されている。

【0015】

絞り兼用シャッター１０２は、その開口径を調節することで撮影時の光量調節を行うほか、静止画撮影時には露光秒時調節用シャッターとしても機能する。絞り兼用シャッター１０２と第２レンズ群１０３とは一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動によって、変倍作用（ズーム機能）を奏する。第３レンズ群１０４は、光軸方向の進退によって焦点調節を行う。

【0016】

光学的ローパスフィルタ１０５は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０６は、２次元ＣＭＯＳイメージセンサと周辺回路とを含み、結像光学系の結像面に配置される。

【0017】

ズームアクチュエータ１１１は、図示しないカム筒を回動することで、第１レンズ群１０１乃至第３レンズ群１０４を光軸方向に進退駆動し、変倍操作を行う。絞りシャッターアクチュエータ１１２は、絞り兼用シャッター１０２の開口径を制御して撮影光量を調節するとともに、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１３は、第３レンズ群１０４を光軸方向に進退駆動して焦点調節を行う。

【0018】

制御部１２１は、撮像装置１００における種々の制御を司るものであり、図示しないＣＰＵ（演算部）、通信インタフェース回路等を有している。そして、メモリ１３４の有するＲＯＭに記憶された所定のプログラムに基づいて、撮像装置１００の各種回路を駆動し、ＡＦ、撮影、画像処理、記録等の一連の動作を実行する。また、後述するフリッカの周波数を算出するフリッカ演算も行う。

【0019】

画像処理回路１２２は、撮像素子１０６が取得した画像の被写体検出、γ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行う。メモリ１３４はＲＡＭ、ＲＯＭ等であり、所定のプログラムの記憶や、画像処理中の画像データや画像処理に必要なパラメータデータの保持等を行っている。

【0020】

フォーカス駆動回路１２３は、焦点検出結果に基づいてフォーカスアクチュエータ１１３を駆動制御し、第３レンズ群１０４を光軸方向に進退駆動して焦点調節を行う。絞りシャッター駆動回路１２４は、絞りシャッターアクチュエータ１１２を駆動制御して絞り兼用シャッター１０２の開口を制御する。ズーム駆動回路１２５は、撮影者によるズーム操作に応じてズームアクチュエータ１１１を駆動する。

【0021】

表示装置１３１は、例えば背面液晶や電子ビューファインダー等により構成されており、撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態の表示画像等を表示する。操作スイッチ群１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含む。

【0022】

記録媒体１３３は、着脱可能なフラッシュメモリ等であり、撮影により取得した画像ファイルを記録する。

【0023】

図２は、撮像素子１０６の回路構成の一例を示す図である。

【0024】

撮像素子１０６は、画素アレイ２１０と、画素アレイ２１０における画素行を選択する垂直走査回路２０３、画素アレイ２１０における画素列を選択する水平走査回路２０２を備える。列回路２０１は、画素アレイ２１０中の画素のうち垂直走査回路２０３及び水平走査回路２０２によって選択される画素の信号を読み出し、画素信号の増幅、アナログデジタル変換（以下、ＡＤ変換と称す）等の処理を行う。

【0025】

画素アレイ２１０には、複数の単位画素２０５が行列状に配置されている。単位画素２０５の各々は、入射光を光電変換により電気信号に変換する光電変換素子と、複数のトランジスタ素子を有する。単位画素２０５の各々に付されている符号Ｒは赤色、符号Ｇｒ及び符号Ｇｂは緑色、符号Ｂは青色のカラーフィルタが画素上に配置されることを意味する。

【0026】

参照信号発生回路２０５は、複数の列回路２０１を構成する回路に基準電圧を供給する。そして列回路２０１内にあるＡＤ変換回路で画素信号と基準電圧の比較を行う。レジスタ群２０８は、制御部１２１等の外部制御装置からの通信により、各動作モードの設定を記憶する。タイミングジェネレータ２０９は、レジスタ群２０８に記憶された設定に基づき、垂直走査回路２０３や水平走査回路２０２を動作させる。

【0027】

垂直走査回路２０３は、画素アレイ２１０の画素行を選択し、制御部１２１から出力される水平同期信号に基づいて出力される読み出しパルスを、選択画素行において有効にする。列回路２０１は、列毎の信号を増幅するアンプ、単位画素２０５の出力をデジタル信号に変換するＡＤ変換回路、ＡＤ変換結果を保持するメモリ、ＡＤ変換結果またはＡＤ変換前の信号の加算減算処理回路等を含む。そして、選択行の画素信号はアンプを介してメモリに格納される。

【0028】

メモリに格納された１行分の画素信号は、水平走査回路２０２によって列方向に順に選択され、デジタル値となった画素値データが符号化部２１１へ送られる。符号化部２１１では、画素値データを圧縮符号化し、符号化部２１１で符号化された符号化データはラインメモリ２１２に一度保持される。ラインメモリ２１２から画素値データを読み出し、出力部である送信側Ｉ／Ｆ部２１３を介して出力アンプ２１４から外部に出力される。この動作を行数分繰り返し、全ての画素値データが外部に出力される。

【0029】

画素Ｒが配置される画素列（１列目）を例に説明すると、画素Ｒの画素行は列出力線２０６と接続され、画素Ｇｂの画素行は列出力線２０７と接続される。画素Ｇｒが配置される列（２列目）では、画素Ｇｒの画素行は列出力線２０６と接続され、画素Ｂの画素行は列出力線２０７と接続される。この接続パターンが３列目以降の画素においても繰り返される。

【0030】

この構成により、例えば静止画像の読み出しにおいては、画素Ｒの画素行の信号読み出しでは、列出力線２０６を使用し、画素Ｇｂの画素行の信号読み出しでは列出力線２０７を使用する。一方、ライブビュー画像の信号読み出しにおいては、同じ列出力線２０６に接続された画素Ｒの信号を同時に読み出して加算し、同様に列出力線２０７に接続された画素Ｇｂの信号を同時に読み出して加算することが可能となる。

【0031】

また、ライブビュー画像に使用する画素の信号を列出力線２０６で読み出すと同時に、ライブビュー画像に使用されない間引かれた画素の信号を列出力線２０７で読み出すことが可能である。同様に、ライブビュー画像に使用する画素の信号を列出力線２０７で読み出すと同時に、ライブビュー画像に使用されない間引かれた画素の信号を列出力線２０６で読み出すことが可能である。

【0032】

ここでは一例として、１画素列あたりに２本の列出力線を有する構成としているが、１画素列あたりに３本以上の列出力線２０６、２０７を有し、複数行の画素信号を同時に読み出す構成でも良い。例えば、１２本以上の列出力線２０６、２０７を各列に設ける場合には、１回の読み出し動作で１２行分の画像データの読み出しが可能となる。このような列出力線２０６、２０７の多線構成をとる場合には、光の入射面に対して反対側に回路実装が可能な裏面照射型または積層型の構成が好ましい。

【0033】

後段の画像処理回路１２２へ画像データを出力するインタフェースは、ＬＶＤＳ方式やＳＬＶＳ方式等の差動対を用いる高速通信方式が好ましい。なお、画像データを出力するインタフェースとして複数のレーンを備える構成の場合には、レーンごとに異なる信号を出力するようにしてもよい。

【0034】

図３は、画像処理回路１２２の回路構成の一例を示す図である。画像処理回路１２２は、受信部である受信側Ｉ／Ｆ部３０１と、ラインメモリ３０２と、復号部３０３と、画像補正処理部３０４と、現像処理部３０５を備える。

【0035】

受信側Ｉ／Ｆ部３０１は、撮像素子１０６から転送された符号化データを受信し、ラインメモリ３０２に一度保持する。ラインメモリから符号化データを読み出して、復号部３０３で符号化データを復号する。画像補正処理部３０４では、復号された画素値に対して撮像素子のプロセス特性の諸問題（暗電流、シェーディング、画素欠陥等）を補正した後、補正処理された画素信号に対してノイズ処理や偽色対策等の画像処理も行う。

【0036】

画像処理としてレンズ特性（回折や、収差の影響）の補正を実施しても良い。現像処理部３０５で現像した画像データは、制御部１２１を介して表示装置１３１や記録媒体１３３、メモリ１３４等へ出力される。

【0037】

図４は、本実施形態における符号化部２１１のブロック図である。本実施形態における符号化部２１１は、入力画像データを所定の画素数単位に分割した「符号化ブロック」毎に符号化を行う。

【0038】

図４における量子化部４０１は、列回路２０１で量子化されたデジタル値の画像データを設定された量子化パラメータ（以下、ＱＰと称す）に従って再量子化する。このＱＰは、符号量計測部４０４で過去のブロックの符号化データ量の計測及び目標データ量に対する大小判断をして、符号量制御部４０５で次期ＱＰ値を決定（若しくは更新）する。本実施形態では、符号化ブロックの処理中はＱＰ値を変更しないので、符号化ブロックの処理前に次期ＱＰ値を決定する。勿論、符号化ブロック処理の途中でＱＰ値を可変とする様な仕様を採択しても良い。

【0039】

予測部４０２は、符号化ブロックのデータ処理中に上記ＱＰ値が固定であれば単に遅延素子で良い。加算器（減算器）４０７は、量子化された注目画素データと、１処理前の量子化された画素データとの差分値を求め、エントロピー符号化部４０３にその差分値を出力する。

【0040】

エントロピー符号化部４０３は、入力データ値の出現頻度に基づいて符号を割り当てる符号化データ生成を行うエントロピー符号化方式を採る。エントロピー符号化方式の種類は特に問わないが、例えばゴロム符号化やハフマン符号化等である。

【0041】

多重化部４０６は、エントロピー符号化部４０３が生成した符号化データと、符号量制御部４０５が決定したＱＰとを多重化してストリームデータとして出力する。

【0042】

図５は、本実施形態における復号部３０３のブロック図である。分離部５０１は、ストリームデータからＱＰ値と符号化データとを分離し、符号化データをエントロピー復号部５０２に供給し、ＱＰ値を逆量子化部５０５に供給する。エントロピー復号部５０２は、符号化データを符号化とは逆の処理で復号する。

【0043】

加算器５０３は、エントロピー復号部５０２で得た復号結果と、予測部５０４からの予測値とを加算する加算器である。この加算器５０３の出力値は、符号化部２１１における注目画素の量子化結果値と等価の値となる。逆量子化部５０５は、この加算器５０３の出力値を、分離部５０１から供給されたＱＰ値に従って逆量子化し、復号画素データを得る。

【0044】

図６は、実施形態におけるＩ／Ｆ送受信部のブロック図である。ここでは、送信側Ｉ／Ｆ部２１３（出力部）と受信側Ｉ／Ｆ部３０１（受信部）との通信について説明する。本実施形態では、プロトコルを持った高速差動Ｉ／ＦとしてＳＬＶＳ（Ｓｃａｌａｂｌｅ Ｌｏｗ Ｖｏｌｔａｇｅ Ｓｉｇｎａｌｉｎｇ）等のエンベデッドクロック方式を例示する。勿論、ＬＶＤＳ（Ｌｏｗ ｖｏｌｔａｇｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｓｉｇｎａｌｉｎｇ）等他の方式を適宜採用して構わない。

【0045】

図６において、送信側Ｉ／Ｆ部２１３は、変換処理部６０２と、ペイロード化部６０３と、レーン分割部６０４を有する。変換処理部６０２は、符号化部２１１の出力ストリームデータをバイト単位のデータに変換する。ペイロード化部６０３は、センサデータを１水平期間毎にペイロード化する。レーン分割部６０４は、シリアルデータとして複数伝送レーンに分割する。

【0046】

参照符号部６０１は、これら各処理部の制御設定を記憶しておくレジスタ部である。レーン分割部６０４では、バイト単位のままペイロードデータを複数のレーンに分配する。このとき、ライン毎に各レーンの先頭にパケットヘッダ情報を付加する。

【0047】

受信側Ｉ／Ｆ部３０１は、レーン結合部６０６と、ペイロードデータ処理部６０７と、変換部６０８を含む。レーン結合部６０６は、複数レーンのシリアルデータを結合する。ペイロードデータ処理部６０７は、レーン結合後のパケットデータから有効データを抽出する。変換部６０８は、バイト単位のペイロードデータから出力ストリームデータへと変換する。

【0048】

また、参照符号部６０５は、これら処理部の制御設定を記憶するレジスタ部である。送信側Ｉ／Ｆ部２１３や受信側Ｉ／Ｆ部３０１のレジスタ部夫々を更新することで、ライブビュー表示時と撮影時とでデータ転送レーン割当を適宜変更し、レーンの活性・非活性を制御する。

【0049】

次に図７を参照して、ライブビューモードでの動作とフリッカ検出モードの動作について説明する。図７は、撮像素子１０６における単位画素２０５の配列と共に、ライブビューモードでの動作とフリッカ検出モードでの動作において、いずれの行の信号を読み出しの対象とするのかを示している。

【0050】

本実施形態では、マルチストリームの例としてライブビューモードとフリッカ検出モードの組合せを例に説明するが、組合せや用途はこれらに限定されるものではない。例えば、ライブビューモードと調光モード、静止画モードとライブビューモード、動画モードと位相差検出モードといった組合せでも構わない。

【0051】

まず、ライブビューモードでの動作時に信号を読み出す画素行について説明する。ライブビュー動作とは、表示装置１３１に含まれる背面液晶や電子ビューファインダーに画像を表示するものであり、ユーザによる画角の決定や露出条件等の撮影条件の決定のために供されるものである。つまり、記録媒体１３３等に保存されるものではなく、かつ撮像素子１０６に含まれる単位画素２０５の数よりも背面液晶等の画素数は少ないため、すべての単位画素２０５から画像データを読み出す必要はない。そのため、背面液晶等の画素数または行数と同程度に低画素数化して読み出すのが一般的である。

【0052】

一例として、撮像素子１０６に含まれる有効画素数として水平８０００画素、垂直５４００画素を有する場合に、表示装置１３１に表示するために十分なＦｕｌｌＨＤ相当の解像度を得るためには垂直方向に少なくとも３分の１の画素数で足りる。本実施例においては３行周期で読み出し行を間引く例を示す。

【0053】

より詳細には、図７においてＲのカラーフィルタを有する単位画素２０５を含むＲｅｄ行と、Ｂのカラーフィルタを有する単位画素２０５を含むＢｌｕｅ行のそれぞれにおいて、行方向に３行周期で間引くことで低画素化する例を示す。また、３行周期の内、２行を加算し、１行を読み出さない（間引く）例を示す。

【0054】

３行周期やその内の２行を加算平均する読み出し方法は一例であり、例えば５行周期でその内３行を加算平均して読み出すなど、その他の周期でも良い。また、加算の方式としては単純に加算する動作としてもよいし、加算平均をする動作としてもよい。また、２行の信号を加算する方法は異なる行を同時に列出力線２０６、２０７へ接続する加算平均方法を想定しているが、行間の加算平均方法はこれに限らない。

【0055】

次にフリッカ検出モードでの動作時に信号を読み出す画素行について説明する。フリッカ検出モードでの動作では、フレーム内全面での高周波／低周波フリッカの検出が実現できる様にフレームレートや読み出し行を設定することが好ましい。そのため、本実施例において、撮像素子１０６はＲｅｄ行、Ｂｌｕｅ行それぞれ行方向に９行周期に１行読み出す構成としている。

【0056】

また、フリッカ検出モードでの動作時に信号を読み出す画素行は、図３に示すようにライブビューモードでの動作時に信号を読み出さない画素行を用いる。このように、ライブビューモードでの動作時に信号を読み出さない画素行を用いることで、ライブビューモードとフリッカ検出モードを同時に設定することが可能となる。つまり、それぞれのモードについての蓄積とリセットの動作を独立して制御することが可能となる。

【0057】

なお、本実施例において、ライブビューモードでの動作の対象となる画素行と、フリッカ検出モードでの動作の対象となる画素行の夫々から出力する信号は、共通の読み出し回路２０１を用いて処理される。そのため、読み出し回路２０１への読み出しタイミングについて排他で制御される。

【0058】

なお、図７においてはライブビューモードとフリッカ検出モードで動作の対象となる画素行の数について説明したが、水平方向（画素列）の信号読み出し画素数を異ならせても良い。一例として、ライブビューモードでの動作時は、水平方向に間引きや加算をせずに全画素の信号を読み出し、フリッカ検出モードでの動作時は３列周期で１列のみ信号を読み出す構成としても良い。このような構成とすることでフリッカ検出モードでの動作時の読み出しレートを向上させることができる。

【0059】

なお、画像処理回路１２２での処理負荷を優先する場合には、ライブビューモードとフリッカ検出モードでの動作の対象となる画素列の数について同じにするようにしてもよい。画像処理回路１２２は画素行単位で逐次処理を行うため、両モードでの画素数が同一であれば処理パラメータを共通化することも可能となり、処理負荷を下げることも可能となる。

【0060】

図８を参照して、ライブビューモードとフリッカ検出モードを並列動作させる例について説明する。

【0061】

図８においては、フレームレートと対応する１ＶＤ周期において、１枚のライブビュー画像を読み出しつつ、１２フレームのフリッカ検出用画像の読み出しを行う例を示している。図８に示す動作シーケンスによって、撮像素子１０６のライブビューモードでの動作を停止させることなくフリッカ検出モードでの動作を行うことが可能となる。

【0062】

垂直同期信号ＶＤは、制御部１２１から送信され、撮像素子１０６へ入力される信号であり、フレームの開始タイミングを示している。ここでは３０ｆｐｓのフレームレートでライブビュー画像を読み出す例を示す。

【0063】

図８において、時刻Ｔ８０１で撮像素子１０６に垂直同期信号ＶＤが入力され、当該垂直同期信号ＶＤに合わせてライブビューモードでの信号読み出し動作が開始され、Ｍ番目のフレーム画像が読み出される。そして、時刻Ｔ８０３にてフリッカ検出モードでのＮ番目のフレームの信号読み出し動作が開始される。

【0064】

本実施例においては、図２の列出力線２０６でライブビューモードでの信号読み出しを、列出力線２０７でフリッカ検出モードでの信号読み出しを行う。異なる列出力線で信号を読み出すため、ライブビューモードでの信号読み出しとフリッカ検出モードでの信号読み出しを並行して行うことを可能としている。

【0065】

ライブビューモードでの読み出し動作の終了を待つことなく、フリッカ検出モードでの読み出し動作を開始することによって、１周期内でのフリッカ検出モードでの読み出し回数を増せる。さらには、撮像素子１０６が動作する期間を短くして省電力化も実現することができる。また、フリッカ検出モードでの読み出し速度の向上を目的とした場合、ライブビューモードでの読み出し範囲より狭い範囲の画素行からのみ信号を読み出す動作を行うようにしてもよい。

【0066】

フリッカ検出モードでの信号読み出し動作は時刻Ｔ８０６まで繰り返される。本実施例においてはＮ番目のフレームから（Ｎ＋１１）番目のフレームの１２フレーム分についてフリッカ検出モードでの読み出し動作を行う。このとき、フリッカ検出モードの読み出しは、ライブビューモードの１ＶＤ周期（３３．３ｍｓｅｃ）内に収まっている必要はなく、また、両モードにおける蓄積期間は、所定の露出演算結果に基づいて、それぞれ独立に決定される。

【0067】

例えば、直前のフレームまたは直前までの数フレームを用いて被写体が適正露出となるように蓄積期間は決定される。なお、フリッカ検出モードでの動作によって取得された画像はフリッカ演算に用いられ、表示装置１３１等に表示されない。そのため、ライブビューモードでの動作に設定される蓄積期間８１０よりも短い蓄積期間８２０を設定可能である。

【0068】

また、ライブビューモードでの最終画素行における読み出し動作のタイミングよりも前の時刻Ｔ８０２で、フリッカ検出モードでの読み出し動作に対応するリセット動作を行う。リセット動作において列回路２０１は用いる必要がないため、ライブビューモードでの読み出し動作とフリッカ検出モードでのリセット動作を時間的に重複させることが可能である。また同様に、時刻Ｔ８０４において、フリッカ検出モードでの読み出し動作を行っている最中に時刻Ｔ８０５のライブビューモードの読み出し動作に対応するリセット動作を行う。

【0069】

図９は、本実施例の撮像装置１００における撮像動作フローを示すフローチャートである。各ステップの処理は制御部１２１が行う。

【0070】

なお、理解を容易にするため、本実施形態における列回路２０１は、画素アレイ部２１０による撮像信号をデジタルデータに変換する際に１画素につき１４ビットのデジタルデータに変換するものとする。つまり、撮像直後のベイヤ配列のＲ，Ｂ，Ｇｒ，Ｇｂそれぞれの画素は１４ビットで表現される。

【0071】

また、非記録時（シャッターボタンが全押し以外の場合＝非押下、もしくは半押しの場合）のライブビューモードでは、画素を符号化する符号化部２１１は、１画素当たり１０ビットを目標に圧縮符号化を行うものとする。このとき、送信側Ｉ／Ｆ部２１３は、３レーンを活性化（該当する電源供給スイッチをＯＮにする）して転送を行い、受信側Ｉ／Ｆ部３０１も該当する３レーンを活性化して受信を行う。

【0072】

また、フリッカ検出モードでは、符号化部２１１では画像データを符号化せず、送信側Ｉ／Ｆ部２１３は、非圧縮のデータを画像処理回路１２２に伝送する。このとき送信側Ｉ／Ｆ部２１３は、本実施形態では２レーンを用いてフリッカ検出用画像データ（非圧縮の画像データ）転送する。つまり、残りの１レーンは非活性化（該当する電源供給スイッチをＯＦＦにする）とすることで、電力消費を抑える。すなわち、送信側Ｉ／Ｆ部２１１は、５レーンを活性化して転送を行い、受信側Ｉ／Ｆ部３０１も該当する５レーンを活性化して受信を行う。つまり、残りの１レーンは非活性化状態にする。

【0073】

上記を踏まえ、図９のフローチャートに従って本実施例の撮像装置１００における撮像動作フローについて説明する。

【0074】

まず、撮像動作が開始された後にステップＳ９０１にて、制御部１２１は、撮像素子１０６および画像処理回路１２２に対して、ライブビューモードの各種パラメータの設定を行い、さらに垂直同期信号ＶＤの供給を開始する。撮像素子１０６に供給される垂直同期信号ＶＤの周期は、撮像素子１０６が動作するフレームレートに相当し、本実施例においては１／３０ｓｅｃであるとする。

【0075】

制御部１２１は、送信側Ｉ／Ｆ部２１３、および受信側Ｉ／Ｆ部３０１に対して、予め設定された３レーンを活性化し、残りの３レーンを非活性化状態となるように設定する。

【0076】

なお、各種パラメータとしては、撮像素子１０６が動作するための駆動モードの設定パラメータ、蓄積期間やゲイン設定などの露出パラメータを含む。さらに、符号化部２１１の目標圧縮率を「１０／１４」とする情報、送信側Ｉ／Ｆ部２１１に予め設定された３レーンを活性化し、残りの３レーンを非活性化させる情報を少なくとも含む。撮像素子１０６の送信側Ｉ／Ｆ部２１３における送信に用いるレーンと、画像処理回路１２２の受信側Ｉ／Ｆ部３０１における受信に用いるレーンは互いに一致する。

【0077】

次にステップＳ９０２にて、フリッカ検出モードの読み出しを行うかを判定して、フリッカ検出モードの読み出しを行わない場合は、ステップＳ９０３に進む。

【0078】

ステップＳ９０３にて、制御部１２１は、撮像素子１０６においてライブビューモードでの動作を開始する制御を行い、予め設定されたフレームレートで撮像を行い、ライブビュー用の画像データを読み出す。

【0079】

ステップＳ９０４で、各フレームのライブビュー画像については、圧縮率「１０／１４」で圧縮符号化された符号化データがラインメモリ２１２に保持された後、送信側Ｉ／Ｆ部２１３の３レーンを用いて画像処理回路１２２に伝送される。ラインメモリ２１２に符号化データを保持することで、符号化部２１１をライブビュー画像とフリッカ検出用画像との符号化で共有して時分割処理を行うことができる。画像処理回路１２２は、このようにして送信された符号化データを受信し、復号処理を行う。

【0080】

ステップＳ９０５で、ライブビューモードで必要な全画素行の読み出しが完了したかを判定する。そして、ライブビューモードの画像データの出力は垂直同期信号ＶＤの供給タイミングに同期して繰り返し実行して表示装置１３１に表示することで、ライブビュー表示が行われる。

【0081】

ステップＳ９０２にて、フリッカ検出モードの読み出しを行うかを判定して、フリッカ検出モードの読み出しを行う場合は、ステップＳ９０６に進む。

【0082】

ステップＳ９０６にて、制御部１２１は、ステップＳ９０１と同様に、撮像素子１０６および画像処理回路１２２に対して、フリッカ検出モードの各種パラメータの設定を行う。そして、ステップＳ９０７に処理を進める。

【0083】

なお、各種パラメータとしては、蓄積期間やゲイン設定などの露出パラメータ、符号化部２１１の目標圧縮率を「１４／１４」（または非圧縮）とする情報、送信側Ｉ／Ｆ部２１３、および受信側Ｉ／Ｆ部３０１に２レーンを活性化させる情報を少なくとも含む。設定パラメータのうち、絞り値については、絞り兼用シャッター１０２がライブビューモードとフリッカ検出モードで共通のため同一の値となる。

【0084】

ステップＳ９０７にて、制御部１２１は、撮像素子１０６においてフリッカ検出モードでの動作を開始する制御を行い、予め設定されたフレームレートで撮像を行い、フリッカ検出用の画像データを読み出す。

【0085】

ステップＳ９０８で、各フレームのフリッカ検出用画像については、符号化部２１１で符号化を行われていないデータがラインメモリ２１２に保持された後、送信側Ｉ／Ｆ部２１３の２レーンを用いて画像処理回路１２２に伝送される。このとき、フリッカ検出用画像のデータ転送に使用される２レーンは、ライブビュー画像のデータ転送に使用される３レーンとは異なるレーンに割り当てられる。画像処理回路１２２は、このようにして送信されたデータを受信する。符号化部２１１で符号化されていないため、復号部３０３でも復号は行われない。

【0086】

ステップＳ９０９で、フリッカ検出モードで必要な全画素行の読み出しが完了したかを判定し、フリッカ検出モードの画像データの出力はＶＤの供給タイミングに同期して繰り返し実行して制御部１２１でフリッカ演算が行われることになる。

【0087】

制御部１２１は、ステップＳ９１０において露光動作を行うか否かの判定を行う。ここでは操作スイッチ群１３２に含まれるシャッターボタンの全押し（以下、ＳＷ２のＯＮと表記）がなされたか否かの判定を行う。ＳＷ２のＯＮが行われていない場合、制御部１２１はステップＳ９０１からステップＳ９０９までの動作を、フレーム毎に繰り返し行う。ステップＳ９１０でＳＷ２のＯＮが行われていた場合、制御部１２１はステップＳ９１１へと進む。

【0088】

ステップＳ９１１にて、制御部１２１は、ステップＳ９０１、ステップＳ９０６と同様に、撮像素子１０６および画像処理回路１２２に対して、静止画モードの各種パラメータの設定を行う。なお、各種パラメータとしては、蓄積期間やゲイン設定などの露出パラメータ、符号化部２１１の目標圧縮率を「１４／１４」（もしくは非圧縮）とする情報を含む。さらに、送信側Ｉ／Ｆ部２１３、および受信側Ｉ／Ｆ部３０１に５レーンを活性化させる情報を少なくとも含む。つまり、残りの１レーンは非活性化状態にする。

【0089】

次に、ステップＳ９１２において、設定された露光時間が経過したか否かを判定し、経過するまで繰り返す。

【0090】

ステップＳ９１３にて、制御部１２１は、撮像素子１０６において静止画モードでの動作を開始する制御を行い、静止画用の画像データを読み出す。

【0091】

ステップＳ９１４で、静止画画像については、圧縮率「１４／１４」で圧縮符号化された符号化データがラインメモリ２１２に保持された後、送信側Ｉ／Ｆ部２１３の５レーンを用いて画像処理回路１２２に伝送される。画像処理回路１２２は、このようにして送信された符号化データを受信し、復号処理を行う。

【0092】

ステップＳ９１５で、静止画モードで必要な全行を読み出しが完了したかを判定し、全行の読み出しを完了して静止画撮影を行う。

【0093】

本実施形態では、フリッカ検出モードでの読み出しが１２フレームの場合について説明したが、フリッカ検出モード、および調光モード等のその他のモードでの読み出しフレーム数は限定されるものではない。例えば、画像処理回路１２２で単位時間に処理可能な範囲内で、任意のフレーム数を読み出す構成としてもよい。さらに、フリッカ検出モードを非圧縮として、２レーンを活性化する構成としたが、レーン数を削減できる場合は符号化部２１１で圧縮して転送する構成としてもよい。

【0094】

また、本実施形態では、ライブビューモードの圧縮率を「１０／１４」として、３レーンを活性化する構成としたが、さらにレーン数を削減できる場合は圧縮率を高くして転送する構成としてもよい。勿論、圧縮率は、背面液晶や電子ビューファインダーでの表示に耐えうるライブビュー画質を確保した範疇となる。

【0095】

同様に、本実施形態では、静止画時に撮像素子１０６で撮像した画像データを非圧縮で画像処理回路１２２に転送する構成としたが、これに限るものではない。例えば、電子シャッターの幕速向上、伝送路帯域削減による高速連写の実施、熱対策等で任意の圧縮率で圧縮した画像データを撮像素子１０６の出力として画像処理回路１２２で受信しても良い。それに合わせてレーンの活性状態も変えてよい。勿論、記録画像となる画像データに対する圧縮は、画質を確保した範疇となる。

【0096】

以上のように、ライブビューモードでは、符号化部２１１を用いた符号化による圧縮し、且つ、使用する伝送に係るレーン数を制限する。ライブビューモードと同時に動作するフリッカ検出モードでは、符号化部２１１を用いた符号化による圧縮を行わず、圧縮回路の消費電力を削減する。同様に、静止画モードでは、符号化部２１１を用いた符号化による圧縮を行わず、圧縮回路の消費電力を削減する。

【0097】

この結果、ライブビューモードとフリッカ検出モードの同時動作時には、５レーンを活性状態に、静止画モードの動作時には、５レーンを活性状態にして、残りの１レーンは非活性化状態にすることで省電力での伝送ができる。符号化部の圧縮率に応じたＩ／Ｆ上のドライバ、レシーバの活性状態を制御することで、バッテリー消耗を抑えることができる。

【0098】

また、ライブビューモード時も静止画モード時も活性化するレーン数が最大５レーンとなる場合は、撮像素子１０６と画像処理回路１２２の伝送レーン数を５レーンとして、伝送フレキや基板配線を設計してもよい。そのように設計することで、実装面積を削減することができ、撮像装置の小型化に貢献できる。

【0099】

（実施例２）
第１の実施形態では、送信側Ｉ／Ｆ部２１３と受信側Ｉ／Ｆ部３０１のレーン数を予め設定している場合について説明した。第２の実施形態では、送信側Ｉ／Ｆ部２１３と受信側Ｉ／Ｆ部３０１のレーン数を符号化後のデータ量に応じて決定する場合について説明する。

【0100】

図１０のフローチャートを用いて本実施例の撮像装置１００における撮像動作フローについて説明する。各ステップの処理は制御部１２１が行う。

【0101】

まず、撮像動作が開始された後にステップＳ１００１にて、制御部１２１は、撮像素子１０６および画像処理回路１２２に対して、ライブビューモードの各種パラメータの設定を行い、さらに垂直同期信号ＶＤの供給を開始する。撮像素子１０６に供給される垂直同期信号ＶＤの周期は、撮像素子１０６が動作するフレームレートに相当し、本実施例においては１／３０ｓｅｃであるものとする。

【0102】

なお、各種パラメータにおいては、撮像素子１０６が動作するための駆動モードの設定パラメータ、蓄積期間やゲイン設定などの露出パラメータ、符号化部２１１に目標圧縮率を「１０／１４」とする情報を少なくとも含む。

【0103】

次に、ステップＳ１００２にて、フリッカ検出モードの読み出しを行うかを判定して、フリッカ検出モードの読み出しを行わない場合は、ステップＳ１００３に進む。

【0104】

ステップＳ１００３にて、制御部１２１は、撮像素子１０６においてライブビューモードでの動作を開始する制御を行い、予め設定されたフレームレートで撮像を行い、ライブビュー用の画像データを読み出す。

【0105】

ステップＳ１００４で、各フレームのライブビュー画像については、符号化部２１１の符号量計測部４０４で、符号化前のデータ量と、圧縮率「１０／１４」で圧縮符号化された符号化後のデータ量とを比較する。符号化前のデータ量の場合に送信側Ｉ／Ｆ部２１３で使用するレーン数が４レーン、符号化後のデータ量の場合に送信側Ｉ／Ｆ部２１３で使用するレーン数が３レーンと計測されたとする。この場合、符号化後のデータ量で使用されるレーン数が符号化前のデータ量で使用されるレーン数よりも少ないため、送信側Ｉ／Ｆ部２１３、および受信側Ｉ／Ｆ部３０１の３レーンを活性化する。

【0106】

ステップＳ１００５で、ライブビュー画像の画像データについて圧縮率「１０／１４」で圧縮符号化された符号化データがラインメモリ２１２に保持された後、送信側Ｉ／Ｆ部２１３の３レーンを用いて画像処理回路１２２に伝送される。画像処理回路１２２は、このようにして送信された符号化データを受信し、復号処理を行う。

【0107】

ステップＳ１００６で、ライブビューモードで必要な全行を読み出しが完了したかを判定し、ライブビューモードの画像データの出力はＶＤの供給タイミングに同期して繰り返し実行して表示装置１３１に表示することで、ライブビュー表示が行われることになる。

【0108】

ステップＳ１００２にて、フリッカ検出モードの読み出しを行うかを判定して、フリッカモードの読み出しを行う場合は、ステップＳ１００７に進む。

【0109】

ステップＳ１００７にて、制御部１２１は、ステップＳ１００１と同様に、撮像素子１０６および画像処理回路１２２に対して、フリッカ検出モードの各種パラメータの設定を行う。なお、フリッカ検出モード各種パラメータにおいては、ライブビューモードの設定パラメータと同様に、蓄積期間やゲイン設定などの露出パラメータ、符号化部２１１に非圧縮（もしくは目標圧縮率を「１４／１４」）とする情報を少なくとも含む。設定パラメータのうち、絞り値については、絞り兼用シャッター１０２がライブビューモードとフリッカ検出モードで共通のため同一の値となる。

【0110】

ステップＳ１００８にて、制御部１２１は、撮像素子１０６においてフリッカ検出モードでの動作を開始する制御を行い、予め設定されたフレームレートで撮像を行い、フリッカ検出用の画像データを読み出す。

【0111】

ステップＳ１００９で、各フレームのフリッカ検出用画像については、符号化部２１１の符号量計測部４０４で、符号化前のデータ量と、圧縮率「１４／１４」で圧縮符号化された符号化後のデータ量とを比較する。圧縮率「１４／１４」は非圧縮であるため、符号化前のデータ量と符号化後のデータ量は等しくなる。送信側Ｉ／Ｆ部２１３で使用するレーン数が２レーンと計測されたとする。この場合、送信側Ｉ／Ｆ部２１３、および受信側Ｉ／Ｆ部３０１の２レーンを活性化する。

【0112】

ステップＳ１０１０で、各フレームのフリッカ検出用画像については、符号化部２１１で符号化されていないデータがラインメモリ２１２に保持された後、送信側Ｉ／Ｆ部２１３の２レーンを用いて画像処理回路１２２に伝送される。このとき、フリッカ検出用画像のデータ転送に使用される２レーンは、ライブビュー画像のデータ転送に使用される３レーンとは異なるレーンに割り当てられる。画像処理回路１２２は、このようにして送信されたデータを受信する。符号化部２１１で符号化されていないため、復号部３０３でも復号は行われない。

【0113】

ステップＳ１０１１で、フリッカ検出モードで必要な全行を読み出しが完了したかを判定し、フリッカ検出モードの画像データの出力は垂直同期信号ＶＤの供給タイミングに同期して繰り返し実行して制御部１２１でフリッカ演算が行われることになる。

【0114】

制御部１２１は、ステップＳ１０１２において露光動作を行うか否かの判定を行う。ここでは操作スイッチ群１３２に含まれるシャッターボタンの全押し（以下、ＳＷ２のＯＮと表記）がなされたか否かの判定を行う。ＳＷ２のＯＮが行われていない場合、制御部１２１はステップＳ１００１からステップＳ１０１１までの動作を、フレーム毎に繰り返し行う。ステップＳ１０１２でＳＷ２のＯＮが行われていた場合、制御部１２１はステップＳ１０１３へと進む。

【0115】

ステップＳ１０１３にて、制御部１２１は、ステップＳ１００１、ステップＳ１００７と同様に、撮像素子１０６および画像処理回路１２２に対して、静止画モードの各種パラメータの設定を行う。なお、各種パラメータとしては、蓄積期間やゲイン設定などの露出パラメータ、符号化部２１１の目標圧縮率を「１４／１４」（もしくは非圧縮）とする情報を含む。さらに、送信側Ｉ／Ｆ部２１３、および受信側Ｉ／Ｆ部３０１に５レーンを活性化させる情報を少なくとも含む。つまり、残りの１レーンは非活性化状態にする。

【0116】

次に、ステップＳ１０１４において、設定された露光時間が経過したか否かを判定し、経過するまで繰り返す。

【0117】

ステップＳ１０１５にて、制御部１２１は、撮像素子１０６において静止画モードでの動作を開始する制御を行い、静止画用の画像データを読み出す。

【0118】

ステップＳ１０１６で、静止画画像については、符号化部２１１の符号量計測部４０４で、符号化前のデータ量と、圧縮率「１４／１４」で圧縮符号化された符号化後のデータ量とを比較する。圧縮率「１４／１４」は非圧縮であるため、符号化前のデータ量と符号化後のデータ量は等しくなる。送信側Ｉ／Ｆ部２１３で使用するレーン数が５レーンと計測されたとする。この場合、送信側Ｉ／Ｆ部２１３、および受信側Ｉ／Ｆ部３０１の５レーンを活性化する。

【0119】

ステップＳ１０１７で、静止画画像については、符号化部２１１で符号化されていないデータがラインメモリ２１２に保持された後、送信側Ｉ／Ｆ部２１３の２レーンを用いて画像処理回路１２２に伝送される。画像処理回路１２２は、このようにして送信されたデータを受信する。符号化部２１１で符号化されていないため、復号部３０３でも復号は行われない。

【0120】

ステップＳ１０１８で、静止画モードで必要な全行を読み出しが完了したかを判定し、全行の読み出しを完了して静止画撮影を行う。

【0121】

以上のように、本実施形態では、ライブビューモード、フリッカ検出モード、静止画モードそれぞれで使用するレーン数を事前にパラメータ設定することなく、符号化部２１１での目標圧縮率のパラメータ設定を行う。そのようにすることで、各動作モードに適したレーン数を活性化して消費電力を削減することができる。

【0122】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【符号の説明】

【0123】

１０６ 撮像素子
２０６ 列出力線
２１１ 符号化部
２１３ 送信側Ｉ／Ｆ部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】