特許 7410748 撮像装置及びその制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-26

(45)【発行日】2024-01-10

(54)【発明の名称】撮像装置及びその制御方法及びプログラム

(51)【国際特許分類】

   H04N 25/78 20230101AFI20231227BHJP

   H04N 25/70 20230101ALI20231227BHJP

   H04N 23/54 20230101ALI20231227BHJP

   H04N 23/60 20230101ALI20231227BHJP

【ＦＩ】

H04N25/78

H04N25/70

H04N23/54

H04N23/60

【請求項の数】 10

(21)【出願番号】P 2020032190

(22)【出願日】2020-02-27

(65)【公開番号】P2021136603

(43)【公開日】2021-09-13

【審査請求日】2023-02-20

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】平井 雄一

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２０１４－１０３５４３（ＪＰ，Ａ）

【文献】特開２０１９－０９６９２３（ＪＰ，Ａ）

【文献】特開２０１５－０７６６２４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／００－２５／７９

Ｈ０４Ｎ ２３／００－２３／９５９

(57)【特許請求の範囲】

【請求項1】

撮像素子、及び、当該撮像素子から画像データを受信し処理する処理部とを有する撮像装置であって、
撮像素子は、
画素部が格子状に並んだセンサーアレイ部と、
該センサーアレイ部により撮像して得た画像データを、設定された圧縮率に従って符号化する符号化部と、
該符号化部で得たデータを、複数の伝送レーンにおける、設定された数のレーンを介して前記処理部に転送する送信側Ｉ／Ｆ部とを有し、
前記処理部は、
前記送信側Ｉ／Ｆ部に対応する受信側Ｉ／Ｆ部と、
撮像装置の動作状態に従って前記受信側Ｉ／Ｆ部、前記撮像素子における前記符号化部、前記送信側Ｉ／Ｆ部を制御し、受信した画像データを処理する制御部とを有し、
前記制御部は、
撮像装置の動作状態に応じた圧縮率を前記符号化部に設定すると共に、前記圧縮率に基づく数のレーンを活性化するよう前記送信側Ｉ／Ｆ部及び前記受信側Ｉ／Ｆ部に設定する
ことを特徴とする撮像装置。

【請求項2】

前記センサーアレイ部における画素部は、少なくともＲ画素、Ｇ画素およびＢ画素のデータを取得可能に格子状に配置されており、
前記符号化部は、
前記センサーアレイ部で得たラインにおけるＢ画素のデータ及びＲ画素のデータのうち少なくとも一方を符号化する第１の符号化部と、少なくともＧ画素のデータを符号化する第２の符号化部とを含み、
前記送信側Ｉ／Ｆ部は、
前記第１の符号化部で得たデータを伝送するための第１の送信側Ｉ／Ｆ部と、前記第２の符号化部で得たデータを伝送するための第２の送信側Ｉ／Ｆ部を含み、
前記受信側Ｉ／Ｆ部は、
前記第１の送信側Ｉ／Ｆ部からのデータを受信するための第１の受信側Ｉ／Ｆ部と、前記第２の送信側Ｉ／Ｆ部からのデータを受信するための第２の受信側Ｉ／Ｆ部とを含む
ことを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記制御部は、
撮像装置が表示部へのライブビューを表示している状態の場合は、第１の圧縮率を前記第１の符号化部に設定すると共に、前記第１の圧縮率よりも低い第２の圧縮率を前記第２の符号化部に設定し、前記第１の送信側Ｉ／Ｆ部及び前記第１の受信側Ｉ／Ｆ部に対して前記第１の圧縮率に応じた数のレーンを活性化し、前記第２の送信側Ｉ／Ｆ部及び前記第２の受信側Ｉ／Ｆ部に対して前記第２の圧縮率に応じた数のレーンを活性化し、
撮像装置が撮像した画像の記録媒体への記録する状態の場合は、前記第１の符号化部及び前記第２の符号化部に対して非圧縮となるよう設定し、前記第１の送信側Ｉ／Ｆ部、前記第２の送信側Ｉ／Ｆ部、前記第１の受信側Ｉ／Ｆ部、及び、前記第２の受信側Ｉ／Ｆ部に対して全レーンを活性化する
ことを特徴とする請求項２に記載の撮像装置。

【請求項4】

前記撮像素子は、センサーアレイ部を有する第１のチップと、前記符号化部及び前記送信側Ｉ／Ｆ部を有する第２のチップとを積層した構成であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。

【請求項5】

前記制御部は、Ｒ画素のデータおよびＢ画素のデータの圧縮率がＧ画素のデータの圧縮率よりも高くなるように前記符号化部に設定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。

【請求項6】

前記制御部は、
撮像装置が表示部へのライブビューを表示している状態の場合は、第１の圧縮率を前記第１の符号化部に設定すると共に、前記第１の圧縮率よりも低い第２の圧縮率を前記第２の符号化部に設定し、前記第１の送信側Ｉ／Ｆ部及び前記第１の受信側Ｉ／Ｆ部に対して前記第１の圧縮率に応じた数のレーンを活性化し、前記第２の送信側Ｉ／Ｆ部及び前記第２の受信側Ｉ／Ｆ部に対して前記第２の圧縮率に応じた数のレーンを活性化し、
撮像装置が撮像した画像の記録媒体への記録する状態の場合は、前記第１の符号化部及び前記第２の符号化部に対して同じ圧縮率である第３の圧縮率となるよう設定し、前記第１の送信側Ｉ／Ｆ部及び前記第１の受信側Ｉ／Ｆ部に対して前記第３の圧縮率に応じた数のレーンを活性化し、前記第２の送信側Ｉ／Ｆ部及び前記第２の受信側Ｉ／Ｆ部に対して前記第３の圧縮率に応じた数のレーンを活性化し、前記第３の圧縮率は、前記第１の圧縮率以下の圧縮率である
ことを特徴とする請求項２に記載の撮像装置。

【請求項7】

前記制御部は、
撮像装置が表示部へのライブビューを表示している状態の場合は、第１の圧縮率を前記第１の符号化部に設定すると共に、前記第１の圧縮率よりも低い第２の圧縮率を前記第２の符号化部に設定し、前記第１の送信側Ｉ／Ｆ部及び前記第１の受信側Ｉ／Ｆ部に対して前記第１の圧縮率に応じた数のレーンを活性化し、前記第２の送信側Ｉ／Ｆ部及び前記第２の受信側Ｉ／Ｆ部に対して前記第２の圧縮率に応じた数のレーンを活性化し、
撮像装置が撮像した画像の記録媒体への記録する状態の場合は、前記第１の圧縮率よりも低い第３の圧縮率を前記第１の符号化部に設定し、前記第２の圧縮率よりも低い第４の圧縮率を前記第２の符号化部に設定し、前記第１の送信側Ｉ／Ｆ部及び前記第１の受信側Ｉ／Ｆ部に対して前記第３の圧縮率に応じた数のレーンを活性化し、前記第２の送信側Ｉ／Ｆ部及び前記第２の受信側Ｉ／Ｆ部に対して前記第４の圧縮率に応じた数のレーンを活性化する
ことを特徴とする請求項２に記載の撮像装置。

【請求項8】

画素部が格子状に並んだセンサーアレイ部と、該センサーアレイ部により撮像して得た画像データを、設定された圧縮率に従って符号化する符号化部と、該符号化部で得たデータを、複数の伝送レーンにおける、設定された数のレーンを介して送信する送信側Ｉ／Ｆ部とを有する撮像素子と、
前記送信側Ｉ／Ｆ部に対応する受信側Ｉ／Ｆ部と、撮像装置に動作状態に従って前記受信側Ｉ／Ｆ部、前記撮像素子における前記符号化部、前記送信側Ｉ／Ｆ部を制御し、受信した画像データを処理する制御部とを有する処理部と
を有する撮像装置の制御方法であって、
前記制御部は、
撮像装置の動作状態に応じた圧縮率を前記符号化部に設定すると共に、前記圧縮率に基づく数のレーンを活性化するよう前記送信側Ｉ／Ｆ部及び前記受信側Ｉ／Ｆ部に設定する
ことを特徴とする撮像装置の制御方法。

【請求項9】

前記撮像素子は、センサーアレイ部を有する第１のチップと、前記符号化部及び前記送信側Ｉ／Ｆ部を有する第２のチップとを積層した構成であることを特徴とする請求項８に記載の撮像装置の制御方法。

【請求項10】

撮像装置のプロセッサが読み込み実行することで、前記プロセッサに、請求項８に記載の方法が有する工程を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及びその制御方法及びプログラムに関するものである。

【背景技術】

【0002】

デジタルカメラに代表される撮像装置は、撮像素子と処理部とを備えている。撮像素子はＣＭＯＳイメージセンサ（以下、単にＣＭＯＳセンサ）が主流である。撮像素子は、光学情報を電気信号に変換する光電変換素子、該光電変換素子から電荷を電圧として読み出すトランジスタ及びその駆動制御部、読み出した電圧信号をデジタル値に変換するＡＤ変換器、そして、デジタル信号を撮像素子から外部に転出するためのインターフェース（以下、Ｉ／Ｆ部）を具備する。

【0003】

ＣＭＯＳセンサは、格子状に画素配列をしてライン単位に画素値を読み出すスリットローリング読み出し制御が主流である。このスリットローリング読み出しでは、電子シャッターの走査速度が遅いと、動きのある被写体が歪むという問題がある。そのため、電子シャッター走査を高速にしたい、という要求がある。静止画撮影が主のスチルカメラでは、メカシャッターであっても、高速連写撮影のために前記ライン単位の画素値読み出しを高速にしたい要求がある。

【0004】

ＣＭＯＳセンサにおけるライン単位画素読み出しの高速化のため、ライン方向と直行した垂直方向の画素信号伝達線（以下、垂直線）を列毎に複数配線し、１ライン単位（以下、１Ｈ）の読み出し時間を短縮するよう読み出し制御が行われる。また、複数ラインを同時に読み出し可能な様に垂直線を配線することで、フレーム全体の走査速度を上げ、スリットローリング読み出しの走査速度向上や連写速度向上を目論んでいる。

【0005】

複数の垂直線で読み出した画素信号を、列方向に１以上で任意に分割された単位で一度にデジタル化するために、ＣＭＯＳセンサにはＡＤ変換処理をするための列回路（プリアンプ、サンプル／ホールド回路、ＡＤ変換器等）を複数配置する。デジタル化後の信号を、例えばシリアルの差動信号に変換して後段の処理部へと転送する。このデジタル化後の信号は、ＣＭＯＳセンサ内でクランプしたり、デジタルゲインをかけたり、等、デジタル信号処理を施しても良い。

【0006】

処理部は、１つ以上のＬＳＩチップとして実装されることが多い。ＣＭＯＳセンサ等撮像素子と処理部のＩ／Ｆ部は、高速な転送速度の要求に対して前述の様なシリアルの差動信号で実装される。このシリアルの差動信号は、正負２線のペアを１レーン（lane）として実装し、複数レーンで１つのチャンネル（ch）を構成するように定義される。

【0007】

光学ファインダ（以下、ＯＶＦ）を持たず電子ビューファインダ（以下、ＥＶＦ）を搭載するデジタルスチルカメラでは、撮影時のライブビュー（以下、ＬＶ）表示のための撮像処理が必要である。画像品質としてはフルＨＤ（High Definition）程度の画素数を読み出すが、このときの撮像素子の読み出しは画素間引き（飛び飛びに読む様）や、画素加算等を実施して、表示上過剰な画素数分の情報の削減を実施する。

【0008】

ＬＶ表示においては、ＥＶＦの表示品質や動体追尾の追尾性能向上のために、撮像フレームレートの向上が要求される。それはＩ／Ｆ部の伝送路帯域への向上の要求でもある。

【0009】

特許文献１には、Ｉ／Ｆ間の通信帯域の不足をイメージセンサの撮像性能の向上の阻害と捉えて、その改善のために、撮像素子に画像データを圧縮するデータ圧縮部を備えることを開示している。

【先行技術文献】

【特許文献】

【0010】

【文献】特開２０１４－１０３５４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

上記のＩ／Ｆのチャンネル毎のレーン数は、記録用静止画の連写撮影時や、間引き無しの記録用動画撮影時に必要な伝送帯域を実現するように割り出されたものである。記録用途では無いＬＶ表示には、画像データを削減して伝送路帯域を低減し、Ｉ／Ｆのドライバレ、シーバ双方の活性レーン数を、記録画像転送時よりも絞り、カメラのバッテリー消耗を低減したい。しかしながら、ＬＶ表示時のＥＶＦの表示画像品質の劣化も避けたい。

【0012】

本発明はかかる問題に鑑みなされたものであり、画質及び消費電力の両方の観点から、撮像素子と処理部間の伝送を制御する技術を提供しようとするものである。

【課題を解決するための手段】

【0013】

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
撮像素子、及び、当該撮像素子から画像データを受信し処理する処理部とを有する撮像装置であって、
撮像素子は、
画素部が格子状に並んだセンサアレイ部と、
該センサアレイ部により撮像して得た画像データを、設定された圧縮率に従って符号化する符号化部と、
該符号化部で得たデータを、複数の伝送レーンにおける、設定された数のレーンを介して前記処理部に転送する送信側Ｉ／Ｆ部とを有し、
前記処理部は、
前記送信側Ｉ／Ｆ部に対応する受信側Ｉ／Ｆ部と、
撮像装置の動作状態に従って前記受信側Ｉ／Ｆ部、前記撮像素子における前記符号化部、前記送信側Ｉ／Ｆ部を制御し、受信した画像データを処理する制御部とを有し、
前記制御部は、
撮像装置の動作状態に応じた圧縮率を前記符号化部に設定すると共に、前記圧縮率に基づく数のレーンを活性化するよう前記送信側Ｉ／Ｆ部及び前記受信側Ｉ／Ｆ部に設定することを特徴とする。

【発明の効果】

【0014】

本発明によれば、画質及び消費電力の両方の観点から、撮像素子と処理部間の伝送を制御することが可能になる。

【図面の簡単な説明】

【0015】

【図1】実施形態における撮像装置の要部ブロック図。

【図2】実施形態における撮像素子のセンサーアレイ部の画素部を示す図。

【図3】実施形態における、符号化部の要部ブロック図。

【図4】実施形態における復号部の要部ブロック図。

【図5】実施形態におけるＩ／Ｆ部の要部ブロック図。

【図6】積層センサの実装例を示す図。

【図7】実施形態における撮像素子と処理部間の伝送に係る設定処理を示すフローチャート。

【発明を実施するための形態】

【0016】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0017】

［第１の実施形態］
図１は、第１の実施形態における撮像装置の要部ブロック図であり、撮像素子1と処理部2それぞれの構成と、その間の接続（通信）の様を示している。

【0018】

撮像素子1は、光学情報を電荷に変換する光電変換部を含む画素部を格子状に配置したセンサーアレイ部101と、列ＡＤ変換部102a, 102bと、列ＡＤ変換部からの出力をデジタル値として一旦保持する列メモリ103a, 103bと、デジタル値となった画素値データで符号化ブロックを構成してそれを圧縮符号化する符号化部104a,104bと、符号化部104a,104bで符号化された符号化データを送信する送信側Ｉ／Ｆ105, 106と、外部から撮像素子1内の機能を制御するためのレジスタ108への設定を受信するシリアルI/F部107と、フレームデータ撮像のためのタイミング制御を行うタイミングジェネレータ（TG）109と、センサーアレイ部101中の画素部のリセット・転送・選択制御を行うアレイ制御部110と、ＡＤ変換部102a,102bへリファレンス電圧を供給するためのランプ信号生成部111と、を含む。

【0019】

撮像素子1には、ＡＤ変換部以降は同期動作であるのでクロックを供給する構成も搭載されるが、不図示とする。また、レジスタ108からの各構成への配線も煩雑になるので不図示としている。

【0020】

処理部2は、装置全体の制御を司るプロセッサとしてのＣＰＵ201を含む。この処理部2は、撮像素子1から転送された符号化データを受信するI/F部202, 203と、受信した符号化データを復号する復号部204a, 204bと、符号化ブロック毎に復号された画素値をセンサーアレイ部の画素配列等に並べ直す画素配列調整部205と、画素値に対して撮像素子のプロセス特性の諸問題（暗電流、シェーディング、画素欠陥等）を補正する信号処理部206と、信号処理された画素信号に対してノイズ処理や偽色対策等画像処理を行う処理部207と、を含む。画像処理としてレンズ特性（回折や、収差の影響）の補正を実施しても良い。また、処理部2は、同期信号生成部（Synchronous Signal Generator：以下、SSG）212を含み、フレーム撮像のための垂直同期信号を撮像素子1に供給する。また、処理部2は、該撮像素子1の制御設定（レジスタ108への設定値）を転送するためのシリアルI/F部208を有する。このシリアルI/Fは汎用なもので構わない。

【0021】

また、処理部2には、ＲＯＭ3、ＤＲＡＭ4が接続されている。ＲＯＭ3は、処理部2内のＣＰＵ201のプログラムや、信号処理部206や画像処理部207のパラメータを格納保持する。処理部２内の制御部210はこのＲＯＭ３へのアクセスを制御する。ここでいうＲＯＭ3は不揮発性メモリを指し、フラッシュメモリ等の実装で良い。

【0022】

ＤＲＡＭ4は、画像データを記憶可能な大容量メモリであり、処理部2内の制御部209はこのＤＲＡＭ4へのアクセスを制御する。そして、処理部2内における参照符号211は、これらプログラムやパラメータ、画像データ等の転送用のバスである。操作部５は、ユーザからの指示をＣＰＵ201に通知するためのスイッチやボタン（シャッターボタン等）を含み、ＣＰＵ201に接続されている。シャッターボタン（不図示）は、操作途中の押下状態（いわゆる半押し状態）と、全押しの押下状態を受け付けるものとし、半押しで後述する記録の下準備処理を行い、全押しで撮像画像の記録処理を実行する。

【0023】

撮像素子1のセンサーアレイ部101の画素部は、少なくとも異なる波長の光学情報（例えば、Ｒ、Ｇ、Ｂの色情報や、その補色関係の色情報、等）を光電変換可能な様に、格子状に配置されていればよい。代表的なベイヤ配列の他、例えば、田の字状に任意の４色（｛Ｒ，Ｇ，Ｂ，Ｗ（カラーフィルター無しの輝度情報）｝や、ＩＲ（赤外）情報画素を含んでも良い）を配列しても良いし、1画素位置に層（深度）方向に異なる波長を検波する光電変換幕（不図示）の様な構成でも良い。本実施形態では、センサーアレイ部101はベイヤ配列とし、該センサーアレイ部101から１ラインのデータを読み出し、転送する場合を説明する。ベイヤ配列であるので、その１つのラインは、Ｇ画素とＲ画素が交互に並んだラインか、Ｇ画素とＢ画素が交互に並んだラインかのいずれかとなる。上述の様に、センサーアレイ部101における配置はベイヤ配列に拘らない。

【0024】

図２は、本実施形態における撮像素子1のセンサーアレイ部101における画素部の半導体構成を回路要素で等価モデル化したものである。図中、参照符号30a,30b,30c,30dそれぞれは１画素を表している。実施形態における画素の配列はベイヤ配列である。それ故、例えば、参照符号30aがＲ画素である場合は、参照符号30bはＧｒ画素（Ｒ画素のあるラインのＧ画素）、参照符号30cはＧｂ画素（Ｂ画素のあるラインのＧ画素）、参照符号30dはＢ画素となる。

【0025】

ここで、図２における画素30aの構成に更に詳しく説明する。参照符号31は光電変換部（フォトダイオード、以下、単にＰＤ）であり、容量成分は不図示であるが蓄積電荷はここに保持される。参照符号32は転送トランジスタであり、信号sig_301aの制御によってＰＤ31に蓄積した電荷をフローティングディフュージョン（以下、ＦＤ）34に転送する。参照符号33はリセットトランジスタであり、信号sig_302aの制御によってＦＤ34の蓄積状態を電源の電位にリセットする。

【0026】

ＦＤ34の容量は、各トランジスタ間の配線容量等から成り、ＦＤの蓄積電荷は同図増幅トランジスタ35を介して増幅された電圧値として、垂直線sig_304へと出力される。垂直線（sig_304, sig_305）毎に電流源（不図示）が実装されており、画素出力はソースフォロワ構成として、複数の異なるラインの同列位置の画素出力が接続されている。

【0027】

垂直線sig_304への電荷の読み出しは、選択トランジスタ36を信号sig_303aで制御することによって行う。垂直線sig_304は、図１のＡＤ変換部102aに接続される。同様に、垂直線sig_305はＡＤ変換部102bに接続される。

【0028】

ＡＤ変換部102a,102bは選択されたラインの列毎の画素のアナログ値をデジタル値に変換する。ＡＤ変換部102a,102bの初段にはコンパレータ（不図示）が実装され、前述のランプ信号生成部111からのリファレンス信号としてのランプ信号と、垂直線上の画素出力値との比較を実行し、カウンタでコンパレータ出力反転までの期間をカウントすることで、デジタル値を得る。

【0029】

今、２垂直線でベイヤ配列の画素配列から１ライン毎のデータ読み出しを実行する例示においては、ＡＤ変換部102aにはＲ画素（又はＢ画素）が、ＡＤ変換部102bにはＧｒ画素（又はＧｂ画素）が転送され、ＡＤ変換が行われる。ＡＤ変換された画素データは、メモリ103a,103bに一旦保持され、符号化部104a,104bは、予め設定された符号化ブロック毎の圧縮符号化を行う。

【0030】

次に実施形態における符号化部104a，104bについて説明する。これら符号化部104aと104bは共に同じ構成である。ここでは符号化部014aについて説明する。図３は、本実施形態における符号化部104aの要部ブロック図である。

【0031】

本実施形態における符号化部104aは、入力画像データを所定の画素数単位に分割した「符号化ブロック」毎に符号化を行う。

【0032】

図３における量子化部1041は、ＡＤ変換部102aで量子化されたデジタル値の画像データを、設定された量子化パラメータ（以下、ＱＰ）に従って再量子化する。このＱＰは、符号量計測部1044で過去のブロックの符号化データ量の計測及び目標データ量に対する大小判断をして、符号量制御部1045で次期ＱＰ値を決定（若しくは更新）する。本実施形態では、符号化ブロックの処理中は、ＱＰ値は変更しないので、符号化ブロックの処理前に次期ＱＰ値を決定する。勿論、符号化ブロック処理の途中でＱＰ値を可変とする様な仕様を採択しても良い。

【0033】

予測部1042は、符号化ブロックのデータ処理中に上記ＱＰ値が固定であれば単に遅延素子で良い。加算器（減算器）1047は、量子化された注目画素データと、１処理前の量子化された画素データとの差分値を求め、エントロピー符号化部1043にその差分値を出力する。

【0034】

エントロピー符号化部1043は、入力データ値の出現頻度に基づいて符号を割り当てる符号化データ生成を行うエントロピー符号化方式を採る。エントロピー符号化方式の種類は特に問わないが、例えばゴロム符号化やハフマン符号化等である。

【0035】

多重化部1046は、エントロピー符号化部1043が生成した符号化データと、符号量制御部1045が決定したＱＰとを多重化してストリームデータとして出力する。なお、不図示であるが、符号化ブロックの先頭データは、予測部1042の出力が得られないので、量子化部1041の出力をＰＣＭデータとして多重化部1046に入力するパスを持っても良い。

【0036】

次に、処理部2における復号部204a,204bについて説明する。これら復号部204aと204bは共に同じ構成である。ここでは復号部204aについて説明する。図４は、本実施形態における復号部204aの要部ブロック図である。

【0037】

分離部2041は、ストリームデータからＱＰ値と符号化データとを分離し、符号化データをエントロピー復号部2042に、ＱＰ値を逆量子化部2045に供給する。エントロピー復号部2042は、符号化データを符号化とは逆の処理で復号する。

【0038】

加算器2043は、エントロピー復号部2042で得た復号結果と、予測部2044からの予測値とを加算する加算器である。この加算器2043の出力値は、符号化部104aにおける注目画素の量子化結果値と等価の値となる。逆量子化部2045は、この加算器2043の出力値を、分離部2041から供給されたＱＰ値に従って逆量子化し、復号画素データを得る。不図示であるが、PCMデータとして転送された符号化ブロックの先頭データは、逆量子化部2045に入力されると共に、予測部2044の初期値としてセットされても良い。

【0039】

上記は復号部204aの構成と動作であるが、復号部204bも同じである。ただし、実施形態の場合、復号部204aはＢ画素のブロック、又はＲ画素のブロックを復号するのに対し、復号部204bはＧ画素（Ｇｒ，Ｇｂのいずれか）のブロックを復号する点が異なる。復号部204a,204b夫々から出力された画素データは、画素配列調整部205に供給され、ここで後段の信号処理部206, 画像処理部207に適した走査順へとアライメント調整されることになる。クロストーク等のセンサ読み出し順に関る信号劣化は、アライメント調整前に補正した方が合理的であるが、本実施例では周辺の参照画素を要する画素欠陥補正を考慮した実装形態としている。アライメント調整と信号処理との順番は、特に限定しない。

【0040】

図１における撮像素子１内の送信側Ｉ／Ｆ部105は、リンク層処理部105aと物理層処理部105bを有する。リンク層は、フレームデータを転送チャンネル毎に分割（リンク分割）した分割データ単位で、ペイロードデータを処理する。本実施形態では、Ｒ画素（又はＢ画素）で構成する分割データが存在し、前記センサーアレイ部101からの読み出しが１ライン毎であれば、分割データもライン毎に、Ｒ画素→Ｂ画素→Ｒ画素→Ｂ画素のように、切り替わる。つまり、この送信側Ｉ／Ｆ部105はＲ画素、Ｂ画素の転送処理を行う。

【0041】

送信側Ｉ／Ｆ部106は、送信側Ｉ／Ｆ部105と同様、リンク層処理部106aと物理層処理部106bを有し、同様の処理を行う。ただし、実施形態における送信側Ｉ／Ｆ部106は、センサーアレイ部101からの読み出しが１ライン毎であれば、分割データもライン毎に（Ｇｒ画素→Ｇｂ画素の様）切り替わる。つまり、この送信側Ｉ／Ｆ部106はＧ画素の転送処理を行う。

【0042】

図５は、実施形態におけるＩ／Ｆ送受信部要部ブロック図示である。ここでは、送信側I/F部105と受信側I/F部202との通信について説明する。他方（送信側Ｉ／Ｆ部106と受信側Ｉ／Ｆ部202）も同様である。本実施形態では、プロトコルを持った高速差動Ｉ／ＦとしてＳＬＶＳ（Scalable Low Voltage Signaling）等のエンベデッドクロック方式を例示する。勿論、LVDS（Low voltage differential signaling ）等他の方式を適宜採用して構わない。

【0043】

図５において、リンク層処理部105aは、符号化部104aの出力ストリームデータをバイト単位のデータに変換する変換処理部501と、センサデータを1H毎にペイロード化するペイロード化部502と、シリアルデータとして複数伝送レーンに分割するレーン分割部503と、を有する。図示の参照符号500は、これら各処理部の制御設定を記憶しておくレジスタ部であり、前記図１中のレジスタ108を外部からの設定受信のための一次レジスタとすると、実際に一次レジスタ更新の裏で動作状態として関る二次レジスタとして存在し、転送処理中のレジスタ108の更新を可能とする。レーン分割部503では、バイト単位のままペイロードデータを複数のレーンに分配する。このとき、ライン毎に各レーンの先頭にパケットヘッダ情報を付加する。

【0044】

物理層処理部105bは、制御情報を記憶しておくレジスタ部504と、ドライバ制御部505と、パケット制御部506と、各レーンのシリアル信号のドライバ512～516と、ドライバ512～516の電源供給スイッチ507～511とを含む。

【0045】

本実施形態では、送信側Ｉ／Ｆ部105(106)が１つのチャンネルを受け持つが、１つの送信側I/F部105(106)が複数チャンネルを扱っても良い。

【0046】

図５中パケット制御部506では、パケットの開始、終了等制御情報を含む制御コードの挿入と、エンベデッドクロック方式の特徴であるデータとクロックの混在／分離のための8b10bシンボル符号化と、シリアライズを含む。シリアル化したパケットデータは、差動信号のドライバ512（～516）から送信されて、伝送路517（～521）上を伝達して、処理部2側のレシーバ528（～532）で受信される。レシーバ側回路はハイインピーダンスのため、直前に反射防止の終端抵抗を図示している。伝送路の特性インピーダンスに合致した終端抵抗値とすれば良い。

【0047】

処理部2内の受信側I/F部202は、物理層処理部202aとリンク層処理部202bを有する。本実施形態においては、リンク分割は撮像素子１側の画素読み出しによって決定しており、I/F部202はＲ画素（またはＢ画素）の受信処理を行う。

【0048】

図５における、物理層処理部202aは、送信側Ｉ／Ｆ部105の物理層処理部105bの出力の差動信号を受信する。図５における参照符号528～532はレシーバであり、差動信号を受信して振幅信号を得る。参照符号523～527は、レシーバ528～532の電源供給スイッチである。この電源供給スイッチは、レシーバ制御部534により制御される。パケット解析部533（図示では５つ）は、受信したシリアル信号からシンボル情報を取得し、クロックとバイトデータを復号して、送信側で挿入した制御コードを検出する。また、パケット解析部533は、レーン間のスキュー調整を実施しても良い。図５のレジスタ部535は、それら制御情報を記憶する。また、パケット解析部入力端子は、前記電源供給スイッチをOFFにしてレーンが非活性となったときに信号電位が不安定状態にならない様、レシーバ回路の出力信号をプルアップ抵抗で電源電位に接続しておいても良い（不図示）。

【0049】

リンク層処理部202bは、複数レーンのシリアルデータを結合するレーン結合部536と、レーン結合後のパケットデータから有効データを抽出するペイロードデータ処理部537と、バイト単位のペイロードデータから符号化部104aの出力ストリームデータへと変換する変換部538を含む。また、リンク層処理部202b中の参照符号539は、これら処理部の制御設定を記憶するレジスタ部である。送信側I/F部105や受信側I/F部202のレジスタ部夫々を更新することで 、LV表示時と撮影時とでデータ転送レーン割当を適宜変更し、レーンの活性・非活性を制御する。

【0050】

次に、ＣＰＵ201による制御処理を図７について説明する。

【0051】

なお、理解を容易にするため、実施形態におけるＡＤ変換部102a,102bは、センサーアレイ部101による撮像信号をデジタルデータに変換する際に1画素につき14ビットのデジタルデータに変換するものとする。つまり、撮像直後のベイヤ配列のＲ，Ｂ，Ｇｒ，Ｇｂそれぞれの画素は14ビットで表現される。また、不図示の記録媒体に撮像画像を記録すべく、ユーザがシャッターボタンを全押した場合には最高の画質とすべく、符号化部104a,104bは符号化せず、送信側Ｉ／Ｆ部105,106は非圧縮のデータを、処理部2に伝送する。このとき送信側Ｉ／Ｆ部105,106は、共に全レーン（実施形態の場合にはそれぞれ５レーン）を用いて撮像画像データ（非圧縮の画像データ）転送する。また、非記録時（シャッターボタンが全押し以外の場合＝非押下、もしくは半押しの場合）では、Ｒ画素、Ｂ画素を符号化する符号化部104aは１画素当たり6ビットを目標に圧縮符号化を行い、Ｇ画素（Ｇｂ、Ｇｒ画素）を符号化する符号化部104bは１画素当たり10ビットを目標に圧縮符号化するものとする。符号化部104bに設定する圧縮率（目標符号量）が、符号化部104aに設定する圧縮率よりも大きいのは、Ｇ画素の波長特性が人間の被視感度曲線（輝度の特性）に近いためである。また、送信側Ｉ／Ｆ部105は、３レーンを活性化（該当する電源供給スイッチをONにする）して転送を行い、Ｉ／Ｆ部202も該当する３レーンを活性化して受信を行う。つまり、それぞれの残りの２レーンは非活性化（該当する電源供給スイッチをOffにする）とすることで、電力消費を抑える。また、送信側Ｉ／Ｆ部106は、４レーンを活性化して転送を行い、Ｉ／Ｆ部203も該当する４レーンを活性化して受信を行う。つまり、それぞれの残りの１レーンは非活性化状態にする。

【0052】

上記を踏まえ、図７のフローチャートに従って説明する。

【0053】

本装置の電源がONになり、撮影モードとなると、S71にて、ＣＰＵ201は初期化処理を行う。

【0054】

次に、S72にて、ＣＰＵ201は、表示部（不図示）へのLV表示を行うべく、撮像素子１・処理部２間の伝送を省電力伝送モードに設定する。以下は、このS72の処理の詳細である。

【0055】

ＣＰＵ201は、Ｒ、Ｂ画素の符号化データを受信するＩ／Ｆ部202に対しては、予め設定された３レーンを活性化し、残りの２レーンを非活性化状態となるように設定する。また、ＣＰＵ201は、Ｇ画素の符号化データを受信するＩ／Ｆ部203に対しては、予め設定された４レーンを活性化し、残りの１レーンを非活性化状態にする。

【0056】

更に、ＣＰＵ201は、シリアルI/F部208を介し、撮像素子1側の符号化・伝送に係るパラメータを送信し、撮像素子1のレジスタ108にそのパラメータを設定させる。このパラメータは以下の情報を含む。
・符号化部104aに目標圧縮率を「6/14」（m=6,P=14)とし、符号化部104bの目標圧縮率を「10/14」(n=10,P=14）とする情報、
・送信側Ｉ／Ｆ部105に予め設定された３レーンを活性化し、残りの２レーンを非活性化させる情報、並びに、送信側Ｉ／Ｆ部106に予め設定された４レーンを活性化し、残りの１レーンを非活性化させる情報
なお、当然ながら、撮像素子1の送信側Ｉ／Ｆ部105,106における送信に用いるレーンと、処理部2のＩ／Ｆ部202,203における受信に用いるレーンは互いに一致する。

【0057】

上記の結果、撮像素子1は、予め設定されたフレームレートで撮像を行い、各フレームのＲ，Ｂ画素については、圧縮率「6/14」で圧縮符号化された符号化データが３レーンを用いて処理部2に伝送される。また、Ｇ画素（Ｇｒ，Ｇｂ画素）については、圧縮率「10/14」で圧縮符号化された符号化データが４レーンを用いて処理部2に伝送される。処理部2は、このようにして送信された符号化データを受信し、復号処理を行い、不図示の表示部に表示することで、ＬＶ表示が行われることになる。

【0058】

図７の説明に戻る。S73にて、ＣＰＵ201は、操作部5のシャッターボタンが操作されたか否かを判定し、操作されていないと判定した場合は処理をS74に進め、ＬＶ表示を継続する。また、S73にてＣＰＵ201が、シャッターボタンが操作されたと判定した場合、処理をS75に進める。このS75にて、ＣＰＵ201は、シャッターボタンが全押しとなったか否かを判定する。全押しではない（半押し）と判定した場合、ＣＰＵ201は処理をS76に進め、ＡＦ，ＡＥ等の記録の下準備処理を行う。なおＡＦ、ＡＥ処理は、不図示の光学レンズや絞りの制御により行われるものであり、且つ、本件の主眼ではないので、ここでの説明は省略する。また、光学ファインダーを持たず、撮影前は常時ＬＶ表示しているミラーレスカメラ構成においては、シャッターボタン押下状態によらず（状態S73がNoの場合も）、表示のためのＡＦ、ＡＥ処理を実行しても良い。

【0059】

一方、S75にて、ＣＰＵ201がシャッターボタンの全押しがなされたと判定した場合、処理をS77に進める。このとき、S76の記録下準備処理が未完了であれば、撮影を認めずに処理S76を継続する様な仕様としても良い。このS77にて、記録媒体への高精細な撮像画像の記録を行うべく、撮像素子1・処理部2間の伝送を記録時伝送モードに設定する。以下は、このS75の処理の詳細である。

【0060】

ＣＰＵ201は、Ｒ、Ｂ画素の符号化データを受信するＩ／Ｆ部202,203に対しては、全レーンを活性化させる。

【0061】

更に、ＣＰＵ201は、シリアルI/F部208を介し、撮像素子1側の符号化・伝送に係るパラメータを送信し、撮像素子1のレジスタ108にそのパラメータを設定させる。このパラメータは以下の情報を含む。
・符号化部104a,104bに非圧縮（or目標圧縮率を「14/14」)とする情報
・送信側Ｉ／Ｆ部105,106に全レーンを活性化させる情報
上記の結果、撮像素子1は、撮像した画像データを非圧縮のまま、Ｒ，Ｂ、Ｇの各画素を、全レーン（実施形態では5+5=10レーン）を用いて伝送することになる。

【0062】

S78にて、ＣＰＵ201は、撮像素子1から受信した画像データを取得し、S79にて不図示の記録媒体への記録処理を行う。この後、ＣＰＵ201は処理をS72に戻す。この結果、画像の記録媒体への記録後は、再び省電力伝送モードに設定されることになる。撮影結果画像は、装置内に装着した記録媒体（メディア）への記録の他、外部端子や無線手段等（不図示）を経由して外部機器に転送しても良い。撮像データは、画像処理等スループットの落ちる過程で、装置内の記憶手段（ＤＲＡＭ４）に一旦記憶しても良い。ゆえに、記録媒体への記録や外部装置への転送に関るスループットは本提案の要件にならないので、画像の出力形態を限定はしない。

【0063】

以上説明したように本実施形態によれば、ＬＶ表示時には、符号化部104a,104bを用いた符号化による圧縮し、且つ、使用する伝送に係るレーン数を制限する。この結果、ＬＶ表示時には省電力での伝送ができる。また、Ｇ画素の波長特性は人間の被視感度曲線（輝度の特性）に近いので情報を残す様にし、Ｒ画素及びＢ画素の情報をＧ画素よりも圧縮する様に符号化処理すれば、ＥＶＦでのＬＶ表示時に解像感を損なうことなく伝送路帯域を削減することが出来る。本実施形態では、記録時に撮像素子１で撮像した画像データを非圧縮で処理部２に転送する様例示したが、記録時に、電子シャッターの幕速向上、伝送路帯域削減による高速連写の実施、熱対策等で任意の圧縮率で圧縮した画像データを撮像素子１の出力として処理部２で受信しても良い。それに合わせてレーンの活性状態も変えて良い（全レーン活性でなくても良い）。勿論、記録画像となる画像データに対する圧縮は、画質を確保した範疇となる。

【0064】

なお、上記実施形態では、静止画を記録する場合について説明したが、動画記録に適用しても良い。動画記録の場合、記録媒体への記録が開始されてから終了するまでの間では記録時伝送モードに従った記録を行えばよい。

【0065】

上記実施形態では、撮像素子1と処理部2間のＲ，Ｂ画素の伝送に利用できるレーン数を５、Ｇ画素の伝送に利用できるレーン数も５とし、圧縮率も6/14、10/14としたが、これらはあくまで例示である。また、省電力伝送モードでのＲ，Ｂ画素の圧縮率をｍ／Ｐとして表し、Ｇ画素の圧縮率をｎ／Ｐと表す（ただし、ｎ＞ｍ）。この場合、省電力伝送モードにおける画素Ｒ，Ｂの伝送チャネルに用いるレーン数ＮＬrbは次式（１）に従って決定し、Ｇ画素の伝送チャネルに用いるレーン数ＮＬgは次式（２）に従って決定すれば良い。
Ｗ ≧ ((((((Ｈ×Ｐ×(ｍ／Ｐ))／８)＋Ｃ)×Ｒ)＋Ｓ)／Ｔ)／ＮＬrb …(１)
Ｗ ≧ ((((((Ｈ×Ｐ×(ｎ／Ｐ))／８)＋Ｃ)×Ｒ)＋Ｓ)／Ｔ)／ＮＬg …(２)
但し、
Ｗ ： 伝送路帯域［ｂｐｓ］(ここでは、各Ｉ／Ｆ共通とする)
Ｔ ： センサーアレイから１Ｈ読出しの速度［ｓｅｃ］
Ｈ ： （Ｉ／Ｆ毎に分割した）水平画素数
Ｐ ： 画素ビット値 ［ｂｉｔ］
ｍ／Ｐ ： 圧縮率 （または、ｎ／Ｐ）
Ｒ ： シンボル化の影響（８ｂ１０ｂならば、１０／８）
ＮＬrb ： Ｉ／Ｆの活性レーン数（または、ＮＬg）
Ｃ ： ヘッダー情報、パリティ等、画素データ以外のバイトデータ
Ｓ ： スキュー等、挿入データ[シンボル]（本例示では、１０ｂｉｔ）
と定義する。上記式では画素データの転送が支配的であり、説明簡素化のため、エラー訂正コード挿入やレーン間スキュー調整の影響を一旦無視する（符号Ｃ，Ｓを0値と過程する）。その上で、非圧縮時（ｍ／Ｐ＝ｎ／Ｐ＝1.0）の伝送路帯域をＷｆ、非圧縮時レーン数をＮＬ（本例示では５）、式（１）右辺をＷrb、式（２）右辺をＷgと定義すると、次式が得られる。
Ｗｆ／ＮＬ ≧ Ｗrb／ＮＬrb …（３）
Ｗｆ／ＮＬ ≧ Ｗg／ＮＬg …（４）
上記式（３）は式（５）の様に、式（４）は式（６）の様に展開できる。
ＮＬrb ＝ Ceiling｛（ｍ／Ｐ）×ＮＬ｝ …（５）
ＮＬg ＝ Ceiling｛（ｎ／Ｐ）×ＮＬ｝ …（６）
ここで、Ceiling｛ｘ｝は、実数ｘ以上の最小整数を返す天井関数である。また、上記式は、センサーからＸライン目の画素列を読み出している裏で「Ｘ－１」ラインの水平画素データを転送している場合の例示である。

【0066】

また、上記実施形態では、省電力伝送モードは１種類のみとしたが、消費電力の度合いが異なる複数の省電力伝送モードを設けるようにしても良い。この場合、各省電力伝送モードと圧縮率との関係を記述したテーブルをＲＯＭ3に用意しておき、ユーザによる操作部5の操作により、その１つを選択させる。ＣＰＵ201は、ユーザが選択した省電力伝送モードに対応する圧縮率をテーブルから取得し、その圧縮率に従って伝送に用いるレーン数を求める。そして、ＣＰＵ201は、受信側Ｉ／Ｆ部202,203の該当する数のレーンを活性化すると共に、撮像素子1のレジスタ108に圧縮率と活性化するレーンを特定する情報を設定する。

【0067】

以上説明したように実施形態によれば、符号化部の圧縮率に応じたＩ／Ｆ上のドライバ、レシーバの活性状態を制御することで、バッテリー消耗を抑えると共に符号化部の毎の圧縮率を処理データ毎に独立して設定することで高いＬＶ表示品質を維持することができる。

【0068】

［第２の実施形態］
上記第１の実施形態では、１チップ構成の撮像素子を目論み例示した。本第２の実施形態では、画素部チップと、その他回路部のチップとの積層構成の撮像素子について例示する。

【0069】

図６は、画素部を含むセンサーアレイ部101を全面に配したチップ600と、センサーアレイ部101の制御部110と、ＡＤ変換部102、デジタル処理部等を搭載したチップ700との積層センサの例示である。画素部30からの信号読み出し経路である垂直線は、各チップに積層される配線層を介する（不図示）。

【0070】

チップ700は、左側回路構成710と右側回路構成720とを半導体リソグラフィの2回露光で実現した例示である。現状の露光技術では、例えば35mmフルサイズ（36mm × 24mm）等の大判センサのパターン露光では、レンズの収差の影響もあり、上記の様な分割露光がされる場合がある。本実施形態では、回路構成710及び720は、等価な回路構成とする。

【0071】

図６における回路構成710, 720において、図１と機能等価なものは共通の参照符号を付した。また、機能等価でも説明の便宜上分けた方が良い場合には、別の符号としている。

【0072】

図６中、センサーアレイ部101は、アレイ制御部110の制御信号（図２中信号sig_301, sig_302, sig_303の様）を受けて（制御信号は配線層とビアやスルーホール等を経由して接続される）、上記の垂直線（配線層不図示、図２中sig_304, sig_305の様）に画素信号を出力する。出力した画素信号は、ＡＤ変換部102へと伝送される。同図６中の参照符号703は列メモリであり、ＡＤ変換部102と列メモリ703は、複数のラインを一括して処理するだけのリソースを有しても良い。その場合には、垂直線数も増やす必要がある。一括に処理するライン数が増えれば、見かけ上スリットローリング読み出し時の電子シャッターの幕速が向上する。

【0073】

前述した実施形態では、Ｒ画素（又はＢ画素）と、Ｇｒ画素（またはＧｂ画素）とで列処理部を分けたが、本第２の実施形態では、ＡＤ変換部102aにＲ画素を、102bにＧｒ画素を、ＡＤ変換部102cにＢ画素を、ＡＤ変換部102dにGb画素を、分配しても良い。各ＡＤ変換部には、ランプ信号生成部111からリファレンス信号を供給する。読み出しからAD変換に関るタイミングは、ＴＧ109によって制御される。ＡＤ変換部のカウンタクロックや、後段のロジック部の同期クロックは、図６中の参照符号702で示されるＰＬＬ回路から分配される。同相転送を実施するために、例えばＰＬＬ回路702は、回路構成710搭載のものを有効にして、回路構成720のものは非活性となる様なチップ構成を採っても良い。

【0074】

図６における参照符号701は、信号処理部であり、デジタル化された画素データのOBクランプや、シェーディング補正、リニアリティ補正、デジタルゲイン演算等を実施出来る様構成しても良い。また、この信号処理部701中にSRAM等記憶部を具備しても良い。また、符号化部104をここに搭載しても良い。同図６中の参照符号105( 106, 704, 705)は送信側Ｉ／Ｆ部であり、記録画像取得に不足無い数の、等価なレーン数の伝送線路を具備しているものとする。

【0075】

上述の様に、ＡＤ変換部102aにＲ画素を、ＡＤ変換部102bにＧｒ画素を、ＡＤ変換部102cにＢ画素を、ＡＤ変換部102dにGb画素を分配したときに、信号処理部701aはＲ画素を、信号処理部701bはＧｒ画素を、信号処理部701cはＢ画素を、信号処理部701dはＧｂ画素を処理する様にデータ転送を行う。この場合、符号化処理部104（図６では不図示）の圧縮率は、信号処理部701a, 701c側で6/14、信号処理部701b, 701d側で10/14とすることで、ＬＶ表示時の活性レーン調整でＲ画素（Ｂ画素）側の伝送路の省電を実現出来る。このとき、信号処理部701aの出力データ（Ｒ画素）は、送信側Ｉ／Ｆ部105が受け持ち、同様にＢ画素データは送信側Ｉ／Ｆ部704が、Ｇｒ画素データは送信側Ｉ／Ｆ部106が、Ｇｂ画素データは送信側Ｉ／Ｆ部705が受け持つ。夫々I/F部の構成は、図５の図示と同様で良い。色毎画素の抽出は、ＡＤ変換部入力では無く、列メモリ703から信号処理部701への転送過程で、センサーアレイ101読出し順から各色画素（701aにはＲ画素、701bにはＧｒ画素、701cにはＢ画素、701dにはＧｂ画素の様）に分配することで実行しても良い。この場合、回路構成710, 720間でデータの交換する様な配線層（不図示）が必要である。

【0076】

上記の様に、チップ700内の信号処理部夫々を通過するデータパス毎に符号化ブロックを取得する様独立した符号化部を配し、適宜夫々の圧縮率を操作することで、積層センサにおけるＬＶ表示画質の維持と装置の省電力化を両立することが出来る。なお、積層センサのチップ600, 700構成は本実施形態に限定されるものでは無い。

【0077】

撮像素子1と処理部2とのI/Fは、エンベデッドクロック方式に限定されるものでは無く、ソースシンクロナス方式を採っても良い。転送プロトコルを持つパケット転送でも良いし、同期コードと信号のみから成立しても良い。

【0078】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0079】

1…撮像素子、2…処理部、3…ROM、4…RAM、5…操作部、101…センサーアレイ部、102a, 102b…ＡＤ変換部、103a, 103b…列メモリ、104a, 104b…符号化部、105, 106…送信側I/F部、201…ＣＰＵ、202, 203…受信側I/F部、204a, 204b…復号部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】