特許 6953244 画像伝送装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6953244

(24)【登録日】2021年10月1日

(45)【発行日】2021年10月27日

(54)【発明の名称】画像伝送装置およびその制御方法

(51)【国際特許分類】

   H04N 9/04 20060101AFI20211018BHJP

   H04N 5/335 20110101ALI20211018BHJP

【ＦＩ】

   H04N9/04 B

   H04N5/335

【請求項の数】10

【全頁数】21

(21)【出願番号】特願2017-171862(P2017-171862)

(22)【出願日】2017年9月7日

(65)【公開番号】特開2019-47452(P2019-47452A)

(43)【公開日】2019年3月22日

【審査請求日】2020年7月6日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】中村 廣輝

(72)【発明者】

【氏名】中村 竜也

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２０１１−１８２０４４（ＪＰ，Ａ）

【文献】 特開２０１５−１０６８２５（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０３８５９７（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１４／０１４０４１５（ＵＳ，Ａ１）

【文献】 特開２０１５−０１９１８２（ＪＰ，Ａ）

【文献】 特開２００４−０７２６６４（ＪＰ，Ａ）

【文献】 特開２０１３−１７６０４５（ＪＰ，Ａ）

【文献】 中国特許出願公開第１８９７６３８（ＣＮ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／０４

Ｈ０４Ｎ ５／３３５

(57)【特許請求の範囲】

【請求項1】

所定のフォーマットを用いてベイヤ配列の画像データを伝送する画像伝送装置であって、
前記所定のフォーマットで伝送可能なサイズよりも大きいサイズの画像データを伝送する際に、前記画像データを、ラスター走査方向のベイヤ単位の奇数画素から構成される奇数画像と、ラスター走査方向のベイヤ単位の偶数画素から構成される偶数画像とに分割し、前記奇数画像と前記偶数画像とから前記所定のフォーマットの伝送データをそれぞれ生成する生成手段と、
前記奇数画像から生成した伝送データを第１の出力端子から第１の伝送路へ出力し、前記奇数画像から生成した伝送データを第２の出力端子から第２の伝送路へ出力する出力手段と、を有し、
前記生成手段は、前記奇数画像および前記偶数画像から前記所定のフォーマットの伝送データを生成する際には、前記奇数画像と偶数画像それぞれについて、第１のＧ成分と第２のＧ成分については、色成分毎にそれぞれ第１のＧ成分伝送データと第２のＧ成分伝送データを生成し、Ｂ成分とＲ成分については、Ｂ成分の画素データとＲ成分の画素データとを、ラスター走査方向に第１のＢＲ伝送データと第２のＢＲ伝送データに交互に割り当てて２つの伝送データを生成し、前記第１のＧ成分伝送データと前記第１のＢＲ伝送データとを第１リンクデータ、前記第２のＧ成分伝送データと前記第２のＢＲ伝送データと第２リンクデータとして、前記第１リンクデータと前記第２リンクデータとを多重した多重化伝送データを生成し、
前記出力手段は、
前記奇数画像の前記第１のＧ成分伝送データと前記奇数画像の前記第１のＢＲ伝送データを含む前記奇数画像の第１リンクデータと、前記奇数画像の前記第２のＧ成分伝送データと前記奇数画像の前記第２のＢＲ伝送データを含む前記奇数画像の第２リンクデータとを多重した第１の多重化伝送データを、前記第１の出力端子から前記第１の伝送路へ出力し、
前記偶数画像の前記第１のＧ成分伝送データと前記偶数画像の前記第２のＧ成分伝送データを多重した前記偶数画像の第１リンクデータと、前記偶数画像の前記第１のＢＲ伝送データと前記偶数画像の前記第２のＢＲ伝送データを多重した前記偶数画像の第２リンクデータとを第２の多重化伝送データを、前記第２の出力端子から前記第２の伝送路へ出力する、
ことを特徴とする画像伝送装置。

【請求項2】

前記出力手段は、前記第１の多重化伝送データと前記第２の多重化伝送データを、前記第１の出力端子および前記第２の出力端子から同時に出力開始し、並行出力することを特徴とする請求項１に記載の画像伝送装置。

【請求項3】

前記生成手段は、画像データを、第１の奇数画像、第２の奇数画像、第１の偶数画像、第２の偶数画像に分割して、分割した各画像からそれぞれ前記多重化伝送データを生成し、
前記出力手段は、前記第１の奇数画像の多重化伝送データを前記第１の出力端子から出力し、前記第２の奇数画像の多重化伝送データを第３の出力端子から出力し、前記第１の偶数画像の多重化伝送データを前記第２の出力端子から出力し、前記第２の偶数画像の多重化伝送データを第４の出力端子から出力する、
ことを特徴とする請求項１または２に記載の画像伝送装置。

【請求項4】

前記生成手段は、
前記奇数画像と前記偶数画像それぞれの上位ビットのデータについては、前記第１のＧ成分伝送データと、前記第２のＧ成分伝送データと、前記第１のＢＲ伝送データと、前記第２のＢＲ伝送データとを生成して、生成した４つの伝送データから前記多重化伝送データを生成することにより、前記奇数画像の上位ビットの伝送データである前記第１の多重化伝送データと、前記偶数画像の上位ビットの伝送データである前記第２の多重化伝送データとを生成し、
前記奇数画像と前記偶数画像それぞれの下位ビットのデータについては、ベイヤ単位で、第１のＧ成分、第２のＧ成分、Ｒ成分、Ｂ成分を所定のビット数ずつ含むデータに変換し、変換したデータを前記所定のフォーマットにマッピングして、前記奇数画像の下位ビット伝送データと前記偶数画像の下位ビット伝送データを生成し、前記奇数画像の下位ビット伝送データと、前記偶数画像の下位ビット伝送データとを多重化して、第３の多重化伝送データとを生成し、
前記出力手段は、前記第１の多重化伝送データを前記第１の出力端子から出力し、前記第２の多重化伝送データを前記第２の出力端子から出力し、前記第３の多重化伝送データを第３の出力端子から出力する、
ことを特徴とする請求項１または２に記載の画像伝送装置。

【請求項5】

前記上位ビットは、上位１０ビットであることを特徴とする請求項４に記載の画像伝送装置。

【請求項6】

前記生成手段は、前記画像データのサイズが、前記所定のフォーマットで伝送可能なサイズ以下の場合は、前記奇数画像と前記偶数画像に分割せずに、前記画像データを前記所定のフォーマットに配置して伝送データを生成することを特徴とする請求項１ないし５のいずれか１項に記載の画像伝送装置。

【請求項7】

前記所定のフォーマットは、３Ｇ−ＳＤＩ規格のフォーマットであり、
前記第１の出力端子、前記第２の出力端子は、３Ｇ−ＳＤＩ出力端子である、
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像伝送装置。

【請求項8】

所定のフォーマットでベイヤ配列の画像データを伝送するための伝送路を複数有している画像伝送装置の制御方法であって、
前記所定のフォーマットで伝送可能なサイズよりも大きいサイズの画像データを伝送する際に、前記画像データを、ラスター走査方向のベイヤ単位の奇数画素から構成される奇数画像と、ラスター走査方向のベイヤ単位の偶数画素から構成される偶数画像とに分割し、前記奇数画像と前記偶数画像とから前記所定のフォーマットの伝送データをそれぞれ生成する生成工程と、
前記奇数画像から生成した伝送データを第１の出力端子から第１の伝送路へ出力し、前記奇数画像から生成した伝送データを第２の出力端子から第２の伝送路へ出力する出力工程と、を有し、
前記生成工程は、前記奇数画像および前記偶数画像から前記所定のフォーマットの伝送データを生成する際には、前記奇数画像と偶数画像それぞれについて、第１のＧ成分と第２のＧ成分については、色成分毎にそれぞれ第１のＧ成分伝送データと第２のＧ成分伝送データを生成し、Ｂ成分とＲ成分については、Ｂ成分の画素データとＲ成分の画素データとを、ラスター走査方向に第１のＢＲ伝送データと第２のＢＲ伝送データに交互に割り当てて２つの伝送データを生成し、前記第１のＧ成分伝送データと前記第１のＢＲ伝送データとを第１リンクデータ、前記第２のＧ成分伝送データと前記第２のＢＲ伝送データと第２リンクデータとして、前記第１リンクデータと前記第２リンクデータとを多重した多重化伝送データを生成し、
前記出力工程は、
前記奇数画像の前記第１のＧ成分伝送データと前記奇数画像の前記第１のＢＲ伝送データを含む前記奇数画像の第１リンクデータと、前記奇数画像の前記第２のＧ成分伝送データと前記奇数画像の前記第２のＢＲ伝送データを含む前記奇数画像の第２リンクデータとを多重した第１の多重化伝送データを、前記第１の出力端子から前記第１の伝送路へ出力し、
前記偶数画像の前記第１のＧ成分伝送データと前記偶数画像の前記第２のＧ成分伝送データを多重した前記偶数画像の第１リンクデータと、前記偶数画像の前記第１のＢＲ伝送データと前記偶数画像の前記第２のＢＲ伝送データを多重した前記偶数画像の第２リンクデータとを第２の多重化伝送データを、前記第２の出力端子から前記第２の伝送路へ出力する、
ことを特徴とする画像伝送装置の制御方法。

【請求項9】

コンピュータを、請求項１ないし７に記載の画像伝送装置の各手段として機能させるためのプログラム。

【請求項10】

コンピュータに、請求項８に記載の画像伝送装置の制御方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像データから伝送用のデータを生成して伝送する画像伝送装置およびその制御方法に関する。

【背景技術】

【0002】

従来、ベイヤー（Ｂａｙｅｒ）構造の画素配列を有する撮像素子を用いた撮像装置が一般に知られている。このような撮像素子は、色フィルタを介して画素を構成する光電変換素子に被写体からの像光を取り込み、像光の強さに応じて画像信号を出力する。そして、後段の処理部が画像信号に所定の処理を施すことによって、表示用データを生成し、撮像装置のビューファインダや外部の表示装置に画像を表示している。撮像素子には、一般にＲ，Ｇ，Ｂ信号をそれぞれ出力可能なＲ，Ｇ，Ｂ画素が所定のパターンで配置されている。

【0003】

特許文献１、２には、ベイヤー配列のＲＡＷデータをＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）で規格化されている３Ｇ−ＳＤＩにマッピングして出力する装置が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−２１１６４４号公報

【特許文献2】特開２０１５−０１９１８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、３Ｇ−ＳＤＩ用伝送フォーマットでは４Ｋ解像度（４０９６ｘ２１６０）までのデータしか伝送することができないため、４Ｋ解像度以上のＲＡＷデータを伝送することができないという課題がある。

【0006】

そこで、本発明では、伝送可能な解像度（データサイズ）に上限ある伝送フォーマットを用いて画像データを伝送する際に、伝送可能な解像度以上の画像データを伝送することが可能な画像伝送装置、および、画像伝送方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明の画像伝送装置は、
所定のフォーマットを用いてベイヤ配列の画像データを伝送する画像伝送装置であって、
前記所定のフォーマットで伝送可能なサイズよりも大きいサイズの画像データを伝送する際に、前記画像データを、ラスター走査方向のベイヤ単位の奇数画素から構成される奇数画像と、ラスター走査方向のベイヤ単位の偶数画素から構成される偶数画像とに分割し、前記奇数画像と前記偶数画像とから前記所定のフォーマットの伝送データをそれぞれ生成する生成手段と、前記奇数画像から生成した伝送データを第１の出力端子から第１の伝送路へ出力し、前記奇数画像から生成した伝送データを第２の出力端子から第２の伝送路へ出力する出力手段と、を有し、前記生成手段は、前記奇数画像および前記偶数画像から前記所定のフォーマットの伝送データを生成する際には、前記奇数画像と偶数画像それぞれについて、第１のＧ成分と第２のＧ成分については、色成分毎にそれぞれ第１のＧ成分伝送データと第２のＧ成分伝送データを生成し、Ｂ成分とＲ成分については、Ｂ成分の画素データとＲ成分の画素データとを、ラスター走査方向に第１のＢＲ伝送データと第２のＢＲ伝送データに交互に割り当てて２つの伝送データを生成し、前記第１のＧ成分伝送データと前記第１のＢＲ伝送データとを第１リンクデータ、前記第２のＧ成分伝送データと前記第２のＢＲ伝送データと第２リンクデータとして、前記第１リンクデータと前記第２リンクデータとを多重した多重化伝送データを生成し、前記出力手段は、前記奇数画像の前記第１のＧ成分伝送データと前記奇数画像の前記第１のＢＲ伝送データを含む前記奇数画像の第１リンクデータと、前記奇数画像の前記第２のＧ成分伝送データと前記奇数画像の前記第２のＢＲ伝送データを含む前記奇数画像の第２リンクデータとを多重した第１の多重化伝送データを、前記第１の出力端子から前記第１の伝送路へ出力し、前記偶数画像の前記第１のＧ成分伝送データと前記偶数画像の前記第２のＧ成分伝送データを多重した前記偶数画像の第１リンクデータと、前記偶数画像の前記第１のＢＲ伝送データと前記偶数画像の前記第２のＢＲ伝送データを多重した前記偶数画像の第２リンクデータとを第２の多重化伝送データを、前記第２の出力端子から前記第２の伝送路へ出力する、ことを特徴とする。

【発明の効果】

【0008】

以上説明したように、本発明によれば、伝送可能な解像度（データサイズ）に上限ある伝送フォーマットを用いて画像データを伝送する際に、伝送可能な解像度以上の画像データを伝送することが可能な画像伝送装置、および、画像伝送方法を提供することができる。

【図面の簡単な説明】

【0009】

【図1】撮像装置のブロック図

【図2】ベイヤー構造の画素配列を模式的に示す図

【図3】撮像素子の画素領域における画素配置の構成を模式的に示す図

【図4】ベイヤ配列の画像データを色成分毎にＲＡＭに記憶する際のデータ配列を示す図

【図5】ＥＶＥＮ画像とＯＤＤ画像とに分割するときの、ＥＶＥＮ画像領域とＯＤＤ画像領域を示す図

【図6】ＥＶＥＮ画像を示す図

【図7】ＥＶＥＮ画像のデータ配列構成を示す図

【図8】ＯＤＤ画像を示す図

【図9】切り出されたＯＤＤ画像のデータ配列構成を示す図

【図10】ＥＶＥＮ画像に基づいて生成されるデータストリームのデータ構造を示す図

【図11】ＥＶＥＮ画像についてマルチプレクサで生成される各データストリームに配列される画素データを示す図

【図12】ＥＶＥＮ画像の画素データを、４本のデータストリームに多重したときのデータ構造を示す図

【図13】ＯＤＤ画像に基づいて生成されるデータストリームのデータ構造を示す図

【図14】ＯＤＤ画像についてマルチプレクサで生成される各データストリームに配列される画素データを示す図

【図15】ＯＤＤ画像の画素データを、４本のデータストリームに多重したときのデータ構造を示す図

【図16】各色成分の画素データの下位２ビットをまとめて１０ビットにしたときの構成を示す図

【図17】ＥＶＥＮ画像の下位２ビット画素を用いて生成されるデータストリームのデータ構造を示す図

【図18】ＥＶＥＮ画像の下位２ビット画素に基づいて生成されるデータストリームのデータ構造を示す図

【図19】ＥＶＥＮ画像およびＯＤＤ画像の下位２ビット画素を、４本のデータストリームに多重したときのデータ構造を示す図

【発明を実施するための形態】

【0010】

＜第１の実施形態＞
以下、図面を参照して本発明の実施形態を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

【0011】

なお、本実施形態において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムによりソフトウェア的に実行されても良い。

【0012】

本実施形態では、本発明の記録装置を撮像装置に適用した場合について説明するが、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。

【0013】

まず、図１を用いて、本実施形態の撮像装置１００の構成を説明する。本実施形態の撮像装置は、ベイヤー構造の画像データをＳＤＩ規格に従って送信する際に、有効領域の周辺の画素（以下、周辺画素と呼ぶ）を含む画像データを伝送する構成を備える。従って、本装置は撮像装置であるとともに画像データの伝送装置でもある。伝送するフレームレートは３０フレームとし伝送する画素数は水平方向の画素数が５９６８画素、垂直方向の画素数は３１５６とし、ビット深度は１０ビットとし３Ｇ−ＳＤＩを２本使用して伝送する場合を例に説明する。

【0014】

図１において、撮像部１０１は、撮像レンズ、シャッター、撮像素子、Ａ／Ｄ変換器などから構成される。撮像素子はＣＣＤセンサやＣＭＯＳなどによって図２に示すようなベイヤー構造のカラーフィルタを配した画素配列を有し、光学像を電気信号に変換し、画像データをＲ、Ｇｒ、Ｇｂ、Ｂの４つの画素プレーンとして出力する。

【0015】

信号処理部１０２は画像データに対して補正処理を行い、メモリ１０９にＲ、Ｇｒ、Ｇｂ、Ｂの画素プレーンを記憶する。

【0016】

信号切り出し部１０３は３Ｇ−ＳＤＩ用の伝送フォーマットで伝送できる画像サイズに画像データを複数の分割画像に分割し、分割画像毎にメモリ１０９からＲ、Ｇｒ、Ｇｂ、Ｂの画素プレーンを読み出す。

【0017】

マルチプレクサ１０４は信号切り出し部１０３で読み出した画像データから３Ｇ−ＳＤＩの伝送路で伝送するための３Ｇ−ＳＤＩ用伝送フォーマットに画素データを配置して、伝送データ（データストリーム）を生成する。そしてマルチプレクサ１０４で生成された伝送データを、外部Ｉ／Ｆ１０５により外部装置に送る。

【0018】

外部Ｉ／Ｆ１０５は３Ｇ−ＳＤＩの規格に従って画像データを外部に伝送する。外部Ｉ／Ｆ１０５は、３Ｇ−ＳＤＩ規格の出力端子を２つ有しており（３Ｇ−ＳＤＩ出力端子１、３Ｇ−ＳＤＩ出力端子２）、２本の３Ｇ−ＳＤＩ伝送路を用いて画像データを伝送することができる。１本の３Ｇ−ＳＤＩ伝送路では、ＬｉｎｋＡ，ＬｉｎｋＢでそれぞれ２つのデータストリームを多重して伝送可能であるため、合計４つのデータストリームを多重伝送することができる。

【0019】

制御部１０６は１つ以上のＣＰＵを備え、フラッシュメモリ１０８に記憶された制御用ソフトウェアを読み出し、読み出した制御用ソフトウェアに従って撮像装置１００の各部を制御する。操作部１０７は例えば、電源ボタン、記録開始、停止の指示ボタン、メニュー表示ボタン、モード切り替えスイッチ、決定ボタン等の各種操作を入力するスイッチ類を有する。

【0020】

操作部１０７は、ユーザによりこれらのキーやボタン、タッチパネルが操作されると制御部１０６に操作信号を送信する。また、カーソルキー、ポインティングデバイス、タッチパネル、ダイヤル等のどのようなタイプの操作子であってもよい。操作部１０７の各操作部材は、表示部１１１に表示される種々の機能アイコンとして実現されることも可能である。ユーザはこれらの機能アイコンを選択、操作することが可能である。

【0021】

フラッシュメモリ１０８は電気的に消去・記録可能な不揮発性のメモリであり、制御部１０６を動作させるために必要なプログラムや撮像装置１００固有の調整データ等があらかじめ書きこまれている。

【0022】

メモリ１０９はＤＲＡＭ等の揮発性メモリから構成され、伝送するための画像データや管理情報、或いは、制御部１０６の制御のために必用な各種の情報を記憶する。

【0023】

表示制御部１１０は撮像部１０１より得られたベイヤー構造の画像データにディベイヤー（Ｄｅｂａｙｅｒ）処理等の所定の処理を施して表示用の画像データを生成し、表示部１１１に送る。

【0024】

表示部１１１は、例えば、液晶表示デバイス、または有機ＥＬ表示デバイスなどを有し、表示制御部１１０の制御により画像やメニュー画面、及びその他必用な情報を表示する。

【0025】

以上で説明した各構成は、各要素間の制御信号やデータ信号のための伝送路である内部バス１１２と接続されている。

【0026】

次に図３と図４を用いてメモリ１０９に記憶される画像プレーンの説明をする。本実施形態において、例えば、撮像部１０１の画素配置は図３に示すように有効画素領域と周辺画素領域から構成される。この画素配列の全体エリアから１回に取得可能な画素データ群をＲＡＷフレームと定義する。ＲＡＷフレームは、水平方向の画素数が５９６８画素（５９５２＋８＋８）、垂直方向の画素数は３１５６（３１４０＋８＋８）であり、ベイヤー構造で画素が配列されたＲＡＷ画像データである（以下、５．９ＫＲＡＷと呼ぶ）。この５．９ＫＲＡＷのＲ成分、Ｇｒ成分、Ｇｂ成分、Ｂ成分の各色成分ごとに集めた画素データを図４に示す。各色成分ごとの画素データは水平が２９８４画素、垂直が１５７８画素である。各色成分の画素データについて、水平方向の１画素目、垂直方向の１画素目を、座標（０，０）とし、ここからラスター走査方向の画素を、順次、（０，１）、（０，２）…とする。水平方向には２９８４画素まであるので、垂直方向の１ライン目の画素の座標は、（０，０）〜（０，２９８３）となる。そして、垂直方向２ライン目の画素の座標は（１，０）〜（１，２９８３）となる。また、垂直方向に１５７８画素あるため、最終ラインについては、（１５７７，０）〜（１５７７，２９８３）となる。信号処理部１０２は制御部１０６からの制御により入力されたベイヤー構造の画像データを各色の画像データに分けてメモリ１０９に記憶する。ここで、各色ごとの画素データにて同一座標となるＲ、Ｇｒ、Ｇｂ、Ｂの集合を、ベイヤー単位と定義する。例えば、図４（ａ）Ｒｅｄの座標（０，０）のＲ画素、（ｂ）Ｇｒｅｅｎ（Ｇｒ）の座標（０，０）のＧｒ画素、（ｃ）Ｇｒｅｅｎ（Ｇｂ）の座標（０，０）のＧｂ画素、（ｄ）Ｂｌｕｅの座標（０，０）のＢ画素の４つの画素の集合を、ベイヤー単位と呼ぶ。

【0027】

次に図５を用いて信号切り出し部１０３によるメモリ１０９からの画像データ読み出しの処理を説明する。図５は各色成分ごとに分けた画像データのうちの１つの色の画素を表しており、水平が２９８４画素、垂直が１５７８画素となっている。この画像データを、水平方向に１画素毎、すなわち１ベイヤー単位毎に分割する。分割された画僧データは、ラスター走査方向順に順次複数の分割画像に割り当ていく。本実施形態では、水平方向に分割された画像データの各領域に対して、水平方向座標値に対応させて、左端からＥＶＥＮエリアとＯＤＤエリアに交互に割り当てる。例えば、水平方向の座標が０、２、４…であればＥＶＥＮエリア、１、３、５…であればＯＤＤエリアに割り当てる。つまり、水平方向に奇数番目のラインとなる奇数画素はＥＶＥＮエリア（ＥＶＥＮ画像）、水平方向に偶数番目のラインとなる偶数画素はＯＤＤエリア（ＯＤＤ画像）に割り当てられる。更に、ＥＶＥＮエリアおよびＯＤＤエリアのそれぞれについて、左端から順に通し番号を設定する。そして、ベイヤー単位毎に分割された各領域は、左端から順に、ＥＶＥＮエリア１、ＯＤＤエリア１、ＥＶＥＮエリア２、ＯＤＤエリア２、、、と定義される。その様に画像データ全体について定義され、右端では、ＥＶＥＮエリア１４９１、ＯＤＤエリア１４９１、ＥＶＥＮエリア１４９２、ＯＤＤエリア１４９２と定義される。

【0028】

このうちＥＶＥＮエリアの全て（ＥＶＥＮエリア１からＥＶＥＮエリア１４９２まで）をＥＶＥＮ画像として切り出す。この切り出したＥＶＥＮ画像を図６に示す。また、この切り出したＥＶＥＮ画像データの色成分毎の画素データを図７に示す。図７において、各色成分の画素毎に記載されている座標は、図４の各画素に対応している。つまり、図７と図４とで、同じ画素データを示す画素には、同じ座標を記載している。そのため、ＥＶＥＮ画像として切り出される画素データは、水平方向の座標が０、２、４…２９８０、２９８２の画素となり、図４の画像データに対して水平方向の画素数は半分の１４９２となる。

【0029】

同様に、このうちＯＤＤエリアの全て（ＯＤＤエリア１からＯＤＤエリア１４９２まで）をＯＤＤ画像として切り出す。この切り出したＯＤＤ画像を図８に示す。この切り出したＯＤＤ画像データの画素データを図９に示す。

【0030】

以上の様に、ＲＡＷフレームをＥＶＥＮ画像とＯＤＤ画像ＯＤＤ画像の２つの分割画像に分割する。

【0031】

このように、本実施形態では、画像データを２つの分割画像（ＥＶＥＮ画像、ＯＤＤ画像）に分割する。上記説明では、色成分の画像プレーン毎に分割を説明したが、ベイヤ配列のＲＡＷ画像から直接ＥＶＥＮ画像とＯＤＤ画像に分割してもよい。また、上記で説明したように複数の分割画像に分割する際には、ベイヤ単位で同じ座標を有する各色成分の画素データが同じ分割画像に割り当てられるように分割している。

【0032】

次に図１０〜図１５を用いてマルチプレクサ１０４でのマッピング処理および、３Ｇ−ＳＤＩ出力端子１、３Ｇ−ＳＤＩ出力端子２から２本の３Ｇ−ＳＤＩ伝送路を用いた画像データの伝送について説明する。本実施形態では、複数のＲＡＷフレーム（複数のＲＡＷ画像データ）から構成される動画データをＳＤＩ規格に従って伝送する。詳しくは、ＳＭＰＴＥ ＳＴ ４２５（３Ｇ−ＳＤＩ）のレベルＢに準拠し、ＳＭＰＴＥ ＳＴ ３７２（Ｄｕａｌ Ｌｉｎｋ）のＲ’Ｇ’Ｂ’＋Ａ １０ビットの多重化構造を適用して各画素データを配分する。また、画素のサンプルフォーマットは、ＳＭＰＴＥ ＳＴ ２０４８−２で規定された、２０４８Ｘ１０８０／３０Ｐに準拠する。

【0033】

図１０はＥＶＥＮ画像のＧｂの色成分の画素データを３Ｇ−ＳＤＩ用伝送フォーマットにマッピングして生成されるデータストリームのデータ構成を示す。ＥＶＥＮ画像は、ＳＭＰＴＥ ＳＴ ２０４８−２で規定された、２０４８Ｘ１０８０／３０Ｐの有効映像期間、および水平および垂直のブランキング領域に多重される。例えば、ＥＶＥＮ画像の最も左上の座標（０、０）の画素は、７ラインの２１２０サンプルに配置される。そして、いわゆるラスター走査順に、画素データが順次配置される。例えば、７ラインの２１９５サンプルに画素が配置されると、その次の画素はＳＡＶ領域を超えて７ラインの０サンプルに配置される。そして、７ラインの２０４７サンプルまで連続して画素が配置される。その様に、一つのラインに対して、画素が配置される。７ラインの２０４７サンプルに画素が配置されると、その次の画素は、８ラインの２１２０サンプルに配置される。１３ラインの２０４７サンプルまで画素が配置されると、その次の画素は、２０ラインの２１２０サンプルまで配置される。そして、ＥＶＥＮ画像の最も右下の座標（１５７７、２９８２）の画素は、１１２１ラインの９０７サンプルに配置される。

【0034】

図１１は、ＥＶＥＮ画像の画素データの各チャネルへの配分構成をしている。図１０のように生成されたＥＶＥＮ画像のＧｂの画素データのデータストリームが、Ｌｉｎｋ Ａのデータストリーム１に割り当てられる。ＥＶＥＮ画像のＧｂの画素データと同様に、３Ｇ−ＳＤＩ用伝送フォーマットにマッピングされたＥＶＥＮ画像のＧｒの画素データのデータストリームが、Ｌｉｎｋ Ｂのデータストリーム１に割り当てられる。ＥＶＥＮ画像のＢ、Ｒの画素データにづいては、ＧｂやＧｒと異なる方法で３Ｇ−ＳＤＩ用伝送フォーマットにマッピングされる。Ｇｂ、Ｇｒについては、１つの色成分の画素データを１つの伝送フォーマットにマッピングして１つのデータストリームを生成した。しかし、Ｂ、Ｒについては、Ｂ、Ｒの２つの色成分の画素データが１つの伝送フォーマットに混在するようにマッピングし、Ｂ、ＲのＥＶＥＮ画像データから２つのデータストリームを生成する。Ｂ、Ｒが３Ｇ−ＳＤＩ用伝送フォーマットマッピングされて生成される２つのデータストリームをそれぞれ、ＥＶＥＮ画像ＢＲデータストリーム１、ＥＶＥＮ画像ＢＲデータストリーム２とする。図１０のデータストリームにおいて、Ｇｂ（０、０）、Ｇｂ（０、２）、Ｇｂ（０、４）、Ｇｂ（０、６）、・・・、Ｇｂ（０、２９８０）、Ｇｂ（０、２９８２）、Ｇｂ（１、０）、Ｇｂ（１、２）、・・・、Ｇｂ（１５７７、２９８０）、Ｇｂ（１５７７、２９８２）がそれぞれ配置されていた位置に、ＥＶＥＮ画像ＢＲデータストリーム１では、Ｂ（０、０）、Ｒ（０、０）、Ｂ（０、４）、Ｒ（０、４）、・・・、Ｂ（０、２９８０）、Ｒ（０、２９８０）、Ｂ（１、０）、Ｒ（１、０）、Ｂ（１５７７、２９８０）、Ｒ（１５７７、２９８０）がそれぞれ配置される。また、ＥＶＥＮ画像ＢＲデータストリーム２では、Ｂ（０、２）、Ｒ（０、２）、Ｂ（０、６）、Ｒ（０、６）、・・・、Ｂ（０、２９８２）、Ｒ（０、２９８２）、Ｂ（１、２）、Ｒ（１、２）、・・・、Ｂ（１５７７、２９８２）、Ｒ（１５７７、２９８２）が順に配置される。つまり、Ｂ、Ｒの同じ座標の画素データは、同じデータストリームに配置される。そして一方のデータストリーム（ＥＶＥＮ画像ＢＲデータストリーム１）は、Ｂ（０、０）、Ｒ（０、０）が最初に配置され、他方のデータストリーム（ＥＶＥＮ画像ＢＲデータストリーム２）には、Ｂ（０、２）、Ｒ（０、２）が最初に配置される。同じ座標のＢの画素データとＲの画素データが同一のデータストリームの画素データ配置領域でＢ，Ｒの順で隣接するように配置される。そして、ＥＶＥＮ画像の内でのラスター走査方向順で、ＥＶＥＮ画像ＢＲデータストリーム１、ＥＶＥＮ画像ＢＲデータストリーム２に交互に配置される。このように生成されたＥＶＥＮ画像ＢＲデータストリーム１は、Ｌｉｎｋ Ａのデータストリーム２に割り当てられ、ＥＶＥＮ画像ＢＲデータストリーム２は、Ｌｉｎｋ Ｂのデータストリーム２に割り当てられる。

【0035】

この配分構成に従ってマルチプレクサ１０４はＥＶＥＮ画像の各データストリームを生成していく。さらにＳＤＩの規格に準じた映像信号の区切り位置を認識するための識別子ＳＡＶ／ＥＡＶを生成する。また、ライン番号の管理用のデータＬＮ（Ｌｉｎｅ Ｎｕｍｂｅｒ）および伝送エラーチェック用のデータＣＲＣＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ Ｃｏｄｅ）を生成する。

【0036】

図１２は、図１０、図１１で示したＥＶＥＮ画像の４本のデータストリームを多重した結果を示す。例えば、Ｇｂ（０、０）は、Ｇｂの画素プレーンの上左端の画素データに対応する。ここでは、ＲＡＷフレームを構成する２ラインに配置されたＲ、Ｇｒ、Ｇｂ、Ｂの画素データが、それぞれ１ライン分のデータストリームに多重されることを示している。このＥＶＥＮ画像から生成された４本のデータストリームが、多重伝送により、外部Ｉ／Ｆ１０５の３Ｇ−ＳＤＩ出力端子１から１本の３Ｇ−ＳＤＩ伝送路により外部装置に出力される。

【0037】

図１３はＯＤＤ画像のＧｂの色成分の画素データを３Ｇ−ＳＤＩ用伝送フォーマットにマッピングして生成されるデータストリームのデータ構成を示す。ＯＤＤ画像は、ＳＭＰＴＥ ＳＴ ２０４８−２で規定された、２０４８Ｘ１０８０／３０Ｐの有効映像期間、および水平および垂直のブランキング領域に多重される。例えば、ＯＤＤ画像の最も左上の座標（０、１）の画素は、７ラインの２１２０サンプルに配置される。そして、いわゆるラスター走査順に、画素データが順次配置される。例えば、７ラインの２１９５サンプルに画素が配置されると、その次の画素はＳＡＶ領域を超えて７ラインの０サンプルに配置される。そして、７ラインの２０４７サンプルまで連続して画素が配置される。その様に、一つのラインに対して、画素が配置される。７ラインの２０４７サンプルに画素が配置されると、その次の画素は、８ラインの２１２０サンプルに配置される。１３ラインの２０４７サンプルまで画素が配置されると、その次の画素は、２０ラインの２１２０サンプルまで配置される。そして、ＯＤＤ画像の最も右下の座標（１５７７、２９８３）の画素は、１１２１ラインの９０７サンプルに配置される。

【0038】

図１４は、ＯＤＤ画像の画素データの各チャネルへの配分構成をしている。

【0039】

図１４のように生成されたＯＤＤ画像のＧｂの画素データのデータストリームが、Ｌｉｎｋ Ａのデータストリーム１に割り当てられる。ＯＤＤ画像のＧｒの画素データも、ＯＤＤ画像のＧｂの画素データと同様に、３Ｇ−ＳＤＩ用伝送フォーマットにマッピングされる。そして、ＯＤＤ画像のＧｒの画素データのデータストリームが、Ｌｉｎｋ Ｂのデータストリーム１に割り当てられる。ＯＤＤ画像のＢ、Ｒの画素データにづいても、ＥＶＥＮ画像と同様に、ＧｂやＧｒと異なる方法で３Ｇ−ＳＤＩ用伝送フォーマットにマッピングされる。Ｇｂ、Ｇｒについては、１つの色成分の画素データを１つの伝送フォーマットにマッピングして１つのデータストリームを生成した。しかし、Ｂ、Ｒについては、Ｂ、Ｒの２つの色成分の画素データが１つの伝送フォーマットに混在するようにマッピングし、Ｂ、ＲのＯＤＤ画像データから２つのデータストリームを生成する。Ｂ、Ｒが３Ｇ−ＳＤＩ用伝送フォーマットマッピングされて生成される２つのデータストリームをそれぞれ、ＯＤＤ画像ＢＲデータストリーム１、ＯＤＤ画像ＢＲデータストリーム２とする。図１３のデータストリームにおいて、Ｇｂ（０、１）、Ｇｂ（０、３）、Ｇｂ（０、５）、Ｇｂ（０、７）、・・・、Ｇｂ（０、２９８１）、Ｇｂ（０、２９８３）、Ｇｂ（１、１）、Ｇｂ（１、３）、・・・、Ｇｂ（１５７７、２９８１）、Ｇｂ（１５７７、２９８３）がそれぞれ配置されていた位置に、ＯＤＤ画像ＢＲデータストリーム１では、Ｂ（０、１）、Ｒ（０、１）、Ｂ（０、５）、Ｒ（０、５）、・・・、Ｂ（０、２９８１）、Ｒ（０、２９８１）、Ｂ（１、１）、Ｒ（１、１）、・・・、Ｂ（１５７７、２９８１）、Ｒ（１５７７、２９８１）がそれぞれ配置される。また、ＯＤＤ画像ＢＲデータストリーム２では、Ｂ（０、３）、Ｒ（０、３）、Ｂ（０、７）、Ｒ（０、７）、・・・、Ｂ（０、２９８３）、Ｒ（０、２９８３）、Ｂ（１、３）、Ｒ（１、３）、・・・、Ｂ（１５７７、２９８３）、Ｒ（１５７７、２９８３）が順に配置される。つまり、Ｂ、Ｒの同じ座標の画素データは、同じデータストリームに配置される。そして一方のデータストリーム（ＯＤＤ画像ＢＲデータストリーム１）は、Ｂ（０、１）、Ｒ（０、１）が最初に配置され、他方のデータストリーム（ＯＤＤ画像ＢＲデータストリーム２）には、Ｂ（０、３）、Ｒ（０、３）が最初に配置される。同じ座標のＢの画素データとＲの画素データが同一のデータストリームの画素データ配置領域でＢ，Ｒの順で隣接するように配置される。そして、ＯＤＤ画像の内でのラスター走査方向順で、ＯＤＤ画像ＢＲデータストリーム１、ＯＤＤ画像ＢＲデータストリーム２に交互に配置される。このように生成されたＯＤＤ画像ＢＲデータストリーム１は、Ｌｉｎｋ Ａのデータストリーム２に割り当てられ、ＯＤＤ画像ＢＲデータストリーム２は、Ｌｉｎｋ Ｂのデータストリーム２に割り当てられる。

【0040】

この配分構成に従ってマルチプレクサ１０４はＯＤＤ画像の各データストリームを生成していく。さらにＳＤＩの規格に準じた映像信号の区切り位置を認識するための識別子ＳＡＶ／ＥＡＶを生成する。また、ライン番号の管理用のデータＬＮ（Ｌｉｎｅ Ｎｕｍｂｅｒ）および伝送エラーチェック用のデータＣＲＣＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ Ｃｏｄｅ）を生成する。

【0041】

図１５は、図１３、図１４で示したＯＤＤ画像の４本のデータストリームを多重した結果を示す。例えば、Ｇｂ（０、１）は、Ｇｂの画素プレーンの上左端の画素データに対応する。ここでは、ＲＡＷフレームを構成する２ラインに配置されたＲ、Ｇｒ、Ｇｂ、Ｂの画素データが、それぞれ１ライン分のデータストリームに多重されることを示している。このＯＤＤ画像から生成された４本のデータストリームが多重伝送により、外部Ｉ／Ｆ１０５の３Ｇ−ＳＤＩ出力端子２から１本の３Ｇ−ＳＤＩ伝送路により外部装置に出力される。なお、図１１、図１２のＥＶＥＮ画像の４本のデータストリームと、図１４、図１５のＯＤＤ画像の４本のデータストリームは、同じ画像データのデータストリームである。そのため、それぞれ３Ｇ−ＳＤＩ出力端子１、３Ｇ−ＳＤＩ出力端子２から、同時に出力開始され、ＥＶＥＮ画像のデータストリームと、ＯＤＤ画像のデータストリームとが並行出力される。

【0042】

以上、説明したように本実施形態では、１つの画像データをＥＶＥＮ画像とＯＤＤ画像に分けてデータストリームを生成し、それぞれ異なる３Ｇ−ＳＤＩ伝送路により外部装置に出力する。そのため、３Ｇ−ＳＤＩ用伝送フォーマットで伝送可能な画像データサイズよりも大きい３０フレーム／秒の５．９Ｋ ＲＡＷ画像データの画素データを３Ｇ−ＳＤＩに準拠した形で伝送することができる。

【0043】

この様に、ＥＶＥＮ画像とＯＤＤ画像に分割することで、画像データの伝送先の外部装置での画像処理が容易になる利点がある。もし、ＲＡＷフレームを単に上下分割した場合、下側画像の上端ラインに対して２タップ処理による現像処理を行う為に、上側画像の下端ラインがＳＤＩ伝送されるまで、約１フレーム期間の待ち時間が発生してしまう。そして、その待ち時間の間に取得した画像データを記憶するメモリが必要になってしまう。本実施形態によれば、その様な待ち時間の発生および使用メモリの増加を回避することが可能となる。

【0044】

特に、水平方向（ラスター走査方向）で、ＥＶＥＮ画像とＯＤＤ画像に分割することにより、画像処理が容易になる利点がある。ベイヤー画像から２タップ処理にて現像処理を行う場合、補間計算元となる隣接する２つのベイヤー単位を、最長１サンプル期間の待ち時間処理を行うことで取得することが出来る。もし、垂直方向でＥＶＥＮ画像とＯＤＤ画像に分割した場合、補間計算元となる隣接する２つのベイヤー単位を取得する為に、最長１ライン期間の待ち時間処理が必要となり、使用メモリが増大してしまう。本実施形態によれば、その様な使用メモリの増大を回避することが可能となる。

【0045】

更には、ベイヤー単位でのＳＤＩ伝送を行うことにより、２タップ処理を行わない簡易現像処理であれば、該当ベイヤー単位のＲ、Ｇｒ、Ｇｂ、Ｂ画素を同時に取得し、待ち時間無く、簡易現像処理が可能となる。その簡易現像処理では、１／２解像度縮小も同時に行うことが出来る。本実施形態によれば、簡易現像処理と１／２解像度縮小処理を、待ち時間および使用メモリ増大を発生させることなく、簡便に実施することができる効果を奏する。

【0046】

また、ＳＭＰＴＥ ＳＴ ２０４８−２で規定された、２０４８Ｘ１０８０／３０Ｐの有効映像期間のみならず、水平および垂直のブランキング領域も利用して多重することで、より少ないＳＤＩケーブル本数にて、より多くの画素を伝送することが可能となる。

【0047】

更に、本実施形態ではフレームレートが３０Ｐの場合について記載したが、フレームレート増えた場合であってもＳＤＩケーブル本数を増やすことによって対応可能である。

【0048】

また、本実施形態では、３０フレーム／秒の５．９Ｋ ＲＡＷ画像データを、ＥＶＥＮ画像とＯＤＤ画像の２つの分割画像に分割し、ＥＶＥＮ画像とＯＤＤ画像のデータストリームをそれぞれ２本３Ｇ−ＳＤＩ伝送路で出力するものとした。しかし、４本３Ｇ−ＳＤＩ伝送路を有している場合、ＲＡＷ画像データを４つの分割画像に分割し、分割画像のデータストリームをそれぞれ４本の３Ｇ−ＳＤＩ伝送路で並行出力してもよい。さらに大きなサイズのＲＡＷ画像データの画素データを３Ｇ−ＳＤＩに準拠した形で伝送することができる。この場合、例えば、ＲＡＷ画像データの色成分毎に、ラスター走査方向に１画素単位で分割して複数の分割領域を生成し、この複数の分割領域をラスター走査方向順に分割画像１〜４に順次割り当てていくことにより、ＲＡＷ画像データを４つの分割画像に分割する。つまり、水平方向の座標が、０、４、８、…となる画素データを分割画像１、水平方向の座標が、１、５、９、…となる画素データを分割画像２、水平方向の座標が、２、６、１０、…となる画素データを分割画像３、水平方向の座標が、３、７、１１、…となる画素データを分割画像４とする。そして、各分割画像毎にデータストリームを生成し、４つの分割画像に対応するデータストリームを、それぞれ異なる３Ｇ−ＳＤＩ伝送路で出力する。

【0049】

また、本実施形態では、ラスター走査方向に１画素単位で、分割画像１（ＥＶＥＮ画像）と分割画像２（ＯＤＤ画像）とに振り分けていることにより、２つの分割画像に分割した。しかし、複数の画素数単位（例えば２画素単位）でラスター走査方向に分割し、分割した画素単位で、ラスター走査方向順に、複数の伝送路に順次（交互）に割り当てることにより、画像データを分割してもよい。分割する画素単位については、伝送先の外部装置で行われる現像処理を考慮すると、大きい画素単位にすると、待ち時間および使用メモリ増大してしまうため、小さくしたほうがよい。

【0050】

また、上記の実施形態では、伝送するＲＡＷ画像データ（動画データ）のサイズが、３Ｇ−ＳＤＩで伝送可能なサイズよりも大きい場合について説明したが、３Ｇ−ＳＤＩで伝送可能なサイズ以下の場合は、通常の３Ｇ−ＳＤＩ伝送を行ってもより。通常の３Ｇ−ＳＤＩでは、画像データをＥＶＥＮ画像とＯＤＤ画像とに分割せずに、画像データを３Ｇ−ＳＤＩ用伝送フォーマットにマッピングして、Ｇｂデータストリーム、Ｇｒデータストリーム、ＢＲデータストリーム１、ＢＲデータストリーム２を生成する。そして、この４つのデータストリームを１本の３Ｇ−ＳＤＩ伝送路で多重出力する。

【0051】

＜第２の実施形態＞
第２の実施形態も図１で示した第１の実施形態のブロック図と基本的には同様の構成であるためその説明は省略する。ただし、本実施形態では、外部Ｉ／Ｆ１０５は、３Ｇ−ＳＤＩ規格の出力端子を３つ有しており（３Ｇ−ＳＤＩ出力端子１、３Ｇ−ＳＤＩ出力端子２、３Ｇ−ＳＤＩ出力端子３）、２本の３Ｇ−ＳＤＩ伝送路を用いて画像データを伝送できる。

【0052】

本実施形態の撮像装置は、ベイヤー構造の画像データをＳＤＩ規格に従って送信する際に、ＥＶＥＮ画像とＯＤＤ画像に分割して伝送する構成を備える。従って、本装置は撮像装置であるとともに画像データの伝送装置でもある。伝送するフレームレートは３０フレームとし伝送する画素数は水平方向の画素数が５９６８画素、垂直方向の画素数は３１５６とし、ビット深度は１２ビットとし３Ｇ−ＳＤＩを３本使用して伝送する場合を例に説明するがその限りではない。本実施形態は実施形態１に対し、マルチプレクサ１０４の処理が異なる。

【0053】

マルチプレクサ１０４は１フレーム分の５．９ＫＲＡＷフレームを読み出し、３Ｇ−ＳＤＩ伝送路３本にマッピングする。５．９ＫＲＡＷフレームは実施形態１と同様に図６および図８で示す形でＥＶＥＮ画像とＯＤＤ画像に分割されて切り出される。切り出されたＥＶＥＮ画像およびＯＤＤ画像の上位１０ビットは実施形態１と同様に図１０および図１３で示す形で３Ｇ−ＳＤＩ１本ずつにマッピングし、図１１，１２，１４，１５のようにデータストリームが生成される。そして、実施形態１と同様に、ＥＶＥＮ画像およびＯＤＤ画像のデータストリームが３Ｇ−ＳＤＩ出力端子１、３Ｇ−ＳＤＩ出力端子２からそれぞれ出力される。

【0054】

次に、下位２ビットのデータの伝送方法について説明する。本実施形態では、下位２ビットのデータを３Ｇ−ＳＤＩ出力端子３から、上位１０ビットのデータと並行して出力する。

【0055】

図１６は各画素データについて、同じ座標の４つの色成分の画素データの下位２ビットをまとめて１０ビットのデータにした構成を示している。

【0056】

０ビット目、１ビット目にＧｂ画素の下位２ビット、２ビット目、３ビット目にＢ画素の下位２ビット、４ビット目、５ビット目にＧｒ画素の下位２ビット、６ビット目、７ビット目にＲ画素の下位２ビットを割り当てている。８ビット目は誤り検出符号を示すイーブンパリティビットであり、９ビット目は８ビット目の補数である。各色成分の画素データの下位２ビットをまとめた１０ビットのデータを、下位２ビット画素データとし、それぞれの座標に対応する下位２ビット画素データを、Ｌ（垂直方向座標、水平方向座標）と記す。

【0057】

図１７ＥＶＥＮ画像の下位２ビット画素データに対応するデータストリームのデータ構成を示す。ＥＶＥＮ画像の下位２ビット画素データは、ＳＭＰＴＥ ＳＴ ２０４８−２で規定された、２０４８Ｘ１０８０／３０Ｐの有効映像期間、および水平および垂直のブランキング領域に多重される。例えば、ＥＶＥＮ画像の最も左上の座標（０、０）の下位２ビット画素データは、７ラインの２１２０サンプルに配置される。そして、いわゆるラスター走査にて、下位２ビット画素データが順次配置される。例えば、７ラインの２１９５サンプルに下位２ビット画素データが配置されると、その次の画素はＳＡＶ領域を超えて７ラインの０サンプルに配置される。そして、７ラインの２０４７サンプルまで連続して下位２ビット画素データが配置される。そして、７ラインの２０４７サンプルに下位２ビット画素データが配置されると、その次は、８ラインの２１２０サンプルに下位２ビット画素データが配置される。１３ラインの２０４７サンプルまで下位２ビット画素データが配置されると、その次は、２０ラインの２１２０サンプルまで下位２ビット画素データが配置される。そして、ＥＶＥＮ画像の最も右下のＬ（１５７７、２９８２）の下位２ビット画素データは、１１２１ラインの９０７サンプルに配置される。

【0058】

図１８はＯＤＤ画像の下位２ビット画素データに対応するデータストリームのデータ構成を示す。ＯＤＤ画像の下位２ビット画素データは、ＳＭＰＴＥ ＳＴ ２０４８−２で規定された、２０４８Ｘ１０８０／３０Ｐの有効映像期間、および水平および垂直のブランキング領域に多重される。例えば、ＯＤＤ画像の最も左上の画素に対応するＬ（０、１）の下位２ビット画素データは、７ラインの２１２０サンプルに配置される。そして、いわゆるラスター走査にて、下位２ビット画素データが順次配置される。例えば、７ラインの２１９５サンプルに下位２ビット画素データが配置されると、その次はＳＡＶ領域を超えて７ラインの０サンプルに下位２ビット画素データが配置される。そして、７ラインの２０４７サンプルまで連続して下位２ビット画素データが配置される。７ラインの２０４７サンプルに下位２ビット画素データが配置されると、その次は、８ラインの２１２０サンプルに下位２ビット画素データが配置される。１３ラインの２０４７サンプルまで下位２ビット画素データが配置されると、その次は、２０ラインの２１２０サンプルまで下位２ビット画素データが配置される。そして、ＯＤＤ画像の最も右下のＬ（１５７７、２９８３）の下位２ビット画素データは、１１２１ラインの９０７サンプルに配置される。

【0059】

図１９は図１７で示したＥＶＥＮ画像の下位２ビット画素データのデータストリームおよび図１８で示したＯＤＤベイヤー画素の下位２ビット画素データのデータストリームを、４本のデータストリームに多重した結果を示す。ＥＶＥＮ画像の下位２ビット画素データのデータストリームは、ＬｉｎｋＡのデータストリーム１に割り当てられ、ＯＤＤ画像の下位２ビット画素データのデータストリームは、ＬｉｎｋＡのデータストリーム１に割り当てられる。ＥＶＥＮ画像の左上端のＬ（０、０）は、ＬｉｎｋＡのデータストリーム１の２１２０サンプルに配置される。同様に、ＯＤＤ画像の左上端のＬ（０、１）は、ＬｉｎｋＡのデータストリーム２の２１２０サンプルに配置される。ＬｉｎｋＢのデータストリーム１およびデータストリーム２は使用されない為、固定値である０４０が配置される。

【0060】

このように生成されたＥＶＥＮ画像およびＯＤＤ画像の下位２ビット画素データの２つのデータストリームが、３Ｇ−ＳＤＩ出力端子３から出力される。下位２ビット画素データのデータストリームは、ＥＶＥＮ画像およびＯＤＤ画像の出力同時に出力が開始され、３本の３Ｇ−ＳＤＩ伝送路により並行して出力される。

【0061】

このように、上位１０ビットの画素データについては、ＥＶＥＮ画像、ＯＤＤ画像とでそれぞれ異なる３Ｇ−ＳＤＩ伝送路により出力される。そして、下位２ビットの画素データについては、ＥＶＥＮ画像、ＯＤＤ画像でそれぞれデータストリームを生成するが、ＥＶＥＮ画像のデータストリームと、ＯＤＤ画像データストリームとが、１本の３Ｇ−ＳＤＩ伝送路により出力される。

【0062】

以上、説明したように本実施形態によれば３０フレーム／秒の５．９Ｋ ＲＡＷの画素データが１２ビットであっても、３Ｇ−ＳＤＩに準拠した形で伝送することができる。

【0063】

本実施形態では、ＲＡＷの画素データが１２ビットの場合について説明したが、１４ビットの場合に、上位１０ビットと下位４ビットに分けてもよい。その場合、ＥＶＥＮ画像とＯＤＤ画像それぞれについて、ＧｂＧｒの下位４ビットの下位４ビットＧ画素データと、ＢＲの下位４ビットの下位４ビットＢＲ画素データに分け、それぞれ３Ｇ−ＳＤＩ伝送用フォーマットにマッピングしたデータストリームを生成する。そして、ＥＶＥＮ画像の下位４ビットＧ画素データをＬｉｎｋＡのデータストリーム１、ＥＶＥＮ画像の下位４ビットＢＲ画素データをＬｉｎｋＡのデータストリーム２、ＯＤＤ画像の下位４ビットＧ画素データをＬｉｎｋＢのデータストリーム１、ＯＤＤ画像の下位４ビットＢＲ画素データをＬｉｎｋＢのデータストリーム２にそれぞれ割り当てて、３Ｇ−ＳＤＩ出力端子３から出力する。

【0064】

つまり、１０ビット以上のＮビットのＲＡＷ画像データであっても、ＥＶＥＮ画像とＯＤＤ画像とに分割した後に、更に、上位１０ビットと下位（Ｎ−１０）ビットのデータに分割する。そして、分割した画像のデータストリームを複数の３Ｇ−ＳＤＩ伝送路で伝送することで、ビット深度が１０よりも大きいＲＡＷ画像データであっても、３Ｇ−ＳＤＩに準拠した形で伝送することができる。

【0065】

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

【0066】

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

【0067】

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

【0068】

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

【0069】

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

【0070】

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

【符号の説明】

【0071】

１００ 撮像装置
１０１ 撮像部
１０２ 信号処理部
１０３ 信号切り出し部
１０４ マルチプレクサ
１０５ 外部Ｉ／Ｆ
１０６ 制御部
１０７ 操作部
１０８ フラッシュメモリ
１０９ メモリ
１１０ 表示制御部
１１１ 表示部
１１２ 内部バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】