(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-20
(45)【発行日】2024-10-01
(54)【発明の名称】送信装置、送信方法、受信装置、受信方法、および送受信装置
(51)【国際特許分類】
H04L 69/322 20220101AFI20240924BHJP
H04N 5/00 20110101ALI20240924BHJP
【ＦＩ】
H04L69/322
H04N5/00
【請求項の数】
20
(21)【出願番号】P 2021526007
(86)(22)【出願日】2020-06-01
(86)【国際出願番号】 JP2020021544
(87)【国際公開番号】W WO2020250727
(87)【国際公開日】2020-12-17
【審査請求日】2023-04-14
(31)【優先権主張番号】P 2019110793
(32)【優先日】2019-06-14
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】細江 隆
【審査官】中川 幸洋
(56)【参考文献】
【文献】特開２０１２－１２０１５９（ＪＰ，Ａ）
【文献】特開２０１１－０１９２５５（ＪＰ，Ａ）
【文献】特開２０００－０３００５７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｌ ６９／３２２
Ｈ０４Ｎ ５／００
(57)【特許請求の範囲】
【請求項1】
ビット幅が異なる複数種類の単位データを格納したペイロードであって、ビット幅の種類ごとに画像の１ラインを構成する分の前記単位データを格納した前記ペイロードを生成し、複数種類の前記単位データが前記ペイロードに格納されていることを表す識別子を含む分離情報を含むヘッダを前記ペイロードに付加することによって、伝送対象のデータを所定のフォーマットで配置したフレームを構成する各ラインのデータの伝送に用いられるパケットを生成するパケット生成部と、前記パケットを送信する送信部と
を備える送信装置。
【請求項2】
前記パケット生成部は、前記単位データのビット幅が前記ペイロード内で周期的に切り替わる前記ペイロードを生成する請求項１に記載の送信装置。
【請求項3】
前記パケット生成部は、ビット幅が同じ前記単位データを連続して格納した前記ペイロードを生成する請求項２に記載の送信装置。
【請求項4】
前記パケット生成部は、ビット幅が周期的に切り替わることを表すモード情報とともに、前記単位データの並び順と、ビット幅の切り替わりの周期とのうちの少なくともいずれかを表す情報を前記分離情報として含む前記ヘッダを付加する請求項２に記載の送信装置。
【請求項5】
前記パケット生成部は、複数の撮像素子により撮像して得られたそれぞれの画像を構成する画素を前記単位データとして格納した前記ペイロードを含む前記パケットを生成する 請求項２に記載の送信装置。
【請求項6】
前記パケット生成部は、前記単位データのビット幅が前記ペイロード内で部分的に切り替わる前記ペイロードを生成する請求項１に記載の送信装置。
【請求項7】
前記パケット生成部は、ビット幅が部分的に切り替わることを表すモード情報とともに、前記単位データのビット幅が切り替わる部分の数、前記部分の開始位置、および、前記部分の幅のうちの少なくともいずれかを表す情報を前記分離情報として含む前記ヘッダを付加する請求項６に記載の送信装置。
【請求項8】
前記パケット生成部は、画像を解析することによって検出された注目領域を構成する画素と非注目領域を構成する画素を、それぞれビット幅が異なる前記単位データとして格納した前記ペイロードを含む前記パケットを生成する請求項６に記載の送信装置。
【請求項9】
前記パケット生成部は、前記所定のフォーマットで規定されるデータ長の前記ヘッダに格納することができない前記分離情報の一部を、前記ペイロードの先頭に格納する請求項１に記載の送信装置。
【請求項10】
前記パケット生成部は、所定のセンサの測定結果を表す各項目の情報を前記単位データとして格納した前記ペイロードを含む前記パケットを生成する請求項１に記載の送信装置。
【請求項11】
前記送信部は、前記パケットを構成するパケットデータを複数のレーンに分配し、それぞれの前記レーンの前記パケットデータに対して制御情報の挿入を含む処理を並列に行い、処理を施して得られた前記パケットデータを受信装置との間の伝送路上に出力する請求項１に記載の送信装置。
【請求項12】
送信装置が、ビット幅が異なる複数種類の単位データを格納したペイロードであって、ビット幅の種類ごとに画像の１ラインを構成する分の前記単位データを格納した前記ペイロードを生成し、
複数種類の前記単位データが前記ペイロードに格納されていることを表す識別子を含む分離情報を含むヘッダを前記ペイロードに付加することによって、伝送対象のデータを所定のフォーマットで配置したフレームを構成する各ラインのデータの伝送に用いられるパケットを生成し、
前記パケットを送信する
送信方法。
【請求項13】
ビット幅が異なる複数種類の単位データを格納したペイロードであって、ビット幅の種類ごとに画像の１ラインを構成する分の前記単位データを格納した前記ペイロードに、複数種類の前記単位データが前記ペイロードに格納されていることを表す識別子を含む分離情報を含むヘッダを付加することによって生成された、伝送対象のデータを所定のフォーマットで配置したフレームを構成する各ラインのデータの伝送に用いられるパケットを受信する受信部と、ビット幅が異なるそれぞれの前記単位データを前記分離情報に基づいて分離し、出力する分離部と
を備える受信装置。
【請求項14】
前記分離部は、前記単位データのビット幅が前記ペイロード内で周期的に切り替わる前記ペイロードから、前記単位データを分離する請求項１３に記載の受信装置。
【請求項15】
前記分離部は、ビット幅が周期的に切り替わることを表すモード情報とともに、前記単位データの並び順と、ビット幅の切り替わりの周期とのうちの少なくともいずれかを表す情報を含む前記分離情報に基づいて、前記単位データを分離する請求項１４に記載の受信装置。
【請求項16】
前記分離部は、前記単位データのビット幅が前記ペイロード内で部分的に切り替わる前記ペイロードから、前記単位データを分離する請求項１３に記載の受信装置。
【請求項17】
前記分離部は、ビット幅が部分的に切り替わることを表すモード情報とともに、前記単位データのビット幅が切り替わる部分の数、前記部分の開始位置、および、前記部分の幅のうちの少なくともいずれかを表す情報を含む前記分離情報に基づいて、前記単位データを分離する請求項１６に記載の受信装置。
【請求項18】
前記受信部は、複数のレーンのデータとして送信装置から並列に伝送路上に出力されたパケットデータを受信し、前記分離部は、それぞれの前記レーンの前記パケットデータを一系統のデータに統合して得られた前記パケットの前記ペイロードから、前記単位データを分離する
請求項１３に記載の受信装置。
【請求項19】
受信装置が、ビット幅が異なる複数種類の単位データを格納したペイロードであって、ビット幅の種類ごとに画像の１ラインを構成する分の前記単位データを格納した前記ペイロードに、複数種類の前記単位データが前記ペイロードに格納されていることを表す識別子を含む分離情報を含むヘッダを付加することによって生成された、伝送対象のデータを所定のフォーマットで配置したフレームを構成する各ラインのデータの伝送に用いられるパケットを受信し、
ビット幅が異なるそれぞれの前記単位データを前記分離情報に基づいて分離し、出力する
受信方法。
【請求項20】
ビット幅が異なる複数種類の単位データを格納したペイロードであって、ビット幅の種類ごとに画像の１ラインを構成する分の前記単位データを格納した前記ペイロードを生成し、複数種類の前記単位データが前記ペイロードに格納されていることを表す識別子を含む分離情報を含むヘッダを前記ペイロードに付加することによって、伝送対象のデータを所定のフォーマットで配置したフレームを構成する各ラインのデータの伝送に用いられるパケットを生成するパケット生成部と、前記パケットを送信する送信部と
を備える送信装置と、
前記パケットを受信する受信部と、
ビット幅が異なるそれぞれの前記単位データを前記分離情報に基づいて分離し、出力する分離部と
を備える受信装置と
を含む送受信装置。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、送信装置、送信方法、受信装置、受信方法、および送受信装置に関し、特に、ビット幅が異なる複数のデータを１つのパケットのペイロードに格納して伝送することができるようにした送信装置、送信方法、受信装置、受信方法、および送受信装置に関する。
【背景技術】
【0002】
イメージセンサ－DSP間などのチップ間のデータ伝送のインタフェースの規格として、MIPI(Mobile Industry Processor Interface)規格、SLVS-EC(Scalable Low Voltage Signaling-Embedded Clock)規格がある。
【0003】
MIPI規格、SLVS-EC規格においては、伝送対象の１フレームの画像を構成する各画素のデータを１ライン単位で１パケットのペイロードに格納し、伝送するようになっている。１パケットのペイロードには、１ラインを構成する、同じビット幅の１種類の階調の画素のデータが格納される。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１２－１２０１５９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来のMIPI規格等においては、ビット幅が異なる複数種類の階調の画素のデータを１パケットのペイロードに格納して伝送することができない。
【0006】
本技術はこのような状況に鑑みてなされたものであり、ビット幅が異なる複数のデータを１つのパケットのペイロードに格納して伝送することができるようにするものである。
【課題を解決するための手段】
【0007】
本技術の第１の側面の送信装置は、ビット幅が異なる複数種類の単位データを格納したペイロードであって、ビット幅の種類ごとに画像の１ラインを構成する分の前記単位データを格納した前記ペイロードを生成し、複数種類の前記単位データが前記ペイロードに格納されていることを表す識別子を含む分離情報を含むヘッダを前記ペイロードに付加することによって、伝送対象のデータを所定のフォーマットで配置したフレームを構成する各ラインのデータの伝送に用いられるパケットを生成するパケット生成部と、前記パケットを送信する送信部とを備える。
【0008】
本技術の第２の側面の受信装置は、ビット幅が異なる複数種類の単位データを格納したペイロードであって、ビット幅の種類ごとに画像の１ラインを構成する分の前記単位データを格納した前記ペイロードを生成し、複数種類の前記単位データが前記ペイロードに格納されていることを表す識別子を含む分離情報を含むヘッダを前記ペイロードに付加することによって生成された、伝送対象のデータを所定のフォーマットで配置したフレームを構成する各ラインのデータの伝送に用いられるパケットを受信する受信部と、ビット幅が異なるそれぞれの前記単位データを前記分離情報に基づいて分離し、出力する分離部とを備える。
【0009】
本技術の第１の側面においては、ビット幅が異なる複数種類の単位データを格納したペイロードであって、ビット幅の種類ごとに画像の１ラインを構成する分の前記単位データを格納した前記ペイロードを生成し、複数種類の前記単位データが前記ペイロードに格納されていることを表す識別子を含む分離情報を含むヘッダを前記ペイロードに付加することによって、伝送対象のデータを所定のフォーマットで配置したフレームを構成する各ラインのデータの伝送に用いられるパケットが生成され、前記パケットが送信される。
【0010】
本技術の第２の側面においては、ビット幅が異なる複数種類の単位データを格納したペイロードであって、ビット幅の種類ごとに画像の１ラインを構成する分の前記単位データを格納した前記ペイロードに、複数種類の前記単位データが前記ペイロードに格納されていることを表す識別子を含む分離情報を含むヘッダを付加することによって生成された、伝送対象のデータを所定のフォーマットで配置したフレームを構成する各ラインのデータの伝送に用いられるパケットが受信され、ビット幅が異なるそれぞれの前記単位データが前記分離情報に基づいて分離され、出力される。
【図面の簡単な説明】
【0011】
【図1】本技術の一実施形態に係る伝送システムの構成例を示す図である。
【図2】データ伝送に用いられるフォーマットの例を示す図である。
【図3】ヘッダに含まれる情報を拡大して示す図である。
【図4】ペイロードに格納されるデータの例を示す図である。
【図5】データ伝送の例を示す図である。
【図6】Multi cameraシステムの例を示す図である。
【図7】ROIセンサシステムの例を示す図である。
【図8】ROIセンサの出力の例を示す図である。
【図9】格納パターンの例を示す図である。
【図10】格納パターンの他の例を示す図である。
【図11】格納パターンのさらに他の例を示す図である。
【図12】格納パターンの例を示す図である。
【図13】分離情報の例を示す図である。
【図14】Data IDの値の意味の例を示す図である。
【図15】Data IDの設定例を示す図である。
【図16】Data IDの他の設定例を示す図である。
【図17】分離情報の使用例を示す図である。
【図18】分離情報の他の使用例を示す図である。
【図19】ROI画像の例を示す図である。
【図20】分離情報の格納の例を示す図である。
【図21】送信部の構成例を示すブロック図である。
【図22】データ伝送の例を示す図である。
【図23】streamの例を示す図である。
【図24】送信部の他の構成例を示すブロック図である。
【図25】データ伝送の他の例を示す図である。
【図26】streamの例を示す図である。
【図27】受信部の構成例を示すブロック図である。
【図28】送信部の処理について説明するフローチャートである。
【図29】受信部の処理について説明するフローチャートである。
【図30】TOFセンサシステムの例を示す図である。
【図31】TOFセンサの出力データのフォーマットの例を示す図である。
【図32】パケットの構成例を示す図である。
【図33】送信部と受信部の構成例を示す図である。
【図34】ヘッダ情報の例を示す図である。
【図35】各画素の画素値が８ビットで表される場合のPixel to Byte変換の例を示す図である。
【図36】各画素の画素値が１０ビットで表される場合のPixel to Byte変換の例を示す図である。
【図37】各画素の画素値が１２ビットで表される場合のPixel to Byte変換の例を示す図である。
【図38】各画素の画素値が１４ビットで表される場合のPixel to Byte変換の例を示す図である。
【図39】各画素の画素値が１６ビットで表される場合のPixel to Byte変換の例を示す図である。
【図40】ペイロードデータの例を示す図である。
【図41】ペイロードデータの他の例を示す図である。
【図42】パリティが挿入されたペイロードデータの例を示す図である。
【図43】ペイロードデータにヘッダを付加した状態を示す図である。
【図44】ペイロードデータにヘッダとフッタを付加した状態を示す図である。
【図45】パリティが挿入されたペイロードデータにヘッダを付加した状態を示す図である。
【図46】パケットデータの割り当ての例を示す図である。
【図47】制御コードの例を示す図である。
【図48】K Characterの値を示す図である。
【図49】Pad Codeの挿入の例を示す図である。
【図50】制御コード挿入後のパケットデータの例を示す図である。
【図51】Data Skewの補正の例を示す図である。
【図52】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【0012】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．伝送システムの構成例
２．フレームフォーマット
３．階調が異なる複数の画素のデータを格納するペイロードの例
４．アプリケーションの例
５．格納パターンの例
６．分離情報の例
７．送信部と受信部の構成
８．送信部と受信部の動作
９．他のアプリケーションの例
１０．SLVS-EC規格について
１１．変形例
１．伝送システムの構成例
２．フレームフォーマット
３．階調が異なる複数の画素のデータを格納するペイロードの例
４．アプリケーションの例
５．格納パターンの例
６．分離情報の例
７．送信部と受信部の構成
８．送信部と受信部の動作
９．他のアプリケーションの例
１０．SLVS-EC規格について
１１．変形例
【0013】
＜伝送システムの構成例＞
図１は、本技術の一実施形態に係る伝送システムの構成例を示す図である。
図１は、本技術の一実施形態に係る伝送システムの構成例を示す図である。
【0014】
図１の伝送システム１は、送信側LSI１１と受信側LSI１２から構成される。送信側LSI１１と受信側LSI１２は、例えば、デジタルカメラや携帯電話機などの、撮像機能を有する同じ装置内に設けられる。送信側LSI１１には情報処理部２１と送信部２２が設けられ、受信側LSI１２には受信部３１と情報処理部３２が設けられる。
【0015】
送信側LSI１１の情報処理部２１は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を有している。情報処理部２１は、撮像素子において受光した光の光電変換によって得られた信号のA/D変換などを行い、１フレームの画像を構成する画素データを、１画素のデータずつ順に送信部２２に出力する。
【0016】
送信部２２は、情報処理部２１から供給された各画素のデータを、例えば情報処理部２１から供給された順に複数の伝送路に割り当て、複数の伝送路を介して並列に受信側LSI１２に送信する。図１の例においては、８本の伝送路を用いて画素データの伝送が行われている。送信側LSI１１と受信側LSI１２の間の伝送路は有線の伝送路であってもよいし、無線の伝送路であってもよい。以下、適宜、送信側LSI１１と受信側LSI１２の間の伝送路をレーン（Lane）という。
【0017】
受信側LSI１２の受信部３１は、８本のレーンを介して送信部２２から伝送されてきた画素データを受信し、各画素のデータを情報処理部３２に順に出力する。
【0018】
情報処理部３２は、受信部３１から供給された画素データに基づいて１フレームの画像を生成し、生成した画像を用いて各種の画像処理を行う。送信側LSI１１から受信側LSI１２に伝送される画像データは例えばRAWデータであり、情報処理部３２においては、画像データの圧縮、画像の表示、記録媒体に対する画像データの記録などの各種の処理が行われる。RAWデータ以外に、JPEGデータや、画素データ以外の付加データが送信側LSI１１から受信側LSI１２に対して伝送されることもある。
【0019】
以上のように、伝送システム１の送信側LSI１１に設けられる送信部２２と、受信側LSI１２に設けられる受信部３１の間では、複数のレーンを用いたデータの送受信が行われる。
【0020】
送信部２２と受信部３１が同じ数ずつ設けられるようにすることも可能である。この場合、複数のレーンを用いたデータの送受信が、それぞれの送信部２２と受信部３１の組の間で行われる。
【0021】
送信部２２と受信部３１の間のデータの送受信は、例えば、SLVS-EC規格に従って行われる。
【0022】
SLVS-EC規格においては、信号処理の内容に応じて、アプリケーションレイヤ（Application Layer）、リンクレイヤ（LINK Layer）、および物理レイヤ（PHY Layer）が定義されている。各レイヤの信号処理が、送信側（Tx）である送信部２２と、受信側（Rx）である受信部３１のそれぞれにおいて行われる。
【0023】
詳細については後述するが、リンクレイヤにおいては、基本的に、以下の機能を実現するための信号処理が行われる。
１．ピクセルデータ－バイトデータ変換
２．ペイロードデータのエラー訂正
３．パケットデータと補助データの伝送
４．パケットフッタを用いた、ペイロードデータのエラー訂正
５．レーンマネジメント
６．パケット生成のためのプロトコルマネジメント
１．ピクセルデータ－バイトデータ変換
２．ペイロードデータのエラー訂正
３．パケットデータと補助データの伝送
４．パケットフッタを用いた、ペイロードデータのエラー訂正
５．レーンマネジメント
６．パケット生成のためのプロトコルマネジメント
【0024】
一方、物理レイヤにおいては、基本的に、以下の機能を実現するための信号処理が行われる。
１．制御コードの生成と抽出
２．バンド幅の制御
３．レーン間のskewの制御
４．シンボルの配置
５．ビット同期のためのシンボルコーディング
６．SERDES(SERializer/DESerializer)
７．クロックの生成と再生
８．SLVS(Scalable Low Voltage Signaling)信号の伝送
１．制御コードの生成と抽出
２．バンド幅の制御
３．レーン間のskewの制御
４．シンボルの配置
５．ビット同期のためのシンボルコーディング
６．SERDES(SERializer/DESerializer)
７．クロックの生成と再生
８．SLVS(Scalable Low Voltage Signaling)信号の伝送
【0025】
＜フレームフォーマット＞
図２は、送信側LSI１１－受信側LSI１２間のデータ伝送に用いられるフォーマットの例を示す図である。
図２は、送信側LSI１１－受信側LSI１２間のデータ伝送に用いられるフォーマットの例を示す図である。
【0026】
送信側LSI１１－受信側LSI１２間においては、例えば、１フレームの画像毎に、図２に示すようなフレームフォーマットを用いて、データの伝送が行われる。複数フレームの画像の伝送が、図２に示すようなフレームフォーマットを用いて行われることもある。
【0027】
有効画素領域Ａ１は、撮像された画像の有効画素の領域である。伝送対象の画像が有効画素領域Ａ１に配置される。有効画素領域Ａ１の左側には、垂直方向の画素数が有効画素領域Ａ１の垂直方向の画素数と同じであるマージン領域Ａ２が設定される。
【0028】
有効画素領域Ａ１の上側には、水平方向の画素数が、有効画素領域Ａ１とマージン領域Ａ２全体の水平方向の画素数と同じである前ダミー領域Ａ３が設定される。図２の例においては、前ダミー領域Ａ３にはEmbedded Dataが挿入されている。Embedded Dataは、シャッタスピード、絞り値、ゲインなどの、情報処理部２１による撮像に関する設定値の情報が含まれる。後ダミー領域Ａ４にEmbedded Dataが挿入されることもある。
【0029】
有効画素領域Ａ１の下側には、水平方向の画素数が、有効画素領域Ａ１とマージン領域Ａ２全体の水平方向の画素数と同じである後ダミー領域Ａ４が設定される。
【0030】
有効画素領域Ａ１、マージン領域Ａ２、前ダミー領域Ａ３、および後ダミー領域Ａ４から画像データ領域Ａ１１が構成される。
【0031】
画像データ領域Ａ１１を構成する各ラインの前にはヘッダが付加され、ヘッダの前にはStart Codeが付加される。また、画像データ領域Ａ１１を構成する各ラインの後ろにはフッタがオプションで付加され、フッタの後ろにはEnd Codeなどの後述する制御コードが付加される。フッタが付加されない場合、画像データ領域Ａ１１を構成する各ラインの後ろにEnd Codeなどの制御コードが付加される。
【0032】
例えば１フレームの画像を送信側LSI１１から受信側LSI１２に伝送する毎に、図２に示すフォーマットのデータ全体が伝送データとして伝送される。
【0033】
図２の上方に示す帯は、下側に示す伝送データの伝送に用いられるパケットの構造を示している。水平方向の画素の並びをラインとすると、１つのパケットのペイロードには、画像データ領域Ａ１１の１ラインを構成する画素のデータが格納される。１フレームの画像データ全体の伝送は、画像データ領域Ａ１１の垂直方向の画素数以上の数のパケットを用いて行われることになる。
【0034】
１ライン分の画素データが格納されたペイロードに、ヘッダとフッタが付加されることによって１パケットが構成される。ヘッダには、Frame Start, Frame End, Line Valid, Line Numberなどの、ペイロードに格納されている画素データの付加的な情報が含まれる。各パケットには、制御コードであるStart CodeとEnd Codeが少なくとも付加される。
【0035】
このように、１フレームの画像を構成する画素データをライン毎に伝送するフォーマットを採用することによって、ヘッダ等の付加的な情報やStart Code, End Codeなどの制御コードをライン毎のブランキング期間中に伝送することが可能になる。
【0036】
図３は、ヘッダに含まれる情報を拡大して示す図である。
【0037】
図３に示すように、ヘッダは、ヘッダ情報とHeader ECCから構成される。
【0038】
ヘッダ情報には、Frame Start, Frame End, Line Valid, Line Number, Embedded Line, Data ID, Reservedが含まれる。
【0039】
Frame Startは、フレームの先頭を示す１ビットの情報である。図２の画像データ領域Ａ１１の１ライン目の画素データの伝送に用いられるパケットのヘッダのFrame Startには１の値が設定され、他のラインの画素データの伝送に用いられるパケットのヘッダのFrame Startには０の値が設定される。
【0040】
Frame Endは、フレームの終端を示す１ビットの情報である。有効画素領域Ａ１の終端ラインの画素データをペイロードに含むパケットのヘッダのFrame Endには１の値が設定され、他のラインの画素データの伝送に用いられるパケットのヘッダのFrame Endには０の値が設定される。
【0041】
Frame StartとFrame Endが、フレームに関する情報であるフレーム情報となる。
【0042】
Line Validは、ペイロードに格納されている画素データのラインが有効画素のラインであるのか否かを表す１ビットの情報である。有効画素領域Ａ１内のラインの画素データの伝送に用いられるパケットのヘッダのLine Validには１の値が設定され、他のラインの画素データの伝送に用いられるパケットのヘッダのLine Validには０の値が設定される。
【0043】
Line Numberは、ペイロードに格納されている画素データにより構成されるラインのライン番号を表す１３ビットの情報である。
【0044】
Line ValidとLine Numberが、ラインに関する情報であるライン情報となる。
【0045】
Embedded Lineは、Embedded Dataが挿入されているラインの伝送に用いられるパケットであるのか否かを表す１ビットの情報である。例えば、Embedded Dataを含むラインの伝送に用いられるパケットのヘッダのEmbedded Lineには１の値が設定され、他のラインの伝送に用いられるパケットのヘッダのEmbedded Lineには０の値が設定される。
【0046】
Data IDは、伝送対象のデータの識別子である。Data IDには例えば４ビットが割り当てられる。後述するように、Data IDにより、階調が異なる複数の画素のデータがペイロードに格納されていることが表される。
【0047】
Data IDの後方の領域はReserved領域となる。
【0048】
図３に示すように、ヘッダ情報に続けて配置されるHeader ECCには、ヘッダ情報に基づいて計算された誤り検出符号であるCRC(Cyclic Redundancy Check)符号が含まれる。また、Header ECCには、CRC符号に続けて、ヘッダ情報とCRC符号の組である８バイトの情報と同じ情報が２つ含まれる。
【0049】
すなわち、１つのパケットのヘッダには、同じヘッダ情報とCRC符号の組が３つ含まれる。ヘッダ全体のデータ量は、例えば、１組目のヘッダ情報とCRC符号の組の８バイトと、２組目のヘッダ情報とCRC符号の組の８バイトと、３組目のヘッダ情報とCRC符号の組の８バイトとの、あわせて２４バイトになる。
【0050】
＜階調が異なる複数の画素のデータを格納するペイロードの例＞
図４は、ペイロードに格納されるデータの例を示す図である。
図４は、ペイロードに格納されるデータの例を示す図である。
【0051】
図４に示すように、送信側LSI１１－受信側LSI１２間で伝送されるパケットのペイロードには、Type1データとType2データの、複数の階調の画素のデータが格納される。
【0052】
Type1データは、８ビットの階調の画素（階調が８ビットで表される画素）のデータである。Type2データは、１２ビットの階調の画素（階調が１２ビットで表される画素）のデータである。
【0053】
すなわち、図４に示す１つのパケットのペイロードには、１つの画素のデータを単位データとして、データ単位毎のビット幅が異なる複数種類の単位データが格納される。
【0054】
図４の例においては、Type1データとType2データが交互に配置されている。Type1データとType2データの文字が付されている１つのブロックが、それぞれ、８ビットの１つの画素のデータと、１２ビットの１つの画素のデータを表す。図４に示す格納パターンは、複数の階調の画素のデータが、１画素のデータ毎に周期的に格納される場合のパターンとなる。
【0055】
図４に示すようなデータがペイロードに格納されたパケットを受信した受信側LSI１２の受信部３１においては、実線の矢印の先に示すように、Type1データを分離することによって、８ビットの画素から構成される１ラインが取得される。また、一点鎖線の矢印の先に示すように、Type2データを分離することによって、１２ビットの画素から構成される１ラインが取得される。
【0056】
ヘッダには、図３を参照して説明した情報の他に、複数の階調の画素のデータがペイロードに格納されていることを表す情報と、Type1データ、Type2データの周期と範囲を表す情報が含まれている。受信側LSI１２においては、これらの情報を含む分離情報に基づいて、Type1データとType2データが分離される。
【0057】
１フレームを構成する各ラインを伝送するパケットを対象としてType1データ、Type2データの分離が順次行われることにより、受信側LSI１２においては、８ビットの画素から構成される１フレームの画像全体と、１２ビットの画素から構成される１フレームの画像全体が取得される。
【0058】
このように、１ラインの画素のデータ全体を１つのパケットを用いて伝送する場合において、複数の階調の画素のデータを１つのペイロードに混在させることができるようにすることにより、データ伝送の効率化を図ることができる。
【0059】
複数の階調の画素のデータを１つのペイロードに混在させることができない場合、すなわち、１つのパケットのペイロードには１種類の階調の画素のデータしか格納することができないとした場合について考える。この場合、仮に、８ビットの画像（８ビットの画素から構成される画像）と１２ビットの画像（１２ビットの画素から構成される画像）を伝送するとしたときには、図５に示すように、ライン毎に２つのパケットを用いる必要がある。
【0060】
図３を参照して説明したように、SLVS-EC規格においては、１ラインのデータを伝送するごとに制御コードが設定される。２つのパケットを伝送する場合、１つのパケットを伝送する場合と比べて、制御コードなどの数が多くなる分だけデータ伝送の効率が低下することになる。複数の階調の画素のデータを１つのペイロードに混在させることができるようにすることにより、そのようなデータ伝送の効率の低下を防ぐことが可能となる。
【0061】
＜アプリケーションの例＞
複数の階調の画素のデータを１つのペイロードに混在させた伝送方式は、各種のアプリケーションに適用可能である。以下、適宜、複数の階調の画素のデータを１つのペイロードに混在させた伝送方式を、多階調伝送方式という。
複数の階調の画素のデータを１つのペイロードに混在させた伝送方式は、各種のアプリケーションに適用可能である。以下、適宜、複数の階調の画素のデータを１つのペイロードに混在させた伝送方式を、多階調伝送方式という。
【0062】
・Multi camera（多眼）システム
図６は、Multi cameraシステムの例を示す図である。
図６は、Multi cameraシステムの例を示す図である。
【0063】
Multi cameraシステムは、複数のイメージセンサにより例えば同時に撮像を行って得られた複数の画像を伝送するシステムである。
【0064】
図６の例においては、イメージセンサＳ１により撮像された１２ビットの画像と、イメージセンサＳ２により撮像された１０ビットの画像がそれぞれのイメージセンサから出力され、多眼処理LSIに入力されている。
【0065】
多眼処理LSIにおいては、１２ビットの画像を構成する所定のラインの画素全体と、１０ビットの画像を構成する所定のラインの画素全体とを１つのペイロードに格納したパケットが生成され、host controllerに伝送される。図６の例においては、イメージセンサＳ１により撮像された１２ビットの画像はRGB画像とされ、イメージセンサＳ２により撮像された１０ビットの画像はDepth画像とされている。
【0066】
このように、Multi cameraシステムにおいては、多眼処理LSIからhost controllerに対するデータ伝送に多階調伝送方式が用いられる。
【0067】
Multi cameraシステムを図１の伝送システム１の構成において実現する場合、例えば、イメージセンサＳ１，Ｓ２の機能は情報処理部２１により実現される（複数のイメージセンサが情報処理部２１に設けられる）。また、多眼処理LSIの機能は送信部２２により実現される。host controllerの機能は、受信部３１と情報処理部３２により実現される。
【0068】
多階調伝送方式をMulti cameraシステムに適用することにより、１２ビットのRGB画像と１０ビットのDepth画像を効率的に伝送し、低レイテンシーなデータ伝送を実現することが可能となる。
【0069】
・ROI(Region of Interest)センサシステム
図７は、ROIセンサシステムの例を示す図である。
図７は、ROIセンサシステムの例を示す図である。
【0070】
ROIセンサシステムは、画像を解析することによってROI領域（注目領域）と非ROI領域を設定し、それぞれの領域の画素のデータを異なる階調のデータとして伝送するシステムである。
【0071】
図７の例においては、撮像された画像をROIセンサＳ１１において解析して得られた、例えば１２ビットのROI領域の画素と８ビットの非ROI領域の画素がROIセンサＳ１１から出力され、画像処理LSIに入力されている。
【0072】
図８は、ROIセンサＳ１１の出力の例を示す図である。
【0073】
ROIセンサＳ１１においては、画像の解析結果に基づいて、図８に示すようにしてROI領域と非ROI領域が設定される。図８の例においては、画像全体のうち、左上方の略正方形の領域と右下方の平行四辺形の領域がそれぞれROI領域＃１，＃２として設定され、それ以外の領域が非ROI領域として設定されている。
【0074】
図７の画像処理LSIにおいては、画像を構成する所定のラインの伝送時、そのラインにROI領域の画素と非ROI領域の画素が含まれるときには、階調が異なるROI領域の画素と非ROI領域の画素とを１つのペイロードに格納したパケットが生成され、host controllerに伝送される。
【0075】
このように、ROIセンサシステムにおいては、画像処理LSIからhost controllerに対するデータ伝送に多階調伝送方式が用いられる。
【0076】
ROIセンサシステムを図１の伝送システム１の構成において実現する場合、例えば、ROIセンサＳ１１の機能は情報処理部２１により実現され、画像処理LSIの機能は送信部２２により実現される。host controllerの機能は、受信部３１と情報処理部３２により実現される。
【0077】
多階調伝送方式をROIセンサシステムに適用することにより、１２ビットのROI領域のデータと８ビットの非ROI領域のデータを効率的に伝送することが可能となる。また、非ROI領域のデータを、階調を抑えた形で伝送することが可能となる。
【0078】
以上のように、多階調伝送方式は、階調が異なる複数の画素のデータを伝送する各種のシステムに適用可能である。１画素のデータ以外を単位データとして伝送するシステムに適用する場合については後述する。
【0079】
【0080】
図９の例においては、ペイロード全体のうち、位置Ｐ１から位置Ｐ２までの区間にType1データが格納され、位置Ｐ２から位置Ｐ３までの区間にType2データが格納されている。位置Ｐ１から位置Ｐ２までの区間には、Type1データが１ラインを構成する画素の分だけ連続して格納される。また、位置Ｐ２から位置Ｐ３までの区間には、Type2データが１ラインを構成する画素の分だけ連続して格納される。
【0081】
この場合、ヘッダに格納される分離情報には、Type1データ、Type2データの周期と範囲を表す情報が少なくとも含まれる。
【0082】
受信部３１においては、位置Ｐ２において階調が切り替わることが分離情報に基づいて特定され、Type1データとType2データのそれぞれのデータが分離される。
【0083】
このように、多階調伝送方式においては、Type1データとType2データを、それぞれ複数画素分まとめて格納することが可能とされる。
【0084】
・格納パターンの例２
図１０は、格納パターンの他の例を示す図である。
図１０は、格納パターンの他の例を示す図である。
【0085】
図１０の例においては、Type1データ、Type2データ、Type3データの、階調が異なる３種類の画素のデータが交互に配置されている。Type1データ、Type2データ、Type3データは、それぞれ、８ビット、１２ビット、１４ビットの画素のデータである。
【0086】
この場合、ヘッダに格納される分離情報には、Type1データ、Type2データ、Type3データの周期と範囲を表す情報が少なくとも含まれる。
【0087】
受信部３１においては、階調の切り替わり位置が分離情報に基づいて特定され、Type1データ、Type2データ、Type3データのそれぞれのデータが分離される。
【0088】
このように、多階調伝送方式においては、階調が異なる３種類以上の画素のデータを格納することが可能とされる。１つのペイロードに格納する画素の階調の数に制限はない。
【0089】
なお、１つのペイロードに格納する階調(ビット幅)の組み合わせにも制限はない。８ビットの画素と１２ビットの画素との組み合わせだけでなく、例えば、１０ビットの画素と１４ビットの画素との組み合わせも可能である。
【0090】
・格納パターンの例３
図１１は、格納パターンのさらに他の例を示す図である。
図１１は、格納パターンのさらに他の例を示す図である。
【0091】
図１１の例においては、２画素分のType2データと１画素分のType1データが交互に格納されている。図１１において、Type2データの１つのブロックの幅が長いことは、２画素分のType2データが連続して格納されることを表す。図１１に示す格納パターンは、複数の階調の画素のデータが、Type1データについては２画素分のType2データを挟んで周期的に、Type2データについては１画素分のType1データを挟んで周期的に格納される場合のパターンとなる。
【0092】
この場合、ヘッダに格納される分離情報には、Type1データ、Type2データの周期と範囲を表す情報が少なくとも含まれる。
【0093】
受信部３１においては、階調の切り替わり位置が分離情報に基づいて特定され、Type1データとType2データのそれぞれのデータが分離される。
【0094】
このように、多階調伝送方式においては、階調の切り替わりの周期をType1データとType2データとで異なる周期として格納することが可能とされる。
【0095】
・格納パターンの例４
図１２は、格納パターンの例を示す図である。
図１２は、格納パターンの例を示す図である。
【0096】
図１２の例においては、ペイロード全体のうち、位置Ｐ１１から位置Ｐ１２までの区間にType1データが格納され、位置Ｐ１２から位置Ｐ１３までの区間にType2データが格納されている。また、位置Ｐ１３から位置Ｐ１４までの区間にType1データが格納されている。
【0097】
位置Ｐ１１から位置Ｐ１２までの区間と、位置Ｐ１３から位置Ｐ１４までの区間には、それぞれ、Type1データが複数の画素の分だけ連続して格納される。また、位置Ｐ１２から位置Ｐ１３までの区間には、Type2データが複数の画素の分だけ連続して格納される。
【0098】
この場合、ヘッダに格納される分離情報には、Type1データ、Type2データのそれぞれの範囲を表す情報が少なくとも含まれる。
【0099】
受信部３１においては、位置Ｐ１２と位置Ｐ１３のそれぞれにおいて階調が切り替わることが分離情報に基づいて特定され、Type1データとType2データのそれぞれのデータが分離される。
【0100】
このように、多階調伝送方式においては、Type2データを所定の区間に部分的に格納し、Type1データを他の部分に格納することが可能とされる。
【0101】
図１２に示す格納パターンは、例えば、ROIセンサシステムにおいて、ROI領域の画素と非ROI領域の画素とを伝送する場合に用いられる。後述するように、位置Ｐ１２は、例えばラインの先頭（左端）を基準としたときのROI領域の開始位置（左端の画素の位置）に対応し、位置Ｐ１３はROI領域の終了位置（右端の画素の位置）に対応する。
【0102】
【0103】
このように、多階調伝送方式における格納パターンは、アプリケーションなどに応じて任意に選択可能である。
【0104】
＜分離情報の例＞
ここで、分離情報の詳細について説明する。多階調伝送方式によって複数の階調の画素のデータが１つのペイロードに格納されたパケットを受信した受信部３１においては、ヘッダに含まれる分離情報に基づいて、それぞれの画素のデータが分離される。
ここで、分離情報の詳細について説明する。多階調伝送方式によって複数の階調の画素のデータが１つのペイロードに格納されたパケットを受信した受信部３１においては、ヘッダに含まれる分離情報に基づいて、それぞれの画素のデータが分離される。
【0105】
図１３は、分離情報の例を示す図である。
【0106】
図１３に示すように、Data ID（図３）に加えて、Data mode、Data step 1、Data step 2、Data_ROI_Num、Data ROI start 1、Data ROI width 1が分離情報として用いられる。Data ID以外のData mode、Data step 1、Data step 2、Data_ROI_Num、Data ROI start 1、Data ROI width 1は、例えば、ヘッダの空き領域であるReserved領域（図３）を用いて記述される。
【0107】
Data IDは４ビットの情報である。Data IDは、ペイロードに格納されているデータのデータタイプ（Type）を表すとともに、Multiple streamの識別子として用いられる。
【0108】
図１４は、Data IDの値の意味の例を示す図である。
【0109】
Data IDを構成する４ビットのうちの[3:2]の上位２ビットは、ペイロードに格納されているデータのデータタイプを表す。
【0110】
例えば、上位２ビットの値が０であることは、複数の階調のデータがペイロードに格納されていないことを表す。
【0111】
上位２ビットの値が１であることは、８ビット／１２ビットの順に、複数の階調のデータがペイロードに格納されていることを表す。
【0112】
上位２ビットの値が２であることは、１２ビット／８ビットの順に、複数の階調のデータがペイロードに格納されていることを表す。
【0113】
Data IDを構成する４ビットのうちの[1:0]の下位２ビットは、Multiple streamの識別子として用いられる。ここで、streamは、データの系統に相当する。[1:0]の下位２ビットを用いて、どの系統のデータの伝送に用いられているパケットであるのかが識別される。
【0114】
例えば、下位２ビットの値が０であることは、1 stream目のデータの伝送に用いられているパケットであることを表す。
【0115】
下位２ビットの値が１であることは、2 stream目のデータの伝送に用いられているパケットであることを表す。
【0116】
下位２ビットの値が２であることは、3 stream目のデータの伝送に用いられているパケットであることを表す。
【0117】
ペイロードに格納されているデータのデータタイプを表すことに上位３ビットが用いられ、Multiple streamの識別子に下位１ビットが用いられるといったように、それぞれの情報に割り当てられるビット幅は任意に変更可能である。
【0118】
ペイロードに格納されているデータのデータタイプが、Data IDとは別に規定された所定のビット数の情報によって表されるようにしてもよい。
【0119】
図１５は、Data IDの設定例を示す図である。
【0120】
図１５に示すように、Line Aのデータの伝送に用いられるパケットのペイロードの前半にType1データが格納され、ペイロードの後半にType2データが格納されている場合、Data IDの値として0100が設定される。図１５に示すデータの格納パターンは、図９を参照して説明したパターンと同じである。
【0121】
Data IDの上位２ビットの値が1h（01）であることにより、８ビット/１２ビットの順に、複数の階調の画素のデータがペイロードに格納されていることが表される。また、下位２ビットの値が0h（00）であることにより、1 stream目としてのLine Aのデータの伝送に用いられているパケットであることが表される。
【0122】
図１６は、Data IDの他の設定例を示す図である。
【0123】
図１６に示すように、Line Aのデータの伝送に用いられるパケットのペイロード全体にType1データが格納され、Line Bのデータの伝送に用いられるパケットのペイロード全体にType2データが格納されている場合について説明する。この場合、Line Aのデータの伝送に用いられるパケットにはData IDの値として0000が設定される。また、Line Bのデータの伝送に用いられるパケットにはData IDの値として0001が設定される。
【0124】
Line Aのデータの伝送に用いられるパケットに設定されているData IDの上位２ビットの値が0h（00）であることにより、複数の階調の画素のデータがペイロードに格納されていないことが表される。また、下位２ビットの値が0h（00）であることにより、1 stream目としてのLine Aのデータの伝送に用いられているパケットであることが表される。
【0125】
一方、Line Bのデータの伝送に用いられるパケットに設定されているData IDの上位２ビットの値が0h（00）であることにより、複数の階調の画素のデータがペイロードに格納されていないことが表される。また、下位２ビットの値が1h（01）であることにより、2 stream目としてのLine Bのデータの伝送に用いられているパケットであることが表される。
【0126】
このように、Data IDにより、複数の階調の画素のデータがペイロードに格納されているか否かと、複数の階調の画素のデータがペイロードに格納されている場合に、データの並び順とが少なくとも表される。
【0127】
図１３の説明に戻り、Data modeは１ビットの情報である。Data modeは、画素の階調が周期的に切り替わるか、または、部分的に切り替わるかを表す。
【0128】
例えば、Data modeの値が０であることは、画素の階調が周期的に切り替わることを表す。
【0129】
また、Data modeの値が１であることは、画素の階調が部分的に切り替わることを表す。
【0130】
Data step 1は２バイトの情報である。Data step 1は、Data mode=0のときの、Type1データの切り替わり周期を表す。
【0131】
Data step 2は２バイトの情報である。Data step 2は、Data mode=0のときの、Type2データの切り替わり周期を表す。
【0132】
Data_ROI_Numは、ROI領域の数を表す。当該パケットがROI領域を構成する画素の伝送に用いられる場合に、ROI領域の数がData_ROI_Numにより表される。Data_ROI_Numには、例えば、想定されるROI領域の最大の数に応じた所定のビット幅が割り当てられる。
【0133】
Data ROI start 1は、例えば２バイトの情報である。Data ROI start 1は、１つ目のROI領域のX座標（開始位置）を表す。
【0134】
Data ROI width 1は、例えば２バイトの情報である。Data ROI width 1は、１つ目のROI領域の幅を表す。Data ROI start 1により指定されるX座標に、Data ROI width 1により指定される幅を加えた座標が、１つ目のROI領域の終了位置の座標となる。
【0135】
Data_ROI_Numの値が２以上である場合、すなわち、２以上のROI領域を構成する画素の伝送にパケットが用いられる場合、ROI領域毎に、Data ROI startとData ROI widthが記述される。
【0136】
図１７は、分離情報の使用例を示す図である。
【0137】
Multi cameraシステム（図６）に多階調伝送方式を適用した場合、図１７において太字で示すように、分離情報を構成する各情報のうちの、Data ID、Data mode、Data step 1、Data step 2が用いられる。
【0138】
Type1データとType2データが１画素のデータ毎に交互にペイロードに格納される場合（図４）、Data IDの値として例えば0100が設定される。
【0139】
また、Data modeの値として０の値が設定され、Data step 1、Data step 2の値としてそれぞれ１の値が設定される。
【0140】
Data modeの値が０であることは、画素の階調が周期的に切り替わることを表す。また、Data step 1、Data step 2の値が１であることは、８ビットから１２ビットへの階調の切り替わりと、１２ビットから８ビットへの階調の切り替わりが、それぞれ１画素のデータ毎に生じることを表す。
【0141】
図１８は、分離情報の他の使用例を示す図である。
【0142】
ROIセンサシステム（図７）に多階調伝送方式を適用した場合、図１８において太字で示すように、分離情報を構成する各情報のうちの、Data ID、Data mode、Data_ROI_Num、Data ROI start 1、Data ROI width 1が用いられる。ROI領域の数に応じて、適宜、Data ROI startとData ROI widthが追加して記述される。
【0143】
例えば、図１９に示す画像を構成する、太線で示すラインＬ１の画素のデータを伝送する場合について説明する。図１９に示す伝送対象の画像は、図８を参照して説明した画像と同じ画像である。伝送対象の画像にはROI領域＃１，＃２が設定されている。ラインＬ１には、位置Ｐ１から位置Ｐ２の区間に、ROI領域＃２を構成する画素が含まれる。
【0144】
この場合、Data IDの値として例えば0100の値が設定され、Data modeの値として１の値が設定される。Data modeの値が１であることは、画素の階調が部分的に切り替わることを表す。
【0145】
また、Data_ROI_Numの値として、ROI領域の数が１であることを表す値が設定される。Data ROI start 1の値として、図１９の位置Ｐ１のX座標を表す値が設定され、Data ROI width 1の値として、図１９の位置Ｐ１から位置Ｐ２までの距離に相当する幅を表す値が設定される。
【0146】
図１９の下段に示すように、ペイロードには、位置Ｐ１から位置Ｐ２の区間に対応する区間にType2データが部分的に格納され、それ以外の区間にType1データが格納される。
【0147】
図２０は、分離情報の格納の例を示す図である。
【0148】
図２０に示すように、分離情報の一部が、ペイロードの先頭に格納されるようにすることも可能である。
【0149】
例えばROIセンサシステムに多階調伝送方式を適用した場合、ROI領域の数によっては、Data ROI startとData ROI widthをヘッダに収めることができないことがある。Data ROI startとData ROI widthはROI領域毎に設定される情報であるため、伝送対象のラインに含まれるROI領域の数が多い場合には、Data ROI startとData ROI widthのデータ量が、ヘッダの空き領域のデータ量を超えることがある。
【0150】
図２０に示すように、ペイロードの先頭を分離情報の一部の格納のために用いることにより、伝送対象のラインに含まれるROI領域の数が多い場合であっても、それぞれのROI領域に関する情報を伝送することが可能となる。
【0151】
【0152】
図２１に示すように、送信部２２は、Core５１－１、Core_sub５１－２、メモリ５２、Lane分配部５３、8B10Bシンボルエンコーダ５４、およびPHYアナログ処理部５５から構成される。
【0153】
例えば、情報処理部２１から出力された１系統目のstreamはCore５１－１に入力され、２系統目のstreamはCore_sub５１－２に入力される。Core５１－１とCore_sub５１－２は外部から供給された信号を処理する信号処理回路である。
【0154】
Core５１－１は、信号処理部６１、制御部６２、および状態制御部６３から構成される。信号処理部６１は、Packing部７１、ヘッダ／フッタ生成部７２、およびパケット生成部７３から構成される。
【0155】
信号処理部６１のPacking部７１は、外部から供給されたstreamを構成するデータを、８ビット単位、１２ビット単位などの所定のビット幅のデータに区切ることによって、所定のビット幅の画素のデータ（所定のビット幅を有する単位データ）を生成する。Packing部７１は、各画素のデータをメモリ５２に出力し、記憶させる。
【0156】
ヘッダ／フッタ生成部７２は、メモリ５２に記憶されているデータを参照し、ペイロードにおける各画素のデータの格納パターンに応じた分離情報を生成する。ヘッダ／フッタ生成部７２は、分離情報を含むヘッダを生成し、パケット生成部７３に出力するとともに、適宜、所定の情報を含むフッタをパケット生成部７３に出力する。
【0157】
パケット生成部７３は、メモリ５２に記憶されている画素のデータを読み出し、各画素のデータを格納パターンに応じて格納することによってペイロードを生成する。パケット生成部７３は、ヘッダ／フッタ生成部７２により生成されたヘッダなどをペイロードに付加することによってパケットを生成し、Lane分配部５３に出力する。
【0158】
制御部６２は、信号処理部６１における全体の処理を制御する。例えば、ヘッダ／フッタ生成部７２が生成するペイロードにおける各画素のデータの格納パターンが制御部６２により制御される。
【0159】
状態制御部６３は、信号処理部６１の状態を制御する。信号処理部６１の各処理が、状態制御部６３により設定された状態に応じて行われる。
【0160】
Core_sub５１－２は、Core５１－１と同様の構成を有する。Core_sub５１－２においては、外部から供給された２系統目のstreamを対象として、Core５１－１において行われる処理と同様の処理が行われる。
【0161】
メモリ５２は、例えばSRAM(Static Random Access Memory)により構成され、Core５１－１とCore_sub５１－２の共有のFIFOとして機能する。メモリ５２に記憶された各画素のデータは、記憶された順に読み出される。
【0162】
図２２は、データ伝送の例を示す図である。
【0163】
図２２の矢印Ａ１，Ａ２で示すように、情報処理部２１から供給された２系統のstreamを伝送する場合について説明する。
【0164】
例えば、Multi cameraシステムにおいては、複数のイメージセンサを含む情報処理部２１から出力された２系統のstreamが送信部２２に入力される。図２３のＡに示すように、Core５１－１に入力される１系統目のstreamは、８ビットの画素のデータである。また、図２３のＢに示すように、Core_sub５１－２に入力される２系統目のstreamは、１２ビットの画素のデータである。
【0165】
８ビットの画素のデータからなる１系統目のstreamは、Core５１－１のPacking部７１における処理を経てメモリ５２に記憶される。また、１２ビットの画素のデータからなる２系統目のstreamは、Core_sub５１－２のPacking部７１における処理を経てメモリ５２に記憶される。
【0166】
２系統のstreamを１系統のstreamとしてまとめて伝送する場合、メモリ５２に記憶されたデータが、図２２の矢印Ａ３に示すようにして、Core５１－１により順次読み出される。また、Core５１－１において、複数の階調の画素のデータを１つのペイロードに格納した、図２３のＢに示すような多階調伝送方式のパケットが生成される。
【0167】
【0168】
このように、Multi cameraシステムにおいて２系統のstreamを１系統のstreamとしてまとめて伝送する場合、Core５１－１の出力とCore_sub５１－２の出力のうちの、片側の出力のみが用いられる。Core５１－１からLane分配部５３に対しては、複数の階調の画素のデータをペイロードに格納したパケットが供給される。
【0169】
図２１の説明に戻り、Lane分配部５３は、Core５１－１のパケット生成部７３からパケットが供給された場合、パケットを構成するデータを複数のレーンに分配し、各レーンのデータを並列に8B10Bシンボルエンコーダ５４に出力する。
【0170】
Core_sub５１－２のパケット生成部７３からパケットが供給された場合も同様に、Lane分配部５３は、パケットを構成するデータを複数のレーンに分配し、各レーンのデータを並列に8B10Bシンボルエンコーダ５４に出力する。
【0171】
物理レイヤの処理である8B10Bシンボルエンコーダ５４、PHYアナログ処理部５５の処理は、レーン毎に並列に行われる。
【0172】
8B10Bシンボルエンコーダ５４は、Lane分配部５３から供給されたデータに対して8B10B変換を施し、１０ビット単位のデータとしてPHYアナログ処理部５５に出力する。
【0173】
PHYアナログ処理部５５の同期部８１は、各レーンのデータを同期させて送信部８２に出力する。
【0174】
送信部８２は、同期部８１から供給された各レーンのデータを伝送路上に出力する。送信部８２から伝送路上に出力されたデータは、受信部３１により受信される。
【0175】
図２４は、送信部２２の他の構成例を示すブロック図である。
【0176】
図２４に示す送信部２２の構成は、Core５１－１、Core_sub５１－２のそれぞれがFIFOを有している点で、図２１の構成と異なる。図２４に示す構成のうち、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【0177】
Core５１－１を構成する信号処理部６１のPacking部７１は、外部から供給されたstreamを構成するデータを、所定のビット幅のデータに区切ることによって、所定のビット幅の画素のデータを生成する。Packing部７１は、各画素のデータをFIFO７４に出力し、記憶させる。
【0178】
ヘッダ／フッタ生成部７２は、FIFO７４に記憶されているデータを参照し、ペイロードにおける各画素のデータの格納パターンに応じた分離情報を生成する。ヘッダ／フッタ生成部７２は、分離情報を含むヘッダを生成し、パケット生成部７３に出力するとともに、適宜、所定の情報を含むフッタをパケット生成部７３に出力する。
【0179】
パケット生成部７３は、FIFO７４に記憶されている画素のデータを読み出し、各画素のデータを格納パターンに応じて格納することによってペイロードを生成する。パケット生成部７３は、ヘッダ／フッタ生成部７２により生成されたヘッダなどをペイロードに付加することによってパケットを生成し、Lane分配部５３に出力する。
【0180】
Core_sub５１－２は、Core５１－１と同様の構成を有する。Core_sub５１－２においては、外部から供給された２系統目のstreamを対象として、Core５１－１において行われる処理と同様の処理が行われる。
【0181】
図２５は、データ伝送の他の例を示す図である。
【0182】
図２５の矢印Ａ１１，Ａ１２で示すように、情報処理部２１から供給された１系統のstreamを伝送する場合について説明する。矢印Ａ１１，Ａ１２は、１系統のstreamとして、階調が異なるデータが供給されることを表す。
【0183】
例えば、ROIセンサシステムにおいては、ROI領域を構成する画素のデータと非ROI領域を構成する画素のデータが、図２６のＡに示すように、１系統のstreamとして送信部２２に入力される。図２６のＡに示すstreamを構成するデータは、図１９を参照して説明した、ROI領域を構成する画素と非ROI領域を構成する画素を含む１ラインのデータである。
【0184】
８ビットの画素のデータと１２ビットの画素のデータを含む１系統のstreamは、Core５１－１のPacking部７１における処理を経てFIFO７４に記憶される。
【0185】
FIFO７４に記憶されたデータが、矢印Ａ１３に示すようにして、パケット生成部７３により順次読み出される。また、複数の階調の画素のデータを１つのペイロードに格納した、図２６のＢに示すような多階調伝送方式のパケットが生成される。
【0186】
【0187】
このように、外部から入力された１系統のstreamを伝送するアプリケーションにおいては、例えば図２５の構成が用いられる。また、外部から入力された２系統のstreamを伝送するアプリケーションにおいては、例えば図２１の構成が用いられる。
【0188】
・受信部の構成
図２７は、受信部３１の構成例を示すブロック図である。
図２７は、受信部３１の構成例を示すブロック図である。
【0189】
図２７に示すように、受信部３１は、PHYアナログ処理部１０１、10B8Bシンボルデコーダ１０２、Lane統合部１０３、およびCore１０４から構成される。送信部２２から伝送路上に出力されたデータは、PHYアナログ処理部１０１に入力される。
【0190】
物理レイヤの処理であるPHYアナログ処理部１０１、10B8Bシンボルデコーダ１０２の処理は、レーン毎に並列に行われる。
【0191】
PHYアナログ処理部１０１の受信部１１１は、伝送路を介して送信部２２から伝送されてきたパケットのデータを表すレーン毎の信号を受信し、同期部１１２に出力する。
【0192】
同期部１１２は、受信部１１１から供給された信号のエッジを検出することによってビット同期をとり、エッジの検出周期に基づいてクロック信号を生成する。また、同期部１１２は、生成したクロック信号に従って、受信部１１１において受信された信号のサンプリングを行い、サンプリングによって得られたパケットのデータを10B8Bシンボルデコーダ１０２に出力する。
【0193】
10B8Bシンボルデコーダ１０２は、同期部１１２から供給されたデータに対して10B8B変換を施し、８ビット単位のデータとしてLane統合部１０３に出力する。
【0194】
Lane統合部１０３は、10B8Bシンボルデコーダ１０２から供給された各レーンのデータを、送信部２２のLane分配部５３（図２１）による各レーンへの分配順と逆順で並び替えることによって統合する。Lane統合部１０３は、統合したパケットのデータをCore１０４に出力する。
【0195】
Core１０４は、信号処理部１２１、制御部１２２、および状態制御部１２３から構成される。信号処理部１２１は、パケット解析部１３１、分離部１３２、および出力部１３３－１，１３３－２から構成される。
【0196】
信号処理部１２１のパケット解析部１３１は、Lane統合部１０３から供給されたパケットのデータを受信し、パケットの解析を行う。例えば、パケット解析部１３１は、パケットを構成するペイロードのデータを分離部１３２に出力するとともに、ヘッダを解析する。パケット解析部１３１は、ヘッダに含まれる分離情報に基づいて、階調の切り替わり位置などを表す情報を分離部１３２に出力する。
【0197】
分離部１３２は、ペイロードに格納されているそれぞれの階調の画素のデータを、パケット解析部１３１から供給された情報により表される階調の切り替わり位置などに基づいて分離する。分離部１３２は、８ビットの画素のデータを出力部１３３－１に出力し、１２ビットの画素のデータを出力部１３３－２に出力するといったように、分離した画素のデータを階調に応じて振り分ける。
【0198】
出力部１３３－１のFIFO１４１は、分離部１３２から供給されたデータを記憶する。FIFO１４１に記憶されたデータは、記憶された順にピクセルデータ変換部１４２により読み出される。
【0199】
ピクセルデータ変換部１４２は、FIFO１４１から読み出したデータを８ビットの階調の画素のデータに変換し、出力する。
【0200】
出力部１３３－２は、出力部１３３－１と同様の構成を有している。出力部１３３－２においては、分離部１３２から供給されたデータを対象として、出力部１３３－１において行われる処理と同様の処理が行われる。出力部１３３－２のピクセルデータ変換部１４２からは、１２ビットの画素のデータが出力される。
【0201】
制御部１２２は、Core１０４における全体の処理を制御する。
【0202】
状態制御部１２３は、Core１０４の状態を制御する。Core１０４の各処理が、状態制御部１２３により設定された状態に応じて行われる。
【0203】
＜送信部と受信部の動作＞
以上のような構成を有する送信部２２と受信部３１の動作について説明する。
以上のような構成を有する送信部２２と受信部３１の動作について説明する。
【0204】
・送信部の動作
はじめに、図２８のフローチャートを参照して、多階調伝送方式によってデータを送信する送信部２２の処理について説明する。
はじめに、図２８のフローチャートを参照して、多階調伝送方式によってデータを送信する送信部２２の処理について説明する。
【0205】
図２８の処理は、例えば、情報処理部２１から出力された１系統目のstreamがCore５１－１に入力され、２系統目のstreamがCore_sub５１－２に入力されたときに開始される。
【0206】
ステップＳ１において、複数階調の画素のデータがメモリ５２に記憶される。すなわち、Core５１－１を構成する信号処理部６１のPacking部７１は、例えば８ビットの画素のデータをメモリ５２に出力し、記憶させる。また、Core_sub５１－２を構成する信号処理部６１のPacking部７１は、例えば１２ビットの画素のデータをメモリ５２に出力し、記憶させる。
【0207】
ステップＳ２において、ヘッダ／フッタ生成部７２は、各画素のデータの格納パターンに応じた、Data IDなどの分離情報を含むヘッダを生成する。
【0208】
ステップＳ３において、パケット生成部７３は、メモリ５２に記憶されている画素のデータを読み出し、各画素のデータを格納パターンに応じて格納することによって、複数の階調の画素のデータが格納されたペイロードを生成する。
【0209】
ステップＳ４において、パケット生成部７３は、ヘッダ／フッタ生成部７２により生成されたヘッダなどをペイロードに付加することによってパケットを生成する。
【0210】
ステップＳ５において、Lane分配部５３は、Core５１－１のパケット生成部７３から供給されたパケットを構成するデータを複数のレーンに分配し、出力する。
【0211】
ステップＳ６において、PHYアナログ処理部５５は、各レーンのデータに対して物理レイヤの処理を施し、各レーンのデータを送信部８２から送信する。
【0212】
以上の処理が、１フレームを構成する各ラインを対象として繰り返し行われる。
【0213】
・受信部の動作
次に、図２９のフローチャートを参照して、多階調伝送方式によって送信されてきたデータを受信する受信部３１の処理について説明する。
次に、図２９のフローチャートを参照して、多階調伝送方式によって送信されてきたデータを受信する受信部３１の処理について説明する。
【0214】
図２９の処理は、例えば、送信部２２から伝送されてきたパケットのデータを表すレーン毎の信号が供給されたときに開始される。
【0215】
ステップＳ１１において、PHYアナログ処理部１０１は、受信部１１１において受信した信号の同期をとるなどして、パケットのデータを受信する。
【0216】
ステップＳ１２において、Lane統合部１０３は、PHYアナログ処理部１０１の10B8Bシンボルデコーダ１０２から供給された各レーンのデータを統合する。
【0217】
ステップＳ１３において、信号処理部１２１のパケット解析部１３１は、Lane統合部１０３から供給されたパケットのデータを受信し、ヘッダの解析を行う。分離情報の解析が行われることによって、階調の切り替わり位置などが特定される。
【0218】
ステップＳ１４において、分離部１３２は、ペイロードに格納されているそれぞれの階調の画素のデータを、パケット解析部１３１によるヘッダの解析結果に基づいて分離する。分離部１３２から出力部１３３－１に対しては、例えば８ビットの画素のデータが出力される。また、分離部１３２から出力部１３３－２に対しては、例えば１２ビットの画素のデータが出力される。
【0219】
ステップＳ１５において、出力部１３３－１のピクセルデータ変換部１４２は、FIFO１４１から読み出したデータを８ビットの階調の画素のデータに変換し、出力する。また、出力部１３３－２のピクセルデータ変換部１４２は、FIFO１４１から読み出したデータを１２ビットの階調の画素のデータに変換し、出力する。
【0220】
以上の処理が、各ラインの画素のデータを格納するパケットが送信部２２から伝送されてくる間、繰り返し行われる。
【0221】
＜他のアプリケーションの例＞
以上においては、画素のデータを伝送する場合について説明したが、多階調伝送方式は、画素のデータ以外の各種のデータの伝送に用いることが可能である。
以上においては、画素のデータを伝送する場合について説明したが、多階調伝送方式は、画素のデータ以外の各種のデータの伝送に用いることが可能である。
【0222】
図３０は、TOF(Time of Flight)センサシステムの例を示す図である。
【0223】
TOFセンサシステムは、光源から発した光の反射光を検出することによって、対象物までの距離を測定するシステムである。
【0224】
図３０の例においては、測定結果を表す情報がTOFセンサＳ２１から出力され、情報処理LSIに入力されている。測定結果には、例えば、キャリブレーションに用いられた値を表す情報であるキャリブレーション情報と、対象のヒストグラムを表す情報であるヒストグラム情報が含まれる。
【0225】
図３１は、TOFセンサＳ２１の出力データのフォーマットの例を示す図である。
【0226】
図３１に示すように、TOFセンサＳ２１からは、あらかじめ決められた所定の数のキャリブレーション情報とヒストグラム情報が出力データとして出力される。図３１の例においては、N+1個のキャリブレーション情報とヒストグラム情報によって１つの出力データが構成される。キャリブレーション情報のビット幅は８ビットであり、ヒストグラム情報のビット幅は１２ビットである。
【0227】
すなわち、TOFセンサＳ２１の出力データは、ビット幅が異なる複数の項目のデータから構成される。このような所定のフォーマットを有する出力データが、測定が行われる毎にTOFセンサＳ２１から出力される。
【0228】
情報処理LSIにおいては、TOFセンサＳ２１から供給された出力データ全体を１ラインのデータとして１つのペイロードに格納したパケットが生成され、host controllerに伝送される。
【0229】
図３２は、パケットの構成例を示す図である。
【0230】
図３２に示すように、パケットのペイロードには、N+1個のキャリブレーション情報が連続して格納され、それに続けて、N+1個のヒストグラム情報が連続して格納される。
【0231】
すなわち、図３２に示す１つのパケットのペイロードには、測定結果を表す１つの項目のデータを単位データとして、データ単位毎のビット幅が異なる複数種類の単位データが格納される。
【0232】
このように、伝送対象のデータが所定のフォーマットを有しており、ビット幅が異なる複数の項目がフォーマットに含まれている場合、送信部２２は、複数の項目のデータ全体を１つのペイロードに格納し、多階調伝送方式によって伝送することができる。
【0233】
なお、TOFセンサシステムを図１の伝送システム１の構成において実現する場合、例えば、TOFセンサＳ２１の機能は情報処理部２１により実現され、画像処理LSIの機能は送信部２２により実現される。host controllerの機能は、受信部３１と情報処理部３２により実現される。
【0234】
多階調伝送方式をTOFセンサシステムに適用することにより、ビット幅が異なる複数の項目の情報を効率的に伝送することが可能となる。
【0235】
＜SLVS-EC規格について＞
ここで、SLVS-EC規格について説明する。
ここで、SLVS-EC規格について説明する。
【0236】
図３３は、送信部２２と受信部３１の詳細な構成例を示す図である。
【0237】
図３３の左側に破線で囲んで示す構成が送信部２２の構成であり、右側に破線で囲んで示す構成が受信部３１の構成である。送信部２２と受信部３１は、それぞれ、リンクレイヤの構成と物理レイヤの構成からなる。送信部２２と受信部３１のそれぞれのレイヤにおいては、上述した処理以外の各種の処理が実際には行われる。
【0238】
実線Ｌ２より上側に示す構成がリンクレイヤの構成であり、実線Ｌ２より下側に示す構成が物理レイヤの構成である。送信部２２において、実線Ｌ２より上側に示す構成がリンクレイヤの信号処理を行う構成となり、実線Ｌ２より下側に示す構成が物理レイヤの信号処理を行う構成となる。
【0239】
また、受信部３１において、実線Ｌ２より下側に示す構成が物理レイヤの信号処理を行う構成となり、実線Ｌ２より上側に示す構成がリンクレイヤの信号処理を行う構成となる。
【0240】
なお、実線Ｌ１の上に示す構成はアプリケーションレイヤの構成である。システム制御部２１１、フレームデータ入力部２１２、およびレジスタ２１３は例えば情報処理部２１において実現される。
【0241】
システム制御部２１１は、送信部２２のLINK-TXプロトコル管理部２２１と通信を行い、フレームフォーマットに関する情報を提供するなどして画像データの伝送を制御する。
【0242】
フレームデータ入力部２１２は、伝送対象の画像を構成する各画素のデータを送信部２２のPixel to Byte変換部２２２に供給する。
【0243】
レジスタ２１３は、Pixel to Byte変換のビット数やLane数等の情報を記憶する。レジスタ２１３に記憶されている情報に従って画像データの送信処理が行われる。
【0244】
また、アプリケーションレイヤの構成のうちのフレームデータ出力部３４１、レジスタ３４２、およびシステム制御部３４３は情報処理部３２において実現される。
【0245】
フレームデータ出力部３４１は、受信部３１から供給された各ラインの画素データに基づいて１フレームの画像を生成し、出力する。フレームデータ出力部３４１から出力された画像を用いて各種の処理が行われる。
【0246】
レジスタ３４２は、Byte to Pixel変換のビット数やLane数などの、画像データの受信に関する各種の設定値を記憶する。レジスタ３４２に記憶されている情報に従って画像データの受信処理が行われる。
【0247】
システム制御部３４３は、LINK-RXプロトコル管理部３２１と通信を行い、モードチェンジ等のシーケンスを制御する。
【0248】
・送信部２２のリンクレイヤの構成
はじめに、送信部２２のリンクレイヤの構成について説明する。
はじめに、送信部２２のリンクレイヤの構成について説明する。
【0249】
送信部２２のリンクレイヤ処理部２２Ａには、リンクレイヤの構成として、LINK-TXプロトコル管理部２２１、Pixel to Byte変換部２２２、ペイロードECC挿入部２２３、パケット生成部２２４、およびレーン分配部２２５が設けられる。LINK-TXプロトコル管理部２２１は、状態制御部２３１、ヘッダ生成部２３２、データ挿入部２３３、およびフッタ生成部２３４から構成される。
【0250】
例えば、Pixel to Byte変換部２２２は、図２１のPacking部７１に対応する。パケット生成部２２４は、図２１のパケット生成部７３に対応する。レーン分配部２２５は、図２１のLane分配部５３に対応する。ヘッダ生成部２３２とフッタ生成部２３４は、図２１のヘッダ／フッタ生成部７２に対応する。すなわち、図２１等に示す構成は、送信部２２の構成を簡略化して示す構成となる。
【0251】
LINK-TXプロトコル管理部２２１の状態制御部２３１は、送信部２２のリンクレイヤの状態を管理する。
【0252】
ヘッダ生成部２３２は、１ライン分の画素データが格納されたペイロードに付加されるヘッダを生成し、パケット生成部２２４に出力する。
【0253】
図３４は、ヘッダ情報とCRC符号の１つの組を構成する８バイトのビット配列の例を示す図である。
【0254】
ヘッダを構成する８バイトのうちの１番目の１バイトであるバイトＨ７には、１ビット目から順に、Frame Start, Frame End, Line Validの各１ビットと、Line Numberの１３ビットのうちの１～５ビット目が含まれる。また、２番目の１バイトであるバイトＨ６には、Line Numberの１３ビットのうちの６～１３ビット目が含まれる。
【0255】
３番目の１バイトであるバイトＨ５から６番目の１バイトであるバイトＨ２がReservedとなる。多階調伝送方式においては、このReserved領域を用いて分離情報などが記述される。７番目の１バイトであるバイトＨ１と８番目の１バイトであるバイトＨ０にはCRC符号の各ビットが含まれる。
【0256】
図３３の説明に戻り、ヘッダ生成部２３２は、システム制御部２１１による制御に従ってヘッダ情報を生成する。例えば、システム制御部２１１からは、フレームデータ入力部２１２が出力する画素データのライン番号を表す情報や、フレームの先頭、終端を表す情報が供給される。
【0257】
また、ヘッダ生成部２３２は、ヘッダ情報を生成多項式に適用してCRC符号を計算する。ヘッダ情報に付加されるCRC符号の生成多項式は例えば下式（１）により表される。
【数1】
【0258】
ヘッダ生成部２３２は、ヘッダ情報にCRC符号を付加することによってヘッダ情報とCRC符号の組を生成し、同じヘッダ情報とCRC符号の組を３組繰り返して配置することによってヘッダを生成する。ヘッダ生成部２３２は、生成したヘッダをパケット生成部２２４に出力する。
【0259】
データ挿入部２３３は、スタッフィング（stuffing）に用いられるデータを生成し、Pixel to Byte変換部２２２とレーン分配部２２５に出力する。Pixel to Byte変換部２２２に供給されたスタッフィングデータであるペイロードスタッフィングデータは、Pixel to Byte変換後の画素データに付加され、ペイロードに格納される画素データのデータ量の調整に用いられる。また、レーン分配部２２５に供給されたスタッフィングデータであるレーンスタッフィングデータは、レーン割り当て後のデータに付加され、レーン間のデータ量の調整に用いられる。
【0260】
フッタ生成部２３４は、システム制御部２１１による制御に応じて、適宜、ペイロードデータを生成多項式に適用して３２ビットのCRC符号を計算し、計算により求めたCRC符号をフッタとしてパケット生成部２２４に出力する。フッタとして付加されるCRC符号の生成多項式は例えば下式（２）により表される。
【数2】
【0261】
Pixel to Byte変換部２２２は、フレームデータ入力部２１２から供給された画素データを取得し、各画素のデータを１バイト単位のデータに変換するPixel to Byte変換を行う。例えば、画像の各画素の画素値（RGB）は、８ビット、１０ビット、１２ビット、１４ビット、１６ビットのうちのいずれかのビット数で表される。
【0262】
図３５は、各画素の画素値が８ビットで表される場合のPixel to Byte変換の例を示す図である。
【0263】
Data[0]がLSBを表し、数字の最も大きいData[7]がMSBを表す。白抜き矢印で示すように、この場合、画素Nの画素値を表すData[7]～[0]の８ビットは、Data[7]～[0]からなるByte Nに変換される。各画素の画素値が８ビットで表される場合、Pixel to Byte変換後のバイト単位のデータの数は、画素の数と同じ数になる。
【0264】
図３６は、各画素の画素値が１０ビットで表される場合のPixel to Byte変換の例を示す図である。
【0265】
この場合、画素Nの画素値を表すData[9]～[0]の１０ビットは、Data[9]～[2]からなるByte 1.25*Nに変換される。
【0266】
画素N+1～N+3についても同様に、それぞれの画素値を表すData[9]～[0]の１０ビットが、Data[9]～[2]からなるByte 1.25*N+1～Byte 1.25*N+3に変換される。また、画素N～N+3のそれぞれの下位のビットであるData[1]とData[0]が集められてByte 1.25*N+4に変換される。各画素の画素値が１０ビットで表される場合、Pixel to Byte変換後のバイト単位のデータの数は、画素の数の1.25倍の数になる。
【0267】
図３７は、各画素の画素値が１２ビットで表される場合のPixel to Byte変換の例を示す図である。
【0268】
この場合、画素Nの画素値を表すData[11]～[0]の１２ビットは、Data[11]～[4]からなるByte 1.5*Nに変換される。
【0269】
画素N+1についても同様に、画素N+1の画素値を表すData[11]～[0]の１２ビットが、Data[11]～[4]からなるByte 1.5*N+1に変換される。また、画素Nと画素N+1のそれぞれの下位のビットであるData[3]～[0]が集められてByte 1.5*N+2に変換される。各画素の画素値が１２ビットで表される場合、Pixel to Byte変換後のバイト単位のデータの数は、画素の数の1.5倍の数になる。
【0270】
図３８は、各画素の画素値が１４ビットで表される場合のPixel to Byte変換の例を示す図である。
【0271】
この場合、画素Nの画素値を表すData[13]～[0]の１４ビットは、Data[13]～[6]からなるByte 1.75*Nに変換される。
【0272】
画素N+1～N+3についても同様に、それぞれの画素値を表すData[13]～[0]の１４ビットが、Data[13]～[6]からなるByte 1.75*N+1～Byte 1.75*N+3に変換される。また、画素N～N+3のビットのうちの残ったビットが下位のビットから順に集められ、例えば、画素NのビットであるData[5]～[0]と、画素N+1のビットであるData[5],[4]がByte 1.75*N+4に変換される。
【0273】
同様に、画素N+1のビットであるData[3]～[0]と、画素N+2のビットであるData[5]～[2]がByte 1.75*N+5に変換され、画素N+2のビットであるData[1],[0]と、画素N+3のビットであるData[5]～[0]がByte 1.75*N+6に変換される。各画素の画素値が１４ビットで表される場合、Pixel to Byte変換後のバイト単位のデータの数は、画素の数の1.75倍の数になる。
【0274】
図３９は、各画素の画素値が１６ビットで表される場合のPixel to Byte変換の例を示す図である。
【0275】
この場合、画素Nの画素値を表すData[15]～[0]の１６ビットは、Data[15]～[8]からなるByte 2*NとData[7]～[0]からなるByte 2*N+1に変換される。各画素の画素値が１６ビットで表される場合、Pixel to Byte変換後のバイト単位のデータの数は、画素の数の2倍の数になる。
【0276】
図３３のPixel to Byte変換部２２２は、このようなPixel to Byte変換を例えばラインの左端の画素から順に各画素を対象として行う。また、Pixel to Byte変換部２２２は、Pixel to Byte変換によって得られたバイト単位の画素データに、データ挿入部２３３から供給されたペイロードスタッフィングデータを付加することによってペイロードデータを生成し、ペイロードECC挿入部２２３に出力する。
【0277】
図４０は、ペイロードデータの例を示す図である。
【0278】
図４０は、各画素の画素値が１０ビットで表される場合のPixel to Byte変換によって得られた画素データを含むペイロードデータを示している。色を付していない１つのブロックが、Pixel to Byte変換後のバイト単位の画素データを表す。また、色を付している１つのブロックが、データ挿入部２３３により生成されたペイロードスタッフィングデータを表す。なお、多階調伝送方式においては、複数の階調の画素のデータによってペイロードデータが構成される。
【0279】
Pixel to Byte変換後の画素データは、変換によって得られた順に、所定の数のグループにグループ化される。図４０の例においては、各画素データがグループ０～１５の１６グループにグループ化されており、画素Ｐ０のMSBを含む画素データがグループ０に割り当てられ、画素Ｐ１のMSBを含む画素データがグループ１に割り当てられている。また、画素Ｐ２のMSBを含む画素データがグループ２に割り当てられ、画素Ｐ３のMSBを含む画素データがグループ３に割り当てられ、画素Ｐ０～Ｐ３のLSBを含む画素データがグループ４に割り当てられている。
【0280】
画素Ｐ４のMSBを含む画素データ以降の画素データについても、グループ５以降の各グループに順に割り当てられる。ある画素データがグループ１５に割り当てられたとき、それ以降の画素データは、グループ０以降の各グループに順に割り当てられる。なお、画素データを表すブロックのうち、３本の破線が内側に付されているブロックは、Pixel to Byte変換時に、画素N～N+3のLSBを含むようにして生成されたバイト単位の画素データを表す。
【0281】
送信部２２のリンクレイヤにおいては、このようにしてグループ化が行われた後、クロック信号によって規定される期間毎に、各グループにおいて同じ位置にある画素データを対象として処理が並行して行われる。すなわち、図４０に示すように１６のグループに画素データが割り当てられた場合、各列に並ぶ１６の画素データを同じ期間内に処理するようにして画素データの処理が進められる。
【0282】
上述したように、１つのパケットのペイロードには１ラインの画素データが含まれる。図４０に示す画素データ全体が、１ラインを構成する画素データである。ここでは、図２の有効画素領域Ａ１の画素データの処理について説明しているが、マージン領域Ａ２等の他の領域の画素データについても有効画素領域Ａ１の画素データとともに処理される。
【0283】
１ライン分の画素データがグループ化された後、各グループのデータ長が同じ長さになるように、ペイロードスタッフィングデータが付加される。ペイロードスタッフィングデータは１バイトのデータである。
【0284】
図４０の例においては、グループ０の画素データにはペイロードスタッフィングデータが付加されず、破線で囲んで示すように、グループ１～１５の各画素データには、終端にペイロードスタッフィングデータが１つずつ付加されている。画素データとスタッフィングデータからなるペイロードデータのデータ長（Byte）は下式（３）により表される。
【数3】
【0285】
式（３）のLineLengthはラインの画素数を表し、BitPixは１画素の画素値を表すビット数を表す。PayloadStuffingはペイロードスタッフィングデータの数を表す。
【0286】
【0287】
図４１は、ペイロードデータの他の例を示す図である。
【0288】
図４１は、各画素の画素値が１２ビットで表される場合のPixel to Byte変換によって得られた画素データを含むペイロードデータを示している。
【0289】
図４１の例においては、画素Ｐ０のMSBを含む画素データがグループ０に割り当てられ、画素Ｐ１のMSBを含む画素データがグループ１に割り当てられ、画素Ｐ０と画素Ｐ１のLSBを含む画素データがグループ２に割り当てられている。画素Ｐ２のMSBを含む画素データ以降の画素データについても、グループ３以降の各グループに順に割り当てられる。画素データを表すブロックのうち、１本の破線が内側に付されているブロックは、Pixel to Byte変換時に、画素Nと画素N+1のLSBを含むようにして生成されたバイト単位の画素データを表す。
【0290】
図４１の例においては、グループ０とグループ１の画素データにはペイロードスタッフィングデータが付加されず、グループ２～１５の各画素データには、終端にペイロードスタッフィングデータが１つずつ付加されている。
【0291】
このような構成を有するペイロードデータがPixel to Byte変換部２２２からペイロードECC挿入部２２３に供給される。
【0292】
ペイロードECC挿入部２２３は、Pixel to Byte変換部２２２から供給されたペイロードデータに基づいて、ペイロードデータの誤り訂正に用いられる誤り訂正符号を計算し、計算により求めた誤り訂正符号であるパリティをペイロードデータに挿入する。誤り訂正符号として、例えばリードソロモン符号が用いられる。なお、誤り訂正符号の挿入はオプションであり、例えば、ペイロードECC挿入部２２３によるパリティの挿入と、フッタ生成部２３４によるフッタの付加はいずれか一方のみを行うことが可能とされる。
【0293】
図４２は、パリティが挿入されたペイロードデータの例を示す図である。
【0294】
図４２に示すペイロードデータは、図４１を参照して説明した、各画素の画素値が１２ビットで表される場合のPixel to Byte変換によって得られた画素データを含むペイロードデータである。斜線を付して示すブロックがパリティを表す。
【0295】
図４２の例においては、グループ０～１５の各グループの先頭の画素データから順に１４個選択され、選択された２２４個（２２４バイト）の画素データに基づいて２バイトのパリティが求められている。２バイトのパリティが、その計算に用いられた２２４個の画素データに続けてグループ０，１の１５番目のデータとして挿入され、２２４個の画素データと２バイトのパリティから１つ目のBasic Blockが形成される。
【0296】
このように、ペイロードECC挿入部２２３においては、基本的に、２２４個の画素データに基づいて２バイトのパリティが生成され、２２４個の画素データに続けて挿入される。
【0297】
また、図４２の例においては、１つ目のBasic Blockに続く２２４個の画素データが各グループから順に選択され、選択された２２４個の画素データに基づいて２バイトのパリティが求められている。２バイトのパリティが、その計算に用いられた２２４個の画素データに続けてグループ２，３の２９番目のデータとして挿入され、２２４個の画素データと２バイトのパリティから２つ目のBasic Blockが形成される。
【0298】
あるBasic Blockに続く画素データとペイロードスタッフィングデータの数である16×Mが２２４に満たない場合、残っている16×M個のブロック（画素データとペイロードスタッフィングデータ）に基づいて２バイトのパリティが求められる。また、求められた２バイトのパリティがペイロードスタッフィングデータに続けて挿入され、16×M個のブロックと２バイトのパリティからExtra Blockが形成される。
【0299】
ペイロードECC挿入部２２３は、パリティを挿入したペイロードデータをパケット生成部２２４に出力する。パリティの挿入が行われない場合、Pixel to Byte変換部２２２からペイロードECC挿入部２２３に供給されたペイロードデータは、そのままパケット生成部２２４に出力される。
【0300】
パケット生成部２２４は、ペイロードECC挿入部２２３から供給されたペイロードデータに、ヘッダ生成部２３２により生成されたヘッダを付加することによってパケットを生成する。フッタ生成部２３４によりフッタの生成が行われている場合、パケット生成部２２４は、ペイロードデータにフッタを付加することも行う。
【0301】
図４３は、ペイロードデータにヘッダを付加した状態を示す図である。
【0302】
Ｈ７～Ｈ０の文字を付して示す２４個のブロックは、ヘッダ情報、またはヘッダ情報のCRC符号である、バイト単位のヘッダデータを表す。図３を参照して説明したように１つのパケットのヘッダには、ヘッダ情報とCRC符号の組が３組含まれる。
【0303】
例えばヘッダデータＨ７～Ｈ２はヘッダ情報（６バイト）であり、ヘッダデータＨ１，Ｈ０はCRC符号（２バイト）である。
【0304】
図４３の例においては、グループ０のペイロードデータには１つのヘッダデータＨ７が付加され、グループ１のペイロードデータには１つのヘッダデータＨ６が付加されている。グループ２のペイロードデータには１つのヘッダデータＨ５が付加され、グループ３のペイロードデータには１つのヘッダデータＨ４が付加されている。グループ４のペイロードデータには１つのヘッダデータＨ３が付加され、グループ５のペイロードデータには１つのヘッダデータＨ２が付加されている。グループ６のペイロードデータには１つのヘッダデータＨ１が付加され、グループ７のペイロードデータには１つのヘッダデータＨ０が付加されている。
【0305】
また、図４３の例においては、グループ８のペイロードデータには２つのヘッダデータＨ７が付加され、グループ９のペイロードデータには２つのヘッダデータＨ６が付加されている。グループ１０のペイロードデータには２つのヘッダデータＨ５が付加され、グループ１１のペイロードデータには２つのヘッダデータＨ４が付加されている。グループ１２のペイロードデータには２つのヘッダデータＨ３が付加され、グループ１３のペイロードデータには２つのヘッダデータＨ２が付加されている。グループ１４のペイロードデータには２つのヘッダデータＨ１が付加され、グループ１５のペイロードデータには２つのヘッダデータＨ０が付加されている。
【0306】
図４４は、ペイロードデータにヘッダとフッタを付加した状態を示す図である。
【0307】
Ｆ３～Ｆ０の文字を付して示す４個のブロックは、フッタとして生成された４バイトのCRC符号であるフッタデータを表す。図４４の例においては、フッタデータＦ３～Ｆ０が、グループ０からグループ３のそれぞれのペイロードデータに付加されている。
【0308】
図４５は、パリティが挿入されたペイロードデータにヘッダを付加した状態を示す図である。
【0309】
【0310】
パケット生成部２２４は、このようにして生成した１パケットを構成するデータであるパケットデータをレーン分配部２２５に出力する。レーン分配部２２５に対しては、ヘッダデータとペイロードデータからなるパケットデータ、ヘッダデータとペイロードデータとフッタデータからなるパケットデータ、または、ヘッダデータと、パリティが挿入されたペイロードデータからなるパケットデータが供給されることになる。図３のパケット構造は論理的なものであり、リンクレイヤ、物理レイヤにおいては、図３の構造を有するパケットのデータがバイト単位で処理される。
【0311】
レーン分配部２２５は、パケット生成部２２４から供給されたパケットデータを、先頭のデータから順に、Lane0～7のうちのデータ伝送に用いる各レーンに割り当てる。
【0312】
図４６は、パケットデータの割り当ての例を示す図である。
【0313】
ここでは、ヘッダデータとペイロードデータとフッタデータからなるパケットデータ（図４４）の割り当てについて説明する。Lane0～7の８レーンを用いてデータ伝送を行う場合のパケットデータの割り当ての例を白抜き矢印＃１の先に示す。
【0314】
この場合、ヘッダデータＨ７～Ｈ０の３回繰り返しを構成するそれぞれのヘッダデータは、先頭のヘッダデータから順にLane0～7に割り当てられる。あるヘッダデータがLane7に割り当てられたとき、それ以降のヘッダデータは、Lane0以降の各レーンに順に割り当てられる。Lane0～7の各レーンには同じヘッダデータが３個ずつ割り当てられることになる。
【0315】
また、ペイロードデータは、先頭のペイロードデータから順にLane0～7に割り当てられる。あるペイロードデータがLane7に割り当てられたとき、それ以降のペイロードデータは、Lane0以降の各レーンに順に割り当てられる。
【0316】
フッタデータＦ３～Ｆ０は、先頭のフッタデータから順に各レーンに割り当てられる。図４６の例においては、ペイロードデータを構成する最後のペイロードスタッフィングデータがLane7に割り当てられており、フッタデータＦ３～Ｆ０がLane0～3に１つずつ割り当てられている。
【0317】
黒色を付して示すブロックはデータ挿入部２３３により生成されたレーンスタッフィングデータを表す。レーンスタッフィングデータは、１パケット分のパケットデータが各レーンに割り当てられた後、各レーンに割り当てられるデータ長が同じ長さになるように、データの数が少ないレーンに割り当てられる。レーンスタッフィングデータは１バイトのデータである。図４６の例においては、データの割り当て数の少ないレーンであるLane4～7に対して、レーンスタッフィングデータが１つずつ割り当てられている。
【0318】
パケットデータがヘッダデータとペイロードデータとフッタデータからなる場合のレーンスタッフィングデータの数は下式（５）により表される。
【数5】
【0319】
式（５）のLaneNumはレーンの数を表し、PayloadLengthはペイロードデータ長（バイト）を表す。また、FooterLengthはフッタ長（バイト）を表す。
【0320】
また、パケットデータが、ヘッダデータと、パリティが挿入されたペイロードデータからなる場合のレーンスタッフィングデータの数は下式（６）により表される。式（６）のParityLengthは、ペイロードに含まれるパリティの総バイト数を表す。
【数6】
【0321】
Lane0～5の６レーンを用いてデータ伝送を行う場合のパケットデータの割り当ての例を白抜き矢印＃２の先に示す。
【0322】
この場合、ヘッダデータＨ７～Ｈ０の３回繰り返しを構成するそれぞれのヘッダデータは、先頭のヘッダデータから順にLane0～5に割り当てられる。あるヘッダデータがLane5に割り当てられたとき、それ以降のヘッダデータは、Lane0以降の各レーンに順に割り当てられる。Lane0～5の各レーンには４個ずつヘッダデータが割り当てられることになる。
【0323】
また、ペイロードデータは、先頭のペイロードデータから順にLane0～5に割り当てられる。あるペイロードデータがLane5に割り当てられたとき、それ以降のペイロードデータは、Lane0以降の各レーンに順に割り当てられる。
【0324】
フッタデータＦ３～Ｆ０は、先頭のフッタデータから順に各レーンに割り当てられる。図４６の例においては、ペイロードデータを構成する最後のペイロードスタッフィングデータがLane1に割り当てられており、フッタデータＦ３～Ｆ０がLane2～5に１つずつ割り当てられている。Lane0～5のパケットデータの数が同じ数であるから、この場合、レーンスタッフィングデータは用いられない。
【0325】
Lane0～3の４レーンを用いてデータ伝送を行う場合のパケットデータの割り当ての例を白抜き矢印＃３の先に示す。
【0326】
この場合、ヘッダデータＨ７～Ｈ０の３回繰り返しを構成するそれぞれのヘッダデータは、先頭のヘッダデータから順にLane0～3に割り当てられる。あるヘッダデータがLane3に割り当てられたとき、それ以降のヘッダデータは、Lane0以降の各レーンに順に割り当てられる。Lane0～3の各レーンには６個ずつヘッダデータが割り当てられることになる。
【0327】
また、ペイロードデータは、先頭のペイロードデータから順にLane0～3に割り当てられる。あるペイロードデータがLane3に割り当てられたとき、それ以降のペイロードデータは、Lane0以降の各レーンに順に割り当てられる。
【0328】
フッタデータＦ３～Ｆ０は、先頭のフッタデータから順に各レーンに割り当てられる。図４６の例においては、ペイロードデータを構成する最後のペイロードスタッフィングデータがLane3に割り当てられており、フッタデータＦ３～Ｆ０がLane0～3に１つずつ割り当てられている。Lane0～3のパケットデータの数が同じ数であるから、この場合、レーンスタッフィングデータは用いられない。
【0329】
レーン分配部２２５は、このようにして各レーンに割り当てたパケットデータを物理レイヤに出力する。以下、Lane0～7の８レーンを用いてデータを伝送する場合について主に説明するが、データ伝送に用いるレーンの数が他の数の場合であっても同様の処理が行われる。
【0330】
・送信部２２の物理レイヤの構成
次に、送信部２２の物理レイヤの構成について説明する。
次に、送信部２２の物理レイヤの構成について説明する。
【0331】
送信部２２の物理レイヤ処理部２２Ｂには、物理レイヤの構成として、PHY-TX状態制御部２４１、クロック生成部２４２、信号処理部２４３－０乃至２４３－Ｎが設けられる。信号処理部２４３－０は、制御コード挿入部２５１、8B10Bシンボルエンコーダ２５２、同期部２５３、および送信部２５４から構成される。
【0332】
【0333】
レーン分配部２２５から出力された、Lane0に割り当てられたパケットデータは信号処理部２４３－０に入力され、Lane1に割り当てられたパケットデータは信号処理部２４３－１に入力される。また、LaneNに割り当てられたパケットデータは信号処理部２４３－Ｎに入力される。
【0334】
このように、送信部２２の物理レイヤには、信号処理部２４３－０乃至２４３－Ｎがレーンの数と同じ数だけ設けられ、各レーンを用いて伝送するパケットデータの処理が、信号処理部２４３－０乃至２４３－Ｎのそれぞれにおいて並行して行われる。信号処理部２４３－０の構成について説明するが、信号処理部２４３－１乃至２４３－Ｎも同様の構成を有する。
【0335】
PHY-TX状態制御部２４１は、信号処理部２４３－０乃至２４３－Ｎの各部を制御する。例えば、信号処理部２４３－０乃至２４３－Ｎにより行われる各処理のタイミングがPHY-TX状態制御部２４１により制御される。
【0336】
クロック生成部２４２は、クロック信号を生成し、信号処理部２４３－０乃至２４３－Ｎのそれぞれの同期部２５３に出力する。
【0337】
信号処理部２４３－０の制御コード挿入部２５１は、レーン分配部２２５から供給されたパケットデータに対して制御コードを付加する。制御コードは、予め用意された複数種類のシンボルの中から選択された１つのシンボルにより、または複数種類のシンボルの組み合わせにより表されるコードである。制御コード挿入部２５１により挿入される各シンボルは８ビットのデータである。後段の回路で8B10B変換が施されることによって、制御コード挿入部２５１により挿入された１シンボルは１０ビットのデータになる。一方、受信部３１においては後述するように受信データに対して10B8B変換が施されるが、受信データに含まれる10B8B変換前の各シンボルは１０ビットのデータであり、10B8B変換後の各シンボルは８ビットのデータになる。
【0338】
図４７は、制御コード挿入部２５１により付加される制御コードの例を示す図である。
【0339】
制御コードには、Idle Code, Start Code, End Code, Pad Code, Sync Code, Deskew Code, Standby Codeがある。
【0340】
Idle Codeは、パケットデータの伝送時以外の期間に繰り返し送信されるシンボル群である。Idle Codeは、8B10B CodeであるD CharacterのD00.0（00000000）で表される。
【0341】
Start Codeは、パケットの開始を示すシンボル群である。上述したように、Start Codeはパケットの前に付加される。Start Codeは、３種類のK Characterの組み合わせであるK28.5, K27.7, K28.2, K27.7の４シンボルで表される。それぞれのK Characterの値を図４８に示す。
【0342】
End Codeは、パケットの終了を示すシンボル群である。上述したように、End Codeはパケットの後ろに付加される。End Codeは、３種類のK Characterの組み合わせであるK28.5, K29.7, K30.7, K29.7の４シンボルで表される。
【0343】
Pad Codeは、画素データ帯域とPHY伝送帯域の差を埋めるためにペイロードデータ中に挿入されるシンボル群である。画素データ帯域は、情報処理部２１から出力され、送信部２２に入力される画素データの伝送レートであり、PHY伝送帯域は、送信部２２から送信され、受信部３１に入力される画素データの伝送レートである。Pad Codeは、４種類のK Characterの組み合わせであるK23.7, K28.4, K28.6, K28.3の４シンボルで表される。
【0344】
図４９は、Pad Codeの挿入の例を示す図である。
【0345】
図４９の上段は、Pad Code挿入前の、各レーンに割り当てられたペイロードデータを示し、下段は、Pad Code挿入後のペイロードデータを示す。図４９の例においては、先頭から３番目の画素データと４番目の画素データの間、６番目の画素データと７番目の画素データの間、１２番目の画素データと１３番目の画素データの間にPad Codeが挿入されている。このように、Pad Codeは、Lane0～7の各レーンのペイロードデータの同じ位置に挿入される。
【0346】
Lane0に割り当てられたペイロードデータに対するPad Codeの挿入は信号処理部２４３－０の制御コード挿入部２５１により行われる。他のレーンに割り当てられたペイロードデータに対するPad Codeの挿入も同様に、信号処理部２４３－１乃至２４３－Ｎにおいてそれぞれ同じタイミングで行われる。Pad Codeの数は、画素データ帯域とPHY伝送帯域の差と、クロック生成部２４２が生成するクロック信号の周波数などに基づいて決定される。
【0347】
このように、Pad Codeは、画素データ帯域が狭く、PHY伝送帯域が広い場合に、双方の帯域の差を調整するために挿入される。例えば、Pad Codeが挿入されることによって、画素データ帯域とPHY伝送帯域の差が一定の範囲内に収まるように調整される。
【0348】
図４７の説明に戻り、Sync Codeは、送信部２２－受信部３１間のビット同期、シンボル同期を確保するために用いられるシンボル群である。Sync Codeは、K28.5, Any**の２シンボルで表される。Any**は、どの種類のシンボルが用いられてもよいことを表す。Sync Codeは、例えば送信部２２－受信部３１間でパケットデータの伝送が開始される前のトレーニングモード時に繰り返し送信される。
【0349】
Deskew Codeは、レーン間のData Skew、すなわち、受信部３１の各レーンで受信されるデータの受信タイミングのずれの補正に用いられるシンボル群である。Deskew Codeは、K28.5, Any**の２シンボルで表される。Deskew Codeを用いたレーン間のData Skewの補正については後述する。
【0350】
Standby Codeは、送信部２２の出力がHigh-Z（ハイインピーダンス）などの状態になり、データ伝送が行われなくなることを受信部３１に通知するために用いられるシンボル群である。すなわち、Standby Codeは、パケットデータの伝送を終了し、Standby状態になるときに受信部３１に対して伝送される。Standby Codeは、K28.5, Any**の２シンボルで表される。
【0351】
制御コード挿入部２５１は、このような制御コードを付加したパケットデータを8B10Bシンボルエンコーダ２５２に出力する。
【0352】
図５０は、制御コード挿入後のパケットデータの例を示す図である。
【0353】
図５０に示すように、信号処理部２４３－０乃至２４３－Ｎにおいては、それぞれ、パケットデータの前にStart Codeが付加され、ペイロードデータにPad Codeが挿入される。パケットデータの後ろにはEnd Codeが付加され、End Codeの後ろにDeskew Codeが付加される。図５０の例においては、Deskew Codeの後ろにIdle Codeが付加されている。
【0354】
8B10Bシンボルエンコーダ２５２は、制御コード挿入部２５１から供給されたパケットデータ（制御コードが付加されたパケットデータ）に対して8B10B変換を施し、１０ビット単位のデータに変換したパケットデータを同期部２５３に出力する。
【0355】
同期部２５３は、8B10Bシンボルエンコーダ２５２から供給されたパケットデータの各ビットを、クロック生成部２４２により生成されたクロック信号に従って送信部２５４に出力する。なお、送信部２２に同期部２５３が設けられないようにしてもよい。この場合、8B10Bシンボルエンコーダ２５２から出力されたパケットデータは、送信部２５４にそのまま供給される。
【0356】
送信部２５４は、Lane0を構成する伝送路を介して、同期部２５３から供給されたパケットデータを受信部３１に送信する。８レーンを用いてデータ伝送が行われる場合、Lane1～7を構成する伝送路をも用いてパケットデータが受信部３１に送信される。
【0357】
・受信部３１の物理レイヤの構成
次に、受信部３１の物理レイヤの構成について説明する。
次に、受信部３１の物理レイヤの構成について説明する。
【0358】
受信部３１の物理レイヤ処理部３１Ａには、物理レイヤの構成として、PHY-RX状態制御部３０１、信号処理部３０２－０乃至３０２－Ｎが設けられる。信号処理部３０２－０は、受信部３１１、クロック生成部３１２、同期部３１３、シンボル同期部３１４、10B8Bシンボルデコーダ３１５、スキュー補正部３１６、および制御コード除去部３１７から構成される。
【0359】
例えば、受信部３１１は、図２７の受信部１１１に対応する。同期部３１３は、図２７の同期部１１２に対応する。10B8Bシンボルデコーダ３１５は、図２７の10B8Bシンボルデコーダ１０２に対応する。すなわち、図２７に示す構成は、受信部３１の構成を簡略化して示す構成となる。
【0360】
Lane0を構成する伝送路を介して送信されてきたパケットデータは信号処理部３０２－０に入力され、Lane1を構成する伝送路を介して送信されてきたパケットデータは信号処理部３０２－１に入力される。また、LaneNを構成する伝送路を介して送信されてきたパケットデータは信号処理部３０２－Ｎに入力される。
【0361】
このように、受信部３１の物理レイヤには、信号処理部３０２－０乃至３０２－Ｎがレーンの数と同じ数だけ設けられ、各レーンを用いて伝送されてきたパケットデータの処理が、信号処理部３０２－０乃至３０２－Ｎのそれぞれにおいて並行して行われる。信号処理部３０２－０の構成について説明するが、信号処理部３０２－１乃至３０２－Ｎも同様の構成を有する。
【0362】
受信部３１１は、Lane0を構成する伝送路を介して送信部２２から伝送されてきたパケットデータを表す信号を受信し、クロック生成部３１２に出力する。
【0363】
クロック生成部３１２は、受信部３１１から供給された信号のエッジを検出することによってビット同期をとり、エッジの検出周期に基づいてクロック信号を生成する。クロック生成部３１２は、受信部３１１から供給された信号を、クロック信号とともに同期部３１３に出力する。
【0364】
同期部３１３は、クロック生成部３１２により生成されたクロック信号に従って、受信部３１１において受信された信号のサンプリングを行い、サンプリングによって得られたパケットデータをシンボル同期部３１４に出力する。クロック生成部３１２と同期部３１３によりCDR(Clock Data Recovery)の機能が実現される。
【0365】
シンボル同期部３１４は、パケットデータに含まれる制御コードを検出することによって、または制御コードに含まれる一部のシンボルを検出することによってシンボル同期をとる。例えば、シンボル同期部３１４は、Start Code, End Code, Deskew Codeに含まれるK28.5のシンボルを検出し、シンボル同期をとる。シンボル同期部３１４は、各シンボルを表す１０ビット単位のパケットデータを10B8Bシンボルデコーダ３１５に出力する。
【0366】
また、シンボル同期部３１４は、パケットデータの伝送が開始される前のトレーニングモード時に送信部２２から繰り返し送信されてくるSync Codeに含まれるシンボルの境界を検出することによってシンボル同期をとる。
【0367】
10B8Bシンボルデコーダ３１５は、シンボル同期部３１４から供給された１０ビット単位のパケットデータに対して10B8B変換を施し、８ビット単位のデータに変換したパケットデータをスキュー補正部３１６に出力する。
【0368】
スキュー補正部３１６は、10B8Bシンボルデコーダ３１５から供給されたパケットデータからDeskew Codeを検出する。スキュー補正部３１６によるDeskew Codeの検出タイミングの情報はPHY-RX状態制御部３０１に供給される。
【0369】
また、スキュー補正部３１６は、Deskew Codeのタイミングを、PHY-RX状態制御部３０１から供給された情報により表されるタイミングに合わせるようにしてレーン間のData Skewを補正する。PHY-RX状態制御部３０１からは、信号処理部３０２－０乃至３０２－Ｎのそれぞれにおいて検出されたDeskew Codeのタイミングのうち、最も遅いタイミングを表す情報が供給されてくる。
【0370】
図５１は、Deskew Codeを用いたレーン間のData Skewの補正の例を示す図である。
【0371】
図５１の例においては、Lane0～7の各レーンにおいて、Sync Code, Sync Code,…,Idle Code, Deskew Code, Idle Code, …, Idle Code, Deskew Codeの伝送が行われ、それぞれの制御コードが受信部３１において受信されている。同じ制御コードの受信タイミングがレーン毎に異なり、レーン間のData Skewが生じている状態になっている。
【0372】
この場合、スキュー補正部３１６は、１つ目のDeskew CodeであるDeskew Code Ｃ１を検出し、Deskew Code Ｃ１の先頭のタイミングを、PHY-RX状態制御部３０１から供給された情報により表される時刻ｔ１に合わせるように補正する。PHY-RX状態制御部３０１からは、Lane0～7の各レーンにおいてDeskew Code Ｃ１が検出されたタイミングのうち、最も遅いタイミングであるLane7においてDeskew Code Ｃ１が検出された時刻ｔ１の情報が供給されてくる。
【0373】
また、スキュー補正部３１６は、２つ目のDeskew CodeであるDeskew Code Ｃ２を検出し、Deskew Code Ｃ２の先頭のタイミングを、PHY-RX状態制御部３０１から供給された情報により表される時刻ｔ２に合わせるように補正する。PHY-RX状態制御部３０１からは、Lane0～7の各レーンにおいてDeskew Code Ｃ２が検出されたタイミングのうち、最も遅いタイミングであるLane7においてDeskew Code Ｃ２が検出された時刻ｔ２の情報が供給されてくる。
【0374】
信号処理部３０２－１乃至３０２－Ｎのそれぞれにおいて同様の処理が行われることによって、図５１の矢印＃１の先に示すようにレーン間のData Skewが補正される。
【0375】
スキュー補正部３１６は、Data Skewを補正したパケットデータを制御コード除去部３１７に出力する。
【0376】
制御コード除去部３１７は、パケットデータに付加された制御コードを除去し、Start CodeからEnd Codeまでの間のデータをパケットデータとしてリンクレイヤに出力する。
【0377】
PHY-RX状態制御部３０１は、信号処理部３０２－０乃至３０２－Ｎの各部を制御し、レーン間のData Skewの補正などを行わせる。また、PHY-RX状態制御部３０１は、所定のレーンで伝送エラーが起きて制御コードが失われた場合、失われた制御コードに代えて、他のレーンで伝送されてきた制御コードを付加することによって制御コードの誤り訂正を行う。
【0378】
・受信部３１のリンクレイヤの構成
次に、受信部３１のリンクレイヤの構成について説明する。
次に、受信部３１のリンクレイヤの構成について説明する。
【0379】
受信部３１のリンクレイヤ処理部３１Ｂには、リンクレイヤの構成として、LINK-RXプロトコル管理部３２１、レーン統合部３２２、パケット分離部３２３、ペイロードエラー訂正部３２４、およびByte to Pixel変換部３２５が設けられる。LINK-RXプロトコル管理部３２１は、状態制御部３３１、ヘッダエラー訂正部３３２、データ除去部３３３、およびフッタエラー検出部３３４から構成される。
【0380】
例えば、レーン統合部３２２は、図２７のLane統合部１０３に対応する。パケット分離部３２３は、図２７のパケット解析部１３１と分離部１３２に対応する。Byte to Pixel変換部３２５は、図２７のピクセルデータ変換部１４２に対応する。
【0381】
レーン統合部３２２は、物理レイヤの信号処理部３０２－０乃至３０２－Ｎから供給されたパケットデータを、送信部２２のレーン分配部２２５による各レーンへの分配順と逆順で並び替えることによって統合する。
【0382】
例えば、レーン分配部２２５によるパケットデータの分配が図４６の矢印＃１の先に示すようにして行われている場合、各レーンのパケットデータの統合が行われることによって図４６の左側のパケットデータが取得される。各レーンのパケットデータの統合時、データ除去部３３３による制御に従って、レーンスタッフィングデータがレーン統合部３２２により除去される。レーン統合部３２２は、統合したパケットデータをパケット分離部３２３に出力する。
【0383】
パケット分離部３２３は、レーン統合部３２２により統合された１パケット分のパケットデータを、ヘッダデータを構成するパケットデータとペイロードデータを構成するパケットデータに分離する。パケット分離部３２３は、ヘッダデータをヘッダエラー訂正部３３２に出力し、ペイロードデータをペイロードエラー訂正部３２４に出力する。
【0384】
また、パケット分離部３２３は、パケットにフッタが含まれている場合、１パケット分のデータを、ヘッダデータを構成するパケットデータとペイロードデータを構成するパケットデータとフッタデータを構成するパケットデータに分離する。パケット分離部３２３は、ヘッダデータをヘッダエラー訂正部３３２に出力し、ペイロードデータをペイロードエラー訂正部３２４に出力する。また、パケット分離部３２３は、フッタデータをフッタエラー検出部３３４に出力する。
【0385】
ペイロードエラー訂正部３２４は、パケット分離部３２３から供給されたペイロードデータにパリティが挿入されている場合、パリティに基づいて誤り訂正演算を行うことによってペイロードデータのエラーを検出し、検出したエラーの訂正を行う。例えば、図４２に示すようにしてパリティが挿入されている場合、ペイロードエラー訂正部３２４は、１つ目のBasic Blockの最後に挿入されている２つのパリティを用いて、パリティの前にある２２４個の画素データの誤り訂正を行う。
【0386】
ペイロードエラー訂正部３２４は、各Basic Block, Extra Blockを対象として誤り訂正を行うことによって得られた誤り訂正後の画素データをByte to Pixel変換部３２５に出力する。パケット分離部３２３から供給されたペイロードデータにパリティが挿入されていない場合、パケット分離部３２３から供給されたペイロードデータはそのままByte to Pixel変換部３２５に出力される。
【0387】
Byte to Pixel変換部３２５は、ペイロードエラー訂正部３２４から供給されたペイロードデータに含まれるペイロードスタッフィングデータをデータ除去部３３３による制御に従って除去する。
【0388】
また、Byte to Pixel変換部３２５は、ペイロードスタッフィングデータを除去して得られたバイト単位の各画素のデータを、８ビット、１０ビット、１２ビット、１４ビット、または１６ビット単位の画素データに変換するByte to Pixel変換を行う。Byte to Pixel変換部３２５においては、図３５乃至図３９を参照して説明した、送信部２２のPixel to Byte変換部２２２によるPixel to Byte変換と逆の変換が行われる。
【0389】
Byte to Pixel変換部３２５は、Byte to Pixel変換によって得られた８ビット、１０ビット、１２ビット、１４ビット、または１６ビット単位の画素データをフレームデータ出力部３４１に出力する。フレームデータ出力部３４１においては、例えば、ヘッダ情報のLine Validにより特定される有効画素の各ラインがByte to Pixel変換部３２５により得られた画素データに基づいて生成され、ヘッダ情報のLine Numberに従って各ラインが並べられることによって１フレームの画像が生成される。
【0390】
LINK-RXプロトコル管理部３２１の状態制御部３３１は、受信部３１のリンクレイヤの状態を管理する。
【0391】
ヘッダエラー訂正部３３２は、パケット分離部３２３から供給されたヘッダデータに基づいてヘッダ情報とCRC符号の組を３組取得する。ヘッダエラー訂正部３３２は、ヘッダ情報とCRC符号の組の各組を対象として、ヘッダ情報のエラーを検出するための演算である誤り検出演算を、そのヘッダ情報と同じ組のCRC符号を用いて行う。
【0392】
また、ヘッダエラー訂正部３３２は、それぞれの組のヘッダ情報の誤り検出結果と、誤り検出演算により求められたデータの比較結果とのうちの少なくともいずれかに基づいて正しいヘッダ情報を推測し、正しいと推測したヘッダ情報と復号結果を出力する。誤り検出演算により求められたデータは、ヘッダ情報にCRCの生成多項式を適用することによって求められた値である。また、復号結果は、復号成功または復号失敗を表す情報である。
【0393】
ヘッダ情報とCRC符号の３つの組をそれぞれ組１、組２、組３とする。この場合、ヘッダエラー訂正部３３２は、組１を対象とした誤り検出演算によって、組１のヘッダ情報にエラーがあるか否か（誤り検出結果）と、誤り検出演算により求められたデータであるデータ１を取得する。また、ヘッダエラー訂正部３３２は、組２を対象とした誤り検出演算によって、組２のヘッダ情報にエラーがあるか否かと、誤り検出演算により求められたデータであるデータ２を取得する。ヘッダエラー訂正部３３２は、組３を対象とした誤り検出演算によって、組３のヘッダ情報にエラーがあるか否かと、誤り検出演算により求められたデータであるデータ３を取得する。
【0394】
また、ヘッダエラー訂正部３３２は、データ１とデータ２が一致するか否か、データ２とデータ３が一致するか否か、データ３とデータ１が一致するか否かをそれぞれ判定する。
【0395】
例えば、ヘッダエラー訂正部３３２は、組１、組２、組３を対象としたいずれの誤り検出演算によっても誤りが検出されず、誤り検出演算によって求められたデータのいずれの比較結果もが一致した場合、復号結果として、復号成功を表す情報を選択する。また、ヘッダエラー訂正部３３２は、いずれのヘッダ情報も正しいと推測し、組１のヘッダ情報、組２のヘッダ情報、組３のヘッダ情報のうちのいずれかを出力情報として選択する。
【0396】
一方、ヘッダエラー訂正部３３２は、組１を対象とした誤り検出演算でだけ誤りが検出されなかった場合、復号結果として、復号成功を表す情報を選択するとともに、組１のヘッダ情報が正しいと推測し、組１のヘッダ情報を出力情報として選択する。
【0397】
また、ヘッダエラー訂正部３３２は、組２を対象とした誤り検出演算でだけ誤りが検出されなかった場合、復号結果として、復号成功を表す情報を選択するとともに、組２のヘッダ情報が正しいと推測し、組２のヘッダ情報を出力情報として選択する。
【0398】
ヘッダエラー訂正部３３２は、組３を対象とした誤り検出演算でだけ誤りが検出されなかった場合、復号結果として、復号成功を表す情報を選択するとともに、組３のヘッダ情報が正しいと推測し、組３のヘッダ情報を出力情報として選択する。
【0399】
ヘッダエラー訂正部３３２は、以上のようにして選択した復号結果と出力情報をレジスタ３４２に出力し、記憶させる。このように、ヘッダエラー訂正部３３２によるヘッダ情報の誤り訂正は、複数のヘッダ情報の中から、エラーのないヘッダ情報をCRC符号を用いて検出し、検出したヘッダ情報を出力するようにして行われる。
【0400】
データ除去部３３３は、レーン統合部３２２を制御してレーンスタッフィングデータを除去し、Byte to Pixel変換部３２５を制御してペイロードスタッフィングデータを除去する。
【0401】
フッタエラー検出部３３４は、パケット分離部３２３から供給されたフッタデータに基づいて、フッタに格納されたCRC符号を取得する。フッタエラー検出部３３４は、取得したCRC符号を用いて誤り検出演算を行い、ペイロードデータのエラーを検出する。フッタエラー検出部３３４は、誤り検出結果を出力し、レジスタ３４２に記憶させる。
【0402】
＜変形例＞
SLVS-EC規格のデータ伝送において多階調伝送方式を採用する場合について説明したが、所定のフォーマットを有するフレームを規定し、ライン単位のデータを１つのパケットを用いて伝送する他の規格のデータ伝送に多階調伝送方式を適用することも可能である。
そのような規格には、例えばMIPI規格がある。
SLVS-EC規格のデータ伝送において多階調伝送方式を採用する場合について説明したが、所定のフォーマットを有するフレームを規定し、ライン単位のデータを１つのパケットを用いて伝送する他の規格のデータ伝送に多階調伝送方式を適用することも可能である。
そのような規格には、例えばMIPI規格がある。
【0403】
MIPI規格のデータ伝送において多階調伝送方式を採用することによっても、上述したように効率的なデータ伝送が可能となる。
【0404】
・コンピュータの構成例
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【0405】
図５２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【0406】
CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。
【0407】
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
【0408】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【0409】
CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
【0410】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0411】
本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0412】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0413】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0414】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【0415】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【0416】
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
本技術は、以下のような構成をとることもできる。
【0417】
（１）
データ単位毎のビット幅が異なる複数種類の単位データを格納したペイロードに、複数種類の前記単位データが前記ペイロードに格納されていることを表す識別子を含む分離情報を含むヘッダを付加することによって、伝送対象のデータを所定のフォーマットで配置したフレームを構成する各ラインのデータの伝送に用いられるパケットを生成するパケット生成部と、
前記パケットを送信する送信部と
を備える送信装置。
（２）
前記パケット生成部は、前記単位データのビット幅が周期的に切り替わる前記ペイロードを生成する
前記（１）に記載の送信装置。
（３）
前記パケット生成部は、ビット幅が同じ前記単位データを連続して格納した前記ペイロードを生成する
前記（２）に記載の送信装置。
（４）
前記パケット生成部は、ビット幅が周期的に切り替わることを表すモード情報とともに、前記単位データの並び順と、ビット幅の切り替わりの周期とのうちの少なくともいずれかを表す情報を前記分離情報として含む前記ヘッダを付加する
前記（２）または（３）に記載の送信装置。
（５）
前記パケット生成部は、複数の撮像素子により撮像して得られたそれぞれの画像を構成する画素を前記単位データとして格納した前記ペイロードを含む前記パケットを生成する 前記（２）乃至（４）のいずれかに記載の送信装置。
（６）
前記パケット生成部は、前記単位データのビット幅が部分的に切り替わる前記ペイロードを生成する
前記（１）に記載の送信装置。
（７）
前記パケット生成部は、ビット幅が部分的に切り替わることを表すモード情報とともに、前記単位データのビット幅が切り替わる部分の数、前記部分の開始位置、および、前記部分の幅のうちの少なくともいずれかを表す情報を前記分離情報として含む前記ヘッダを付加する
前記（６）に記載の送信装置。
（８）
前記パケット生成部は、画像を解析することによって検出された注目領域を構成する画素と非注目領域を構成する画素を、それぞれビット幅が異なる前記単位データとして格納した前記ペイロードを含む前記パケットを生成する
前記（６）または（７）に記載の送信装置。
（９）
前記パケット生成部は、前記所定のフォーマットで規定されるデータ長の前記ヘッダに格納することができない前記分離情報の一部を、前記ペイロードの先頭に格納する
前記（１）乃至（８）のいずれかに記載の送信装置。
（１０）
前記パケット生成部は、所定のセンサの測定結果を表す各項目の情報を前記単位データとして格納した前記ペイロードを含む前記パケットを生成する
前記（１）に記載の送信装置。
（１１）
前記送信部は、前記パケットを構成するパケットデータを複数のレーンに分配し、それぞれの前記レーンの前記パケットデータに対して制御情報の挿入を含む処理を並列に行い、処理を施して得られた前記パケットデータを受信装置との間の伝送路上に出力する
前記（１）乃至（１１）のいずれかに記載の送信装置。
（１２）
送信装置が、
データ単位毎のビット幅が異なる複数種類の単位データを格納したペイロードに、複数種類の前記単位データが前記ペイロードに格納されていることを表す識別子を含む分離情報を含むヘッダを付加することによって、伝送対象のデータを所定のフォーマットで配置したフレームを構成する各ラインのデータの伝送に用いられるパケットを生成し、
前記パケットを送信する
送信方法。
（１３）
データ単位毎のビット幅が異なる複数種類の単位データを格納したペイロードに、複数種類の前記単位データが前記ペイロードに格納されていることを表す識別子を含む分離情報を含むヘッダを付加することによって生成された、伝送対象のデータを所定のフォーマットで配置したフレームを構成する各ラインのデータの伝送に用いられるパケットを受信する受信部と、
ビット幅が異なるそれぞれの前記単位データを前記分離情報に基づいて分離し、出力する分離部と
を備える受信装置。
（１４）
前記分離部は、前記単位データのビット幅が周期的に切り替わる前記ペイロードから、前記単位データを分離する
前記（１３）に記載の受信装置。
（１５）
前記分離部は、ビット幅が周期的に切り替わることを表すモード情報とともに、前記単位データの並び順と、ビット幅の切り替わりの周期とのうちの少なくともいずれかを表す情報を含む前記分離情報に基づいて、前記単位データを分離する
前記（１４）に記載の受信装置。
（１６）
前記分離部は、前記単位データのビット幅が部分的に切り替わる前記ペイロードから、前記単位データを分離する
前記（１３）に記載の受信装置。
（１７）
前記分離部は、ビット幅が部分的に切り替わることを表すモード情報とともに、前記単位データのビット幅が切り替わる部分の数、前記部分の開始位置、および、前記部分の幅のうちの少なくともいずれかを表す情報を含む前記分離情報に基づいて、前記単位データを分離する
前記（１６）に記載の受信装置。
（１８）
前記受信部は、複数のレーンのデータとして送信装置から並列に伝送路上に出力されたパケットデータを受信し、
前記分離部は、それぞれの前記レーンの前記パケットデータを一系統のデータに統合して得られた前記パケットの前記ペイロードから、前記単位データを分離する
前記（１３）乃至（１７）のいずれかに記載の受信装置。
（１９）
受信装置が、
データ単位毎のビット幅が異なる複数種類の単位データを格納したペイロードに、複数種類の前記単位データが前記ペイロードに格納されていることを表す識別子を含む分離情報を含むヘッダを付加することによって生成された、伝送対象のデータを所定のフォーマットで配置したフレームを構成する各ラインのデータの伝送に用いられるパケットを受信し、
ビット幅が異なるそれぞれの前記単位データを前記分離情報に基づいて分離し、出力する
受信方法。
（２０）
データ単位毎のビット幅が異なる複数種類の単位データを格納したペイロードに、複数種類の前記単位データが前記ペイロードに格納されていることを表す識別子を含む分離情報を含むヘッダを付加することによって、伝送対象のデータを所定のフォーマットで配置したフレームを構成する各ラインのデータの伝送に用いられるパケットを生成するパケット生成部と、
前記パケットを送信する送信部と
を備える送信装置と、
前記パケットを受信する受信部と、
ビット幅が異なるそれぞれの前記単位データを前記分離情報に基づいて分離し、出力する分離部と
を備える受信装置と
を含む送受信装置。
データ単位毎のビット幅が異なる複数種類の単位データを格納したペイロードに、複数種類の前記単位データが前記ペイロードに格納されていることを表す識別子を含む分離情報を含むヘッダを付加することによって、伝送対象のデータを所定のフォーマットで配置したフレームを構成する各ラインのデータの伝送に用いられるパケットを生成するパケット生成部と、
前記パケットを送信する送信部と
を備える送信装置。
（２）
前記パケット生成部は、前記単位データのビット幅が周期的に切り替わる前記ペイロードを生成する
前記（１）に記載の送信装置。
（３）
前記パケット生成部は、ビット幅が同じ前記単位データを連続して格納した前記ペイロードを生成する
前記（２）に記載の送信装置。
（４）
前記パケット生成部は、ビット幅が周期的に切り替わることを表すモード情報とともに、前記単位データの並び順と、ビット幅の切り替わりの周期とのうちの少なくともいずれかを表す情報を前記分離情報として含む前記ヘッダを付加する
前記（２）または（３）に記載の送信装置。
（５）
前記パケット生成部は、複数の撮像素子により撮像して得られたそれぞれの画像を構成する画素を前記単位データとして格納した前記ペイロードを含む前記パケットを生成する 前記（２）乃至（４）のいずれかに記載の送信装置。
（６）
前記パケット生成部は、前記単位データのビット幅が部分的に切り替わる前記ペイロードを生成する
前記（１）に記載の送信装置。
（７）
前記パケット生成部は、ビット幅が部分的に切り替わることを表すモード情報とともに、前記単位データのビット幅が切り替わる部分の数、前記部分の開始位置、および、前記部分の幅のうちの少なくともいずれかを表す情報を前記分離情報として含む前記ヘッダを付加する
前記（６）に記載の送信装置。
（８）
前記パケット生成部は、画像を解析することによって検出された注目領域を構成する画素と非注目領域を構成する画素を、それぞれビット幅が異なる前記単位データとして格納した前記ペイロードを含む前記パケットを生成する
前記（６）または（７）に記載の送信装置。
（９）
前記パケット生成部は、前記所定のフォーマットで規定されるデータ長の前記ヘッダに格納することができない前記分離情報の一部を、前記ペイロードの先頭に格納する
前記（１）乃至（８）のいずれかに記載の送信装置。
（１０）
前記パケット生成部は、所定のセンサの測定結果を表す各項目の情報を前記単位データとして格納した前記ペイロードを含む前記パケットを生成する
前記（１）に記載の送信装置。
（１１）
前記送信部は、前記パケットを構成するパケットデータを複数のレーンに分配し、それぞれの前記レーンの前記パケットデータに対して制御情報の挿入を含む処理を並列に行い、処理を施して得られた前記パケットデータを受信装置との間の伝送路上に出力する
前記（１）乃至（１１）のいずれかに記載の送信装置。
（１２）
送信装置が、
データ単位毎のビット幅が異なる複数種類の単位データを格納したペイロードに、複数種類の前記単位データが前記ペイロードに格納されていることを表す識別子を含む分離情報を含むヘッダを付加することによって、伝送対象のデータを所定のフォーマットで配置したフレームを構成する各ラインのデータの伝送に用いられるパケットを生成し、
前記パケットを送信する
送信方法。
（１３）
データ単位毎のビット幅が異なる複数種類の単位データを格納したペイロードに、複数種類の前記単位データが前記ペイロードに格納されていることを表す識別子を含む分離情報を含むヘッダを付加することによって生成された、伝送対象のデータを所定のフォーマットで配置したフレームを構成する各ラインのデータの伝送に用いられるパケットを受信する受信部と、
ビット幅が異なるそれぞれの前記単位データを前記分離情報に基づいて分離し、出力する分離部と
を備える受信装置。
（１４）
前記分離部は、前記単位データのビット幅が周期的に切り替わる前記ペイロードから、前記単位データを分離する
前記（１３）に記載の受信装置。
（１５）
前記分離部は、ビット幅が周期的に切り替わることを表すモード情報とともに、前記単位データの並び順と、ビット幅の切り替わりの周期とのうちの少なくともいずれかを表す情報を含む前記分離情報に基づいて、前記単位データを分離する
前記（１４）に記載の受信装置。
（１６）
前記分離部は、前記単位データのビット幅が部分的に切り替わる前記ペイロードから、前記単位データを分離する
前記（１３）に記載の受信装置。
（１７）
前記分離部は、ビット幅が部分的に切り替わることを表すモード情報とともに、前記単位データのビット幅が切り替わる部分の数、前記部分の開始位置、および、前記部分の幅のうちの少なくともいずれかを表す情報を含む前記分離情報に基づいて、前記単位データを分離する
前記（１６）に記載の受信装置。
（１８）
前記受信部は、複数のレーンのデータとして送信装置から並列に伝送路上に出力されたパケットデータを受信し、
前記分離部は、それぞれの前記レーンの前記パケットデータを一系統のデータに統合して得られた前記パケットの前記ペイロードから、前記単位データを分離する
前記（１３）乃至（１７）のいずれかに記載の受信装置。
（１９）
受信装置が、
データ単位毎のビット幅が異なる複数種類の単位データを格納したペイロードに、複数種類の前記単位データが前記ペイロードに格納されていることを表す識別子を含む分離情報を含むヘッダを付加することによって生成された、伝送対象のデータを所定のフォーマットで配置したフレームを構成する各ラインのデータの伝送に用いられるパケットを受信し、
ビット幅が異なるそれぞれの前記単位データを前記分離情報に基づいて分離し、出力する
受信方法。
（２０）
データ単位毎のビット幅が異なる複数種類の単位データを格納したペイロードに、複数種類の前記単位データが前記ペイロードに格納されていることを表す識別子を含む分離情報を含むヘッダを付加することによって、伝送対象のデータを所定のフォーマットで配置したフレームを構成する各ラインのデータの伝送に用いられるパケットを生成するパケット生成部と、
前記パケットを送信する送信部と
を備える送信装置と、
前記パケットを受信する受信部と、
ビット幅が異なるそれぞれの前記単位データを前記分離情報に基づいて分離し、出力する分離部と
を備える受信装置と
を含む送受信装置。
【符号の説明】
【0418】
１ 伝送システム， １１ 送信側LSI， １２ 受信側LSI， ２１ 情報処理部， ２２ 送信部， ３１ 受信部， ３２ 情報処理部， ５１－１ Core， ５１－２ Core_sub， ５２ メモリ， ５３ Lane分配部， ５４ 8B10Bシンボルエンコーダ， ５５ PHYアナログ処理部， ６１ 信号処理部， ６２ 制御部， ６３ 状態制御部， ７１ Packing部， ７２ ヘッダ／フッタ生成部， ７３ パケット生成部， １０１ PHYアナログ処理部， １０２ 10B8Bシンボルデコーダ， １０３ レーン統合部， １０４ Core， １２１ 信号処理部， １２２ 制御部， １２３ 状態制御部， １３１ パケット解析部， １３２ 分離部， １３３－１，１３３－２ 出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52】