特許 7494126 通信装置および通信方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-24

(45)【発行日】2024-06-03

(54)【発明の名称】通信装置および通信方法、並びにプログラム

(51)【国際特許分類】

   H04L 69/22 20220101AFI20240527BHJP

   G06F 13/38 20060101ALI20240527BHJP

   G06F 13/12 20060101ALI20240527BHJP

【ＦＩ】

H04L69/22

G06F13/38 320A

G06F13/38 350

G06F13/12 310E

【請求項の数】 18

(21)【出願番号】P 2020561296

(86)(22)【出願日】2019-12-06

(86)【国際出願番号】 JP2019047761

(87)【国際公開番号】W WO2020129685

(87)【国際公開日】2020-06-25

【審査請求日】2022-10-14

(31)【優先権主張番号】P 2018238300

(32)【優先日】2018-12-20

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】高橋 宏雄

(72)【発明者】

【氏名】百代 俊久

(72)【発明者】

【氏名】越坂 直弘

【審査官】羽岡 さやか

(56)【参考文献】

【文献】特表２０１２－５２００２０（ＪＰ，Ａ）

【文献】特開２０１７－０２６９３６（ＪＰ，Ａ）

【文献】米国特許出願公開第２００６／０２６８８７８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０３５９４９９（ＵＳ，Ａ１）

【文献】DRAFT MIPI Alliance Specification for Camera Serial Interface 2 (CSI-2)，DRAFT MIPI Alliance Specification for CSI-2 Draft Version 1.01.00 Revision 0.04-2 April 2009，2009年04月，P.21-23,46-50

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｌ １２／００－６９／４０

Ｇ０６Ｆ １３／３８

Ｇ０６Ｆ １３／１２

(57)【特許請求の範囲】

【請求項1】

パケットで伝送されるデータについて設定された条件を示す設定情報を格納し、既存のＣＳＩ－２規格に従ってパケットヘッダを生成するパケットヘッダ生成部と、
前記パケットヘッダとは別に、前記設定情報を格納する拡張ヘッダを生成する拡張ヘッダ生成部と
を備え、
前記パケットヘッダ生成部は、前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のＣＳＩ－２規格では未使用と定義されている未使用領域に、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報を格納し、
前記拡張モードのタイプとして複数のタイプが用意されており、前記拡張ヘッダは、いずれの前記拡張モードであっても必ず送信される
通信装置。

【請求項2】

前記拡張ヘッダ生成部は、前記拡張ヘッダとして、既存のＣＳＩ－２規格に従ったペイロードの先頭に配置される拡張ペイロードヘッダを生成する
請求項１に記載の通信装置。

【請求項3】

Ｃ－ＰＨＹおよびＤ－ＰＨＹの両方の物理層処理を切り替えて実行することが可能な物理層処理部
をさらに備える請求項１に記載の通信装置。

【請求項4】

前記拡張ヘッダ生成部は、前記拡張ヘッダに、用途に応じて選択的に伝送されるオプショナル拡張ヘッダを送信するか否かを示すオプショナル拡張ヘッダ設定情報を格納する
請求項１に記載の通信装置。

【請求項5】

前記オプショナル拡張ヘッダには、ＭＣ（Ｍｅｓｓａｇｅ Ｃｏｕｎｔ）、および、ＲＳＩＤ（車載用行番号とＳｏｕｒｃｅＩＤ）が格納される
請求項４に記載の通信装置。

【請求項6】

前記パケットヘッダ生成部は、前記未使用領域に、前記拡張モードとして用意される複数のタイプの拡張モードのうちの、いずれのタイプであるかを示す拡張タイプ設定情報を格納する
請求項１に記載の通信装置。

【請求項7】

前記拡張モードにおいて伝送される前記パケットが、既存のＣＳＩ－２規格においてペイロードとして伝送されるデータを格納する拡張ロングパケットである場合に、前記データが格納されるレガシーペイロードに続けて配置されるオプショナル拡張フッタを生成するオプショナル拡張フッタ生成部
をさらに備え、
前記オプショナル拡張フッタに続けて、ＷＣ（Ｗｏｒｄ Ｃｏｕｎｔ）＋１バイト目をＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）として送信する
請求項１に記載の通信装置。

【請求項8】

送信対象のデータの内容に応じて、既存のＣＳＩ－２規格に従ったパケット構造のパケットの送信と、拡張モード時におけるパケット構造のパケットの送信との切り替えを制御する制御部
をさらに備える請求項１に記載の通信装置。

【請求項9】

通信を行う通信装置が、
パケットで伝送されるデータについて設定された条件を示す設定情報を格納し、既存のＣＳＩ－２規格に従ってパケットヘッダを生成することと、
前記パケットヘッダとは別に、前記設定情報を格納する拡張ヘッダを生成することと
を含み、
前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のＣＳＩ－２規格では未使用と定義されている未使用領域に、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報を格納し、
前記拡張モードのタイプとして複数のタイプが用意されており、前記拡張ヘッダは、いずれの前記拡張モードであっても必ず送信される
通信方法。

【請求項10】

通信を行う通信装置のコンピュータに、
パケットで伝送されるデータについて設定された条件を示す設定情報を格納し、既存のＣＳＩ－２規格に従ってパケットヘッダを生成することと、
前記パケットヘッダとは別に、前記設定情報を格納する拡張ヘッダを生成することと
を含み、
前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のＣＳＩ－２規格では未使用と定義されている未使用領域に、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報を格納し、
前記拡張モードのタイプとして複数のタイプが用意されており、前記拡張ヘッダは、いずれの前記拡張モードであっても必ず送信される
通信処理を実行させるためのプログラム。

【請求項11】

パケットで伝送されるデータについて設定された条件を示す設定情報が格納されるパケットヘッダを、既存のＣＳＩ－２規格に従って検出するパケットヘッダ検出部と、
前記パケットヘッダとは別の拡張ヘッダに格納されている前記設定情報を解釈する解釈部と
を備え、
前記パケットヘッダ検出部は、前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のＣＳＩ－２規格では未使用と定義されている未使用領域に格納されている、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報に従って、既存のＣＳＩ－２規格に従ったパケット構造のパケットの受信と、拡張モード時におけるパケット構造のパケットの受信との切り替えを行わせ、前記拡張モードのタイプとして複数のタイプが用意されており、前記拡張ヘッダは、いずれの前記拡張モードであっても必ず送信される
通信装置。

【請求項12】

前記解釈部は、前記拡張ヘッダとして、既存のＣＳＩ－２規格に従ったペイロードの先頭に配置される拡張ペイロードヘッダを受信し、前記拡張ペイロードヘッダに格納されている前記設定情報を解釈する
請求項１１に記載の通信装置。

【請求項13】

Ｃ－ＰＨＹおよびＤ－ＰＨＹの両方の物理層処理を切り替えて実行することが可能な物理層処理部
をさらに備える請求項１１に記載の通信装置。

【請求項14】

前記解釈部は、前記拡張ヘッダに格納されているオプショナル拡張ヘッダ設定情報が、用途に応じて選択的に伝送されるオプショナル拡張ヘッダを送信することを示している場合、前記拡張ヘッダに続けて前記オプショナル拡張ヘッダを受信し、前記オプショナル拡張ヘッダに格納されているＭＣ（Ｍｅｓｓａｇｅ Ｃｏｕｎｔ）、および、ＲＳＩＤ（車載用行番号とＳｏｕｒｃｅＩＤ）を解釈する
請求項１１に記載の通信装置。

【請求項15】

前記パケットヘッダ検出部は、前記未使用領域に格納されている拡張モードタイプ情報に従って、前記拡張モードとして用意される複数のタイプの拡張モードのうちの、いずれのタイプの拡張モードであるかを認識する
請求項１１に記載の通信装置。

【請求項16】

前記解釈部は、拡張モードにおいて伝送される前記パケットが、既存のＣＳＩ－２規格においてペイロードとして伝送されるデータを格納する拡張ロングパケットである場合に、前記データが格納されるレガシーペイロードに続けて配置されるオプショナル拡張フッタを受信し、前記オプショナル拡張フッタを解釈し、
前記オプショナル拡張フッタに続けて、ＷＣ（Ｗｏｒｄ Ｃｏｕｎｔ）＋１バイト目をＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）として受信する
請求項１１に記載の通信装置。

【請求項17】

通信を行う通信装置が、
パケットで伝送されるデータについて設定された条件を示す設定情報が格納されるパケットヘッダを、既存のＣＳＩ－２規格に従って検出することと、
前記パケットヘッダとは別の拡張ヘッダに格納されている前記設定情報を解釈することと
を含み、
前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のＣＳＩ－２規格では未使用と定義されている未使用領域に格納されている、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報に従って、既存のＣＳＩ－２規格に従ったパケット構造のパケットの受信と、拡張モード時におけるパケット構造のパケットの受信との切り替えが行われ、
前記拡張モードのタイプとして複数のタイプが用意されており、前記拡張ヘッダは、いずれの前記拡張モードであっても必ず送信される
通信方法。

【請求項18】

通信を行う通信装置のコンピュータに、
パケットで伝送されるデータについて設定された条件を示す設定情報が格納されるパケットヘッダを、既存のＣＳＩ－２規格に従って検出することと、
前記パケットヘッダとは別の拡張ヘッダに格納されている前記設定情報を解釈することと
を含み、
前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のＣＳＩ－２規格では未使用と定義されている未使用領域に格納されている、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報に従って、既存のＣＳＩ－２規格に従ったパケット構造のパケットの受信と、拡張モード時におけるパケット構造のパケットの受信との切り替えが行われ、
前記拡張モードのタイプとして複数のタイプが用意されており、前記拡張ヘッダは、いずれの前記拡張モードであっても必ず送信される
通信処理を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、通信装置および通信方法、並びにプログラムに関し、特に、より多様な用途に対応することができるようにした通信装置および通信方法、並びにプログラムに関する。

【背景技術】

【0002】

現在、規格化が進行中であるCSI(Camera Serial Interface)-2 ver4.0では、物理層にC-PHYを使うパケット構造と、物理層にD-PHYを使うパケット構造との２種類が定義されている。

【0003】

また近年、CSI-2規格は、モバイル機器だけに用いられるのではなく、車載やIoT（Internet of Things）など様々な用途に広く用いられるようになった結果、既存のパケット構造では、それらの用途に対応することができないと想定される。そこで、MIPI（Mobile Industry Processor Interface）アライアンスでは、多様な用途に対応させるため、既存のパケットヘッダやパケットフッタなど、パケット構造の拡張を検討している。

【0004】

また、特許文献１では、CSI-2規格を利用して、処理装置と複数の画像センサとを接続する際に、データバスの数を減らすことができるシステムが提案されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１７－２１１８６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述したように、CSI-2規格におけるパケットのパケット構造を拡張させることが検討されているが、その際に、既存のCSI-2規格の互換性を維持しつつ、より多くの情報を伝達することができるようにして、多様な用途に対応させることが求められている。

【0007】

本開示は、このような状況に鑑みてなされたものであり、より多様な用途に対応することができるようにするものである。

【課題を解決するための手段】

【0008】

本開示の第１の側面の通信装置は、パケットで伝送されるデータについて設定された条件を示す設定情報を格納し、既存のCSI-2規格に従ってパケットヘッダを生成するパケットヘッダ生成部と、前記パケットヘッダとは別に、前記設定情報を格納する拡張ヘッダを生成する拡張ヘッダ生成部とを備え、前記パケットヘッダ生成部は、前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報を格納し、前記拡張モードのタイプとして複数のタイプが用意されており、前記拡張ヘッダは、いずれの前記拡張モードであっても必ず送信される。

【0009】

本開示の第１の側面の通信方法またはプログラムは、パケットで伝送されるデータについて設定された条件を示す設定情報を格納し、既存のCSI-2規格に従ってパケットヘッダを生成することと、前記パケットヘッダとは別に、前記設定情報を格納する拡張ヘッダを生成することとを含み、前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報を格納し、前記拡張モードのタイプとして複数のタイプが用意されており、前記拡張ヘッダは、いずれの前記拡張モードであっても必ず送信される。

【0010】

本開示の第１の側面においては、パケットで伝送されるデータについて設定された条件を示す設定情報が格納されて、既存のCSI-2規格に従ってパケットヘッダが生成され、そのパケットヘッダとは別に、設定情報を格納する拡張ヘッダが生成される。そして、パケットで伝送されるデータのタイプを示す設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に、拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報が格納され、拡張モードのタイプとして複数のタイプが用意されており、拡張ヘッダは、いずれの拡張モードであっても必ず送信される。

【0011】

本開示の第２の側面の通信装置は、パケットで伝送されるデータについて設定された条件を示す設定情報が格納されるパケットヘッダを、既存のCSI-2規格に従って検出するパケットヘッダ検出部と、前記パケットヘッダとは別の拡張ヘッダに格納されている前記設定情報を解釈する解釈部とを備え、前記パケットヘッダ検出部は、前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に格納されている、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報に従って、既存のCSI-2規格に従ったパケット構造のパケットの受信と、拡張モード時におけるパケット構造のパケットの受信との切り替えを行わせ、前記拡張モードのタイプとして複数のタイプが用意されており、前記拡張ヘッダは、いずれの前記拡張モードであっても必ず送信される。

【0012】

本開示の第２の側面の通信方法またはプログラムは、パケットで伝送されるデータについて設定された条件を示す設定情報が格納されるパケットヘッダを、既存のCSI-2規格に従って検出することと、前記パケットヘッダとは別の拡張ヘッダに格納されている前記設定情報を解釈することとを含み、前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に格納されている、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報に従って、既存のCSI-2規格に従ったパケット構造のパケットの受信と、拡張モード時におけるパケット構造のパケットの受信との切り替えが行われ、前記拡張モードのタイプとして複数のタイプが用意されており、前記拡張ヘッダは、いずれの前記拡張モードであっても必ず送信される。

【0013】

本開示の第２の側面においては、パケットで伝送されるデータについて設定された条件を示す設定情報が格納されるパケットヘッダが、既存のCSI-2規格に従って検出され、そのパケットヘッダとは別の拡張ヘッダに格納されている設定情報が解釈される。そして、パケットで伝送されるデータのタイプを示す設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に格納されている、拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報に従って、既存のCSI-2規格に従ったパケット構造のパケットの受信と、拡張モード時におけるパケット構造のパケットの受信との切り替えが行われ、拡張モードのタイプとして複数のタイプが用意されており、拡張ヘッダは、いずれの拡張モードであっても必ず送信される。

【図面の簡単な説明】

【0014】

【図1】本技術を適用した通信システムの第１の実施の形態の構成例を示すブロック図である。

【図2】本技術を適用した通信システムの第２の実施の形態の構成例を示すブロック図である。

【図3】D-PHY用の拡張パケットの全体的なパケット構造の第１の構造例を示す図である。

【図4】D-PHY用の拡張ショートパケットのパケット構造の第１の構造例を示す図である。

【図5】D-PHY用の拡張ロングパケットのパケット構造の第１の構造例を示す図である。

【図6】C-PHY用の拡張パケットの全体的なパケット構造の第１の構造例を示す図である。

【図7】C-PHY用の拡張ショートパケットのパケット構造の第１の構造例を示す図である。

【図8】C-PHY用の拡張ロングパケットのパケット構造の第１の構造例を示す図である。

【図9】イメージセンサの構成例を示すブロック図である。

【図10】アプリケーションプロセッサの構成例を示すブロック図である。

【図11】イメージセンサがパケットを送信する処理を説明するフローチャートである。

【図12】拡張モード送信処理を説明するフローチャートである。

【図13】アプリケーションプロセッサがパケットを受信する処理を説明するフローチャートである。

【図14】拡張モード受信処理を説明するフローチャートである。

【図15】D-PHY用の拡張パケットの全体的なパケット構造の第２の構造例を示す図である。

【図16】D-PHY用の拡張ロングパケットのパケット構造の第２の構造例を示す図である。

【図17】C-PHY用の拡張ショートパケットのパケット構造の第２の構造例を示す図である。

【図18】C-PHY用の拡張ロングパケットのパケット構造の第２の構造例を示す図である。

【図19】D-PHYおよびC-PHYを切り替える構成の変形例を示すブロック図である。

【図20】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

【発明を実施するための形態】

【0015】

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

【0016】

＜通信システムの構成例＞
図１は、本技術を適用した通信システムの第１の実施の形態の構成例を示すブロック図である。

【0017】

図１に示すように、通信システム１１は、イメージセンサ２１およびアプリケーションプロセッサ２２がバス２３を介して接続されて構成される。例えば、通信システム１１は、いわゆるスマートフォンなどのような既存のモバイル機器の内部におけるCSI-2接続に用いられる。

【0018】

イメージセンサ２１は、例えば、レンズや撮像素子（いずれも図示せず）などとともに、拡張モード対応CSI-2送信回路３１が組み込まれて構成される。例えば、イメージセンサ２１は、撮像素子が撮像することで取得した画像の画像データを、拡張モード対応CSI-2送信回路３１によりアプリケーションプロセッサ２２へ送信する。

【0019】

アプリケーションプロセッサ２２は、通信システム１１を備えるモバイル機器で実行される各種のアプリケーションに応じた処理を行うLSI（Large Scale Integration）とともに、拡張モード対応CSI-2受信回路３２が組み込まれて構成される。例えば、アプリケーションプロセッサ２２は、イメージセンサ２１から送信されてくる画像データを、拡張モード対応CSI-2受信回路３２により受信し、その画像データに対して、アプリケーションに応じた処理をLSIにより行うことができる。

【0020】

バス２３は、CSI-2の規格に準拠して信号を伝送する通信経路であり、例えば、信号を伝送することが可能な伝送距離は３０ｃｍ程度となっている。また、バス２３は、図示するように複数本の信号線（I2C，CLKP/N，D0P/N，D1P/N，D2P/N，D3P/N）によって、イメージセンサ２１およびアプリケーションプロセッサ２２を接続する。

【0021】

拡張モード対応CSI-2送信回路３１および拡張モード対応CSI-2受信回路３２は、CSI-2の規格を拡張させた拡張モードでの通信に対応しており、互いに信号の送信および受信を行うことができる。なお、拡張モード対応CSI-2送信回路３１および拡張モード対応CSI-2受信回路３２の詳細な構成については、図９および１０を参照して後述する。

【0022】

図２は、本技術を適用した通信システムの第２の実施の形態の構成例を示すブロック図である。

【0023】

図２に示すように、通信システム１１Ａは、イメージセンサ２１およびシリアライザ２５がバス２４－１を介して接続されるとともに、アプリケーションプロセッサ２２およびデシリアライザ２６がバス２４－２を介して接続されており、シリアライザ２５およびデシリアライザ２６がバス２７を介して接続されて構成される。例えば、通信システム１１Ａは、既存の車載カメラにおける接続に用いられる。

【0024】

ここで、イメージセンサ２１およびアプリケーションプロセッサ２２は、図１のイメージセンサ２１およびアプリケーションプロセッサ２２と同様に構成されており、その詳細な説明は省略する。

【0025】

バス２４－１および２４－２は、図１のバス２３と同様に、CSI-2の規格に準拠して信号を伝送する通信経路であり、図示するように複数本の信号線（HS-GPIO，I2C，CLKP/N，D0P/N，D1P/N，D2P/N，D3P/N）を備えて構成される。

【0026】

シリアライザ２５は、CSI-2受信回路３３およびSerDes（Serializer Deserializer）送信回路３４を備えて構成される。例えば、シリアライザ２５は、CSI-2受信回路３３が、拡張モード対応CSI-2送信回路３１との間で通常のCSI-2の規格に準拠した通信を行うことにより、イメージセンサ２１から送信されてくるビット並列の信号を取得する。そして、シリアライザ２５は、その取得した信号をビット直列に変換して、SerDes送信回路３４がSerDes受信回路３５との間で１レーンでの通信を行うことにより、その信号をデシリアライザ２６へ送信する。

【0027】

デシリアライザ２６は、SerDes受信回路３５およびCSI-2送信回路３６を備えて構成される。例えば、デシリアライザ２６は、SerDes受信回路３５が、SerDes送信回路３４との間で１レーンでの通信を行うことにより送信されてくるビット直列の信号を取得する。そして、デシリアライザ２６は、その取得した信号をビット並列に変換して、CSI-2送信回路３６が、拡張モード対応CSI-2受信回路３２との間で通常のCSI-2の規格に準拠した通信を行うことにより、アプリケーションプロセッサ２２へ送信する。

【0028】

バス２７は、FPD(Flat Panel Display)-LINK IIIなどのように、CSI-2以外のSerDes規格に準拠して信号を伝送する通信経路であり、例えば、信号を伝送することが可能な伝送距離は１５ｍ程度となっている。

【0029】

このように構成される通信システム１１および１１Ａは、拡張モード対応CSI-2送信回路３１および拡張モード対応CSI-2受信回路３２により、後述するように拡張されたパケット構造のパケットでデータを送受信することができる。これにより、より多様な用途、例えば、後述するようなRAW24や、SmartROI（Region of Interest）、GLD（Graceful Link Degradation）などに対応することができる。

【0030】

＜パケット構造の第１の構造例＞
図３乃至図８を参照して、拡張モード対応CSI-2送信回路３１および拡張モード対応CSI-2受信回路３２の間の通信で用いられるパケットのパケット構造の第１の構造例について説明する。

【0031】

図３には、物理層がD-PHYである場合にCSI-2の拡張モードで用いられるパケット（以下、D-PHY用の拡張パケットと称する）の全体的なパケット構造が示されている。

【0032】

図３に示すように、D-PHY用の拡張パケットは、パケットヘッダおよびパケットフッタが既存のCSI-2規格と同一のパケット構造となっている。例えば、パケットヘッダには、仮想チャネルの回線数を示すVC（VirtualChannel）、データの種類を示すデータタイプ（DataType）、ペイロードのデータ長を示すWC（Word Count）、VCX/ECCが格納される。また、パケットフッタには、CRC（Cyclic Redundancy Check）が格納される。

【0033】

ここで、既存のCSI-2規格では、パケットヘッダで送信されるデータタイプは、0x38～0x3Fがリザーブと定義されている。そこで、D-PHY用の拡張パケットでは、既存ではリザーブとなっているデータタイプを利用して、受信側で拡張モードを識別するための設定情報が新たに定義される。

【0034】

例えば、データタイプとして、
・DataType[5:3]=3’b111の場合、拡張モード
・DataType[2]=Reserve（RES：将来の拡張のための予約）
・DataType[1:0]=extension mode type（４つの拡張モードを用意）
を定義する。

【0035】

即ち、既存のCSI-2規格ではリザーブと定義されているデータタイプの0x38～0x3Fのうち、例えば、DataType[5:3]が拡張モード設定情報として定義され、DataType[1:0]が拡張タイプ設定情報として定義される。拡張モード設定情報は、拡張モードであるか否かを示し、例えば、DataType[5:3]が3’b111である場合には拡張モードであることを示す。また、拡張モードのタイプとして、拡張モード０、拡張モード１、拡張モード２、および拡張モード３の４つのタイプが用意されるとき、拡張タイプ設定情報は、それらのうちの、いずれのタイプであるかを示す。例えば、DataType[1:0]が2’b00である場合には、拡張モードのタイプが拡張モード０であることを示す。

【0036】

そして、拡張モード０（DataType[1:0]=2’b00）では、例えば、ペイロードが４つに分離されたパケット構造が定義される。即ち、拡張モード０におけるペイロードは、図３に示すように、拡張ペイロードヘッダ（ePH：extended Payload Header）、オプショナル拡張ペイロードヘッダ（OePH：Optional extended Payload Header）、レガシーペイロード（Legacy Payload）、および、オプショナル拡張ペイロードフッタ（OePF：Optional extended Payload Footer）に分離される。

【0037】

拡張ペイロードヘッダは、既存のCSI-2規格のペイロードに相当する先頭に配置され、拡張モードでは必ず送信する必要がある。例えば、拡張ペイロードヘッダは、図示するように、SROIの識別フラグ、拡張VC（VirtualChannel）、拡張DataType、OePHの選択フラグ、およびOePFの選択フラグなどの設定情報で構成される。ここで、拡張VCにより、既存のCSI-2規格では４ビットであったVCが８ビットに拡張され、拡張DataTypeにより、既存のCSI-2規格では４ビットであったDataTypeが８ビットに拡張される。

【0038】

例えば、D-PHY用のパケットでは、既存のパケットヘッダのVCが既に４ビット存在しており、拡張ペイロードヘッダの拡張VCを４ビットと定義することにより、合計で８ビットとすることができる。具体的には、OePH[7:0] = {5’h00,RSID,XY_POS,MC}、OePF[3:0] = {3’h0,pCRC}と定義することができ、それぞれの用途に必要なパケット送信のON/OFFを制御することができる。

【0039】

オプショナル拡張ペイロードヘッダおよびオプショナル拡張ペイロードフッタは、用途に応じて選択的に伝送される。

【0040】

レガシーペイロードは、既存のCSI-2の規格と同一のペイロードに相当する。

【0041】

このように、拡張ペイロードヘッダ、オプショナル拡張ペイロードヘッダ、およびオプショナル拡張ペイロードフッタを必要に応じて設定することで、様々な用途に対応したデータを送信することができるようになる。また、拡張ペイロードヘッダ、オプショナル拡張ペイロードヘッダ、およびオプショナル拡張ペイロードフッタで伝送されるデータは、26bit+6bitのECC（Error Correction Code）とする。これにより、既存のペイロードヘッダの回路を流用して回路規模の増大を抑制し、かつ、エラー耐性の向上を図ることができる。

【0042】

このようなD-PHY用の拡張パケットの具体的な適用例として、図４には、物理層がD-PHYである場合にCSI-2の拡張モードで用いられるショートパケット（以下、D-PHY用の拡張ショートパケットと称する）のパケット構造が示されている。同様に、図５には、物理層がD-PHYである場合にCSI-2の拡張モードで用いられるロングパケット（以下、D-PHY用の拡張ロングパケットと称する）のパケット構造が示されている。

【0043】

図４に示すようなD-PHY用の拡張ショートパケットにおいて、パケットヘッダに格納されているデータタイプの拡張タイプ設定情報は、拡張モードのタイプが拡張モード０であること（DT[5:0]=0x1C(5’b111_0_0)）を示している。また、拡張ペイロードヘッダに格納されているデータタイプのショートパケット設定情報は、ショートパケットであること（DT[7:0]=0x00 (Frame Start Code（Short Packet）)）を示している。

【0044】

このように、拡張モードであり、かつ、拡張ペイロードヘッダに格納されているデータタイプがDT[7:0]=0x00~0x0Fである場合、拡張ショートパケットとし、オプショナル拡張ペイロードヘッダには必ず、拡張ショートパケットのShort Packet Data Fieldを含むデータが伝送される。このShort Packet Data Fieldは、既存のCSI-2の規格で定義されたものと同一である。

【0045】

なお、拡張ショートパケットの送信時には、オプショナル拡張ペイロードヘッダのうち、MC（GLD用MessageCount）とRSID（車載用行番号とSourceID）は送信しても良いが、レガシーペイロードとpCRCは不要であるため、送信禁止である。仮に、それらを誤って送信した場合には、受信側で無視される。

【0046】

そして、図４に示すようなパケット構造の拡張ショートパケットは、既存のCSI-2の規格に従った拡張ショートパケットと比較して、データタイプおよび仮想チャネルのビット幅を拡張することができ、オプショナル拡張ペイロードヘッダで定義される様々な用途に対応することができる。また、これらの機能が必要でない場合は、既存のCSI-2の規格に従った拡張ショートパケットを、拡張ロングパケットと一緒に送信するようにしてもよい。

【0047】

図５に示すようなD-PHY用の拡張ロングパケットにおいて、パケットヘッダに格納されているデータタイプの拡張タイプ設定情報は、拡張モードのタイプが拡張モード０であること（DT[5:0]=0x1C(5’b111_0_0)）を示している。また、拡張ペイロードヘッダに格納されているデータタイプのショートパケット設定情報は、ショートパケット以外であること（DT[7:0]は0x00~0x0F以外（＝拡張LongPackt））を示している。従って、拡張ロングパケットでは、Short Packet Data Fieldを含むデータは送信されない。

【0048】

また、拡張ペイロードヘッダの設定に従い、オプショナル拡張ペイロードヘッダ、レガシーペイロード、およびオプショナル拡張ペイロードフッタが、既存のCSI-2の規格でのペイロードに格納して伝送される。このように、既存のペイロードに格納して伝送されるため、既存のSerDes送信回路３４およびSerDes受信回路３５（図２）には、既存のペイロードで伝送される画像データと同様に認識され、そのまま後段に伝送される。

【0049】

そして、最後段のアプリケーションプロセッサ２２は、パケットヘッダのデータタイプDT[5:0]によって、拡張モードと判定することができる。従って、アプリケーションプロセッサ２２は、ペイロードの中身を、拡張ペイロードヘッダから順に解釈し、所望の拡張モードのデータを取り出すことができる。

【0050】

図６には、物理層がC-PHYである場合にCSI-2の拡張モードで用いられるパケット（以下、C-PHY用の拡張パケットと称する）の全体的なパケット構造が示されている。なお、図６に示すC-PHY用の拡張パケットにおいて、図３のD-PHY用の拡張パケットと共通する構成については説明を省略し、異なる構成について説明を行う。

【0051】

例えば、C-PHY用の拡張パケットでは、図３のD-PHY用の拡張パケットと同様に、データタイプで拡張モードを識別し、アプリケーションプロセッサ２２で実行される各アプリケーションに応じたデータは、すべてペイロードに埋め込まれて伝送される。

【0052】

図６に示すように、C-PHY用の拡張パケットは、既存のCSI-2規格に従ったC-PHY用のパケットと同様に、パケットヘッダを２回伝送し、C-PHYが16bitを7symbolに変換する都合上、16bit単位でデータを並べる。また、ペイロードの先頭には拡張ペイロードヘッダが配置されるが、仮想チャネルに関しては、C-PHYの場合、既存のパケットヘッダの先頭がその為にReserveとなっていたため、拡張ペイロードヘッダには仮想チャネルは格納されない。もちろん、D-PHY用の拡張パケットと同様に、拡張ペイロードヘッダに仮想チャネルを格納してもよい。

【0053】

また、オプショナル拡張ペイロードヘッダおよびオプショナル拡張ペイロードフッタはビット数が多いため、OePHFというフラグを準備し、このフラグが１の場合、OePH/OePF情報が次に伝送される。そして、ePH情報およびOePH情報の後、拡張ペイロードヘッダとしてCRCを伝送し、同様に構成されるパケットヘッダを２回繰り返して伝送する。このように、既存のパケットヘッダが２回伝送される仕組みと構造を同じにすることで、回路再利用性およびエラー耐性を両立することができる。

【0054】

このようなC-PHY用の拡張パケットの具体的な適用例として、図７には、物理層がC-PHYである場合にCSI-2の拡張モードで用いられるショートパケット（以下、C-PHY用の拡張ショートパケットと称する）のパケット構造が示されている。同様に、図８には、物理層がC-PHYである場合にCSI-2の拡張モードで用いられるロングパケット（以下、C-PHY用の拡張ロングパケットと称する）のパケット構造が示されている。

【0055】

なお、図７に示すC-PHY用の拡張ショートパケットは、図４に示したD-PHY用の拡張ショートパケットとパケット構造に大きな差異はなく、図８に示すC-PHY用の拡張ロングパケットは、図５に示したD-PHY用の拡張ロングパケットとパケット構造に大きな差異はない。

【0056】

＜イメージセンサおよびアプリケーションプロセッサの構成例＞
図９は、拡張モード対応CSI-2送信回路３１を備えるイメージセンサ２１の構成例を示すブロック図である。

【0057】

図９に示すように、イメージセンサ２１は、拡張モード対応CSI-2送信回路３１の他に、画素４１、AD変換器４２、画像処理部４３、画素CRC演算部４４、物理層処理部４５、I2C/I3Cスレーブ４６、およびレジスタ４７を備えて構成される。また、拡張モード対応CSI-2送信回路３１は、パッキング部５１、パケットヘッダ生成部５２、ペイロードヘッダ生成部５３、ペイロードフッタ生成部５４、選択部５５および５６、CRC演算部５７、レーン分配部５８、CCIスレーブ５９、およびコントローラ６０を備えて構成される。

【0058】

画素４１は、受光した光の光量に応じたアナログの画素信号を出力し、AD変換器（ADC：Analog-to-Digital Converter）４２は、画素４１から出力される画素信号をデジタル変換して画像処理部４３に供給する。画像処理部（ISP：Image Signal Processor）４３は、画素信号に基づく画像に対する各種の画像処理を施して得られる画像データを画素CRC演算部４４およびパッキング部５１に供給する。また、画像処理部４３は、画像データが有効であるか否かを示すデータイネーブル信号data_enをパッキング部５１およびコントローラ６０に供給する。

【0059】

画素CRC演算部４４は、画像処理部４３から供給される画像データにおける画素ごとのCRCを演算して求め、そのCRCをペイロードフッタ生成部５４に供給する。

【0060】

物理層処理部４５は、C-PHYおよびD-PHYの両方の物理層処理を実行することができる。例えば、物理層処理部４５は、コントローラ６０から供給されるＣ層イネーブル信号cphy_enが有効である場合にはC-PHYの物理層処理を実行し、Ｃ層イネーブル信号cphy_enが無効である場合にはD-PHYの物理層処理を実行する。そして、物理層処理部４５は、レーン分配部５８により４レーンに分割されたパケットを、アプリケーションプロセッサ２２へ送信する。

【0061】

I2C/I3Cスレーブ４６は、I2C（Inter-Integrated Circuit）またはI3C（Improved Inter Integrated Circuits）の規格に基づき、アプリケーションプロセッサ２２のI2C/I3Cマスタ７２（図１０）による主導に従って通信を行う。

【0062】

レジスタ４７には、アプリケーションプロセッサ２２から送信されてくる各種の設定が、I2C/I3Cスレーブ４６およびCCIスレーブ５９を介して書き込まれる。ここで、レジスタ４７に書き込まれる設定としては、例えば、CSI-2規格に従った通信設定や、拡張モードの使用の有無を示す拡張モード設定、拡張モードでの通信で必要となる固定の通信設定などがある。

【0063】

パッキング部５１は、画像処理部４３から供給される画像データを、パケットのペイロードに格納するパッキング処理を行い、そのペイロードを選択部５５およびレーン分配部５８に供給する。

【0064】

パケットヘッダ生成部５２は、コントローラ６０から供給されるパケットヘッダ生成指示信号ph_goに従って、パケットヘッダの生成が指示されると、パケットヘッダを生成して選択部５５およびレーン分配部５８に供給する。

【0065】

即ち、パケットヘッダ生成部５２は、パケットで伝送されるデータについて設定された条件を示す設定情報、例えば、データのタイプを示すデータタイプを格納するパケットヘッダを、既存のCSI-2規格に従って生成する。また、パケットヘッダ生成部５２は、パケットで伝送されるデータのタイプを示す設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に、拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報を格納する。さらに、パケットヘッダ生成部５２は、未使用領域に、拡張モードとして用意される複数のタイプの拡張モードのうちの、いずれのタイプであるかを示す拡張タイプ設定情報を格納する。

【0066】

ペイロードヘッダ生成部５３は、コントローラ６０から供給される拡張ペイロードヘッダ生成指示信号eph_goおよび拡張ペイロードヘッダイネーブル信号ePH_enに従って、拡張ペイロードヘッダおよびオプショナル拡張ペイロードヘッダそれぞれを生成し、選択部５６およびレーン分配部５８に供給する。また、ペイロードヘッダ生成部５３には、イメージセンサ２１の用途に応じて、車載用行番号やソースID（identification）などが供給され、必要に応じて、それらを拡張ペイロードヘッダまたはオプショナル拡張ペイロードヘッダに格納する。

【0067】

即ち、ペイロードヘッダ生成部５３は、パケットヘッダ生成部５２により生成されるパケットヘッダとは別に、例えば、図３に示したような設定情報を格納する拡張ペイロードヘッダを生成する。さらに、ペイロードヘッダ生成部５３は、オプショナル拡張ヘッダを送信する場合、オプショナル拡張ヘッダを送信するか否かを示すオプショナル拡張ヘッダ設定情報（OePH[7:0]）として、オプショナル拡張ヘッダを送信することを示すオプショナル拡張ヘッダ設定情報を拡張ヘッダに格納し、拡張ヘッダに続けてオプショナル拡張ヘッダを生成する。

【0068】

ペイロードフッタ生成部５４は、コントローラ６０から供給される拡張ペイロードフッタ生成指示信号epf_goおよび拡張ペイロードヘッダイネーブル信号ePF_enに従って、オプショナル拡張ペイロードフッタを生成し、選択部５６およびレーン分配部５８に供給する。

【0069】

即ち、ペイロードフッタ生成部５４は、拡張モードにおいて伝送されるパケットが、既存のCSI-2規格においてペイロードとして伝送されるデータを格納する拡張ロングパケットである場合に、データが格納されるレガシーペイロードに続けて配置されるオプショナル拡張フッタを生成する。

【0070】

また、パケットヘッダ生成部５２、ペイロードヘッダ生成部５３、およびペイロードフッタ生成部５４には、コントローラ６０からＣ層イネーブル信号cphy_enが供給される。そして、Ｃ層イネーブル信号cphy_enが有効を示している場合、パケットヘッダ生成部５２はC-PHY用のパケットヘッダを生成し、ペイロードヘッダ生成部５３はC-PHY用の拡張ペイロードヘッダおよびオプショナル拡張ペイロードヘッダを生成し、ペイロードフッタ生成部５４はC-PHY用のオプショナル拡張ペイロードフッタを生成する。一方、Ｃ層イネーブル信号cphy_enが無効を示している場合、パケットヘッダ生成部５２はD-PHY用のパケットヘッダを生成し、ペイロードヘッダ生成部５３はD-PHY用の拡張ペイロードヘッダおよびオプショナル拡張ペイロードヘッダを生成し、ペイロードフッタ生成部５４はD-PHY用のオプショナル拡張ペイロードフッタを生成する。

【0071】

選択部５５は、コントローラ６０から供給されるＣ層イネーブル信号cphy_enに従って、Ｃ層イネーブル信号cphy_enが有効である場合、パケットヘッダ生成部５２から供給されるパケットヘッダを選択し、選択部５６へ供給する。一方、選択部５５は、Ｃ層イネーブル信号cphy_enが無効である場合、パッキング部５１から供給されるペイロードを選択し、選択部５６へ供給する。

【0072】

選択部５６は、コントローラ６０から供給されるデータ選択信号data_selに従って、選択部５５を介して選択的に供給されるパケットヘッダまたはペイロード、ペイロードヘッダ生成部５３から供給される拡張ペイロードヘッダおよびオプショナル拡張ペイロードヘッダ、ペイロードフッタ生成部５４から供給されるオプショナル拡張ペイロードフッタのうち、いずれかを選択してCRC演算部５７に供給する。

【0073】

CRC演算部５７は、選択部５６を介して選択的に供給されるパケットヘッダ、ペイロード、拡張ペイロードヘッダ、オプショナル拡張ペイロードヘッダ、またはオプショナル拡張ペイロードフッタのCRCを演算して求め、そのCRCをレーン分配部５８に供給する。

【0074】

レーン分配部５８は、コントローラ６０の制御に従って、パッキング部５１から供給されるペイロード、パケットヘッダ生成部５２から供給されるパケットヘッダ、ペイロードヘッダ生成部５３から供給される拡張ペイロードヘッダおよびオプショナル拡張ペイロードヘッダ、ペイロードフッタ生成部５４から供給されるオプショナル拡張ペイロードフッタ、並びに、CRC演算部５７から供給されるCRCを、CSI-2の規格に従った４レーンに分配して、物理層処理部４５に供給する。

【0075】

CCI（Camera Control Interface）スレーブ５９は、CSI-2の規格に基づき、アプリケーションプロセッサ２２のCCIマスタ８８（図１０）による主導に従って通信を行う。

【0076】

コントローラ６０は、レジスタ４７に記憶されている各種の設定を読み出して、それらの設定に従って、拡張モード対応CSI-2送信回路３１を構成する各ブロックに対する制御を行う。例えば、コントローラ６０は、送信対象のデータの内容に応じて、既存のCSI-2規格に従ったパケット構造のパケットの送信と、拡張モード時におけるパケット構造のパケットの送信との切り替えを制御する。

【0077】

このようにイメージセンサ２１は構成されており、図３乃至図８を参照して説明したようなパケット構造の拡張パケットを生成して、アプリケーションプロセッサ２２へ送信することができる。

【0078】

図１０は、拡張モード対応CSI-2受信回路３２を備えるアプリケーションプロセッサ２２の構成例を示すブロック図である。

【0079】

図１０に示すように、アプリケーションプロセッサ２２は、拡張モード対応CSI-2受信回路３２の他に、物理層処理部７１、I2C/I3Cマスタ７２、レジスタ７３、およびコントローラ７４を備えて構成される。また、拡張モード対応CSI-2受信回路３２は、パケットヘッダ検出部８１、レーン併合部８２、解釈部８３、選択部８４および８５、CRC演算部８６、アンパッキング部８７、並びに、CCIマスタ８８を備えて構成される。

【0080】

物理層処理部７１は、C-PHYおよびD-PHYの両方の物理層処理を実行することができる。上述したように、イメージセンサ２１の物理層処理部４５では、C-PHYおよびD-PHYのうちの、いずれか一方の物理層処理が行われ、物理層処理部７１は、物理層処理部４５において実行されたのと同一の物理層処理を実行する。

【0081】

I2C/I3Cマスタ７２は、I2CまたはI3Cの規格に基づき、イメージセンサ２１のI2C/I3Cスレーブ４６（図９）との通信を主導して行う。

【0082】

レジスタ７３には、コントローラ７４により、イメージセンサ２１のレジスタ４７に書き込むべき各種の設定が記録される。

【0083】

コントローラ７４は、アプリケーションプロセッサ２２を構成する各ブロックに対する制御を行う。

【0084】

パケットヘッダ検出部８１は、物理層処理部７１から供給されるパケットからパケットヘッダを検出し、パケットヘッダに格納されているデータタイプを確認する。そして、パケットヘッダ検出部８１は、パケットヘッダのデータタイプにおいて、拡張モード設定情報が拡張モードであることを示す場合（DataType[5:3]=3’b111）、拡張モードを示す拡張モード検出フラグを、解釈部８３、選択部８４、および選択部８５に供給する。また、パケットヘッダ検出部８１は、パケットヘッダに基づいて、分割されている４レーンの併合を有効とするか否かを示す併合イネーブル信号mrg_enをレーン併合部８２に供給する。

【0085】

即ち、パケットヘッダ検出部８１は、既存のCSI-2規格に従って、パケットで伝送されるデータについて設定された条件を示す設定情報（データタイプなど）が格納されるパケットヘッダを検出する。このとき、パケットヘッダ検出部８１は、パケットで伝送されるデータのタイプを示す設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に格納されている、拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報に従って、拡張モード検出フラグを出力することで、既存のCSI-2規格に従ったパケット構造のパケットの受信と、拡張モード時におけるパケット構造のパケットの受信との切り替えを行わせる。また、パケットヘッダ検出部８１は、既存のCSI-2規格では未使用と定義されているデータタイプの未使用領域に格納されている拡張モードタイプ情報に従って、拡張モードとして用意される複数のタイプの拡張モードのうちの、いずれのタイプの拡張モードであるかを認識する。

【0086】

レーン併合部８２は、パケットヘッダ検出部８１から供給される併合イネーブル信号mrg_enが有効である場合、物理層処理部７１から供給される４レーンに分割されたパケットを併合する。そして、レーン併合部８２は、１レーンのパケットを解釈部８３、選択部８４、および選択部８５に供給する。

【0087】

解釈部８３は、パケットヘッダ検出部８１から供給される拡張モード検出フラグが、拡張モードであることを示している場合、拡張モードのパケット構造に基づいて、レーン併合部８２から供給されるパケットから、拡張ペイロードヘッダ、オプショナル拡張ペイロードヘッダ、およびオプショナル拡張ペイロードフッタを読み出す。そして、解釈部８３は、拡張ペイロードヘッダ、オプショナル拡張ペイロードヘッダ、およびオプショナル拡張ペイロードフッタに格納されている設定情報を解釈する。

【0088】

即ち、解釈部８３は、拡張ヘッダとして、既存のCSI-2規格に従ったペイロードの先頭に配置される拡張ペイロードヘッダを受信し、拡張ペイロードヘッダに格納されている設定情報を解釈する。また、解釈部８３は、拡張ヘッダに格納されているオプショナル拡張ヘッダ設定情報が、用途に応じて選択的に伝送されるオプショナル拡張ヘッダを送信することを示している場合、拡張ヘッダに続けてオプショナル拡張ヘッダを受信し、オプショナル拡張ヘッダに格納されている設定情報を解釈する。さらに、解釈部８３は、拡張モードにおいて伝送されるパケットが、既存のCSI-2規格においてペイロードとして伝送されるデータを格納する拡張ロングパケットである場合に、データが格納されるレガシーペイロードに続けて配置されるオプショナル拡張フッタを受信し、オプショナル拡張フッタを解釈する。

【0089】

そして、解釈部８３は、例えば、オプショナル拡張ペイロードヘッダに格納されている車載用行番号やソースIDなどを読み出して、後段のLSI（図示せず）へ出力する。

【0090】

なお、解釈部８３は、パケットヘッダ検出部８１から供給される拡張モード検出フラグが、拡張モードであることを示していない場合には、即ち、既存のパケット構造のパケットが供給されている場合には、上述したような処理を行わずに停止する。

【0091】

選択部８４は、パケットヘッダ検出部８１から供給される拡張モード検出フラグに従い、既存パケットのパケット構造または拡張パケットのパケット構造に基づいて、選択的に、アンパッキング部８７へデータを供給する。

【0092】

選択部８５は、パケットヘッダ検出部８１から供給される拡張モード検出フラグに従い、既存パケットのパケット構造または拡張パケットのパケット構造に基づいて、選択的に、CRC演算部８６へデータを供給する。

【0093】

CRC演算部８６は、選択部８５を介して選択的に供給されるパケットヘッダ、ペイロード、拡張ペイロードヘッダ、オプショナル拡張ペイロードヘッダ、またはオプショナル拡張ペイロードフッタのCRCを演算する。そして、CRC演算部８６は、CRCエラーが検出された場合、その旨を示すcrcエラー検出信号を後段のLSI（図示せず）へ出力する。

【0094】

アンパッキング部８７は、選択部８４を介して選択的に供給されるペイロードに格納されている画像データを取り出すアンパッキング処理を行い、取得した画像データを後段のLSI（図示せず）へ出力する。

【0095】

CCIマスタ８８は、CSI-2の規格に基づき、イメージセンサ２１のCCIスレーブ５９（図９）との通信を主導して行う。

【0096】

このようにアプリケーションプロセッサ２２は構成されており、イメージセンサ２１から送信されてくる拡張パケットを受信して、拡張ペイロードヘッダ、オプショナル拡張ペイロードヘッダ、およびオプショナル拡張ペイロードフッタに格納されている設定情報を解釈して、画像データを取得することができる。

【0097】

＜通信処理＞
図１１乃至図１４を参照して、イメージセンサ２１およびアプリケーションプロセッサ２２で行われる通信処理について説明する。

【0098】

図１１は、イメージセンサ２１がパケットを送信する処理を説明するフローチャートである。

【0099】

例えば、バス２３を介して、イメージセンサ２１がアプリケーションプロセッサ２２に接続されると処理が開始される。ステップＳ１１において、コントローラ６０は、アプリケーションプロセッサ２２と通信を開始するにあたって、拡張モードを使用するか否かを判定する。例えば、コントローラ６０は、レジスタ４７に記憶されている拡張モード設定を確認し、拡張モードを使用することを示す拡張モード設定がアプリケーションプロセッサ２２により書き込まれている場合、拡張モードを使用すると判定する。

【0100】

ステップＳ１１において、コントローラ６０が、拡張モードを使用しないと判定した場合、処理はステップＳ１２に進む。

【0101】

ステップＳ１２において、I2C/I3Cスレーブ４６は、アプリケーションプロセッサ２２から（後述する図１３のステップＳ５４で）送信されてくる画像データの送信開始命令を受信する。さらに、I2C/I3Cスレーブ４６は、その送信開始命令とともに送信されてくるCSI-2規格に従った通信設定を受信して、CCIスレーブ５９を介してレジスタ４７に書き込む。

【0102】

ステップＳ１３において、イメージセンサ２１では、レジスタ４７に記憶されている通信設定に基づいて、既存のCSI-2規格に従ったパケット構造のパケットをアプリケーションプロセッサ２２へ送信する、従来のパケット送信処理が実行される。

【0103】

一方、ステップＳ１１において、コントローラ６０が、拡張モードを使用すると判定した場合、処理はステップＳ１４に進む。

【0104】

ステップＳ１４において、I2C/I3Cスレーブ４６は、拡張モードでの通信で必要となる固定の通信設定（例えば、GLD時のPH/PFのレーンごとのコピーなど）を受信して、CCIスレーブ５９を介してレジスタ４７に書き込む。

【0105】

ステップＳ１５において、I2C/I3Cスレーブ４６は、アプリケーションプロセッサ２２から（後述する図１３のステップＳ５７で）送信されてくる画像データの送信開始命令を受信する。さらに、I2C/I3Cスレーブ４６は、その送信開始命令とともに送信されてくるCSI-2規格に従った通信設定を受信して、CCIスレーブ５９を介してレジスタ４７に書き込む。

【0106】

ステップＳ１６において、コントローラ６０は、パケットの送信を開始するか否かを判定し、パケットの送信を開始すると判定するまで処理を待機する。

【0107】

そして、ステップＳ１６において、パケットの送信を開始すると判定された場合、処理はステップＳ１７に進み、コントローラ６０は、拡張モードで送信すべきデータであるか否かを判定する。ここで、コントローラ６０は、送信対象のデータの内容に応じて、例えば、後述するような適用例のユースケースで送信されるようなデータである場合、拡張モードで送信すべきデータであると判定する。

【0108】

ステップＳ１７において、コントローラ６０が、拡張モードで送信すべきデータであると判定した場合、処理はステップＳ１８に進み、拡張モードに対応した拡張パケットを送信する拡張モード送信処理（図１２参照）が行われる。

【0109】

一方、ステップＳ１７において、コントローラ６０が、拡張モードで送信すべきデータでないと判定した場合、処理はステップＳ１９に進む。

【0110】

ステップＳ１９において、コントローラ６０は、ショートパケットを送信するか否かを判定する。例えば、コントローラ６０は、フレーム開始時およびフレーム終了時にショートパケットを送信すると判定する。

【0111】

ステップＳ１９において、コントローラ６０がショートパケットを送信すると判定した場合、処理はステップＳ２０に進む。ステップＳ２０において、パケットヘッダ生成部５２がパケットヘッダを生成して、従来のパケット構造のショートパケットをアプリケーションプロセッサ２２へ送信する。

【0112】

一方、ステップＳ１９において、コントローラ６０がショートパケットを送信しない（即ち、ロングパケットを送信する）と判定した場合、処理はステップＳ２１に進む。ステップＳ２１において、パッキング部５１が画像データをペイロードに格納し、CRC演算部５７がCRCを求めることにより、従来のパケット構造のロングパケットを生成して、アプリケーションプロセッサ２２へ送信する。

【0113】

ステップＳ１８、ステップＳ２０、またはステップＳ２１の処理後、処理はステップＳ２２に進み、コントローラ６０は、パケット送信処理を終了する。その後、処理はステップＳ１６に戻り、以下、次のパケットを対象として、同様にパケットを送信する処理が繰り返して行われる。

【0114】

図１２は、図１１のステップＳ１８の処理で行われる拡張モード送信処理を説明するフローチャートである。

【0115】

ステップＳ３１において、パケットヘッダ生成部５２は、VCやデータタイプ、WCなどを格納したパケットヘッダを生成し、アプリケーションプロセッサ２２へ送信する。このとき、パケットヘッダ生成部５２は、パケットヘッダのデータタイプに、拡張モードであることを示す拡張モード設定情報（DataType[5:3]=3’b111）、および、拡張モードのモード設定が拡張モード０であることを識別する拡張タイプ設定情報（DataType[1:0] =2’b00）を書き込む。

【0116】

ステップＳ３２において、アプリケーションプロセッサ２２は、拡張ショートパケットを送信するか否かを判定する。例えば、コントローラ６０は、フレーム開始時およびフレーム終了時に拡張ショートパケットを送信すると判定する。

【0117】

ステップＳ３２において、アプリケーションプロセッサ２２が、拡張ショートパケットを送信すると判定した場合、処理はステップＳ３３に進む。

【0118】

ステップＳ３３において、ペイロードヘッダ生成部５３は、ペイロードの１バイト目で、データタイプ（DataType[7:0]）をショートパケットと設定した拡張ペイロードヘッダを送信する。このとき、ペイロードヘッダ生成部５３は、拡張ペイロードヘッダに格納される各種の設定（例えば、OePH[7:0]やOePF[3:0]など）を行う。

【0119】

ステップＳ３４において、ペイロードヘッダ生成部５３は、ペイロードの２バイト目に、フレームナンバー（FN：FrameNumber）を格納して送信する。

【0120】

ステップＳ３５において、ペイロードヘッダ生成部５３は、ステップＳ３３で行われた設定（OePH[7:0]）に従って、図４に示したようなオプショナル拡張ペイロードヘッダを生成して送信する。

【0121】

ステップＳ３６において、CRC演算部５７は、CRCを求めて、パケットフッタとして送信する。

【0122】

一方、ステップＳ３２において、アプリケーションプロセッサ２２が、拡張ショートパケットを送信しない（即ち、ロングパケットを送信する）と判定した場合、処理はステップＳ３７に進む。

【0123】

ステップＳ３７において、ペイロードヘッダ生成部５３は、ペイロードの１バイト目で、データタイプ（DataType[7:0]）をショートパケット以外と設定した拡張ペイロードヘッダを送信する。このとき、ペイロードヘッダ生成部５３は、拡張ペイロードヘッダに格納される各種の設定（例えば、OePH[7:0]やOePF[3:0]など）を行う。

【0124】

ステップＳ３８において、ペイロードヘッダ生成部５３は、ステップＳ３７で行われた設定（OePH[7:0]）に従って、図５に示したようなオプショナル拡張ペイロードヘッダを生成して送信する。

【0125】

ステップＳ３９において、パッキング部５１は、画像処理部４３から供給される画像データをパッキングし、レガシーペイロードを生成して送信する。

【0126】

ステップＳ４０において、ペイロードフッタ生成部５４は、ステップＳ３７で行われた設定（OePF[3:0]）に従って、図４に示したようなオプショナル拡張ペイロードフッタを生成して送信する。

【0127】

ステップＳ４１において、CRC演算部５７は、CRCを求めて、パケットフッタとして送信する。

【0128】

そして、ステップＳ３６またはＳ４１の処理後、拡張モード送信処理は終了される。

【0129】

以上のように、イメージセンサ２１は、拡張ショートパケットまたは拡張ロングパケットを生成して送信することができる。

【0130】

図１３は、アプリケーションプロセッサ２２がパケットを受信する処理を説明するフローチャートである。

【0131】

例えば、バス２３を介して、イメージセンサ２１がアプリケーションプロセッサ２２に接続されると処理が開始される。ステップＳ５１において、コントローラ７４は、イメージセンサ２１の初期設定（例えば、物理層としてC-PHYおよびD-PHYのどちらを使用するかなど）をレジスタ７３に書き込み、CCIマスタ８８を介してI2C/I3Cマスタ７２によりイメージセンサ２１へ送信する。これにより、その初期設定が、イメージセンサ２１のレジスタ４７に書き込まれる。

【0132】

ステップＳ５２において、コントローラ７４は、イメージセンサ２１が拡張モードに対応しているか否かを認識する。例えば、コントローラ７４は、I2C/I3Cマスタ７２によりイメージセンサ２１のレジスタ４７に記憶されている設定値（例えば、拡張PH/PF対応capability）を取得することで、イメージセンサ２１が拡張モードに対応しているか否かを認識することができる。または、コントローラ７４は、例えば、マニュアルなどによる入力に基づいて、事前に、イメージセンサ２１が拡張モードに対応しているか否かを認識することができる。

【0133】

ステップＳ５３において、コントローラ７４は、イメージセンサ２１が拡張モードに対応しており、かつ、アプリケーションプロセッサ２２が実行するアプリケーションによって拡張モードの使用が求められているか否かを判定する。

【0134】

ステップＳ５３において、コントローラ７４が、イメージセンサ２１が拡張モードに対応していない、または、拡張モードの使用が求められていないと判定した場合、処理はステップＳ５４に進む。

【0135】

ステップＳ５４において、コントローラ７４は、I2C/I3Cマスタ７２により画像データの送信開始命令をイメージセンサ２１へ送信する。このとき、コントローラ７４は、CSI-2規格に従った通信設定も送信させる。

【0136】

ステップＳ５５において、アプリケーションプロセッサ２２では、ステップＳ５４で送信した通信設定に基づいて、既存のCSI-2規格に従ったパケット構造のパケットを受信する、従来のパケット受信処理が行われる。

【0137】

一方、ステップＳ５３において、コントローラ７４が、イメージセンサ２１が拡張モードに対応しており、かつ、アプリケーションプロセッサ２２が実行するアプリケーションによって拡張モードの使用が求められていると判定した場合、処理はステップＳ５６に進む。

【0138】

ステップＳ５６において、I2C/I3Cマスタ７２は、拡張モードでの通信が開始される前に、拡張モードでの通信に必要となる固定の通信設定を送信する。これにより、その固定の通信設定が、イメージセンサ２１のレジスタ４７に書き込まれる（図１１のステップＳ１４）。

【0139】

ステップＳ５７において、コントローラ７４は、I2C/I3Cマスタ７２により画像データの送信開始命令をイメージセンサ２１へ送信する。このとき、コントローラ７４は、CSI-2規格に従った通信設定も送信させる。

【0140】

ステップＳ５８において、パケットヘッダ検出部８１は、物理層処理部７１から供給されるデータを確認することによりパケットの受信を開始したか否かを判定し、パケットの受信を開始したと判定するまで処理を待機する。例えば、パケットヘッダ検出部８１は、物理層処理部７１から供給されるデータからパケットヘッダを検出した場合、パケットの受信を開始したと判定する。

【0141】

ステップＳ５８において、パケットヘッダ検出部８１が、パケットの受信を開始したと判定した場合、処理はステップＳ５９に進む。

【0142】

ステップＳ５９において、パケットヘッダ検出部８１は、ステップＳ５８で検出したパケットヘッダのデータタイプを確認して、受信を開始したパケットが拡張モードに対応した拡張パケットであるか否かを判定する。例えば、パケットヘッダ検出部８１は、パケットヘッダのデータタイプにおいて、拡張モード設定情報が拡張モードであることを示す場合（DataType[5:3]=3’b111）、受信を開始したパケットが拡張パケットであると判定する。

【0143】

ステップＳ５９において、パケットヘッダ検出部８１が、受信を開始したパケットが拡張パケットであると判定した場合、処理はステップＳ６０に進み、拡張パケットを受信する拡張モード受信処理（図１４参照）が行われる。

【0144】

一方、ステップＳ５９において、パケットヘッダ検出部８１が、受信を開始したパケットが拡張パケットでないと判定した場合、処理はステップＳ６１に進む。

【0145】

ステップＳ６１において、パケットヘッダ検出部８１は、ステップＳ５８で検出したパケットヘッダのデータタイプ（DataType[5:0]）を確認して、受信を開始したパケットがショートパケットであるか否かを判定する。

【0146】

ステップＳ６１において、パケットヘッダ検出部８１が、受信を開始したパケットがショートパケットであると判定した場合、処理はステップＳ６２に進む。ステップＳ６２において、パケットヘッダ検出部８１は、イメージセンサ２１から送信されてくる従来のパケット構造のショートパケットを受信する。

【0147】

一方、ステップＳ６１において、パケットヘッダ検出部８１が、受信を開始したパケットがショートパケットでない（即ち、ロングパケットの受信を開始している）と判定した場合、処理はステップＳ６３に進む。ステップＳ６３において、アンパッキング部８７は、イメージセンサ２１から送信されてくる従来のパケット構造のロングパケットのペイロードを受信して画像データを取り出し、CRC演算部８６は、パケットヘッダに続けて送信されてくるWC＋１バイト目をCRCとして受信する。

【0148】

ステップＳ６０、ステップＳ６２、またはステップＳ６３の処理後、処理はステップＳ６４に進み、コントローラ７４は、パケット受信処理を終了する。その後、処理はステップＳ５８に戻り、以下、次のパケットを対象として、同様にパケットを受信する処理が繰り返して行われる。

【0149】

図１４は、図１３のステップＳ６０の処理で行われる拡張モード受信処理を説明するフローチャートである。

【0150】

ステップＳ７１において、パケットヘッダ検出部８１は、拡張モードのモード設定が拡張モード０であるか否かを判定する。例えば、パケットヘッダ検出部８１は、パケットヘッダのデータタイプにおいて、拡張タイプ設定情報が拡張モード０であることを示す場合（DataType[1:0] =2’b00）、拡張モードのモード設定が拡張モード０であると判定する。

【0151】

ステップＳ７１において、パケットヘッダ検出部８１が、拡張モードのモード設定が拡張モード０であると判定した場合、処理はステップＳ７２に進む。ステップＳ７２において、解釈部８３は、ペイロードの１バイト目を拡張ペイロードヘッダとして受信する。

【0152】

ステップＳ７３において、解釈部８３は、ステップＳ７２で受信した拡張ペイロードヘッダのデータタイプ（DataType[7:0]）を確認して、受信を開始したパケットが拡張ショートパケットであるか否かを判定する。

【0153】

ステップＳ７３において、解釈部８３が、拡張ショートパケットであると判定した場合、処理はステップＳ７４に進む。ステップＳ７４において、解釈部８３は、ステップＳ７２で受信した拡張ペイロードヘッダに格納されている設定（OePH[7:0]）に従って、オプショナル拡張ペイロードヘッダを受信する。

【0154】

ステップＳ７５において、CRC演算部８６は、オプショナル拡張ペイロードヘッダに続けて送信されてくるWC＋１バイト目をCRCとして受信する。

【0155】

一方、ステップＳ７３において、解釈部８３が、拡張ショートパケットでない（即ち、拡張ロングパケットの受信を開始している）と判定した場合、処理はステップＳ７６に進む。ステップＳ７６において、解釈部８３は、ステップＳ７２で受信した拡張ペイロードヘッダに格納されている設定（OePH[7:0]）に従って、オプショナル拡張ペイロードヘッダを受信する。

【0156】

ステップＳ７７において、アンパッキング部８７は、イメージセンサ２１から送信されてくる拡張ロングパケットのレガシーペイロードを受信して画像データを取り出す。

【0157】

ステップＳ７８において、解釈部８３は、ステップＳ７２で受信した拡張ペイロードヘッダに格納されている設定（OePF[3:0]）に従って、オプショナル拡張ペイロードフッタを受信する。

【0158】

ステップＳ７９において、CRC演算部８６は、オプショナル拡張ペイロードフッタに続けて送信されてくるWC＋１バイト目をCRCとして受信する。

【0159】

そして、ステップＳ７１で拡張モードのモード設定が拡張モード０でないと判定した場合、ステップＳ７５の処理後、またはステップＳ７９の処理後、拡張モード受信処理は終了される。

【0160】

以上のように、アプリケーションプロセッサ２２は、拡張ショートパケットまたは拡張ロングパケットを受信して、データを取得することができる。

【0161】

＜パケット構造の第２の構造例＞
図１５乃至図１８を参照して、拡張モード対応CSI-2送信回路３１および拡張モード対応CSI-2受信回路３２の間の通信で用いられるパケットのパケット構造の第２の構造例について説明する。

【0162】

上述の図３乃至図８に示した第１の構造例では、既存のCSI-2規格の互換性を維持することを重視して、パケットヘッダおよびパケットフッタが既存のCSI-2規格と同一のパケット構造とし、拡張ペイロードヘッダ、オプショナル拡張ペイロードヘッダ、およびオプショナル拡張ペイロードフッタによりパケット構造の拡張が図られている。これに対し、以下で説明する第２の構造例では、パケットヘッダおよびパケットフッタを既存のCSI-2規格と異なるものとし、拡張パケットヘッダおよび拡張パケットフッタによりパケット構造の拡張が図られる。

【0163】

図１５には、物理層がD-PHYである場合にCSI-2の拡張モードで用いられるショートパケット（以下、D-PHY用の拡張ショートパケット）のパケット構造が示されている。

【0164】

図１５に示すD-PHY用の拡張ショートパケットは、図４に示した第１の構造例のD-PHY用の拡張ショートパケットと同様に、既存のCSI-2規格と同一のパケットヘッダに格納されるデータタイプによって拡張モードが識別される。

【0165】

一方、図１５に示すD-PHY用の拡張ショートパケットでは、パケットヘッダのデータタイプの次の１６ビットに、既存のCSI-2規格に従ったショートパケットと同様に、ショートパケットデータフィールドにフレームナンバーが格納される。そして、パケットヘッダに続いて、図４に示した拡張ペイロードヘッダと同様に構成される拡張パケットヘッダが送信される。

【0166】

従って、受信側となるアプリケーションプロセッサ２２は、拡張パケットヘッダに格納されているデータタイプを解釈して、拡張ショートパケットである場合に、パケットヘッダのデータフィールドにフレームナンバーが格納されていることを判別することができる。

【0167】

なお、図１５に示すD-PHY用の拡張ショートパケットにおけるオプショナル拡張パケットヘッダは、図４に示した第１の構造例のD-PHY用の拡張ショートパケットにおけるオプショナル拡張ペイロードヘッダと同様に構成される。しかしながら、オプショナル拡張パケットヘッダは、ペイロードに埋め込まれないパケット構造となっていることより、最後にCRCを付与する必要はない。

【0168】

図１６には、物理層がD-PHYである場合にCSI-2の拡張モードで用いられるロングパケット（以下、D-PHY用の拡張ロングパケット）のパケット構造が示されている。

【0169】

図１６に示すD-PHY用の拡張ロングパケットでは、拡張データはペイロードに埋め込まず、パケットヘッダまたはパケットフッタの一部として伝送される。従って、先頭のパケットヘッダのWCは既存規格と同様に、あくまでペイロードのバイト長を示す。

【0170】

図１７には、物理層がC-PHYである場合にCSI-2の拡張モードで用いられるショートパケット（以下、C-PHY用の拡張ショートパケット）のパケット構造が示されている。

【0171】

図１７に示すC-PHY用の拡張ショートパケットにおける拡張部分は、あくまで既存のCSI-2規格に従ったパケットヘッダの拡張として伝送されるため、フレームナンバーの後に拡張ペイロードヘッダなど拡張部分が挿入される。そして、既存のCSI-2規格と同様に、パケットヘッダはCRCで終了する。さらに、これらを、SYNCを挟んで２回伝送するパケット構造は、既存のCSI-2規格に従ったショートパケットと同様である。

【0172】

図１８には、物理層がC-PHYである場合にCSI-2の拡張モードで用いられるロングパケット（以下、C-PHY用の拡張ロングパケット）のパケット構造が示されている。

【0173】

図１８に示すC-PHY用の拡張ロングパケットは、上述したように、先頭のパケットヘッダのWCは既存規格と同様に、あくまでペイロードのバイト長を示す点で、図８に示した第１の構造例のC-PHY用の拡張ロングパケットと差異がある。

【0174】

以上のように図１５乃至図１８に示す第２の構造例の拡張パケットのパケット構造により、第１の構造例の拡張パケットのパケット構造（図３乃至図８）と同様に、従来よりも多様な用途に対応することが可能となる。

【0175】

ただし、第２の構造例の拡張パケットは、既存のペイロードに拡張データが埋め込まれずに、既存のパケットヘッダやフッタが拡張されるパケット構造となっている。このため、第２の構造例の拡張パケットのパケット構造を採用する場合には、第１の構造例の拡張パケットのパケット構造を採用する場合と比較して、従来から用いられている通信システムから変更が必要となるような影響を最小限とすることができない。即ち、例えば、既存のSerDes送信回路３４がSerDes受信回路３５（図２）に対する変更が必要となる。

【0176】

以上のように、第１の構造例の拡張パケットを採用することで、車載など多彩な用途への対応することができ、かつ、従来から用いられている通信システムから変更が必要となるような影響を最小限として、車載システムを構築することができる。

【0177】

また、第２の構造例の拡張パケットを採用することで、従来から用いられている通信システムから変更が必要となるものの、車載など多彩な用途への対応することができる。

【0178】

＜イメージセンサおよびアプリケーションプロセッサの変形例＞
図１９を参照して、イメージセンサおよびアプリケーションプロセッサの変形例について説明する。

【0179】

上述した図９のイメージセンサ２１および図１０のアプリケーションプロセッサ２２を構成する各ブロックは、D-PHY用およびC-PHY用のパケットの両方に対応して処理を行えるように構成されていた。これに対し、例えば、D-PHY用のパケットを専用に処理を行うブロックと、C-PHY用のパケットを専用に処理を行うブロックとの両方を備え、それぞれで処理を切り替えるようにしてもよい。

【0180】

図１９のＡに示すイメージセンサ２１Ａは、Ｄ層処理ブロック部１０１、Ｃ層処理ブロック部１０２、切り替え部１０３、およびコントローラ６０を備えて構成される。

【0181】

Ｄ層処理ブロック部１０１は、図９のイメージセンサ２１を構成するブロックのうち、D-PHY用のパケットを専用に処理を行うブロックを有している。Ｃ層処理ブロック部１０２は、図９のイメージセンサ２１を構成するブロックのうち、C-PHY用のパケットを専用に処理を行うブロックを有している。切り替え部１０３は、コントローラ６０による制御に従って、物理層にD-PHYを用いる場合には、Ｄ層処理ブロック部１０１において生成されるD-PHY用のパケットを出力し、物理層にC-PHYを用いる場合には、Ｃ層処理ブロック部１０２において生成されるC-PHY用のパケットを出力するように切り替えを行う。

【0182】

図１９のＢに示すアプリケーションプロセッサ２２Ａは、切り替え部１１１、Ｄ層処理ブロック部１１２、Ｃ層処理ブロック部１１３、およびコントローラ７４を備えて構成される。

【0183】

切り替え部１１１は、コントローラ７４による制御に従って、イメージセンサ２１Ａから送信されてくるパケットを、Ｄ層処理ブロック部１１２およびＣ層処理ブロック部１１３の一方に供給するように切り替えを行う。Ｄ層処理ブロック部１１２は、図１０のアプリケーションプロセッサ２２を構成するブロックのうち、D-PHY用のパケットを専用に処理を行うブロックを有している。Ｃ層処理ブロック部１１３は、図１０のアプリケーションプロセッサ２２を構成するブロックのうち、C-PHY用のパケットを専用に処理を行うブロックを有している。

【0184】

このように構成されるイメージセンサ２１Ａおよびアプリケーションプロセッサ２２Ａでは、通信を開始する前に、コントローラ６０およびコントローラ７４の間で、使用する物理層を設定することができる。そして、例えば、物理層にD-PHYが用いられる場合には、Ｄ層処理ブロック部１０１において生成されるD-PHY用のパケットが切り替え部１０３を介して送信され、切り替え部１１１を介してＤ層処理ブロック部１１２に供給されて処理される。また、例えば、物理層にC-PHYが用いられる場合には、Ｃ層処理ブロック部１０２において生成されるC-PHY用のパケットが切り替え部１０３を介して送信され、切り替え部１１１を介してＣ層処理ブロック部１１３に供給されて処理される。

【0185】

＜拡張パケットの適用例＞
上述した拡張パケットは、例えば、以下のようなユースケースに適用することが検討されている。

【0186】

例えば、拡張パケットは、より高精細な画像（RAW24）を伝送するようなユースケースに適用することが検討される。

【0187】

例えば、画像データをRAW形式で送信する際に、既存のCSI-2規格に従ってパケットヘッダに格納されるデータタイプとして、RAW6，RAW7，RAW8，RAW10，RAW12，RAW14，RAW16、およびRAW20が定義されている。これに対し、近年、車載カメラを用いた自動運転に対応するため、より高精細な画像の伝送が期待されている。そこで、拡張パケットを適用してデータタイプのビット数を拡張することで、例えば、拡張ペイロードヘッダのデータタイプに、より高精細なRAW24を定義することが可能となる。

【0188】

また、拡張パケットは、画面上の注目画像領域のみを伝送する技術であるSmartROIに適用することが検討される。

【0189】

例えば、現在、スタジアムや空港などには多数のカメラが設置されている。これらのカメラで撮像した画像の全体が、カメラからインターネットなどのネットワークを経由してクラウドサーバに伝送される場合、インターネットの帯域不足や、クラウド側の計算量またはデータ量の増大などが発生することが想定される。そのため、エッジ（カメラ側）で注目画像領域のみを切り出し、その注目画像領域を伝送することで、インターネットの帯域不足や、クラウド側の計算量またはデータ量の増大などを抑制することが期待される。

【0190】

このようなSROIを伝送する場合、注目画像領域が画面全体のどこに相当するか受信側に伝えるため、矩形領域(ROI)の左上の座標を一緒に伝送する必要がある。また、受信側からの命令で、所定のタイミングで、撮像画面全体のデータを送る必要がある。従って、例えばフレーム単位でSROI画像と、画像全体（既存のパケットヘッダ）のデータが混在することになる。

【0191】

そこで、拡張パケットを適用することで、例えば、X座標およびY座標それぞれ16bit以上の座標データを伝送することが可能となる。

【0192】

さらに、拡張パケットは、チャネル劣化した場合においても帯域やレーン数を減らして通信を継続するGLDに適用するユースケースが検討される。なお、GLDは、CSI-2 ver3.0で検討されている提案である。

【0193】

例えば、自動運転では、衝突時にカメラを繋ぐケーブルの一部が断線したとしても、断線していないケーブルを使用して通信を継続し、自動的に、安全帯に退避した後に車両を停止することが求められる。そのため、車載用カメラインタフェースが断線検出機能を少なくとも備え、画面上の何行目の情報か示す行番号（16bit）や、どのカメラから送られたことかを示すSourceID（8bit）、伝送番号を示すメッセージカウンタ（16bit）などの情報が必要になる。さらに、上述したようなSROIと組み合わせて使用される場合には、フレーム単位で、これらの情報が伝送されることが考えられる。

【0194】

そこで、拡張パケットを適用することで、これらの情報を伝送することが可能となる。

【0195】

＜コンピュータの構成例＞
次に、上述した一連の処理（通信方法）は、ハードウエアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

【0196】

図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

【0197】

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）２０４は、バス２０５により相互に接続されている。バス２０５には、さらに、入出力インタフェース２０６が接続されており、入出力インタフェース２０６が外部に接続される。

【0198】

以上のように構成されるコンピュータでは、CPU２０１が、例えば、ROM２０２およびEEPROM２０４に記憶されているプログラムを、バス２０５を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU２０１）が実行するプログラムは、ROM２０２に予め書き込んでおく他、入出力インタフェース２０６を介して外部からEEPROM２０４にインストールしたり、更新したりすることができる。

【0199】

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

【0200】

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

【0201】

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0202】

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

【0203】

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0204】

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

【0205】

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

【0206】

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

【0207】

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

【0208】

＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
パケットで伝送されるデータについて設定された条件を示す設定情報を格納し、既存のCSI-2規格に従ってパケットヘッダを生成するパケットヘッダ生成部と、
前記パケットヘッダとは別に、前記設定情報を格納する拡張ヘッダを生成する拡張ヘッダ生成部と
を備え、
前記パケットヘッダ生成部は、前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報を格納する
通信装置。
（２）
前記拡張ヘッダ生成部は、前記拡張ヘッダとして、既存のCSI-2規格に従ったペイロードの先頭に配置される拡張ペイロードヘッダを生成する
上記（１）に記載の通信装置。
（３）
前記拡張ヘッダ生成部は、前記拡張ヘッダとして、前記パケットヘッダの規格を拡張するように前記パケットヘッダに続けて配置される拡張パケットヘッダを生成する
上記（１）に記載の通信装置。
（４）
前記拡張ヘッダ生成部は、前記拡張ヘッダに、用途に応じて選択的に伝送されるオプショナル拡張ヘッダを送信するか否かを示すオプショナル拡張ヘッダ設定情報を格納する
上記（１）から（３）までのいずれかに記載の通信装置。
（５）
前記拡張ヘッダ生成部は、前記オプショナル拡張ヘッダを送信する場合、前記オプショナル拡張ヘッダを送信することを示す前記オプショナル拡張ヘッダ設定情報を前記拡張ヘッダに格納し、前記拡張ヘッダに続けて前記オプショナル拡張ヘッダを生成する
上記（１）から（４）までのいずれかに記載の通信装置。
（６）
前記パケットヘッダ生成部は、前記未使用領域に、前記拡張モードとして用意される複数のタイプの拡張モードのうちの、いずれのタイプであるかを示す拡張タイプ設定情報を格納する
上記（１）から（５）までのいずれかに記載の通信装置。
（７）
前記拡張モードにおいて伝送される前記パケットが、既存のCSI-2規格においてペイロードとして伝送されるデータを格納する拡張ロングパケットである場合に、前記データが格納されるレガシーペイロードに続けて配置されるオプショナル拡張フッタを生成するオプショナル拡張フッタ生成部
をさらに備える上記（１）から（６）までのいずれかに記載の通信装置。
（８）
送信対象のデータの内容に応じて、既存のCSI-2規格に従ったパケット構造のパケットの送信と、拡張モード時におけるパケット構造のパケットの送信との切り替えを制御する制御部
をさらに備える上記（１）から（７）までのいずれかに記載の通信装置。
（９）
通信を行う通信装置が、
パケットで伝送されるデータについて設定された条件を示す設定情報を格納し、既存のCSI-2規格に従ってパケットヘッダを生成することと、
前記パケットヘッダとは別に、前記設定情報を格納する拡張ヘッダを生成することと
を含み、
前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報を格納する
通信方法。
（１０）
通信を行う通信装置のコンピュータに、
パケットで伝送されるデータについて設定された条件を示す設定情報を格納し、既存のCSI-2規格に従ってパケットヘッダを生成することと、
前記パケットヘッダとは別に、前記設定情報を格納する拡張ヘッダを生成することと
を含み、
前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報を格納する
通信処理を実行させるためのプログラム。
（１１）
パケットで伝送されるデータについて設定された条件を示す設定情報が格納されるパケットヘッダを、既存のCSI-2規格に従って検出する検出するパケットヘッダ検出部と、
前記パケットヘッダとは別の拡張ヘッダに格納されている前記設定情報を解釈する解釈部と
を備え、
前記パケットヘッダ検出部は、前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に格納されている、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報に従って、既存のCSI-2規格に従ったパケット構造のパケットの受信と、拡張モード時におけるパケット構造のパケットの受信との切り替えを行わせる
通信装置。
（１２）
前記解釈部は、前記拡張ヘッダとして、既存のCSI-2規格に従ったペイロードの先頭に配置される拡張ペイロードヘッダを受信し、前記拡張ペイロードヘッダに格納されている前記設定情報を解釈する
上記（１１）に記載の通信装置。
（１３）
前記解釈部は、前記拡張ヘッダとして、前記パケットヘッダの規格を拡張するように前記パケットヘッダに続けて配置される拡張パケットヘッダを受信し、前記拡張ヘッダに格納されている前記設定情報を解釈する
上記（１１）に記載の通信装置。
（１４）
前記解釈部は、前記拡張ヘッダに格納されているオプショナル拡張ヘッダ設定情報が、用途に応じて選択的に伝送されるオプショナル拡張ヘッダを送信することを示している場合、前記拡張ヘッダに続けて前記オプショナル拡張ヘッダを受信し、前記オプショナル拡張ヘッダに格納されている前記設定情報を解釈する
上記（１１）から（１３）までのいずれかに記載の通信装置。
（１５）
前記パケットヘッダ検出部は、前記未使用領域に格納されている拡張モードタイプ情報に従って、前記拡張モードとして用意される複数のタイプの拡張モードのうちの、いずれのタイプの拡張モードであるかを認識する
上記（１１）から（１４）までのいずれかに記載の通信装置。
（１６）
前記解釈部は、前記拡張モードにおいて伝送される前記パケットが、既存のCSI-2規格においてペイロードとして伝送されるデータを格納する拡張ロングパケットである場合に、前記データが格納されるレガシーペイロードに続けて配置されるオプショナル拡張フッタを受信し、前記オプショナル拡張フッタを解釈する
上記（１１）から（１５）までのいずれかに記載の通信装置。
（１７）
通信を行う通信装置が、
パケットで伝送されるデータについて設定された条件を示す設定情報が格納されるパケットヘッダを、既存のCSI-2規格に従って検出することと、
前記パケットヘッダとは別の拡張ヘッダに格納されている前記設定情報を解釈することと
を含み、
前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に格納されている、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報に従って、既存のCSI-2規格に従ったパケット構造のパケットの受信と、拡張モード時におけるパケット構造のパケットの受信との切り替えが行われる
通信方法。
（１８）
通信を行う通信装置のコンピュータに、
パケットで伝送されるデータについて設定された条件を示す設定情報が格納されるパケットヘッダを、既存のCSI-2規格に従って検出することと、
前記パケットヘッダとは別の拡張ヘッダに格納されている前記設定情報を解釈することと
を含み、
前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に格納されている、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報に従って、既存のCSI-2規格に従ったパケット構造のパケットの受信と、拡張モード時におけるパケット構造のパケットの受信との切り替えが行われる
通信処理を実行させるためのプログラム。

【0209】

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【符号の説明】

【0210】

１１ 通信システム， ２１ イメージセンサ， ２２ アプリケーションプロセッサ， ２３および２４ バス， ２５ シリアライザ， ２６ デシリアライザ， ２７ バス， ３１ 拡張モード対応CSI-2送信回路， ３２ 拡張モード対応CSI-2受信回路， ３３ CSI-2受信回路， ３４ SerDes送信回路， ３５ SerDes受信回路， ３６ CSI-2送信回路， ４１ 画素， ４２ AD変換器， ４３ 画像処理部， ４４ 画素CRC演算部， ４５ 物理層処理部， ４６ I2C/I3Cスレーブ， ４７ レジスタ， ５１ パッキング部， ５２ パケットヘッダ生成部， ５３ ペイロードヘッダ生成部， ５４ ペイロードフッタ生成部， ５５および５６ 選択部， ５７ CRC演算部， ５８ レーン分配部， ５９ CCIスレーブ， ６０ コントローラ， ７１ 物理層処理部， ７２ I2C/I3Cマスタ， ７３ レジスタ， ７４ コントローラ， ８１ パケットヘッダ検出部， ８２ レーン併合部， ８３ 解釈部， ８４および８５ 選択部， ８６ CRC演算部， ８７ アンパッキング部， ８８ CCIマスタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】