IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーセミコンダクタソリューションズ株式会社の特許一覧

<>
  • 特許-通信装置および通信システム 図1
  • 特許-通信装置および通信システム 図2
  • 特許-通信装置および通信システム 図3
  • 特許-通信装置および通信システム 図4
  • 特許-通信装置および通信システム 図5
  • 特許-通信装置および通信システム 図6
  • 特許-通信装置および通信システム 図7
  • 特許-通信装置および通信システム 図8
  • 特許-通信装置および通信システム 図9
  • 特許-通信装置および通信システム 図10
  • 特許-通信装置および通信システム 図11
  • 特許-通信装置および通信システム 図12
  • 特許-通信装置および通信システム 図13
  • 特許-通信装置および通信システム 図14
  • 特許-通信装置および通信システム 図15
  • 特許-通信装置および通信システム 図16
  • 特許-通信装置および通信システム 図17
  • 特許-通信装置および通信システム 図18
  • 特許-通信装置および通信システム 図19
  • 特許-通信装置および通信システム 図20
  • 特許-通信装置および通信システム 図21
  • 特許-通信装置および通信システム 図22
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-11
(45)【発行日】2024-10-22
(54)【発明の名称】通信装置および通信システム
(51)【国際特許分類】
   H04L 1/16 20230101AFI20241015BHJP
【FI】
H04L1/16
【請求項の数】 6
(21)【出願番号】P 2022510051
(86)(22)【出願日】2021-03-18
(86)【国際出願番号】 JP2021011204
(87)【国際公開番号】W WO2021193374
(87)【国際公開日】2021-09-30
【審査請求日】2024-02-28
(31)【優先権主張番号】P 2020056057
(32)【優先日】2020-03-26
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110001357
【氏名又は名称】弁理士法人つばさ国際特許事務所
(72)【発明者】
【氏名】高橋 宏雄
(72)【発明者】
【氏名】平間 孝廉
(72)【発明者】
【氏名】宮崎 聡一郎
【審査官】阿部 弘
(56)【参考文献】
【文献】特開2005-033424(JP,A)
【文献】特開2010-056964(JP,A)
【文献】特開昭56-066980(JP,A)
【文献】MIPI Alliance,MIPI Alliance to Advance Autonomous Driving, other Automotive Applications with New Data Interface Specifications at 12-24 Gbps and Beyond MIPI A-PHY v1.0 to support lidar, radar and camera integration for autonomous driving [online],NEWS MIPI PRESS RELEASES,米国,MIPI Alliance,2018年08月02日,<インターネット>https://www.mipi.org/node/1449, [検索日 2021.06.14]
(58)【調査した分野】(Int.Cl.,DB名)
H04L 1/16
(57)【特許請求の範囲】
【請求項1】
MIPIA-PHYの再送制御において、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否を判定する判定部と、
前記判定部において再送要求可の場合には、再送要求データを生成し、他の通信装置に送信する送信部と
前記エリアごとに前記優先度に応じた再送可能回数が設定されたレジスタと
を備え
前記判定部は、各前記エリアにおいて実際に行われた再送要求の回数が前記再送可能回数を超えない場合に、再送要求可と判定し、前記フレーム内で実際に行われた再送要求の回数が前記フレームに対して規定された再送可能回数を超えない場合に、再送要求可と判定する
通信装置。
【請求項2】
前記エリアは、前記フレームにおける所定の行数ごとに設定される
請求項1に記載の通信装置。
【請求項3】
前記エリアは、前記フレームにおける所定の列数ごとに設定される
請求項1に記載の通信装置。
【請求項4】
前記エリアは、前記フレームにおける所定の複数の画素ごとに設定される
請求項1に記載の通信装置。
【請求項5】
MIPIA-PHYの再送制御において、フレーム内のエリアごとに規定された優先度に基づいて送信済みパケットの再送の可否を判定する判定部と、
前記判定部において前記送信済みパケットの再送可の場合には、前記送信済みパケットを他の通信装置に送信する送信部と
を備え
前記判定部は、実際に行われた前記エリアごとの再送要求の回数が前記エリアごとに規定された再送可能回数を超えない場合に、前記送信済みパケットの再送可と判定し、前記フレーム内で実際に行われた再送要求の回数が前記フレームに対して規定された再送可能回数を超えない場合に、前記送信済みパケットの再送可と判定する
通信装置。
【請求項6】
送信装置および受信装置を備え、前記送信装置と前記受信装置との間で通信を行う通信システムであって、
前記受信装置は、MIPIA-PHYの再送制御において、再送要求データを生成し、前記送信装置に送信する第1送信部を有し、
前記送信装置は、
前記再送要求データを受信する受信部と、
前記受信装置にデータを送信する第2送信部と、
前記第2送信部から送信した前記データを送信済みデータとして保持する保持部と、
前記再送要求データと、フレーム内のエリアごとに規定された優先度とに基づいて、前記送信済みデータの再送の可否を判定する判定部と
前記エリアごとに前記優先度に応じた再送可能回数が設定されたレジスタと
を有し、
前記第2送信部は、前記判定部において前記送信済みパケットの再送可の場合には、前記送信済みパケットを前記受信装置に送信し、
前記判定部は、各前記エリアにおいて実際に行われた再送要求の回数が前記再送可能回数を超えない場合に、再送要求可と判定し、前記フレーム内で実際に行われた再送要求の回数が前記フレームに対して規定された再送可能回数を超えない場合に、再送要求可と判定する
通信システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、通信装置および通信システムに関する。
【背景技術】
【0002】
近年、車両の自動運転技術を実現するために、CIS(CMOS(Complementary Metal Oxide Semiconductor) Image Sensor)などの画像センサや、TOF(Time of Flight)を利用した距離センサなどの各種のセンサが車両に搭載される。そして、これらのセンサとアプリケーションプロセッサ(AP:Application Processor)との通信に、CIS(Camera
Serial Interface)-2の規格を利用することが検討されている。
【0003】
また、特許文献1では、CIS-2の規格を利用して、処理装置と複数の画像センサとを接続する際に、データバスの数を減らすことができるシステムが提案されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2017-211864号公報
【発明の概要】
【0005】
ところで、各種のセンサとAPとの通信において、伝送路特性の悪化により、センサデータの再送が頻発した場合、次フレームの送信開始タイミングを超えた再送が発生する可能性がある。その場合、次フレーム以降に遅延が波及し、所望のフレームレートを維持することができない懸念がある。従って、所望のフレームレートを維持することの可能な通信装置および通信システムを提供することが望ましい。
【0006】
本開示の第1の側面に係る通信装置は、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否を判定する判定部と、判定部において再送要求可の場合には、再送要求データを生成し、他の通信装置に送信する送信部とを備える。
【0007】
本開示の第1の側面に係る通信装置では、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否が判定され、再送要求可の場合には、再送要求データが生成され、他の通信装置に送信される。これにより、次フレーム以降に遅延が波及するのを防止することができる。
【0008】
本開示の第2の側面に係る通信装置は、再送制御において、再送要求データを受信する受信部と、他の通信装置にデータを送信する送信部と、送信部から送信したデータを送信済みデータとして保持する保持部と、再送要求データに基づいて、送信済みデータの再送制御を行う制御部とを備える。
【0009】
本開示の第2の側面に係る通信装置では、再送制御において、再送要求データを受信すると、再送要求データに基づいて、保持部に保持された送信済みデータの再送制御が行われる。これにより、次フレーム以降に遅延が波及するのを防止することができる。
【0010】
本開示の第3の側面に係る通信装置は、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて送信済みパケットの再送の可否を判定する判定部と、判定部において送信済みパケットの再送可の場合には、送信済みパケットを他の通信装置に送信する送信部とを備える。
【0011】
本開示の第3の側面に係る通信装置では、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて送信済みパケットの再送の可否が判定され、送信済みパケットの再送の可否の場合には、送信済みパケットが他の通信装置に送信される。これにより、次フレーム以降に遅延が波及するのを防止することができる。
【0012】
本開示の第4の側面に係る通信システムは、送信装置および受信装置を備え、送信装置と受信装置との間で通信を行う。この通信システムにおいて、受信装置は、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否を判定する判定部と、判定部において再送要求可の場合には、再送要求データを生成し、送信装置に送信する第1送信部とを有する。この通信システムにおいて、送信装置は、再送要求データを受信する受信部と、受信装置にデータを送信する第2送信部と、第2送信部から送信したデータを送信済みデータとして保持する保持部と、再送要求データに基づいて、送信済みデータの再送制御を行う制御部とを有する。
【0013】
本開示の第4の側面に係る通信システムでは、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否が判定され、再送要求可の場合には、再送要求データが生成され、送信装置から受信装置に送信される。これにより、次フレーム以降に遅延が波及するのを防止することができる。
【0014】
本開示の第5の側面に係る通信システムは、送信装置および受信装置を備え、送信装置と受信装置との間で通信を行う。この通信システムにおいて、受信装置は、再送制御において、再送要求データを生成し、前記送信装置に送信する第1送信部を有する。この通信システムにおいて、送信装置は、再送要求データを受信する受信部と、受信装置にデータを送信する第2送信部と、第2送信部から送信したデータを送信済みデータとして保持する保持部と、再送要求データと、フレーム内のエリアごとに規定された優先度とに基づいて、送信済みデータの再送の可否を判定する判定部とを有する。第2送信部は、判定部において送信済みパケットの再送可の場合には、送信済みパケットを受信装置に送信する。
【0015】
本開示の第5の側面に係る通信システムでは、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて送信済みパケットの再送の可否が判定され、送信済みパケットの再送の可否の場合には、送信済みパケットが送信装置から受信装置に送信される。これにより、次フレーム以降に遅延が波及するのを防止することができる。
【図面の簡単な説明】
【0016】
図1】本開示の一実施の形態に係る通信システムの概略構成例を表す図である。
図2図1の通信システムにおける、A-PHYの規格に従った通信で用いられるフレームフォーマットおよびパケットフォーマットの一例を表す図である。
図3】センサ装置および制御装置における通信装置の機能ブロックの一例を表す図である。
図4図1の通信システムにおいてエラーが生じたときの再送手順の一例を表す図である。
図5図1の通信システムにおいてエラーが生じたときの再送手順の一例を表す図である。
図6図1の通信システムにおいてエラーが生じたときの再送手順の一例を表す図である。
図7図3の再送制御器の機能ブロック例を表す図である。
図8図3の送信済みバッファの機能ブロック例を表す図である。
図9図3の送信スケジューラの機能ブロック例を表す図である。
図10】1つのフレーム内における再送の優先度の一例を表す図である。
図11】レジスタの設定の一例を表す図である。
図12】1つのフレーム内における再送の優先度の一例を表す図である。
図13】レジスタの設定の一例を表す図である。
図14】1つのフレーム内における再送の優先度の一例を表す図である。
図15】レジスタの設定の一例を表す図である。
図16図1の通信システムにおける再送制御の一例を表す図である。
図17図1の通信システムにおける再送制御の一例を表す図である。
図18図3の再送制御器の機能ブロックの一変形例を表す図である。
図19図3の送信済みバッファの機能ブロックの一変形例を表す図である。
図20】撮像システムの概略構成の一例を表す図である。
図21】車両制御システムの概略的な構成の一例を示すブロック図である。
図22】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【0017】
以下、本開示を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本開示の一具体例であって、本開示は以下の態様に限定されるものではない。
【0018】
<通信システムの構成例>
図1は、本開示の一実施の形態に係る通信システム1の概略構成例を表したものである。通信システム1は、例えば、自動車などの車両に搭載され、センサユニット10および制御装置20を備える。センサユニット10と制御装置20とは、バス30を介して互いに接続される。バス30を介した、センサユニット10と制御装置20との間の信号伝送には、MIPI(Mobile Industry Processor Interface) アライアンスで開発されている物理層の規格であるA-PHYが用いられる。A-PHYでは、例えば、最大15mの伝送距離に対応することが想定される。
【0019】
センサ装置10は、例えば、画像センサ11(CIS)と、通信装置12とを有する。画像センサ11は、I3Cの規格に従ったバスを介して通信装置12に接続される。制御装置20は、例えば、通信装置21と、アプリケーションプロセッサ22(AP)とを有する。アプリケーションプロセッサ22は、I3Cの規格に従ったバスを介して通信装置21に接続される。通信装置12と通信装置21との間では、バス30を介して、A-PHYの規格に従った通信が行われる。
【0020】
図2は、通信システム1における、A-PHYの規格に従った通信で用いられるフレームフォーマットおよびパケットフォーマットの一例を表したものである。
【0021】
例えば、1フレーム分の画像を伝送するフレームフォーマットでは、フレームの開始を示すフレームスタート(FS:Frame Start)から、フレームの終了を示すフレームエンド(FE:Frame End)までの間に、画像のラインごとに、そのラインのデータが格納されたパケットが生成されるか、または、そのラインを複数に分割したデータごとに、そのデータが格納されたパケットが生成される。また、例えば、1フレーム分の画像を伝送するフレームフォーマットでは、フレームの開始を示すフレームスタート(FS)から、フレームの終了を示すフレームエンド(FE)までの間に、画像に含まれる複数の画素ごとに、その複数の画素のデータが格納されたパケットが生成される。
【0022】
A-PHYにおけるパケットフォーマットでは、先頭にパケットヘッダが配置されるとともに、後尾にパケットテイルが配置される。そして、パケットヘッダおよびパケットテイルの間に、データが格納されるペイロードが配置される。パケットテイルには、例えば、PHY CRC-32が含まれる。パケットヘッダには、例えば、Adaptation Descriptor、Service Descriptor、Placement Descriptor、PHY2、Target Address、 PHY3、Payload LengthおよびPHY Header CRCが含まれる。Adaptation Descriptorには、例えば、Adaptation Type Valueが含まれる。Adaptation Type Valueとしては、例えば、I2C、I3C、GPIOなどが挙げられる。
【0023】
さらに、パケットヘッダには、例えば、パケットを識別するためのメッセージカウント(MC:Message Count)が含まれる。メッセージカウントとしては、パケットを伝送するたびにインクリメントされる伝送番号が用いられる。パケットヘッダには、メッセージカウントの他、例えば、通信システム1を自動車などの車両に適用するのに必要となる各種の情報が含まれる。通信システム1は、パケットヘッダに含まれるメッセージカウントを利用して、パケットを個別に識別することより、パケットごとの再送を実現する。
【0024】
<通信装置12,21の機能ブロック>
図3は、通信装置12,21の機能ブロックの一例を表したものである。
【0025】
通信システム1は、例えば、通信装置12および通信装置21の間で互いに、低速かつ双方向の制御チャネルを介して、制御データの送受信を行う。また、通信システム1は、通信装置12から通信装置21に向かって、高速かつ単方向のデータチャネルを介して、例えば、画像などのセンサデータの送信を行う。
【0026】
通信装置12は、例えば、トランスミッタ51、レシーバ52、誤り検出符号計算器53、誤り検出器54、制御データ識別器55、送信済みバッファ56、送信スケジューラ57、誤り検出符号計算器58およびトランスミッタ59を有する。通信装置12に図示される破線より上側に配置されている各ブロックは、制御データを送受信する処理に用いられ、その破線より下側に配置されている各ブロックは、センサデータを送信する処理に用いられる。
【0027】
通信装置21は、例えば、トランスミッタ61、レシーバ62、誤り検出符号計算器63、誤り検出器64、送受信スケジューラ65、レシーバ66、誤り検出器67、再送検出器68および再送制御器69を有する。通信装置21に図示される破線より上側に配置されている各ブロックは、制御データを送受信する処理に用いられ、その破線より下側に配置されている各ブロックは、センサデータを受信する処理に用いられる。
【0028】
トランスミッタ51は、誤り検出符号計算器53から供給される制御データを、制御チャネルを介して通信装置21へ送信する。レシーバ52は、通信装置21から制御チャネルを介して送信されてくる制御データを受信し、誤り検出器54へ供給する。誤り検出符号計算器53は、制御データ識別器55を介して供給される制御データに対する誤り検出用の符号として、例えば、パリティビットやCRC(Cyclic Redundancy Check)などを計算する。そして、誤り検出符号計算器53は、算出した誤り検出用の符号を制御データに付加して、トランスミッタ51に供給する。
【0029】
誤り検出器54は、レシーバ52から供給される制御データに付加されている誤り検出用の符号を用いて、制御データに誤りが発生しているか否かを検出する。そして、誤り検出器54は、制御データの誤り検出を行った結果に従って、制御データに誤りが発生していない場合には、そのまま制御データを制御データ識別器55に供給する。一方、誤り検出器54は、制御データの誤り検出を行った結果に従って、制御データに誤りが発生している場合には、制御データに誤りが発生していることを通知するとともに制御データを制御データ識別器55に供給する。
【0030】
制御データ識別器55は、例えば、画像センサ11を制御する制御回路(図示せず)との間で制御データの入出力を行うとともに、通信装置21から送信されてきた制御データを識別する。即ち、制御データ識別器55は、制御回路から入力される制御データを誤り検出符号計算器53に供給し、誤り検出器54から供給される制御データを制御回路に出力する際に、その制御データを識別する。例えば、制御データ識別器55は、誤り検出器54から供給される制御データとして、後述するような再送要求データが通信装置21から送信されてきた場合、その再送要求データを検出して送信済みバッファ56に供給する。
【0031】
送信済みバッファ56には、通信装置12から通信装置21へ送信される送信パケットが、送信スケジューラ57から供給される。そして、送信済みバッファ56は、送信スケジューラ57から供給された送信パケット(送信データ)を、送信済みパケット(送信済み送信データ)として一時的に保持する。また、送信済みバッファ56は、制御データ識別器55から再送要求データが供給されると、適宜、保持している送信済みパケット(送信済み送信データ)の中から、再送要求データで再送が要求されている送信済みパケット(送信済み送信データ)を、再送パケット(再送データ)として送信スケジューラ57に供給する。なお、送信パケットのペイロードに格納されているセンサデータを、以下適宜、送信データとも称する。再送パケットのペイロードに格納されているセンサデータを、以下適宜、再送データとも称する。
【0032】
送信スケジューラ57には、画像センサ11が有する撮像素子(図示せず)からセンサデータが入力される。ここで、画像センサ11から送信スケジューラ57に新規に入力されたセンサデータ、即ち、再送データでないセンサデータがペイロードに格納されているパケットを、以下適宜、新規パケットと称する。また、送信スケジューラ57は、送信済みバッファ56との間で、後述するように再送データ送信要求および再送データ送信許可をやり取りし、送信済みバッファ56から再送パケットが供給される。そして、送信スケジューラ57は、新規パケットまたは再送パケットを、それぞれを送信するタイミングを調整して順次、通信装置12から通信装置21へ送信される送信パケットとして、送信済みバッファ56および誤り検出符号計算器58に供給する。
【0033】
誤り検出符号計算器58は、送信スケジューラ57から供給される送信パケットの誤り検出用の符号として、例えば、パリティビットやCRCなどを計算し、その誤り検出用の符号をパケットに付加してトランスミッタ59に供給する。トランスミッタ59は、誤り検出符号計算器58から供給される送信パケットを、データチャネルを介して通信装置21へ送信する。
【0034】
トランスミッタ61、レシーバ62、誤り検出符号計算器63および誤り検出器64は、トランスミッタ51、レシーバ52、誤り検出符号計算器53および誤り検出器54と、それぞれ同様に構成される。
【0035】
送受信スケジューラ65は、例えば、アプリケーションプロセッサ22を制御する制御回路(図示せず)との間で制御データの入出力を行うとともに、通信装置12との間で送受信される制御データのスケジュールを管理する。即ち、送受信スケジューラ65は、誤り検出器64から供給される制御データを制御回路に出力するとともに、制御回路から入力される制御データを所定のタイミングで誤り検出符号計算器63に供給して、通信装置12へ送信させる。さらに、送受信スケジューラ65は、再送制御器69から再送要求データが供給されると、その再送要求データを制御データとして誤り検出符号計算器63に供給し、通信装置12へ送信させる。
【0036】
レシーバ66は、通信装置12からデータチャネルを介して送信されてくる送信パケットを受信し、誤り検出器67へ供給する。
【0037】
誤り検出器67は、レシーバ66から供給される送信パケットに付加されている誤り検出用の符号を用いて、その送信パケットに誤りが発生しているか否かを検出する。そして、誤り検出器67は、送信パケットに付加されている誤り検出用の符号を用いて、送信パケットに誤りが発生しているか否かを検出し、送信パケットのペイロードに格納されているセンサデータを、後段の処理回路へ出力する。
【0038】
さらに、誤り検出器67は、送信パケットに発生している誤りを検出した結果を示す誤り検出結果を再送検出器68に供給する。例えば、誤り検出器67は、通信装置21が受信した送信パケットにヘッダエラーまたはペイロードエラーが発生していることを検出した場合、ヘッダエラーまたはペイロードエラーが検出されたことを示す誤り検出結果を再送検出器68に供給する。また、誤り検出器67は、通信装置21が受信した送信パケットの追加パケットヘッダに含まれているメッセージカウントを再送検出器68に供給する。
【0039】
再送検出器68は、誤り検出器67から供給される誤り検出結果およびメッセージカウントに基づいて、通信装置21が受信することができずに再送が必要となった送信パケットのメッセージカウントを検出する再送検出処理を行う。そして、再送検出器68は、再送検出処理で検出したメッセージカウントを、再送を要求する候補となる再送候補メッセージカウントとして検出して再送制御器69に供給する。なお、再送検出器68が行う再送検出処理については後述する。
【0040】
再送制御器69は、再送検出器68から供給される再送候補メッセージカウント、および、通信装置12から送信されてくる各種の情報に基づいて、再送パケットの送信を要求する再送要求データを生成し、送受信スケジューラ65に供給する再送要求処理を行う。なお、再送検出器68が行う再送要求処理については後述する。
【0041】
ここで、通信システム1は、再送制御器69において再送要求処理を行うのに必要となる各種の情報を、センサデータがペイロードに格納されている送信パケットのヘッダに埋め込んで、通信装置12から通信装置21へ送信する。例えば、通信装置12は、CSI-2で規定されているパケットヘッダのユーザ定義領域を利用して、再送制御器69において再送要求処理を行うのに必要となる各種の情報を送信し、それらの情報を、誤り検出器67を介して再送制御器69に供給する。
【0042】
通信装置12および通信装置21は上述したような構成となっていることにより、A-PHYで規定されているパケットヘッダに含まれるメッセージカウントを利用することで、パケットごとの再送を実現する。つまり、通信装置12および通信装置21は、MIPIA-PHYの再送制御を行う。
【0043】
次に、図4に示すフローチャートを参照して、通信システム1において実行されるパケット再送処理について概略的な説明を行う。図4は、通信システム1において実行されるパケット再送処理のフローチャートを表したものである。
【0044】
ステップS101において、通信装置21の再送検出器68が再送検出処理を行う。例えば、再送検出器68は、誤り検出器67から供給される誤り検出結果およびメッセージカウントに基づいて、通信装置21が受信することができずに再送が必要となった送信パケットのメッセージカウントを検出する。
【0045】
ステップS102において、通信装置21の再送制御器69が再送要求処理を行う。例えば、再送制御器69は、再送検出器68から供給される再送候補メッセージカウントの中から、送信済みバッファ56に保持されている一番古いメッセージカウントでフィルタしつつ、再送を要求するパケットのメッセージカウントが登録される再送リストを作成する。これにより、再送リストには、再送候補メッセージカウントのうちの、送信済みバッファ56に保持されている一番古いメッセージカウントよりも新しいメッセージカウントが登録される。そして、再送制御器69は、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否を判定し、再送要求が可の場合には、再送要求データを生成する。具体的には、再送制御器69は、フレーム内のエリアごとに規定された優先度と、エリアごとに規定された再送可能回数と、エリアごとにカウントされた再送数とに基づいて再送要求の可否を判定し、再送要求が可の場合には、再送要求データを生成する。
【0046】
ステップS103において、通信装置12の制御データ識別器55および送信済みバッファ56が再送受付処理を行う。例えば、制御データ識別器55は、誤り検出器54から供給される制御データの中から、再送制御器69により生成された再送要求データを識別し、再送要求のパケットを送信済みバッファ56に供給する。そして、送信済みバッファ56は、保持している送信済みパケットを、再送要求データで指定されているメッセージカウントを用いて検索し、再送が要求されている送信済みパケットを検索結果として取得すると、その送信済みパケットを再送パケットとして確保する。一方、送信済みバッファ56は、再送が要求されている送信済みパケットを検索結果として取得することができなかった場合、その検索に用いた再送要求データを破棄する。
【0047】
ステップS104において、通信装置12の送信スケジューラ57が再送データ送信処理を行う。例えば、送信スケジューラ57は、送信済みバッファ56で確保されている再送パケットと、新規に入力されたセンサデータがペイロードに格納されている新規パケットとを送信するタイミングを調整して、新規パケットまたは再送パケットを適宜、送信パケットとして送信する。
【0048】
以上のように、通信システム1では、通信装置12から通信装置21へ送信される送信パケットごとに再送を要求することができ、再送が要求された再送パケットの送信を実行することができる。
【0049】
<再送検出処理の処理例>
図5および図6を参照して、通信システム1における再送検出処理について説明する。図5図6は、通信システム1における、A-PHYの規格に従った通信において、ペイロードエラーが生じたときの再送検出処理の一例を表したものである。図5および図6は、ヘッダに含まれているメッセージカウントの受信をトリガとした再送検出処理を説明する図であり、図6に図示されている矩形の枠に囲われている番号(1~6)がメッセージカウントを表している。図5図6には、メッセージカウント2,3,5の送信パケットにペイロードエラーが発生した状態が示されている。
【0050】
通信装置21は、メッセージカウント2の送信パケットを受信すると、その送信パケットのヘッダを確認することで、ヘッダに含まれているメッセージカウント2を取得する。このとき、その送信パケットにペイロードエラーが発生している場合には、通信装置21は、所定の誤り検出処理を行うことで、メッセージカウント2の送信パケットにペイロードエラーが発生したことを認識する。
【0051】
通信装置21は、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否を判定し、再送要求が可の場合には、再送要求データを生成する。具体的には、通信装置21は、フレーム内のエリアごとに規定された優先度と、エリアごとに規定された再送可能回数と、エリアごとにカウントされた再送数とに基づいて再送要求の可否を判定し、再送要求が可の場合には、再送要求データを生成する。通信装置21は、生成した再送要求データを通信装置12に送信する。通信装置12は、再送要求データを通信装置21から受信すると、受信した再送要求データで指定されているメッセージカウント2に対応する送信済みパケットを再送パケットとして確保する。通信装置12は、確保した再送パケットを通信装置21に対して、所定のタイミングで送信パケットとして送信する。メッセージカウント3やメッセージカウント5の送信パケットにペイロードエラーが発生しているときにも、上記と同様の処理が行われる。また、送信パケットにヘッダエラーが発生した場合にも、上記と同様の処理が行われる。
【0052】
<再送制御器69の構成例および再送要求処理の処理例>
次に、再送制御器69の構成例および再送要求処理の処理例について説明する。
【0053】
図7は、再送制御器69の機能ブロック例を表したものである。再送制御器69は、例えば、図7に示したように、再送リスト保持部71、再送回数保持部72、タイミング制御部73および再送要求データ生成部74を有する。
【0054】
ここで、再送制御器69には、例えば、送信パケットのヘッダに埋め込んで送信されてくる各種の情報が供給される。例えば、この情報としては、送信済みバッファ56の送信済みパケット用バッファ84(図10)の一番古いメッセージカウントを示す情報が含まれる。
【0055】
再送リスト保持部71は、再送を要求するパケットのメッセージカウントが登録される再送リストを保持し、再送リストを管理する。例えば、再送リスト保持部71は、再送検出器68により検出された再送候補メッセージカウントのうちの、送信済みバッファ56に保持されている一番古いメッセージカウントよりも新しいメッセージカウントだけが登録されるように再送リストを管理する。
【0056】
例えば、再送候補メッセージカウントに従ってメッセージカウント98~102が再送リストに登録されているときに、送信済みバッファ56の送信済みパケット用バッファ84の一番古いメッセージカウントとしてメッセージカウント100が新たに供給されたとする。この場合、再送リスト保持部71は、メッセージカウント100よりも古いメッセージカウント98および99を再送リストから削除することで、メッセージカウント100よりも新しいメッセージカウント100~102だけが再送リストに登録される。
【0057】
再送回数保持部72は、図8に示した概念に対応するデータが格納されたレジスタ(図9)を有する。図8には、フレーム(1枚の画像データ)内の所定のエリアごとに優先度が設定されている様子が例示されている。図8では、フレーム(1枚の画像データ)は、上から下に向かって所定の行数ごとに優先度が設定されている。例えば、上からN1行分の各ライン(第1エリア)に対しては、優先度「低」が設定され、優先度「低」が設定されたラインからN2行分の各ライン(第2エリア)に対しては、優先度「中」が設定され、優先度「中」が設定されたラインからN3行分の各ライン(第3エリア)に対しては、優先度「高」が設定され、優先度「高」が設定されたラインからN4行分の各ライン(第4エリア)に対しては、優先度「中」が設定されている。例えば、図9に示したように、レジスタにおいて、第1エリアに対しては、優先度に応じた再送可能回数RNがN5に設定され、第2エリアに対しては、優先度に応じた再送可能回数RNがN6に設定され、第3エリアに対しては、優先度に応じた再送可能回数RNがN7に設定され、第4エリアに対しては、優先度に応じた再送可能回数RNがN8に設定されている。N5+N6+N7+N8は、フレーム(1枚の画像データ)あたりの再送可能回数Nmaxとなっている。
【0058】
A-PHY規格上、論理層が物理層の有効転送レートに対して97.5%を超えないようにパケットを送るようにする必要がある。そのため、再送可能回数Nmaxは、A-PHY規格上、論理層が物理層の有効転送レートに対して97.5%を超えない範囲内でパケットを送ることの可能な回数に設定されていることが好ましい。
【0059】
レジスタには、エリアごとに、行数LN、再送可能回数RN、自エリア持ち越し可否フラグCAおよび持ち越し可否フラグMなどの各種設定値が規定されている。レジスタには、エリアごとの設定値が、順番に記録されている。例えば、レジスタには、第1エリアの設定値、第2エリアの設定値、第3エリアの設定値、第4エリアの設定値がこの順に記録されている。
【0060】
ここで、行数LNは、該当するエリアに含まれる画素行の数である。再送可能回数RNは、該当するエリアにおいて再送要求可能な回数の上限値である。自エリア持ち越し可否フラグCAは、該当するエリアにおいて実際に行われた再送要求の回数(RNa)が該当するエリアにおいてレジスタに設定された再送可能回数RNに満たなかった場合に、RNからRNaを差し引いた値(RN-RNa)を、次のエリアの再送可能回数RNに足し合わせるか否かを設定するフラグである。実際に行われた再送要求の、エリアごとの回数(RNa)は、レジスタに記録される。
【0061】
自エリア持ち越し可否フラグCAが「Disable」の場合、RN-RNaは、次のエリアの再送可能回数RNに足し合わされない。自エリア持ち越し可否フラグCAが「Enable」の場合、RN-RNaは、次のエリアの再送可能回数RNに足し合わされる。RN-RNaが再送可能回数RNに足し合わされた場合、そのエリアにおける再送可能回数RNは、レジスタに設定された再送可能回数RNよりもRN-RNaだけ多い数となる。
【0062】
持ち越し可否フラグMは、自エリアよりも前のエリアにおけるRN-RNaが自エリアの再送可能回数RNに足し合わされているか否かに関係なく、使われずに残った再送可能回数(残り回数RNb)を、次のエリアの再送可能回数RNに足し合わせるか否かを設定するフラグである。持ち越し可否フラグMが「Disable」の場合、残り回数RNbは、次のエリアの再送可能回数RNに足し合わされない。持ち越し可否フラグMが「Enable」の場合、残り回数RNbは、次のエリアの再送可能回数RNに足し合わされる。
【0063】
タイミング制御部73は、フレーム(1枚の画像データ)内のエリアごとに設定された優先度に基づいて、再送リスト保持部71の再送リストに登録されているメッセージカウントに対応する送信済みパケット(以下、「送信済みパケットX」と称する。)を、再送パケットとして再送させるための制御を行う。具体的には、タイミング制御部73は、再送リスト保持部71の再送リストに登録されているメッセージカウントに対応するエリア(以下、「エリアα」と称する。)に対してレジスタに設定された各種設定と、エリアαにおいて実際に行われた再送要求の回数(RNa)とに基づいて、送信済みパケットXを、再送パケットとして再送させる再送要求の送信要求を、送受信スケジューラ65に対して行うか否かの判定を行う。
【0064】
タイミング制御部73は、例えば、エリアαにおいて実際に行われた再送要求の回数(RNa)が、エリアαに対してレジスタに設定された再送可能回数RNを超えない場合に、再送要求の送信要求可と判定し、送信済みパケットXを、再送パケットとして再送させる再送要求の送信要求を、送受信スケジューラ65に対して行う。ただし、レジスタにおいて、エリアαに対する持ち越し可否フラグMが「Enable」に設定されている場合、タイミング制御部73は、例えば、エリアαにおいて実際に行われた再送要求の回数(RNa)が、エリアαに対してレジスタに設定された再送可能回数RNに、残り回数RNbを足し合わせた回数を超えない場合に、再送要求の送信要求可と判定し、送信済みパケットXを、再送パケットとして再送させる再送要求の送信要求を、送受信スケジューラ65に対して行う。タイミング制御部73は、さらに、例えば、フレーム(1枚の画像データ)内で実際に行われた再送要求の回数がフレーム(1枚の画像データ)に対して規定された再送可能回数Nmaxを超えない場合に、再送要求の送信要求可と判定し、送信済みパケットXを、再送パケットとして再送させる再送要求の送信要求を、送受信スケジューラ65に対して行う。
【0065】
再送要求データ生成部74は、タイミング制御部73によって発行された送信要求に対して、送受信スケジューラ65から送信許可が得られた場合、再送リスト保持部71の再送リストから読み出したメッセージカウントに対応する送信済みパケットの再送を要求する再送要求データを生成し、送受信スケジューラ65に供給する。
【0066】
<送信済みバッファ56の構成例および再送受付処理の処理例>
次に、送信済みバッファ56の構成例および再送受付処理の処理例について説明する。
【0067】
図10は、送信済みバッファ56の機能ブロック例を表したものである。送信済みバッファ56は、例えば、図10に示したように、ライト制御部81、転送制御部82、リード制御部83、送信済みパケット用バッファ84および再送パケット用バッファ85を有する。
【0068】
ライト制御部81は、送信スケジューラ57から供給される送信済みパケットを、送信済みパケット用バッファ84に書き込むライト制御を行う。
【0069】
転送制御部82は、制御データ識別器55から供給される再送要求データで指定されるメッセージカウントの送信済みパケットを、送信済みパケット用バッファ84が保持している送信済みパケットの中から検索する。そして、転送制御部82は、再送要求データで指定されるメッセージカウントの送信済みパケットを検索結果として取得することができた場合、その送信済みパケットを再送パケット用バッファ85に転送する転送制御を行う。なお、転送制御部82は、再送要求データで指定されるメッセージカウントの送信済みパケットを検索結果として取得することができなかった場合、その再送要求データを破棄する。
【0070】
リード制御部83は、再送パケット用バッファ85が保持している再送パケットのアドレスを管理するととともに、送信スケジューラ57に対して、再送パケット用バッファ85が保持している再送パケットの送信を要求する再送データ送信要求を発行する。そして、リード制御部83は、送信スケジューラ57から再送データ送信許可が得られると、再送パケット用バッファ85から再送パケットを読み出して送信スケジューラ57へ供給するリード制御を行う。送信済みパケット用バッファ84は送信済みパケットを保持し、再送パケット用バッファ85は再送パケットを保持する。
【0071】
<送信スケジューラ57の構成例>
次に、送信スケジューラ57の構成例について説明する。
【0072】
図11は、送信スケジューラ57の機能ブロック例を表したものである。送信スケジューラ57は、例えば、図11に示したように、センサデータ用バッファ91、切り替え部92および制御部93を有する。
【0073】
センサデータ用バッファ91は、例えば、画像センサ11が有する撮像素子(図示せず)から新規に入力されるセンサデータがペイロードに格納された新規パケットを一時的に格納する。例えば、センサデータ用バッファ91は、送信済みバッファ56から供給される再送パケットの出力中に、センサデータがペイロードに格納された新規パケットが入力されることが想定されるために必要となる。
【0074】
切り替え部92は、制御部93による制御に従って、センサデータ用バッファ91に格納されている新規パケットと、送信済みバッファ56から供給される再送パケットとを切り替えて、送信スケジューラ57から出力する。制御部93は、送信済みバッファ56から発行された再送データ送信要求を取得すると、切り替え部92による出力の切り替えを制御する。制御部93は、例えば、送信済みバッファ56から発行された再送データ送信要求を取得すると、再送データ側に切り替え部92による出力を切り替える。
【0075】
<効果>
次に、本実施の形態に係る通信システム1の効果について説明する。
【0076】
本実施の形態では、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否が判定され、再送要求可の場合には、再送要求データが生成され、他の通信装置に送信される。これにより、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。
【0077】
本実施の形態では、再送回数保持部72に設けられたレジスタにおいて、フレーム内のエリアごとに優先度に応じた再送可能回数が規定されている。これにより、フレーム内のエリアごとに規定された再送可能回数に基づいて再送要求の可否が判定され、再送要求可の場合には、再送要求データが生成され、他の通信装置に送信される。これにより、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。
【0078】
本実施の形態では、各エリアにおいて実際に行われた再送要求の回数が再送可能回数を超えない場合に、再送要求可と判定される。これにより、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。
【0079】
本実施の形態では、エリアは、フレームにおける所定の行数ごとに設定される。ここで、例えば、画像センサ11が自動車などの移動体に設けられ、画像センサ11によって移動体の前方を撮像することにより画像データが得られるとする。このとき、画像データにおける下部領域には、自動車のボンネットが映っており、画像データにおける中央領域には、自動車の前方の道路が映っており、画像データにおける上部領域には、自動車の前方の空が映っている可能性がある。この場合、画像データにおける中央領域の重要度が他の領域の重要度と比べて高いので、フレーム内のエリアを、フレームにおける所定の行数ごとに設定することにより、所望のフレームレートを維持しつつ、画像データにおいて重要度の高い領域の再送を確保することが可能となる。
【0080】
<変形例>
[変形例A]
上記実施の形態では、フレーム(1枚の画像データ)において、上から下に向かって所定の行数ごとに優先度が設定されていた。しかし、上記実施の形態において、例えば、図12に示したように、フレーム(1枚の画像データ)において、左から右に向かって所定の列数ごとに優先度が設定されていてもよい。この場合、1フレーム分の画像を伝送するフレームフォーマットにおいて、フレームの開始を示すフレームスタート(FS)から、フレームの終了を示すフレームエンド(FE)までの間に、画像の列ごとに、その列のデータが格納されたパケットが生成されるか、または、その列を複数に分割したデータごとに、そのデータが格納されたパケットが生成される。
【0081】
図12では、フレーム(1枚の画像データ)において、左から所定の列数ごとに優先度が設定されている。例えば、左からN1列分の各列(第1エリア)に対しては、優先度「低」が設定され、優先度「低」が設定された列からN2列分の各列(第2エリア)に対しては、優先度「高」が設定され、優先度「高」が設定された列からN3列分の各列(第3エリア)に対しては、優先度「中」が設定され、優先度「中」が設定された列からN4列分の各列(第4エリア)に対しては、優先度「低」が設定されている。例えば、第1エリアに対しては、再送可能回数RNがN5に設定され、第2エリアに対しては、再送可能回数RNがN6に設定され、第3エリアに対しては、再送可能回数RNがN7に設定され、第4エリアに対しては、再送可能回数RNがN8に設定されている。N5+N6+N7+N8は、フレーム(1枚の画像データ)あたりの再送可能回数Nmaxとなっている。
【0082】
レジスタには、例えば、図13に示したように、エリアごとに、列数CN、再送可能回数RN、自エリア持ち越し可否フラグCAおよび持ち越し可否フラグMなどの各種設定値が規定されている。レジスタには、エリアごとの設定値が、順番に記録されている。例えば、レジスタには、第1エリアの設定値、第2エリアの設定値、第3エリアの設定値、第4エリアの設定値がこの順に記録されている。列数CNは、該当するエリアに含まれる画素列の数である。
【0083】
本変形例では、エリアは、フレームにおける所定の列数ごとに設定される。ここで、例えば、画像センサ11が自動車などの移動体に設けられ、画像センサ11によって移動体の左前方を撮像することにより画像データが得られるとする。このとき、画像データにおける右端領域には、自動車のボディやピラーが映っており、画像データにおける中央領域には、自動車の左前方の道路が映っており、画像データにおける左端領域には、道路の路肩やガードレールが映っている可能性がある。この場合、画像データにおける中央領域の重要度が他の領域の重要度と比べて高いので、フレーム内のエリアを、フレームにおける所定の列数ごとに設定することにより、所望のフレームレートを維持しつつ、画像データにおいて重要度の高い領域の再送を確保することが可能となる。
【0084】
[変形例B]
上記実施の形態では、フレーム(1枚の画像データ)において、上から下に向かって所定の行数ごとに優先度が設定されていた。しかし、上記実施の形態において、例えば、図14に示したように、フレーム(1枚の画像データ)において、所定の複数の画素ごとに優先度が設定されていてもよい。この場合、1フレーム分の画像を伝送するフレームフォーマットにおいて、フレームの開始を示すフレームスタート(FS)から、フレームの終了を示すフレームエンド(FE)までの間に、画像に含まれる複数の画素ごとに、その複数の画素のデータが格納されたパケットが生成される。
【0085】
図14では、フレーム(1枚の画像データ)において、所定の複数の画素ごとに優先度が設定されている。例えば、逆V字形状のエリア(第1エリア)に対しては、優先度「高」が設定され、優先度「高」が設定されたエリア(第1エリア)の下に隣接するエリア(第2エリア)に対しては、優先度「中」が設定され、優先度「高」が設定されたエリア(第1エリア)の右上、左上に隣接する各エリア(第3エリア)に対しては、優先度「低」が設定され、優先度「低」が設定された各エリア(第3エリア)の上に隣接する各エリア(第4エリア)と、優先度「中」が設定されたエリア(第2エリア)の下に隣接するエリア(第4エリア)とに対しては、優先度「極低」が設定されている。例えば、第1エリアに対しては、再送可能回数RNがN8に設定され、第2エリアに対しては、再送可能回数RNがN7に設定され、第3エリアに対しては、再送可能回数RNがN6に設定され、第4エリアに対しては、再送可能回数RNがN5に設定されている。N5+N6+N7+N8は、フレーム(1枚の画像データ)あたりの再送可能回数Nmaxとなっている。
【0086】
レジスタには、例えば、図15に示したように、エリアごとに、再送可能回数RN、自エリア持ち越し可否フラグCAおよび持ち越し可否フラグMなどの各種設定値が規定されている。レジスタには、エリアごとの設定値が、順番に記録されている。例えば、レジスタには、第1エリアの設定値、第2エリアの設定値、第3エリアの設定値、第4エリアの設定値がこの順に記録されている。レジスタには、さらに、例えば、図15に示したように、各エリアを区画する座標が規定されている。
【0087】
本変形例では、エリアは、フレームにおける所定の複数の画素ごとに設定される。ここで、例えば、画像センサ11が自動車などの移動体に設けられ、画像センサ11によって移動体の前方を撮像することにより画像データが得られるとする。このとき、画像データにおける逆V字形状の領域には、自動車の前方に真っ直ぐ遠くまで伸びた道路が映っており、画像データにおける、逆V字形状の領域の下に隣接する領域には、自動車のボンネットが映っており、画像データにおける、逆V字形状の領域の左上および右上に隣接する領域には、路肩やガードレールが映っている可能性がある。この場合、画像データにおける逆V字形状の領域の重要度が他の領域の重要度と比べて高いので、フレーム内のエリアを、フレームにおける所定の複数の画素ごとに設定することにより、所望のフレームレートを維持しつつ、画像データにおいて重要度の高い領域の再送を確保することが可能となる。
【0088】
[変形例C]
上記実施の形態およびその変形例において、例えば、図16に示したように、フレーム(1枚の画像データ)あたりの再送可能回数Nmaxだけでなく、複数フレームごとの再送可能回数も規定されていてもよい。この場合、複数フレームごとにブロックという概念が導入され、ブロックサイズBSごとに、再送回数の上限値が規定される。これにより、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。
【0089】
[変形例D]
上記実施の形態およびその変形例において、例えば、図16図17に示したように、該当するエリアにおいて実際に行われた再送要求の回数(RNa)が該当するエリアにおいてレジスタに設定された再送可能回数RNを超えた場合、再送制御器69は、RNaが再送可能回数RNを超えたことを示すエラーフラグを送受信スケジューラ65に送信してもよい。この場合、送受信スケジューラ65は、再送制御器69からエラーフラグが供給されると、そのエラーフラグを制御データとして誤り検出符号計算器63に供給し、通信装置12へ送信させる。
【0090】
通信装置12は、エラーフラグを制御データとして通信装置21から受信すると、制御データ識別器55は、エラーフラグを送信済みバッファ56に供給する。送信済みバッファ56は、エラーフラグを取得すると、再送パケットの送信スケジューラ57への供給を停止する。通信装置12は、エラーフラグを受信すると、さらに、再送不可を示すNGフラグをフレームエンドに付加する。
【0091】
このように、本変形例では、RNaが再送可能回数RNを超えた場合に、RNaが再送可能回数RNを超えたことを示すエラーフラグが通信装置12に送信される。これにより、再送パケットの送信が停止されるので、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。
【0092】
[変形例E]
上記実施の形態およびその変形例において、例えば、図18図19に示したように、再送信回数保持部72が再送制御器69ではなく、送信済みバッファ56に設けられていてもよい。
【0093】
この場合、タイミング制御部73は、再送リスト保持部71の再送リストに登録されているメッセージカウントに対応する送信済みパケット(以下、「送信済みパケットX」と称する。)を、再送パケットとして再送させるための制御を行う。具体的には、タイミング制御部73は、送信済みパケットXを、再送パケットとして再送させる再送要求の送信要求を、送受信スケジューラ65に対して行う。
【0094】
転送制御部82は、フレーム(1枚の画像データ)内のエリアごとに設定された優先度に基づいて、制御データ識別器55から供給される再送要求データで指定されるメッセージカウントの送信済みパケット(以下、「送信済みパケットX」と称する。)を、再送パケットとして再送させるための制御を行う。具体的には、転送制御部82は、制御データ識別器55から供給される再送要求データで指定されるメッセージカウントに対応するエリア(以下、「エリアα」と称する。)に対してレジスタに設定された各種設定と、エリアαにおいて実際に行われた再送要求の回数(RNa)とに基づいて、送信済みパケットXの再送を行うか否かの判定を行う。
【0095】
転送制御部82は、例えば、エリアαにおいて実際に行われた再送要求の回数(RNa)が、エリアαに対してレジスタに設定された再送可能回数RNを超えない場合に、送信済みパケットXの再送可と判定し、送信済みパケットXを再送パケット用バッファ85に対して転送する転送制御を行う。ただし、レジスタにおいて、エリアαに対する持ち越し可否フラグMが「Enable」に設定されている場合、転送制御部82は、例えば、エリアαにおいて実際に行われた再送要求の回数(RNa)が、エリアαに対してレジスタに設定された再送可能回数RNに、残り回数RNbを足し合わせた回数を超えない場合に、送信済みパケットXの再送可と判定し、送信済みパケットXを再送パケット用バッファ85に対して転送する転送制御を行う。転送制御部82は、さらに、例えば、フレーム(1枚の画像データ)内で実際に行われた再送要求の回数がフレーム(1枚の画像データ)に対して設定された再送可能回数Nmaxを超えない場合に、送信済みパケットXの再送可と判定し、送信済みパケットXを再送パケット用バッファ85に対して転送する転送制御を行う。
【0096】
転送制御部82は、送信済みパケットXの再送可の場合には、送信済みパケットXを、送信済みパケット用バッファ84が保持している送信済みパケットの中から検索する。そして、転送制御部82は、送信済みパケットXを検索結果として取得することができた場合、その送信済みパケットXを再送パケット用バッファ85に転送する転送制御を行う。なお、転送制御部82は、再送要求データで指定されるメッセージカウントの送信済みパケットを検索結果として取得することができなかった場合、その再送要求データを破棄する。
【0097】
本変形例では、再送信回数保持部72を用いた再送制御が通信装置12(送信済みバッファ56)で行われる。このようにした場合であっても、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。
【0098】
<適用例>
図20は、上記実施の形態およびその変形例に係る通信システム1を備えた撮像システム2の概略構成の一例を表したものである。撮像システム2は、例えば、光学系210と、シャッタ装置220と、通信システム1と、信号処理回路230と、表示部240とを備える。
【0099】
光学系210は、被写体からの像光(入射光)を通信システム1(画像センサ11)の撮像面上に結像させる。シャッタ装置220は、光学系210および撮像システム2の間に配置され、通信システム1(画像センサ11)への光照射期間および遮光期間を制御する。通信システム1は、外部から入射した像光(入射光)を画像センサ11で受光し、受光した像光(入射光)に応じた画素信号を信号処理回路230に出力する。信号処理回路230は、通信システム1から入力された画素信号を処理して、映像データを生成する。信号処理回路230は、さらに、生成した映像データに対応する映像信号を生成し、表示部240に出力する。表示部240は、信号処理回路230から入力された映像信号に基づく映像を表示する。
【0100】
本適用例では、上記実施の形態およびその変形例に係る通信システム1が撮像システム2に適用される。これにより、例えば、伝送するデータの容量や速度などに応じた適切な通信を行うことができるので、撮像画質の高い撮像システム2を提供することができる。
【0101】
<応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0102】
図21は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0103】
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図21に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
【0104】
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0105】
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0106】
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0107】
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【0108】
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0109】
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
【0110】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0111】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検出した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0112】
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図21の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【0113】
図22は、撮像部12031の設置位置の例を示す図である。
【0114】
車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
【0115】
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0116】
なお、図22には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
【0117】
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0118】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0119】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0120】
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
【0121】
以上、本開示に係る技術が適用され得る移動体制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。具体的には、撮像システム2は、撮像部12031に適用することができる。撮像部12031に本開示に係る技術を適用することにより、高画質な撮影画像を得ることができるので、移動体制御システムにおいて撮影画像を利用した高精度な制御を行うことができる。
【0122】
以上、実施の形態、変形例および適用例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
【0123】
また、本開示は、以下のような構成を取ることも可能である。
(1)
再送制御において、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否を判定する判定部と、
前記判定部において再送要求可の場合には、再送要求データを生成し、他の通信装置に送信する送信部と
を備えた
通信装置。
(2)
前記エリアごとに前記優先度に応じた再送可能回数が設定されたレジスタを更に備えた
(1)に記載の通信装置。
(3)
前記判定部は、各前記エリアにおいて実際に行われた再送要求の回数が前記再送可能回数を超えない場合に、再送要求可と判定する
(2)に記載の通信装置。
(4)
前記判定部は、前記フレーム内で実際に行われた再送要求の回数が前記フレームに対して規定された再送可能回数を超えない場合に、再送要求可と判定する
(2)に記載の通信装置。
(5)
前記エリアは、前記フレームにおける所定の行数ごとに設定される
(1)ないし(4)のいずれか1つに記載の通信装置。
(6)
前記エリアは、前記フレームにおける所定の列数ごとに設定される
(1)ないし(4)のいずれか1つに記載の通信装置。
(7)
前記エリアは、前記フレームにおける所定の複数の画素ごとに設定される
(1)ないし(4)のいずれか1つに記載の通信装置。
(8)
当該通信装置は、MIPIA-PHYの再送制御を行う
(1)ないし(7)のいずれか1つに記載の通信装置。
(9)
再送制御において、再送要求データを受信する受信部と、
他の通信装置にデータを送信する送信部と、
前記送信部から送信した前記データを送信済みデータとして保持する保持部と、
前記再送要求データに基づいて、前記送信済みデータの再送制御を行う制御部と
を備えた
通信装置。
(10)
再送制御において、フレーム内のエリアごとに規定された優先度に基づいて送信済みパケットの再送の可否を判定する判定部と、
前記判定部において前記送信済みパケットの再送可の場合には、前記送信済みパケットを他の通信装置に送信する送信部と
を備えた
通信装置。
(11)
前記判定部は、実際に行われた前記エリアごとの再送要求の回数が前記エリアごとに規定された再送可能回数を超えない場合に、前記送信済みパケットの再送可と判定する
(10)に記載の通信装置。
(12)
前記判定部は、前記フレーム内で実際に行われた再送要求の回数が前記フレームに対して規定された再送可能回数を超えない場合に、前記送信済みパケットの再送可と判定する
(10)または(11)に記載の通信装置。
(13)
送信装置および受信装置を備え、前記送信装置と前記受信装置との間で通信を行う通信システムであって、
前記受信装置は、
再送制御において、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否を判定する判定部と、
前記判定部において再送要求可の場合には、再送要求データを生成し、前記送信装置に送信する第1送信部と
を有し、
前記送信装置は、
前記再送要求データを受信する受信部と、
前記受信装置にデータを送信する第2送信部と、
前記第2送信部から送信した前記データを送信済みデータとして保持する保持部と、
前記再送要求データに基づいて、前記送信済みデータの再送制御を行う制御部と
を有する
通信システム。
(14)
送信装置および受信装置を備え、前記送信装置と前記受信装置との間で通信を行う通信システムであって、
前記受信装置は、再送制御において、再送要求データを生成し、前記送信装置に送信する第1送信部を有し、
前記送信装置は、
前記再送要求データを受信する受信部と、
前記受信装置にデータを送信する第2送信部と、
前記第2送信部から送信した前記データを送信済みデータとして保持する保持部と、
前記再送要求データと、フレーム内のエリアごとに規定された優先度とに基づいて、前記送信済みデータの再送の可否を判定する判定部と
を有し、
前記第2送信部は、前記判定部において前記送信済みパケットの再送可の場合には、前記送信済みパケットを前記受信装置に送信する
通信システム。
【0124】
本開示の第1の側面に係る通信装置によれば、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否を判定し、再送要求可の場合には、再送要求データを生成し、他の通信装置に送信するようにしたので、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。
【0125】
本開示の第2の側面に係る通信装置によれば、再送制御において、再送要求データを受信すると、再送要求データに基づいて、保持部に保持された送信済みデータの再送制御を行うようにしたので、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。
【0126】
本開示の第3の側面に係る通信装置によれば、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて送信済みパケットの再送の可否を判定し、送信済みパケットの再送の可否の場合には、送信済みパケットを他の通信装置に送信するようにしたので、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。
【0127】
本開示の第4の側面に係る通信システムによれば、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて再送要求の可否を判定し、再送要求可の場合には、再送要求データを生成し、送信装置から受信装置に送信するようにしたので、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。
【0128】
本開示の第5の側面に係る通信システムによれば、再送制御において、フレーム内のエリアごとに規定された優先度に基づいて送信済みパケットの再送の可否を判定し、送信済みパケットの再送の可否の場合には、送信済みパケットを送信装置から受信装置に送信するようにしたので、次フレーム以降に遅延が波及するのを防止することができる。その結果、所望のフレームレートを維持することができる。
【0129】
本出願は、日本国特許庁において2020年3月26日に出願された日本特許出願番号第2020-056057号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
【0130】
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22