特許 7571034 通信装置および通信方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-11

(45)【発行日】2024-10-22

(54)【発明の名称】通信装置および通信方法、並びにプログラム

(51)【国際特許分類】

   H04L 7/00 20060101AFI20241015BHJP

   G06F 13/38 20060101ALI20241015BHJP

   H04N 23/60 20230101ALI20241015BHJP

【ＦＩ】

H04L7/00 990

G06F13/38 350

H04N23/60 300

【請求項の数】 12

(21)【出願番号】P 2021545228

(86)(22)【出願日】2020-08-31

(86)【国際出願番号】 JP2020032877

(87)【国際公開番号】W WO2021049354

(87)【国際公開日】2021-03-18

【審査請求日】2023-07-06

(31)【優先権主張番号】P 2019166895

(32)【優先日】2019-09-13

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】高橋 宏雄

【審査官】阿部 弘

(56)【参考文献】

【文献】特開２０１５－０７６８０５（ＪＰ，Ａ）

【文献】特開２０１５－１９８３９９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｌ ７／００

Ｇ０４Ｇ ５／００

Ｇ０６Ｆ １３／３８

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

複数の他の通信装置との間で、所定の規格に従った通信処理の制御を行う通信処理制御部と、
前記規格で定義されているタイミングコントロールを実現するための時刻同期カウンタと、
前記時刻同期カウンタに、前記複数の他の通信装置それぞれが備える他の時刻同期カウンタを時刻同期させて、前記複数の他の通信装置において所定のサンプリング周期でサンプリングされたサンプリングデータを出力させる出力制御に必要な情報処理を行う情報処理部と
を備え、
前記情報処理部は、前記サンプリングデータとともに、そのサンプリングデータがサンプリングされたタイミングを示す時刻データを出力させる出力制御を行い、
前記時刻同期カウンタは、最低でも前記サンプリング周期の２周期以上で１周する
通信装置。

【請求項2】

前記情報処理部は、前記複数の他の通信装置のうち、第１の他の通信装置と第２の他の通信装置とが異なる伝送路を介して前記サンプリングデータを送信する構成において、前記サンプリングデータとともに、そのサンプリングデータがサンプリングされたタイミングを示す時刻データを出力させる出力制御を行い、
前記第１の他の通信装置から送信されてくる第１のサンプリングデータと、その第１のサンプリングデータがサンプリングされた前記第１の他の通信装置の前記他の時刻同期カウンタに従ったタイミングを示す第１の時刻データとを、第１の伝送路を介して受信し、前記第２の他の通信装置から送信されてくる第２のサンプリングデータと、その第２のサンプリングデータがサンプリングされた前記第２の他の通信装置の前記他の時刻同期カウンタに従ったタイミングを示す第２の時刻データとを、第２の伝送路を介して受信するデータ受信部
をさらに備える請求項１に記載の通信装置。

【請求項3】

前記第２の他の通信装置から送信されてくる前記第２のサンプリングデータと、その第２のサンプリングデータの前記第２の時刻データと同じタイミングを示す前記第１の時刻データの前記第１のサンプリングデータとを統合するデータ統合部
をさらに備える請求項２に記載の通信装置。

【請求項4】

前記情報処理部は、前記複数の他の通信装置が、同一の伝送路を介して前記サンプリングデータを送信する構成においては、前記時刻データを出力させる出力制御を必ずしも行わずに、前記複数の他の通信装置がそれぞれ異なるタイミングで前記サンプリングデータを出力することを指示する出力タイミングを設定する
請求項１に記載の通信装置。

【請求項5】

前記複数の他の通信装置から送信されてくる前記サンプリングデータを、前記伝送路を介して受信するデータ受信部
をさらに備える請求項４に記載の通信装置。

【請求項6】

通信装置が、
複数の他の通信装置との間で、所定の規格に従った通信処理の制御を行うことと、
前記規格で定義されているタイミングコントロールを実現するための時刻同期カウンタに、前記複数の他の通信装置それぞれが備える他の時刻同期カウンタを時刻同期させて、前記複数の他の通信装置において所定のサンプリング周期でサンプリングされたサンプリングデータを出力させる出力制御に必要な情報処理を行うことと
を含み、
前記サンプリングデータとともに、そのサンプリングデータがサンプリングされたタイミングを示す時刻データを出力させる出力制御を行い、
前記時刻同期カウンタは、最低でも前記サンプリング周期の２周期以上で１周する
通信方法。

【請求項7】

通信装置のコンピュータに、
複数の他の通信装置との間で、所定の規格に従った通信処理の制御を行うことと、
前記規格で定義されているタイミングコントロールを実現するための時刻同期カウンタに、前記複数の他の通信装置それぞれが備える他の時刻同期カウンタを時刻同期させて、前記複数の他の通信装置において所定のサンプリング周期でサンプリングされたサンプリングデータを出力させる出力制御に必要な情報処理を行うことと
を含み、
前記サンプリングデータとともに、そのサンプリングデータがサンプリングされたタイミングを示す時刻データを出力させる出力制御を行い、
前記時刻同期カウンタは、最低でも前記サンプリング周期の２周期以上で１周する
通信処理を実行させるためのプログラム。

【請求項8】

通信装置であって、
所定のサンプリング周期でサンプリングデータをサンプリングするサンプリング部と、
他の通信装置との間で、所定の規格に従った通信処理の制御を行う通信処理制御部と、
前記規格で定義されているタイミングコントロールを実現するための時刻同期カウンタと
を備え、
前記他の通信装置による出力制御に従って、前記時刻同期カウンタが前記他の通信装置が備える他の時刻同期カウンタに時刻同期し、前記サンプリングデータとともに、そのサンプリングデータがサンプリングされたタイミングを示す時刻データを出力し、
前記時刻同期カウンタは、最低でも前記サンプリング周期の２周期以上で１周する
通信装置。

【請求項9】

複数の前記通信装置のうち、第１の通信装置と第２の通信装置とが異なる伝送路を介して前記サンプリングデータを送信する構成において、
前記他の通信装置において、前記第２の通信装置から送信された第２のサンプリングデータと、その第２のサンプリングデータの第２の時刻データと同じタイミングを示す前記第１の通信装置から送信された第１の時刻データの第１のサンプリングデータとが統合される
請求項８に記載の通信装置。

【請求項10】

複数の前記通信装置が、同一の伝送路を介して前記サンプリングデータを送信する構成においては、
それぞれの前記通信装置は、前記時刻データの出力を必ずしも行わずに、前記他の通信装置によって設定され、個々の前記通信装置がそれぞれ異なるタイミングで前記サンプリングデータを出力することを指示する出力タイミングに従って、前記サンプリングデータを出力する
請求項８に記載の通信装置。

【請求項11】

通信装置が、
所定のサンプリング周期でサンプリングデータをサンプリングすることと、
他の通信装置との間で、所定の規格に従った通信処理の制御を行うことと、
前記他の通信装置による出力制御に従って、前記規格で定義されているタイミングコントロールを実現するための時刻同期カウンタが前記他の通信装置が備える他の時刻同期カウンタに時刻同期し、前記サンプリングデータとともに、そのサンプリングデータがサンプリングされたタイミングを示す時刻データを出力することと
を含み、
前記時刻同期カウンタは、最低でも前記サンプリング周期の２周期以上で１周する
通信方法。

【請求項12】

通信装置のコンピュータに、
所定のサンプリング周期でサンプリングデータをサンプリングすることと、
他の通信装置との間で、所定の規格に従った通信処理の制御を行うことと、
前記他の通信装置による出力制御に従って、前記規格で定義されているタイミングコントロールを実現するための時刻同期カウンタが前記他の通信装置が備える他の時刻同期カウンタに時刻同期し、前記サンプリングデータとともに、そのサンプリングデータがサンプリングされたタイミングを示す時刻データを出力することと
を含み、
前記時刻同期カウンタは、最低でも前記サンプリング周期の２周期以上で１周する
通信処理を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、通信装置および通信方法、並びにプログラムに関し、特に、複数のセンサに対して時刻同期に基づいた適切な出力制御を行うことができるようにした通信装置および通信方法、並びにプログラムに関する。

【背景技術】

【0002】

近年、モバイル機器におけるインタフェース規格を策定するMIPI（Mobile Industry Processor Interface）アライアンスにより、バス規格であるI2C（Inter-Integrated Circuit）の次世代規格としてI3C（Improved Inter Integrated Circuit）が策定された。また、MIPIアライアンスでは、主にカメラの接続に用いられるインタフェースとしてCSI-2（Camera Serial Interface 2）が定義されており、物理層の規格としてC-PHYおよびD-PHYが定義されている。

【0003】

例えば、画像センサにより取得された画像データは、転送データ量が大きいことより、MIPI CSI-2（物理層はC-PHYまたはD-PHY）で伝送される。一方で、画像センサを制御するための制御データや、各種の計測用センサから出力されるセンサデータなどは、転送データ量が小さいことより、MIPI CSI-2の規定によりI2CまたはI3Cで伝送される。

【0004】

また、複数の画像センサで１つの伝送路を多重化する技術が開発されており、例えば、特許文献１に開示されているように、複数の画像センサそれぞれにおける画像データの出力タイミングが同期信号を用いて制御される。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１７－２１２６９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、上述したように、画像センサから出力される画像データがC-PHYまたはD-PHYで伝送される一方で、各種の計測用センサから出力されるセンサデータがI2CまたはI3Cで伝送される場合、それらのデータを時刻同期させるような出力制御が必要となる。また、複数の画像センサで１つの伝送路を多重化する構成において、外部から同期信号を伝送するための信号線を設けることなく、複数の画像センサに対して時刻同期に基づいた出力制御を行うことが求められている。

【0007】

本開示は、このような状況に鑑みてなされたものであり、複数のセンサに対して時刻同期に基づいた適切な出力制御を行うことができるようにするものである。

【課題を解決するための手段】

【0008】

本開示の第１の側面の通信装置は、複数の他の通信装置との間で、所定の規格に従った通信処理の制御を行う通信処理制御部と、前記規格で定義されているタイミングコントロールを実現するための時刻同期カウンタと、前記時刻同期カウンタに、前記複数の他の通信装置それぞれが備える他の時刻同期カウンタを時刻同期させて、前記複数の他の通信装置において所定のサンプリング周期でサンプリングされたサンプリングデータを出力させる出力制御に必要な情報処理を行う情報処理部とを備え、前記情報処理部は、前記サンプリングデータとともに、そのサンプリングデータがサンプリングされたタイミングを示す時刻データを出力させる出力制御を行い、前記時刻同期カウンタは、最低でも前記サンプリング周期の２周期以上で１周する。

【0009】

本開示の第１の側面の通信方法またはプログラムは、複数の他の通信装置との間で、所定の規格に従った通信処理の制御を行うことと、前記規格で定義されているタイミングコントロールを実現するための時刻同期カウンタに、前記複数の他の通信装置それぞれが備える他の時刻同期カウンタを時刻同期させて、前記複数の他の通信装置において所定のサンプリング周期でサンプリングされたサンプリングデータを出力させる出力制御に必要な情報処理を行うこととを含み、前記サンプリングデータとともに、そのサンプリングデータがサンプリングされたタイミングを示す時刻データを出力させる出力制御を行い、前記時刻同期カウンタは、最低でも前記サンプリング周期の２周期以上で１周する。

【0010】

本開示の第１の側面においては、複数の他の通信装置との間で、所定の規格に従った通信処理の制御が行われ、規格で定義されているタイミングコントロールを実現するための時刻同期カウンタに、複数の他の通信装置それぞれが備える他の時刻同期カウンタを時刻同期させて、複数の他の通信装置において所定のサンプリング周期でサンプリングされたサンプリングデータを出力させる出力制御に必要な情報処理が行われる。そして、サンプリングデータとともに、そのサンプリングデータがサンプリングされたタイミングを示す時刻データを出力させる出力制御が行われ、時刻同期カウンタは、最低でもサンプリング周期の２周期以上で１周する。

【0011】

本開示の第２の側面の通信装置は、所定のサンプリング周期でサンプリングデータをサンプリングするサンプリング部と、他の通信装置との間で、所定の規格に従った通信処理の制御を行う通信処理制御部と、前記規格で定義されているタイミングコントロールを実現するための時刻同期カウンタとを備え、前記他の通信装置による出力制御に従って、前記時刻同期カウンタが前記他の通信装置が備える他の時刻同期カウンタに時刻同期し、前記サンプリングデータとともに、そのサンプリングデータがサンプリングされたタイミングを示す時刻データを出力し、前記時刻同期カウンタは、最低でも前記サンプリング周期の２周期以上で１周する。

【0012】

本開示の第２の側面の通信方法またはプログラムは、所定のサンプリング周期でサンプリングデータをサンプリングすることと、他の通信装置との間で、所定の規格に従った通信処理の制御を行うことと、前記他の通信装置による出力制御に従って、前記規格で定義されているタイミングコントロールを実現するための時刻同期カウンタが前記他の通信装置が備える他の時刻同期カウンタに時刻同期し、前記サンプリングデータとともに、そのサンプリングデータがサンプリングされたタイミングを示す時刻データを出力することとを含み、前記時刻同期カウンタは、最低でも前記サンプリング周期の２周期以上で１周する。

【0013】

本開示の第２の側面においては、所定のサンプリング周期でサンプリングデータがサンプリングされ、他の通信装置との間で、所定の規格に従った通信処理の制御が行われ、他の通信装置による出力制御に従って、規格で定義されているタイミングコントロールを実現するための時刻同期カウンタが他の通信装置が備える他の時刻同期カウンタに時刻同期し、サンプリングデータとともに、そのサンプリングデータがサンプリングされたタイミングを示す時刻データが出力され、時刻同期カウンタは、最低でもサンプリング周期の２周期以上で１周する。

【図面の簡単な説明】

【0014】

【図1】本技術を適用した通信システムの一実施の形態の構成例を示すブロック図である。

【図2】時刻同期に基づいた出力制御の第１の処理例について説明する通信システムのブロック図である。

【図3】第１の処理例の動作を説明する図である。

【図4】Embedded Data Packetの構造を示す図である。

【図5】ＡＰで行われる時刻同期に基づいた出力制御処理を説明するフローチャートである。

【図6】画像センサで行われる時刻同期に基づいた出力制御処理を説明するフローチャートである。

【図7】ジャイロセンサで行われる時刻同期に基づいた出力制御処理を説明するフローチャートである。

【図8】時刻同期に基づいた出力制御の第２の処理例について説明する通信システムのブロック図である。

【図9】第２の処理例の動作を説明する図である。

【図10】ＡＰで行われる時刻同期に基づいた出力制御処理を説明するフローチャートである。

【図11】画像センサで行われる時刻同期に基づいた出力制御処理を説明するフローチャートである。

【図12】画像出力タイミングを制御する第１の制御方法について説明する図である。

【図13】画像センサの実装例を示す図である。

【図14】ジャイロセンサの実装例を示す図である。

【図15】ＡＰの実装例を示す図である。

【図16】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

【発明を実施するための形態】

【0015】

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

【0016】

＜通信システムの構成例＞
図１は、本技術を適用した通信システムの一実施の形態の構成例を示すブロック図である。

【0017】

図１には、例えば、いわゆるドローンと称される無人航空機（UAV：Unmanned Aerial Vehicle）の内部における機器どうしの通信で用いられる通信システム１１の一例が示されている。なお、通信システム１１は、ドローン以外にも、例えば、自動運転を行う車両のような各種の移動体において採用することができる。

【0018】

通信システム１１は、測距センサ２１、画像センサ２２－１および２２－２、ジャイロセンサ２３、加速度センサ２４、位置センサ２５、気圧センサ２６、並びに、ＡＰ（Application Processor）３１を備えて構成される。

【0019】

例えば、通信システム１１では、測距センサ２１からＡＰ３１へ測距データの伝送、並びに、画像センサ２２－１および２２－２からＡＰ３１へ画像データの伝送に、C-PHYまたはD-PHYが利用される。また、通信システム１１では、測距センサ２１、画像センサ２２－１および２２－２、ジャイロセンサ２３、加速度センサ２４、位置センサ２５、並びに、気圧センサ２６と、ＡＰ３１との間における各種のデータの送受信に、I3Cが利用される。

【0020】

測距センサ２１は、例えば、LIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）によってドローンの周囲にある障害物までの距離を算出し、その結果得られる測距データを、ＡＰ３１に出力する。

【0021】

画像センサ２２－１および２２－２は、例えば、CIS（CMOS（Complementary Metal Oxide Semiconductor）Image Sensor）などの撮像素子によってドローンの周囲を撮像して画像データを取得する。例えば、画像センサ２２－１は、ドローンの進行方向を撮像して画像データを取得し、画像センサ２２－２は、ドローンの下方向を撮像して画像データを取得して、それぞれの画像データが、１つの伝送路を介してＡＰ３１に出力される。

【0022】

ジャイロセンサ２３は、ドローンが飛行する際の姿勢の変化などに応じて生じる角速度を測定し、その測定の結果得られる角速度データをＡＰ３１に出力する。

【0023】

加速度センサ２４は、ドローンが飛行する際の速度の変化に従った加速度を測定し、その測定の結果得られる加速度データをＡＰ３１に出力する。

【0024】

位置センサ２５は、例えば、GPS（Global Positioning System）衛星から発信される電波を受信し、その電波に含まれているGPSデータを取得してＡＰ３１に出力する。

【0025】

気圧センサ２６は、ドローンが飛行している高度に応じた気圧を測定し、その測定の結果得られる気圧データをＡＰ３１に出力する。

【0026】

ＡＰ３１は、測距センサ２１、画像センサ２２－１および２２－２、ジャイロセンサ２３、加速度センサ２４、位置センサ２５、並びに、気圧センサ２６との間で、I3Cで定義されているタイミングコントロールの一部を利用した時刻同期に基づいて、それらに対する出力制御を行う。そして、ＡＰ３１は、測距センサ２１、画像センサ２２－１および２２－２、ジャイロセンサ２３、加速度センサ２４、位置センサ２５、並びに、気圧センサ２６から出力されるデータを統合し、例えば、ドローンの飛行に必要となる各種の処理を実行することができる。

【0027】

例えば、通信システム１１を採用したドローンは、測距センサ２１で測距を行い、画像センサ２２－１および２２－２で撮像を行うのと同時に、ドローン自身の傾きや加速を計算することができる。例えば、ドローンの飛行中において、ＡＰ３１は、画像センサ２２－１から供給される画像データに基づいてドローンの進行方向にある障害物を認識し、その障害物までの距離を測距センサ２１から供給される測距データから算出することができる。そして、ＡＰ３１は、GPSデータから推定されるドローンの自己位置、加速度データから算出されるドローンの速度、並びに、気圧データおよび画像データから推定されるドローンの高度に基づいて、障害物と衝突する可能性がある場合には、ドローンに回避行動を行わせる処理を実行する。

【0028】

また、ＡＰ３１は、ジャイロセンサ２３から供給される角速度データから求められるドローンの姿勢に基づいて、ドローンの傾きを補正するだけでなく、画像センサ２２－１および２２－２により撮像された画像の傾きを補正（例えば、台形補正）することで、障害物を検出し易くすることができる。

【0029】

このとき、測距センサ２１の測距データ並びに画像センサ２２－１および２２－２の画像データは、転送データ量が大きいことよりC-PHYまたはD-PHYで伝送される。また、画像センサ２２－１および２２－２に対する制御データや、ジャイロセンサ２３、加速度センサ２４、位置センサ２５、気圧センサ２６から出力される各種のセンサデータなどは、個々の転送データ量が小さいことよりI3Cで伝送される。

【0030】

そして、ＡＰ３１は、これらのセンサどうしで不得手な点を互いに補い合って、それぞれのセンサデータおよび画像データを統合する処理（以下、センサフュージョン処理と称する）を行うことができる。これにより、ＡＰ３１は、障害物との衝突を回避するような高度な処理を実現することができる。

【0031】

ところで、ＡＰ３１がセンサフュージョン処理を行うためには、統合されるデータが同じタイミングでサンプリングされているとともに、それらのデータが適切に出力されるように出力制御を行う必要がある。また、その出力制御を、上述したような外部から同期信号を伝送するための信号線を設けることなく実現することが求められている。

【0032】

そこで、通信システム１１では、I3Cで定義された時刻同期を利用することで、複数のセンサに対する適切な出力制御を実現している。

【0033】

＜時刻同期に基づいた出力制御の第１の処理例＞
図２乃至６を参照して、時刻同期に基づいた出力制御の第１の処理例として、異なる伝送路を通るデータに対する出力制御について説明する。

【0034】

図２に示す通信システム１１では、図１に示した通信システム１１を構成する各ブロックのうち、時刻同期に基づいた出力制御の第１の処理例を説明するのに用いる画像センサ２２－１、ジャイロセンサ２３、およびＡＰ３１が示されている。即ち、画像センサ２２－１からC-PHYまたはD-PHYによりＡＰ３１へ伝送される画像データと、ジャイロセンサ２３からI3CによりＡＰ３１へ伝送される角速度データとに対して、時刻同期に基づいた出力制御が行われる。

【0035】

画像センサ２２－１は、撮像素子４１－１、時刻同期カウンタ４２－１、レジスタ４３－１、通信処理制御部４４－１、および画像データ送信部４５－１を備えて構成される。

【0036】

撮像素子４１－１は、図示しない光学系を介して撮像面に集光される光により撮像を行い、その撮像の結果得られる画像データを画像データ送信部４５－１に供給する。例えば、撮像素子４１－１は、時刻同期カウンタ４２－１によるカウント値に従って、所定のサンプリング周期で撮像を開始するとともに、画像データの出力（AD変換）を行う。

【0037】

時刻同期カウンタ４２－１は、I3Cで定義されているタイミングコントロールを実現するために、所定のクロック周波数でカウント値をカウントする。

【0038】

レジスタ４３－１は、後述するようなディレイタイムやサンプリング周期などの設定値、および、撮像時刻データを示すカウント値を保持する。

【0039】

通信処理制御部４４－１は、I3Cに従って、ＡＰ３１の通信処理制御部６３により主導的に制御される通信処理を行う。例えば、通信処理制御部４４－１は、ＡＰ３１から送信されてくるディレイタイムやサンプリング周期などの設定値を受信して、レジスタ４３－１に保持させる。

【0040】

画像データ送信部４５－１は、画像センサ２２－１から供給される画像データを、C-PHYまたはD-PHYに従ってＡＰ３１へ伝送する。このとき、画像データ送信部４５－１は、レジスタ４３－１から撮像時刻データを読み出して、後述するように撮像時刻データが格納された画像データを伝送することができる。

【0041】

ジャイロセンサ２３は、検出部５１、時刻同期カウンタ５２、レジスタ５３、および通信処理制御部５４を備えて構成される。

【0042】

検出部５１は、時刻同期カウンタ４２－１のカウント値に従って、所定のサンプリング周期で角速度を検出して、角速度データをレジスタ５３に保持させる。

【0043】

時刻同期カウンタ５２は、I3Cで定義されているタイミングコントロールを実現するために、所定のクロック周波数でカウント値をカウントする。

【0044】

レジスタ５３は、後述するようなディレイタイムやサンプリング周期などの設定値、サンプリング時刻データを示すカウント値、および、角速度データを保持する。

【0045】

通信処理制御部５４は、I3Cに従って、ＡＰ３１の通信処理制御部６３により主導的に制御される通信処理を行う。例えば、通信処理制御部５４は、ＡＰ３１から送信されてくるディレイタイムやサンプリング周期などの設定値を受信して、レジスタ４３－１に保持させたり、レジスタ５３からサンプリング時刻データおよび角速度データを読み出して、ＡＰ３１へ送信したりする。

【0046】

ＡＰ３１は、画像データ受信部６１、時刻同期カウンタ６２、通信処理制御部６３、レジスタ６４、データ統合部６５、および情報処理部６６を備えて構成される。

【0047】

画像データ受信部６１は、画像センサ２２－１の画像データ送信部４５－１からC-PHYまたはD-PHYに従って伝送されてくる、撮像時刻データが格納された画像データを受信して、データ統合部６５に供給する。

【0048】

時刻同期カウンタ６２は、I3Cで定義されているタイミングコントロールを実現するために、所定のクロック周波数でカウント値をカウントする。

【0049】

通信処理制御部６３は、I3Cに従って、画像センサ２２－１の通信処理制御部４４－１およびジャイロセンサ２３の通信処理制御部５４との間の通信処理を主導的に制御する。例えば、通信処理制御部６３は、情報処理部６６から供給されるディレイタイムやサンプリング周期などの設定値を、画像センサ２２－１およびジャイロセンサ２３へ送信する。また、通信処理制御部６３は、ジャイロセンサ２３に対するリード処理を行って、ジャイロセンサ２３から送信されてくるサンプリング時刻データおよび角速度データを受信し、レジスタ６４に保持させる。

【0050】

レジスタ６４は、通信処理制御部６３から供給されるサンプリング時刻データおよび角速度データを保持する。

【0051】

データ統合部６５は、画像データ受信部６１から供給される画像データの撮像時刻データを参照し、同じタイミングを示すサンプリング時刻データの角速度データを、レジスタ６４から読み出す。そして、データ統合部６５は、それらのデータを統合するセンサフュージョン処理、例えば、角速度から求められるドローンの姿勢に従って、画像の歪みを補正するようなセンサフュージョン処理を施す。なお、データ統合部６５によりセンサフュージョン処理が施された画像データは、例えば、後段の飛行制御処理部（図示せず）においてドローンの飛行を制御するのに用いられる。

【0052】

情報処理部６６は、通信処理制御部６３を介して、画像センサ２２－１の時刻同期カウンタ４２－１の周波数および誤差、並びに、ジャイロセンサ２３の時刻同期カウンタ５２の周波数および誤差を取得する。そして、情報処理部６６は、時刻同期カウンタ４２－１の周波数に従って、画像センサ２２－１に対するディレイタイムやサンプリング周期などを設定して、それらの設定値を送信させる。同様に、情報処理部６６は、時刻同期カウンタ５２の周波数に従って、ジャイロセンサ２３に対するディレイタイムやサンプリング周期などを設定して、それらの設定値を送信させる。さらに、情報処理部６６は、時刻同期カウンタ４２－１および時刻同期カウンタ５２の誤差に基づいて、それらの誤差が積算されることで同期が外れることが想定されるより前の所定のタイミングを、再度、同期維持を行わせる同期維持タイミングとして設定する。

【0053】

図３を参照して、画像センサ２２－１およびジャイロセンサ２３と、ＡＰ３１との間で行われる時刻同期に基づいた出力制御の動作について説明する。

【0054】

図３に示す動作例では、画像センサ２２－１の時刻同期カウンタ４２－１は、ＡＰ３１の時刻同期カウンタ６２と同一のクロック周波数で動作し、ジャイロセンサ２３の時刻同期カウンタ５２は、ＡＰ３１の時刻同期カウンタ６２の半分のクロック周波数で動作している。なお、いずれも位相ずれについては考慮せずに説明を行う。

【0055】

まず、ＡＰ３１では、時刻ｔ００を原点として、時刻同期カウンタ６２がカウントを開始する。また、サンプリング周期は、ＡＰ３１の時刻同期カウンタ６２による１６カウントが１周期となるように設定されている。

【0056】

そして、ＡＰ３１では、通信処理制御部６３が、時刻ｔ００から所定のディレイタイム（図３の例では、DT=6）となるタイミングの時刻ｔ０１において、I3Cに従って通信の開始を示すスタートコンディションを出力する。例えば、通信処理制御部６３は、シリアルデータSDAが０である状態で、シリアルクロックSCLを１から０へ切り替えることでスタートコンディションを出力する。

【0057】

そして、通信処理制御部６３は、スタートコンディションの出力に続いて、I3Cに従って、時刻同期した動作の開始を指示するＳＴメッセージ（SETXTIME CCC with ST Sub-Command）を送信する。ここで、ディレイタイムは、時刻同期カウンタ６２において時刻ｔ００を設定してから、画像センサ２２－１およびジャイロセンサ２３のI3C端子にＳＴメッセージが入力されるまで遅延値である。

【0058】

一方、画像センサ２２－１では、通信処理制御部４４－１が、スタートコンディションが出力されたことを検出すると、スタートコンディション検出を時刻同期カウンタ４２－１に通知する。これに応じ、時刻同期カウンタ４２－１は、スタートコンディション検出が通知された時刻ｔ０１でのカウント値（図３の例では、CIS-1_Count=50）を、レジスタ４３－１に供給して保持させる。

【0059】

同様に、ジャイロセンサ２３では、通信処理制御部５４が、スタートコンディションが出力されたことを検出すると、スタートコンディション検出を時刻同期カウンタ５２に通知する。これに応じ、時刻同期カウンタ５２は、スタートコンディション検出が通知された時刻ｔ０１でのカウント値（図３の例では、Gyro_Count=25）を、レジスタ５３に供給して保持させる。

【0060】

その後、時刻ｔ０２において、画像センサ２２－１では、通信処理制御部４４－１が、ＳＴメッセージを受信すると、ＳＴメッセージ検出を時刻同期カウンタ４２－１に通知する。そして、時刻同期カウンタ４２－１は、ＳＴメッセージに応じて、時刻ｔ０２のカウント値（図３の例では、CIS-1_Count=56）、レジスタ４３－１が保持していた時刻ｔ０１のカウント値（図３の例では、CIS-1_Count=50）、およびディレイタイムに基づいて、新たにセットするカウント値を算出する。なお、画像センサ２２－１は、クロック周波数がＡＰ３１と同一であり、ディレイタイムは６となる。

【0061】

例えば、時刻同期カウンタ４２－１は、レジスタ４３－１が保持していた時刻ｔ０１のカウント値から時刻ｔ０２のカウント値を減算した差分にディレイタイムを加算し、次のカウントタイミングの値とするためにインクリメント（＋１）したカウント値（13=(56-50)+6+1）を算出する。これにより、画像センサ２２－１の時刻同期カウンタ４２－１と、ＡＰ３１の時刻同期カウンタ６２との原点が一致して、時刻同期することができる。

【0062】

同様に、時刻ｔ０２において、ジャイロセンサ２３では、通信処理制御部５４が、ＳＴメッセージを受信すると、ＳＴメッセージ検出を時刻同期カウンタ５２に通知する。そして、時刻同期カウンタ５２は、ＳＴメッセージに応じて、時刻ｔ０２のカウント値（図３の例では、Gyro_Count=28）、レジスタ５３が保持していた時刻ｔ０１のカウント値（図３の例では、Gyro_Count=25）、およびディレイタイムに基づいて、新たにセットするカウント値を算出する。なお、ジャイロセンサ２３は、クロック周波数がＡＰ３１の半分であり、ディレイタイムは３となる。

【0063】

例えば、時刻同期カウンタ５２は、レジスタ５３が保持していた時刻ｔ０１のカウント値から時刻ｔ０２でのカウント値を減算した差分にディレイタイムを加算し、次のカウントタイミングの値とするためにインクリメント（＋１）したカウント値（7=(28-25)+3+1）を算出する。これにより、ジャイロセンサ２３の時刻同期カウンタ５２と、ＡＰ３１の時刻同期カウンタ６２との原点が一致して、時刻同期することができる。

【0064】

続いて、時刻ｔ０３において、サンプリング周期に従い、画像センサ２２－１では、撮像素子４１－１が、撮像を行って取得した画像データを画像データ送信部４５－１へ出力する。このとき、時刻同期カウンタ４２－１は、時刻ｔ０３におけるカウント値（図３の例では、CIS-1_Count=15）を撮像時刻データとして、レジスタ４３－１に供給して保持させる。

【0065】

その後、画像センサ２２－１では、画像データ送信部４５－１が、レジスタ４３－１から撮像時刻データを読み出して、CSI-2のEmbedded Data Packetに撮像時刻データを格納する。そして、画像データ送信部４５－１は、撮像時刻データ（図３の例では、CIS-1_Count=15）が格納された画像データを、C-PHYまたはD-PHYに従ってＡＰ３１へ送信する。ここで、Embedded Data Packetは、CSI-2規格上、図４に示すようにハッチングを付した個所に配置され、任意のデータを格納することが可能であると定義されている。なお、画像センサ２２－１からＡＰ３１への撮像時刻データの送信は、このようにCSI-2のEmbedded Data Packetに格納する方法に限定されることはなく、他の方法を採用してもよい。例えば、撮像時刻データを、他のパケットに格納したり、画像データのパケットヘッダ（図４に示すＤ１またはＤ２）に格納したりする方法を採用してもよい。

【0066】

同様に、時刻ｔ０３において、サンプリング周期に従い、ジャイロセンサ２３では、検出部５１が角速度を検出して取得した角速度データをレジスタ５３に書き込む。このとき、時刻同期カウンタ５２は、時刻ｔ０３におけるカウント値（図３の例では、Gyro_Count=7）をサンプリング時刻データとして、レジスタ５３に供給して保持させる。なお、レジスタ５３では、角速度データおよびサンプリング時刻データが隣り合ったアドレスに配置される。これにより、通信処理制御部５４がレジスタ５３から角速度データおよびサンプリング時刻データを読み出す際に、I3Cでバーストリードすることができる。

【0067】

その後、ジャイロセンサ２３では、ＡＰ３１の通信処理制御部６３がI3Cに従って行うリード要求に応じて、通信処理制御部５４が、レジスタ５３から角速度データおよびサンプリング時刻データを読み出す。そして、通信処理制御部５４は、I3Cに従って、角速度データおよびサンプリング時刻データ（図３の例では、Gyro_Count=7）をＡＰ３１に送信する。

【0068】

以下、サンプリング周期に従って同様の処理が繰り返して行われ、例えば、時刻ｔ０４において、撮像素子４１－１による撮像が行われるとともに、検出部５１による角速度の検出が行われる。そして、画像センサ２２－１から、時刻ｔ０４におけるカウント値（図３の例では、CIS-1_Count=31）である撮像時刻データがCSI-2のEmbedded Data Packetに格納された画像データが、C-PHYまたはD-PHYに従ってＡＰ３１へ送信される。同様に、ジャイロセンサ２３から、時刻ｔ０４におけるカウント値（図３の例では、Gyro_Count=15）であるサンプリング時刻データが角速度データとともに、I3Cに従ってＡＰ３１へ送信される。

【0069】

このとき、画像センサ２２－１が画像データを出力するタイミングと、ジャイロセンサ２３が角速度データを出力するタイミングとは、互いに前後することがある。つまり、図３に示す例では、時刻ｔ０３で撮像された画像データは、時刻ｔ０３で取得された角速度データより先に出力され、時刻ｔ０４で撮像された画像データは、時刻ｔ０４で取得された角速度データより後に出力されている。このようなデータの追い越しが発生した場合でも、通信システム１１では、撮像時刻データおよびサンプリング時刻データが時刻同期しているので、ＡＰ３１は、同じタイミングでサンプリングされた画像データおよび角速度データを抽出してセンサフュージョン処理を行うことができる。

【0070】

ところで、時刻同期カウンタ４２－１および時刻同期カウンタ５２が有している誤差が積算されることで、時刻ｔ００を原点として時刻同期を行っている場合でも、同期が外れることが想定される。そこで、通信システム１１では、同期が外れることが想定されるより前の同期維持タイミングにおいて、ＡＰ３１が、スタートコンディションを再出力し、ＳＴメッセージを再送信することで、新たに時刻同期を維持させることができる。

【0071】

例えば、図３に示すように、時刻ｔ１０において同期維持タイミングとなった場合、ＡＰ３１では、通信処理制御部６３が、時刻ｔ１０から所定のディレイタイムとなるタイミングの時刻ｔ１１において、I3Cに従って通信の開始を示すスタートコンディションを再出力し、ＳＴメッセージを再送信する。これによって、上述したのと同様に、時刻ｔ１２において、画像センサ２２－１およびジャイロセンサ２３において、新たにセットするカウント値を算出され、時刻ｔ１０を原点とした時刻同期が行われる。その後、サンプリング周期に従った時刻ｔ１３において、画像センサ２２－１において画像データが取得されるとともに、ジャイロセンサ２３において角速度データが取得され、以下、同様の処理が繰り返して行われる。

【0072】

なお、一般的には、サンプリング周期（図３に示す例では、カウント値０～１５）で１周するカウンタが実装されるが、この構成では、サンプリング周期ごとのサンプリング時刻が同じカウント値となって、上述したようなデータの追い越しが発生したことを認識することができなくなる。そこで、通信システム１１では、最低でもサンプリング周期の２周期以上で１周するような時刻同期カウンタ４２－１、時刻同期カウンタ５２、および時刻同期カウンタ６２が実装される。これにより、少なくとも連続するサンプリング周期でサンプリング時刻が異なるカウント値となるため、データの追い越しが発生したことを認識することができる。

【0073】

図５は、ＡＰ３１で行われる時刻同期に基づいた出力制御処理を説明するフローチャートである。

【0074】

例えば、通信システム１１が起動すると処理が開始される。ステップＳ１１において、情報処理部６６は、通信処理制御部６３を介して、画像センサ２２－１の時刻同期カウンタ４２－１の周波数および誤差、並びに、ジャイロセンサ２３の時刻同期カウンタ５２の周波数および誤差を取得する。

【0075】

ステップＳ１２において、情報処理部６６は、ステップＳ１１で取得した画像センサ２２－１の時刻同期カウンタ４２－１の周波数に合わせたディレイタイムおよびサンプリング周期を設定し、通信処理制御部６３を介して画像センサ２２－１に送信する。同様に、情報処理部６６は、ステップＳ１１で取得したジャイロセンサ２３の時刻同期カウンタ５２の周波数に合わせたディレイタイムおよびサンプリング周期を設定し、通信処理制御部６３を介してジャイロセンサ２３に送信する。

【0076】

ステップＳ１３において、通信処理制御部６３は、I3Cに従ったスタートコンディションを出力し、時刻同期した動作の開始を指示するＳＴメッセージを送信する。これに応じ、画像センサ２２－１およびジャイロセンサ２３では、図３を参照して上述したようにＡＰ３１の時刻同期カウンタ６２と時刻同期が行われる。そして、時刻同期されたサンプリング周期に従ったタイミングで、画像センサ２２－１において撮像が開始されるとともに、ジャイロセンサ２３において角速度の検出が開始される。

【0077】

ステップＳ１４において、通信処理制御部６３は、I3Cに従ったリード要求を行い、ジャイロセンサ２３から角速度データおよびサンプリング時刻データを読み出して、レジスタ６４に格納する。

【0078】

ステップＳ１５において、画像データ受信部６１は、C-PHYまたはD-PHYに従って画像センサ２２－１から送信されてくる画像データを受信して、データ統合部６５に供給する。このとき、画像データ受信部６１は、CSI-2のEmbedded Data Packetに格納されている撮像時刻データを取得して、データ統合部６５に供給する。

【0079】

ステップＳ１６において、データ統合部６５は、ステップＳ１５で供給された画像データの撮像時刻データと同じタイミングを示すサンプリング時刻データの角速度データをレジスタ６４から読み出して、それらのデータを統合するセンサフュージョン処理を行う。即ち、データ統合部６５は、C-PHYまたはD-PHY経由で受信した画像データの撮像時刻データと、I3C経由で受信した角速度データのサンプリング時刻データとを比較し、それらの時刻に応じて、角速度から求められるドローンの姿勢に従って、画像の歪みを補正するなどのセンサフュージョン処理を行う。

【0080】

ステップＳ１７において、情報処理部６６は、ステップＳ１１で取得された誤差から設定される同期維持タイミングとなったか否かを判定する。例えば、情報処理部６６は、画像センサ２２－１の時刻同期カウンタ４２－１の誤差、および、ジャイロセンサ２３の時刻同期カウンタ５２の誤差に基づいて、それらの誤差が積算されて同期が外れることが想定される前の所定のタイミングを同期維持タイミングとして予め設定することができる。

【0081】

ステップＳ１７において、情報処理部６６が、同期維持タイミングとなったと判定した場合、処理はステップＳ１３に戻る。即ち、この場合、ステップＳ１３において、スタートコンディションを再出力され、ＳＴメッセージが再送信される。これに応じて、画像センサ２２－１およびジャイロセンサ２３では、図３を参照して上述したようにＡＰ３１の時刻同期カウンタ６２と新たに時刻同期が維持されることになり、以下、同様の処理が繰り返して行われる。

【0082】

一方、ステップＳ１７において、情報処理部６６が、同期維持タイミングとなっていないと判定した場合、処理はステップＳ１８に進む。

【0083】

ステップＳ１８において、情報処理部６６は、画像センサ２２－１およびジャイロセンサ２３との間で同期を停止するか否かを判定する。

【0084】

ステップＳ１８において、情報処理部６６が、画像センサ２２－１およびジャイロセンサ２３との間で同期を停止しないと判定した場合、処理はステップＳ１４に戻る。即ち、この場合、同期維持タイミングではなく、かつ、同期を停止しないことより、現在の時刻同期を維持したままで画像データおよび角速度データを取得する動作が、以下、同様に繰り返して行われる。

【0085】

一方、ステップＳ１８において、情報処理部６６が、画像センサ２２－１およびジャイロセンサ２３との間で同期を停止すると判定した場合、処理はステップＳ１９に進む。

【0086】

ステップＳ１９において、通信処理制御部６３は、時刻同期した動作の終了を指示するEXITメッセージ（SETXTIME CCC with ST Sub-Command）を送信し、時刻同期に基づいた出力制御処理を終了する。

【0087】

図６に示すフローチャートは、画像センサ２２－１で行われる時刻同期に基づいた出力制御処理を説明するフローチャートである。

【0088】

ステップＳ３１において、通信処理制御部４４－１は、ＡＰ３１の通信処理制御部６３からの要求（図５のステップＳ１１参照）に応じて、時刻同期カウンタ４２－１の周波数および誤差を送信する。

【0089】

ステップＳ３２において、通信処理制御部４４－１は、図５のステップＳ１２で送信されてくるディレイタイムおよびサンプリング周期を受信し、レジスタ４３－１に設定する。

【0090】

ステップＳ３３において、通信処理制御部４４－１は、スタートコンディションを検出したか否かを判定し、スタートコンディションを検出したと判定するまで処理を待機する。例えば、図５のステップＳ１３でＡＰ３１の通信処理制御部６３がスタートコンディションを出力すると、通信処理制御部４４－１は、スタートコンディションを検出したと判定して、処理はステップＳ３４に進む。

【0091】

ステップＳ３４において、通信処理制御部４４－１は、スタートコンディション検出を時刻同期カウンタ４２－１に通知し、時刻同期カウンタ４２－１は、スタートコンディション検出が通知された時刻でのカウント値をレジスタ４３－１に保持させる。

【0092】

ステップＳ３５において、通信処理制御部４４－１は、ＳＴメッセージを受信したか否かを判定し、ＳＴメッセージを受信したと判定するまで処理を待機する。例えば、通信処理制御部４４－１は、図５のステップＳ１３でＡＰ３１の通信処理制御部６３が送信したＳＴメッセージを受信すると、ＳＴメッセージを受信したと判定して、処理はステップＳ３６に進む。

【0093】

ステップＳ３６において、通信処理制御部４４－１は、ＳＴメッセージ受信を時刻同期カウンタ４２－１に通知し、時刻同期カウンタ４２－１は、図３を参照して上述したように新たにセットするカウント値を算出する。そして、時刻同期カウンタ４２－１が、算出したカウント値をセットすることで、ＡＰ３１の時刻同期カウンタ６２と時刻同期することになる。

【0094】

ステップＳ３７において、撮像素子４１－１は、サンプリング周期に従って撮像を行い、その撮像により取得される画像データを画像データ送信部４５－１へ出力する。

【0095】

ステップＳ３８において、時刻同期カウンタ４２－１は、ステップＳ３７で撮像素子４１－１が撮像を行ったタイミングにおけるカウント値を撮像時刻データとして取得し、レジスタ４３－１に保持させる。

【0096】

ステップＳ３９において、画像センサ２２－１から画像データを送信するタイミングになると、画像データ送信部４５－１は、ステップＳ３７で撮像素子４１－１から供給された画像データの撮像時刻データを、レジスタ４３－１から読み出す。そして、画像データ送信部４５－１は、撮像時刻データが格納された画像データを、C-PHYまたはD-PHYに従ってＡＰ３１へ送信する。

【0097】

ステップＳ４０において、通信処理制御部４４－１は、EXITメッセージを受信したか否かを判定する。例えば、図５のステップＳ１９でＡＰ３１の通信処理制御部６３が送信したEXITメッセージを受信すると、通信処理制御部４４－１は、EXITメッセージを受信したと判定することができる。

【0098】

ステップＳ４０において、通信処理制御部４４－１が、EXITメッセージを受信していないと判定した場合、処理はステップＳ４１に進む。

【0099】

ステップＳ４１において、通信処理制御部４４－１は、スタートコンディションを検出したか否かを判定する。例えば、図５のステップＳ１７で同期維持タイミングとなったと判定された後にステップＳ１３でスタートコンディションが再出力されると、通信処理制御部４４－１は、スタートコンディションを検出したと判定することができる。

【0100】

ステップＳ４１において、通信処理制御部４４－１が、スタートコンディションを検出したと判定した場合、処理はステップＳ３４に戻る。即ち、この場合、図３を参照して上述したようにＡＰ３１の時刻同期カウンタ６２と新たに時刻同期が維持されることになり、その後、同様の処理が繰り返して行われる。

【0101】

一方、ステップＳ４１において、通信処理制御部４４－１が、スタートコンディションを検出していないと判定した場合、処理はステップＳ３７に戻り、現在の時刻同期を維持したままで画像データを送信する動作が、以下、同様に繰り返して行われる。

【0102】

一方、ステップＳ４０において、通信処理制御部４４－１が、EXITメッセージを受信したと判定した場合、時刻同期に基づいた出力制御処理は終了される。

【0103】

図７は、ジャイロセンサ２３で行われる時刻同期を伴う処理を説明するフローチャートである。

【0104】

ステップＳ５１乃至Ｓ５６では、図６のステップＳ３１乃至Ｓ３６と同様の処理が行われる。そして、ステップＳ５６において、時刻同期カウンタ５２が、新たにセットするカウント値を算出することで、ＡＰ３１の時刻同期カウンタ６２と時刻同期することになる。

【0105】

ステップＳ５７において、検出部５１は、サンプリング周期に従って角速度の検出を行い、その検出により取得される角速度データをレジスタ５３に書き込む。

【0106】

ステップＳ５８において、時刻同期カウンタ５２は、ステップＳ５７で検出部５１が角速度の検出を行ったタイミングにおけるカウント値をサンプリング時刻データとして取得し、角速度データと隣り合ったアドレスでサンプリング時刻データをレジスタ５３に書き込む。

【0107】

ステップＳ５９において、通信処理制御部５４は、例えば、図５のステップＳ１４でＡＰ３１の通信処理制御部６３が行うI3Cに従ったリード要求に応じて、レジスタ５３から角速度データおよびサンプリング時刻データを読み出し、ＡＰ３１へ送信する。

【0108】

その後、ステップＳ６０およびＳ６１では、図６のステップＳ４０およびＳ４１と同様の処理が行われる。

【0109】

以上のように、通信システム１１では、異なる伝送路を通って画像データおよび角速度データが伝送される構成であっても、I3Cで定義されているタイミングコントロールを利用した時刻同期に基づいて、適切な出力制御を行うことができる。

【0110】

＜時刻同期に基づいた出力制御の第２の処理例＞
図８乃至１２を参照して、時刻同期に基づいた出力制御の第２の処理例として、同一の伝送路を通るデータに対する出力制御について説明する。

【0111】

図８に示す通信システム１１では、図１に示した通信システム１１を構成する各ブロックのうち、時刻同期に基づいた出力制御の第２の処理例を説明するのに用いる画像センサ２２－１および２２－２、並びに、ＡＰ３１が示されている。即ち、画像センサ２２－１からC-PHYまたはD-PHYによりＡＰ３１へ伝送される画像データと、画像センサ２２－２からC-PHYまたはD-PHYによりＡＰ３１へ伝送される画像データとが同一の伝送路を通る際に、それぞれの画像データに対して、時刻同期に基づいた出力制御が行われる。

【0112】

画像センサ２２－１は、図２を参照して上述したのと同様に、撮像素子４１－１、時刻同期カウンタ４２－１、レジスタ４３－１、通信処理制御部４４－１、および画像データ送信部４５－１を備えて構成される。また、画像センサ２２－２は、画像センサ２２－１と上述と同様に、撮像素子４１－２、時刻同期カウンタ４２－２、レジスタ４３－２、通信処理制御部４４－２、および画像データ送信部４５－２を備えて構成される。

【0113】

ＡＰ３１は、図２を参照して上述したのと同様に、画像データ受信部６１、時刻同期カウンタ６２、通信処理制御部６３、レジスタ６４、データ統合部６５、および情報処理部６６を備えて構成される。

【0114】

ここで、時刻同期に基づいた出力制御の第２の処理例では、ＡＰ３１の情報処理部６６が、画像センサ２２－１および２２－２それぞれから画像を出力するタイミングを指示する画像出力タイミングを設定する。そして、情報処理部６６は、通信処理制御部６３を介して、ディレイタイムやサンプリング周期などの設定値とともに画像出力タイミングを画像センサ２２－１および２２－２へ送信する。

【0115】

そして、画像センサ２２－１では、通信処理制御部４４－１が画像出力タイミングを受信してレジスタ４３－１に保持させ、画像センサ２２－２では、通信処理制御部４４－２が画像出力タイミングを受信してレジスタ４３－２に保持させる。

【0116】

従って、画像センサ２２－１では、画像データ送信部４５－１が、レジスタ４３－１に保持されている画像出力タイミングに基づいて、撮像時刻データが格納された画像データを、C-PHYまたはD-PHYに従ってＡＰ３１へ送信することができる。同様に、画像センサ２２－２では、画像データ送信部４５－２が、レジスタ４３－２に保持されている画像出力タイミングに基づいて、撮像時刻データが格納された画像データを、C-PHYまたはD-PHYに従ってＡＰ３１へ送信することができる。

【0117】

これにより、通信システム１１では、例えば、外部から同期信号を伝送するための信号線を設けることなく、I3Cで定義されているタイミングコントロールの一部を利用して、画像センサ２２－１および２２－２から同一の伝送路で画像データを伝送することができる。

【0118】

図９を参照して、画像センサ２２－１および２２－２と、ＡＰ３１との間で行われる時刻同期に基づいた出力制御の動作について説明する。

【0119】

図９に示す動作例では、画像センサ２２－１の時刻同期カウンタ４２－１は、ＡＰ３１の時刻同期カウンタ６２と同一のクロック周波数で動作し、画像センサ２２－２の時刻同期カウンタ４２－２は、ＡＰ３１の時刻同期カウンタ６２の半分のクロック周波数で動作している。なお、いずれも位相ずれについては考慮せずに説明を行う。

【0120】

まず、時刻同期に基づいた出力制御の第２の処理例では、図３を参照して上述したのと同様に、スタートコンディションの出力に続いてＳＴメッセージが送信され、時刻ｔ００を原点として時刻同期が行われる。

【0121】

そして、図９に示す例では、画像センサ２２－１の画像出力タイミングは、サンプリング周期に従って撮像が行われるタイミングから２クロック後が指定されている。また、画像センサ２２－２の画像出力タイミングは、サンプリング周期に従って撮像が行われるタイミングから５クロック後が指定されている。

【0122】

従って、画像センサ２２－１では、画像データ送信部４５－１が、サンプリング周期に従って撮像が行われる時刻ｔ０３から２クロック後のタイミング（図９の例では、CIS-1_Count=18）で、撮像時刻データが格納された画像データをC-PHYまたはD-PHYに従ってＡＰ３１へ送信する。同様に、画像センサ２２－２では、画像データ送信部４５－２が、サンプリング周期に従って撮像が行われる時刻ｔ０３から５クロック後のタイミング（図９の例では、CIS-2_Count=13）で、撮像時刻データが格納された画像データをC-PHYまたはD-PHYに従ってＡＰ３１へ送信する。

【0123】

このように、通信システム１１では、それぞれ異なるタイミングを指示する画像出力タイミングによって、同一の伝送路を介して画像データを送信する際に、バス上で信号の衝突を回避することができる。

【0124】

また、時刻同期に基づいた出力制御の第２の処理例でも、図３を参照して上述したのと同様に、同期が外れることが想定されるより前の同期維持タイミングにおいて、ＡＰ３１が、スタートコンディションを再出力し、ＳＴメッセージを再送信することで、新たに時刻同期を維持させることができる。

【0125】

図１０に示すフローチャートは、ＡＰ３１で行われる時刻同期に基づいた出力制御処理を説明するフローチャートである。

【0126】

例えば、通信システム１１が起動すると処理が開始される。ステップＳ７１において、情報処理部６６は、通信処理制御部６３を介して、画像センサ２２－１の時刻同期カウンタ４２－１の周波数および誤差、並びに、画像センサ２２－２の時刻同期カウンタ４２－２の周波数および誤差を取得する。

【0127】

ステップＳ７２において、情報処理部６６は、ステップＳ７１で取得した画像センサ２２－１の時刻同期カウンタ４２－１の周波数に合わせたディレイタイム、サンプリング周期、および画像出力タイミングを設定し、通信処理制御部６３を介して画像センサ２２－１に送信する。同様に、情報処理部６６は、ステップＳ７１で取得した画像センサ２２－２の時刻同期カウンタ４２－２の周波数に合わせたディレイタイム、サンプリング周期、および画像出力タイミングを設定し、通信処理制御部６３を介して画像センサ２２－２に送信する。

【0128】

ステップＳ７３において、通信処理制御部６３は、I3Cに従ったスタートコンディションを出力し、時刻同期した動作の開始を指示するＳＴメッセージを送信する。これに応じ、画像センサ２２－１および２２－２では、図９に示したようにＡＰ３１の時刻同期カウンタ６２と時刻同期が行われる。そして、時刻同期されたサンプリング周期に従ったタイミングで、画像センサ２２－１および２２－２において撮像が開始される。

【0129】

ステップＳ７４において、画像データ受信部６１は、C-PHYまたはD-PHYに従って画像センサ２２－１および２２－２それぞれの画像出力タイミングに応じて送信されてくる画像データを受信して、データ統合部６５に供給する。このとき、画像データ受信部６１は、CSI-2のEmbedded Data Packetに格納されている撮像時刻データを取得して、データ統合部６５に供給する。

【0130】

その後、ステップＳ７５乃至Ｓ７７では、図５のステップＳ１７乃至Ｓ１９と同様の処理が、画像センサ２２－１および２２－２を対象として行われる。

【0131】

図１１は、画像センサ２２－１および２２－２で行われる時刻同期に基づいた出力制御処理を説明するフローチャートである。なお、画像センサ２２－１および２２－２では、同様の処理が行われるため、以下適宜、画像センサ２２－１および２２－２を単に画像センサ２２と称し、画像センサ２２－１および２２－２を構成する各部についても同様に称する。

【0132】

ステップＳ８１において、通信処理制御部４４は、ＡＰ３１の通信処理制御部６３からの要求（図１０のステップＳ７１参照）に応じて、時刻同期カウンタ４２の周波数および誤差を送信する。

【0133】

ステップＳ８２において、通信処理制御部４４は、図１０のステップＳ７２で送信されてくるディレイタイム、サンプリング周期、および画像出力タイミングを受信し、レジスタ４３に設定する。

【0134】

その後、ステップＳ８３乃至Ｓ８８では、図６のステップＳ３３乃至Ｓ３８と同様の処理が行われる。

【0135】

そして、ステップＳ８９において、画像データ送信部４５は、レジスタ４３に格納されている画像出力タイミングに基づいて、撮像時刻データが格納された画像データを、C-PHYまたはD-PHYに従ってＡＰ３１へ送信する。

【0136】

その後、ステップＳ９０およびＳ９１では、図６のステップＳ４０およびＳ４１と同様の処理が行われる。

【0137】

以上のように、通信システム１１では、同一の伝送路を通って複数の画像データが伝送される構成であっても、I3Cで定義されているタイミングコントロールを利用した時刻同期に基づいて、適切な出力制御を行うことができる。なお、通信システム１１では、ＡＰ３１側において、サンプリング周期に従った画像出力タイミングを把握していることより、画像データに撮像時刻データが格納されていなくても、画像データが送信されてきたタイミングから撮像時刻を認識することができる。即ち、同一の伝送路を通るデータに対する出力制御では、画像データに撮像時刻データを格納することは必須ではなく、つまり、撮像時刻データを必ずしも出力しなくてもよく、画像出力タイミングに従って画像データを出力する制御が行われていればよい。

【0138】

なお、通信システム１１において、画像出力タイミングを制御する制御方法としては、以下で説明する２つの制御方法を用いることができる。

【0139】

第１の制御方法では、図１２に示すように、個々の画像センサ２２が、指定された画像出力タイミングから画像のラインごとにＡＤ変換を開始するタイミングを計算して、制御することによって、連続して画像を出力するように出力制御が行われる。

【0140】

第２の制御方法では、個々の画像センサ２２が画像の全てのラインを一斉にＡＤ変換して、画像データをＲＡＭなどに格納した後に、指定された画像出力タイミングに従って画像データを出力するように出力制御が行われる。

【0141】

例えば、第１の制御方法は、第２の制御方法と比較して、出力制御が複雑になる一方で、ＲＡＭが不要になるとともに、１ライン分のＡＤ変換回路を備える構成でよく、回路規模を最小化することができるという利点を有する。また、第１の制御方法では、ＡＰ３１が指定する画像出力タイミングとして、１行目のラインのＡＤ変換を開始するタイミングを指定することで出力制御を実現することができる。

【0142】

以上のように、通信システム１１は、上述の図３を参照して説明したようなデータの追い越しが発生しても、同じタイミングでサンプリングされたデータどうしでセンサフュージョン処理を行うことができる。また、通信システム１１は、外部から同期信号を伝送するための信号線が不要な構成とすることができるとともに、ＡＰ３１のピン数を削減することができる。

【0143】

さらに、通信システム１１は、I3C規格で定義されているタイミングコントロールを利用して時刻同期を行うので、I3C規格を採用した各種のセンサであれば、確実に出力制御を行うことができる。また、通信システム１１は、例えば、サンプリング周期ごとに同期信号を送信するような処理を行う必要がなく、同期維持タイミングとなったときにＳＴメッセージを再送信するだけでよいので、ＡＰ３１の処理負荷の軽減を図ることができる。

【0144】

また、通信システム１１は、I3C規格で定義されているタイミングコントロールを利用して時刻同期を行うので、例えば、画像出力タイミングを制御するための専用の同期制御機構を不要とすることができる。

【0145】

なお、通信システム１１は、上述した第１の処理例および第２の処理例との両方を実行できるように構成する他、いずれか一方だけを実行できるような構成としてもよい。

【0146】

＜画像センサ、ジャイロセンサ、およびＡＰの実装例＞
図１３乃至図１５を参照して、画像センサ２２、ジャイロセンサ２３、およびＡＰ３１の実装例について説明する。

【0147】

図１３には、画像センサ２２の実装例が示されている。

【0148】

図１３に示すように、画像センサ２２は、画素１０１、ＡＤ変換器１０２、画像処理部１０３、CSI-2トランスミッタ１０４、物理層処理部１０５、I2C/I3Cスレーブ１０６、CCIスレーブ１０７、レジスタ１０８、および時刻同期カウンタ１０９を備えて構成される。

【0149】

画素１０１、ＡＤ変換器１０２、および画像処理部１０３は、例えば、図２の撮像素子４１－１を構成する。即ち、画素１０１は、光を受光した光量に応じた画素信号を出力し、ＡＤ変換器１０２は、画素信号をデジタル値に変換して画像処理部１０３に供給する。そして、画像処理部１０３は、画素信号から画像を構築する画像処理を行うことにより得られる画像データを、CSI-2トランスミッタ１０４に供給する。

【0150】

CSI-2トランスミッタ１０４および物理層処理部１０５は、例えば、図２の画像データ送信部４５－１を構成する。即ち、CSI-2トランスミッタ１０４は、画像処理部１０３から供給された画像データをCSI-2に従って送信し、物理層処理部１０５は、その画像データをC-PHYまたはD-PHYに従ってＡＰ３１へ伝送する。

【0151】

I2C/I3Cスレーブ１０６およびCCI（Camera Control Interface）スレーブ１０７は、例えば、図２の通信処理制御部４４－１を構成する。即ち、I2C/I3Cスレーブ１０６は、ＡＰ３１のI2C/I3Cマスタ１２７により主導的に制御されるI2CまたはI3Cに従った通信処理を行い、CCIスレーブ１０７は、ＡＰ３１のCCIマスタ１２６により主導的に制御されるCCIに従った通信処理を行う。例えば、I2C/I3Cスレーブ１０６は、スタートコンディション検出、ＳＴメッセージ検出、およびEXITメッセージ検出を、時刻同期カウンタ１０９に通知する。

【0152】

レジスタ１０８は、図２のレジスタ４３－１に対応する。即ち、レジスタ１０８には、ディレイタイムや、サンプリング周期、画像出力タイミングなどの設定値がI2C/I3Cスレーブ１０６およびCCIスレーブ１０７を介して書き込まれる。また、レジスタ１０８は、時刻同期カウンタ１０９から出力される撮像時刻データ（サンプリング時刻）を保持し、撮像時刻データはCSI-2トランスミッタ１０４により読み出される。

【0153】

時刻同期カウンタ１０９は、図２の時刻同期カウンタ４２－１に対応する。即ち、時刻同期カウンタ１０９は、レジスタ１０８からディレイタイムや、サンプリング周期、画像出力タイミングなどの設定値を読み出して、時刻同期を行って、画素１０１に対する撮像開始のタイミング、および、ＡＤ変換器１０２に対するA/D変換開始のタイミングを指示する。

【0154】

図１４には、ジャイロセンサ２３の実装例が示されている。

【0155】

図１４に示すように、ジャイロセンサ２３は、センサ１１１、I2C/I3Cスレーブ１１２、CCIスレーブ１１３、レジスタ１１４、および時刻同期カウンタ１１５を備えて構成される。

【0156】

センサ１１１は、図２の検出部５１に対応する。即ち、センサ１１１は、所定のサンプリング周期で角速度を検出して、角速度データをレジスタ１１４に書き込む。

【0157】

I2C/I3Cスレーブ１１２およびCCIスレーブ１１３は、例えば、図２の通信処理制御部５４を構成する。即ち、I2C/I3Cスレーブ１１２は、ＡＰ３１のI2C/I3Cマスタ１２７により主導的に制御されるI2CまたはI3Cに従った通信処理を行い、CCIスレーブ１１３は、ＡＰ３１のCCIマスタ１２６により主導的に制御されるCCIに従った通信処理を行う。例えば、I2C/I3Cスレーブ１１２は、スタートコンディション検出、ＳＴメッセージ検出、およびEXITメッセージ検出を、時刻同期カウンタ１１５に通知する。

【0158】

レジスタ１１４は、図２のレジスタ５３に対応する。即ち、レジスタ１１４には、ディレイタイムやサンプリング周期などの設定値がI2C/I3Cスレーブ１１２およびCCIスレーブ１１３を介して書き込まれる。また、レジスタ１１４は、時刻同期カウンタ１１５から出力されるサンプリング時刻データを保持し、角速度データおよびサンプリング時刻データは、I2C/I3Cスレーブ１１２およびCCIスレーブ１１３を介して、ＡＰ３１へ送信される。

【0159】

時刻同期カウンタ１１５は、図２の時刻同期カウンタ５２に対応する。即ち、時刻同期カウンタ１１５は、レジスタ１１４からディレイタイムやサンプリング周期などの設定値を読み出して、時刻同期を行って、センサ１１１に対する検出開始のタイミングを指示する。

【0160】

図１５には、ＡＰ３１の実装例が示されている。

【0161】

図１５に示すように、ＡＰ３１は、物理層処理部１２１、CSI-2レシーバ１２２、センサフュージョン処理部１２３、レジスタ１２４、時刻同期カウンタ１２５、CCIマスタ１２６、I2C/I3Cマスタ１２７、メモリ部１２８、およびプロセッサ１２９を備えて構成される。

【0162】

物理層処理部１２１およびCSI-2レシーバ１２２は、例えば、図２の画像データ受信部６１を構成する。即ち、物理層処理部１２１は、C-PHYまたはD-PHYに従って画像センサ２２から伝送されてくる画像データを受信し、CSI-2レシーバ１２２は、画像データをCSI-2に従って受信する。そして、CSI-2レシーバ１２２は、画像データをデータバスに出力するとともに、画像データおよび撮像時刻データをセンサフュージョン処理部１２３に供給する。

【0163】

センサフュージョン処理部１２３は、図２のデータ統合部６５に対応する。即ち、センサフュージョン処理部１２３は、撮像時刻データと同じタイミングを示すサンプリング時刻データの角速度データ（センサデータ）をレジスタ１２４から読み出し、画像データを補正するなどのセンサフュージョン処理を行う。

【0164】

レジスタ１２４は、図２のレジスタ６４に対応し、時刻同期カウンタ１２５は、図２の時刻同期カウンタ６２に対応する。

【0165】

CCIマスタ１２６およびI2C/I3Cマスタ１２７は、例えば、図２の通信処理制御部６３を構成する。即ち、CCIマスタ１２６は、CCIに従った通信処理を主導的に制御し、I2C/I3Cマスタ１２７は、I2CまたはI3Cに従った通信処理を主導的に制御する。例えば、I2C/I3Cマスタ１２７は、時刻同期カウンタ１２５から指示されるタイミングに従って、ＳＴメッセージおよびEXITメッセージを送信する。

【0166】

メモリ部１２８およびプロセッサ１２９は、例えば、図２の情報処理部６６を構成する。

【0167】

＜コンピュータの構成例＞
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

【0168】

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）２０４は、バス２０５により相互に接続されている。バス２０５には、さらに、入出力インタフェース２０６が接続されており、入出力インタフェース２０６が外部に接続される。

【0169】

以上のように構成されるコンピュータでは、CPU２０１が、例えば、ROM２０２およびEEPROM２０４に記憶されているプログラムを、バス２０５を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU２０１）が実行するプログラムは、ROM２０２に予め書き込んでおく他、入出力インタフェース２０６を介して外部からEEPROM２０４にインストールしたり、更新したりすることができる。

【0170】

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

【0171】

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

【0172】

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0173】

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

【0174】

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0175】

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

【0176】

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

【0177】

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

【0178】

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

【0179】

＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
複数の他の通信装置との間で、所定の規格に従った通信処理の制御を行う通信処理制御部と、
前記規格で定義されているタイミングコントロールを実現するための時刻同期カウンタと、
前記時刻同期カウンタに、前記複数の他の通信装置それぞれが備える他の時刻同期カウンタを時刻同期させて、前記複数の他の通信装置において所定のサンプリング周期でサンプリングされたサンプリングデータを出力させる出力制御に必要な情報処理を行う情報処理部と
を備え、
前記情報処理部は、前記サンプリングデータとともに、そのサンプリングデータがサンプリングされたタイミングを示す時刻データを出力させる出力制御を行う
通信装置。
（２）
前記情報処理部は、前記複数の他の通信装置のうち、第１の他の通信装置と第２の他の通信装置とが異なる伝送路を介して前記サンプリングデータを送信する構成において、前記サンプリングデータとともに、そのサンプリングデータがサンプリングされたタイミングを示す時刻データを出力させる出力制御を行い、
前記第１の他の通信装置から送信されてくる第１のサンプリングデータと、その第１のサンプリングデータがサンプリングされた前記第１の他の通信装置の前記他の時刻同期カウンタに従ったタイミングを示す第１の時刻データとを、第１の伝送路を介して受信し、前記第２の他の通信装置から送信されてくる第２のサンプリングデータと、その第２のサンプリングデータがサンプリングされた前記第２の他の通信装置の前記他の時刻同期カウンタに従ったタイミングを示す第２の時刻データとを、第２の伝送路を介して受信するデータ受信部
をさらに備える上記（１）に記載の通信装置。
（３）
前記第２の他の通信装置から送信されてくる前記第２のサンプリングデータと、その第２のサンプリングデータの前記第２の時刻データと同じタイミングを示す前記第１の時刻データの前記第１のサンプリングデータとを統合するデータ統合部
をさらに備える上記（２）に記載の通信装置。
（４）
前記情報処理部は、前記複数の他の通信装置が、同一の伝送路を介して前記サンプリングデータを送信する構成においては、前記時刻データを出力させる出力制御を必ずしも行わずに、前記複数の他の通信装置がそれぞれ異なるタイミングで前記サンプリングデータを出力することを指示する出力タイミングを設定する
上記（１）から（３）までのいずれかに記載の通信装置。
（５）
前記複数の他の通信装置から送信されてくる前記サンプリングデータを、前記伝送路を介して受信するデータ受信部
をさらに備える上記（４）に記載の通信装置。
（６）
通信装置が、
複数の他の通信装置との間で、所定の規格に従った通信処理の制御を行うことと、
前記規格で定義されているタイミングコントロールを実現するための時刻同期カウンタに、前記複数の他の通信装置それぞれが備える他の時刻同期カウンタを時刻同期させて、前記複数の他の通信装置において所定のサンプリング周期でサンプリングされたサンプリングデータを出力させる出力制御に必要な情報処理を行うことと
を含み、
前記サンプリングデータとともに、そのサンプリングデータがサンプリングされたタイミングを示す時刻データを出力させる出力制御を行う
通信方法。
（７）
通信装置のコンピュータに、
複数の他の通信装置との間で、所定の規格に従った通信処理の制御を行うことと、
前記規格で定義されているタイミングコントロールを実現するための時刻同期カウンタに、前記複数の他の通信装置それぞれが備える他の時刻同期カウンタを時刻同期させて、前記複数の他の通信装置において所定のサンプリング周期でサンプリングされたサンプリングデータを出力させる出力制御に必要な情報処理を行うことと
を含み、
前記サンプリングデータとともに、そのサンプリングデータがサンプリングされたタイミングを示す時刻データを出力させる出力制御を行う
通信処理を実行させるためのプログラム。
（８）
通信装置であって、
所定のサンプリング周期でサンプリングデータをサンプリングするサンプリング部と、
他の通信装置との間で、所定の規格に従った通信処理の制御を行う通信処理制御部と、
前記規格で定義されているタイミングコントロールを実現するための時刻同期カウンタと
を備え、
前記他の通信装置による出力制御に従って、前記時刻同期カウンタが前記他の通信装置が備える他の時刻同期カウンタに時刻同期し、前記サンプリングデータとともに、そのサンプリングデータがサンプリングされたタイミングを示す時刻データを出力する
通信装置。
（９）
複数の前記通信装置のうち、第１の通信装置と第２の通信装置とが異なる伝送路を介して前記サンプリングデータを送信する構成において、
前記他の通信装置において、前記第２の通信装置から送信された第２のサンプリングデータと、その第２のサンプリングデータの第２の時刻データと同じタイミングを示す前記第１の通信装置から送信された第１の時刻データの第１のサンプリングデータとが統合される
上記（８）に記載の通信装置。
（１０）
複数の前記通信装置が、同一の伝送路を介して前記サンプリングデータを送信する構成においては、
それぞれの前記通信装置は、前記時刻データの出力を必ずしも行わずに、前記他の通信装置によって設定され、個々の前記通信装置がそれぞれ異なるタイミングで前記サンプリングデータを出力することを指示する出力タイミングに従って、前記サンプリングデータを出力する
上記（８）または（９）に記載の通信装置。
（１１）
通信装置が、
所定のサンプリング周期でサンプリングデータをサンプリングすることと、
他の通信装置との間で、所定の規格に従った通信処理の制御を行うことと、
前記他の通信装置による出力制御に従って、前記規格で定義されているタイミングコントロールを実現するための時刻同期カウンタが前記他の通信装置が備える他の時刻同期カウンタに時刻同期し、前記サンプリングデータとともに、そのサンプリングデータがサンプリングされたタイミングを示す時刻データを出力することと
を含む通信方法。
（１２）
通信装置のコンピュータに、
所定のサンプリング周期でサンプリングデータをサンプリングすることと、
他の通信装置との間で、所定の規格に従った通信処理の制御を行うことと、
前記他の通信装置による出力制御に従って、前記規格で定義されているタイミングコントロールを実現するための時刻同期カウンタが前記他の通信装置が備える他の時刻同期カウンタに時刻同期し、前記サンプリングデータとともに、そのサンプリングデータがサンプリングされたタイミングを示す時刻データを出力することと
を含む通信処理を実行させるためのプログラム。

【0180】

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【符号の説明】

【0181】

１１ 通信システム， ２１ 測距センサ， ２２ 画像センサ， ２３ ジャイロセンサ， ２４ 加速度センサ， ２５ 位置センサ， ２６ 気圧センサ， ３１ ＡＰ， ４１ 撮像素子， ４２ 時刻同期カウンタ， ４３ レジスタ， ４４ 通信処理制御部， ４５ 画像データ送信部， ５１ 検出部， ５２ 時刻同期カウンタ， ５３ レジスタ， ５４ 通信処理制御部， ６１ 画像データ受信部， ６２ 時刻同期カウンタ， ６３ 通信処理制御部， ６４ レジスタ， ６５ データ統合部， ６６ 情報処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】