特許 7718304 映像伝送システム、車両、および映像伝送方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-07-28

(45)【発行日】2025-08-05

(54)【発明の名称】映像伝送システム、車両、および映像伝送方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20250729BHJP

【ＦＩ】

H04N7/18 J

【請求項の数】 9

(21)【出願番号】P 2022048297

(22)【出願日】2022-03-24

(65)【公開番号】P2023141798

(43)【公開日】2023-10-05

【審査請求日】2023-12-19

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】羽鳥 貴之

【審査官】佐藤 嘉純

(56)【参考文献】

【文献】特開２００８－２０５５９４（ＪＰ，Ａ）

【文献】特開２０２０－１３７０７８（ＪＰ，Ａ）

【文献】特開２０１９－０８３４５０（ＪＰ，Ａ）

【文献】国際公開第２０１８／０４７４９１（ＷＯ，Ａ１）

【文献】特開２０２１－０８１８８６（ＪＰ，Ａ）

【文献】特開２００４－１２８９５３（ＪＰ，Ａ）

【文献】特開２００９－０２１９５９（ＪＰ，Ａ）

【文献】国際公開第２００８／０９９９１８（ＷＯ，Ａ１）

【文献】特開２０２１－１２８１１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ ２１／００－２１／３８

Ｂ６０Ｒ １／００－１／３１

Ｂ６０Ｒ １６／００－１７／０２

(57)【特許請求の範囲】

【請求項1】

車両に適用される映像伝送システムであって、
第一の映像伝送規格を用いて、二つ以上の第一の映像信号を重畳させ、第二の映像信号を生成する第一のトランスミッタと、
前記第一の映像伝送規格とは異なる第二の映像伝送規格を用いて、第三の映像信号と、前記第二の映像信号を重畳させ、第四の映像信号を生成する第二のトランスミッタと、
単一のケーブルによって伝送された前記第四の映像信号を受信し、前記第二の映像信号と前記第三の映像信号を分離する第一のレシーバと、
前記第二の映像信号から、前記二つ以上の第一の映像信号を分離する第二のレシーバと、
を有し、
前記第三の映像信号は、リアルタイム要件が要求される映像信号であって、且つ前記車両のリアカメラによって生成された映像信号であり、
前記第一の映像信号は、リア以外に配置されたカメラによって生成された映像信号であり、
前記第三の映像信号に、所定値以上の帯域が割り当てられ、前記二つ以上の前記第一の映像信号を含む前記第二の映像信号に、残りの帯域が割り当てられ、
前記第二の映像伝送規格は、前記第三の映像信号について、前記リアルタイム要件を保証可能な規格、かつ前記第三の映像信号に前記所定値以上の帯域を割り当て可能な規格である、
映像伝送システム。

【請求項2】

前記第三の映像信号は単一の映像信号であり、前記第二の映像信号に含まれる前記第一の映像信号の数は、外部からの指定に基づいて決定される、
請求項１に記載の映像伝送システム。

【請求項3】

前記車両に搭載された所定の電子制御ユニットが、前記第一および前記第二のトランスミッタを有する、
請求項１に記載の映像伝送システム。

【請求項4】

前記車両に搭載された車載端末が、前記第一および前記第二のレシーバを有する、
請求項３に記載の映像伝送システム。

【請求項5】

前記車載端末は、前記電子制御ユニットに対して、前記第一の映像信号を生成する二つ以上のカメラを指定する第一のデータを送信し、
前記電子制御ユニットが有する前記第一のトランスミッタが、前記第一のデータによって指定された二つ以上のカメラが生成した前記第一の映像信号を重畳させる、
請求項４に記載の映像伝送システム。

【請求項6】

車外の画像を撮像する複数のカメラと、
第一の映像伝送規格を用いて、二つ以上の第一の映像信号を重畳させ、第二の映像信号を生成し、かつ、前記第一の映像伝送規格とは異なる第二の映像伝送規格を用いて、第三の映像信号と、前記第二の映像信号を重畳させ、第四の映像信号を生成する第一の装置と、
単一のケーブルによって伝送された前記第四の映像信号を受信し、前記第二の映像信号と前記第三の映像信号を分離し、かつ、前記第二の映像信号から、前記二つ以上の第一の映像信号を分離する第二の装置と、
を有し、
前記第三の映像信号は、リアルタイム要件が要求される映像信号であって、且つリアカメラによって生成された映像信号であり、
前記第一の映像信号は、リア以外に配置されたカメラによって生成された映像信号であり、
前記第三の映像信号に、所定値以上の帯域が割り当てられ、前記二つ以上の前記第一の映像信号を含む前記第二の映像信号に、残りの帯域が割り当てられ、
前記第二の映像伝送規格は、前記第三の映像信号について、前記リアルタイム要件を保証可能な規格、かつ前記第三の映像信号に前記所定値以上の帯域を割り当て可能な規格である、
車両。

【請求項7】

前記第一の装置は、前記複数のカメラを管理する電子制御ユニットであり、
前記第二の装置は、車載端末である、
請求項６に記載の車両。

【請求項8】

車両に適用される映像伝送方法であって、
第一の映像伝送規格を用いて、二つ以上の第一の映像信号を重畳させ、第二の映像信号を生成する第一のステップと、
前記第一の映像伝送規格とは異なる第二の映像伝送規格を用いて、第三の映像信号と、前記第二の映像信号を重畳させ、第四の映像信号を生成する第二のステップと、
単一のケーブルによって前記第四の映像信号を送信する第三のステップと、
前記第四の映像信号を受信し、前記第二の映像信号と前記第三の映像信号を分離する第四のステップと、
前記第二の映像信号から、前記二つ以上の第一の映像信号を分離する第五のステップと、
を含み、
前記第三の映像信号は、リアルタイム要件が要求される映像信号であって、且つ前記車両のリアカメラによって生成された映像信号であり、
前記第一の映像信号は、リア以外に配置されたカメラによって生成された映像信号であり、
前記第三の映像信号に、所定値以上の帯域が割り当てられ、前記二つ以上の前記第一の映像信号を含む前記第二の映像信号に、残りの帯域が割り当てられ、
前記第二の映像伝送規格は、前記第三の映像信号について、前記リアルタイム要件を保
証可能な規格、かつ前記第三の映像信号に前記所定値以上の帯域を割り当て可能な規格である、
映像伝送方法。

【請求項9】

前記分離後の第三の映像信号と、前記分離後の前記二つ以上の第一の映像信号を同時に出力するステップをさらに含む、
請求項８に記載の映像伝送方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像の伝送に関する。

【背景技術】

【0002】

映像の伝送を効率化するための技術がある。これに関連して、例えば、特許文献１には、複数のカメラを接続したシステムにおいて、映像信号を多重化することで、効率のよい映像伝送を行うシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－３２８４７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、複数の映像を効率よく伝送することを目的とする。

【課題を解決するための手段】

【0005】

本開示の実施形態の一態様は、第一の映像伝送規格を用いて、二つ以上の第一の映像信号を重畳させ、第二の映像信号を生成する第一のトランスミッタと、前記第一の映像伝送規格とは異なる第二の映像伝送規格を用いて、第三の映像信号と、前記第二の映像信号を重畳させ、第四の映像信号を生成する第二のトランスミッタと、単一のケーブルによって伝送された前記第四の映像信号を受信し、前記第二の映像信号と前記第三の映像信号を分離する第一のレシーバと、前記第二の映像信号から、前記二つ以上の第一の映像信号を分離する第二のレシーバと、を有する、映像伝送システムである。

【0006】

本開示の実施形態の一態様は、車外の画像を撮像する複数のカメラと、第一の映像伝送規格を用いて、二つ以上の第一の映像信号を重畳させ、第二の映像信号を生成し、かつ、前記第一の映像伝送規格とは異なる第二の映像伝送規格を用いて、第三の映像信号と、前記第二の映像信号を重畳させ、第四の映像信号を生成する第一の装置と、単一のケーブルによって伝送された前記第四の映像信号を受信し、前記第二の映像信号と前記第三の映像信号を分離し、かつ、前記第二の映像信号から、前記二つ以上の第一の映像信号を分離する第二の装置と、を有する、車両である。

【0007】

また、他の態様として、上記のシステムや車両が実行する方法、当該方法をコンピュータに実行させるためのプログラム、または、該プログラムを非一時的に記憶したコンピュータ可読記憶媒体が挙げられる。

【発明の効果】

【0008】

本開示によれば、複数の映像を効率よく伝送することができる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る車両システムの概要図。

【図2】ＧＶＩＦによって映像信号を重畳するシステムの概略図。

【図3】ＭＩＰＩによって映像信号を重畳するシステムの概略図。

【図4】車両が後退する際に、車載端末２０によって表示される画像の例。

【図5】第一の実施形態で映像伝送システムが行う処理の概要図。

【図6】ＥＣＵ１０と車載端末２０間で伝送される映像信号の概略図。

【図7】車両１００の構成の一例を概略的に示したブロック図。

【図8】制御部１１が有する機能モジュールと、モジュール間におけるデータの流れを説明する図。

【図9】車載端末２０によって送信される選択データの一例。

【図10】制御部２１が有する機能モジュールと、モジュール間におけるデータの流れを説明する図。

【図11】カメラを選択する際に車載端末２０が参照するデータの例。

【図12】ＥＣＵ１０および車載端末２０が実行する処理のフローチャート。

【図13】第二の実施形態における、制御部１１のモジュール構成図。

【図14】車両に設置されたカメラの位置を例示する図。

【発明を実施するための形態】

【0010】

近年、車載用のカメラが増加している。車載カメラとして、例えば、ドライブレコーダのほか、リアカメラ、サイドカメラ、自動運転用のステレオカメラ、運転者監視用のカメラなどが挙げられる。図１４は、車両の外部に設置されたカメラを例示する図である。図示したように、車両には、複数の方向をモニタできるよう、複数のカメラが備えられている。これらのカメラは、映像を管理する電子制御ユニット（ＥＣＵ）に接続される。また、当該電子制御ユニットは、車載装置（ナビゲーション装置）等と接続される。

【0011】

映像の伝送には、所定の映像伝送規格が利用される。映像伝送規格として、ＧＶＩＦ（Gigabit Video Interface）（登録商標）や、ＭＩＰＩ（Mobile Industry Processor Interface）（登録商標）といったものがある。
映像の伝送は、映像を送受信するモジュールと、モジュール同士を接続するケーブルを介して行うことができる。しかし、車載されたカメラの数が増えると、映像を送受信するためのモジュールと、ケーブルの数が増えてしまうという問題がある。

【0012】

この問題を解決するための方法として、映像を重畳伝送するという方法がある。映像信号を重畳して伝送することで、映像の送受信に利用されるモジュールや、ケーブルの数を削減することができる。

【0013】

一方で、重畳される映像が増えると、必要なハードウェアが増加し、コスト増につながるおそれがある。単一のハードウェアで複数の映像を重畳可能な規格もあるが、映像の解像度やフレームレートを統一する必要があり、様々な種類のカメラが搭載される車両には適していない。また、映像を重畳すると、ビットレートの低下などが発生し、画質をはじめとする映像品質が低下するおそれもある。特に、安全に関わる映像（例えば、リアカメラの映像など）は、規定された品質要件を満たさなければならず、映像品質の低下（画質等の低下）が許されない場合がある。
本開示に係る映像伝送システムは、品質要件を確保したうえで、複数の映像の重畳伝送を可能にするものである。

【0014】

本開示の一態様は、映像伝送システムである。
具体的には、第一の映像伝送規格を用いて、二つ以上の第一の映像信号を重畳させ、第二の映像信号を生成する第一のトランスミッタと、前記第一の映像伝送規格とは異なる第二の映像伝送規格を用いて、第三の映像信号と、前記第二の映像信号を重畳させ、第四の映像信号を生成する第二のトランスミッタと、単一のケーブルによって伝送された前記第四の映像信号を受信し、前記第二の映像信号と前記第三の映像信号を分離する第一のレシーバと、前記第二の映像信号から、前記二つ以上の第一の映像信号を分離する第二のレシーバと、を有する。

【0015】

二つ以上の第一の映像信号と、第三の映像信号は、単一のケーブルを介して、異なる装
置間で伝送される映像信号である。映像伝送システムを車両に適用する場合、二つ以上の第一の映像信号、および、第三の映像信号は、車載カメラによって生成された映像信号であってもよい。
第一のトランスミッタは、二つ以上の第一の映像信号を重畳させ、第二の映像信号を生成する。さらに、第二のトランスミッタは、第二の映像信号に対して、第三の映像信号をさらに重畳させ、第四の映像信号を生成する。

【0016】

第一のトランスミッタが利用する映像伝送規格と、第二のトランスミッタが利用する映像伝送規格は、それぞれ異なる規格である。
例えば、第一のトランスミッタは、複数の映像を重畳可能な第一の映像伝送規格を用いて、二つ以上の第一の映像信号を重畳させる。この結果得られた第二の映像信号は、第二のトランスミッタへ送信され、第二の映像信号と、第三の映像信号が重畳される。第二のトランスミッタは、第二の映像伝送規格を用いて当該重畳を行い、第四の映像信号を生成する。

【0017】

第一および第二のレシーバは、逆の手順によって、重畳された映像信号の分離を行う。すなわち、第四の映像信号から、第二の映像伝送規格を用いて、第三の映像信号と、第二の映像信号を分離する。さらに、第一の映像伝送規格を用いて、第二の映像信号を、二つ以上の第一の映像信号に分離する。
このようにすることで、異なる複数の映像伝送規格を組み合わせて、映像の重畳および分離を行うことが可能になる。

【0018】

単一の映像伝送規格によって映像を重畳伝送すると、以下のような問題が生じうる。
・伝送する映像信号の数が変化すると、各々に割り当てられる帯域が変わるため、映像の品質が変わってしまう
・解像度やフレームレートが異なる映像を混在させることが難しい
一方、異なる複数の映像伝送規格を組み合わせることで、映像の品質要件を確保しつつ、解像度やフレームレートが異なる複数の映像信号を同時に伝送することが可能になる。

【0019】

以下、本開示の具体的な実施形態について図面に基づいて説明する。各実施形態に記載されているハードウェア構成、モジュール構成、機能構成等は、特に記載がない限りは開示の技術的範囲をそれらのみに限定する趣旨のものではない。

【0020】

（第一の実施形態）
第一の実施形態に係る車両システムの概要について、図１を参照しながら説明する。本実施形態に係る車両システムは、車両１００を含んで構成される。

【0021】

車両１００は、複数のカメラを搭載した自動車である。複数のカメラとして、例えば、リアカメラ、サイドカメラ、ドライブレコーダ用カメラ、自動運転用カメラ、運転者監視用カメラなどが挙げられる。
車両１００は、当該車両の外部を運転席からモニタリング可能な車両であってもよい。また、車両１００は、自動運転または半自動運転が可能な車両であってもよい。車両１００が有する複数のカメラは、ＥＣＵ１０に接続される。

【0022】

ＥＣＵ１０は、複数のカメラが取得した映像信号を処理する電子制御ユニットである。ＥＣＵ１０は、カメラＥＣＵとも呼ばれる。
ＥＣＵ１０は、複数のカメラから映像信号を取得可能に構成されており、他の電子制御ユニットや、車載端末２０からの要求に基づいて、映像信号を選択し、提供することができる。なお、図１には、単一のＥＣＵが例示されているが、車両１００は、複数の他のＥＣＵを含んで構成されてもよい。他のＥＣＵとして、例えば、エンジンＥＣＵ、ボディＥ
ＣＵ、自動運転ＥＣＵ、パワーコントロールＥＣＵなどが例示できる。ＥＣＵ１０は、カメラ映像のみを管理するものであってもよいし、カメラ映像に基づいて他の処理（例えば、自動運転、運転者アシスト等）を行うものであってもよい。

【0023】

車載端末２０は、車両１００に搭載された情報端末である。車載端末２０は、インフォテイメント端末とも呼ばれ、車両の乗員に対して情報（例えば、交通情報や経路案内）や娯楽（例えば、音楽や動画）を提供する機能を有する。車載端末２０は、例えば、カーナビゲーション装置のように、単独で機能するものであってもよいし、スマートフォン等と連携する機能を有したものであってもよい。
また、車載端末２０は、通信モジュールを介してネットワークと通信可能に構成されていてもよい。

【0024】

車載端末２０は、車両のステータスに応じて、カメラ映像を出力可能に構成される。例えば、ギアポジションが「リバース」である場合、車載端末２０は、リアカメラに対応する映像をＥＣＵ１０から受信し、ディスプレイを介して出力してもよい。また、車両１００の車速が一定速度を下回り、かつ、車両１００が見通しの悪い交差点に位置する場合、車載端末２０は、左右のフロントサイドカメラに対応する映像をＥＣＵ１０から受信し、ディスプレイを介して出力してもよい。
また、車載端末２０は、運転者の操作に基づいて、カメラ映像を出力可能に構成されてもよい。例えば、車両の全周囲をモニタリングする機能が起動された場合、車載端末２０は、複数のカメラに対応する映像をＥＣＵ１０から受信し、これを合成して、車両１００を見下ろす視点の映像（以下、全周囲映像）を生成し、ディスプレイを介して出力してもよい。

【0025】

ここで、映像の伝送における問題点について説明する。
車内における映像の伝送（例えば、ＥＣＵ１０～車載端末２０間の伝送）は、所定の映像伝送規格を用いて行うことができる。例えば、映像伝送規格の一つであるＧＶＩＦ（Gigabit Video InterFace）（登録商標）を用いると、映像信号を単一のケーブルによって
高速にシリアル伝送することができる。
図２（Ａ）は、ＧＶＩＦによって映像を伝送するシステムの概略図である。伝送は、図示したように、トランスミッタによって、映像信号をシリアル化（シリアライズ）することで行うことができる。シリアル化された信号は、受信側（レシーバ）において復号（デシリアライズ）され、これにより、映像信号が取り出される。

【0026】

一方、複数のカメラが映像信号を生成する場合、これらをまとめて伝送する必要が生じる。例えば、全周囲映像を生成するため、車両の外部を捉える複数のカメラに対応する映像を同時に伝送するような場合である。これを実現する方法のひとつとして、図２（Ｂ）のように、映像信号を送受信するユニット（トランスミッタおよびレシーバ）、および、伝送ケーブルを複数設けるという方法がある。しかし、この方法では、カメラの個数だけハードウェアが必要になり、コストがかかってしまう。

【0027】

別の方法として、図２（Ｃ）のように、複数の映像信号を重畳する方法がある。ＧＶＩＦ規格が利用するトランスミッタ（シリアライザ）には、映像信号同士を重畳する機能があり、これを利用して、複数のカメラが出力した映像信号を同時に伝送することができる。トランスミッタは、時分割によって複数の映像信号をシーケンシャルに送信する。重畳された複数の映像は、レシーバ（デシリアライザ）によって分離することができる。
なお、本開示における重畳とは、複数の映像信号を一つの伝送路でシーケンシャルに伝送するための処理を指す。このような処理として、例えば、１フレームごとに映像信号のソースを切り替える処理（Frame Interleaving）や、１ラインごとに映像信号のソースを切り替える処理（Line Interleaving）が例示できる。

【0028】

しかし、この方法にも問題がある。ＧＶＩＦが利用するトランスミッタは、既存の映像信号に、一つの映像信号しか加えることができないという点である。すなわち、３つのカメラによって生成された映像信号を伝送したい場合、３つのトランスミッタと３つのレシーバが必要となる。すなわち、コスト面において問題が生じる。

【0029】

一方、映像伝送規格の一つであるＭＩＰＩ（Mobile Industry Processor Interface）
（登録商標）を利用することで、複数の映像信号を重畳することもできる。図３は、ＭＩＰＩによって映像信号を重畳するシステムの概略図である。例えば、複数（最大４レーン）の、ＭＩＰＩ規格の映像信号をシリアル信号に変換するトランスミッタが知られている。

【0030】

しかし、この方法を利用した場合、同時に伝送する映像信号の数が増えると、一つあたりの帯域が圧迫され、品質が低下してしまうという問題が生じる。
図４は、車両が後退する際に、車載端末２０によって表示される画像の例である。車両が後退する際、例えば、図４（Ａ）のように、リアカメラに対応する映像を出力する場合がある。この場合、伝送される映像は１種類である。一方、図４（Ｂ）のように、リアカメラに対応する映像に加え、全周囲映像を生成するための複数のカメラ映像を同時に伝送する場合がある。この場合、伝送される映像は４種類となる。すなわち、画像の表示方法によって、一つのカメラに割り当てられる帯域が変化する。
リアカメラに対応する映像は、安全確保のため、高優先度で伝送することが好ましい。しかし、前述した方法では、全周囲映像を表示した場合において、リアカメラに対応するカメラ映像の帯域が圧迫されてしまう。帯域が圧迫されると、フレームレートが低下する、画質が低下する、映像がフリーズするといった不都合が生じ、安全上問題となるおそれがある。
さらに、ＭＩＰＩ規格では、異なる解像度やフレームレートの画像を重畳させた場合に、安定した伝送が行えないという問題がある。すなわち、リアカメラだけ高解像度のカメラを採用するといったことが難しい。

【0031】

この問題を解決するため、本実施形態における映像伝送システムは、ＭＩＰＩ規格のトランスミッタによって複数のカメラ映像を重畳し、重畳後の映像信号を、ＧＶＩＦ規格のトランスミッタによって更に重畳する。図５は、本実施形態における映像伝送システムが行う処理の概要図である。また、図６は、映像の伝送帯域を説明する図である。
ここで、映像信号１は、前述したリアカメラからの映像信号（すなわち、優先度の高い映像信号）を表す。映像信号２～４は、他のカメラ（例えば、フロントカメラ、サイドカメラ等）からの映像を表す。

【0032】

ＧＶＩＦ規格では、一つのトランスミッタで重畳可能な映像信号は最大２組であるため、伝送帯域が、符号６０１と符号６０２のように割り当てられる。すなわち、映像信号１（すなわち、リアカメラからの映像信号）については、符号６０１で示した帯域を最低限保証することが可能になる。
また、所定の規格（ＭＩＰＩ）によって重畳された映像信号を、更に異なる規格（ＧＶＩＦ）によって重畳するため、解像度やフレームレートが異なる映像を混在させることが可能になる。

【0033】

次に、車両１００が有する各構成要素について、詳しく説明する。
図７は、図１に示した車両１００の構成の一例を概略的に示したブロック図である。車両１００は、ＥＣＵ１０、および、車載端末２０を有して構成される。これらの構成要素は、映像信号を伝送するケーブルと、制御信号を伝送するケーブルによって相互に接続される。なお、本例では、車両１００が有する構成要素として、ＥＣＵ１０、および、車載
端末２０を例示しているが、車両１００には、エンジンＥＣＵ、ボディＥＣＵなど、車両の制御を司る複数の電子制御ユニットが搭載されていてもよい。

【0034】

まず、ＥＣＵ１０について説明する。
ＥＣＵ１０は、車載された複数のカメラが取得した映像信号を処理する電子制御ユニットである。ＥＣＵ１０は、カメラＥＣＵとも呼ばれる。ＥＣＵ１０は、他の電子制御ユニットや、車載端末２０からの要求に基づいて、映像信号を選択し、提供する。なお、本実施形態では、ＥＣＵ１０は、カメラ映像のみを管理するものであるが、カメラ映像に基づいた他の処理（例えば、自動運転、運転アシスト等）をＥＣＵ１０に実行させてもよい。この場合、ＥＣＵ１０を、ＡＤＡＳ－ＥＣＵ等と呼んでもよい。

【0035】

ＥＣＵ１０は、制御部１１、記憶部１２、通信部１３、および、映像インタフェース１４を有して構成される。

【0036】

制御部１１は、所定のプログラムを実行することで、ＥＣＵ１０の各種機能を実現する演算ユニットである。制御部１１は、例えば、ＣＰＵ等によって実現することができる。
制御部１１は、外部（典型的には、車載端末２０）から受信した指令に基づいて、複数のカメラによって生成された映像信号を選択し、送信する処理を実行する。例えば、車載端末２０が、車両１００の全周囲を表示するパノラマ映像を要求した場合、制御部１１は、当該パノラマ映像を生成するためのカメラを選択し、対応する映像信号を車載端末２０に送信する。
制御部１１が実行する処理の詳細については後述する。

【0037】

記憶部１２は、主記憶装置および補助記憶装置を含むメモリ装置である。補助記憶装置には、オペレーティングシステム（ＯＳ）、各種プログラム、各種テーブル等が格納され、そこに格納されたプログラムを主記憶装置にロードして実行することによって、後述するような、所定の目的に合致した各機能を実現することができる。

【0038】

通信部１３は、ＥＣＵ１０と車載端末２０を接続するためのインタフェースユニットである。本実施形態では、ＥＣＵ１０と車載端末２０は、映像を伝送する経路と、制御信号を伝送する経路の二つの経路によって接続されている。映像を伝送する経路として、ツイストペアケーブルや同軸ケーブルが例示できる。本実施形態では、複数チャネルの映像を重畳して伝送するため、ケーブルは一本である。また、制御信号を伝送する経路として、車載ネットワークが例示できる。例えば、ＣＡＮ（Controller Area Network）によるネ
ットワークや、イーサネット（登録商標）によって制御信号を伝送することができる。なお、制御信号を伝送する経路は、他のＥＣＵ等と共用されていてもよい。
通信部１３は、これらを接続するインタフェースである。通信部１３は、映像を伝送するためのハードウェアインタフェースと、制御信号を伝送するためのハードウェアインタフェース（例えば、ＣＡＮコントローラ）を含んでいてもよい。

【0039】

映像インタフェース１４は、車載された複数のカメラを接続するためのインタフェースユニットである。本実施形態では、映像インタフェース１４は、ＭＩＰＩ規格（例えば、ＭＩＰＩ ＣＳＩ－２）に準拠した映像信号をカメラから受信する。

【0040】

カメラ３０Ａ～３０Ｅは、車両１００に搭載された複数のカメラである。車両１００に搭載されたカメラとして、録画（ドライブレコーダ）用のカメラ、自動運転用のカメラ、運転者による安全確認用のカメラ、運転者監視用のカメラなどが例示できる。また、カメラの配置位置として、例えば、フロント、フロントサイド、サイド、リアなどが例示できる。図７の例では、車両１００は、リアカメラであるカメラ３０Ａ、フロントカメラであるカメラ３０Ｂ、サイドカメラであるカメラＣ～Ｅを有して構成される。リアカメラ３０
Ａは、車両後退時などの安全確認用として利用される。フロントカメラ３０Ｂは、運転アシスト用や、ドライブレコーダの録画用として利用される。サイドカメラ３０Ｃ～Ｅは、死角の確認用として利用される。また、これらのカメラが取得した映像に基づいて、全周囲映像を生成することができる。
これらのカメラは、ＭＩＰＩ規格（例えば、ＭＩＰＩ ＣＳＩ－２）によってＥＣＵ１
０と接続される。

【0041】

次に、制御部１１の機能について説明する。
図８は、制御部１１が有する機能モジュールと、モジュール間におけるデータの流れを説明する図である。図示した機能モジュールは、ＲＯＭ等の記憶手段に記憶されたプログラムをＣＰＵ等によって実行することで実現することができる。

【0042】

まず、映像インタフェース１４を介して取得された複数の映像信号が、制御部１１に入力される。本例では、リアカメラであるカメラ３０Ａからの映像信号を、第一カメラ信号と称する。また、カメラ３０Ｂ～Ｅからの映像信号を、第二カメラ信号と称する。本実施形態では、第一カメラ信号は、処理優先度が最も高い映像信号である。これは、第一カメラ信号は、車両後方を捉えた映像を含むため、リアルタイムで伝送すべきである（例えば、車両の後退中に映像がコマ落ちすると、車両後方を横切る歩行者を捉えられなくなるおそれがある）という理由による。これに比べ、第二カメラ信号は、補助的な映像（全周囲映像）を生成するためのものであるため、第一カメラ信号に比べ、相対的に優先度が低くなる。

【0043】

第一カメラ信号は、車載端末２０に必ず送信されるのに比べ、第二カメラ信号は、車載端末２０からの指示に基づいて適宜選択される。例えば、サイドカメラの映像が車載端末２０によって要求された場合、サイドカメラからの映像信号のみが選択される。

【0044】

映像選択部１１１は、複数の第二カメラ信号のうち、送信の対象となるものを選択する。本実施形態では、車載端末２０が、映像選択部１１１に対して、カメラを指定するデータ（図中の「選択データ」）を送信し、映像選択部１１１が、これに応答して、第二カメラ信号の選択を行う。図９（Ａ）は、選択データの一例である。
例えば、車載端末２０が、全周囲映像を生成するための映像を要求する旨の選択データを送信した場合、映像選択部１１１は、全周囲映像を生成するための第二カメラ信号を選択する。
本実施形態では、「第一カメラ信号」と、「映像選択部１１１が選択した第二カメラ信号」が、重畳の対象となる。

【0045】

画像処理部１１２は、重畳の対象である複数の第二カメラ信号に対して調整を行う。例えば、画像処理部１１２は、複数の第二カメラ信号のそれぞれについて、解像度やフレームレートを一致させる処理を行う。例えば、ＭＩＰＩ規格に準拠した映像信号を重畳する場合、通信速度を平滑化するため、全ての映像信号について、解像度やフレームレートを一致させることが好ましい。解像度は、画像の引き伸ばしや縮小によって調整してもよいし、塗り足しやクリッピングなどによって調整してもよい。
なお、画像処理部１１２が行う処理は、映像信号の重畳のための処理に限られない。例えば、ＬＥＤ信号機の発光周期（例えば、６０Ｈｚ）を考慮して、映像のフレームレートを調整する（例えば、３０ｆｐｓの映像信号を２９ｆｐｓに変換する）処理を行ってもよい。

【0046】

第一重畳部１１３は、映像選択部１１１によって選択された複数の第二カメラ信号を重畳する処理を行う。これにより、複数の映像信号が、複数のレーンを含む単一の映像信号に変換される。なお、第二カメラ信号の選択、および、信号の重畳は、映像信号の規格内
（例えば、最大ビットレートの範囲内）において自由に実施することができる。変換後の信号は、例えば、ＣＳＩ－２とすることができる。

【0047】

第二重畳部１１４は、第一重畳部１１３によって重畳された映像信号と、第一カメラ信号を重畳する処理を行う。これにより、図６に示したように、入れ子構造となった映像信号を得ることができる。映像信号１～４は、ＭＩＰＩ規格に準拠したものであり、第二重畳部１１４が生成する映像信号（符号６０３）は、ＧＶＩＦ規格に準拠したものである。
第二重畳部１１４によって生成された映像信号は、車載端末２０へ送信される。

【0048】

次に、図７に示した車載端末２０について説明する。
車載端末２０は、車両１００の乗員に情報を提供する装置であって、カーナビゲーションシステム、インフォテインメントシステム、ヘッドユニットとも呼ばれる。車載端末２０は、車両の乗員に対して、ナビゲーションや娯楽の提供を行うことができる。車載端末２０は、車両１００の外部ネットワークと通信することで、交通情報、道路地図データ、音楽や動画像などをダウンロードする機能を有していてもよい。

【0049】

車載端末２０は、汎用のコンピュータにより構成することができる。すなわち、車載端末２０は、ＣＰＵやＧＰＵ等のプロセッサ、ＲＡＭやＲＯＭ等の主記憶装置、ＥＰＲＯＭ、ハードディスクドライブ、リムーバブルメディア等の補助記憶装置を有するコンピュータとして構成することができる。補助記憶装置には、オペレーティングシステム（ＯＳ）、各種プログラム、各種テーブル等が格納され、そこに格納されたプログラムを実行することによって、後述するような、所定の目的に合致した各機能を実現することができる。ただし、一部または全部の機能はＡＳＩＣやＦＰＧＡのようなハードウェア回路によって実現されてもよい。

【0050】

車載端末２０は、制御部２１、記憶部２２、通信部２３、および入出力部２４を有して構成される。

【0051】

制御部２１は、車載端末２０の制御を司る手段である。制御部２１は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の情報処理ユニ
ットによって構成される。
制御部２１は、車両の乗員に対して情報の提供を行う。提供される情報として、例えば、交通情報、ナビゲーション情報、音楽や映像、ラジオ放送、デジタルテレビ放送などがある。制御部２１は、入出力部２４を介して情報の出力を行う。

【0052】

さらに、制御部２１は、車載カメラを利用した運転補助機能を提供する。車載カメラを利用した運転補助機能として、例えば、後退時に車両の後方をモニタする機能、見通しの悪い交差点において、左右の交通状況をモニタする機能などが例示できる。車載カメラを利用した運転補助機能を提供する場合、制御部２１は、ＥＣＵ１０に対して映像の送信を要求する。制御部２１は、ＥＣＵ１０から送信された映像信号に基づいて、出力する画像を生成する処理や、ユーザインタフェース画面を生成する処理を実行してもよい。
制御部２１が実行する処理の詳細については後述する。

【0053】

記憶部２２は、情報を記憶する手段であり、ＲＡＭ、磁気ディスクやフラッシュメモリなどの記憶媒体により構成される。記憶部２２には、制御部２１にて実行される各種プログラム、当該プログラムが利用するデータ等が記憶される。

【0054】

通信部２３は、車載端末２０とＥＣＵ１０を接続するためのインタフェースユニットである。通信部２３は、通信部１３と同様に、映像を伝送する経路に対応するインタフェースと、制御信号を伝送する経路に対応するインタフェースの二つを有している。映像を伝
送する経路に対応するインタフェースは、例えば、ツイストペアケーブルや同軸ケーブルである。制御信号を伝送する経路に対応するインタフェースは、例えば、ＣＡＮ（Controller Area Network）である。

【0055】

入出力部２４は、ユーザが行った入力操作を受け付け、ユーザに対して情報を提示する手段である。具体的には、タッチパネルとその制御手段、液晶ディスプレイとその制御手段から構成される。タッチパネルおよび液晶ディスプレイは、本実施形態では一つのタッチパネルディスプレイからなる。また、入出力部２４は、音声を出力するためのスピーカ等を有していてもよい。

【0056】

次に、制御部２１の機能について説明する。
図１０は、制御部２１が有する機能モジュールと、モジュール間におけるデータの流れを説明する図である。図示した機能モジュールは、ＲＯＭ等の記憶手段に記憶されたプログラムをＣＰＵ等によって実行することで実現することができる。

【0057】

選択部２１１は、ＥＣＵ１０に対して、映像を取得するカメラを指定するデータ（選択データ）を送信する。
選択部２１１は、運転者の操作に基づいて、ＥＣＵ１０に対してどのカメラの映像を要求するかを決定する。例えば、車両１００が後退する場合において、図４（Ａ）に例示したように、リアカメラの映像を出力する場合がある。この場合、リアカメラが選択される。また、車両１００が後退する場合において、図４（Ｂ）に例示したように、リアカメラの映像と、全周囲映像を出力する場合がある。この場合、リアカメラを含む、外部モニタ用の全てのカメラが選択される。

【0058】

使用するカメラは、運転者の操作に基づいて決定されてもよいし、車両１００の状態に基づいて決定されてもよい。例えば、ギアポジションが「リバース」である場合、後退時に使用されるカメラを決定してもよい。このため、車載端末２０は、車両の状態（モード）と、使用するカメラを関連付けたデータを記憶し、当該データに基づいて選択データを生成してもよい。選択部２１１は、例えば、図１１に例示したようなデータに基づいて、選択データを生成することができる。斯様なデータは、記憶部２２に記憶されていてもよい。

【0059】

第一分離部２１２は、ＥＣＵ１０から送信された映像信号を、通信部２３を介して受信し、当該映像信号を分離する。図６を示して説明したように、ＥＣＵ１０と車載端末２０との間で送受信される映像信号は、ＧＶＩＦ規格に準拠したものであり、これを分離することで、ＭＩＰＩ規格に準拠した二つの映像信号（図６における符号６０１，６０２）を得ることができる。分離した映像信号のうち、第一カメラ信号（符号６０１）（すなわち、リアカメラが生成した映像信号）は、情報提供部２１４へ送信される。
第一カメラ信号以外の映像信号（符号６０２）は、第二分離部２１３へ送信される。

【0060】

第二分離部２１３は、第一分離部２１２から送信された映像信号を分離し、複数の第二カメラ信号を取得する。複数の第二カメラ信号は、第一カメラ信号と同様に、情報提供部２１４へ送信される。

【0061】

情報提供部２１４は、第一カメラ信号、および、第二カメラ信号に基づいて、車両の乗員（運転者）に提供するユーザインタフェース画面を生成する。例えば、情報提供部２１４は、所定のグラフィックに、カメラが捉えた映像をはめ込み、出力する。この際、車両の位置や予想軌跡などを表すガイドラインなどを重畳してもよい。また、複数のカメラが捉えた映像に基づいて、一枚の画像（全周囲映像など）を生成する処理を行ってもよい。

【0062】

図１２は、ＥＣＵ１０および車載端末２０が実行する処理のフローチャートである。
まず、ステップＳ１１で、選択部２１１が、映像を取得するカメラを決定する。本ステップは、運転者が所定の操作を行った場合に実行されてもよいし、車両が所定の状態になった場合に実行されてもよい。選択部２１１は、運転者による操作、または、車両の状態に基づいて、使用するカメラを決定し、当該カメラを指定するためのデータ（選択データ）を、ＥＣＵ１０に送信する。

【0063】

ステップＳ１２では、ＥＣＵ１０（映像選択部１１１）が、選択データに基づいて、映像信号を取得する一つ以上のカメラを特定し、当該カメラからの映像信号を選択する。選択された映像信号（第二カメラ信号）は、画像処理部１１２に渡される。
次に、ステップＳ１３で、画像処理部１１２が、映像信号の重畳を行うための前処理を行う。具体的には、第二カメラ信号に対して、フレームレートの変換、解像度の変換などを行う。なお、複数の映像信号を重畳するための前処理であれば、例示した処理以外を本ステップで実行してもよい。なお、必要がなければ、本ステップは省略することもできる。画像処理部１１２が処理を行った後の第二カメラ信号は、第一重畳部１１３に渡される。

【0064】

次に、ステップＳ１４で、第一重畳部１１３が、入力された複数の第二カメラ信号を重畳し、単一の映像信号を生成する。
次に、ステップＳ１５で、第二重畳部１１４が、第一重畳部１１３によって重畳された第二カメラ信号と、第一カメラ信号を重畳する。重畳後の映像信号は、映像を伝送するためのインタフェースを介して、車載端末２０に送信される。

【0065】

ステップＳ１６では、第一分離部２１２が、受信した映像信号を分離し、第一カメラ信号を得る。分離後の映像信号は、第二分離部２１３へ送信される。ステップＳ１７では、第二分離部２１３が、受信した映像信号を分離し、第二カメラ信号を得る。第一カメラ信号および第二カメラ信号は、情報提供部２１４へ送信される。
情報提供部２１４は、受信した第一カメラ信号および第二カメラ信号に基づいて、車両の乗員に対して情報提供を行う。

【0066】

以上説明したように、本実施形態に係るＥＣＵ１０は、異なる二種類の映像伝送規格によって、複数のカメラが生成した映像信号を多段階で重畳する。これにより、所定の映像信号について品質要件を確保しつつ、複数の映像信号を重畳伝送することが可能になる。また、品質が要求される映像信号については、解像度やフレームレートを他の映像信号よりも高く設定することが可能になる。

【0067】

（第二の実施形態）
第一の実施形態では、リアカメラによって生成された映像信号を高優先度で伝送した。一方、どの映像信号を優先するか（すなわち、どの映像信号を第一カメラ信号として扱うか）を、ＥＣＵ１０の外部から指定できるようにしてもよい。
第二の実施形態は、車載端末２０からＥＣＵ１０に対して映像信号の優先度を指示する実施形態である。

【0068】

図１３は、第二の実施形態における、ＥＣＵ１０（制御部１１）のモジュール構成図である。本実施形態では、映像選択部１１１が、第一カメラ信号および第二カメラ信号の双方を選択するという点と、車載端末２０から送信される選択データに、優先度の指定が含まれるという点において、第一の実施形態と相違する。

【0069】

図９（Ｂ）は、第二の実施形態における選択データの例である。図示したように、本実施形態では、選択データは、利用するカメラを、優先度ごとに関連付けたデータである。
本例では、最も優先度が高いカメラがリアカメラである旨が示されている。すなわち、第一カメラ信号は、リアカメラが生成した映像信号となる。第二カメラ信号は、その他のカメラが生成した映像信号となる。
映像選択部１１１は、当該選択データに基づいて、映像信号の選択を行うとともに、優先度ごとにその出力先を決定する。具体的には、最も優先度が高いカメラに対応する映像信号を、第一カメラ信号として第二重畳部１１４に送信し、その他の映像信号を、第二カメラ信号として第一重畳部１１３に送信する。
以降の処理は、第一の実施形態と同様である。

【0070】

以上説明したように、第二の実施形態によると、映像信号の優先度を動的に指定することが可能になる。これにより、例えば、車両が後退するシーンではリアカメラの映像を優先し、車両が合流するシーンではサイドカメラの映像を優先するといった使い分けをすることが可能になる。

【0071】

（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
例えば、本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

【0072】

また、実施形態の説明では、複数のカメラが、ＭＩＰＩ規格に準拠した映像信号を出力するものとしたが、カメラが出力する映像信号は、他の規格に準拠したものであってもよい。
また、実施形態の説明では、ＧＶＩＦ規格に準拠した映像信号によって、ＥＣＵ１０と車載端末２０間の伝送を行うものとしたが、装置間における映像の伝送は、他の規格を利用してもよい。ただし、採用可能な規格は、以下の条件のうちの少なくとも一つを満たすものであることが好ましい。

【0073】

（１）重畳伝送される少なくとも一つの映像信号について、所定の品質要件を保証可能な規格であること
所定の品質要件とは、例えば、リアルタイム要件である。これにより、第一カメラ信号をリアルタイムに伝送することが可能になる。
（２）重畳伝送される少なくとも一つの映像信号について、常に所定値以上の帯域を割り当て可能な規格であること
これにより、例えば、所定値以上の帯域を第一カメラ信号に割り当て、残りの帯域を第二カメラ信号に割り当てるといったことが可能になる。
（３）複数の解像度およびフレームレートが混在可能な規格であること

【0074】

また、１つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。あるいは、異なる装置が行うものとして説明した処理が、１つの装置によって実行されても構わない。コンピュータシステムにおいて、各機能をどのようなハードウェア構成（サーバ構成）によって実現するかは柔軟に変更可能である。

【0075】

本開示は、上記の実施形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する１つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよいし、ネットワークを介してコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクドライブ（ＨＤＤ）等）、光ディスク（ＣＤ－ＲＯＭ、
ＤＶＤディスク・ブルーレイディスク等）など任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、フラッシュメモリ、光学式カード、電子的命令を格納するために適した任意のタイプの媒体を含む。

【符号の説明】

【0076】

１００・・・車両
１０・・・ＥＣＵ
２０・・・車載端末
１１，２１・・・制御部
１２，２２・・・記憶部
１３，２３・・・通信部
１４・・・映像インタフェース
２４・・・入出力部
３０・・・カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】