特許 7584412 送信装置、受信装置及び伝送システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-07

(45)【発行日】2024-11-15

(54)【発明の名称】送信装置、受信装置及び伝送システム

(51)【国際特許分類】

   H04N 25/10 20230101AFI20241108BHJP

【ＦＩ】

H04N25/10

【請求項の数】 14

(21)【出願番号】P 2021527476

(86)(22)【出願日】2020-05-19

(86)【国際出願番号】 JP2020019707

(87)【国際公開番号】W WO2020261813

(87)【国際公開日】2020-12-30

【審査請求日】2023-04-06

(31)【優先権主張番号】P 2019121340

(32)【優先日】2019-06-28

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100103850

【弁理士】

【氏名又は名称】田中 秀▲てつ▼

(74)【代理人】

【識別番号】100114177

【弁理士】

【氏名又は名称】小林 龍

(74)【代理人】

【識別番号】100066980

【弁理士】

【氏名又は名称】森 哲也

(72)【発明者】

【氏名】松原 義明

(72)【発明者】

【氏名】染谷 英行

【審査官】越河 勉

(56)【参考文献】

【文献】特開２０１９－０９１９６７（ＪＰ，Ａ）

【文献】特開２０１５－２３１１０３（ＪＰ，Ａ）

【文献】国際公開第２０１９／０９２９５２（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１６／０１７１６５１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／１０

(57)【特許請求の範囲】

【請求項1】

ＲＯＩ（Region Of Interest）の画像データのデモザイク処理に用いられる情報であるデモザイク情報の取得を制御する制御部と、
前記ＲＯＩの画像データをペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信部と
を備え、
前記制御部は、前記ＲＯＩの画像データの端部の色情報と、前記端部が奇数行及び偶数行並びに奇数列及び偶数列のいずれの組み合わせであるのかを示す情報とを前記デモザイク情報として取得する
送信装置。

【請求項2】

前記デモザイク情報は、前記ＲＯＩ情報に含められて前記送信部から送出される
請求項１に記載の送信装置。

【請求項3】

前記制御部は、前記ＲＯＩの画像データの色配列を前記デモザイク情報として取得する
請求項１に記載の送信装置。

【請求項4】

前記制御部は、前記デモザイク情報が一定の条件を満たすように前記ＲＯＩの画像データの領域を制御する
請求項１に記載の送信装置。

【請求項5】

前記送信部は、ＭＩＰＩ(Mobile Industry Processor Interface) Ｄ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ（Camera Serial Interface）－２規格で信号を送出する
請求項１に記載の送信装置。

【請求項6】

ＲＯＩ（Region Of Interest）の画像データをペイロードデータに含むとともに、ＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部と、
前記ＲＯＩの画像データのデモザイク処理に用いられる情報であるデモザイク情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部と、
前記制御部で抽出された前記デモザイク情報を用いて前記ＲＯＩの画像データのデモザイク処理を実行する処理部と
を備え、
前記制御部は、前記ＲＯＩの画像データの端部の色情報と、前記端部が奇数行及び偶数行並びに奇数列及び偶数列のいずれの組み合わせであるのかを示す情報とを前記デモザイク情報として抽出する
受信装置。

【請求項7】

前記制御部は、前記伝送信号に含まれた前記ＲＯＩ情報から前記デモザイク情報を抽出する
請求項６に記載の受信装置。

【請求項8】

前記制御部は、前記ＲＯＩの画像データの色配列を前記デモザイク情報として抽出する
請求項６に記載の受信装置。

【請求項9】

前記処理部は、前記ＲＯＩ内の周囲端部に配置された画像データに対して境界処理を施す
請求項６に記載の受信装置。

【請求項10】

前記受信部は、ＭＩＰＩ(Mobile Industry Processor Interface) Ｄ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ（Camera Serial Interface）－２規格で信号を受信する
請求項６に記載の受信装置。

【請求項11】

ＲＯＩ（Region Of Interest）の画像データのデモザイク処理に用いられる情報であるデモザイク情報を取得する制御部、及び前記画像データをペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信部を有する送信装置と、
前記ＲＯＩの画像データを前記ペイロードデータに含むとともに、前記ＲＯＩ情報を前記エンベデッドデータに含む伝送信号を受信する受信部、前記ＲＯＩの画像データのデモザイク処理に用いられる情報であるデモザイク情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部、及び前記制御部で抽出された前記デモザイク情報を用いて前記ＲＯＩの画像データのデモザイク処理を実行する処理部を有する受信装置と
を備え、
前記送信装置は、前記ＲＯＩの画像データの端部の色情報と、前記端部が奇数行及び偶数行並びに奇数列及び偶数列のいずれの組み合わせであるのかを示す情報とを前記デモザイク情報として前記送信部から送出し、
前記受信装置は、前記色情報と、前記端部が奇数行及び偶数行並びに奇数列及び偶数列のいずれの組み合わせであるのかを示す情報とを前記デモザイク情報として前記受信部で受信する
伝送システム。

【請求項12】

前記送信装置は、前記ＲＯＩの情報に含められた前記デモザイク情報を前記送信部から送出し、
前記受信装置は、前記デモザイク情報を有する前記伝送信号を前記受信部で受信し、前記受信部で受信された前記伝送信号に含まれた前記ＲＯＩの情報から前記デモザイク情報を前記制御部で抽出する
請求項１１に記載の伝送システム。

【請求項13】

前記送信装置は、前記ＲＯＩの画像データの色配列を前記デモザイク情報として前記送信部から送出し、
前記受信装置は、前記色配列を前記デモザイク情報として前記受信部で受信する
請求項１１に記載の伝送システム。

【請求項14】

前記送信装置は、ＭＩＰＩ(Mobile Industry Processor Interface) Ｄ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ（Camera Serial Interface）－２規格の信号を前記送信部から送出し、
前記受信装置は、前記ＭＩＰＩＤ－ＰＨＹ規格、前記ＭＩＰＩ Ｃ－ＰＨＹ規格又は前記ＭＩＰＩ ＣＳＩ－２規格の信号を前記受信部で受信する
請求項１１に記載の伝送システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、送信装置、受信装置及び伝送システムに関する。

【背景技術】

【0002】

近年、データ量の大きなデータを大量に送信する用途が増えてきている。伝送システムに大きな負荷がかかりやすく、最悪の場合には、伝送システムがダウンし、データ伝送が行えなくなるおそれがある。

【0003】

伝送システムのダウンを避けるために、例えば、撮影した画像を全て送信するのではなく、撮影対象の物体を特定し、特定した物体を切り出した一部の画像だけを送信することが行われていることが知られている（例えば特許文献１～４）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－２０１７５６号公報

【文献】特開２０１４－３９２１９号公報

【文献】特開２０１３－１６４８３４号公報

【文献】特開２０１２－２０９８３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

撮像画像から切り出した一部の注目領域（ＲＯＩ（Region Of Interest））を伝送する場合のデモザイク処理について、何ら検討されていない。
本開示の目的は、撮像画像から切り出した一部の注目領域（ＲＯＩ）のデモザイク処理を実現することにある。

【課題を解決するための手段】

【0006】

本開示の一態様による送信装置は、ＲＯＩ（Region Of Interest）の画像データのデモザイク処理に用いられる情報であるデモザイク情報の取得を制御する制御部と、前記ＲＯＩの画像データをペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信部とを備え、前記制御部は、前記ＲＯＩの画像データの端部の色情報と、前記端部が奇数行及び偶数行並びに奇数列及び偶数列のいずれの組み合わせであるのかを示す情報とを前記デモザイク情報として取得する。

【0007】

本開示の一態様による受信装置は、ＲＯＩ（Region Of Interest）の画像データをペイロードデータに含むとともに、ＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部と、前記ＲＯＩの画像データのデモザイク処理に用いられる情報であるデモザイク情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部と、前記制御部で抽出された前記デモザイク情報を用いて前記ＲＯＩの画像データのデモザイク処理を実行する処理部とを備え、前記制御部は、前記ＲＯＩの画像データの端部の色情報と、前記端部が奇数行及び偶数行並びに奇数列及び偶数列のいずれの組み合わせであるのかを示す情報とを前記デモザイク情報として抽出する。

【0008】

本開示の一態様による伝送システムは、ＲＯＩ（Region Of Interest）の画像データのデモザイク処理に用いられる情報であるデモザイク情報を取得する制御部、及び前記画像データをペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信部を有する送信装置と、前記ＲＯＩの画像データを前記ペイロードデータに含むとともに、前記ＲＯＩ情報を前記エンベデッドデータに含む伝送信号を受信する受信部、前記ＲＯＩの画像データのデモザイク処理に用いられる情報であるデモザイク情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部、及び前記制御部で抽出された前記デモザイク情報を用いて前記ＲＯＩの画像データのデモザイク処理を実行する処理部を有する受信装置とを備え、前記送信装置は、前記ＲＯＩの画像データの端部の色情報と、前記端部が奇数行及び偶数行並びに奇数列及び偶数列のいずれの組み合わせであるのかを示す情報とを前記デモザイク情報として前記送信部から送出し、前記受信装置は、前記色情報と、前記端部が奇数行及び偶数行並びに奇数列及び偶数列のいずれの組み合わせであるのかを示す情報とを前記デモザイク情報として前記受信部で受信する。

【図面の簡単な説明】

【0009】

【図1】映像伝送システムの概略構成例を表す図である。

【図2】図１の映像送信装置の概略構成例を表す図である。

【図3】撮像画像に２つのＲＯＩが含まれているときの、伝送データの生成手順の一例を表す図である。

【図4】パケットヘッダの構成例を表す図である。

【図5】伝送データの構成例を表す図である。

【図6】伝送データの構成例を表す図である。

【図7】ロングパケットのペイロードデータの構成例を表す図である。

【図8】図１の映像受信装置の概略構成例を表す図である。

【図9】伝送データに２つの画像が含まれているときの、撮像画像に含まれる２つのＲＯＩ画像の生成手順の一例を表す図である。

【図10】撮像画像において特定された物体が配置された領域を模式的に示す図である。

【図11】特定された物体に対して設定されたＲＯＩ領域の一例を示す図である。

【図12】ＲＯＩ画像の位置情報がロングパケットのペイロードデータに含められている伝送データの構成例を示す図である。

【図13】撮像部の撮像領域に設けられた撮像素子の色配列の一例を模式的に示す図である。

【図14A】撮像部の撮像領域に設けられた撮像素子の色配列の配列例Ａを模式的に示す図である。

【図14B】図１４Ａに示す撮像領域から切り出される撮像素子の色配列の配列パターンを示す図である。

【図15A】撮像部の撮像領域に設けられた撮像素子の色配列の配列例Ｂを模式的に示す図である。

【図15B】図１５Ａに示す撮像領域から切り出される撮像素子の色配列の配列パターンを示す図である。

【図16A】撮像部の撮像領域に設けられた撮像素子の色配列の配列例Ｃを模式的に示す図である。

【図16B】図１６Ａに示す撮像領域から切り出される撮像素子の色配列の配列パターンを示す図である。

【図17A】撮像部の撮像領域に設けられた撮像素子の色配列の配列例Ｄを模式的に示す図である。

【図17B】図１７Ａに示す撮像領域から切り出される撮像素子の色配列の配列パターンを示す図である。

【図18】デモザイク処理を模式的に示す図である。

【図19】第１実施形態による送信装置、受信装置及び伝送システムの概略構成を示すブロック図である。

【図20】第１実施形態による送信装置、受信装置及び伝送システムにおけるデモザイク処理の流れの一例を示すフローチャートである。

【図21】第１実施形態による送信装置、受信装置及び伝送システムにおけるデモザイク処理のタイミングチャートの一例を示す図である。

【図22】第１実施形態の変形例による送信装置、受信装置及び伝送システムの概略構成を示すブロック図である。

【図23】第２実施形態による送信装置、受信装置及び伝送システムにおけるデモザイク処理の流れの一例を示すフローチャートである。

【図24】第２実施形態による送信装置、受信装置及び伝送システムにおけるデモザイク処理のタイミングチャートの一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本開示を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本開示の一具体例であって、本開示は以下の態様に限定されるものではない。

【0011】

以下、本開示による技術を実施するための形態（以下、「実施形態」と称する）について、以下の順序により説明する。
１．本開示の前提技術１（撮像画像から切り出した一部（形状が矩形状）の注目領域（ＲＯＩ）を伝送する技術）
２．本開示の前提技術２（撮像画像から切り出した一部（形状が非矩形状）の注目領域（ＲＯＩ）を伝送する技術）
３．本開示の実施形態におけるデモザイク処理の原理
４．本開示の第１実施形態による送信装置、受信装置及び伝送システム
５．本開示の第１実施形態の変形例による送信装置、受信装置及び伝送システム
６．本開示の第２実施形態による送信装置、受信装置及び伝送システム

【0012】

１．本開示の前提技術１：
[構成]
近年、スマートフォンなどの携帯デバイスやカメラデバイスなどでは、扱う画像データの大容量化が進み、デバイス内又は異なるデバイス間でのデータ伝送に高速化、かつ低消費電力化が求められている。このような要求に応えるため、携帯デバイスやカメラデバイス向けの接続インタフェースとして、ＭＩＰＩアライアンスが策定したＣ－ＰＨＹ規格やＤ－ＰＨＹ規格といった高速インタフェース規格の標準化が進められている。Ｃ－ＰＨＹ規格やＤ－ＰＨＹ規格は、通信プロトコルの物理層（physical layer：ＰＨＹ）のインタフェース規格である。また、Ｃ－ＰＨＹ規格やＤ－ＰＨＹ規格の上位プロトコル・レイヤとして、携帯デバイスのディスプレイ向けのＤＳＩや、カメラデバイス向けのＣＳＩが存在する。

【0013】

本開示の前提技術に係る映像伝送システム１は、種々の規格で信号を送受信できるシステムであり、例えばＭＩＰＩ ＣＳＩ－２規格、ＭＩＰＩ ＣＳＩ－３規格、又は、ＭＩＰＩ ＤＳＩ規格で信号を送受信することができる。図１は、本開示の前提技術に係る映像伝送システム１の概要を表したものである。映像伝送システム１は、データ信号、クロック信号及び制御信号の伝送に適用されるものであり、映像送信装置１００及び映像受信装置２００を備えている。映像伝送システム１は、映像送信装置１００と映像受信装置２００とに跨がって、例えば画像データ等のデータ信号を伝送するデータレーンＤＬと、クロック信号を伝送するクロックレーンＣＬと、制御信号を伝送するカメラ制御インタフェースＣＣＩとを備えている。図１には、１つのデータレーンＤＬが設けられている例が示されているが、複数のデータレーンＤＬが設けられていてもよい。カメラ制御インタフェースＣＣＩは、Ｉ^２Ｃ（Inter-Integrated Circuit）規格と互換性を有する双方向制御インタフェースである。

【0014】

映像送信装置１００は、ＭＩＰＩ ＣＳＩ－２規格、ＭＩＰＩ ＣＳＩ－３規格、又は、ＭＩＰＩ ＤＳＩ規格で信号を送出する装置である。ＣＳＩトランスミッタ１００Ａと、ＣＣＩスレーブ１００Ｂとを有している。映像受信装置２００は、ＣＳＩレシーバ２００Ａと、ＣＣＩマスター２００Ｂとを有している。クロックレーンＣＬにおいて、ＣＳＩトランスミッタ１００ＡとＣＳＩレシーバ２００Ａとの間は、クロック信号線で接続されている。データレーンＤＬにおいて、ＣＳＩトランスミッタ１００ＡとＣＳＩレシーバ２００Ａとの間は、クロック信号線で接続されている。カメラ制御インタフェースＣＣＩにおいて、ＣＣＩスレーブ１００ＢとＣＣＩマスター２００Ｂとの間は、制御信号線で接続されている。

【0015】

ＣＳＩトランスミッタ１００Ａは、例えば、クロック信号として差動のクロック信号を生成し、クロック信号線に出力する差動信号送信回路である。ＣＳＩトランスミッタ１００Ａは、差動に限られず、シングルエンドや３相の信号も送信できるように構成可能である。ＣＳＩトランスミッタ１００Ａは、さらに、データ信号として差動のデータ信号を生成し、データ信号線に出力する差動信号送信回路でもある。ＣＳＩレシーバ２００Ａは、クロック信号として差動のクロック信号を、クロック信号線を介して受信し、受信した差動のクロック信号に対して所定の処理を行う差動信号受信回路である。ＣＳＩレシーバ２００Ａは、さらに、データ信号として差動のデータ信号を、データ信号線を介して受信し、受信した差動のデータ信号に対して所定の処理を行う差動信号受信回路でもある。

【0016】

（映像送信装置１００）
図２は、映像送信装置１００の構成の一例を表したものである。映像送信装置１００は、ＣＳＩトランスミッタ１００Ａの一具体例に相当する。映像送信装置１００は、例えば、撮像部１１０、画像処理部１２０，１３０及び送信部１４０を備えている。映像送信装置１００は、撮像部１１０で得られた撮像画像１１１に対して所定の処理を行うことにより生成した伝送データ１４７Ａを、データレーンＤＬを介して映像受信装置２００に送信する。図３は、伝送データ１４７Ａの生成手順の一例したものである。

【0017】

撮像部１１０は、例えば、光学レンズなどを通して得られた光学的な画像信号を画像データに変換する。撮像部１１０は、例えば、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含んで構成されている。撮像部１１０は、アナログ－デジタル変換回路を有しており、アナログの画像データをデジタルの画像データに変換する。変換した後のデータ形式は、各画素の色を輝度成分Ｙ及び色差成分Ｃｂ，Ｃｒで表現するＹＣｂＣｒ形式であってもよいし、ＲＧＢ形式などであってもよい。撮像部１１０は、撮像により得られた撮像画像１１１（デジタルの画像データ）を画像処理部１２０に出力する。

【0018】

画像処理部１２０は、撮像部１１０から入力された撮像画像１１１に対して所定の処理を行う回路である。前提技術１では、画像処理部１２０は、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、撮像部１１０から入力された撮像画像１１１に対して所定の処理を行う場合について説明する。しかしながら、前提技術１では、映像送信装置１００、すなわち送信側がＲＯＩの切り出しの座標指示する場合も適用できある。この場合、送信側は例えば、受信側から送出されるＲＯＩで取得すべき「人物」や「物体」等の情報を受信して切り出しの座標を判断および指示するように構成される。これにより、画像処理部１２０は、種々のデータ（１２０Ａ，１２０Ｂ，１２０Ｃ）を生成し、送信部１４０に出力する。画像処理部１３０は、撮像部１１０から入力された撮像画像１１１に対して所定の処理を行う回路である。画像処理部１３０は、通常画像の出力を指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、撮像部１１０から入力された撮像画像１１１に対して所定の処理を行う。これにより、画像処理部１３０は、画像データ１３０Ａを生成し、送信部１４０に出力する。

【0019】

画像処理部１３０は、例えば、エンコード部１３１を有している。エンコード部１３１は、撮像画像１１１をエンコードして圧縮像データ１３０Ａを生成する。画像処理部１３０は、例えば、圧縮像データ１３０Ａの形式として、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に準拠した圧縮形式等により撮像画像１１１を圧縮する。

【0020】

画像処理部１２０は、例えば、ＲＯＩ切り出し部１２１、ＲＯＩ解析部１２２、重なり検出部１２３、優先度設定部１２４、エンコード部１２５及び画像処理制御部１２６を有している。

【0021】

ＲＯＩ切り出し部１２１は、撮像部１１０から入力された撮像画像１１１に含まれる撮影対象の１又は複数の物体を特定し、特定した物体ごとに注目領域ＲＯＩを設定する。注目領域ＲＯＩは、例えば、特定した物体を含む方形状の領域である。ＲＯＩ切り出し部１２１は、撮像画像１１１から、各注目領域ＲＯＩの画像（例えば図３中のＲＯＩ画像１１２）を切り出す。ＲＯＩ切り出し部１２１は、さらに、設定した注目領域ＲＯＩごとに、識別子として領域番号を付与する。ＲＯＩ切り出し部１２１は、例えば、撮像画像１１１において、２つの注目領域ＲＯＩを設定した場合には、一方の注目領域ＲＯＩ（例えば図３中の注目領域ＲＯＩ１）に対して、領域番号１を付与し、他方の注目領域ＲＯＩ（例えば図３中の注目領域ＲＯＩ２）に対して、領域番号２を付与する。ＲＯＩ切り出し部１２１は、例えば、付与した識別子（領域番号）を記憶部に格納する。ＲＯＩ切り出し部１２１は、例えば、撮像画像１１１から切り出した各ＲＯＩ画像１１２を記憶部に格納する。ＲＯＩ切り出し部１２１は、さらに、例えば、各注目領域ＲＯＩに付与した識別子（領域番号）を、ＲＯＩ画像１１２と関連づけて、記憶部に格納する。

【0022】

ＲＯＩ解析部１２２は、注目領域ＲＯＩごとに、撮像画像１１１における注目領域ＲＯＩの位置情報１１３を導出する。位置情報１１３は、例えば、注目領域ＲＯＩの左上端座標（Ｘａ，Ｙａ）と、注目領域ＲＯＩのＸ軸方向の長さと、注目領域ＲＯＩのＹ軸方向の長さとによって構成されている。注目領域ＲＯＩのＸ軸方向の長さは、例えば、注目領域ＲＯＩのＸ軸方向の物理領域長さＸＬａである。注目領域ＲＯＩのＹ軸方向の長さは、例えば、注目領域ＲＯＩのＹ軸方向の物理領域長さＹＬａである。物理領域長さとは、注目領域ＲＯＩの物理的な長さ（データ長）を指している。位置情報１１３において、注目領域ＲＯＩの左上端とは異なる位置の座標が含まれていてもよい。ＲＯＩ解析部１２２は、例えば、導出した位置情報１１３を記憶部に格納する。ＲＯＩ解析部１２２は、例えば、注目領域ＲＯＩに対して付与された識別子（領域番号）と関連づけて、記憶部に格納する。

【0023】

ＲＯＩ解析部１２２は、注目領域ＲＯＩごとに、位置情報１１３として、さらに、例えば、注目領域ＲＯＩのＸ軸方向の出力領域長さＸＬｃや、注目領域ＲＯＩのＹ軸方向の出力領域長さＹＬｃを導出してもよい。出力領域長さとは、例えば、注目領域ＲＯＩに対して間引き処理や画素加算などによる解像度変更がなされた後の注目領域ＲＯＩの物理的な長さ（データ長）である。ＲＯＩ解析部１２２は、例えば、注目領域ＲＯＩごとに、位置情報１１３の他に、例えば、センシングインフォメーション、露光情報、ゲイン情報、ＡＤ（Analog-Digital）語長、画像フォーマットなどを導出し、記憶部に格納してもよい。

【0024】

センシングインフォメーションとは、注目領域ＲＯＩに含まれる物体についての演算内容や、ＲＯＩ画像１１２に対する後段信号処理のための補足情報などを指している。露光情報とは、注目領域ＲＯＩの露光時間を指している。ゲイン情報とは、注目領域ＲＯＩのゲイン情報を指している。ＡＤ語長とは、注目領域ＲＯＩ内でＡＤ変換された１画素あたりのデータの語長を指している。画像フォーマットとは、注目領域ＲＯＩの画像のフォーマットを指している。ＲＯＩ解析部１２２は、例えば、撮像画像１１１に含まれる注目領域ＲＯＩの数（ＲＯＩ数）を導出し、記憶部に格納してもよい。

【0025】

重なり検出部１２３は、撮像画像１１１において、撮影対象の複数の物体が特定されたときには、撮像画像１１１における複数の注目領域ＲＯＩの位置情報１１３に基づいて、２以上の注目領域ＲＯＩ同士が重なり合う重なり領域（ＲＯＯ（Region Of Overlap））を検出する。つまり、重なり検出部１２３は、重なり領域ＲＯＯごとに、撮像画像１１１における重なり領域ＲＯＯの位置情報１１４を導出する。重なり検出部１２３は、例えば、導出した位置情報１１４を記憶部に格納する。重なり検出部１２３は、例えば、導出した位置情報１１４を重なり領域ＲＯＯと対応付けて、記憶部に格納する。重なり領域ＲＯＯは、例えば、互いに重なり合う２以上の注目領域ＲＯＩにおいて最も小さな注目領域ＲＯＩと同じ大きさか、それよりも小さな方形状の領域である。位置情報１１４は、例えば、重なり領域ＲＯＯの左上端座標（Ｘｂ，Ｙｂ）と、重なり領域ＲＯＯのＸ軸方向の長さと、重なり領域ＲＯＯのＹ軸方向の長さとによって構成されている。重なり領域ＲＯＯのＸ軸方向の長さは、例えば、物理領域長さＸＬｂである。重なり領域ＲＯＯのＹ軸方向の長さは、例えば、物理領域長さＹＬｂである。位置情報１１４において、注目領域ＲＯＩの左上端とは異なる位置の座標が含まれていてもよい。

【0026】

優先度設定部１２４は、撮像画像１１１において、注目領域ＲＯＩごとに優先度１１５を付与する。優先度設定部１２４は、例えば、付与した優先度１１５を記憶部に格納する。優先度設定部１２４は、例えば、付与した優先度１１５を注目領域ＲＯＩと対応付けて、記憶部に格納する。優先度設定部１２４は、注目領域ＲＯＩごとに付与されている領域番号とは別に、優先度１１５を注目領域ＲＯＩごとに付与してもよいし、注目領域ＲＯＩごとに付与されている領域番号を、優先度１１５の代わりとしてもよい。優先度設定部１２４は、例えば、優先度１１５を注目領域ＲＯＩと関連付けて、記憶部に格納してもよいし、注目領域ＲＯＩごとに付与されている領域番号を注目領域ＲＯＩと関連付けて、記憶部に格納してもよい。

【0027】

優先度１１５は、各注目領域ＲＯＩの識別子であり、撮像画像１１１における複数の注目領域ＲＯＩのいずれに対して重なり領域ＲＯＯの割愛が行われたかを判別することの可能な判別情報である。優先度設定部１２４は、例えば、それぞれが重なり領域ＲＯＯを含む２つの注目領域ＲＯＩにおいて、一方の注目領域ＲＯＩに対して優先度１１５として１を付与し、他方の注目領域ＲＯＩに対して優先度１１５として２を付与する。この場合には、後述の伝送画像１１６の作成に際して、優先度１１５の数値が大きい方の注目領域ＲＯＩに対して、重なり領域ＲＯＯの割愛が行われる。なお、優先度設定部１２４は、注目領域ＲＯＩごとに付与されている領域番号と同じ番号を、注目領域ＲＯＩに対して優先度１１５として付与してもよい。優先度設定部１２４は、例えば、各注目領域ＲＯＩに付与した優先度１１５を、ＲＯＩ画像１１２と関連づけて、記憶部に格納する。

【0028】

エンコード部１２５は、各伝送画像１１６を、エンコードして圧縮像データ１２０Ａを生成する。エンコード部１２５は、例えば、圧縮像データ１２０Ａの形式として、ＪＰＥＧ規格に準拠した圧縮形式等により各伝送画像１１６を圧縮する。エンコード部１２５は、上記の圧縮処理を行う前に、各伝送画像１１６を生成する。エンコード部１２５は、撮像画像１１１から得られた複数のＲＯＩ画像１１２において重なり領域ＲＯＯの画像１１８が重複して含まれないように、撮像画像１１１から得られた複数のＲＯＩ画像１１２から画像１１８を割愛したものである複数の伝送画像１１６を生成する。

【0029】

エンコード部１２５は、例えば、注目領域ＲＯＩごとに付与されている優先度１１５に基づいて、複数のＲＯＩ画像１１２のいずれに対して画像１１８の割愛を行うかを決定する。なお、エンコード部１２５は、例えば、注目領域ＲＯＩごとに付与されている領域番号を優先度１１５として用いることにより、複数のＲＯＩ画像１１２のいずれに対して画像１１８の割愛を行うかを決定してもよい。エンコード部１２５は、上記のようにして特定されたＲＯＩ画像１１２において画像１１８を割愛したものを、伝送画像１１６（例えば図３の伝送画像１１６ａ２）とする。エンコード部１２５は、重なり領域ＲＯＯを含まないＲＯＩ画像１１２や、上記の決定により画像１１８が割愛されないこととなったＲＯＩ画像１１２については、ＲＯＩ画像１１２そのものを伝送画像１１６（例えば図３の伝送画像１１６ａ１）とする。

【0030】

画像処理制御部１２６は、ＲＯＩ情報１２０Ｂ及びフレーム情報１２０Ｃを生成し、送信部１４０に送信する。ＲＯＩ情報１２０Ｂは、例えば、各位置情報１１３を含んでいる。ＲＯＩ情報１２０Ｂは、さらに、例えば、各注目領域ＲＯＩのデータタイプ、撮像画像１１１に含まれる注目領域ＲＯＩの数、各注目領域ＲＯＩの領域番号（又は優先度１１５）、各注目領域ＲＯＩのデータ長、及び各注目領域ＲＯＩの画像フォーマットのうち少なくとも１つを含んでいる。フレーム情報１２０Ｃは、例えば、フレームごとに付与されるバーチャルチャネルの番号、各注目領域ＲＯＩのデータタイプ、ラインごとのペイロード（Ｐａｙｌｏａｄ）長などを含んでいる。データタイプには、例えば、ＹＵＶデータ、ＲＧＢデータ又はＲＡＷデータなどが含まれている。データタイプには、さらに、例えば、ＲＯＩ形式のデータ又は通常形式のデータなどが含まれている。ペイロード長は、例えば、ロングパケット（ＬｏｎｇＰａｃｋｅｔ）のペイロードに含まれるピクセル数であり、例えば、注目領域ＲＯＩごとのピクセル数である。ここで、ペイロードとは、映像送信装置１００及び映像受信装置２００の間で伝送される主要なデータ（アプリケーションデータ）を指している。ロングパケットとは、パケットヘッダＰＨとパケットフッタＰＦとの間に配置されるパケットを指している。

【0031】

送信部１４０は、画像処理部１２０，１３０から入力された種々のデータ（１２０Ａ，１２０Ｂ，１２０Ｃ，１３０Ａ）に基づいて伝送データ１４７Ａを生成し、送出する回路である。送信部１４０は、撮像画像１１１における各注目領域ＲＯＩについてのＲＯＩ情報１２０Ｂをエンベデッドデータ（ＥｍｂｅｄｄｅｄＤａｔａ）で送出する。送信部１４０は、さらに、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）をロングパケットのペイロードデータ（ＰａｙｌｏａｄＤａｔａ）で送出する。このとき、送信部１４０は、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）を互いに共通のバーチャルチャネルで送出する。また、送信部１４０は、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）を画像データフレームによって送出するとともに、各注目領域ＲＯＩについてのＲＯＩ情報１２０Ｂを画像データフレームのヘッダで送出する。送信部１４０は、また、通常画像の出力を指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、通常の画像データ（圧縮像データ１３０Ａ）をロングパケットのペイロードデータで送出する。

【0032】

送信部１４０は、例えば、ＬＩＮＫ制御部１４１、ＥＣＣ生成部１４２、ＰＨ生成部１４３、ＥＢＤバッファ１４４、ＲＯＩデータバッファ１４５、通常画像データバッファ１４６及び合成部１４７を有している。ＬＩＮＫ制御部１４１、ＥＣＣ生成部１４２、ＰＨ生成部１４３、ＥＢＤバッファ１４４及びＲＯＩデータバッファ１４５は、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、合成部１４７への出力を行う。通常画像データバッファ１４６は、通常画像の出力を指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、合成部１４７への出力を行う。

【0033】

なお、ＲＯＩデータバッファ１４５が、通常画像データバッファ１４６を兼ねていてもよい。この場合、送信部１４０は、ＲＯＩデータバッファ１４５及びＲＯＩデータバッファ１４５のそれぞれの出力端と、合成部１４７の入力端との間に、ＲＯＩデータバッファ１４５及びＲＯＩデータバッファ１４５のいずれかの出力を選択するセレクタを有していてもよい。

【0034】

ＬＩＮＫ制御部１４１は、例えば、フレーム情報１２０ＣをラインごとにＥＣＣ生成部１４２及びＰＨ生成部１４３に出力する。ＥＣＣ生成部１４２は、例えば、フレーム情報１２０Ｃにおける１ラインのデータ（例えば、バーチャルチャネルの番号、各注目領域ＲＯＩのデータタイプ、ラインごとのペイロード長など）に基づいて、そのラインの誤り訂正符号を生成する。ＥＣＣ生成部１４２は、例えば、生成した誤り訂正符号をＰＨ生成部１４３に出力する。ＰＨ生成部１４３は、例えば、フレーム情報１２０Ｃと、ＥＣＣ生成部１４２で生成された誤り訂正符号とを用いて、１ラインごとにパケットヘッダＰＨを生成する。このとき、パケットヘッダＰＨは、例えば、図４に示したように、ロングパケットのペイロードデータのパケットヘッダである。このパケットヘッダＰＨには、例えば、ＤＩ、ＷＣ及びＥＣＣが含まれている。ＷＣは、映像受信装置２００に対してパケットの終わりをワード数で示すための領域である。ＷＣには、例えば、ペイロード長が含まれており、例えば、注目領域ＲＯＩごとのピクセル数が含まれている。ＥＣＣは、ビットエラーを修正するための値を格納する領域である。ＥＣＣには、誤り訂正符号が含まれている。ＤＩは、データ識別子を格納する領域である。ＤＩには、ＶＣ（バーチャルチャネル）の番号及びＤａｔａＴｙｐｅ（各注目領域ＲＯＩのデータタイプ）が含まれている。ＶＣ（バーチャルチャネル）は、パケットのフロー制御のために導入された概念であり、同一のリンクを共用する複数の独立したデータストリームをサポートするためのメカニズムである。ＰＨ生成部１４３は、生成したパケットヘッダＰＨを合成部１４７に出力する。

【0035】

ＥＢＤバッファ１４４は、ＲＯＩ情報１２０Ｂを一次的に格納し、所定のタイミングでＲＯＩ情報１２０Ｂをエンベデッドデータとして合成部１４７に出力する。エンベデッドデータとは、画像データフレーム（後述の図５参照）のヘッダ又はフッタに埋め込むことの可能な追加情報を指している。エンベデッドデータには、例えば、ＲＯＩ情報１２０Ｂが含まれている。

【0036】

ＲＯＩデータバッファ１４５は、圧縮像データ１２０Ａを一次的に格納し、所定のタイミングで圧縮像データ１２０Ａをロングパケットのペイロードデータとして合成部１４７に出力する。ＲＯＩデータバッファ１４５は、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、圧縮像データ１２０Ａをロングパケットのペイロードデータとして合成部１４７に出力する。通常画像データバッファ１４６は、圧縮像データ１３０Ａを一次的に格納し、所定のタイミングで圧縮像データ１３０Ａをロングパケットのペイロードデータとして合成部１４７に出力する。通常画像データバッファ１４６は、通常画像の出力を指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、圧縮像データ１３０Ａをロングパケットのペイロードデータとして合成部１４７に出力する。

【0037】

合成部１４７は、通常画像の出力を指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、入力されたデータ（圧縮像データ１３０Ａ）に基づいて、伝送データ１４７Ａを生成する。合成部１４７は、生成した伝送データ１４７Ａを、データレーンＤＬを介して映像受信装置２００に出力する。一方、合成部１４７は、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、入力された各種データ（パケットヘッダＰＨ、ＲＯＩ情報１２０Ｂ、及び圧縮像データ１２０Ａ）に基づいて、伝送データ１４７Ａを生成する。合成部１４７は、生成した伝送データ１４７Ａを、データレーンＤＬを介して映像受信装置２００に出力する。つまり、合成部１４７は、ＤａｔａＴｙｐｅ（各注目領域ＲＯＩのデータタイプ）をロングパケットのペイロードデータのパケットヘッダＰＨに含めて送出する。また、合成部１４７は、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）を互いに共通のバーチャルチャネルで送出する。

【0038】

伝送データ１４７Ａは、例えば、図５に示したような画像データフレームによって構成されている。画像データフレームは、通常、ヘッダ領域、パケット領域、及びフッタ領域を有している。図５では、便宜的に、フッタ領域の記載が省略されている。伝送データ１４７Ａのフレームヘッダ領域Ｒ１には、エンベデッドデータが含まれている。このとき、エンベデッドデータには、ＲＯＩ情報１２０Ｂが含まれている。図５において、伝送データ１４７Ａのパケット領域Ｒ２には、１ラインごとに、ロングパケットのペイロードデータが含まれており、さらに、ロングパケットのペイロードデータを挟み込む位置にパケットヘッダＰＨ及びパケットフッタＰＦが含まれている。さらに、パケットヘッダＰＨとパケットフッタＰＦを挟み込む位置にローパワーモードＬＰが含まれている。

【0039】

このとき、パケットヘッダＰＨには、例えば、ＤＩ、ＷＣ及びＥＣＣが含まれている。ＷＣには、例えば、ペイロード長が含まれており、例えば、注目領域ＲＯＩごとのピクセル数が含まれている。ＥＣＣには、誤り訂正符号が含まれている。ＤＩには、ＶＣ（バーチャルチャネルの番号）及びＤａｔａＴｙｐｅ（各注目領域ＲＯＩのデータタイプ）が含まれている。本実施の形態では、各ラインのＶＣには、互いに共通のバーチャルチャネルの番号が付与されている。また、図５において、伝送データ１４７Ａのパケット領域Ｒ２には、圧縮像データ１４７Ｂが含まれている。圧縮像データ１４７Ｂは、１つの圧縮像データ１２０Ａ、又は複数の圧縮像データ１２０Ａによって構成されている。ここで、図５において、パケットヘッダＰＨ寄りのパケット群には、例えば、図３中の伝送画像１１６ａ１の圧縮像データ１２０Ａ（１２０Ａ１）が含まれており、パケットヘッダＰＨから離れたパケット群には、例えば、図３中の伝送画像１１６ａ２の圧縮像データ１２０Ａ（１２０Ａ２）が含まれている。これら２つの圧縮像データ１２０Ａ１，１２０Ａ２によって圧縮像データ１４７Ｂが構成されている。各ラインのロングパケットのペイロードデータには、圧縮像データ１４７Ｂにおける１ライン分のピクセルデータが含まれている。

【0040】

図６は、伝送データ１４７Ａの構成例を表したものである。伝送データ１４７Ａは、例えば、フレームヘッダ領域Ｒ１及びパケット領域Ｒ２を含んでいる。なお、図６には、フレームヘッダ領域Ｒ１の中身が詳細に例示されている。また、図６では、ローパワーモードＬＰが省略されている。

【0041】

フレームヘッダ領域Ｒ１には、例えば、伝送データ１４７Ａの識別子としてのフレーム番号Ｆ１が含まれている。フレームヘッダ領域Ｒ１は、パケット領域Ｒ２に含まれる圧縮像データ１４７Ｂについての情報を含んでいる。フレームヘッダ領域Ｒ１は、例えば、圧縮像データ１４７Ｂに含まれる圧縮像データ１２０Ａの数（ＲＯＩ数）と、圧縮像データ１４７Ｂに含まれる各圧縮像データ１２０Ａに対応するＲＯＩ画像１１２についての情報（ＲＯＩ情報１２０Ｂ）とを含んでいる。

【0042】

合成部１４７は、例えば、伝送データ１４７Ａのパケット領域Ｒ２において、圧縮像データ１４７Ｂを、圧縮像データ１２０Ａの画素行ごとに分けて配置する。したがって、伝送データ１４７Ａのパケット領域Ｒ２には、重なり領域ＲＯＯの画像１１８に対応する圧縮像データが重複して含まれていない。また、合成部１４７は、例えば、伝送データ１４７Ａのパケット領域Ｒ２において、撮像画像１１１のうち各伝送画像１１６と対応しない画素行を割愛している。したがって、伝送データ１４７Ａのパケット領域Ｒ２には、撮像画像１１１のうち各伝送画像１１６に対応しない画素行は含まれていない。なお、図６のパケット領域Ｒ２において、破線で囲んだ箇所が、重なり領域ＲＯＯの画像１１８の圧縮像データに相当する。

【0043】

パケットヘッダＰＨ寄りのパケット群（例えば図６中の１（ｎ））と、パケットヘッダＰＨから離れたパケット群（例えば図６中の２（１））との境界は、パケットヘッダＰＨ寄りのパケット群（例えば図６中の１（ｎ））の圧縮像データに対応するＲＯＩ画像１１２の物理領域長さＸＬａ１によって特定される。パケットヘッダＰＨ寄りのパケット群（例えば図６中の１（ｎ））に含まれる重なり領域ＲＯＯの画像１１８に対応する圧縮像データにおいて、パケットの開始位置は、パケットヘッダＰＨから離れたパケット群（例えば図６中の２（１））に対応するＲＯＩ画像１１２の物理領域長さＸＬａ２によって特定される。

【0044】

合成部１４７は、例えば、伝送データ１４７Ａのパケット領域Ｒ２において、１ラインごとに、ロングパケットのペイロードデータを生成する際に、ロングパケットのペイロードデータに、例えば、圧縮像データ１４７Ｂにおける１ライン分のピクセルデータの他に、例えば、図７に示したように、ＲＯＩ情報１２０Ｂを含めてもよい。つまり、合成部１４７は、ＲＯＩ情報１２０Ｂをロングパケットのペイロードデータに含めて送出してもよい。このとき、ＲＯＩ情報１２０Ｂは、例えば、図７（Ａ）～図７（Ｋ）に示したように、撮像画像１１１に含まれる注目領域ＲＯＩの数（ＲＯＩ数）、各注目領域ＲＯＩの領域番号（又は優先度１１５）、各注目領域ＲＯＩのデータ長、及び各注目領域ＲＯＩの画像フォーマットのうち少なくとも１つを含んでいる。ＲＯＩ情報１２０Ｂは、ロングパケットのペイロードデータにおいて、パケットヘッダＰＨ側の端部（つまり、ロングパケットのペイロードデータの先頭）に配置されることが好ましい。

【0045】

（映像受信装置２００）
次に、映像受信装置２００について説明する。図８は、映像受信装置２００の構成の一例を表したものである。図９は、映像受信装置２００におけるＲＯＩ画像２２３Ａの生成手順の一例を表したものである。映像受信装置２００は、映像送信装置１００と共通の規格（例えば、ＭＩＰＩ ＣＳＩ－２規格、ＭＩＰＩ ＣＳＩ－３規格、又は、ＭＩＰＩＤＳＩ規格）で信号を受信する装置である。映像受信装置２００は、例えば、受信部２１０及び情報処理部２２０を有している。受信部２１０は、映像送信装置１００から出力された伝送データ１４７Ａを、データレーンＤＬを介して受信し、受信した伝送データ１４７Ａに対して所定の処理を行うことにより、種々のデータ（２１４Ａ，２１５Ａ，２１５Ｂ）を生成し、情報処理部２２０に出力する回路である。情報処理部２２０は、受信部２１０から受信した種々のデータ（２１４Ａ，２１５Ａ）に基づいて、ＲＯＩ画像２２３Ａを生成したり、受信部２１０から受信したデータ（２１５Ｂ）に基づいて、通常画像２２４Ａを生成したりする回路である。

【0046】

受信部２１０は、例えば、ヘッダ分離部２１１、ヘッダ解釈部２１２、ペイロード分離部２１３、ＥＢＤ解釈部２１４及びＲＯＩデータ分離部２１５を有している。

【0047】

ヘッダ分離部２１１は、伝送データ１４７Ａを、データレーンＤＬを介して映像送信装置１００から受信する。つまり、ヘッダ分離部２１１は、撮像画像１１１における各注目領域ＲＯＩについてのＲＯＩ情報１２０Ｂをエンベデッドデータに含むとともに、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）をロングパケットのペイロードデータに含む伝送データ１４７Ａを受信する。ヘッダ分離部２１１は、受信した伝送データ１４７Ａをフレームヘッダ領域Ｒ１とパケット領域Ｒ２とに分離する。ヘッダ解釈部２１２は、フレームヘッダ領域Ｒ１に含まれるデータ（具体的にはエンベデッドデータ）に基づいて、パケット領域Ｒ２に含まれるロングパケットのペイロードデータの位置を特定する。ペイロード分離部２１３は、ヘッダ解釈部２１２によって特定されたロングパケットのペイロードデータの位置に基づいて、パケット領域Ｒ２に含まれるロングパケットのペイロードデータを、パケット領域Ｒ２から分離する。

【0048】

ＥＢＤ解釈部２１４は、エンベデッドデータをＥＢＤデータ２１４Ａとして、情報処理部２２０に出力する。ＥＢＤ解釈部２１４は、さらに、エンベデッドデータに含まれるデータタイプから、ロングパケットのペイロードデータに含まれる画像データがＲＯＩの画像データ１１６の圧縮像データ１２０Ａであるか、又は、通常画像データの圧縮像データ１３０Ａであるか判別する。ＥＢＤ解釈部２１４は、判別結果をＲＯＩデータ分離部２１５に出力する。

【0049】

ロングパケットのペイロードデータに含まれる画像データがＲＯＩの画像データ１１６の圧縮像データ１２０Ａである場合、ＲＯＩデータ分離部２１５は、ロングパケットのペイロードデータをペイロードデータ２１５Ａとして、情報処理部２２０（具体的にはＲＯＩデコード部２２２）に出力する。ペイロードデータに含まれる画像データが通常画像データの圧縮像データ１３０Ａである場合、ＲＯＩデータ分離部２１５は、ロングパケットのペイロードデータをペイロードデータ２１５Ｂとして、情報処理部２２０（具体的には通常画像デコード部２２４）に出力する。ロングパケットのペイロードデータにＲＯＩ情報１２０Ｂが含まれている場合には、ペイロードデータ２１５Ａは、ＲＯＩ情報１２０Ｂと、圧縮像データ１４７Ｂのうち１ライン分のピクセルデータとを含んでいる。

【0050】

情報処理部２２０は、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ情報１２０Ｂを抽出する。情報処理部２２０は、情報抽出部２２１で抽出したＲＯＩ情報１２０Ｂに基づいて、受信部２１０で受信した伝送データ１４７Ａに含まれるロングパケットのペイロードデータから、撮像画像１１１における各注目領域ＲＯＩの画像（ＲＯＩ画像１１２）を抽出する。情報処理部２２０は、例えば、情報抽出部２２１、ＲＯＩデコード部２２２、ＲＯＩ画像生成部２２３及び通常画像デコード部２２４を有している。

【0051】

通常画像デコード部２２４は、ペイロードデータ２１５Ｂをデコードし、通常画像２２４Ａを生成する。ＲＯＩデコード部２２２は、ペイロードデータ２１５Ａに含まれる圧縮像データ１４７Ｂをデコードし、画像データ２２２Ａを生成する。この画像データ２２２Ａは、１又は複数の伝送画像１１６によって構成されている。

【0052】

情報抽出部２２１は、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ情報１２０Ｂを抽出する。情報抽出部２２１は、例えば、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、例えば、撮像画像１１１に含まれる注目領域ＲＯＩの数、各注目領域ＲＯＩの領域番号（又は優先度１１５）、各注目領域ＲＯＩのデータ長、及び各注目領域ＲＯＩの画像フォーマットを抽出する。つまり、伝送データ１４７Ａは、当該伝送データ１４７Ａから得られる複数の伝送画像１１６のいずれに対して重なり領域ＲＯＯの画像１１８の割愛が行われたかを判別することの可能な判別情報として、各伝送画像１１６に対応する注目領域ＲＯＩの領域番号（又は優先度１１５）を含んでいる。

【0053】

ＲＯＩ画像生成部２２３は、情報抽出部２２１で得られたＲＯＩ情報１２０Ｂに基づいて、２以上の注目領域ＲＯＩ同士が重なり合う重なり領域ＲＯＯを検出する。

【0054】

情報抽出部２２１が、例えば、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ画像１１２ａ１に対応する注目領域ＲＯＩの座標（例えば左上端座標（Ｘａ１，Ｙａ１））、長さ（例えば物理領域長さＸＬａ１，ＹＬａ１）及び領域番号１（又は優先度１１５（＝１））を抽出する。情報抽出部２２１が、さらに、例えば、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ画像１１２ａ２に対応する注目領域ＲＯＩの座標（例えば左上端座標（Ｘａ２，Ｙａ２））、長さ（例えば物理領域長さＸＬａ２，ＹＬａ２）及び領域番号２（又は優先度１１５（＝２））を抽出する。

【0055】

このとき、ＲＯＩ画像生成部２２３は、抽出したこれらの情報（以下、「抽出情報２２１Ａ」と称する。）に基づいて、重なり領域ＲＯＯの位置情報１１４を導出する。ＲＯＩ画像生成部２２３は、上記の重なり領域ＲＯＯの位置情報１１４として、例えば、重なり領域ＲＯＯの座標（例えば左上端座標（Ｘｂ１，Ｙｂ１））及び長さ（例えば物理領域長さＸＬｂ１，ＹＬｂ１）を導出する。

【0056】

なお、ＲＯＩ画像生成部２２３は、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータからＲＯＩ情報１２０Ｂを取得する代わりに、ペイロードデータ２１５ＡからＲＯＩ情報１２０Ｂを取得してもよい。この場合、ＲＯＩ画像生成部２２３は、ペイロードデータ２１５Ａに含まれるＲＯＩ情報１２０Ｂに基づいて、２以上の注目領域ＲＯＩ同士が重なり合う重なり領域ＲＯＯを検出してもよい。また、ＲＯＩ画像生成部２２３は、ペイロードデータ２１５Ａに含まれるＲＯＩ情報１２０Ｂから、抽出情報２２１Ａを抽出してもよく、そのようにして抽出した抽出情報２２１Ａに基づいて、重なり領域ＲＯＯの位置情報１１４を導出してもよい。

【0057】

ＲＯＩ画像生成部２２３は、さらに、画像データ２２２Ａと、抽出情報２２１Ａと、重なり領域ＲＯＯの位置情報１１４とに基づいて、撮像画像１１１における各注目領域ＲＯＩの画像（ＲＯＩ画像１１２ａ１，１１２ａ２）を生成する。ＲＯＩ画像生成部２２３は、生成した画像をＲＯＩ画像２２３Ａとして出力する。

【0058】

[手順]
次に、図３、図９を参考にして、映像伝送システム１におけるデータ伝送の手順の一例について説明する。

【0059】

まず、撮像部１１０は、撮像により得られた撮像画像１１１（デジタルの画像データ）を画像処理部１２０に出力する。ＲＯＩ切り出し部１２１は、撮像部１１０から入力された撮像画像１１１に含まれる２つの注目領域ＲＯＩ１，ＲＯＩ２を特定する。ＲＯＩ切り出し部１２１は、撮像画像１１１から、各注目領域ＲＯＩ１，ＲＯＩ２の画像（ＲＯＩ画像１１２ａ１，１１２ａ２）を切り出す。ＲＯＩ切り出し部１２１は、注目領域ＲＯＩ１に対して識別子として領域番号１を付与し、注目領域ＲＯＩ２に対して識別子として領域番号２を付与する。

【0060】

ＲＯＩ解析部１２２は、注目領域ＲＯＩごとに、撮像画像１１１における注目領域ＲＯＩの位置情報１１３を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ１に基づいて、注目領域ＲＯＩ１の左上端座標（Ｘａ１，Ｙａ１）と、注目領域ＲＯＩ１のＸ軸方向の長さ（ＸＬａ１）と、注目領域ＲＯＩ１のＹ軸方向の長さ（ＹＬａ１）とを導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ２に基づいて、注目領域ＲＯＩ２の左上端座標（Ｘａ２，Ｙａ２）と、注目領域ＲＯＩ２のＸ軸方向の長さ（ＸＬａ２）と、注目領域ＲＯＩ２のＹ軸方向の長さ（ＹＬａ２）とを導出する。

【0061】

重なり検出部１２３は、撮像画像１１１における２つの注目領域ＲＯＩ１，ＲＯＩ２の位置情報１１３に基づいて、２つの注目領域ＲＯＩ１，ＲＯＩ２同士が重なり合う重なり領域ＲＯＯを検出する。つまり、重なり検出部１２３は、撮像画像１１１における重なり領域ＲＯＯの位置情報１１４を導出する。重なり検出部１２３は、撮像画像１１１における重なり領域ＲＯＯの位置情報１１４として、重なり領域ＲＯＯの左上端座標（Ｘｂ１，Ｙｂ１）と、重なり領域ＲＯＯのＸ軸方向の長さ（ＸＬｂ１）と、重なり領域ＲＯＯのＹ軸方向の長さ（ＹＬｂ１）とを導出する。

【0062】

優先度設定部１２４は、２つの注目領域ＲＯＩ１，ＲＯＩ２において、一方の注目領域ＲＯＩ１に対して優先度１１５として１を付与し、他方の注目領域ＲＯＩ２に対して優先度１１５として２を付与する。

【0063】

エンコード部１２５は、２つの注目領域ＲＯＩ１，ＲＯＩ２において重なり領域ＲＯＯの画像１１８が重複して含まれないように、撮像画像１１１から得られた２つのＲＯＩ画像１１２ａ１，１１２ａ２から画像１１８を割愛したものである２つの伝送画像１１６ａ１，１１６ａ２を生成する。

【0064】

エンコード部１２５は、２つの注目領域ＲＯＩ１，ＲＯＩ２の領域番号（又は優先度１１５）に基づいて、２つのＲＯＩ画像１１２ａ１，１１２ａ２のいずれに対して画像１１８の割愛を行うかを決定する。エンコード部１２５は、２つの注目領域ＲＯＩ１，ＲＯＩ２において、領域番号（又は優先度１１５）の大きい方である注目領域ＲＯＩ２に対応するＲＯＩ画像１１２ａ２に対して画像１１８の割愛を行い、これにより、伝送画像１１６ａ２を生成する。エンコード部１２５は、２つの注目領域ＲＯＩ１，ＲＯＩ２において、領域番号（又は優先度１１５）の小さな方である注目領域ＲＯＩ１に対応するＲＯＩ画像１１２ａ１については、ＲＯＩ画像１１２ａ１そのものを伝送画像１１６ａ１とする。

【0065】

画像処理制御部１２６は、ＲＯＩ情報１２０Ｂ及びフレーム情報１２０Ｃを生成し、送信部１４０に送信する。送信部１４０は、画像処理部１２０，１３０から入力された種々のデータ（１２０Ａ，１２０Ｂ，１２０Ｃ，１３０Ａ）に基づいて伝送データ１４７Ａを生成する。送信部１４０は、生成した伝送データ１４７Ａを、データレーンＤＬを介して映像受信装置２００に送出する。

【0066】

受信部２１０は、映像送信装置１００から出力された伝送データ１４７Ａを、データレーンＤＬを介して受信する。受信部２１０は、受信した伝送データ１４７Ａに対して所定の処理を行うことにより、ＥＢＤデータ２１４Ａ及びペイロードデータ２１５Ａを生成し、情報処理部２２０に出力する。

【0067】

情報抽出部２２１は、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ情報１２０Ｂを抽出する。情報抽出部２２１は、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ画像１１２ａ１に対応する注目領域ＲＯＩの座標（例えば左上端座標（Ｘａ１，Ｙａ１））、長さ（例えば物理領域長さＸＬａ１，ＹＬａ１）及び領域番号１（又は優先度１１５（＝１））を抽出する。情報抽出部２２１は、さらに、ＲＯＩ画像１１２ａ２に対応する注目領域ＲＯＩの座標（例えば左上端座標（Ｘａ２，Ｙａ２））、長さ（例えば物理領域長さＸＬａ２，ＹＬａ２）及び領域番号２（又は優先度１１５（＝２））を抽出する。ＲＯＩデコード部２２２は、ペイロードデータ２１５Ａに含まれる圧縮像データ１４７Ｂをデコードし、画像データ２２２Ａを生成する。

【0068】

ＲＯＩ画像生成部２２３は、抽出したこれらの情報（抽出情報２２１Ａ）に基づいて、重なり領域ＲＯＯの位置情報１１４を導出する。ＲＯＩ画像生成部２２３は、上記の重なり領域ＲＯＯの位置情報１１４として、例えば、重なり領域ＲＯＯの座標（例えば左上端座標（Ｘｂ１，Ｙｂ１））及び長さ（例えば物理領域長さＸＬｂ１，ＹＬｂ１）を導出する。ＲＯＩ画像生成部２２３は、さらに、画像データ２２２Ａと、抽出情報２２１Ａと、重なり領域ＲＯＯの位置情報１１４とに基づいて、撮像画像１１１における各注目領域ＲＯＩの画像（ＲＯＩ画像１１２ａ１，１１２ａ２）を生成する。

【0069】

[効果]
次に、本実施の形態に係る映像伝送システム１の効果について説明する。

【0070】

近年、データ量の大きなデータを大量に送信する用途が増えてきている。伝送システムに大きな負荷がかかりやすく、最悪の場合には、伝送システムがダウンし、データ伝送が行えなくなるおそれがある。

【0071】

従来では、伝送システムのダウンを避けるために、例えば、撮影した画像を全て送信するのではなく、撮影対象の物体を特定し、特定した物体を切り出した一部の画像だけを送信することが行われている。

【0072】

ところで、イメージセンサからアプリケーションプロセッサへの伝送に用いられる方式として、ＭＩＰＩ ＣＳＩ－２が用いられることがある。この方式を用いてＲＯＩを伝送しようとした場合、様々な制約により、ＲＯＩの伝送が容易ではないことがある。

【0073】

一方、本実施の形態では、撮像画像１１１における各注目領域ＲＯＩについてのＲＯＩ情報１２０Ｂがエンベデッドデータで送出されるとともに、各注目領域ＲＯＩの画像データがロングパケットのペイロードデータで送出される。これにより、映像送信装置１００から送出された伝送データ１４７Ａを受信した装置（映像受信装置２００）において、伝送データ１４７Ａから、各注目領域ＲＯＩの画像データ（ＲＯＩ画像１１２）を容易に抽出することができる。その結果、様々な制約の下でも、注目領域ＲＯＩの伝送を行うことができる。

【0074】

また、本実施の形態では、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）が互いに共通のバーチャルチャネルで送出される。これにより、同一パケットの中で複数のＲＯＩ画像１１２を送ることができるので、複数のＲＯＩ画像１１２を送る間に、ＬＰモードに入る必要がなく、高い伝送効率を得ることができる。

【0075】

また、本実施の形態では、各注目領域ＲＯＩのデータタイプがロングパケットのペイロードデータのパケットヘッダＰＨに含めて送出される。これにより、エンベデッドデータにアクセスしなくても、ロングパケットのペイロードデータのパケットヘッダＰＨにアクセスするだけで、各注目領域ＲＯＩのデータタイプが得られる。これにより、映像受信装置２００における処理速度を速くすることができるので、高い伝送効率を得ることができる。

【0076】

また、本実施の形態において、ＲＯＩ情報１２０Ｂがロングパケットのペイロードデータに含めて送出される場合には、エンベデッドデータにアクセスしなくても、ロングパケットのペイロードデータにアクセスするだけで、ＲＯＩ情報１２０Ｂが得られる。これにより、映像受信装置２００における処理速度を速くすることができるので、高い伝送効率を得ることができる。

【0077】

また、本実施の形態では、伝送データ１４７Ａに含まれるエンベデッドデータから、各注目領域ＲＯＩについてのＲＯＩ情報１２０Ｂが抽出されるとともに、抽出されたＲＯＩ情報１２０Ｂに基づいて、伝送データ１４７Ａに含まれるロングパケットのペイロードデータから、各注目領域ＲＯＩの画像（ＲＯＩ画像１１２）が抽出される。これにより、伝送データ１４７Ａから、各注目領域ＲＯＩの画像（ＲＯＩ画像１１２）を容易に抽出することができる。その結果、様々な制約の下でも、注目領域ＲＯＩの伝送を行うことができる。

【0078】

２．本開示の前提技術２：
撮像画像から切り出した一部（形状が非矩形状）の注目領域（ＲＯＩ）を伝送する技術について、図１から図９を参照しつつ図１０から図１２を用いて説明する。すなわち、方形状（矩形状）以外の形状を有する撮影対象の物体の画像を送受信する技術について、説明する。図１０は、撮像画像１１１において特定された物体が配置された領域を模式的に示す図である。なお、図１０では、理解を容易にするため、１５行×２３列の撮像素子で構成された撮像領域で撮像された撮像画像１１１が模式的に図示されている。図１１は、特定された物体に対して設定されたＲＯＩ領域の一例を示す図である。

【0079】

前提技術２では、前提技術１と同様に、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から映像送信装置１００に入力された場合に、撮像部１１０から入力された撮像画像１１１に対して所定の処理を行う場合について説明する。しかしながら、前提技術２では、映像送信装置１００、すなわち送信側がＲＯＩの切り出しの座標指示する場合も適用できある。この場合、送信側は例えば、受信側から送出されるＲＯＩで取得すべき「人物」や「物体」等の情報を受信して切り出しの座標を判断および指示するように構成される。

【0080】

ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力される。これにより、図１０に示すように、ＲＯＩ切り出し部１２１は、撮像画像１１１に含まれる撮影対象の４つの物体１～４を特定する。物体１は例えば、撮像画像１１１内の左上領域の一部を占める矩形状を有している。物体２は例えば、撮像画像１１１内で物体１の右側の一部の領域を占め、矩形の上側の両側角部及び下辺の一部が欠落した形状を有している。物体３は例えば、撮像画像１１１内で物体２の下方の一部の領域を占め、矩形の四隅が欠落した形状を有している。物体４は例えば、撮像画像１１１内で物体３の下方の一部の領域を占め、矩形の上側の両側角部が欠落した形状を有している。物体３及び物体４は一部が重なり合っている。

【0081】

図１１に示すように、ＲＯＩ切り出し部１２１（図２参照）は、特定した物体１～４をそれぞれ含む最小の矩形を注目領域ＲＯＩ１～ＲＯＩ４として設定する。ＲＯＩ切り出し部１２１は、物体１に対して注目領域ＲＯＩ１を設定し、ＲＯＩ画像１１２ａ１を切り出す。また、ＲＯＩ切り出し部１２１は、物体２に対して注目領域ＲＯＩ２を設定し、ＲＯＩ画像１１２ａ２を切り出す。また、ＲＯＩ切り出し部１２１は、物体３に対して注目領域ＲＯＩ３を設定し、ＲＯＩ画像１１２ａ３を切り出す。さらに、ＲＯＩ切り出し部１２１は、物体４に対して注目領域ＲＯＩ４を設定し、ＲＯＩ画像１１２ａ４を切り出す。

【0082】

ＲＯＩ切り出し部１２１は、注目領域ＲＯＩ１と、注目領域ＲＯＩ１に付与した領域番号「１」とを関連付けて記憶部に格納する。ＲＯＩ切り出し部１２１は、注目領域ＲＯＩ２と、注目領域ＲＯＩ２に付与した領域番号「２」とを関連付けて記憶部に格納する。ＲＯＩ切り出し部１２１は、注目領域ＲＯＩ３と、注目領域ＲＯＩ３に付与した領域番号「３」とを関連付けて記憶部に格納する。ＲＯＩ切り出し部１２１は、注目領域ＲＯＩ４と、注目領域ＲＯＩ４に付与した領域番号「４」とを関連付けて記憶部に格納する。

【0083】

ＲＯＩ解析部１２２（図２参照）は、注目領域ＲＯＩ１～ＲＯＩ４のそれぞれの位置情報を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ１の位置情報として例えば、Ｘ軸方向の物理領域長さＸＬａ１及びＹ軸方向の物理領域長さＹＬａ１を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ２の位置情報として例えば、Ｘ軸方向の物理領域長さＸＬａ２及びＹ軸方向の物理領域長さＹＬａ２を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ３の位置情報として例えば、Ｘ軸方向の物理領域長さＸＬａ３及びＹ軸方向の物理領域長さＹＬａ３を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ４の位置情報として例えば、Ｘ軸方向の物理領域長さＸＬａ４及びＹ軸方向の物理領域長さＹＬａ４を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩごとに、位置情報１１３として、さらに、例えば、注目領域ＲＯＩのＸ軸方向の出力領域長さＸＬｃや、注目領域ＲＯＩのＹ軸方向の出力領域長さＹＬｃを導出してもよい。

【0084】

ＲＯＩ解析部１２２は、注目領域ＲＯＩのそれぞれのＸ軸方向及びＹ軸方向の長さを導出することによって、後段への情報として注目領域ＲＯＩ１～ＲＯＩ４のそれぞれの大きさや総データ量を導出する。これにより、後段に相当する映像受信装置２００はメモリ領域を確保できる。

【0085】

ＲＯＩ解析部１２２は、撮影対象の物体及び注目領域の形状が一致していない場合には、注目領域ＲＯＩの位置情報ではなく、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報を導出するように構成されている。ＲＯＩ解析部１２２は、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報として、各行の左端座標（ｘｎ，ｙｎ）及びＸ軸方向の物理領域長さＸＬｎを導出する。また、ＲＯＩ画像１１２ａ２の２行目のようにＲＯＩ画像が分離している場合には、ＲＯＩ解析部１２２は、分離している部分のそれぞれについて位置情報を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ１～ＲＯＩ４の領域番号と、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報とを対応付けて記憶部に格納する。

【0086】

また、ＲＯＩ解析部１２２は、例えば、注目領域ＲＯＩ１～ＲＯＩ４ごとに、位置情報の他に、例えば、センシングインフォメーション、露光情報、ゲイン情報、ＡＤ語長、画像フォーマットなどを導出し、領域番号と対応付けて記憶部に格納してもよい。

【0087】

重なり検出部１２３（図２参照）は、撮影対象の物体が矩形状の場合には、注目領域同士が重なり合う領域ではなく、ＲＯＩ画像同士が重なり合う領域を重なり領域として導出する。図１１に示すように、重なり検出部１２３は、ＲＯＩ画像１１２ａ３及びＲＯＩ画像１２３ａ４が重なり合う領域として重なり領域ＲＯＯを導出する。重なり検出部１２３は、導出した重なり領域ＲＯＯを注目領域ＲＯＩ３，ＲＯＩ４の位置情報のそれぞれに対応付けて記憶部に格納する。

【0088】

優先度設定部１２４（図２参照）は、優先度「１」を注目領域ＲＯＩ１に付与し、優先度１を注目領域ＲＯＩ１に対応付けて記憶部に格納する。優先度設定部１２４は、優先度「１」よりも優先度が低い優先度「２」を注目領域ＲＯＩ２に付与し、優先度２を注目領域ＲＯＩ２に対応付けて記憶部に格納する。優先度設定部１２４は、優先度「２」よりも優先度が低い優先度「３」を注目領域ＲＯＩ３に付与し、優先度３を注目領域ＲＯＩ３に対応付けて記憶部に格納する。優先度設定部１２４は、優先度「３」よりも優先度が低い優先度「４」を注目領域ＲＯＩ４に付与し、優先度４を注目領域ＲＯＩ４に対応付けて記憶部に格納する。

【0089】

エンコード部１２５（図２参照）は、ＲＯＩ画像１１２ａ１～１１２ａ４のそれぞれについて伝送画像を生成する。注目領域ＲＯＩ４は注目領域ＲＯＩ３よりも優先度が低いので、エンコード部１２５は、ＲＯＩ画像１１２ａ４から重なり領域ＲＯＯを割愛して伝送画像を生成する。

【0090】

画像処理制御部１２６（図２参照）は、ＲＯＩ情報及びフレーム情報を生成し、送信部１４０（図２参照）に送信する。ＲＯＩ情報には例えば、ＲＯＩ画像１１２ａ１～１１２ａ４のそれぞれの位置情報が含まれる。ＲＯＩ情報にはその他に、上述の撮影対象の物体が矩形状の場合と同様の情報（例えば注目領域ＲＯＩ１～ＲＯＩ４のそれぞれデータタイプ、撮像画像１１１に含まれる注目領域ＲＯＩ１～ＲＯＩ４の数、注目領域ＲＯＩ１～ＲＯＩ４の領域番号及び優先度など）が含まれる。フレーム情報には例えば、注目領域ＲＯＩ１～ＲＯＩ４のデータタイプなど、上述の撮影対象の物体が矩形状の場合と同様の情報が含まれる。

【0091】

送信部１４０（図２参照）に設けられたＬＩＮＫ制御部１４１は、画像処理制御部１２６から入力されるフレーム情報及びＲＯＩ情報をラインごとにＥＣＣ生成部１４２及びＰＨ生成部１４３（いずれも図２参照）に出力する。ＥＣＣ生成部１４２は例えば、フレーム情報における１ラインのデータ（例えば、バーチャルチャネルの番号、注目領域ＲＯＩ１～ＲＯＩ４のそれぞれのデータタイプ、ラインごとのペイロード長など）に基づいて、そのラインの誤り訂正符号を生成する。ＥＣＣ生成部１４２は例えば、生成した誤り訂正符号をＰＨ生成部１４３に出力する。ＰＨ生成部１４３は例えば、フレーム情報と、ＥＣＣ生成部１４２で生成された誤り訂正符号とを用いて、１ラインごとにパケットヘッダＰＨ（図４参照）を生成する。

【0092】

ＥＢＤバッファ１４４（図２参照）は、ＲＯＩ情報を一次的に格納し、所定のタイミングでＲＯＩ情報をエンベデッドデータとして合成部１４７（図２参照）に出力する。

【0093】

ＲＯＩデータバッファ１４５（図２参照）は、エンコード部１２５から入力される圧縮像データを一次的に格納し、例えばＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、圧縮像データ１２０Ａをロングパケットのペイロードデータとして合成部１４７に出力する。

【0094】

合成部１４７は、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、入力された各種データ（パケットヘッダＰＨ、ＲＯＩ情報及びＲＯＩデータバッファ１４５を介してエンコード部１２５から入力された圧縮像データ）に基づいて、伝送データ１４７Ａを生成する。合成部１４７は、生成した伝送データ１４７Ａを、データレーンＤＬを介して映像受信装置２００に出力する。つまり、合成部１４７は、注目領域ＲＯＩ１～ＲＯＩ４のそれぞれのデータタイプをロングパケットのペイロードデータのパケットヘッダＰＨに含めて送出する。また、合成部１４７は、注目領域ＲＯＩ１～ＲＯＩ４のそれぞれの画像データ（圧縮像データ）を互いに共通のバーチャルチャネルで送出する。

【0095】

撮影対象の物体が矩形状でない場合、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報は、パケットヘッダＰＨ又はロングパケットのペイロードデータに含められる。ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報は、ＰＨ生成部１４３によってパケットヘッダＰＨに含められる。一方、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報は、合成部１４７によってロングパケットのペイロードデータに含められる。

【0096】

図１２は、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報がロングパケットのペイロードデータに含められている伝送データ１４７Ａの構成例を示す図である。図１２に示すように、伝送データ１４７Ａは例えば、フレームヘッダ領域Ｒ１及びパケット領域Ｒ２を含んでいる。なお、図１２には、フレームヘッダ領域Ｒ１の中身が詳細に例示されている。また、図１２では、ローパワーモードＬＰが省略されている。

【0097】

フレームヘッダ領域Ｒ１には例えば、伝送データ１４７Ａの識別子としてのフレーム番号Ｆ１が含まれている。フレームヘッダ領域Ｒ１は、パケット領域Ｒ２に含まれる圧縮像データについての情報を含んでいる。フレームヘッダ領域Ｒ１は例えば、圧縮像データの数（ＲＯＩ数）と、各圧縮像データに対応するＲＯＩ画像１１２ａ１～１１２ａ４のそれぞれについての情報（ＲＯＩ情報）とを含んでいる。ＲＯＩ情報は、領域番号、物理領域長さ、矩形出力領域大きさ、優先度、露光情報、ゲイン情報、ＡＤ語長及び画像フォーマットを含んでいる。物理領域長さは、ＲＯＩ画像の最大長さであり、矩形出力領域大きさは、注目領域ＲＯＩの大きさである。

【0098】

図１２中に示す「Ｉｎｆｏ」は、ロングパケットのペイロードに格納される領域情報を示している。ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報は、例えば「ｉｎｆｏ」に格納される。ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報は、ロングパケットのペイロードの先頭部分に格納される。ＲＯＩ画像を構成し連続する各画素行のＸ軸方向の物理領域長さが同じであり、かつ当該各画素行に異なる領域番号のＲＯＩ画像が含まれていない場合には、当該各画素行のうちの２行目以降の画素行の画像データを含むロングパケットのペイロードには、領域情報「ｉｎｆｏ」が格納されていなくてもよい。本例では、ＲＯＩ画像１１２ａ１は、全ての画素行のうちの連続する１行目から４行目の画素行においてＸ軸方向の物理領域長さが同じであり、当該１行目から４行目の画素行には、異なる領域番号のＲＯＩ画像が含まれていない。このため、ＲＯＩ画像１１２ａ１を構成し連続する１行目から４行目の画素行のうちの２行目以降に相当する２行目から４行目の画素行の画像データを含むそれぞれのロングパケットのペイロードには、領域情報「ｉｎｆｏ」が格納されていない。また、本例では、ＲＯＩ画像１１２ａ４は、全ての画素行のうちの連続する２行目及び３行目の画素行においてＸ軸方向の物理領域長さが同じであり、当該２行目及び３行目の画素行には、異なる領域番号のＲＯＩ画像が含まれていない。このため、ＲＯＩ画像１１２ａ４を構成し連続する２行目及び３行目の画素行のうちの２行目以降に相当する３行目の画素行の画像データを含むロングパケットのペイロードには、領域情報「ｉｎｆｏ」が格納されていない。なお、Ｘ軸方向の物理領域長さが同じであり、かつ当該各画素行に異なる領域番号のＲＯＩ画像が含まれていない場合でも、各行のペイロードに領域情報「ｉｎｆｏ」が格納されていてもよい。

【0099】

合成部１４７は例えば、伝送データ１４７Ａのパケット領域Ｒ２において、ＲＯＩ画像１１２ａ１～１１２ａ４のそれぞれを圧縮して生成された圧縮像データを画素行ごとに分けて配置する。図１２中に示す「１」は、ロングパケットのペイロードに格納されたＲＯＩ画像１１２ａ１の圧縮像データを示している。図１２中に示す「２」は、ロングパケットのペイロードに格納されたＲＯＩ画像１１２ａ２の圧縮像データを示している。図１２中に示す「３」はＲＯＩ画像１１２ａ３の圧縮像データを示している。図１２中に示す「４」は、ロングパケットのペイロードに格納されたＲＯＩ画像１１２ａ４の圧縮像データを示している。なお、図１２では、理解を容易にするため、各圧縮像データが区切られて示されているが、ロングパケットのペイロードに格納されるデータに区切りはない。伝送データ１４７Ａのパケット領域Ｒ２には、重なり領域ＲＯＯの画像に対応する圧縮像データ１１２ｂが重複して含まれていない。また、合成部１４７は、例えば、伝送データ１４７Ａのパケット領域Ｒ２において、撮像画像１１１のうち各伝送画像と対応しない画素行を割愛している。したがって、伝送データ１４７Ａのパケット領域Ｒ２には、撮像画像１１１のうち各伝送画像に対応しない画素行は含まれていない。

【0100】

次に、伝送データ１４７Ａを受信した場合の映像受信装置２００の動作について説明する。
受信部２１０に設けられたヘッダ分離部２１１（いずれも図８参照）は、伝送データ１４７Ａを、データレーンＤＬを介して映像送信装置１００から受信する。つまり、ヘッダ分離部２１１は、撮像画像１１１における注目領域ＲＯＩ１～ＲＯＩ４についてのＲＯＩ情報をエンベデッドデータに含むとともに、注目領域ＲＯＩ１～ＲＯＩ４の画像データ（圧縮像データ）をロングパケットのペイロードデータに含む伝送データ１４７Ａを受信する。ヘッダ分離部２１１は、受信した伝送データ１４７Ａをフレームヘッダ領域Ｒ１とパケット領域Ｒ２とに分離する。

【0101】

ヘッダ解釈部２１２（図８参照）は、フレームヘッダ領域Ｒ１に含まれるデータ（具体的にはエンベデッドデータ）に基づいて、パケット領域Ｒ２に含まれるロングパケットのペイロードデータの位置を特定する。

【0102】

ペイロード分離部２１３（図８参照）は、ヘッダ解釈部２１２によって特定されたロングパケットのペイロードデータの位置に基づいて、パケット領域Ｒ２に含まれるロングパケットのペイロードデータをパケット領域Ｒ２から分離する。

【0103】

ＥＢＤ解釈部２１４は、エンベデッドデータをＥＢＤデータとして、情報処理部２２０（図８参照）に出力する。ＥＢＤ解釈部２１４は、さらに、エンベデッドデータに含まれるデータタイプから、ロングパケットのペイロードデータに含まれる画像データがＲＯＩの画像データ１１６の圧縮像データであるか、又は、通常画像データの圧縮像データであるか判別する。ＥＢＤ解釈部２１４は、判別結果をＲＯＩデータ分離部２１５（図８参照）に出力する。

【0104】

ＲＯＩデータ分離部２１５は、ロングパケットのペイロードデータに含まれる画像データがＲＯＩの画像データが入力されると、ロングパケットのペイロードデータをペイロードデータとして、情報処理部２２０（具体的にはＲＯＩデコード部２２２（図８参照））に出力する。ＲＯＩ情報が含まれているロングパケットのペイロードデータには、ＲＯＩ情報と圧縮像データのうち１ライン分のピクセルデータとが含まれている。

【0105】

情報処理部２２０に設けられた情報抽出部２２１（図８参照）は、ＥＢＤ解釈部２１４から入力されるＥＢＤデータに含まれるエンベデッドデータから、撮像画像１１１に含まれる注目領域ＲＯＩ１～ＲＯＩ４の数（本例では４つ）、注目領域ＲＯＩ１～ＲＯＩ４の領域番号１～４及び優先度１から４、注目領域ＲＯＩ１～ＲＯＩ４のそれぞれのデータ長、並びに注目領域ＲＯＩ１～ＲＯＩ４のそれぞれの画像フォーマットを抽出する。さらに、情報抽出部２２１は、当該エンベデッドデータから、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報を抽出する。

【0106】

ＲＯＩデコード部２２２は、ペイロードデータに含まれている圧縮像データ１４７Ｂをデコードし、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報を抽出するとともに、画像データ（伝送画像によって構成）を生成する。ＲＯＩデコード部２２２は、例えば６行目の画素行に対応するペイロードデータが入力された場合、当該ペイロードデータから、ＲＯＩ画像１１２ａ１の１つの位置情報と、ＲＯＩ画像１１２ａ２の２つの位置情報とを抽出し、６行目の画素行に対応するＲＯＩ画像１１２ａ１，１１２ｂ１の画像データ（伝送画像）をそれぞれ生成する。

【0107】

ＲＯＩデコード部２２２は、例えば１０行目の画素行に対応するペイロードデータが入力された場合、当該ペイロードデータから、ＲＯＩ画像１１２ａ３の１つの位置情報と、ＲＯＩ画像１１２ａ４の１つの位置情報とを抽出し、ＲＯＩ画像１１２ａ３，１１２ｂ４の画像データ（伝送画像）をそれぞれ生成する。

【0108】

ＲＯＩ画像生成部２２３（図８参照）は、情報抽出部２２１で得られたＲＯＩ情報、ＲＯＩデコード部２２２で抽出されたＲＯＩ画像１１２ａ１～１１２ａ４の位置情報及びＲＯＩデコード部２２２で生成された伝送画像に基づいて、撮像画像１１１における注目領域ＲＯＩ１～ＲＯＩ４のＲＯＩ画像１１２ａ１～１１２ａ４を生成する。ＲＯＩ画像生成部２２３は、例えば６行目の画素行に対応するペイロードデータから抽出されたＲＯＩ画像１１２ａ１の１つの位置情報及びＲＯＩ画像１１２ａ２の２つの位置情報並びにそれらの伝送画像が入力された場合、Ｘ軸方向に延在する５画素分のＲＯＩ画像１１２ａ１と、当該ＲＯＩ画像１１２ａ１とは５画素分離れた位置でＸ軸方向に延在する４画素分のＲＯＩ画像１１２ａ２と、当該ＲＯＩ画像１１２ａ２から２画素分離れた位置でＸ軸方向に延在する２画素分のＲＯＩ画像１１２ａ２とを生成する（図１０参照）。

【0109】

また、ＲＯＩ画像生成部２２３は、情報抽出部２２１で得られたＲＯＩ情報に基づいて、注目領域ＲＯＩ３及び注目領域ＲＯＩ４同士が重なり合う重なり領域ＲＯＯを検出する。ＲＯＩ画像生成部２２３は、検出した重なり領域ＲＯＯと、１０行目の画素行に対応するペイロードデータから抽出されたＲＯＩ画像１１２ａ３，１１２ａ４のそれぞれ位置情報と、伝送画像とに基づいて、Ｘ軸方向に延在する４画素分のＲＯＩ画像１１２ａ３と、当該ＲＯＩ画像１１２ａ３に１画素分が重なった状態でＸ軸方向に延在する３画素分のＲＯＩ画像１１２ａ４とを生成する（図１０参照）。

【0110】

ＲＯＩ画像生成部２２３は、生成した画像をＲＯＩ画像として後段の装置（不図示）に出力する。

【0111】

このようにして、映像送信装置１００及び映像受信装置２００は、撮影対象の物体が矩形以外の形状を有していても、ＲＯＩ画像として送受信することができる。

【0112】

３．本開示の実施形態におけるデモザイク処理の原理：
次に、本開示の実施形態におけるデモザイク処理の原理について図１３から図１８を用いて説明する。

【0113】

図１３は、撮像部の撮像領域に設けられた撮像素子の色配列の一例を模式的に示す図である。図１４Ａは、撮像部の撮像領域に設けられた撮像素子の色配列の配列例Ａを模式的に示す図である。図１４Ｂは、図１４Ａに示す撮像領域から切り出される撮像素子の色配列の配列パターンＰＡ１～ＰＡ４を示す図である。図１５Ａは、撮像部の撮像領域に設けられた撮像素子の色配列の配列例Ｂを模式的に示す図である。図１５Ｂは、図１５Ａに示す撮像領域から切り出される撮像素子の色配列の配列パターンＰＢ１～ＰＢ４を示す図である。図１６Ａは、撮像部の撮像領域に設けられた撮像素子の色配列の配列例Ｃを模式的に示す図である。図１６Ｂは、図１６Ａに示す撮像領域から切り出される撮像素子の色配列の配列パターンＰＣ１～ＰＣ４を示す図である。図１７Ａは、撮像部の撮像領域に設けられた撮像素子の色配列の配列例Ｄを模式的に示す図である。図１７Ｂは、図１７Ａに示す撮像領域から切り出される撮像素子の色配列の配列パターンＰＤ１～ＰＤ４を示す図である。図１８は、デモザイク処理を模式的に示す図である。

【0114】

図１３に示すように、本例による撮像領域ＩＲは、左上端部に配置された赤色画素（以下、「Ｒ画素」と略記する）を有している。また、撮像領域ＩＲは、左端部がＲ画素であり、かつＲ画素及び緑色画素（以下、「Ｇ画素」と略記する）が交互に配置された奇数行と、左端部がＧ画素であり、かつＧ画素及び青色画素（以下、「Ｂ画素」と略記する）が交互に配置された偶数行とを有している。

【0115】

図１３に示すように、撮像部の撮像領域ＩＲに設けられた画素の色配列は確定されている。このため、撮像領域ＩＲの全体についてデモザイク処理を行う通常のデモザイク処理では、映像受信装置が、撮像領域ＩＲの全体の色配列の情報を有していれば、デモザイク処理を実行することができる。

【0116】

しかしながら、ＲＯＩでは、注目領域として切り出される範囲及び大きさか不明である。このため、図１３に示すように、注目領域ＲＯＩ－αでは左上端部がＧ画素であり、注目領域ＲＯＩ－βでは左上端部がＢ画素である。このため、映像受信装置が、撮像領域ＩＲの全体の色配列の情報を有していても、注目領域ＲＯＩ－α及び注目領域ＲＯＩ－βのそれぞれの左上端部をＲ画素としてデモザイク処理を実行してしまう。このため、デモザイク後の画像は、本来の画像とは異なる画像となる。このように、撮像領域ＩＲのうち位置及び大きさが任意に選択されるＲＯＩでは、デモザイク処理を行うことができない。

【0117】

そこで、本実施形態では、ＲＯＩの画像データのデモザイク処理に用いられる情報であるデモザイク情報を映像送信装置で取得するとともに、映像受信装置に伝送するように構成されている。映像受信装置は、映像送信装置から伝送されたデモザイク情報を用いてデモザイク処理を実行するように構成されている。

【0118】

図１４Ａに示すように、撮像素子の色配列の配列例Ａは、図１３に示す撮像領域ＩＲと同じ色配列を有している。図１４Ｂに示すように、配列例Ａから切り出される色配列として４つの配列パターンＰＡ１～ＰＡ４がある。図１４Ｂに示すように、配列パターンＰＡ１での左上端部は、奇数行（Ｈ）及び奇数列（Ｖ）のＲ画素に相当する。また、配列例Ａでの撮像領域全体の色配列は既知である（図１４Ａ参照）。このため、切り出される領域の大きさが３行３列であれば、図１４Ｂに示すように、配列パターンＰＡ１は、１行目が「Ｒ画素、Ｇ画素、Ｒ画素」となり、２行目が「Ｇ画素、Ｂ画素、Ｇ画素」となり、３行目が「Ｒ画素、Ｇ画素、Ｒ画素」となることが確定される。

【0119】

図１４Ｂに示すように、配列パターンＰＡ２での左上端部は、偶数行（Ｈ）及び奇数列（Ｖ）のＧ画素に相当する。また、配列例Ａでの撮像領域全体の色配列は既知である（図１４Ａ参照）。このため、切り出される領域の大きさが３行３列であれば、図１４Ｂに示すように、配列パターンＰＡ２は、１行目が「Ｇ画素、Ｒ画素、Ｇ画素」となり、２行目が「Ｂ画素、Ｇ画素、Ｂ画素」となり、３行目が「Ｇ画素、Ｒ画素、Ｇ画素」となることが確定される。

【0120】

図１４Ｂに示すように、配列パターンＰＡ３での左上端部は、奇数行（Ｈ）及び偶数列（Ｖ）のＧ画素に相当する。また、配列例Ａでの撮像領域全体の色配列は既知である（図１４Ａ参照）。このため、切り出される領域の大きさが３行３列であれば、図１４Ｂに示すように、配列パターンＰＡ３は、１行目が「Ｇ画素、Ｂ画素、Ｇ画素」となり、２行目が「Ｒ画素、Ｇ画素、Ｒ画素」となり、３行目が「Ｇ画素、Ｂ画素、Ｇ画素」となることが確定される。

【0121】

図１４Ｂに示すように、配列パターンＰＡ４での左上端部は、偶数行（Ｈ）及び偶数列（Ｖ）のＢ画素に相当する。また、配列例Ａでの撮像領域全体の色配列は既知である（図１４Ａ参照）。このため、切り出される領域の大きさが３行３列であれば、図１４Ｂに示すように、配列パターンＰＡ４は、１行目が「Ｂ画素、Ｇ画素、Ｂ画素」となり、２行目が「Ｇ画素、Ｒ画素、Ｇ画素」となり、３行目が「Ｂ画素、Ｇ画素、Ｂ画素」となることが確定される。

【0122】

図１５Ａに示すように、撮像素子の色配列の配列例Ｂは、左上端部に配置されたＧ画素を有している。また、配列例Ｂは、左端部がＧ画素であり、かつＧ画素及びＲ画素が交互に配置された奇数行と、左端部がＢ画素であり、かつＢ画素及びＧ画素が交互に配置された偶数行とを有している。

【0123】

図１５Ｂに示すように、配列例Ｂから切り出される色配列として４つの配列パターンＰＢ１～ＰＢ４がある。図１５Ｂに示すように、配列パターンＰＢ１での左上端部は、奇数行（Ｈ）及び奇数列（Ｖ）のＧ画素に相当する。また、配列例Ｂでの撮像領域全体の色配列は既知である（図１５Ａ参照）。このため、切り出される領域の大きさが３行３列であれば、図１５Ｂに示すように、配列パターンＰＢ１は、１行目が「Ｇ画素、Ｒ画素、Ｇ画素」となり、２行目が「Ｂ画素、Ｇ画素、Ｂ画素」となり、３行目が「Ｇ画素、Ｒ画素、Ｇ画素」となることが確定される。

【0124】

図１５Ｂに示すように、配列パターンＰＢ２での左上端部は、偶数行（Ｈ）及び奇数列（Ｖ）のＲ画素に相当する。また、配列例Ｂでの撮像領域全体の色配列は既知である（図１５Ａ参照）。このため、切り出される領域の大きさが３行３列であれば、図１５Ｂに示すように、配列パターンＰＢ２は、１行目が「Ｒ画素、Ｇ画素、Ｒ画素」となり、２行目が「Ｇ画素、Ｂ画素、Ｇ画素」となり、３行目が「Ｒ画素、Ｇ画素、Ｒ画素」となることが確定される。

【0125】

図１５Ｂに示すように、配列パターンＰＢ３での左上端部は、奇数行（Ｈ）及び偶数列（Ｖ）のＢ画素に相当する。また、配列例Ｂでの撮像領域全体の色配列は既知である（図１５Ａ参照）。このため、切り出される領域の大きさが３行３列であれば、図１５Ｂに示すように、配列パターンＰＢ３は、１行目が「Ｂ画素、Ｇ画素、Ｂ画素」となり、２行目が「Ｇ画素、Ｒ画素、Ｇ画素」となり、３行目が「Ｂ画素、Ｇ画素、Ｂ画素」となることが確定される。

【0126】

図１５Ｂに示すように、配列パターンＰＢ４での左上端部は、偶数行（Ｈ）及び偶数列（Ｖ）のＧ画素に相当する。また、配列例Ｂでの撮像領域全体の色配列は既知である（図１５Ａ参照）。このため、切り出される領域の大きさが３行３列であれば、図１５Ｂに示すように、配列パターンＰＢ４は、１行目が「Ｇ画素、Ｂ画素、Ｇ画素」となり、２行目が「Ｒ画素、Ｇ画素、Ｒ画素」となり、３行目が「Ｇ画素、Ｂ画素、Ｇ画素」となることが確定される。

【0127】

図１６Ａに示すように、撮像素子の色配列の配列例Ｃは、左上端部に配置されたＢ画素を有している。また、配列例Ｃは、左端部がＢ画素であり、かつＢ画素及びＧ画素が交互に配置された奇数行と、左端部がＧ画素であり、かつＧ画素及びＲ画素が交互に配置された偶数行とを有している。

【0128】

図１６Ｂに示すように、配列例Ｃから切り出される色配列として４つの配列パターンＰＣ１～ＰＣ４がある。図１６Ｂに示すように、配列パターンＰＣ１での左上端部は、奇数行（Ｈ）及び奇数列（Ｖ）のＢ画素に相当する。また、配列例Ｃでの撮像領域全体の色配列は既知である（図１６Ａ参照）。このため、切り出される領域の大きさが３行３列であれば、図１６Ｂに示すように、配列パターンＰＣ１は、１行目が「Ｂ画素、Ｇ画素、Ｂ画素」となり、２行目が「Ｇ画素、Ｒ画素、Ｇ画素」となり、３行目が「Ｂ画素、Ｇ画素、Ｂ画素」となることが確定される。

【0129】

図１６Ｂに示すように、配列パターンＰＣ２での左上端部は、偶数行（Ｈ）及び奇数列（Ｖ）のＧ画素に相当する。また、配列例Ｃでの撮像領域全体の色配列は既知である（図１６Ａ参照）。このため、切り出される領域の大きさが３行３列であれば、図１６Ｂに示すように、配列パターンＰＣ２は、１行目が「Ｇ画素、Ｂ画素、Ｇ画素」となり、２行目が「Ｒ画素、Ｇ画素、Ｒ画素」となり、３行目が「Ｇ画素、Ｂ画素、Ｇ画素」となることが確定される。

【0130】

図１６Ｂに示すように、配列パターンＰＣ３での左上端部は、奇数行（Ｈ）及び偶数列（Ｖ）のＧ画素に相当する。また、配列例Ｃでの撮像領域全体の色配列は既知である（図１６Ａ参照）。このため、切り出される領域の大きさが３行３列であれば、図１６Ｂに示すように、配列パターンＰＣ３は、１行目が「Ｇ画素、Ｒ画素、Ｇ画素」となり、２行目が「Ｂ画素、Ｇ画素、Ｂ画素」となり、３行目が「Ｇ画素、Ｒ画素、Ｇ画素」となることが確定される。

【0131】

図１６Ｂに示すように、配列パターンＰＣ４での左上端部は、偶数行（Ｈ）及び偶数列（Ｖ）のＲ画素に相当する。また、配列例Ｃでの撮像領域全体の色配列は既知である（図１６Ａ参照）。このため、切り出される領域の大きさが３行３列であれば、図１６Ｂに示すように、配列パターンＰＣ４は、１行目が「Ｒ画素、Ｇ画素、Ｒ画素」となり、２行目が「Ｇ画素、Ｂ画素、Ｇ画素」となり、３行目が「Ｒ画素、Ｇ画素、Ｒ画素」となることが確定される。

【0132】

図１７Ａに示すように、撮像素子の色配列の配列例Ｄは、左上端部に配置されたＲ画素を有している。また、配列例Ｄは、左端部がＲ画素であり、かつＲ画素及びＧ画素が交互に配置された奇数行と、左端部が白色画素（以下、「Ｗ画素」と略記する）であり、かつＷ画素及びＢ画素が交互に配置された偶数行とを有している。Ｗ画素は、例えば光電変換素子（例えばフォトダイオード）上に色素子（カラーフィルタ）を有さない画素である。

【0133】

図１７Ｂに示すように、配列例Ｄから切り出される色配列として４つの配列パターンＰＤ１～ＰＤ４がある。図１７Ｂに示すように、配列パターンＰＤ１での左上端部は、奇数行（Ｈ）及び奇数列（Ｖ）のＲ画素に相当する。また、配列例Ｄでの撮像領域全体の色配列は既知である（図１７Ａ参照）。このため、切り出される領域の大きさが３行３列であれば、図１７Ｂに示すように、配列パターンＰＤ１は、１行目が「Ｒ画素、Ｇ画素、Ｒ画素」となり、２行目が「Ｗ画素、Ｂ画素、Ｗ画素」となり、３行目が「Ｒ画素、Ｇ画素、Ｒ画素」となることが確定される。

【0134】

図１７Ｂに示すように、配列パターンＰＤ２での左上端部は、偶数行（Ｈ）及び奇数列（Ｖ）のＧ画素に相当する。また、配列例Ｄでの撮像領域全体の色配列は既知である（図１７Ａ参照）。このため、切り出される領域の大きさが３行３列であれば、図１７Ｂに示すように、配列パターンＰＤ２は、１行目が「Ｇ画素、Ｒ画素、Ｇ画素」となり、２行目が「Ｂ画素、Ｗ画素、Ｂ画素」となり、３行目が「Ｇ画素、Ｒ画素、Ｇ画素」となることが確定される。

【0135】

図１７Ｂに示すように、配列パターンＰＤ３での左上端部は、奇数行（Ｈ）及び偶数列（Ｖ）のＷ画素に相当する。また、配列例Ｄでの撮像領域全体の色配列は既知である（図１７Ａ参照）。このため、切り出される領域の大きさが３行３列であれば、図１７Ｂに示すように、配列パターンＰＤ３は、１行目が「Ｗ画素、Ｂ画素、Ｗ画素」となり、２行目が「Ｒ画素、Ｇ画素、Ｒ画素」となり、３行目が「Ｗ画素、Ｂ画素、Ｗ画素」となることが確定される。

【0136】

図１７Ｂに示すように、配列パターンＰＤ４での左上端部は、偶数行（Ｈ）及び偶数列（Ｖ）のＢ画素に相当する。また、配列例Ｄでの撮像領域全体の色配列は既知である（図１７Ａ参照）。このため、切り出される領域の大きさが３行３列であれば、図１７Ｂに示すように、配列パターンＰＤ４は、１行目が「Ｂ画素、Ｗ画素、Ｂ画素」となり、２行目が「Ｇ画素、Ｒ画素、Ｇ画素」となり、３行目が「Ｂ画素、Ｗ画素、Ｂ画素」となることが確定される。

【0137】

このように、撮像領域全体の色配列が既知である場合、左上端部の画素が何色であるかの情報、左上端部の行及び列のそれぞれが奇数及び偶数のいずれであるのかの情報、及び切り出される領域の大きさの情報が得られることにより、注目領域ＲＯＩに含まれる画素の色配列を確定することができる。このため、映像送信装置が注目領域ＲＯＩごとにこのような画素の色配列に関する情報をデモザイク情報として映像受信装置に伝送することにより、映像受信装置は、注目領域ＲＯＩに対してデモザイク処理を実行することができる。

【0138】

例えば、映像送信装置及び映像受信装置がそれぞれ、撮像部が配列例Ａの色配列を有する撮像領域を有している情報を記憶部に格納しており、映像送信装置から配列パターンＰＡ１における左上端部の情報及び注目領域ＲＯＩ－γの大きさの情報がデモザイク情報として映像受信装置に伝送されたとする。映像受信装置は、当該デモザイク情報に基づいて、注目領域ＲＯＩ－γの色配列が図１８中の左側に示す配列であると判定できる。映像受信装置は、判定した注目領域ＲＯＩ－γの色配列に基づいて、モザイク上のＲＧＢ値を画素ごとのＲＧＢ信号に変換するデモザイク処理を実行する。映像受信装置は、モザイク前に存在しない画素については周辺の同色画素から補間などの処理によって当該画素を生成する。映像受信装置は、注目領域ＲＯＩ－γ内の色配列に基づいて画素の補間処理を実行し、図１８中の太い矢印の右側に示すように、デモザイク処理後の赤色の画素データ、緑色の画素データ及び青色の画素データをそれぞれに生成することができる。

【0139】

４．本開示の第１実施形態：
次に、本開示の第１実施形態による送信装置、受信装置及び伝送システムについて図１９から図２２を用いて説明する。まず、本実施形態による送信装置、受信装置及び伝送システムの概略構成について図１９を用いて説明する。図１９は、本実施形態による映像送信装置３、映像受信装置４及び映像伝送システム１０の概略構成を示すブロック図である。

【0140】

図１９に示すように、本実施形態による映像伝送システム１０は、イメージセンサとしての機能を発揮する映像送信装置（送信装置の一例）３と、画像処理（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＩＳＰ）の機能を発揮する映像受信装置（受信装置の一例）４とを備えている。映像伝送システム（伝送システムの一例）１０では、映像送信装置３は、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ） Ｄ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ（Ｃａｍｅｒａ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ）－２規格の信号を送信部３２２から送出するように構成されている。また、映像伝送システム１０では、映像受信装置４は、ＭＩＰＩＤ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ－２規格の信号を受信部４１２で受信するように構成されている。また、映像伝送システム１０は、上記前提技術１及び２に係る映像伝送システム１と同様に、映像送信装置３及び映像受信装置４との間でＭＩＰＩ ＣＳＩ－３規格又はＭＩＰＩ ＤＳＩ規格で信号を送受信するように構成されていてもよい。

【0141】

映像伝送システム１０に備えられた映像送信装置３は、上記前提技術１及び２に係る映像送信装置１００と同等の機能を発揮するように構成されている。つまり、映像送信装置３は、ＲＯＩの切り出しを指示する制御信号が映像受信装置４から入力された場合に、撮像部３１から入力された撮像画像に対して、映像送信装置１００と同様の処理を実行可能に構成されている。また、映像送信装置３は、通常画像の出力を指示する制御信号が映像受信装置４から入力された場合に、撮像部３１から入力された撮像画像に対して、映像送信装置１００と同様の処理を実行可能に構成されている。さらに、映像送信装置３は、上述のデモザイク処理に用いられるデモザイク情報を取得するとともに、当該デモザイク情報を映像受信装置４に送出できるように構成されている。

【0142】

映像受信装置４は、上記前提技術１及び２に係る映像受信装置２００と同等の機能を発揮するように構成されている。つまり、映像受信装置４は、映像送信装置３から伝送された伝送データに対して、上記前提技術１及び２に係る映像受信装置２００と同様の処理を実行可能に構成されている。さらに、映像受信装置４は、映像送信装置３から伝送されたデモザイク情報を用いてデモザイク処理を実行できるように構成されている。

【0143】

そこで、図１９では、映像送信装置３及び映像受信装置４は、デモザイク処理に関連する構成を中心に図示されている。

【0144】

図１９に示すように、映像送信装置３は、対象物を撮像する撮像部３１を備えている。撮像部３１は、例えば入射する光を電気信号に変換する光電変換部３１１を有している。光電変換部３１１は例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサで構成されている。また、撮像部３１は、光電変換部３１１から入力されるアナログの電気信号をデジタルの画像データに変換する信号変換部３１２を有している。信号変換部３１２は、光電変換部３１１から入力されるアナログの電気信号の信号増幅（ＡＧＣ）処理と、増幅した電気信号をデジタル信号に変換するアナログデジタル変換（ＡＤＣ）処理とを実行するように構成されている。撮像部３１は、信号変換部３１２から入力される画像データに対してデジタルゲインを施す増幅部３１３を有している。増幅部３１３は、デジタルゲインを施した画像データを送信部３２２に出力するように構成されている。

【0145】

映像送信装置３は、撮像部３１を制御したり所定の信号処理を制御したりする制御部３２を備えている。制御部３２は、センサＣＰＵ３２１と、送信部３２２とを有している。センサＣＰＵ３２１は、画像処理部１２０，１３０（図２参照）と同様の機能を発揮するように構成されている。送信部３２２は、送信部１４０（図２参照）と同様の機能を発揮するように構成されている。また、制御部３２において、センサＣＰＵ３２１を画像処理部１２０，１３０に置き換え、送信部３２２を送信部１４０に置き換えてもよい。

【0146】

センサＣＰＵ３２１は、光電変換部３１１の露光条件を制御する露光制御部３２１ａを有している。また、センサＣＰＵ３２１は、ＲＯＩの画像データのデモザイク処理に用いられる情報であるデモザイク情報の取得を制御する変換領域制御部（制御部の一例）３２１ｂを有している。変換領域制御部３２１ｂを有するセンサＣＰＵ３２１及び制御部３２はそれぞれ、注目領域ＲＯＩの画像データのデモザイク処理に用いられる情報であるデモザイク情報の取得を制御する制御部の一例に相当する。

【0147】

変換領域制御部３２１ｂは、注目領域ＲＯＩのデモザイク情報を取得するように構成されている。複数の注目領域ＲＯＩが設定されている場合には、変換領域制御部３２１ｂは、注目領域ＲＯＩごとにデモザイク情報を取得するように構成されている。変換領域制御部３２１ｂは、注目領域ＲＯＩの画像データの色配列又は注目領域ＲＯＩの画像データの端部の色情報をデモザイク情報として取得するように構成されている。より具体的には、変換領域制御部３２１ｂは、色配列の情報として、注目領域ＲＯＩの端部の色情報と、当該端部が奇数行及び偶数行並びに奇数列及び偶数列のいずれの組み合わせであるのかを示す情報とをデモザイク情報として取得する。本実施形態では、注目領域ＲＯＩの端部として左上端部の色情報などを取得するように構成されているが、注目領域ＲＯＩの色配列を特定できる情報であれば、四隅のいずれの端部であってもよく、その他の場所の情報であってもよい。変換領域制御部３２１ｂは、注目領域ＲＯＩの例えば左上端部の画素の色情報と、当該左上端部の偶数又は奇数の行情報及び列情報とを取得して、送信部３２２に出力する。

【0148】

また、変換領域制御部３２１ｂは、映像送信装置３及び映像受信装置４の起動後の最初のデモザイク情報の送出時又はデモザイク処理情報の送出ごとに撮像部３１の撮像領域の全体の色配列の情報を映像受信装置４に送出するように構成されている。

【0149】

センサＣＰＵ３２１は、ＲＯＩ切り出し部１２１（図２参照）と同様に、切り出し対象の物体が矩形状でなくても、当該物体を含む最小の矩形を注目領域ＲＯＩとして設定する。また、センサＣＰＵ３２１は、ＲＯＩ解析部１２２（図２参照）と同様に、注目領域ＲＯＩの位置情報（左上端部、Ｘ軸方向の長さ、Ｙ軸方向の長さ）を導出し、映像受信装置４に送出するように構成されている。

【0150】

映像受信装置４は、注目領域ＲＯＩの全体の大きさの情報と、当該注目領域ＲＯＩの左上端部のデモザイク情報と、撮像領域全体の色配列の情報とに基づいて、注目領域ＲＯＩの全体の色配列を認定することができる。これにより、映像受信装置４は、切り出し対象の物体の形状が矩形状でない場合でも、デモザイク処理において、モザイク前に存在しない画素を周辺の同色画素から補間することが可能になる。

【0151】

送信部３２２は、センサＣＰＵ３２１から入力される注目領域ＲＯＩの座標（切り出し座標）や大きさ及びデモザイク情報など、並びに撮像部３１から入力される画像データなどを含む伝送データ（図６及び図１２参照）を生成して映像受信装置４に送出する。デモザイク情報は、ＲＯＩ情報に含められて送信部３２２から送出される。ＲＯＩ情報は、エンベデッドデータに含められるので、デモザイク情報は、エンベデッドデータに含められて送信部３２２から送出される。

【0152】

このように、映像送信装置３は、ＲＯＩ情報に含められたデモザイク情報を送信部３２２から送出する。また、換言すると、映像送信装置３は、注目領域ＲＯＩの画像データの色配列又は注目領域ＲＯＩの画像データの端部の色情報をデモザイク情報として送信部３２２から送出する。さらに換言すると、映像送信装置は、注目領域ＲＯＩの端部（本実施形態では左上端部）の色情報と、当該端部が奇数行及び偶数行並びに奇数列及び偶数列のいずれの組み合わせであるのかを示す情報とをデモザイク情報として送信部３２２から送出する。

【0153】

図１９に示すように、映像送信装置３は、注目領域ＲＯＩの画像データをロングパケットのペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信部３２２を備えている。送信部３２２は、ＲＯＩ情報の１つとしてデモザイク情報をエンベデッドデータに含めて映像受信装置４に送出する。送信部３２２は、ＭＩＰＩ Ｄ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ－２規格でデモザイク情報などを含む伝送データを送出するように構成されている。

【0154】

図１９に示すように、映像受信装置４は、映像送信装置３から伝送された伝送データを用いて所定の信号処理を制御する制御部４１を備えている。制御部４１は、ＣａｍＣＰＵ４１１と、受信部４１２と、Ｒａｗ処理部４１３と、エンベデッドデータ取得部４１４とを有している。ＣａｍＣＰＵ４１１は、情報抽出部２２１及びＲＯＩ画像生成部２２３（図８参照）を除いて、情報処理部２２０（図８参照）と同様の機能を発揮するように構成されている。映像受信装置４は、Ｒａｗ処理部４１３がＲＯＩ画像生成部２２３と同様の機能を発揮するように構成されている。受信４１２は、ＥＢＤ解釈部２１４（図８参照）を除いて、受信部２１０（図８参照）と同様の機能を発揮するように構成されている。映像受信装置４は、エンベデッドデータ取得部４１４がＥＢＤ解釈部２１４及び情報抽出部２２１と同様の機能を発揮するように構成されている。また、制御部４１において、受信部４１２およびエンベデッドデータ取得部４１４を受信部２１０に置き換え、ＣａｍＣＰＵ４１１およびＲａｗ処理部４１３を情報処理部２２０に置き換えてもよい。この場合、エンベデッドデータ取得部４１４が発揮する情報抽出部２２１の機能は、受信部２２０で発揮されるようになる。

【0155】

図１９に示すように、映像受信装置４は、注目領域ＲＯＩの画像データをペイロードデータに含むとともに、ＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部４１２を備えている。受信部４１２は、映像送信装置３から入力される伝送データを受信するように構成されている。受信部４１２は、ＭＩＰＩ Ｄ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ－２規格で当該伝送データを受信する。受信部４１２は、入力される伝送データから種々のデータを生成し、ＣａｍＣＰＵ４１１、Ｒａｗ処理部４１３及びエンベデッドデータ取得部４１４に出力するように構成されている。

【0156】

Ｒａｗ処理部４１３は、ＣａｍＣＰＵ４１１から入力される注目領域ＲＯＩに関する情報（ＲＯＩ情報やペイロードデータに含まれている画像データなど）に基づいて、注目領域ＲＯＩの画像データを生成するように構成されている。Ｒａｗ処理部４１３で生成される画像データは、Ｒａｗデータ、Ｒａｗ画像あるいは未現像データなどと呼ばれる、光電変換部３１１で取得された未加工の画像データである。Ｒａｗ処理部４１３は、生成した画像データを画像加工部４２（詳細は後述）に出力するように構成されている。

【0157】

図１９に示すように、映像受信装置４は、注目領域ＲＯＩの画像データのデモザイク処理に用いられる情報であるデモザイク情報を受信部４１２で受信した伝送信号（伝送データ）からの抽出を制御するエンベデッドデータ取得部（制御部の一例）４１４を備えている。エンベデッドデータ取得部４１４を有する制御部４１は、注目領域ＲＯＩの画像データのデモザイク処理に用いられる情報であるデモザイク情報を受信部４１２で受信した伝送信号（伝送データ）からの抽出を制御する制御部の一例に相当する。エンベデッドデータ取得部４１４は、受信部４１２から入力される伝送信号（伝送データ）に含まれたＲＯＩ情報からデモザイク情報を抽出するように構成されている。ＲＯＩ情報はエンベデッドデータに含まれるので、エンベデッドデータ取得部４１４は、受信部４１２から入力される伝送信号（伝送データ）に含まれたエンベデッドデータからデモザイク情報を抽出する。エンベデッドデータ取得部４１４は、注目領域ＲＯＩの画像データの色配列又は注目領域ＲＯＩの画像データの端部の色情報をデモザイク情報として抽出するように構成されている。より具体的には、エンベデッドデータ取得部４１４は、色配列の情報として、注目領域ＲＯＩの端部の色情報と、前記端部が奇数行及び偶数行並びに奇数列及び偶数列のいずれの組み合わせであるのかを示す情報とをデモザイク情報として抽出するように構成されている。本実施形態では、エンベデッドデータ取得部４１４は、注目領域ＲＯＩの端部として左上端部の色情報などを取得するように構成されているが、注目領域ＲＯＩの色配列を特定できる情報であれば、四隅のいずれの端部であってもよく、その他の場所の情報であってもよい。エンベデッドデータ取得部４１４は、注目領域ＲＯＩの例えば左上端部の画素の色情報と、当該左上端部の偶数又は奇数の行情報及び列情報とを取得して、ＣａｍＣＰＵ４１１に出力する。

【0158】

エンベデッドデータ取得部４１４は、デモザイク情報の他にエンベデッドデータに含まれている各種情報（例えば注目領域ＲＯＩの数、注目領域ＲＯＩの領域番号及び優先度、注目領域ＲＯＩのデータ長並びに注目領域ＲＯＩの画像フォーマットなど）を取得する。エンベデッドデータ取得部４１４は、取得した各種情報もＣａｍＣＰＵ４１１に出力する。

【0159】

図１９に示すように、ＣａｍＣＰＵ４１１は、座標判定部４１１ａを有している。座標判定部４１１ａは、エンベデッドデータ取得部４１４から入力される各種情報に基づいて、注目領域ＲＯＩの座標（位置及び大きさ）や色配列を判定するように構成されている。座標判定部４１１ａは、複数の注目領域ＲＯＩに関する情報がエンベデッドデータ取得部４１４から入力された場合は、注目領域ＲＯＩごとに座標や色配列を判定する。座標判定部４１１ａは、判定した注目領域ＲＯＩの左上端部の座標に基づいて、デモザイク処理用の注目領域ＲＯＩの左上端部の座標を設定する。

【0160】

ＣａｍＣＰＵ４１１は、座標判定部４１１ａで判定された注目領域ＲＯＩの座標や色配列に関する情報やエンベデッドデータ取得部４１４から入力された注目領域ＲＯＩの領域番号及び優先度などの情報を画像加工部４２に出力する。

【0161】

図１９に示すように、映像受信装置４は、画像加工部４２を備えている。画像加工部４２は、エンベデッドデータ取得部４１４で抽出されたデモザイク情報を用いて注目領域ＲＯＩの画像データのデモザイク処理を実行するデモザイク処理部４２１を有している。また、画像加工部４２は、デモザイク処理が施された画像データの画質を調整する画質調整部４２２を有している。

【0162】

デモザイク処理部４２１は、エンベデッドデータ取得部４１４で抽出されてＣａｍＣＰＵ４１１を介して入力されるデモザイク情報（注目領域ＲＯＩの座標及び色配列の情報）に基づいて、Ｒａｗ処理部４１３から入力される画像データに対してデモザイク処理を施すように構成されている。図１４から図１８を用いて説明したように、デモザイク処理部４２１は例えば、図１４Ｂに示す配列パターンＰＡ１に基づいて、図１８中の太矢印の左側に示すデモザイク前の画像データ（Ｒａｗ処理部４１３から入力される画像データに相当）に対してデモザイク処理を実行する。これにより、デモザイク処理部４２１は、図１８中の太矢印の右側に示すデモザイク後の画像データを生成する。

【0163】

また、デモザイク処理部４２１は、注目領域ＲＯＩ内の周囲端部に配置された画像データに対して境界処理を施すように構成されている。すなわち、デモザイク処理部４２１は、注目領域ＲＯＩの輪郭部（エッジ部）に配置された画素に対して境界処理を施す。デモザイク処理部４２１は、注目領域ＲＯＩにおける１行目の画像データに対して、当該注目領域ＲＯＩにおける２行目の画像データを用いて境界処理を実行する。また、デモザイク処理部４２１は、注目領域ＲＯＩにおける最後の行の画像データに対して、当該注目領域ＲＯＩにおける最後の行の１つ前の行の画像データを用いて境界処理を実行する。したがって、デモザイク処理部４２１は、伝送データのパケット領域に含まれる１行目の画素行のペイロードデータの画像データに含まれる画像データに対して、当該パケット領域に含まれる２行目の画素行のペイロードデータに含まれる画像データを用いて境界処理を実行したのと等価の処理を実行する。また、デモザイク処理部４２１は、伝送データのパケット領域に含まれる最後の画素行のペイロードデータに含まれる画像データに対して、当該パケット領域に含まれる最後の行の１つ前の画素行のペイロードデータに含まれる画像データを用いて境界処理を実行したのと等価の処理を実行する。

【0164】

デモザイク処理部４２１は、デモザイク処理を施した画像データを画質調整部４２２に出力するように構成されている。

【0165】

画質調整部４２２は、デモザイク処理部４２１から入力される画像データに対して、ガンマ補正やホワイトバランスを調整するＲＧＢ処理と、画質の濃淡や明るさを調整するＹＣ処理とを実行して画質を調整するように構成されている。画質調整部４２２は、画質調整した画像を例えば表示装置（不図示）に出力するように構成されている。これにより、当該表示装置に所望の画像が表示される。

【0166】

（デモザイク処理方法）
次に、本実施形態による送信装置、受信装置及び伝送システムにおけるデモザイク処理方法について図１９を参照しつつ図２０及び図２１を用いて説明する。まず、本実施形態による送信装置、受信装置及び伝送システムにおけるデモザイク処理の流れについて図２０を用いて説明する。図２０は、本実施形態による送信装置、受信装置及び伝送システムにおけるデモザイク処理の流れの一例を示すフローチャートである。

【0167】

（ステップＳ３１）
図２０に示すように、映像送信装置３に備えられたセンサＣＰＵ３２１は、フレーム開始トリガを検出すると、まず、撮像部３１の撮像領域から画像を切り出す切り出し位置を決定し、ステップＳ３３の処理に移行する。ステップＳ３１において、センサＣＰＵ３２１は、切り出し位置、すなわち注目領域ＲＯＩの左上端部の座標及び画像サイズ（Ｘ軸方向及びＹ軸方向の長さ）を決定し、決定した座標及び画像サイズの情報をエンベデッドデータに設定する。また、センサＣＰＵ３２１は、当該注目領域ＲＯＩにおけるデモザイク情報（左上端部の色情報、当該左上端部の行列の奇数及び偶数の情報）を取得して、ＲＯＩ情報に含めるとともに、当該ＲＯＩ情報をエンベデッドデータに設定する。センサＣＰＵ３２１は、デモザイク情報として図１４Ａから図１７Ｂに示す撮像領域の全体の色配列及び配列パターンの情報をＲＯＩ情報に含めるとともに、当該ＲＯＩ情報をエンベデッドデータに設定してもよい。

【0168】

（ステップＳ３３）
センサＣＰＵ３２１は、注目領域ＲＯＩの左上端部の座標及び画像サイズやデモザイク情報が設定されたエンベデッドデータを含む伝送データを送信部３２２に設定し、デモザイク処理を終了する。

【0169】

ステップＳ３３において設定された伝送データは、ＭＩＰＩを用いたハードウェア（ＨＷ）による通信によって、映像送信装置３から映像受信装置４に送信される。

【0170】

映像受信装置４に備えられた受信部４１２は、受信した伝送データからエンベデッドデータを抽出してエンベデッドデータ取得部４１４に出力する。エンベデッドデータ取得部４１４は、受信部４１２から入力されたエンベデッドデータをデコードし、各種情報（例えば注目領域ＲＯＩの数、注目領域ＲＯＩの領域番号及び優先度、注目領域ＲＯＩのデータ長並びに注目領域ＲＯＩの画像フォーマットなど）を取得し、取得した当該各種情報をＣａｍＣＰＵ４１１に出力する。

【0171】

（ステップＳ４１）
ＣａｍＣＰＵ４１１は、エンベデッドデータ取得部４１４でエンベデッドデータがデコードされたタイミングをトリガとして、受信部４１２で受信した伝送データからエンベデッドデータ取得部４１４が取得して入力される各種情報に基づいて、優先度が最も高い注目領域ＲＯＩの座標（位置及び大きさ）を取得して、ステップＳ４３の処理に移行する。また、ステップＳ４１においてＣａｍＣＰＵ４１１は、優先度が最も高い注目領域ＲＯＩの左上端部の画素の色や当該左上端部が奇数及び偶数のどのような組み合わせの行列であるのかを判定する。

【0172】

（ステップＳ４３）
ＣａｍＣＰＵ４１１は、取得した注目領域ＲＯＩのデモザイク情報に基づいて、当該注目領域ＲＯＩの左上端部の座標を計算し、ステップＳ４５の処理に移行する。

【0173】

（ステップＳ４５）
ＣａｍＣＰＵ４１１は、ステップＳ４３において計算した注目領域ＲＯＩの左上端部の座標に基づいて、デモザイク処理用の注目領域ＲＯＩの左上端部の座標を設定する。さらに、ＣａｍＣＰＵ４１１は、設定したデモザイク処理用の注目領域ＲＯＩの左上端部の座標やデモザイク情報（注目領域ＲＯＩの座標及び色配列の情報）をデモザイク処理部４２１に出力し、ステップＳ４７の処理に移行する。

【0174】

デモザイク処理部４２１は、ＣａｍＣＰＵ４１１から入力されたデモザイク情報などを用いて、Ｒａｗ処理部４１３から入力される画像データに対してデモザイク処理を施す。これにより、優先度が最も高い注目領域ＲＯＩの画像データに対してデモザイク処理が実行される。

【0175】

（ステップＳ４７）
ＣａｍＣＰＵ４１１は、エンベデッドデータ取得部４１４から入力された全ての注目領域ＲＯＩに対してステップＳ４１からステップＳ４５の処理を実行したか否かを判定する。ＣａｍＣＰＵ４１１は、全ての注目領域ＲＯＩに当該処理を実行したと判定した場合（Ｙｅｓ）には、デモザイク処理を終了する。一方、ＣａｍＣＰＵ４１１は、全ての注目領域ＲＯＩに当該処理を実行していないと判定した場合（Ｎｏ）には、ステップＳ４１の処理に戻る。ＣａｍＣＰＵ４１１は、全ての注目領域ＲＯＩに対するデモザイク処理が完了するまで、ステップＳ４１からステップＳ４７の処理を繰り返す。

【0176】

次に、本実施形態による送信装置、受信装置及び伝送システムにおけるデモザイク処理の処理タイミングについて図２１を用いて説明する。図２１は、本実施形態による送信装置、受信装置及び伝送システムにおけるデモザイク処理のタイミングチャートの一例を示す図である。図２１中に示す「センサＶ Ｓｙｎｃ」は、センサＣＰＵ３２１に入力される垂直同期信号を示している。図２１中に示す「センサ処理」は、センサＣＰＵ３２１が実行する処理を示している。図２１中に示す「ＩＳＰ Ｓｙｎｃ」は、ＣａｍＣＰＵ４１１に入力される垂直同期信号を示している。図２１中に示す「ＩＰＳ処理」は、ＣａｍＣＰＵ４１１が実行する処理を示している。図２１中に示す注目領域ＲＯＩ－ε１～ＲＯＩ－ε３は、一のフレーム期間で処理される注目領域を模式的に示している。図２１では、理解を容易にするため、１回目のフレーム期間で処理される注目領域は、注目領域ＲＯＩ－ε１ではあるが、注目領域の大きさを比較するために、２回目及び３回目のフレーム期間で処理される注目領域ＲＯＩ－ε２，ＲＯＩ－ε３も併せて図示されている。図２１では、左から右に向かって時間の経過が表されている。

【0177】

図２１に示すように、時刻ｔ１において、センサＣＰＵ３２１は、フレーム開始トリガを検出すると、エンベデッド設定処理として上述のステップＳ３１の処理を実行する。すなわち、センサＣＰＵ３２１は、エンベデッド設定処理として、撮像部３１の撮像領域から画像を切り出す切り出し位置の設定や注目領域ＲＯＩ－ε１におけるデモザイク情報（左上端部の色情報、当該左上端部の行列の奇数及び偶数の情報）を取得する。

【0178】

センサＣＰＵ３２１は、エンベデッド設定処理が終了した時刻ｔ２において、ＭＩＰＩを用いたハードウェア（ＨＷ）による通信によって、エンベデッド設定処理で設定した情報を有するエンベデッドデータを含む伝送データを映像受信装置４に送信する。

【0179】

センサＣＰＵ３２１は、伝送データの送信を開始すると、当該フレームにおける露光・読出、すなわち撮像部３１で撮像を開始する。

【0180】

時刻ｔ２から受信を開始した伝送データに含まれているエンベデッドデータのデコードをエンベデッドデータ取得部４１４が終了した時刻ｔ３において、ＣａｍＣＰＵ４１１は、エンベデッドデータ取得部４１４が取得して入力される各種情報に基づいて、注目領域ＲＯＩ－ε１の座標及び大きさの計算並びに色配列の判定などを開始して時刻ｔ４において注目領域ＲＯＩ－ε１の座標及び大きさの計算並びに色配列の設定が終了する。すなわち、時刻ｔ３から時刻ｔ４の期間において、図２０に示すステップＳ４１からステップＳ４５の処理が１回実行される。

【0181】

映像受信装置４は、時刻ｔ４からＩＳＰ処理として、デモザイク処理や画質調整を実行する。

【0182】

詳細な説明は省略するが、注目領域の位置や大きさが異なる注目領域ＲＯＩ－ε２，ＲＯ－ε３についても、注目領域ＲＯＩ―ε１と同じタイミングによって、デモザイク処理が実行される。

【0183】

図２０及び図２１を用いて説明したように、映像伝送システム１０は、注目領域ＲＯＩに関するデモザイク情報を含むエンベデッドデータ有する伝送データを、ＭＩＰＩを用いた通信によって映像送信装置３から映像受信装置４に伝送することができる。これにより、映像伝送システム１０は、注目領域ＲＯＩごとにデモザイク処理を実行することができる。

【0184】

５．本開示の第１実施形態の変形例：
次に、本実施形態の変形例による送信装置、受信装置及び伝送システムについて図２２を用いて説明する。図２２は、本変形例による映像送信装置３、映像受信装置４ｚ及び映像伝送システム１０ｚの概略構成を示すブロック図である。なお、本実施形態による映像送信装置３、映像受信装置４及び映像伝送システム１０と同一の作用・機能を奏する構成要素には同一の符号を付して説明は省略する。

【0185】

図２２に示すように、本変形例による映像伝送システム１０ｚは、本実施形態による映像送信装置３と同一構成の映像送信装置３と、本実施形態による映像受信装置４とは一部の構成が異なる映像受信装置４ｚを備えている。本変形例による映像受信装置４ｚは、注目領域ＲＯＩの座標判定や色配列を判定する判定部４２３を備えている点に特徴を有している。

【0186】

図２２に示すように、映像受信装置４ｚは、エンベデッドデータ取得部４１４が出力する各種情報が入力される判定部４２３を有している。一方、ＣａｍＣＰＵ４１１ｚは、座標判定部を有していない。判定部４２３は、ハードウェアで構成されている。判定部４２３は、座標判定部４２３ａと、制御値生成部４２３ｂとを有している。

【0187】

座標判定部４２３ａは、エンベデッドデータ取得部４１４から入力される各種情報に基づいて、注目領域ＲＯＩの座標（位置及び大きさ）や色配列を判定するように構成されている。座標判定部４１１ａは、複数の注目領域ＲＯＩに関する情報がエンベデッドデータ取得部４１４から入力された場合は、注目領域ＲＯＩごとに座標や色配列を判定する。

【0188】

制御値生成部４２３ｂは、座標判定部４１１ａにおいて判定された注目領域ＲＯＩの左上端部の座標に基づいて、デモザイク処理用の注目領域ＲＯＩの左上端部の座標を設定するように構成されている。

【0189】

このように、本変形例による映像受信装置４ｚは、注目領域ＲＯＩの座標を判定する判定部がハードウェアで構成されているが、作用・機能は本実施形態による映像受信装置４と同一である。また、本変形例による映像伝送システム１０ｚは、本実施形態による映像伝送システム１０と同一である。このため、本変形例におけるデモザイク処理方法の説明は省略する。

【0190】

以上説明したように、本実施形態及び変形例による送信装置、受信装置及び伝送システムは、撮像画像から切り出した一部の注目領域（ＲＯＩ）のデモザイク処理を実現することができる。

【0191】

また、本実施形態及び変形例では、撮像画像から切り出される一部の位置、大きさ及び個数は、任意である。このため、本実施形態及び変形例による送信装置、受信装置及び伝送システムは、ＲＯＩのデモザイク処理を１画素単位の切り出しで実施可能となる。

【0192】

本実施形態及び変形例による送信装置、受信装置及び伝送システムは、送信装置において撮像された撮影領域から切り出した一部の座標及び大きさを後段のセンサＣＰＵに伝達できるように構成されている。

【0193】

本実施形態及び変形例による受信装置は、送信装置に設けられた撮像部の撮影領域から切り出した一部の座標及び大きさを受け取り、デモザイク処理の制御に使用するように構成されている。

【0194】

本実施形態及び変形例による受信装置は、送信装置から送信された切り出し部である注目領域ＲＯＩのデモザイク情報（左上端部の色情報などの色配列情報）を受信してデモザイク処理の制御に使用するように構成されている。

【0195】

本実施形態及び変形例による受信装置は、注目領域ＲＯＩの座標及び大きさからデモザイクの先頭位置（例えば左上端部）の画素の色を算出し、デモザイクの先頭画素（例えば左上端部の画素）の色指定を制御できる。

【0196】

本実施形態及び変形例による送信装置、受信装置及び伝送システムは、１フレーム内（すなわち１つの撮像画像内）に複数の注目領域ＲＯＩがある場合には、複数の注目領域ＲＯＩのそれぞれの先頭画素（例えば左上端部の画素）の色を指定できる。これにより、注目領域ＲＯＩのそれぞれに対して、適切なデモザイク処理を実行することができる。

【0197】

６．本開示の第２実施形態：
次に、本開示の第２実施形態による送信装置、受信装置及び伝送システムについて図２３及び図２４を用いて説明する。まず、本実施形態による送信装置、受信装置及び伝送システムの概略構成について図２３を用いて説明する。図２３は、本実施形態による映像送信装置（送信装置の一例）５、映像受信装置（受信装置の一例）６及び映像伝送システム（伝送システムの一例）２０の概略構成を示すブロック図である。なお、上記第１実施形態による映像送信装置３、映像受信装置４及び映像伝送システム１０と同一の作用・機能を奏する構成要素には同一の符号を付して説明は省略する。

【0198】

本実施形態による映像送信装置５、映像受信装置６及び映像伝送システム２０は、映像受信装置６がデモザイク処理の色配置に制約を有する場合に、映像送信装置５に対して色配置制約を示す制御信号を送信するように構成されている。

【0199】

図２３に示すように、映像受信装置６に備えられたＣａｍＣＰＵ６１１は、映像送信装置５に対して、デモザイク色配置制約を通知する制御信号を送出できるように構成されている。映像受信装置６は、当該制御信号が送出できる点を除いて、上記第１実施形態による映像受信装置４と同様の構成を有し、同様の機能を発揮するように構成されているため、説明は省略する。

【0200】

図２３に示すように、映像受信装置６から送出されるデモザイク色配置制約を通知する制御信号は、映像送信装置５に備えられたセンサＣＰＵ５２１に入力される。センサＣＰＵ５２１は、当該制御信号が入力された場合、注目領域ＲＯＩの色配列に通知された色配置が含まれている場合は、制約された色配置に関するデモザイク情報を映像受信装置６に送信しない。

【0201】

例えば、映像受信装置６において注目領域ＲＯＩの水平画素（Ｘ軸方向の画素）が奇数の場合にデモザイク処理ができないという制約があるとする。この場合例えば、センサＣＰＵ５２１は、注目領域ＲＯＩの水平画素及び垂直画素の起点となる画素（例えば左上端部の画素）の座標と大きさに偶数制約を設けるようにしてもよい。例えば注目領域ＲＯＩの水平画素が１５１画素である場合、センサＣＰＵ５２１は、１５１画素を２で除した値（７５．５）を整数化（７５）し、整数化して得た値を２倍とする。これにより、注目領域ＲＯＩの水平画素の個数が偶数（本例では１５０画素）となるので、映像送信装置５は、この情報をデモザイク情報として映像受信装置６に送出することにより、映像受信装置６は、注目領域ＲＯＩのデモザイク処理を実行することができる。

【0202】

映像送信装置５は、映像受信装置６から送出されるデモザイク色配置制約を通知する制御信号を受信し、かつ当該制御信号に基づく上記処理を実行できる点を除いて、上記第１実施形態による映像送信装置３と同様の構成を有し、同様の機能を発揮するように構成されているため、説明は省略する。

【0203】

（デモザイク処理方法）
次に、本実施形態による送信装置、受信装置及び伝送システムにおけるデモザイク処理方法について図２３を参照しつつ図２４を用いて説明する。図２４は、本実施形態による送信装置、受信装置及び伝送システムにおけるデモザイク処理の流れの一例を示すフローチャートである。

【0204】

本実施形態による映像伝送システム２０に電源が投入され、映像送信装置５及び映像受信装置６が動作を開始すると、映像送信装置５はセンサ初期化処理を開始し、映像受信装置６はＩＰＳ初期化処理を開始する。

【0205】

（ステップＳ６０）
図２４に示すように、映像受信装置６に備えられたＣａｍＣＰＵ６１１は、ＩＰＳ初期化処理を開始すると、デモザイク処理の色配置に制約を有することを示すＩＰＳ制約通知信号を、例えばＭＩＰＩを用いたハードウェア（ＨＷ）による通信によって映像送信装置５に送出し、ＩＰＳ初期化処理を終了する。

【0206】

（ステップＳ５０）
図２４に示すように、映像送信装置５に備えられたセンサＣＰＵ５２１は、センサ初期化処理を開始する。センサＣＰＵ３２１は、ステップＳ５０において、ＩＰＳ制約通知信号を受信していると判定した場合、当該ＩＰＳ制約通知信号に含まれている制約に関する情報を受領するとともに記憶領域に格納し、センサ初期化処理を終了する。一方、センサＣＰＵ３２１は、ステップＳ５０において、ＩＰＳ制約通知信号を受信していないと判定した場合、特別な処理を実行することなくセンサ初期化処理を終了する。

【0207】

（ステップＳ５１）
図２４に示すように、センサＣＰＵ５２１は、フレーム開始トリガを検出すると、まず、送信座標制御処理を実行する。センサＣＰＵ５２１は、デモザイク処理の色配置の制約に関する情報を記憶している場合、映像受信装置６に送出するデモザイク処理が当該制約違反とならないように、注目領域ＲＯＩの左上端部の座標及び画像サイズ、あるいは色配列などに所定の処理を施して、ステップＳ５３の処理に移行する。一方、センサＣＰＵ５２１は、デモザイク処理の色配置の制約に関する情報を記憶していない場合、上記第１実施形態におけるステップＳ３１と同様の処理を実行し、ステップＳ５３の処理に移行する。

【0208】

（ステップＳ５３）
センサＣａｍＣＰＵ５２１は、エンベデッドデータ送信処理を実行し、デモザイク処理を終了する。ステップＳ５３における処理は、上記第１実施形態におけるステップＳ３３と同様の処理であるため、説明は省略する。

【0209】

（ステップＳ６１からステップＳ６７）
ＣａｍＣＰＵ４１１は、エンベデッドデータ取得部４１４でエンベデッドデータがデコードされたタイミングをトリガとして、ステップＳ６１の処理を開始する。ステップＳ６１における処理は、上記第１実施形態におけるステップＳ４１における処理と同様であり、ステップＳ６３における処理は、上記第１実施形態におけるステップＳ４３における処理と同様であり、ステップＳ６５における処理は、上記第１実施形態におけるステップＳ４５における処理と同様であり、ステップＳ６７における処理は、上記第１実施形態におけるステップＳ４７における処理と同様である。このため、ステップＳ６１からステップＳ６７については説明を省略する。

【0210】

映像受信装置６は、デモザイク処理の色配置に所定の制約を有している。しかしながら、センサＣＰＵ５２１が当該制約違反とならないようにデモザイク情報を設定している。このため、ＣａｍＣＰＵ６１１は、デモザイク情報が当該制約違反に当たるか否かを判断することなく、デモザイク処理を実行することができ、デモザイク処理の処理負荷の抑制が図られている。

【0211】

以上説明したように、本実施形態による送信処理、受信処理及び伝送システムは、上記第１実施形態と比較して所定の制約を有するものの、撮像画像から切り出した一部の注目領域（ＲＯＩ）のデモザイク処理を実現することができる。

【0212】

本開示は、上記実施形態に限らず、種々の変形が可能である。
上記第１及び第２実施形態による映像送信装置３，５は、切り出し対象の物体が矩形状でない場合も、当該物体を含む最小の矩形を注目領域ＲＯＩとして設定する。さらに、映像送信装置３，５は、当該注目領域ＲＯＩの位置情報（左上端部、Ｘ軸方向の長さ、Ｙ軸方向の長さ）及び当該注目領域ＲＯＩのデモザイク情報（左上端部の色情報など）をエンベデッドデータに含めるように構成されているが、本開示はこれに限られない。

【0213】

例えば映像送信装置３，５は、前提技術２のように、対象の物体の位置情報及びデモザイク情報を画素行ごとにペイロードデータに含めて映像受信装置４，６に送出するように構成されていてもよい。この場合、対象の物体が矩形状でないため、デモザイク処理の対象の画素の周囲に画像データが存在しない場合があるが、例えば境界処理と同様の処理によって画像データを補間することにより、このような場合もデモザイク処理を実行することができる。

【0214】

上記第１及び第２実施形態による映像送信装置３，５に備えられた変換領域制御部３２１ｂ、センサＣＰＵ３２１又は制御部３２は、デモザイク情報が一定の条件を満たすように注目領域ＲＯＩの画像データの領域を制御するように構成されていてもよい。すなわち、変換領域制御部３２１ｂ、センサＣＰＵ３２１又は制御部３２は、デモザイク情報が撮像素子の色配列の例えば配列例Ａ～Ｄに応じて配列パターンＰＡ１～ＰＡ４，ＰＢ１～ＰＢ４，ＰＣ１～ＰＣ４，ＰＤ１～ＰＤ４のいずれかのパターン（一定の条件の一例）を満たすように注目領域ＲＯＩの画像データを制御してもよい。このように、送信装置がデモザイクのために一定のパターンとなるように注目領域を制御してもよい。

【0215】

以上、前提技術、実施形態及びその変形例を挙げて本開示を説明したが、本開示は上記実施形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。

【0216】

また、例えば、本開示は以下のような構成を取ることができる。
（１）
ＲＯＩ（Region Of Interest）の画像データのデモザイク処理に用いられる情報であるデモザイク情報の取得を制御する制御部と、
前記ＲＯＩの画像データをペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信部と
を備える送信装置。
（２）
前記デモザイク情報は、前記ＲＯＩ情報に含められて前記送信部から送出される
上記（１）に記載の送信装置。
（３）
前記制御部は、前記ＲＯＩの画像データの色配列又は前記ＲＯＩの画像データの端部の色情報を前記デモザイク情報として取得する
上記（１）に記載の送信装置。
（４）
前記制御部は、前記デモザイク情報が一定の条件を満たすように前記ＲＯＩの画像データの領域を制御する
上記（１）に記載の送信装置。
（５）
前記制御部は、前記端部の色情報と、前記端部が奇数行及び偶数行並びに奇数列及び偶数列のいずれの組み合わせであるのかを示す情報とを前記デモザイク情報として取得する
上記（４）に記載の送信装置。
（６）
前記送信部は、ＭＩＰＩ(Mobile Industry Processor Interface) Ｄ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ（Camera Serial Interface）－２規格で信号を送出する
上記（１）に記載の送信装置。
（７）
ＲＯＩ（Region Of Interest）の画像データをペイロードデータに含むとともに、ＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部と、
前記ＲＯＩの画像データのデモザイク処理に用いられる情報であるデモザイク情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部と、
前記制御部で抽出された前記デモザイク情報を用いて前記ＲＯＩの画像データのデモザイク処理を実行する処理部と
を備える受信装置。
（８）
前記制御部は、前記伝送信号に含まれた前記ＲＯＩ情報から前記デモザイク情報を抽出する
上記（７）に記載の受信装置。
（９）
前記制御部は、前記ＲＯＩの画像データの色配列又は前記ＲＯＩの画像データの端部の色情報を前記デモザイク情報として抽出する
上記（７）に記載の受信装置。
（１０）
前記制御部は、前記ＲＯＩの端部の色情報と、前記端部が奇数行及び偶数行並びに奇数列及び偶数列のいずれの組み合わせであるのかを示す情報とを前記デモザイク情報として抽出する
上記（９）に記載の受信装置。
（１１）
前記処理部は、前記ＲＯＩ内の周囲端部に配置された画像データに対して境界処理を施す
上記（７）に記載の受信装置。
（１２）
前記受信部は、ＭＩＰＩ(Mobile Industry Processor Interface) Ｄ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ（Camera Serial Interface）－２規格で信号を受信する
上記（７）に記載の受信装置。
（１３）
ＲＯＩ（Region Of Interest）の画像データのデモザイク処理に用いられる情報であるデモザイク情報を取得する制御部、及び前記画像データをペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信部を有する送信装置と、
前記ＲＯＩの画像データを前記ペイロードデータに含むとともに、前記ＲＯＩ情報を前記エンベデッドデータに含む伝送信号を受信する受信部、前記ＲＯＩの画像データのデモザイク処理に用いられる情報であるデモザイク情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部、及び前記制御部で抽出された前記デモザイク情報を用いて前記ＲＯＩの画像データのデモザイク処理を実行する処理部を有する受信装置と
を備える伝送システム。
（１４）
前記送信装置は、前記ＲＯＩの情報に含められた前記デモザイク情報を前記送信部から送出し、
前記受信装置は、前記デモザイク情報を有する前記伝送信号を前記受信部で受信し、前記受信部で受信された前記伝送信号に含まれた前記ＲＯＩの情報から前記デモザイク情報を前記制御部で抽出する
上記（１３）に記載の伝送システム。
（１５）
前記送信装置は、前記ＲＯＩの画像データの色配列又は前記ＲＯＩの画像データの端部の色情報を前記デモザイク情報として前記送信部から送出し、
前記受信装置は、前記色配列又は前記ＲＯＩの画像データの端部の色情報を前記デモザイク情報として前記受信部で受信する
上記（１３）に記載の伝送システム。
（１６）
前記送信装置は、前記ＲＯＩの端部の色情報と、前記端部が奇数行及び偶数行並びに奇数列及び偶数列のいずれの組み合わせであるのかを示す情報とを前記デモザイク情報として前記送信部から送出し、
前記受信装置は、前記色情報と、前記端部が奇数行及び偶数行並びに奇数列及び偶数列のいずれの組み合わせであるのかを示す情報とを前記デモザイク情報として前記受信部で受信する
上記（１５）に記載の伝送システム。
（１７）
前記送信装置は、ＭＩＰＩ(Mobile Industry Processor Interface) Ｄ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ（Camera Serial Interface）－２規格の信号を前記送信部から送出し、
前記受信装置は、前記ＭＩＰＩＤ－ＰＨＹ規格、前記ＭＩＰＩ Ｃ－ＰＨＹ規格又は前記ＭＩＰＩ ＣＳＩ－２規格の信号を前記受信部で受信する
上記（１３）に記載の伝送システム。

【0217】

当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、及び変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

【符号の説明】

【0218】

１，１０，１０ｚ，２０ 映像伝送システム
３，５，１００ 映像送信装置
４，４ｚ，６，２００ 映像受信装置
３１，１１０ 撮像部
３２，４１ 制御部
４２ 画像加工部
１００Ａ ＣＳＩトランスミッタ
１００Ｂ ＣＣＩスレーブ
１１１ 撮像画像
１１２，１１２ａ１，１１２ａ２，１１２ａ３，１１２ａ４，１１２ｂ１，１１２ｂ４，１２３ａ４，２２３Ａ ＲＯＩ画像
１１２ｂ 圧縮像データ
１１３，１１４ 位置情報
１１５ 優先度
１１６，１１６ａ１，１１６ａ２ 伝送画像
１１８ 画像
１２０，１３０ 画像処理部
１２０Ａ，１２０Ａ１，１２０Ａ２，１３０Ａ，１４７Ｂ 圧縮像データ
１２０Ｂ ＲＯＩ情報
１２０Ｃ フレーム情報
１２１ ＲＯＩ切り出し部
１２２ ＲＯＩ解析部
１２３ 検出部
１２４ 優先度設定部
１２５，１３１ エンコード部
１２６ 画像処理制御部
１４０ 送信部
１４１ ＬＩＮＫ制御部
１４２ ＥＣＣ生成部
１４３ ＰＨ生成部
１４４，１４５ ＲＯＩデータバッファ
１４４ ＥＢＤバッファ
１４６ 通常画像データバッファ
１４７ 合成部
１４７Ａ 伝送データ
２００Ａ ＣＳＩレシーバ
２００Ｂ ＣＣＩマスター
２１０ 受信部
２１１ ヘッダ分離部
２１２ ヘッダ解釈部
２１３ ペイロード分離部
２１４ ＥＢＤ解釈部
２１４Ａ ＥＢＤデータ
２１５ ＲＯＩデータ分離部
２１５Ａ，２１５Ｂ ペイロードデータ
２２０ 情報処理部
２２１ 情報抽出部
２２１Ａ 抽出情報
２２２ ＲＯＩデコード部
２２２Ａ 画像データ
２２３ ＲＯＩ画像生成部
２２４ 通常画像デコード部
２２４Ａ 通常画像
３１１ 光電変換部
３１２ 信号変換部
３１３ 増幅部
３２１，５２１ センサＣＰＵ
３２１ａ 露光制御部
３２１ｂ 変換領域制御部
３２２ 送信部
４１１，４１１ｚ，６１１ ＣａｍＣＰＵ
４１１ａ 座標判定部
４１２ 受信部
４１３ Ｒａｗ処理部
４１４ エンベデッドデータ取得部
４２１ デモザイク処理部
４２２ 画質調整部
４２３ 判定部
４２３ａ 座標判定部
４２３ｂ 制御値生成部
５２１ センサＣＰＵ
Ａ，Ｂ，Ｃ 配列例
ＡＤＣ アナログデジタル変換
ＡＧＣ 信号増幅
Ｃｂ 色差成分
ＣＣＩ カメラ制御インタフェース
ＣＬ クロックレーン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14A】

【図14B】

【図15A】

【図15B】

【図16A】

【図16B】

【図17A】

【図17B】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】