特許 7499765 送信装置、受信装置及び伝送システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-06

(45)【発行日】2024-06-14

(54)【発明の名称】送信装置、受信装置及び伝送システム

(51)【国際特許分類】

   H04N 21/4728 20110101AFI20240607BHJP

   H04N 21/436 20110101ALI20240607BHJP

   H04N 23/60 20230101ALI20240607BHJP

【ＦＩ】

H04N21/4728

H04N21/436

H04N23/60 300

【請求項の数】 18

(21)【出願番号】P 2021527477

(86)(22)【出願日】2020-05-19

(86)【国際出願番号】 JP2020019708

(87)【国際公開番号】W WO2020261814

(87)【国際公開日】2020-12-30

【審査請求日】2023-04-06

(31)【優先権主張番号】P 2019121341

(32)【優先日】2019-06-28

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100103850

【弁理士】

【氏名又は名称】田中 秀▲てつ▼

(74)【代理人】

【識別番号】100114177

【弁理士】

【氏名又は名称】小林 龍

(74)【代理人】

【識別番号】100066980

【弁理士】

【氏名又は名称】森 哲也

(72)【発明者】

【氏名】中里 智樹

(72)【発明者】

【氏名】松原 義明

(72)【発明者】

【氏名】染谷 英行

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】国際公開第２０１８／２２５４４９（ＷＯ，Ａ１）

【文献】特開２００８－１４１３２６（ＪＰ，Ａ）

【文献】特開２０１３－２３９７７２（ＪＰ，Ａ）

【文献】特開平１０－０５１６９３（ＪＰ，Ａ）

【文献】国際公開第２０１９／０９２９５２（ＷＯ，Ａ１）

【文献】特開２０１３－１８３２８２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

ＲＯＩ（Region Of Interest）に含まれる画像の欠陥を補正するために用いられる情報である欠陥補正情報の保持を制御する制御部と、
前記ＲＯＩに含まれる画像の画像データをペイロードデータで送出するとともに、前記欠陥補正情報を含めたＲＯＩ情報をエンベデッドデータで送出する送信部と
を備える送信装置。

【請求項2】

前記制御部は、撮像領域を構成する複数の画素のうちの欠陥が生じた画素の座標を前記欠陥補正情報として保持する
請求項１に記載の送信装置。

【請求項3】

前記制御部は、前記欠陥が生じた画素の座標を初期化処理時又は製造時に保持する
請求項２に記載の送信装置。

【請求項4】

前記制御部は、前記ＲＯＩの基準座標及び大きさを前記欠陥補正情報として保持する
請求項２に記載の送信装置。

【請求項5】

前記制御部は、前記ＲＯＩの左上端座標を前記基準座標として保持する
請求項４に記載の送信装置。

【請求項6】

前記制御部は、前記ＲＯＩの基準座標及び大きさ並びに前記欠陥が生じた画素の座標に基づいて、前記欠陥が生じた画素の座標に対応する前記ＲＯＩにおける位置を判断する
請求項４に記載の送信装置。

【請求項7】

前記送信部は、前記制御部で判断された前記ＲＯＩにおける前記欠陥が生じた画素の位置の情報と、前記ＲＯＩに含まれる画像の画像データとを前記ＲＯＩ情報に含めて送出する
請求項６に記載の送信装置。

【請求項8】

前記制御部で判断された前記ＲＯＩにおける前記欠陥が生じた画素の位置に対応する座標の上下左右に隣接する座標の画素に対応する画像の画像データに基づいて欠陥が生じた画像の画像データの補正を処理する処理部を備え、
前記送信部は、前記処理部で補正された画像の画像データを前記ＲＯＩ情報に含めて送出する
請求項６に記載の送信装置。

【請求項9】

前記送信部は、ＭＩＰＩ(Mobile Industry Processor Interface) Ｄ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ（Camera Serial Interface）－２規格で信号を送出する
請求項１に記載の送信装置。

【請求項10】

ＲＯＩ（Region Of Interest）に含まれる画像の画像データをペイロードデータに含むとともに、ＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部と、
前記ＲＯＩに含まれる画像の画像データの欠陥を補正するために用いられる情報である欠陥補正情報を前記受信部で受信した前記ＲＯＩ情報からの抽出を制御する制御部と、
前記制御部で抽出された前記欠陥補正情報に基づいて前記ＲＯＩの画像の欠陥の補正を
処理する処理部と
を備える受信装置。

【請求項11】

前記制御部は、撮像領域を構成する複数の画素のうちの欠陥が生じた画素の座標を前記欠陥補正情報として抽出する
請求項１０に記載の受信装置。

【請求項12】

前記制御部は、前記欠陥が生じた画素の座標を前記撮像領域又は前記ＲＯＩのいずれか一方における座標として抽出する
請求項１１に記載の受信装置。

【請求項13】

前記制御部は、前記ＲＯＩの基準座標及び大きさを前記欠陥補正情報として抽出する
請求項１０に記載の受信装置。

【請求項14】

前記制御部は、前記ＲＯＩの左上端座標を前記基準座標として抽出する
請求項１３に記載の受信装置。

【請求項15】

前記制御部は、前記ＲＯＩの基準座標及び大きさ並びに前記欠陥が生じた画素の座標に基づいて、前記欠陥が生じた画素の座標に対応する前記ＲＯＩにおける位置を判断する
請求項１３に記載の受信装置。

【請求項16】

前記処理部は、前記欠陥が生じた画素の座標の上下左右に隣接する座標の画素に対応する画像の画像データに基づいて欠陥が生じた画像の画像データを補正する
請求項１１に記載の受信装置。

【請求項17】

前記受信部は、ＭＩＰＩ(Mobile Industry Processor Interface) Ｄ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ（Camera Serial Interface）－２規格で信号を受信する
請求項１０に記載の受信装置。

【請求項18】

ＲＯＩ（Region Of Interest）に含まれる画像の欠陥を補正するために用いられる情報である欠陥補正情報の保持を制御する制御部、及び前記ＲＯＩに含まれる画像の画像データをペイロードデータで送出するとともに、前記欠陥補正情報を含めたＲＯＩ情報をエンベデッドデータで送出する送信部と有する送信装置と、
ＲＯＩに含まれる画像の画像データをペイロードデータに含むとともに、ＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部、前記欠陥補正情報を前記受信部で受信した前記ＲＯＩ情報からの抽出を制御する制御部、及び前記制御部で抽出された前記欠陥補正情報に基づいて前記ＲＯＩの画像の欠陥の補正を処理する処理部を有する受信装置と
を備える伝送システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、送信装置、受信装置及び伝送システムに関する。

【背景技術】

【0002】

近年、データ量の大きなデータを大量に送信する用途が増えてきている。伝送システムに大きな負荷がかかりやすく、最悪の場合には、伝送システムがダウンし、データ伝送が行えなくなるおそれがある。

【0003】

伝送システムのダウンを避けるために、例えば、撮影した画像を全て送信するのではなく、撮影対象の物体を特定し、特定した物体を切り出した一部の画像だけを送信することが行われていることが知られている（例えば特許文献１～４）。また、特許文献５及び６には、撮像素子における欠陥画素の補正処理について開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－２０１７５６号公報

【文献】特開２０１４－３９２１９号公報

【文献】特開２０１３－１６４８３４号公報

【文献】特開２０１２－２０９８３１号公報

【文献】特開２００３－１６３８４２号公報

【文献】特開２０１２－１００１６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、撮像画像から切り出した一部の領域である注目領域（ＲＯＩ（Region Of Interest））を伝送する場合の欠陥画像の補正処理について、何ら検討されていない。
本開示の目的は、撮像画像から切り出した一部の領域である注目領域（ＲＯＩ）における欠陥画像の補正処理を実現することにある。

【課題を解決するための手段】

【0006】

本開示の一態様による送信装置は、ＲＯＩ（Region Of Interest）に含まれる画像の欠陥を補正するために用いられる情報である欠陥補正情報の保持を制御する制御部と、前記ＲＯＩに含まれる画像の画像データをペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信部とを備える。

【0007】

本開示の一態様による受信装置は、ＲＯＩ（Region Of Interest）に含まれる画像の画像データをペイロードデータに含むとともに、ＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部と、前記ＲＯＩに含まれる画像の画像データの欠陥を補正するために用いられる情報である欠陥補正情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部と、前記制御部で抽出された前記欠陥補正情報に基づいて前記ＲＯＩの画像の欠陥の補正を処理する処理部とを備える。

【0008】

本開示の一態様による伝送システムは、ＲＯＩ（Region Of Interest）に含まれる画像の欠陥を補正するために用いられる情報である欠陥補正情報の保持を制御する制御部、及び前記ＲＯＩに含まれる画像の画像データをペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信部と有する送信装置と、ＲＯＩに含まれる画像の画像データをペイロードデータに含むとともに、ＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部、前記ＲＯＩに含まれる画像の画像データの欠陥を補正するために用いられる情報である欠陥補正情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部、及び前記制御部で抽出された前記欠陥補正情報に基づいて前記ＲＯＩの画像の欠陥の補正を処理する処理部を有する受信装置とを備える。

【図面の簡単な説明】

【0009】

【図1】映像伝送システムの概略構成例を表す図である。

【図2】図１の映像送信装置の概略構成例を表す図である。

【図3】撮像画像に２つのＲＯＩが含まれているときの、伝送データの生成手順の一例を表す図である。

【図4】パケットヘッダの構成例を表す図である。

【図5】伝送データの構成例を表す図である。

【図6】伝送データの構成例を表す図である。

【図7】ロングパケットのペイロードデータの構成例を表す図である。

【図8】図１の映像受信装置の概略構成例を表す図である。

【図9】伝送データに２つの画像が含まれているときの、撮像画像に含まれる２つのＲＯＩ画像の生成手順の一例を表す図である。

【図10】撮像画像において特定された物体が配置された領域を模式的に示す図である。

【図11】特定された物体に対して設定されたＲＯＩ領域の一例を示す図である。

【図12】ＲＯＩ画像の位置情報がロングパケットのペイロードデータに含められている伝送データの構成例を示す図である。

【図13】本開示における欠陥画像の補正処理を模式的に示す図である。

【図14】第１実施形態における出荷検査等で取得される欠陥画素の座標情報に基づいて注目領域における欠陥画素の位置を算出する方法を模式的に示す図である。

【図15】第１実施形態による送信装置、受信装置及び伝送システムの概略構成を示すブロック図である。

【図16】第１実施形態による送信装置、受信装置及び伝送システムの初期化処理における欠陥画素の座標の取得処理の流れの一例を示すフローチャートである。

【図17】第１実施形態による送信装置、受信装置及び伝送システムの通常動作時における欠陥画素の座標変換の演算処理の流れの一例を示すフローチャートである。

【図18】第１実施形態による送信装置、受信装置及び伝送システムの通常動作時における欠陥画像の補正処理の流れの一例を示すフローチャートである。

【図19】第１実施形態による送信装置、受信装置及び伝送システムにおける欠陥画像の補正処理のタイミングチャートの一例を示す図である。

【図20】第１実施形態の変形例１による送信装置、受信装置及び伝送システムの概略構成を示すブロック図である。

【図21】第１実施形態の変形例２による送信装置、受信装置及び伝送システムの概略構成を示すブロック図である。

【図22】第１実施形態の変形例３による送信装置、受信装置及び伝送システムの概略構成を示すブロック図である。

【図23】第２実施形態における出荷検査等で取得される欠陥画素の座標情報に基づいて注目領域における欠陥画素の位置を算出する方法を模式的に示す図である。

【発明を実施するための形態】

【0010】

以下、本開示を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本開示の一具体例であって、本開示は以下の態様に限定されるものではない。

【0011】

以下、本開示による技術を実施するための形態（以下、「実施形態」と称する）について、以下の順序により説明する。
１．本開示の前提技術１（撮像画像から切り出した一部（形状が矩形状）の注目領域（ＲＯＩ）を伝送する技術）
２．本開示の前提技術２（撮像画像から切り出した一部（形状が非矩形状）の注目領域（ＲＯＩ）を伝送する技術）
３．本開示の実施形態における欠陥画素の補正処理の原理
４．本開示の第１実施形態による送信装置、受信装置及び伝送システム
５．本開示の第１実施形態の変形例による送信装置、受信装置及び伝送システム
６．本開示の第２実施形態における欠陥画素の補正処理の原理

【0012】

１．本開示の前提技術１：
[構成]
近年、スマートフォンなどの携帯デバイスやカメラデバイスなどでは、扱う画像データの大容量化が進み、デバイス内又は異なるデバイス間でのデータ伝送に高速化、かつ低消費電力化が求められている。このような要求に応えるため、携帯デバイスやカメラデバイス向けの接続インタフェースとして、ＭＩＰＩアライアンスが策定したＣ－ＰＨＹ規格やＤ－ＰＨＹ規格といった高速インタフェース規格の標準化が進められている。Ｃ－ＰＨＹ規格やＤ－ＰＨＹ規格は、通信プロトコルの物理層（physical layer：ＰＨＹ）のインタフェース規格である。また、Ｃ－ＰＨＹ規格やＤ－ＰＨＹ規格の上位プロトコル・レイヤとして、携帯デバイスのディスプレイ向けのＤＳＩや、カメラデバイス向けのＣＳＩが存在する。

【0013】

本開示の前提技術に係る映像伝送システム１は、種々の規格で信号を送受信できるシステムであり、例えばＭＩＰＩ ＣＳＩ－２規格、ＭＩＰＩ ＣＳＩ－３規格、又は、ＭＩＰＩ ＤＳＩ規格で信号を送受信することができる。図１は、本開示の前提技術に係る映像伝送システム１の概要を表したものである。映像伝送システム１は、データ信号、クロック信号及び制御信号の伝送に適用されるものであり、映像送信装置１００及び映像受信装置２００を備えている。映像伝送システム１は、映像送信装置１００と映像受信装置２００とに跨がって、例えば画像データ等のデータ信号を伝送するデータレーンＤＬと、クロック信号を伝送するクロックレーンＣＬと、制御信号を伝送するカメラ制御インタフェースＣＣＩとを備えている。図１には、１つのデータレーンＤＬが設けられている例が示されているが、複数のデータレーンＤＬが設けられていてもよい。カメラ制御インタフェースＣＣＩは、Ｉ^２Ｃ（Inter-Integrated Circuit）規格と互換性を有する双方向制御インタフェースである。

【0014】

映像送信装置１００は、ＭＩＰＩ ＣＳＩ－２規格、ＭＩＰＩ ＣＳＩ－３規格、又は、ＭＩＰＩ ＤＳＩ規格で信号を送出する装置である。ＣＳＩトランスミッタ１００Ａと、ＣＣＩスレーブ１００Ｂとを有している。映像受信装置２００は、ＣＳＩレシーバ２００Ａと、ＣＣＩマスター２００Ｂとを有している。クロックレーンＣＬにおいて、ＣＳＩトランスミッタ１００ＡとＣＳＩレシーバ２００Ａとの間は、クロック信号線で接続されている。データレーンＤＬにおいて、ＣＳＩトランスミッタ１００ＡとＣＳＩレシーバ２００Ａとの間は、クロック信号線で接続されている。カメラ制御インタフェースＣＣＩにおいて、ＣＣＩスレーブ１００ＢとＣＣＩマスター２００Ｂとの間は、制御信号線で接続されている。

【0015】

ＣＳＩトランスミッタ１００Ａは、クロック信号として差動のクロック信号を生成し、クロック信号線に出力する差動信号送信回路である。ＣＳＩトランスミッタ１００Ａは、差動に限られず、シングルエンドや３相の信号も送信できるように構成可能である。ＣＳＩトランスミッタ１００Ａは、さらに、データ信号として差動のデータ信号を生成し、データ信号線に出力する差動信号送信回路でもある。ＣＳＩレシーバ２００Ａは、クロック信号として差動のクロック信号を、クロック信号線を介して受信し、受信した差動のクロック信号に対して所定の処理を行う差動信号受信回路である。ＣＳＩレシーバ２００Ａは、さらに、データ信号として差動のデータ信号を、データ信号線を介して受信し、受信した差動のデータ信号に対して所定の処理を行う差動信号受信回路でもある。

【0016】

（映像送信装置１００）
図２は、映像送信装置１００の構成の一例を表したものである。映像送信装置１００は、ＣＳＩトランスミッタ１００Ａの一具体例に相当する。映像送信装置１００は、例えば、撮像部１１０、画像処理部１２０，１３０及び送信部１４０を備えている。映像送信装置１００は、撮像部１１０で得られた撮像画像１１１に対して所定の処理を行うことにより生成した伝送データ１４７Ａを、データレーンＤＬを介して映像受信装置２００に送信する。図３は、伝送データ１４７Ａの生成手順の一例したものである。

【0017】

撮像部１１０は、例えば、光学レンズなどを通して得られた光学的な画像信号を画像データに変換する。撮像部１１０は、例えば、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含んで構成されている。撮像部１１０は、アナログ－デジタル変換回路を有しており、アナログの画像データをデジタルの画像データに変換する。変換した後のデータ形式は、各画素の色を輝度成分Ｙ及び色差成分Ｃｂ，Ｃｒで表現するＹＣｂＣｒ形式であってもよいし、ＲＧＢ形式などであってもよい。撮像部１１０は、撮像により得られた撮像画像１１１（デジタルの画像データ）を画像処理部１２０に出力する。

【0018】

画像処理部１２０は、撮像部１１０から入力された撮像画像１１１に対して所定の処理を行う回路である。前提技術１では、画像処理部１２０は、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、撮像部１１０から入力された撮像画像１１１に対して所定の処理を行う場合について説明する。しかしながら、前提技術１では、映像送信装置１００、すなわち送信側がＲＯＩの切り出しの座標指示する場合も適用できある。この場合、送信側は例えば、受信側から送出されるＲＯＩで取得すべき「人物」や「物体」等の情報を受信して切り出しの座標を判断および指示するように構成される。これにより、画像処理部１２０は、種々のデータ（１２０Ａ，１２０Ｂ，１２０Ｃ）を生成し、送信部１４０に出力する。画像処理部１３０は、撮像部１１０から入力された撮像画像１１１に対して所定の処理を行う回路である。画像処理部１３０は、通常画像の出力を指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、撮像部１１０から入力された撮像画像１１１に対して所定の処理を行う。これにより、画像処理部１３０は、画像データ１３０Ａを生成し、送信部１４０に出力する。

【0019】

画像処理部１３０は、例えば、エンコード部１３１を有している。エンコード部１３１は、撮像画像１１１をエンコードして圧縮像データ１３０Ａを生成する。画像処理部１３０は、例えば、圧縮像データ１３０Ａの形式として、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に準拠した圧縮形式等により撮像画像１１１を圧縮する。

【0020】

画像処理部１２０は、例えば、ＲＯＩ切り出し部１２１、ＲＯＩ解析部１２２、重なり検出部１２３、優先度設定部１２４、エンコード部１２５及び画像処理制御部１２６を有している。

【0021】

ＲＯＩ切り出し部１２１は、撮像部１１０から入力された撮像画像１１１に含まれる撮影対象の１又は複数の物体を特定し、特定した物体ごとに注目領域ＲＯＩを設定する。注目領域ＲＯＩは、例えば、特定した物体を含む方形状の領域である。ＲＯＩ切り出し部１２１は、撮像画像１１１から、各注目領域ＲＯＩの画像（例えば図３中のＲＯＩ画像１１２）を切り出す。ＲＯＩ切り出し部１２１は、さらに、設定した注目領域ＲＯＩごとに、識別子として領域番号を付与する。ＲＯＩ切り出し部１２１は、例えば、撮像画像１１１において、２つの注目領域ＲＯＩを設定した場合には、一方の注目領域ＲＯＩ（例えば図３中の注目領域ＲＯＩ１）に対して、領域番号１を付与し、他方の注目領域ＲＯＩ（例えば図３中の注目領域ＲＯＩ２）に対して、領域番号２を付与する。ＲＯＩ切り出し部１２１は、例えば、付与した識別子（領域番号）を記憶部に格納する。ＲＯＩ切り出し部１２１は、例えば、撮像画像１１１から切り出した各ＲＯＩ画像１１２を記憶部に格納する。ＲＯＩ切り出し部１２１は、さらに、例えば、各注目領域ＲＯＩに付与した識別子（領域番号）を、ＲＯＩ画像１１２と関連づけて、記憶部に格納する。

【0022】

ＲＯＩ解析部１２２は、注目領域ＲＯＩごとに、撮像画像１１１における注目領域ＲＯＩの位置情報１１３を導出する。位置情報１１３は、例えば、注目領域ＲＯＩの左上端座標（Ｘａ，Ｙａ）と、注目領域ＲＯＩのＸ軸方向の長さと、注目領域ＲＯＩのＹ軸方向の長さとによって構成されている。注目領域ＲＯＩのＸ軸方向の長さは、例えば、注目領域ＲＯＩのＸ軸方向の物理領域長さＸＬａである。注目領域ＲＯＩのＹ軸方向の長さは、例えば、注目領域ＲＯＩのＹ軸方向の物理領域長さＹＬａである。物理領域長さとは、注目領域ＲＯＩの物理的な長さ（データ長）を指している。位置情報１１３において、注目領域ＲＯＩの左上端とは異なる位置の座標が含まれていてもよい。ＲＯＩ解析部１２２は、例えば、導出した位置情報１１３を記憶部に格納する。ＲＯＩ解析部１２２は、例えば、注目領域ＲＯＩに対して付与された識別子（領域番号）と関連づけて、記憶部に格納する。

【0023】

ＲＯＩ解析部１２２は、注目領域ＲＯＩごとに、位置情報１１３として、さらに、例えば、注目領域ＲＯＩのＸ軸方向の出力領域長さＸＬｃや、注目領域ＲＯＩのＹ軸方向の出力領域長さＹＬｃを導出してもよい。出力領域長さとは、例えば、注目領域ＲＯＩに対して間引き処理や画素加算などによる解像度変更がなされた後の注目領域ＲＯＩの物理的な長さ（データ長）である。ＲＯＩ解析部１２２は、例えば、注目領域ＲＯＩごとに、位置情報１１３の他に、例えば、センシングインフォメーション、露光情報、ゲイン情報、ＡＤ（Analog-Digital）語長、画像フォーマットなどを導出し、記憶部に格納してもよい。

【0024】

センシングインフォメーションとは、注目領域ＲＯＩに含まれる物体についての演算内容や、ＲＯＩ画像１１２に対する後段信号処理のための補足情報などを指している。露光情報とは、注目領域ＲＯＩの露光時間を指している。ゲイン情報とは、注目領域ＲＯＩのゲイン情報を指している。ＡＤ語長とは、注目領域ＲＯＩ内でＡＤ変換された１画素あたりのデータの語長を指している。画像フォーマットとは、注目領域ＲＯＩの画像のフォーマットを指している。ＲＯＩ解析部１２２は、例えば、撮像画像１１１に含まれる注目領域ＲＯＩの数（ＲＯＩ数）を導出し、記憶部に格納してもよい。

【0025】

重なり検出部１２３は、撮像画像１１１において、撮影対象の複数の物体が特定されたときには、撮像画像１１１における複数の注目領域ＲＯＩの位置情報１１３に基づいて、２以上の注目領域ＲＯＩ同士が重なり合う重なり領域（ＲＯＯ（Region Of Overlap））を検出する。つまり、重なり検出部１２３は、重なり領域ＲＯＯごとに、撮像画像１１１における重なり領域ＲＯＯの位置情報１１４を導出する。重なり検出部１２３は、例えば、導出した位置情報１１４を記憶部に格納する。重なり検出部１２３は、例えば、導出した位置情報１１４を重なり領域ＲＯＯと対応付けて、記憶部に格納する。重なり領域ＲＯＯは、例えば、互いに重なり合う２以上の注目領域ＲＯＩにおいて最も小さな注目領域ＲＯＩと同じ大きさか、それよりも小さな方形状の領域である。位置情報１１４は、例えば、重なり領域ＲＯＯの左上端座標（Ｘｂ，Ｙｂ）と、重なり領域ＲＯＯのＸ軸方向の長さと、重なり領域ＲＯＯのＹ軸方向の長さとによって構成されている。重なり領域ＲＯＯのＸ軸方向の長さは、例えば、物理領域長さＸＬｂである。重なり領域ＲＯＯのＹ軸方向の長さは、例えば、物理領域長さＹＬｂである。位置情報１１４において、注目領域ＲＯＩの左上端とは異なる位置の座標が含まれていてもよい。

【0026】

優先度設定部１２４は、撮像画像１１１において、注目領域ＲＯＩごとに優先度１１５を付与する。優先度設定部１２４は、例えば、付与した優先度１１５を記憶部に格納する。優先度設定部１２４は、例えば、付与した優先度１１５を注目領域ＲＯＩと対応付けて、記憶部に格納する。優先度設定部１２４は、注目領域ＲＯＩごとに付与されている領域番号とは別に、優先度１１５を注目領域ＲＯＩごとに付与してもよいし、注目領域ＲＯＩごとに付与されている領域番号を、優先度１１５の代わりとしてもよい。優先度設定部１２４は、例えば、優先度１１５を注目領域ＲＯＩと関連付けて、記憶部に格納してもよいし、注目領域ＲＯＩごとに付与されている領域番号を注目領域ＲＯＩと関連付けて、記憶部に格納してもよい。

【0027】

優先度１１５は、各注目領域ＲＯＩの識別子であり、撮像画像１１１における複数の注目領域ＲＯＩのいずれに対して重なり領域ＲＯＯの割愛が行われたかを判別することの可能な判別情報である。優先度設定部１２４は、例えば、それぞれが重なり領域ＲＯＯを含む２つの注目領域ＲＯＩにおいて、一方の注目領域ＲＯＩに対して優先度１１５として１を付与し、他方の注目領域ＲＯＩに対して優先度１１５として２を付与する。この場合には、後述の伝送画像１１６の作成に際して、優先度１１５の数値が大きい方の注目領域ＲＯＩに対して、重なり領域ＲＯＯの割愛が行われる。なお、優先度設定部１２４は、注目領域ＲＯＩごとに付与されている領域番号と同じ番号を、注目領域ＲＯＩに対して優先度１１５として付与してもよい。優先度設定部１２４は、例えば、各注目領域ＲＯＩに付与した優先度１１５を、ＲＯＩ画像１１２と関連づけて、記憶部に格納する。

【0028】

エンコード部１２５は、各伝送画像１１６を、エンコードして圧縮像データ１２０Ａを生成する。エンコード部１２５は、例えば、圧縮像データ１２０Ａの形式として、ＪＰＥＧ規格に準拠した圧縮形式等により各伝送画像１１６を圧縮する。エンコード部１２５は、上記の圧縮処理を行う前に、各伝送画像１１６を生成する。エンコード部１２５は、撮像画像１１１から得られた複数のＲＯＩ画像１１２において重なり領域ＲＯＯの画像１１８が重複して含まれないように、撮像画像１１１から得られた複数のＲＯＩ画像１１２から画像１１８を割愛したものである複数の伝送画像１１６を生成する。

【0029】

エンコード部１２５は、例えば、注目領域ＲＯＩごとに付与されている優先度１１５に基づいて、複数のＲＯＩ画像１１２のいずれに対して画像１１８の割愛を行うかを決定する。なお、エンコード部１２５は、例えば、注目領域ＲＯＩごとに付与されている領域番号を優先度１１５として用いることにより、複数のＲＯＩ画像１１２のいずれに対して画像１１８の割愛を行うかを決定してもよい。エンコード部１２５は、上記のようにして特定されたＲＯＩ画像１１２において画像１１８を割愛したものを、伝送画像１１６（例えば図３の伝送画像１１６ａ２）とする。エンコード部１２５は、重なり領域ＲＯＯを含まないＲＯＩ画像１１２や、上記の決定により画像１１８が割愛されないこととなったＲＯＩ画像１１２については、ＲＯＩ画像１１２そのものを伝送画像１１６（例えば図３の伝送画像１１６ａ１）とする。

【0030】

画像処理制御部１２６は、ＲＯＩ情報１２０Ｂ及びフレーム情報１２０Ｃを生成し、送信部１４０に送信する。ＲＯＩ情報１２０Ｂは、例えば、各位置情報１１３を含んでいる。ＲＯＩ情報１２０Ｂは、さらに、例えば、各注目領域ＲＯＩのデータタイプ、撮像画像１１１に含まれる注目領域ＲＯＩの数、各注目領域ＲＯＩの領域番号（又は優先度１１５）、各注目領域ＲＯＩのデータ長、及び各注目領域ＲＯＩの画像フォーマットのうち少なくとも１つを含んでいる。フレーム情報１２０Ｃは、例えば、フレームごとに付与されるバーチャルチャネルの番号、各注目領域ＲＯＩのデータタイプ、ラインごとのペイロード（Ｐａｙｌｏａｄ）長などを含んでいる。データタイプには、例えば、ＹＵＶデータ、ＲＧＢデータ又はＲＡＷデータなどが含まれている。データタイプには、さらに、例えば、ＲＯＩ形式のデータ又は通常形式のデータなどが含まれている。ペイロード長は、例えば、ロングパケット（ＬｏｎｇＰａｃｋｅｔ）のペイロードに含まれるピクセル数であり、例えば、注目領域ＲＯＩごとのピクセル数である。ここで、ペイロードとは、映像送信装置１００及び映像受信装置２００の間で伝送される主要なデータ（アプリケーションデータ）を指している。ロングパケットとは、パケットヘッダＰＨとパケットフッタＰＦとの間に配置されるパケットを指している。

【0031】

送信部１４０は、画像処理部１２０，１３０から入力された種々のデータ（１２０Ａ，１２０Ｂ，１２０Ｃ，１３０Ａ）に基づいて伝送データ１４７Ａを生成し、送出する回路である。送信部１４０は、撮像画像１１１における各注目領域ＲＯＩについてのＲＯＩ情報１２０Ｂをエンベデッドデータ（ＥｍｂｅｄｄｅｄＤａｔａ）で送出する。送信部１４０は、さらに、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）をロングパケットのペイロードデータ（ＰａｙｌｏａｄＤａｔａ）で送出する。このとき、送信部１４０は、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）を互いに共通のバーチャルチャネルで送出する。また、送信部１４０は、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）を画像データフレームによって送出するとともに、各注目領域ＲＯＩについてのＲＯＩ情報１２０Ｂを画像データフレームのヘッダで送出する。送信部１４０は、また、通常画像の出力を指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、通常の画像データ（圧縮像データ１３０Ａ）をロングパケットのペイロードデータで送出する。

【0032】

送信部１４０は、例えば、ＬＩＮＫ制御部１４１、ＥＣＣ生成部１４２、ＰＨ生成部１４３、ＥＢＤバッファ１４４、ＲＯＩデータバッファ１４５、通常画像データバッファ１４６及び合成部１４７を有している。ＬＩＮＫ制御部１４１、ＥＣＣ生成部１４２、ＰＨ生成部１４３、ＥＢＤバッファ１４４及びＲＯＩデータバッファ１４５は、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、合成部１４７への出力を行う。通常画像データバッファ１４６は、通常画像の出力を指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、合成部１４７への出力を行う。

【0033】

なお、ＲＯＩデータバッファ１４５が、通常画像データバッファ１４６を兼ねていてもよい。この場合、送信部１４０は、ＲＯＩデータバッファ１４５及びＲＯＩデータバッファ１４５のそれぞれの出力端と、合成部１４７の入力端との間に、ＲＯＩデータバッファ１４５及びＲＯＩデータバッファ１４５のいずれかの出力を選択するセレクタを有していてもよい。

【0034】

ＬＩＮＫ制御部１４１は、例えば、フレーム情報１２０ＣをラインごとにＥＣＣ生成部１４２及びＰＨ生成部１４３に出力する。ＥＣＣ生成部１４２は、例えば、フレーム情報１２０Ｃにおける１ラインのデータ（例えば、バーチャルチャネルの番号、各注目領域ＲＯＩのデータタイプ、ラインごとのペイロード長など）に基づいて、そのラインの誤り訂正符号を生成する。ＥＣＣ生成部１４２は、例えば、生成した誤り訂正符号をＰＨ生成部１４３に出力する。ＰＨ生成部１４３は、例えば、フレーム情報１２０Ｃと、ＥＣＣ生成部１４２で生成された誤り訂正符号とを用いて、１ラインごとにパケットヘッダＰＨを生成する。このとき、パケットヘッダＰＨは、例えば、図４に示したように、ロングパケットのペイロードデータのパケットヘッダである。このパケットヘッダＰＨには、例えば、ＤＩ、ＷＣ及びＥＣＣが含まれている。ＷＣは、映像受信装置２００に対してパケットの終わりをワード数で示すための領域である。ＷＣには、例えば、ペイロード長が含まれており、例えば、注目領域ＲＯＩごとのピクセル数が含まれている。ＥＣＣは、ビットエラーを修正するための値を格納する領域である。ＥＣＣには、誤り訂正符号が含まれている。ＤＩは、データ識別子を格納する領域である。ＤＩには、ＶＣ（バーチャルチャネル）の番号及びＤａｔａＴｙｐｅ（各注目領域ＲＯＩのデータタイプ）が含まれている。ＶＣ（バーチャルチャネル）は、パケットのフロー制御のために導入された概念であり、同一のリンクを共用する複数の独立したデータストリームをサポートするためのメカニズムである。ＰＨ生成部１４３は、生成したパケットヘッダＰＨを合成部１４７に出力する。

【0035】

ＥＢＤバッファ１４４は、ＲＯＩ情報１２０Ｂを一次的に格納し、所定のタイミングでＲＯＩ情報１２０Ｂをエンベデッドデータとして合成部１４７に出力する。エンベデッドデータとは、画像データフレーム（後述の図５参照）のヘッダ又はフッタに埋め込むことの可能な追加情報を指している。エンベデッドデータには、例えば、ＲＯＩ情報１２０Ｂが含まれている。

【0036】

ＲＯＩデータバッファ１４５は、圧縮像データ１２０Ａを一次的に格納し、所定のタイミングで圧縮像データ１２０Ａをロングパケットのペイロードデータとして合成部１４７に出力する。ＲＯＩデータバッファ１４５は、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、圧縮像データ１２０Ａをロングパケットのペイロードデータとして合成部１４７に出力する。通常画像データバッファ１４６は、圧縮像データ１３０Ａを一次的に格納し、所定のタイミングで圧縮像データ１３０Ａをロングパケットのペイロードデータとして合成部１４７に出力する。通常画像データバッファ１４６は、通常画像の出力を指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、圧縮像データ１３０Ａをロングパケットのペイロードデータとして合成部１４７に出力する。

【0037】

合成部１４７は、通常画像の出力を指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、入力されたデータ（圧縮像データ１３０Ａ）に基づいて、伝送データ１４７Ａを生成する。合成部１４７は、生成した伝送データ１４７Ａを、データレーンＤＬを介して映像受信装置２００に出力する。一方、合成部１４７は、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、入力された各種データ（パケットヘッダＰＨ、ＲＯＩ情報１２０Ｂ、及び圧縮像データ１２０Ａ）に基づいて、伝送データ１４７Ａを生成する。合成部１４７は、生成した伝送データ１４７Ａを、データレーンＤＬを介して映像受信装置２００に出力する。つまり、合成部１４７は、ＤａｔａＴｙｐｅ（各注目領域ＲＯＩのデータタイプ）をロングパケットのペイロードデータのパケットヘッダＰＨに含めて送出する。また、合成部１４７は、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）を互いに共通のバーチャルチャネルで送出する。

【0038】

伝送データ１４７Ａは、例えば、図５に示したような画像データフレームによって構成されている。画像データフレームは、通常、ヘッダ領域、パケット領域、及びフッタ領域を有している。図５では、便宜的に、フッタ領域の記載が省略されている。伝送データ１４７Ａのフレームヘッダ領域Ｒ１には、エンベデッドデータが含まれている。このとき、エンベデッドデータには、ＲＯＩ情報１２０Ｂが含まれている。図５において、伝送データ１４７Ａのパケット領域Ｒ２には、１ラインごとに、ロングパケットのペイロードデータが含まれており、さらに、ロングパケットのペイロードデータを挟み込む位置にパケットヘッダＰＨ及びパケットフッタＰＦが含まれている。さらに、パケットヘッダＰＨとパケットフッタＰＦを挟み込む位置にローパワーモードＬＰが含まれている。

【0039】

このとき、パケットヘッダＰＨには、例えば、ＤＩ、ＷＣ及びＥＣＣが含まれている。ＷＣには、例えば、ペイロード長が含まれており、例えば、注目領域ＲＯＩごとのピクセル数が含まれている。ＥＣＣには、誤り訂正符号が含まれている。ＤＩには、ＶＣ（バーチャルチャネルの番号）及びＤａｔａＴｙｐｅ（各注目領域ＲＯＩのデータタイプ）が含まれている。本実施の形態では、各ラインのＶＣには、互いに共通のバーチャルチャネルの番号が付与されている。また、図５において、伝送データ１４７Ａのパケット領域Ｒ２には、圧縮像データ１４７Ｂが含まれている。圧縮像データ１４７Ｂは、１つの圧縮像データ１２０Ａ、又は複数の圧縮像データ１２０Ａによって構成されている。ここで、図５において、パケットヘッダＰＨ寄りのパケット群には、例えば、図３中の伝送画像１１６ａ１の圧縮像データ１２０Ａ（１２０Ａ１）が含まれており、パケットヘッダＰＨから離れたパケット群には、例えば、図３中の伝送画像１１６ａ２の圧縮像データ１２０Ａ（１２０Ａ２）が含まれている。これら２つの圧縮像データ１２０Ａ１，１２０Ａ２によって圧縮像データ１４７Ｂが構成されている。各ラインのロングパケットのペイロードデータには、圧縮像データ１４７Ｂにおける１ライン分のピクセルデータが含まれている。

【0040】

図６は、伝送データ１４７Ａの構成例を表したものである。伝送データ１４７Ａは、例えば、フレームヘッダ領域Ｒ１及びパケット領域Ｒ２を含んでいる。なお、図６には、フレームヘッダ領域Ｒ１の中身が詳細に例示されている。また、図６では、ローパワーモードＬＰが省略されている。

【0041】

フレームヘッダ領域Ｒ１には、例えば、伝送データ１４７Ａの識別子としてのフレーム番号Ｆ１が含まれている。フレームヘッダ領域Ｒ１は、パケット領域Ｒ２に含まれる圧縮像データ１４７Ｂについての情報を含んでいる。フレームヘッダ領域Ｒ１は、例えば、圧縮像データ１４７Ｂに含まれる圧縮像データ１２０Ａの数（ＲＯＩ数）と、圧縮像データ１４７Ｂに含まれる各圧縮像データ１２０Ａに対応するＲＯＩ画像１１２についての情報（ＲＯＩ情報１２０Ｂ）とを含んでいる。

【0042】

合成部１４７は、例えば、伝送データ１４７Ａのパケット領域Ｒ２において、圧縮像データ１４７Ｂを、圧縮像データ１２０Ａの画素行ごとに分けて配置する。したがって、伝送データ１４７Ａのパケット領域Ｒ２には、重なり領域ＲＯＯの画像１１８に対応する圧縮像データが重複して含まれていない。また、合成部１４７は、例えば、伝送データ１４７Ａのパケット領域Ｒ２において、撮像画像１１１のうち各伝送画像１１６と対応しない画素行を割愛している。したがって、伝送データ１４７Ａのパケット領域Ｒ２には、撮像画像１１１のうち各伝送画像１１６に対応しない画素行は含まれていない。なお、図６のパケット領域Ｒ２において、破線で囲んだ箇所が、重なり領域ＲＯＯの画像１１８の圧縮像データに相当する。

【0043】

パケットヘッダＰＨ寄りのパケット群（例えば図６中の１（ｎ））と、パケットヘッダＰＨから離れたパケット群（例えば図６中の２（１））との境界は、パケットヘッダＰＨ寄りのパケット群（例えば図６中の１（ｎ））の圧縮像データに対応するＲＯＩ画像１１２の物理領域長さＸＬａ１によって特定される。パケットヘッダＰＨ寄りのパケット群（例えば図６中の１（ｎ））に含まれる重なり領域ＲＯＯの画像１１８に対応する圧縮像データにおいて、パケットの開始位置は、パケットヘッダＰＨから離れたパケット群（例えば図６中の２（１））に対応するＲＯＩ画像１１２の物理領域長さＸＬａ２によって特定される。

【0044】

合成部１４７は、例えば、伝送データ１４７Ａのパケット領域Ｒ２において、１ラインごとに、ロングパケットのペイロードデータを生成する際に、ロングパケットのペイロードデータに、例えば、圧縮像データ１４７Ｂにおける１ライン分のピクセルデータの他に、例えば、図７に示したように、ＲＯＩ情報１２０Ｂを含めてもよい。つまり、合成部１４７は、ＲＯＩ情報１２０Ｂをロングパケットのペイロードデータに含めて送出してもよい。このとき、ＲＯＩ情報１２０Ｂは、例えば、図７（Ａ）～図７（Ｋ）に示したように、撮像画像１１１に含まれる注目領域ＲＯＩの数（ＲＯＩ数）、各注目領域ＲＯＩの領域番号（又は優先度１１５）、各注目領域ＲＯＩのデータ長、及び各注目領域ＲＯＩの画像フォーマットのうち少なくとも１つを含んでいる。ＲＯＩ情報１２０Ｂは、ロングパケットのペイロードデータにおいて、パケットヘッダＰＨ側の端部（つまり、ロングパケットのペイロードデータの先頭）に配置されることが好ましい。

【0045】

（映像受信装置２００）
次に、映像受信装置２００について説明する。図８は、映像受信装置２００の構成の一例を表したものである。図９は、映像受信装置２００におけるＲＯＩ画像２２３Ａの生成手順の一例を表したものである。映像受信装置２００は、映像送信装置１００と共通の規格（例えば、ＭＩＰＩ ＣＳＩ－２規格、ＭＩＰＩ ＣＳＩ－３規格、又は、ＭＩＰＩＤＳＩ規格）で信号を受信する装置である。映像受信装置２００は、例えば、受信部２１０及び情報処理部２２０を有している。受信部２１０は、映像送信装置１００から出力された伝送データ１４７Ａを、データレーンＤＬを介して受信し、受信した伝送データ１４７Ａに対して所定の処理を行うことにより、種々のデータ（２１４Ａ，２１５Ａ，２１５Ｂ）を生成し、情報処理部２２０に出力する回路である。情報処理部２２０は、受信部２１０から受信した種々のデータ（２１４Ａ，２１５Ａ）に基づいて、ＲＯＩ画像２２３Ａを生成したり、受信部２１０から受信したデータ（２１５Ｂ）に基づいて、通常画像２２４Ａを生成したりする回路である。

【0046】

受信部２１０は、例えば、ヘッダ分離部２１１、ヘッダ解釈部２１２、ペイロード分離部２１３、ＥＢＤ解釈部２１４及びＲＯＩデータ分離部２１５を有している。

【0047】

ヘッダ分離部２１１は、伝送データ１４７Ａを、データレーンＤＬを介して映像送信装置１００から受信する。つまり、ヘッダ分離部２１１は、撮像画像１１１における各注目領域ＲＯＩについてのＲＯＩ情報１２０Ｂをエンベデッドデータに含むとともに、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）をロングパケットのペイロードデータに含む伝送データ１４７Ａを受信する。ヘッダ分離部２１１は、受信した伝送データ１４７Ａをフレームヘッダ領域Ｒ１とパケット領域Ｒ２とに分離する。ヘッダ解釈部２１２は、フレームヘッダ領域Ｒ１に含まれるデータ（具体的にはエンベデッドデータ）に基づいて、パケット領域Ｒ２に含まれるロングパケットのペイロードデータの位置を特定する。ペイロード分離部２１３は、ヘッダ解釈部２１２によって特定されたロングパケットのペイロードデータの位置に基づいて、パケット領域Ｒ２に含まれるロングパケットのペイロードデータを、パケット領域Ｒ２から分離する。

【0048】

ＥＢＤ解釈部２１４は、エンベデッドデータをＥＢＤデータ２１４Ａとして、情報処理部２２０に出力する。ＥＢＤ解釈部２１４は、さらに、エンベデッドデータに含まれるデータタイプから、ロングパケットのペイロードデータに含まれる画像データがＲＯＩの画像データ１１６の圧縮像データ１２０Ａであるか、又は、通常画像データの圧縮像データ１３０Ａであるか判別する。ＥＢＤ解釈部２１４は、判別結果をＲＯＩデータ分離部２１５に出力する。

【0049】

ロングパケットのペイロードデータに含まれる画像データがＲＯＩの画像データ１１６の圧縮像データ１２０Ａである場合、ＲＯＩデータ分離部２１５は、ロングパケットのペイロードデータをペイロードデータ２１５Ａとして、情報処理部２２０（具体的にはＲＯＩデコード部２２２）に出力する。ペイロードデータに含まれる画像データが通常画像データの圧縮像データ１３０Ａである場合、ＲＯＩデータ分離部２１５は、ロングパケットのペイロードデータをペイロードデータ２１５Ｂとして、情報処理部２２０（具体的には通常画像デコード部２２４）に出力する。ロングパケットのペイロードデータにＲＯＩ情報１２０Ｂが含まれている場合には、ペイロードデータ２１５Ａは、ＲＯＩ情報１２０Ｂと、圧縮像データ１４７Ｂのうち１ライン分のピクセルデータとを含んでいる。

【0050】

情報処理部２２０は、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ情報１２０Ｂを抽出する。情報処理部２２０は、情報抽出部２２１で抽出したＲＯＩ情報１２０Ｂに基づいて、受信部２１０で受信した伝送データ１４７Ａに含まれるロングパケットのペイロードデータから、撮像画像１１１における各注目領域ＲＯＩの画像（ＲＯＩ画像１１２）を抽出する。情報処理部２２０は、例えば、情報抽出部２２１、ＲＯＩデコード部２２２、ＲＯＩ画像生成部２２３及び通常画像デコード部２２４を有している。

【0051】

通常画像デコード部２２４は、ペイロードデータ２１５Ｂをデコードし、通常画像２２４Ａを生成する。ＲＯＩデコード部２２２は、ペイロードデータ２１５Ａに含まれる圧縮像データ１４７Ｂをデコードし、画像データ２２２Ａを生成する。この画像データ２２２Ａは、１又は複数の伝送画像１１６によって構成されている。

【0052】

情報抽出部２２１は、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ情報１２０Ｂを抽出する。情報抽出部２２１は、例えば、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、例えば、撮像画像１１１に含まれる注目領域ＲＯＩの数、各注目領域ＲＯＩの領域番号（又は優先度１１５）、各注目領域ＲＯＩのデータ長、及び各注目領域ＲＯＩの画像フォーマットを抽出する。つまり、伝送データ１４７Ａは、当該伝送データ１４７Ａから得られる複数の伝送画像１１６のいずれに対して重なり領域ＲＯＯの画像１１８の割愛が行われたかを判別することの可能な判別情報として、各伝送画像１１６に対応する注目領域ＲＯＩの領域番号（又は優先度１１５）を含んでいる。

【0053】

ＲＯＩ画像生成部２２３は、情報抽出部２２１で得られたＲＯＩ情報１２０Ｂに基づいて、２以上の注目領域ＲＯＩ同士が重なり合う重なり領域ＲＯＯを検出する。

【0054】

情報抽出部２２１が、例えば、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ画像１１２ａ１に対応する注目領域ＲＯＩの座標（例えば左上端座標（Ｘａ１，Ｙａ１））、長さ（例えば物理領域長さＸＬａ１，ＹＬａ１）及び領域番号１（又は優先度１１５（＝１））を抽出する。情報抽出部２２１が、さらに、例えば、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ画像１１２ａ２に対応する注目領域ＲＯＩの座標（例えば左上端座標（Ｘａ２，Ｙａ２））、長さ（例えば物理領域長さＸＬａ２，ＹＬａ２）及び領域番号２（又は優先度１１５（＝２））を抽出する。

【0055】

このとき、ＲＯＩ画像生成部２２３は、抽出したこれらの情報（以下、「抽出情報２２１Ａ」と称する。）に基づいて、重なり領域ＲＯＯの位置情報１１４を導出する。ＲＯＩ画像生成部２２３は、上記の重なり領域ＲＯＯの位置情報１１４として、例えば、重なり領域ＲＯＯの座標（例えば左上端座標（Ｘｂ１，Ｙｂ１））及び長さ（例えば物理領域長さＸＬｂ１，ＹＬｂ１）を導出する。

【0056】

なお、ＲＯＩ画像生成部２２３は、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータからＲＯＩ情報１２０Ｂを取得する代わりに、ペイロードデータ２１５ＡからＲＯＩ情報１２０Ｂを取得してもよい。この場合、ＲＯＩ画像生成部２２３は、ペイロードデータ２１５Ａに含まれるＲＯＩ情報１２０Ｂに基づいて、２以上の注目領域ＲＯＩ同士が重なり合う重なり領域ＲＯＯを検出してもよい。また、ＲＯＩ画像生成部２２３は、ペイロードデータ２１５Ａに含まれるＲＯＩ情報１２０Ｂから、抽出情報２２１Ａを抽出してもよく、そのようにして抽出した抽出情報２２１Ａに基づいて、重なり領域ＲＯＯの位置情報１１４を導出してもよい。

【0057】

ＲＯＩ画像生成部２２３は、さらに、画像データ２２２Ａと、抽出情報２２１Ａと、重なり領域ＲＯＯの位置情報１１４とに基づいて、撮像画像１１１における各注目領域ＲＯＩの画像（ＲＯＩ画像１１２ａ１，１１２ａ２）を生成する。ＲＯＩ画像生成部２２３は、生成した画像をＲＯＩ画像２２３Ａとして出力する。

【0058】

[手順]
次に、図３、図９を参考にして、映像伝送システム１におけるデータ伝送の手順の一例について説明する。

【0059】

まず、撮像部１１０は、撮像により得られた撮像画像１１１（デジタルの画像データ）を画像処理部１２０に出力する。ＲＯＩ切り出し部１２１は、撮像部１１０から入力された撮像画像１１１に含まれる２つの注目領域ＲＯＩ１，ＲＯＩ２を特定する。ＲＯＩ切り出し部１２１は、撮像画像１１１から、各注目領域ＲＯＩ１，ＲＯＩ２の画像（ＲＯＩ画像１１２ａ１，１１２ａ２）を切り出す。ＲＯＩ切り出し部１２１は、注目領域ＲＯＩ１に対して識別子として領域番号１を付与し、注目領域ＲＯＩ２に対して識別子として領域番号２を付与する。

【0060】

ＲＯＩ解析部１２２は、注目領域ＲＯＩごとに、撮像画像１１１における注目領域ＲＯＩの位置情報１１３を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ１に基づいて、注目領域ＲＯＩ１の左上端座標（Ｘａ１，Ｙａ１）と、注目領域ＲＯＩ１のＸ軸方向の長さ（ＸＬａ１）と、注目領域ＲＯＩ１のＹ軸方向の長さ（ＹＬａ１）とを導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ２に基づいて、注目領域ＲＯＩ２の左上端座標（Ｘａ２，Ｙａ２）と、注目領域ＲＯＩ２のＸ軸方向の長さ（ＸＬａ２）と、注目領域ＲＯＩ２のＹ軸方向の長さ（ＹＬａ２）とを導出する。

【0061】

重なり検出部１２３は、撮像画像１１１における２つの注目領域ＲＯＩ１，ＲＯＩ２の位置情報１１３に基づいて、２つの注目領域ＲＯＩ１，ＲＯＩ２同士が重なり合う重なり領域ＲＯＯを検出する。つまり、重なり検出部１２３は、撮像画像１１１における重なり領域ＲＯＯの位置情報１１４を導出する。重なり検出部１２３は、撮像画像１１１における重なり領域ＲＯＯの位置情報１１４として、重なり領域ＲＯＯの左上端座標（Ｘｂ１，Ｙｂ１）と、重なり領域ＲＯＯのＸ軸方向の長さ（ＸＬｂ１）と、重なり領域ＲＯＯのＹ軸方向の長さ（ＹＬｂ１）とを導出する。

【0062】

優先度設定部１２４は、２つの注目領域ＲＯＩ１，ＲＯＩ２において、一方の注目領域ＲＯＩ１に対して優先度１１５として１を付与し、他方の注目領域ＲＯＩ２に対して優先度１１５として２を付与する。

【0063】

エンコード部１２５は、２つの注目領域ＲＯＩ１，ＲＯＩ２において重なり領域ＲＯＯの画像１１８が重複して含まれないように、撮像画像１１１から得られた２つのＲＯＩ画像１１２ａ１，１１２ａ２から画像１１８を割愛したものである２つの伝送画像１１６ａ１，１１６ａ２を生成する。

【0064】

エンコード部１２５は、２つの注目領域ＲＯＩ１，ＲＯＩ２の領域番号（又は優先度１１５）に基づいて、２つのＲＯＩ画像１１２ａ１，１１２ａ２のいずれに対して画像１１８の割愛を行うかを決定する。エンコード部１２５は、２つの注目領域ＲＯＩ１，ＲＯＩ２において、領域番号（又は優先度１１５）の大きい方である注目領域ＲＯＩ２に対応するＲＯＩ画像１１２ａ２に対して画像１１８の割愛を行い、これにより、伝送画像１１６ａ２を生成する。エンコード部１２５は、２つの注目領域ＲＯＩ１，ＲＯＩ２において、領域番号（又は優先度１１５）の小さな方である注目領域ＲＯＩ１に対応するＲＯＩ画像１１２ａ１については、ＲＯＩ画像１１２ａ１そのものを伝送画像１１６ａ１とする。

【0065】

画像処理制御部１２６は、ＲＯＩ情報１２０Ｂ及びフレーム情報１２０Ｃを生成し、送信部１４０に送信する。送信部１４０は、画像処理部１２０，１３０から入力された種々のデータ（１２０Ａ，１２０Ｂ，１２０Ｃ，１３０Ａ）に基づいて伝送データ１４７Ａを生成する。送信部１４０は、生成した伝送データ１４７Ａを、データレーンＤＬを介して映像受信装置２００に送出する。

【0066】

受信部２１０は、映像送信装置１００から出力された伝送データ１４７Ａを、データレーンＤＬを介して受信する。受信部２１０は、受信した伝送データ１４７Ａに対して所定の処理を行うことにより、ＥＢＤデータ２１４Ａ及びペイロードデータ２１５Ａを生成し、情報処理部２２０に出力する。

【0067】

情報抽出部２２１は、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ情報１２０Ｂを抽出する。情報抽出部２２１は、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ画像１１２ａ１に対応する注目領域ＲＯＩの座標（例えば左上端座標（Ｘａ１，Ｙａ１））、長さ（例えば物理領域長さＸＬａ１，ＹＬａ１）及び領域番号１（又は優先度１１５（＝１））を抽出する。情報抽出部２２１は、さらに、ＲＯＩ画像１１２ａ２に対応する注目領域ＲＯＩの座標（例えば左上端座標（Ｘａ２，Ｙａ２））、長さ（例えば物理領域長さＸＬａ２，ＹＬａ２）及び領域番号２（又は優先度１１５（＝２））を抽出する。ＲＯＩデコード部２２２は、ペイロードデータ２１５Ａに含まれる圧縮像データ１４７Ｂをデコードし、画像データ２２２Ａを生成する。

【0068】

ＲＯＩ画像生成部２２３は、抽出したこれらの情報（抽出情報２２１Ａ）に基づいて、重なり領域ＲＯＯの位置情報１１４を導出する。ＲＯＩ画像生成部２２３は、上記の重なり領域ＲＯＯの位置情報１１４として、例えば、重なり領域ＲＯＯの座標（例えば左上端座標（Ｘｂ１，Ｙｂ１））及び長さ（例えば物理領域長さＸＬｂ１，ＹＬｂ１）を導出する。ＲＯＩ画像生成部２２３は、さらに、画像データ２２２Ａと、抽出情報２２１Ａと、重なり領域ＲＯＯの位置情報１１４とに基づいて、撮像画像１１１における各注目領域ＲＯＩの画像（ＲＯＩ画像１１２ａ１，１１２ａ２）を生成する。

【0069】

[効果]
次に、本実施の形態に係る映像伝送システム１の効果について説明する。

【0070】

近年、データ量の大きなデータを大量に送信する用途が増えてきている。伝送システムに大きな負荷がかかりやすく、最悪の場合には、伝送システムがダウンし、データ伝送が行えなくなるおそれがある。

【0071】

従来では、伝送システムのダウンを避けるために、例えば、撮影した画像を全て送信するのではなく、撮影対象の物体を特定し、特定した物体を切り出した一部の画像だけを送信することが行われている。

【0072】

ところで、イメージセンサからアプリケーションプロセッサへの伝送に用いられる方式として、ＭＩＰＩ ＣＳＩ－２が用いられることがある。この方式を用いてＲＯＩを伝送しようとした場合、様々な制約により、ＲＯＩの伝送が容易ではないことがある。

【0073】

一方、本実施の形態では、撮像画像１１１における各注目領域ＲＯＩについてのＲＯＩ情報１２０Ｂがエンベデッドデータで送出されるとともに、各注目領域ＲＯＩの画像データがロングパケットのペイロードデータで送出される。これにより、映像送信装置１００から送出された伝送データ１４７Ａを受信した装置（映像受信装置２００）において、伝送データ１４７Ａから、各注目領域ＲＯＩの画像データ（ＲＯＩ画像１１２）を容易に抽出することができる。その結果、様々な制約の下でも、注目領域ＲＯＩの伝送を行うことができる。

【0074】

また、本実施の形態では、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）が互いに共通のバーチャルチャネルで送出される。これにより、同一パケットの中で複数のＲＯＩ画像１１２を送ることができるので、複数のＲＯＩ画像１１２を送る間に、ＬＰモードに入る必要がなく、高い伝送効率を得ることができる。

【0075】

また、本実施の形態では、各注目領域ＲＯＩのデータタイプがロングパケットのペイロードデータのパケットヘッダＰＨに含めて送出される。これにより、エンベデッドデータにアクセスしなくても、ロングパケットのペイロードデータのパケットヘッダＰＨにアクセスするだけで、各注目領域ＲＯＩのデータタイプが得られる。これにより、映像受信装置２００における処理速度を速くすることができるので、高い伝送効率を得ることができる。

【0076】

また、本実施の形態において、ＲＯＩ情報１２０Ｂがロングパケットのペイロードデータに含めて送出される場合には、エンベデッドデータにアクセスしなくても、ロングパケットのペイロードデータにアクセスするだけで、ＲＯＩ情報１２０Ｂが得られる。これにより、映像受信装置２００における処理速度を速くすることができるので、高い伝送効率を得ることができる。

【0077】

また、本実施の形態では、伝送データ１４７Ａに含まれるエンベデッドデータから、各注目領域ＲＯＩについてのＲＯＩ情報１２０Ｂが抽出されるとともに、抽出されたＲＯＩ情報１２０Ｂに基づいて、伝送データ１４７Ａに含まれるロングパケットのペイロードデータから、各注目領域ＲＯＩの画像（ＲＯＩ画像１１２）が抽出される。これにより、伝送データ１４７Ａから、各注目領域ＲＯＩの画像（ＲＯＩ画像１１２）を容易に抽出することができる。その結果、様々な制約の下でも、注目領域ＲＯＩの伝送を行うことができる。

【0078】

２．本開示の前提技術２：
撮像画像から切り出した一部（形状が非矩形状）の注目領域（ＲＯＩ）を伝送する技術について、図１から図９を参照しつつ図１０から図１２を用いて説明する。すなわち、方形状（矩形状）以外の形状を有する撮影対象の物体の画像を送受信する技術について、説明する。図１０は、撮像画像１１１において特定された物体が配置された領域を模式的に示す図である。なお、図１０では、理解を容易にするため、１５行×２３列の撮像素子で構成された撮像領域で撮像された撮像画像１１１が模式的に図示されている。図１１は、特定された物体に対して設定されたＲＯＩ領域の一例を示す図である。

【0079】

前提技術２では、前提技術１と同様に、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から映像送信装置１００に入力された場合に、撮像部１１０から入力された撮像画像１１１に対して所定の処理を行う場合について説明する。しかしながら、前提技術２では、映像送信装置１００、すなわち送信側がＲＯＩの切り出しの座標指示する場合も適用できある。この場合、送信側は例えば、受信側から送出されるＲＯＩで取得すべき「人物」や「物体」等の情報を受信して切り出しの座標を判断および指示するように構成される。

【0080】

ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力される。これにより、図１０に示すように、ＲＯＩ切り出し部１２１は、撮像画像１１１に含まれる撮影対象の４つの物体１～４を特定する。物体１は例えば、撮像画像１１１内の左上領域の一部を占める矩形状を有している。物体２は例えば、撮像画像１１１内で物体１の右側の一部の領域を占め、矩形の上側の両側角部及び下辺の一部が欠落した形状を有している。物体３は例えば、撮像画像１１１内で物体２の下方の一部の領域を占め、矩形の四隅が欠落した形状を有している。物体４は例えば、撮像画像１１１内で物体３の下方の一部の領域を占め、矩形の上側の両側角部が欠落した形状を有している。物体３及び物体４は一部が重なり合っている。

【0081】

図１１に示すように、ＲＯＩ切り出し部１２１（図２参照）は、特定した物体１～４をそれぞれ含む最小の矩形を注目領域ＲＯＩ１～ＲＯＩ４として設定する。ＲＯＩ切り出し部１２１は、物体１に対して注目領域ＲＯＩ１を設定し、ＲＯＩ画像１１２ａ１を切り出す。また、ＲＯＩ切り出し部１２１は、物体２に対して注目領域ＲＯＩ２を設定し、ＲＯＩ画像１１２ａ２を切り出す。また、ＲＯＩ切り出し部１２１は、物体３に対して注目領域ＲＯＩ３を設定し、ＲＯＩ画像１１２ａ３を切り出す。さらに、ＲＯＩ切り出し部１２１は、物体４に対して注目領域ＲＯＩ４を設定し、ＲＯＩ画像１１２ａ４を切り出す。

【0082】

ＲＯＩ切り出し部１２１は、注目領域ＲＯＩ１と、注目領域ＲＯＩ１に付与した領域番号「１」とを関連付けて記憶部に格納する。ＲＯＩ切り出し部１２１は、注目領域ＲＯＩ２と、注目領域ＲＯＩ２に付与した領域番号「２」とを関連付けて記憶部に格納する。ＲＯＩ切り出し部１２１は、注目領域ＲＯＩ３と、注目領域ＲＯＩ３に付与した領域番号「３」とを関連付けて記憶部に格納する。ＲＯＩ切り出し部１２１は、注目領域ＲＯＩ４と、注目領域ＲＯＩ４に付与した領域番号「４」とを関連付けて記憶部に格納する。

【0083】

ＲＯＩ解析部１２２（図２参照）は、注目領域ＲＯＩ１～ＲＯＩ４のそれぞれの位置情報を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ１の位置情報として例えば、Ｘ軸方向の物理領域長さＸＬａ１及びＹ軸方向の物理領域長さＹＬａ１を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ２の位置情報として例えば、Ｘ軸方向の物理領域長さＸＬａ２及びＹ軸方向の物理領域長さＹＬａ２を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ３の位置情報として例えば、Ｘ軸方向の物理領域長さＸＬａ３及びＹ軸方向の物理領域長さＹＬａ３を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ４の位置情報として例えば、Ｘ軸方向の物理領域長さＸＬａ４及びＹ軸方向の物理領域長さＹＬａ４を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩごとに、位置情報１１３として、さらに、例えば、注目領域ＲＯＩのＸ軸方向の出力領域長さＸＬｃや、注目領域ＲＯＩのＹ軸方向の出力領域長さＹＬｃを導出してもよい。

【0084】

ＲＯＩ解析部１２２は、注目領域ＲＯＩのそれぞれのＸ軸方向及びＹ軸方向の長さを導出することによって、後段への情報として注目領域ＲＯＩ１～ＲＯＩ４のそれぞれの大きさや総データ量を導出する。これにより、後段に相当する映像受信装置２００はメモリ領域を確保できる。

【0085】

ＲＯＩ解析部１２２は、撮影対象の物体及び注目領域の形状が一致していない場合には、注目領域ＲＯＩの位置情報ではなく、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報を導出するように構成されている。ＲＯＩ解析部１２２は、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報として、各行の左端座標（ｘｎ，ｙｎ）及びＸ軸方向の物理領域長さＸＬｎを導出する。また、ＲＯＩ画像１１２ａ２の２行目のようにＲＯＩ画像が分離している場合には、ＲＯＩ解析部１２２は、分離している部分のそれぞれについて位置情報を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ１～ＲＯＩ４の領域番号と、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報とを対応付けて記憶部に格納する。

【0086】

また、ＲＯＩ解析部１２２は、例えば、注目領域ＲＯＩ１～ＲＯＩ４ごとに、位置情報の他に、例えば、センシングインフォメーション、露光情報、ゲイン情報、ＡＤ語長、画像フォーマットなどを導出し、領域番号と対応付けて記憶部に格納してもよい。

【0087】

重なり検出部１２３（図２参照）は、撮影対象の物体が矩形状の場合には、注目領域同士が重なり合う領域ではなく、ＲＯＩ画像同士が重なり合う領域を重なり領域として導出する。図１１に示すように、重なり検出部１２３は、ＲＯＩ画像１１２ａ３及びＲＯＩ画像１２３ａ４が重なり合う領域として重なり領域ＲＯＯを導出する。重なり検出部１２３は、導出した重なり領域ＲＯＯを注目領域ＲＯＩ３，ＲＯＩ４の位置情報のそれぞれに対応付けて記憶部に格納する。

【0088】

優先度設定部１２４（図２参照）は、優先度「１」を注目領域ＲＯＩ１に付与し、優先度１を注目領域ＲＯＩ１に対応付けて記憶部に格納する。優先度設定部１２４は、優先度「１」よりも優先度が低い優先度「２」を注目領域ＲＯＩ２に付与し、優先度２を注目領域ＲＯＩ２に対応付けて記憶部に格納する。優先度設定部１２４は、優先度「２」よりも優先度が低い優先度「３」を注目領域ＲＯＩ３に付与し、優先度３を注目領域ＲＯＩ３に対応付けて記憶部に格納する。優先度設定部１２４は、優先度「３」よりも優先度が低い優先度「４」を注目領域ＲＯＩ４に付与し、優先度４を注目領域ＲＯＩ４に対応付けて記憶部に格納する。

【0089】

エンコード部１２５（図２参照）は、ＲＯＩ画像１１２ａ１～１１２ａ４のそれぞれについて伝送画像を生成する。注目領域ＲＯＩ４は注目領域ＲＯＩ３よりも優先度が低いので、エンコード部１２５は、ＲＯＩ画像１１２ａ４から重なり領域ＲＯＯを割愛して伝送画像を生成する。

【0090】

画像処理制御部１２６（図２参照）は、ＲＯＩ情報及びフレーム情報を生成し、送信部１４０（図２参照）に送信する。ＲＯＩ情報には例えば、ＲＯＩ画像１１２ａ１～１１２ａ４のそれぞれの位置情報が含まれる。ＲＯＩ情報にはその他に、上述の撮影対象の物体が矩形状の場合と同様の情報（例えば注目領域ＲＯＩ１～ＲＯＩ４のそれぞれデータタイプ、撮像画像１１１に含まれる注目領域ＲＯＩ１～ＲＯＩ４の数、注目領域ＲＯＩ１～ＲＯＩ４の領域番号及び優先度など）が含まれる。フレーム情報には例えば、注目領域ＲＯＩ１～ＲＯＩ４のデータタイプなど、上述の撮影対象の物体が矩形状の場合と同様の情報が含まれる。

【0091】

送信部１４０（図２参照）に設けられたＬＩＮＫ制御部１４１は、画像処理制御部１２６から入力されるフレーム情報及びＲＯＩ情報をラインごとにＥＣＣ生成部１４２及びＰＨ生成部１４３（いずれも図２参照）に出力する。ＥＣＣ生成部１４２は例えば、フレーム情報における１ラインのデータ（例えば、バーチャルチャネルの番号、注目領域ＲＯＩ１～ＲＯＩ４のそれぞれのデータタイプ、ラインごとのペイロード長など）に基づいて、そのラインの誤り訂正符号を生成する。ＥＣＣ生成部１４２は例えば、生成した誤り訂正符号をＰＨ生成部１４３に出力する。ＰＨ生成部１４３は例えば、フレーム情報と、ＥＣＣ生成部１４２で生成された誤り訂正符号とを用いて、１ラインごとにパケットヘッダＰＨ（図４参照）を生成する。

【0092】

ＥＢＤバッファ１４４（図２参照）は、ＲＯＩ情報を一次的に格納し、所定のタイミングでＲＯＩ情報をエンベデッドデータとして合成部１４７（図２参照）に出力する。

【0093】

ＲＯＩデータバッファ１４５（図２参照）は、エンコード部１２５から入力される圧縮像データを一次的に格納し、例えばＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、圧縮像データ１２０Ａをロングパケットのペイロードデータとして合成部１４７に出力する。

【0094】

合成部１４７は、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、入力された各種データ（パケットヘッダＰＨ、ＲＯＩ情報及びＲＯＩデータバッファ１４５を介してエンコード部１２５から入力された圧縮像データ）に基づいて、伝送データ１４７Ａを生成する。合成部１４７は、生成した伝送データ１４７Ａを、データレーンＤＬを介して映像受信装置２００に出力する。つまり、合成部１４７は、注目領域ＲＯＩ１～ＲＯＩ４のそれぞれのデータタイプをロングパケットのペイロードデータのパケットヘッダＰＨに含めて送出する。また、合成部１４７は、注目領域ＲＯＩ１～ＲＯＩ４のそれぞれの画像データ（圧縮像データ）を互いに共通のバーチャルチャネルで送出する。

【0095】

撮影対象の物体が矩形状でない場合、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報は、パケットヘッダＰＨ又はロングパケットのペイロードデータに含められる。ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報は、ＰＨ生成部１４３によってパケットヘッダＰＨに含められる。一方、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報は、合成部１４７によってロングパケットのペイロードデータに含められる。

【0096】

図１２は、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報がロングパケットのペイロードデータに含められている伝送データ１４７Ａの構成例を示す図である。図１２に示すように、伝送データ１４７Ａは例えば、フレームヘッダ領域Ｒ１及びパケット領域Ｒ２を含んでいる。なお、図１２には、フレームヘッダ領域Ｒ１の中身が詳細に例示されている。また、図１２では、ローパワーモードＬＰが省略されている。

【0097】

フレームヘッダ領域Ｒ１には例えば、伝送データ１４７Ａの識別子としてのフレーム番号Ｆ１が含まれている。フレームヘッダ領域Ｒ１は、パケット領域Ｒ２に含まれる圧縮像データについての情報を含んでいる。フレームヘッダ領域Ｒ１は例えば、圧縮像データの数（ＲＯＩ数）と、各圧縮像データに対応するＲＯＩ画像１１２ａ１～１１２ａ４のそれぞれについての情報（ＲＯＩ情報）とを含んでいる。ＲＯＩ情報は、領域番号、物理領域長さ、矩形出力領域大きさ、優先度、露光情報、ゲイン情報、ＡＤ語長及び画像フォーマットを含んでいる。物理領域長さは、ＲＯＩ画像の最大長さであり、矩形出力領域大きさは、注目領域ＲＯＩの大きさである。

【0098】

図１２中に示す「Ｉｎｆｏ」は、ロングパケットのペイロードに格納される領域情報を示している。ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報は、例えば「ｉｎｆｏ」に格納される。ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報は、ロングパケットのペイロードの先頭部分に格納される。ＲＯＩ画像を構成し連続する各画素行のＸ軸方向の物理領域長さが同じであり、かつ当該各画素行に異なる領域番号のＲＯＩ画像が含まれていない場合には、当該各画素行のうちの２行目以降の画素行の画像データを含むロングパケットのペイロードには、領域情報「ｉｎｆｏ」が格納されていなくてもよい。本例では、ＲＯＩ画像１１２ａ１は、全ての画素行のうちの連続する１行目から４行目の画素行においてＸ軸方向の物理領域長さが同じであり、当該１行目から４行目の画素行には、異なる領域番号のＲＯＩ画像が含まれていない。このため、ＲＯＩ画像１１２ａ１を構成し連続する１行目から４行目の画素行のうちの２行目以降に相当する２行目から４行目の画素行の画像データを含むそれぞれのロングパケットのペイロードには、領域情報「ｉｎｆｏ」が格納されていない。また、本例では、ＲＯＩ画像１１２ａ４は、全ての画素行のうちの連続する２行目及び３行目の画素行においてＸ軸方向の物理領域長さが同じであり、当該２行目及び３行目の画素行には、異なる領域番号のＲＯＩ画像が含まれていない。このため、ＲＯＩ画像１１２ａ４を構成し連続する２行目及び３行目の画素行のうちの２行目以降に相当する３行目の画素行の画像データを含むロングパケットのペイロードには、領域情報「ｉｎｆｏ」が格納されていない。なお、Ｘ軸方向の物理領域長さが同じであり、かつ当該各画素行に異なる領域番号のＲＯＩ画像が含まれていない場合でも、各行のペイロードに領域情報「ｉｎｆｏ」が格納されていてもよい。

【0099】

合成部１４７は例えば、伝送データ１４７Ａのパケット領域Ｒ２において、ＲＯＩ画像１１２ａ１～１１２ａ４のそれぞれを圧縮して生成された圧縮像データを画素行ごとに分けて配置する。図１２中に示す「１」は、ロングパケットのペイロードに格納されたＲＯＩ画像１１２ａ１の圧縮像データを示している。図１２中に示す「２」は、ロングパケットのペイロードに格納されたＲＯＩ画像１１２ａ２の圧縮像データを示している。図１２中に示す「３」はＲＯＩ画像１１２ａ３の圧縮像データを示している。図１２中に示す「４」は、ロングパケットのペイロードに格納されたＲＯＩ画像１１２ａ４の圧縮像データを示している。なお、図１２では、理解を容易にするため、各圧縮像データが区切られて示されているが、ロングパケットのペイロードに格納されるデータに区切りはない。伝送データ１４７Ａのパケット領域Ｒ２には、重なり領域ＲＯＯの画像に対応する圧縮像データ１１２ｂが重複して含まれていない。また、合成部１４７は、例えば、伝送データ１４７Ａのパケット領域Ｒ２において、撮像画像１１１のうち各伝送画像と対応しない画素行を割愛している。したがって、伝送データ１４７Ａのパケット領域Ｒ２には、撮像画像１１１のうち各伝送画像に対応しない画素行は含まれていない。

【0100】

次に、伝送データ１４７Ａを受信した場合の映像受信装置２００の動作について説明する。
受信部２１０に設けられたヘッダ分離部２１１（いずれも図８参照）は、伝送データ１４７Ａを、データレーンＤＬを介して映像送信装置１００から受信する。つまり、ヘッダ分離部２１１は、撮像画像１１１における注目領域ＲＯＩ１～ＲＯＩ４についてのＲＯＩ情報をエンベデッドデータに含むとともに、注目領域ＲＯＩ１～ＲＯＩ４の画像データ（圧縮像データ）をロングパケットのペイロードデータに含む伝送データ１４７Ａを受信する。ヘッダ分離部２１１は、受信した伝送データ１４７Ａをフレームヘッダ領域Ｒ１とパケット領域Ｒ２とに分離する。

【0101】

ヘッダ解釈部２１２（図８参照）は、フレームヘッダ領域Ｒ１に含まれるデータ（具体的にはエンベデッドデータ）に基づいて、パケット領域Ｒ２に含まれるロングパケットのペイロードデータの位置を特定する。

【0102】

ペイロード分離部２１３（図８参照）は、ヘッダ解釈部２１２によって特定されたロングパケットのペイロードデータの位置に基づいて、パケット領域Ｒ２に含まれるロングパケットのペイロードデータをパケット領域Ｒ２から分離する。

【0103】

ＥＢＤ解釈部２１４は、エンベデッドデータをＥＢＤデータとして、情報処理部２２０（図８参照）に出力する。ＥＢＤ解釈部２１４は、さらに、エンベデッドデータに含まれるデータタイプから、ロングパケットのペイロードデータに含まれる画像データがＲＯＩの画像データ１１６の圧縮像データであるか、又は、通常画像データの圧縮像データであるか判別する。ＥＢＤ解釈部２１４は、判別結果をＲＯＩデータ分離部２１５（図８参照）に出力する。

【0104】

ＲＯＩデータ分離部２１５は、ロングパケットのペイロードデータに含まれる画像データがＲＯＩの画像データが入力されると、ロングパケットのペイロードデータをペイロードデータとして、情報処理部２２０（具体的にはＲＯＩデコード部２２２（図８参照））に出力する。ＲＯＩ情報が含まれているロングパケットのペイロードデータには、ＲＯＩ情報と圧縮像データのうち１ライン分のピクセルデータとが含まれている。

【0105】

情報処理部２２０に設けられた情報抽出部２２１（図８参照）は、ＥＢＤ解釈部２１４から入力されるＥＢＤデータに含まれるエンベデッドデータから、撮像画像１１１に含まれる注目領域ＲＯＩ１～ＲＯＩ４の数（本例では４つ）、注目領域ＲＯＩ１～ＲＯＩ４の領域番号１～４及び優先度１から４、注目領域ＲＯＩ１～ＲＯＩ４のそれぞれのデータ長、並びに注目領域ＲＯＩ１～ＲＯＩ４のそれぞれの画像フォーマットを抽出する。さらに、情報抽出部２２１は、当該エンベデッドデータから、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報を抽出する。

【0106】

ＲＯＩデコード部２２２は、ペイロードデータに含まれている圧縮像データ１４７Ｂをデコードし、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報を抽出するとともに、画像データ（伝送画像によって構成）を生成する。ＲＯＩデコード部２２２は、例えば６行目の画素行に対応するペイロードデータが入力された場合、当該ペイロードデータから、ＲＯＩ画像１１２ａ１の１つの位置情報と、ＲＯＩ画像１１２ａ２の２つの位置情報とを抽出し、６行目の画素行に対応するＲＯＩ画像１１２ａ１，１１２ｂ１の画像データ（伝送画像）をそれぞれ生成する。

【0107】

ＲＯＩデコード部２２２は、例えば１０行目の画素行に対応するペイロードデータが入力された場合、当該ペイロードデータから、ＲＯＩ画像１１２ａ３の１つの位置情報と、ＲＯＩ画像１１２ａ４の１つの位置情報とを抽出し、ＲＯＩ画像１１２ａ３，１１２ｂ４の画像データ（伝送画像）をそれぞれ生成する。

【0108】

ＲＯＩ画像生成部２２３（図８参照）は、情報抽出部２２１で得られたＲＯＩ情報、ＲＯＩデコード部２２２で抽出されたＲＯＩ画像１１２ａ１～１１２ａ４の位置情報及びＲＯＩデコード部２２２で生成された伝送画像に基づいて、撮像画像１１１における注目領域ＲＯＩ１～ＲＯＩ４のＲＯＩ画像１１２ａ１～１１２ａ４を生成する。ＲＯＩ画像生成部２２３は、例えば６行目の画素行に対応するペイロードデータから抽出されたＲＯＩ画像１１２ａ１の１つの位置情報及びＲＯＩ画像１１２ａ２の２つの位置情報並びにそれらの伝送画像が入力された場合、Ｘ軸方向に延在する５画素分のＲＯＩ画像１１２ａ１と、当該ＲＯＩ画像１１２ａ１とは５画素分離れた位置でＸ軸方向に延在する４画素分のＲＯＩ画像１１２ａ２と、当該ＲＯＩ画像１１２ａ２から２画素分離れた位置でＸ軸方向に延在する２画素分のＲＯＩ画像１１２ａ２とを生成する（図１０参照）。

【0109】

また、ＲＯＩ画像生成部２２３は、情報抽出部２２１で得られたＲＯＩ情報に基づいて、注目領域ＲＯＩ３及び注目領域ＲＯＩ４同士が重なり合う重なり領域ＲＯＯを検出する。ＲＯＩ画像生成部２２３は、検出した重なり領域ＲＯＯと、１０行目の画素行に対応するペイロードデータから抽出されたＲＯＩ画像１１２ａ３，１１２ａ４のそれぞれ位置情報と、伝送画像とに基づいて、Ｘ軸方向に延在する４画素分のＲＯＩ画像１１２ａ３と、当該ＲＯＩ画像１１２ａ３に１画素分が重なった状態でＸ軸方向に延在する３画素分のＲＯＩ画像１１２ａ４とを生成する（図１０参照）。

【0110】

ＲＯＩ画像生成部２２３は、生成した画像をＲＯＩ画像として後段の装置（不図示）に出力する。

【0111】

このようにして、映像送信装置１００及び映像受信装置２００は、撮影対象の物体が矩形以外の形状を有していても、ＲＯＩ画像として送受信することができる。

【0112】

３．本開示の実施形態における欠陥画素の補正処理の原理：
次に、本開示の実施形態における欠陥画素の補正処理の原理について図１３及び図１４を用いて説明する。

【0113】

図１３は、本実施形態における欠陥画像の補正処理を模式的に示す図である。撮像装置に設けられた撮像領域が、例えば左上端部に赤色画素（以下、「Ｒ画素」と略記する）が配置され、左端部がＲ画素であり、かつＲ画素及び緑色画素（以下、「Ｇ画素」と略記する）が交互に配置された奇数行と、左端部がＧ画素であり、かつＧ画素及び青色画素（以下、「Ｂ画素」と略記する）が交互に配置された偶数行とで構成されているとする。図１３には、このような画素構造を有する撮像装置で撮像された画像の一部分が模式的に図示されている。

【0114】

図１３に示す画像は、Ｒａｗ画像あるいは未現像データなどと呼ばれる、撮像領域に画素から出力される未加工の画像である。このため、例えば光電変換素子や画素回路などに不具合があって画素が正常に動作しない画素欠陥が生じると、当該画素で取得される画像は、図１３中の太矢印の左側に示すように、所望の階調が得られない欠陥画像Ｉｄとなる。

【0115】

Ｒａｗ画像の中に欠陥画像Ｉｄが含まれていると、最終的に生成される画像の画質が劣化する可能性がある。そこで、本実施形態では、図１３中の太矢印の右側に示すように、欠陥画像Ｉｄと同色であって欠陥画像Ｉｄの周囲に配置された周辺画像Ｉａｄの情報を用いて欠陥画像Ｉｄの情報を補間し、補正画像Ｉｃが生成される。これにより、本実施形態では、画像の欠陥を目立たなくして最終的に生成される画像の画質の劣化が防止される。

【0116】

欠陥画素は、撮像装置の製造時やモジュール組み立て時に生じ、撮像領域おいて固定された欠陥となる。このため、撮像装置の出荷検査等で欠陥画素を検出し、ＥＥＰＲＯＭ等の不揮発性記憶装置に欠陥画素の座標情報を記憶しておき、当該座標情報を用いて欠陥画像を補正することが可能になる。

【0117】

撮像領域全体の画像を生成する場合には、このような方法によって欠陥画像を補正することが可能であるが、ＲＯＩでは、注目領域として切り出される範囲及び大きさが不明である。このため、切り出された注目領域のどの位置に欠陥画素が配置されるのかを予測することはできず、予め記憶された欠陥画素の座標情報で注目領域内の欠陥画像を補正することは不可能である。

【0118】

そこで、本実施形態による送信装置、受信装置及び伝送システムでは、撮像部を有する映像送信装置において、注目領域における欠陥画素の位置を出荷検査等で取得される欠陥画素の座標情報に基づいて算出するように構成されている。さらに、映像受信装置は、映像送信装置から送出される欠陥画素の当該位置を用いて欠陥画像の補正処理を実行するように構成されている。

【0119】

図１４は、本実施形態において、出荷検査等で取得される欠陥画素の座標情報に基づいて注目領域における欠陥画素の位置を算出する方法を模式的に示す図である。
図１４に示すように、複数の撮像素子で構成される撮像領域ＩＲには、例えば６個の欠陥画素Ｄ０１，Ｄ０２，Ｄ１１，Ｄ１２，Ｄ２１，Ｄ３１が存在している。また、撮像領域ＩＲに対して、例えば切り出し対象の３つの注目領域ＲＯＩ１～ＲＯＩ３が設定されている。欠陥画素Ｄ１１，Ｄ１２は、注目領域ＲＯＩ１が設定された領域に配置されている。欠陥画素Ｄ２１は、注目領域ＲＯＩ２が設定された領域に配置されている。欠陥画素Ｄ３１は、注目領域ＲＯＩ３が設定された領域に配置されている。欠陥画素Ｄ０１，Ｄ０２は、注目領域が設定されていない領域に配置されている。注目領域における欠陥画素の位置の算出方法は、注目領域及び欠陥画素の位置によらず共通である。このため、以下、欠陥画素Ｄ１１を例にとって注目領域における欠陥画素の位置の算出方法を説明する。

【0120】

図１４に示すように、撮像領域ＩＲの原点ＩＲｏ（０，０）を左上端部の画素とする。この場合、撮像領域ＩＲにおける欠陥画素Ｄ１１の座標（ｘ，ｙ）は（Ｄ１＿Ｘ１，Ｄ１＿Ｙ１）となる。欠陥画素Ｄ１１の座標（Ｄ１＿Ｘ１，Ｄ１＿Ｙ１）は、撮像領域ＩＲの原点ＩＲｏ（０，０）を基準とする座標である。また、欠陥画素Ｄ１１の座標（Ｄ１＿Ｘ１，Ｄ１＿Ｙ１）の情報は、撮像部を有する映像送信装置の例えば出荷検査時に取得される座標情報である。

【0121】

上述のとおり、注目領域が設定される場合、当該注目領域の位置情報（例えば左上端座標、Ｘ軸方向の長さ及びＹ軸方向の長さ）が導出される。このため、図１４に示すように、注目領域ＲＯＩ１の位置情報として、例えば左上端部Ｐｒの座標（Ｒ１＿Ｘ，Ｒ１Ｙ）と、Ｘ軸方向の長さＲ１＿Ｗ及びＹ軸方向の長さＲ１＿Ｈが導出される。注目領域ＲＯＩ１の左上端部Ｐｒの座標（Ｒ１＿Ｘ，Ｒ１Ｙ）は、撮像領域ＩＲ内での注目領域ＲＯＩ１の位置を表している。このため、左上端部Ｐｒの座標（Ｒ１＿Ｘ，Ｒ１Ｙ）は、撮像領域ＩＲの原点ＩＲｏ（０，０）を基準とする座標である。

【0122】

したがって、注目領域ＲＯＩ１の左上端部Ｐｒの座標（Ｒ１＿Ｘ，Ｒ１Ｙ）と、欠陥画素Ｄ１１の座標（Ｄ１＿Ｘ１，Ｄ１＿Ｙ１）は、撮像領域ＩＲという同じ座標空間における座標である。このため、注目領域ＲＯＩ１における欠陥画素Ｄ１１の座標（Ｄ１Ｘ＿Ｒ１，Ｄ１＿ＹＲ１）は、以下の式（１）及び式（２）によって表すことができる。
Ｄ１＿ＸＲ１＝Ｄ１＿Ｘ－Ｒ１＿Ｘ ・・・（１）
Ｄ１＿ＹＲ１＝Ｄ１＿Ｙ－Ｒ１＿Ｙ ・・・（２）

【0123】

式（１）及び式（２）により、欠陥画素Ｄ１１の位置を注目領域ＲＯＩ１の座標空間の座標で表すことができる。したがって、映像受信装置は、例えば出荷検査時などで取得される座標情報を記憶しておくことにより、注目領域が設定されて注目領域の位置情報（例えば左上端座標、Ｘ軸方向の長さ及びＹ軸方向の長さ）が映像送信装置から入力されるごとに、当該注目領域における欠陥画素の座標を算出できる。

【0124】

本実施形態による送信装置は、上述の映像送信装置１００と同様に、通常動作として、注目領域の位置情報（例えば左上端座標、Ｘ軸方向の長さ及びＹ軸方向の長さ）を含むＲＯＩ情報をエンベデッドデータで映像受信装置に送出するように構成されている。また、詳細は後述するが、本実施形態による送信装置は、初期化処理として、撮像領域（すなわち全画角）の座標空間における欠陥画素の座標の情報を含む欠陥補正情報をエンベデッドデータで受信装置に送出するように構成されている。

【0125】

本実施形態による受信装置は、上述の映像受信装置２００と同様に、エンベデッドデータに含まれている情報を抽出できる。このため、本実施形態による受信装置は、初期化処理として受信したエンベデッドデータから抽出する欠陥画素の座標と、通常動作として受信する注目領域の左上端座標とを用いて、式（１）及び式（２）より、当該注目領域における欠陥画素の座標を演算することができる。また、受信装置は、演算により取得した欠陥画素の座標を欠陥画像の座標として用いるように構成されている。

【0126】

また、式（１）によって求められるＸ座標の値はそのままで、式（２）によって求められるＹ座標の値から２を減算することによって、欠陥画素Ｄ１１より２行前の画素の座標が求められる。また、式（１）によって求められるＸ座標の値はそのままで、式（２）によって求められるＹ座標の値に２を加算することによって、欠陥画素Ｄ１１より２行後の画素の座標が求められる。また、式（２）によって求められるＹ座標の値をそのままで、式（１）によって求められるＸ座標の値から２を減算することによって、欠陥画素Ｄ１１より２列前の画素の座標が求められる。また、式（２）によって求められるＹ座標の値はそのままで、式（１）によって求められるＸ座標の値に２を加算することによって、欠陥画素Ｄ１１より２列後の画素の座標が求められる。

【0127】

このように求められる画素に対応する画像は、欠陥画素Ｄ１１に対応する欠陥画像の周辺画像（図１３に示す周辺画像Ｉａｄ参照）に対応する。したがって、本実施形態による受信装置は、エンベデッドデータに含まれている欠陥画素の座標や注目領域の左上端座標を用いて、周辺画像の座標も算出できる。これにより、本実施形態による受信装置は、注目領域の位置や大きさによらず、注目領域の中に存在する欠陥画像の補正処理を実行することができる。本実施形態では、ベイヤー配列のＲａｗ画像であるため、欠陥画素の座標に対して±２の座標の画素の画像が周辺画像として用いられる。しかしながら、周辺画像は、色画素の配列などによって適宜選択されてよい。

【0128】

４．本開示の第１実施形態：
次に、本開示の第１実施形態による送信装置、受信装置及び伝送システムについて図１５から図２２を用いて説明する。まず、本実施形態による送信装置、受信装置及び伝送システムの概略構成について図１５を用いて説明する。図１５は、本実施形態による映像送信装置３、映像受信装置４及び映像伝送システム１０の概略構成を示すブロック図である。

【0129】

図１５に示すように、本実施形態による映像伝送システム１０は、イメージセンサとしての機能を発揮する映像送信装置（送信装置の一例）３と、画像処理（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＩＳＰ）の機能を発揮する映像受信装置（受信装置の一例）４とを備えている。映像伝送システム１０では、映像送信装置３は、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ） Ｄ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ（Ｃａｍｅｒａ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ）－２規格の信号を送信部３２２から送出するように構成されている。また、映像伝送システム（伝送システムの一例）１０では、映像受信装置４は、ＭＩＰＩＤ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ－２規格の信号を受信部４１２で受信するように構成されている。また、映像伝送システム１０は、上記前提技術１及び２に係る映像伝送システム１と同様に、映像送信装置３及び映像受信装置４との間でＭＩＰＩ ＣＳＩ－３規格又はＭＩＰＩ ＤＳＩ規格で信号を送受信するように構成されていてもよい。

【0130】

映像伝送システム１０に備えられた映像送信装置３は、上記前提技術１及び２に係る映像送信装置１００と同等の機能を発揮するように構成されている。つまり、映像送信装置３は、ＲＯＩの切り出しを指示する制御信号が映像受信装置４から入力された場合に、撮像部３１から入力された撮像画像に対して、映像送信装置１００と同様の処理を実行可能に構成されている。また、映像送信装置３は、通常画像の出力を指示する制御信号が映像受信装置４から入力された場合に、撮像部３１から入力された撮像画像に対して、映像送信装置１００と同様の処理を実行可能に構成されている。

【0131】

さらに、映像送信装置３は、初期化処理として、映像受信装置４から欠陥画素の座標の取得を依頼する制御信号が入力された場合に、撮像部３１（詳細は後述）に設けられた撮像領域を構成する全ての画素（全画角）のうちの欠陥画素の座標の全ての情報（欠陥補正情報の一例）を映像受信装置４に送信するように構成されている。

【0132】

映像受信装置４は、上記前提技術１及び２に係る映像受信装置２００と同等の機能を発揮するように構成されている。つまり、映像受信装置４は、映像送信装置３から伝送された伝送データに対して、上記前提技術１及び２に係る映像受信装置２００と同様の処理を実行可能に構成されている。さらに、映像受信装置４は、映像送信装置３から伝送された欠陥補正情報を用いて欠陥画素に基づく欠陥画像の補正処理を実行できるように構成されている。

【0133】

そこで、図１５では、映像送信装置３及び映像受信装置４は、欠陥画素の補正処理に関連する構成を中心に図示されている。

【0134】

図１５に示すように、映像送信装置３は、対象物を撮像する撮像部３１を備えている。撮像部３１は、例えば入射する光を電気信号に変換する光電変換部３１１を有している。光電変換部３１１は例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサで構成されている。光電変換部３１１は、光電変換素子をそれぞれ有し所定の規則で配列された複数の画素を有している。光電変換部３１１における当該複数の画素が配列された箇所が撮像領域となる。また、撮像部３１は、光電変換部３１１から入力されるアナログの電気信号をデジタルの画像データに変換する信号変換部３１２を有している。信号変換部３１２は、光電変換部３１１から入力されるアナログの電気信号の信号増幅（ＡＧＣ）処理と、増幅した電気信号をデジタル信号に変換するアナログデジタル変換（ＡＤＣ）処理とを実行するように構成されている。撮像部３１は、信号変換部３１２から入力される画像データに対してデジタルゲインを施す増幅部３１３を有している。増幅部３１３は、デジタルゲインを施した画像データを送信部３２２に出力するように構成されている。

【0135】

映像送信装置３は、不揮発性記憶装置３３を有している。不揮発性記憶装置３３は、例えばＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）で構成されている。不揮発性記憶装置３３には、種々情報が格納されており、例えば光電変換部３１１に設けられた複数の画素のうちの全ての欠陥画素の座標が格納されている。当該欠陥画素の座標は、例えば映像送信装置３の出荷検査時に検出されて格納される。

【0136】

映像送信装置３は、撮像部３１を制御したり所定の信号処理を制御したりする制御部３２を備えている。制御部３２は、センサＣＰＵ３２１と、送信部３２２とを有している。センサＣＰＵ３２１は、画像処理部１２０，１３０（図２参照）と同様の機能を発揮するように構成されている。送信部３２２は、送信部１４０（図２参照）と同様の機能を発揮するように構成されている。また、制御部３２において、センサＣＰＵ３２１を画像処理部１２０，１３０に置き換え、送信部３２２を送信部１４０に置き換えてもよい。

【0137】

センサＣＰＵ３２１は、光電変換部３１１の露光条件を制御する露光制御部３２１ａを有している。また、センサＣＰＵ３２１は、注目領域ＲＯＩに含まれる画像の欠陥を補正するために用いられる情報である欠陥補正情報の取得を制御する変換領域制御部（制御部の一例）３２１ｂを有している。変換領域制御部３２１ｂを有するセンサＣＰＵ３２１及び制御部３２はそれぞれ、注目領域ＲＯＩに含まれる画像の欠陥を補正するために用いられる情報である欠陥補正情報の取得を制御する制御部の一例に相当する。

【0138】

変換領域制御部３２１ｂは、光電変換部３１１に設けられた撮像領域を構成する複数の画素のうちの欠陥が生じた画素の座標である欠陥座標を欠陥補正情報として取得して保持するように構成されている。変換領域制御部３２１ｂは、例えば映像送信装置３の初期化処理時又は製造時（例えば出荷検査時）の際に当該欠陥座標の情報を不揮発性記憶装置３３から取得して保持するように構成されている。

【0139】

センサＣＰＵ３２１は、例えば初期化処理において、変換領域制御部３２１ｂで取得された欠陥画素の撮像領域（すなわち全画角）における欠陥座標の情報をＣＰＵ間通信によって映像受信装置４に設けられたＩｓｐＣＰＵ４１１（詳細は後述）に送信する。

【0140】

センサＣＰＵ３２１は、通常動作の処理においてＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、撮像画像に含まれる撮影対象の物体を特定する。さらに、センサＣＰＵ３２１は、特定した物体に注目領域ＲＯＩを設定するとともに当該注目領域ＲＯＩに領域番号を付与し、当該注目領域ＲＯＩの画像を切り出して当該画像を当該領域番号に対応付けて記憶部（不図示）に格納する。また、センサＣＰＵ３２１（より具体的には変換領域制御部３２１ｂ）は、注目領域ＲＯＩの位置情報（例えば左上端座標（基準座標の一例）、Ｘ軸方向の長さ及びＹ軸方向の長さ）を導出し、当該注目領域ＲＯＩの領域番号に関連付けて記憶部に格納する。すなわち、変換領域制御部３２１ｂは、映像送信装置３の通常動作の際に、注目領域ＲＯＩの左上端座標（基本座標の一例）及び当該注目領域ＲＯＩのＸ軸方向の長さ及びＹ軸方向の長さ（注目領域の大きさの一例）の情報（すなわち注目領域ＲＯＩの位置情報）を欠陥補正情報として取得して保持するように構成されている。この場合、変換領域制御部３２１ｂは、左上端座標を基本座標として取得して保持する。

【0141】

センサＣＰＵ３２１は、取得した注目領域ＲＯＩの位置情報や撮像部３１から入力される画像データなどを送信部３２２に出力する。送信部３２２は、センサＣＰＵ３２１から入力されるこれらの情報を含む伝送データ（図６及び図１２参照）を生成して映像受信装置４に送出する。

【0142】

図１５に示すように、映像送信装置３は、注目領域ＲＯＩに含まれる画像の画像データをロングパケットのペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信部３２２を備えている。映像送信装置３は、映像伝送システム１０の通常動作時に、ＲＯＩ情報の１つとして注目領域ＲＯＩの基本座標及び大きさの情報（すなわち注目領域ＲＯＩの位置情報）を欠陥補正情報として送信部３２２から送出する。この場合、映像送信装置３は、注目領域ＲＯＩの左上端座標を基準座標として送信部３２２から送出する。また、映像送信装置３、例えば映像伝送システム１０の初期化処理時又は製造時（例えば出荷検査時）に、光電変換部３１１に設けられた撮像領域を構成する複数の画素のうちの欠陥が生じた画素の座標を欠陥補正情報として送信部３２２から送信するように構成されている。映像送信装置３は、ＲＯＩ情報に含められた欠陥補正情報を送信部３２２から送出する。送信部３２２は、ＭＩＰＩ Ｄ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ－２規格でデモザイク情報などを含む伝送データを送出するように構成されている。

【0143】

図１５に示すように、映像受信装置４は、映像送信装置３から伝送された伝送データを用いて所定の信号処理を制御する制御部４１を備えている。制御部４１は、ＩｓｐＣＰＵ４１１と、受信部４１２と、エンベデッドデータ取得部４１３とを有している。ＩｓｐＣＰＵ４１１は、情報抽出部２２１及びＲＯＩ画像生成部２２３（図８参照）を除いて、情報処理部２２０（図８参照）と同様の機能を発揮するように構成されている。映像受信装置４は、画像作成部４２２がＲＯＩ画像生成部２２３と同様の機能を発揮するように構成されている。受信部４１２は、ＥＢＤ解釈部２１４（図８参照）を除いて、受信部２１０（図８参照）と同様の機能を発揮するように構成されている。映像受信装置４は、エンベデッドデータ取得部４１３がＥＢＤ解釈部２１４及び情報抽出部２２１と同様の機能を発揮するように構成されている。また、制御部４１において、受信部４１２及びエンベデッドデータ取得部４１３を受信部２１０に置き換え、ＩｓｐＣＰＵ４１１及び画像作成部４２２を情報処理部２２０に置き換えてもよい。この場合、エンベデッドデータ取得部４１３が発揮する情報抽出部２２１の機能は、受信部２２０で発揮されるようになる。

【0144】

図１５に示すように、映像受信装置４は、注目領域ＲＯＩに含まれる画像の画像データをペイロードデータに含むとともに、ＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部４１２を備えている。受信部４１２は、映像送信装置３から入力される伝送データを受信するように構成されている。映像送信装置３から入力される伝送データには、欠陥補正情報を有するＲＯＩ情報が含まれている。ＲＯＩ情報は、エンベデッドデータに含まれている。したがって、映像送信装置３から入力される伝送データには、欠陥補正情報を有するエンベデッドデータが含まれている。映像受信装置４が映像伝送システム１０の通常動作時に受信部４１２で受信するＲＯＩ情報には欠陥補正情報として注目領域ＲＯＩの基準座標及び大きさの情報が含まれている。したがって、映像受信装置４は、注目領域ＲＯＩの基準座標及び大きさを欠陥補正情報として受信部４１２で受信する。映像受信装置４は、注目領域ＲＯＩの左上端座標を基準座標として受信部４１２で受信する。また、映像受信装置４は、例えば伝送システム１０の初期化処理時又は製造時（例えば出荷検査時）に、光電変換部３１１に設けられた撮像領域を構成する複数の画素における欠陥が生じた画素を欠陥補正情報として受信部４１２で受信する。受信部４１２は、ＭＩＰＩ Ｄ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ－２規格で当該伝送データを受信する。したがって、映像受信装置４は、ＭＩＰＩＤ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ－２規格の信号を受信部４１２で受信するように構成されている。受信部４１２は、入力される伝送データから種々のデータを生成し、ＩｓｐＣＰＵ４１１及びエンベデッドデータ取得部４１３に出力するように構成されている。

【0145】

図１５に示すように、映像受信装置４は、注目領域ＲＯＩに含まれる画像の画像データの欠陥を補正するために用いられる情報である欠陥補正情報を受信部４１２で受信した伝送データ（伝送信号の一例）から抽出するエンベデッドデータ取得部（制御部の一例）４１３を備えている。エンベデッドデータ取得部４１３を有する制御部４１は、注目領域ＲＯＩに含まれる画像の画像データの欠陥を補正するために用いられる情報である欠陥補正情報を受信部４１２で受信した伝送信号（伝送データ）からの抽出を制御する制御部の一例に相当する。エンベデッドデータ取得部４１３は、受信部４１２から入力される伝送データに含まれたＲＯＩ情報から欠陥補正情報を抽出するように構成されている。ＲＯＩ情報はエンベデッドデータに含まれるので、エンベデッドデータ取得部４１３は、受信部４１２から入力される伝送信号（伝送データ）に含まれたエンベデッドデータから欠陥補正情報を抽出する。したがって、映像受信装置４は、欠陥補正情報を有するエンベデッドデータを含む伝送データを受信部４１２で受信し、受信部４１２で受信された伝送データに含まれたエンベデッドデータに含まれたＲＯＩ情報から欠陥補正情報をエンベデッドデータ取得部４１３で抽出するように構成されている。

【0146】

エンベデッドデータ取得部４１３は、映像受信装置４の通常動作の際にエンベデッドデータに含まれたＲＯＩ情報から、注目領域ＲＯＩの基準座標及び大きさを欠陥補正情報として取得するように構成されている。エンベデッドデータ取得部４１３は、注目領域ＲＯＩの左上端座標を当該注目領域ＲＯＩの基準座標として取得する。また、エンベデッドデータ取得部４１３は、注目領域ＲＯＩの大きさとして、当該注目領域ＲＯＩのＸ軸方向の長さ及びＹ軸方向の長さを取得する。このように、エンベデッドデータ取得部４１３は、映像受信装置４の通常動作の際にエンベデッドデータから注目領域ＲＯＩの位置情報を欠陥補正情報としてエンベデッドデータ取得部４１３は、エンベデッドデータから取得した欠陥補正情報をＩｓｐＣＰＵ４１１に出力する。

【0147】

エンベデッドデータ取得部４１３は、デモザイク情報の他にエンベデッドデータに含まれている各種情報（例えば注目領域ＲＯＩの数、注目領域ＲＯＩの領域番号及び優先度、注目領域ＲＯＩのデータ長並びに注目領域ＲＯＩの画像フォーマットなど）を取得する。エンベデッドデータ取得部４１３は、取得した各種情報もＩｓｐＣＰＵ４１１に出力する。

【0148】

図１５に示すように、ＩｓｐＣＰＵ４１１は、座標変換部（制御部の一例）４１１ａを有している。座標変換部４１１ａは、撮像領域における欠陥座標を注目領域ＲＯＩにおける欠陥座標に座標変換するように構成されている。座標変換部４１１ａは、映像伝送システム１０の通常動作の際に、エンベデッドデータ取得部４１３から注目領域ＲＯＩの位置情報が入力されると、当該位置情報を用いて、映像伝送システム１０の初期化処理時に取得していた撮像領域における欠陥座標を当該注目領域ＲＯＩにおける欠陥座標である補正座標に座標変換する。すなわち、座標変換部４１１ａは、欠陥が生じた画素の座標を撮像領域における座標（撮像領域のＸＹ直交座標系における座標）として例えば所定の記憶領域から抽出し、抽出した欠陥座標を注目領域ＲＯＩの座標系における欠陥座標に座標変換する。ここで、撮像領域の座標系は、例えば図１４に示すような撮像領域の左上端部の画素を原点とし、当該撮像領域のＸ軸方向（横方向）及びＹ軸方向（縦方向）で形成されるＸＹ直交座標系を意味する。また、注目領域の座標系は、当該注目領域の基準画素（本実施形態では左上端部の画素）を原点とし、当該注目領域のＸ軸方向（横方向）及びＹ軸方向（縦方向）で形成されるＸＹ直交座標系を意味する。

【0149】

座標変換部４１１ａは、エンベデッドデータ取得部４１３から入力される注目領域ＲＯＩが光電変換部３１１に設けられた撮像領域内を占める範囲を特定する。例えば座標変換部４１１ａは、当該撮像領域の座標系において当該注目領域ＲＯＩがどの位置に配置されるのかを当該注目領域ＲＯＩの位置情報（左上端座標、Ｘ軸方向の長さ及びＹ軸方向の長さ）によって特定する。次に、座標変換部４１１ａは、当該撮像領域における当該注目領域ＲＯＩ内に存在する欠陥座標を当該注目領域ＲＯＩの座標系の座標に変換して補正対象座標を取得する。座標変換部４１１ａは、上述の式（１）及び式（２）を用いて欠陥座標の座標変換を実行して補正対象座標を取得する。座標変換部４１１ａは、複数の注目領域ＲＯＩについて位置情報が入力された場合は、注目領域ＲＯＩごとに欠陥座標の座標変換を実行する。このように、座標変換部４１１ａは、注目領域ＲＯＩの基準座標（例えば左上端座標及び大きさ（例えばＸ軸方向の長さ及びＹ軸方向の長さ）並びに欠陥が生じた画素の座標（本実施形態では撮像領域のＸＹ直交座標系における座標）に基づいて、欠陥が生じた画素の座標に対応する注目領域ＲＯＩにおける位置（本実施形態では注目領域ＲＯＩのＸＹ直交座標系の座標）を判断する。

【0150】

映像受信装置４は、映像伝送システム１０の初期化処理の際に取得した欠陥補正情報（すなわち欠陥座標）を制御部４１又はＩｓｐＣＰＵ４１１の所定の記憶領域に格納していてもよいし、記憶部を別途有しており当該記憶部に格納していてもよい。

【0151】

ＩｓｐＣＰＵ４１１は、座標変換部４１１ａで変換された欠陥座標の情報を注目領域ＲＯＩの領域番号（図１５では「ＲＯＩ ＩＤ」と表記されている）に対応付けて画像加工部４２に出力する。

【0152】

図１５に示すように、映像受信装置４は、画像加工部４２を備えている。画像加工部４２は、エンベデッドデータ取得部４１３で抽出された欠陥補正情報に基づいて注目領域ＲＯＩの画像の欠陥の補正を処理する静的欠陥補正部（処理部部の一例）４２１を有している。静的欠陥補正部４２１を有する画像加工部４２は、エンベデッドデータ取得部４１３で抽出された欠陥補正情報に基づいて注目領域ＲＯＩの画像の欠陥の補正を処理する処理部の一例に相当する。また、画像加工部４２は、画像の欠陥が補正された画像を含む注目領域ＲＯＩの画像データに対してＲａｗ処理及びＲＧＢ処理を施す画像作成部４２２を有している。さらに、画像加工部４２は、画像作成部４２２で画像処理された画像データの画質を調整する画質調整部４２２を有している。

【0153】

より具体的には、静的欠陥補正部４２１は、座標変換部４１１ａで取得された補正対象座標を用いて注目領域ＲＯＩの画像の欠陥を補正するようになっている。補正対象座標は、欠陥補正情報としてエンベデッドデータに含まれて映像送信装置３から映像受信装置４に送信された欠陥座標と注目領域ＲＯＩの位置情報とで取得されている。このため、静的欠陥補正部４２１は、欠陥補正情報を直接用いてはいないものの、欠陥補正情報から取得される補正対象座標を用いて注目領域ＲＯＩの画像の欠陥を補正する。したがって、静的欠陥補正部４２１は、エンベデッドデータ取得部４１３で抽出された欠陥補正情報に基づいて注目領域ＲＯＩの画像の欠陥を補正する。

【0154】

静的欠陥補正部４２１は、補正対象座標に基づいて、欠陥画像の補正に用いる周辺画像の座標を求める。静的欠陥補正部４２１は、光電変換部３１１に設けられた撮像領域の数行部（例えば５行分）のラインメモリを有している。静的欠陥補正部４２１は、ＩｓｐＣＰＵ４１１から入力される注目領域ＲＯＩの画像データをラインメモリに記憶する。また、静的欠陥補正部４２１は、欠陥画像及び当該欠陥画像の補正に用いる周辺画像が入力された場合は、当該ラインメモリの所定アドレスの格納部に格納する。静的欠陥補正部４２１は、欠陥画像及び４つの周辺画像を当該格納部に格納した場合に欠陥画素の補正処理を実行する。このようにして、静的欠陥補正部４２１は、全ての欠陥画素を補正するように構成されている。

【0155】

静的欠陥補正部４２１は例えば、補正対象の欠陥画像が存在する注目領域ＲＯＩの１行分の画像データをラインメモリに格納するととともに、画像作成部４２２に出力するように構成されている。静的欠陥補正部４２１は、画像データを画像作成部４２２に出力する際に、欠陥画像に代えて補正画像の画像データを画像作成部４２２に出力するようになっている。

【0156】

画像作成部４２２は、静的欠陥補正部４２１から画像データが入力されると、当該画像データを含む注目領域ＲＯＩに関する情報（ＲＯＩ情報）をＩｓｐＣＰＵ４１１から取得して、当該注目領域ＲＯＩの画像を生成する。画像作成部４２２は、注目領域ＲＯＩの画像を生成する際にまず、Ｒａｗ処理を実行してＲａｗ画像で構成される注目領域ＲＯＩを生成する。次に、画像作成部４２２は、ＲＢＧ処理を実行して、ＲＧＢ信号の画像データで構成される注目領域ＲＯＩの画像を生成する。画像作成部４２２は、注目領域ＲＯＩを構成するＲＧＢ信号の画像データを画質調整部４２３に出力する。

【0157】

画質調整部４２３は、画像作成部４２２から入力されるＲＧＢ信号の画像データを輝度信号及び２つの色差信号に変換する逆ＲＧＢ処理を実行するように構成されている。また、画質調整部４２３は、逆ＲＧＢ変換した画像データに対してガンマ補正処理を実行するように構成されている。さらに、画質調整部４２３は、輝度及び２つの色差信号の画像データに対して色差補正及びノイズリダクション等のＹＣ処理を実行するように構成されている。画質調整部４２２は、画質調整した画像を例えば表示装置（不図示）に出力するように構成されている。これにより、当該表示装置に欠陥画像が補正され且つ画質が調整された所望の画像が表示される。

【0158】

（欠陥画素の補正処理方法）
次に、本実施形態による送信装置、受信装置及び伝送システムにおける欠陥画素の補正処理方法について図１５を参照しつつ図１６から図１９を用いて説明する。まず、本実施形態による送信装置、受信装置及び伝送システムにおける欠陥画素の補正処理の流れについて図１６から図１８を用いて説明する。図１６から図１８は、本実施形態による送信装置、受信装置及び伝送システムにおける欠陥画素の補正処理の流れの一例を示すフローチャートである。まず、送信装置、受信装置及び伝送システムの初期化処理における欠陥画素の座標の取得処理の流れの一例について図１６を用いて説明する。

【0159】

本実施形態による映像送信装置３、映像受信装置４及び映像伝送システム１０の初期化処理は、映像送信装置３、映像受信装置４及び映像伝送システム１０が起動する際、すなわち映像伝送システム１０が起動する際に実行される。

【0160】

（ステップＳ１１）
映像伝送システム１０が起動すると、まず、映像受信装置４に備えられたＩｓｐＣＰＵ４１１は、映像送信装置３に対して欠陥画素の座標の取得依頼の制御信号を送出する。より具体的にステップＳ１１において、ＩｓｐＣＰＵ４１１は、撮像部３１の光電変換部３１１に設けられた撮像領域（すなわち全画角）の全ての欠陥画素の座標の情報の取得を映像送信装置３に依頼する。映像伝送システム１０は、当該欠陥画素の座標の情報の取得依頼を映像受信装置４に実行させると、ステップＳ１３の処理に移行する。

【0161】

（ステップＳ１３）
映像送信装置３は、映像受信装置４が出力する欠陥画素の座標の取得依頼の制御信号を受信すると、不揮発性記憶装置３３から欠陥画素の座標を読み出す。すなわち、映像送信装置３は、光電変換部３１１に設けられた撮像領域（すなわち全画角）における欠陥座標（すなわち、当該撮像領域の座標系における欠陥座標）を不揮発性記憶装置３３から読み出す。映像伝送システム１０は、読み出した欠陥座標の情報をセンサＣＰＵ３２１及びＩｓｐＣＰＵ４１１におけるＣＰＵ間通信によって映像送信装置３から映像受信装置４に送出すると、ステップＳ１５の処理に移行する。

【0162】

（ステップＳ１５）
映像受信装置４は、映像送信装置３が出力する欠陥座標の情報を受信すると、例えば制御部４１又はＩｓｐＣＰＵ４１１に設けられた所定の記憶領域に格納する。映像伝送システム１０は、映像受信装置４が欠陥画素の座標の情報を取得して保存した場合に初期化処理を終了する。

【0163】

次に、本実施形態による映像送信装置３、映像受信装置４及び映像伝送システム１０の通常動作時における欠陥画素の座標変換の演算の処理について図１７を用いて説明する。図１７は、送信装置、受信装置及び伝送システムの通常動作時における欠陥画素の座標変換の演算処理の流れの一例を示すフローチャートである。

【0164】

（ステップＳ３１）
図１７に示すように、映像送信装置３に備えられたセンサＣＰＵ３２１は、フレーム開始トリガが入力されると、まず、撮像部３１の撮像領域から画像を切り出す切り出し位置を決定し、ステップＳ３３の処理に移行する。ステップＳ３１において、センサＣＰＵ３２１は、切り出し位置、すなわち注目領域ＲＯＩの左上端部の座標及び画像サイズ（Ｘ軸方向及びＹ軸方向の長さ）を決定し、決定した座標及び画像サイズの情報を欠陥補正情報としてエンベデッドデータに設定する。

【0165】

（ステップＳ３３）
センサＣＰＵ３２１は、注目領域ＲＯＩの左上端部の座標及び画像サイズ、当該注目領域ＲＯＩの領域番号並びに当該注目領域ＲＯＩに含まれる画像データなどが設定されたエンベデッドデータを含む伝送データを送信部３２２に設定し、欠陥画素の座標変換の演算処理を終了する。

【0166】

ステップＳ３３において設定された伝送データは、ＭＩＰＩを用いたハードウェア（ＨＷ）による通信によって、映像送信装置３から映像受信装置４に送信される。

【0167】

映像受信装置４に備えられた受信部４１２は、受信した伝送データからエンベデッドデータを抽出してエンベデッドデータ取得部４１３に出力する。エンベデッドデータ取得部４１３は、受信部４１２から入力されたエンベデッドデータをデコードし、各種情報（例えば注目領域ＲＯＩの数、注目領域ＲＯＩの領域番号及び優先度、注目領域ＲＯＩのデータ長並びに注目領域ＲＯＩの画像フォーマットなど）を取得し、取得した当該各種情報をＩｓｐＣＰＵ４１１に出力する。

【0168】

（ステップＳ４１）
ＩｓｐＣＰＵ４１１は、エンベデッドデータ取得部４１３でエンベデッドデータがデコードされたタイミングをトリガとして、受信部４１２で受信した伝送データからエンベデッドデータ取得部４１３が取得して入力される各種情報に基づいて、切り出し位置とサイズを取得する。すなわち、ＩｓｐＣＰＵ４１１は、エンベデッドデータ取得部４１３が取得して入力される各種情報に基づいて、優先度が最も高い注目領域ＲＯＩの位置情報（基準画素の座標、Ｘ軸方向の長さ及びＹ軸方向の長さ）を取得して、ステップＳ４３の処理に移行する。本実施形態では、基準画素の座標として、注目領域ＲＯＩの左上端座標が取得される。

【0169】

（ステップＳ４３）
ＩｓｐＣＰＵ４１１は、切り出し領域内、すなわちステップＳ４１において取得した注目領域ＲＯＩの範囲内に存在する欠陥画素を抽出し、ステップＳ４５の処理に移行する。より具体的には、ＩｓｐＣＰＵ４１１は、所定の記憶領域に記憶されている欠陥座標を読み出し、読み出した欠陥座標の中から当該注目領域ＲＯＩの範囲内の座標に一致する座標を抽出する。

【0170】

（ステップＳ４５）
ＩｓｐＣＰＵ４１１は、ステップＳ４３において注目領域ＲＯＩの範囲内に欠陥画素が存在するか否かを判定する。ＩｓｐＣＰＵ４１１は、注目領域ＲＯＩの範囲内に欠陥画素が存在すると判定した場合（Ｙｅｓ）には、ステップＳ４７の処理に移行する。一方、ＩｓｐＣＰＵ４１１は、注目領域ＲＯＩの範囲内に欠陥画素が存在しないと判定した場合（Ｎｏ）には、ステップＳ４９の処理に移行する。

【0171】

（ステップＳ４７）
ＩｓｐＣＰＵ４１１（具体的には座標変換部４１１ａ）は、ステップＳ４３で抽出された欠陥座標の座標演算を実行し、ステップＳ４９の処理に移行する。ステップＳ４７において座標変換部４１１ａは、ステップＳ４３において抽出された欠陥座標（すなわち光電変換部３１１に設けられた撮像領域の座標系における欠陥座標）をステップＳ４１において取得された注目領域ＲＯＩの座標系における座標（補正座標）に座標変換する。

【0172】

（ステップＳ４９）
ＩｓｐＣＰＵ４１１は、エンベデッドデータ取得部４１３から入力された全ての注目領域ＲＯＩに対してステップＳ４１からステップＳ４７の処理を実行したか否かを判定する。ＩｓｐＣＰＵ４１１は、全ての注目領域ＲＯＩに当該処理を実行したと判定した場合（Ｙｅｓ）には、映像送信装置３、映像受信装置４及び映像伝送システム１０の通常動作時における欠陥画素の座標変換の演算処理を終了する。一方、ＩｓｐＣＰＵ４１１は、全ての注目領域ＲＯＩに当該処理を実行していないと判定した場合（Ｎｏ）には、ステップＳ４１の処理に戻る。ＩｓｐＣＰＵ４１１は、全ての注目領域ＲＯＩに対する当該通常動作時における欠陥画素の座標変換の演算処理が完了するまで、ステップＳ４１からステップＳ４９の処理を繰り返す。

【0173】

次に、本実施形態による映像送信装置３、映像受信装置４及び映像伝送システム１０の通常動作時における欠陥画像の補正処理について図１８を用いて説明する。図１８は、送信装置、受信装置及び伝送システムの通常動作時における欠陥画像の補正処理の流れの一例を示すフローチャートである。図１８に示すフローチャートは、１つの注目領域における欠陥画像の補正処理の流れの一例である。映像送信装置３、映像受信装置４及び映像伝送システム１０では、欠陥画素が複数の注目領域に存在する場合には、複数の注目領域ごとに図１８に示す欠陥画像の補正処理が実行される。

【0174】

（ステップＳ５１）
図１８に示すように、欠陥画像の補正処理では、まず、静的欠陥補正部４２１は、ＩｓｐＣＰＵ４１１から入力される注目領域ＲＯＩの領域番号（図１８では「ＲＯＩ ＩＤ」と表記されている）を取得し、ステップＳ５３の処理に移行する。

【0175】

（ステップＳ５３）
静的欠陥補正部４２１は、注目領域ＲＯＩの領域番号に対応付けてＩｓｐＣＰＵ４１１から入力される欠陥座標の情報（すなわち補正座標の情報）取得し、ステップＳ５５の処理に移行する。

【0176】

（ステップＳ５５）
静的欠陥補正部４２１は、現在の画像の座標がステップＳ５３において取得した欠陥画素（すなわち補正座標）の座標に一致しているか否かを判定する。ここで、現在の画像の座標は、静的欠陥補正部４２１がＩｓｐＣＰＵ４１１から取得した画像の座標である。また、静的欠陥補正部４２１は、ステップＳ５３において複数の補正座標を取得している場合には、当該複数の補正座標のそれぞれと現在の画像の座標とが一致するか否かを判定する。静的欠陥補正部４２１は、現在の画像の座標が補正座標と一致すると判定した場合（Ｙｅｓ）には、ステップＳ５７の処理に移行する。一方、静的欠陥補正部４２１は、現在の画像の座標が補正座標と一致しないと判定した場合（Ｎｏ）には、ステップＳ５９の処理に移行する。

【0177】

（ステップＳ５７）
静的欠陥補正部４２１は、欠陥画像を補正し、ステップＳ５９の処理に移行する。ステップＳ５７において、ステップＳ５７において、静的欠陥補正部４２１は、欠陥座標の上下左右に隣接する座標の画素に対応する画像の画像データに基づいて欠陥が生じた画像の画像データを補正する。より具体的には、静的欠陥補正部４２１は、ステップＳ５５で現在の画像の座標と一致すると判定した補正座標（欠陥座標の一例）に対応する座標の画像の周辺画像の座標を算出する。静的欠陥補正部４２１は、当該周辺画像の座標として、補正座標より例えば２行前の画素の座標（欠陥座標の上側に隣接する座標）と、補正座標より例えば２行後の画素の座標（欠陥座標の下側に隣接する座標）とを算出する。さらに、静的欠陥補正部４２１は、当該周辺画像の座標として、補正座標より例えば２列前の画素の座標（欠陥座標の左側に隣接する座標）と、補正座標より例えば２列後の画素の座標（欠陥座標の右側に隣接する座標）とを算出する。静的欠陥補正部４２１は、算出した４つの座標の画像の画像データをＩｓｐＣＰＵ４１１から取得した際に、当該画像データを用いて欠陥画像の画像データを補正する。

【0178】

（ステップＳ５９）
静的欠陥補正部４２１は、ステップＳ５１で取得した領域番号の注目領域ＲＯＩ内の全ての画素と欠陥画素の座標とが一致しているか否かを判定したかを判断する。静的欠陥補正部４２１は、ステップＳ５１で取得した領域番号の注目領域ＲＯＩ内の全ての画素と欠陥画素の座標との一致の判定を実行したと判断した場合（Ｙｅｓ）には、欠陥画像の補正処理を終了する。一方、静的欠陥補正部４２１は、ステップＳ５１で取得した領域番号の注目領域ＲＯＩ内の全ての画素と欠陥画素の座標との一致の判定を実行していないと判断した場合（Ｎｏ）には、ステップＳ５５の処理に移行する。

【0179】

次に、本実施形態による送信装置、受信装置及び伝送システムにおける欠陥画像の補正処理タイミングについて図１９を用いて説明する。図１９は、本実施形態による送信装置、受信装置及び伝送システムにおける欠陥画像の補正処理のタイミングチャートの一例を示す図である。図１９中に示す「センサＶ Ｓｙｎｃ」は、センサＣＰＵ３２１に入力される垂直同期信号を示している。図１９中に示す「センサ処理」は、センサＣＰＵ３２１が実行する処理を示している。図１９中に示す「ＩＳＰ Ｓｙｎｃ」は、ＩｓｐＣＰＵ４１１に入力される垂直同期信号を示している。図１９中に示す「ＩＳＰ処理」は、映像受信装置４が実行する処理を示している。図１９中に示す注目領域ＲＯＩ－ε１～ＲＯＩ－ε３は、一のフレーム期間で処理される注目領域を模式的に示している。図１９では、理解を容易にするため、１回目のフレーム期間で処理される注目領域は、注目領域ＲＯＩ－ε１ではあるが、注目領域の大きさを比較するために、２回目及び３回目のフレーム期間で処理される注目領域ＲＯＩ－ε２，ＲＯＩ－ε３も併せて図示されている。また、図１９では、左から右に向かって時間の経過が表されている。

【0180】

図１９に示すように、映像伝送システム１０は、初期化処理において、撮像部３１の光電変換部３１１に設けられた撮像領域（すなわち全画角）の全ての欠陥画素の座標の情報の取得依頼を映像受信装置４に実行させる（図１６に示すステップＳ１１参照）。また、映像伝送システム１０は、初期化処理において、光電変換部３１１に設けられた撮像領域における欠陥座標（すなわち、当該撮像領域の座標系における欠陥座標）を映像送信装置３に取得させる。さらに、映像伝送システム１０は、初期化処理において、映像送信装置３が取得した欠陥座標の情報を含む伝送データを映像受信装置４に送信するとともに、映像受信装置４に当該欠陥座標の情報を記憶する。

【0181】

図１９に示すように、時刻ｔ１において、センサＣＰＵ３２１は、フレーム開始トリガを検出すると、エンベデッド設定処理として上述のステップＳ３１及びステップＳ３３の処理を実行する。すなわち、センサＣＰＵ３２１は、エンベデッド設定処理として、撮像部３１の撮像領域から画像を切り出す切り出し位置の設定や注目領域ＲＯＩ－ε１の位置情報（左上端座標、Ｘ軸方向の長さ及びＹ軸方向の長さ）などの情報を取得する。

【0182】

センサＣＰＵ３２１は、エンベデッド設定処理が終了した時刻ｔ２において、ＭＩＰＩを用いたハードウェア（ＨＷ）による通信によって、エンベデッド設定処理で設定した情報を有するエンベデッドデータを含む伝送データを映像受信装置４に送信する。

【0183】

センサＣＰＵ３２１は、伝送データの送信を開始すると、当該フレームにおける露光・読出、すなわち撮像部３１で撮像を開始する。

【0184】

時刻ｔ２から受信を開始した伝送データに含まれているエンベデッドデータのデコードをエンベデッドデータ取得部４１３が終了した時刻ｔ３において、ＩｓｐＣＰＵ４１１は、エンベデッドデータ取得部４１３が取得して入力される各種情報に基づいて注目領域ＲＯＩ－ε１の基準画素の座標（左上端座標）及び大きさの取得などを開始して時刻ｔ４において注目領域ＲＯＩ－ε１内に存在する補正画素の座標演算を終了する。すなわち、時刻ｔ３から時刻ｔ４の期間において、図１７に示すステップＳ４１からステップＳ４７の処理が１フレーム分実行される。

【0185】

映像受信装置４は、時刻ｔ４からＩＳＰ処理として、欠陥画像の補正処理や画質調整を実行する。

【0186】

詳細な説明は省略するが、注目領域の位置や大きさが異なる注目領域ＲＯＩ－ε２，ＲＯ－ε３についても、注目領域ＲＯＩ―ε１と同じタイミングによって、欠陥画像の補正処理が実行される。

【0187】

図１６から図１９を用いて説明したように、映像伝送システム１０は、注目領域ＲＯＩに関する欠陥補正情報を含むエンベデッドデータ有する伝送データを、ＭＩＰＩを用いた通信によって映像送信装置３から映像受信装置４に伝送することができる。これにより、映像伝送システム１０は、注目領域ＲＯＩごとにデモザイク処理を実行することができる。

【0188】

５．本開示の第１実施形態の変形例：
次に、本実施形態の変形例による送信装置、受信装置及び伝送システムについて図２０から図２２を用いて説明する。

【0189】

（変形例１）
本実施形態の変形例１による送信装置、受信装置及び伝送システムについて図２０を用いて説明する。図２０は、本変形例による映像送信装置３、映像受信装置４ｘ及び映像伝送システム１０ｘの概略構成を示すブロック図である。なお、本実施形態による映像送信装置３、映像受信装置４及び映像伝送システム１０と同一の作用・機能を奏する構成要素には同一の符号を付して説明は省略する。

【0190】

図２０に示すように、本変形例による映像伝送システム１０ｘは、本実施形態による映像送信装置３と同一構成の映像送信装置３と、本実施形態による映像受信装置４とは一部の構成が異なる映像受信装置４ｘとを備えている。本変形例による映像受信装置４ｘは、光電変換部３１１に設けられた撮像領域における欠陥座標を注目領域ＲＯＩにおける欠陥座標である補正座標に座標変換する座標変換部４３を備えている点に特徴を有している。

【0191】

本実施形態による映像受信装置４では、座標変換部４１１ａは、ＩｓｐＣＰＵ４１１の一機能ブロックとして設けられている。これに対して、図２０に示すように、映像受信装置４ｘに備えられた座標変換部４３は、ハードウェアで構成されている。

【0192】

座標変換部４３は、ＩｓｐＣＰＵ４１１ｘ及び静的欠陥補正部４２１に接続されている。このため、座標変換部４３は、光電変換部３１１に設けられた撮像領域における欠陥画素の座標及び注目領域ＲＯＩの位置情報をＩｓｐＣＰＵ４１１から取得できる。これにより、座標変換部４３は、当該撮像領域の座標系における欠陥座標を当該注目領域ＲＯＩの座標系における欠陥座標（補正座標）に変換できる。また、座標変換部４３は、変換した補正座標を静的欠陥補正部４２１に出力できる。このように、座標変換部４３は、ハードウェアで構成されている点を除いて、本実施形態における座標変換部４１１ａと同一の機能を発揮することができる。

【0193】

このように、本変形例による映像送信装置３ｘ、映像受信装置４ｘ及び映像伝送システム１０ｘは、座標変換部４３がハードウェア構成を有していても、本実施形態による映像送信装置３、映像受信装置４及び映像伝送システム１０と同様に、注目領域ＲＯＩに存在する欠陥画像を補正することができる。

【0194】

（変形例２）
本実施形態の変形例２による送信装置、受信装置及び伝送システムについて図２１を用いて説明する。図２１は、本変形例による映像送信装置３ｙ、映像受信装置４ｙ及び映像伝送システム１０ｙの概略構成を示すブロック図である。なお、本実施形態又は変形例１による送信装置、受信装置及び伝送システムと同一の作用・機能を奏する構成要素には同一の符号を付して説明は省略する。

【0195】

図２１に示すように、本変形例による映像伝送システム１０ｙは、座標変換部が映像送信装置３ｙに設けられている点において、本実施形態による映像伝送システム１０と異なっている。

【0196】

映像送信装置３ｙは、制御部３２ｙのセンサＣＰＵ３２１ｙに設けられた座標変換部３２１ｃを有している。座標変換部３２１ｃは、変換領域制御部３２１ｂｙに接続されている。本変形例におけるセンサＣＰＵ３２１ｙは、映像送信装置３ｙの通常動作の際に注目領域ＲＯＩの位置情報を欠陥補正情報として、変換領域制御部３２１ｂｙから座標変換部３２１ｃに出力するように構成されている。

【0197】

変換領域制御部３２１ｂｙは、光電変換部３１１に設けられた撮像領域を構成する複数の画素のうちの欠陥が生じた画素の座標である欠陥座標を欠陥補正情報として取得して保持するように構成されている。座標変換部３２１ｃは、変換領域制御部３２１ｂｙから入力される注目領域ＲＯＩの位置情報と、不揮発性記憶装置３３から読み出した欠陥画素の座標とを用いて、光電変換部３１１に設けられた撮像領域における欠陥画素の座標（欠陥座標）を注目領域ＲＯＩにおける欠陥画素の座標（補正座標）に変換する。このような機能を奏する変換領域制御部３２１ｂｙ及び座標変換部３２１ｃは、制御部の一例に相当する。また、変換領域制御部３２１ｂｙ及び座標変換部３２１ｃを有するセンサＣＰＵ３２１及びセンサＣＰＵ３２１を有する制御部３２ｙは、制御部の一例に相当する。

【0198】

座標変換部３２１ｃは、注目領域ＲＯＩの基準座標（例えば左上端座標）及び大きさ（例えばＸ軸方向の長さ及びＹ軸方向の長さ）並びに欠陥が生じた画素の座標（本実施形態では撮像領域のＸＹ直交座標系での座標）に基づいて、欠陥が生じた画素の座標に対応する注目領域ＲＯＩにおける位置（本実施形態では注目領域ＲＯＩのＸＹ直交座標系での座標）を判断する。座標変換部３２１ｃは、本実施形態における座標変換部４１１ａと同様の方法によって欠陥座標を補正座標に変換するため、説明は省略する。座標変換部３２１ｃは、座標変換によって得られた補正座標を送信部３２２に出力する。

【0199】

送信部３２２は、座標変換部３２１ｃから入力されて注目領域ＲＯＩにおける座標での補正座標や注目領域ＲＯＩの位置情報を含むＲＯＩ情報を当該注目領域ＲＯＩの領域番号に対応付けてエンベデッドデータに含め、当該エンベデッドデータを有する伝送データを映像受信装置４ｙに送出するように構成されている。つまり、送信部３２２は、座標変換部３２１ｃで判断された注目領域ＲＯＩにおける欠陥が生じた画素の位置の情報（すなわち注目領域ＲＯＩにおける座標での補正座標）と、注目領域ＲＯＩに含まれる画像の画像データとをＲＯＩ情報に含めて送出する。

【0200】

センサＣＰＵ３２１は、欠陥座標の情報（例えば補正座標）を含む欠陥補正情報を送信部３２２に出力する。また、センサＣＰＵ３２１は、注目領域ＲＯＩの基本座標及び大きさの情報（すなわち注目領域ＲＯＩの位置情報）を欠陥補正情報として送信部３２２に出力する。送信部３２２は、センサＣＰＵ３２１から入力される当該欠陥補正情報や注目領域ＲＯＩの当該情報を含む伝送データ（図６及び図１２参照）を生成して映像受信装置４に送出する。欠陥補正情報は、ＲＯＩ情報に含められて送信部３２２から送出される。ＲＯＩ情報は、エンベデッドデータに含められるので、欠陥補正情報は、エンベデッドデータに含められて送信部３２２から送出される。このように、映像送信装置３は、ＲＯＩ情報に含められた欠陥補正情報を送信部３２２から送出する。

【0201】

映像受信装置４ｙに設けられたエンベデッドデータ取得部（制御部の一例）４１３ｙは、光電変換部３１１に設けられた撮像領域を構成する複数の画素のうちの欠陥が生じた画素の座標を欠陥補正情報として取得するように構成されている。より具体的には、エンベデッドデータ取得部４１３ｙは、受信部４１２を介して入力される伝送データが有するエンベデッドデータに含まれたＲＯＩ情報から補正対象の画像に対応する画素（補正画素）の座標（補正座標）を欠陥補正情報として取得して静的欠陥補正部４２１に出力する。ＲＯＩ情報に含まれている欠陥画素の座標は、注目領域ＲＯＩのＸＹ直交座標系での座標である。このため、エンベデッドデータ取得部４１３ｙは、欠陥が生じた画素の座標を注目領域ＲＯＩにおける座標として抽出して取得する。エンベデッドデータ取得部４１３ｙは、注目領域ＲＯＩの領域番号（図２１では「ＲＯＩ ＩＤ」と表記されている）ごとに当該領域番号に対応付けられた補正座標を静的欠陥補正部４２１に出力する。本変形例における画像加工部４２は、静的欠陥補正部４２１を含め本実施形態における画像加工部４２と同様の構成を有し、同様の機能を発揮するように構成されているため、説明は省略する。

【0202】

このように、映像送信装置３ｙ、映像受信装置４ｙ及び映像伝送システム１０ｙは、座標変換部３２１ｃが映像送信装置３ｙに設けられていても、本実施形態による映像送信装置３、映像受信装置４及び映像伝送システム１０と同様に、注目領域ＲＯＩに存在する欠陥画像を補正することができる。

【0203】

（変形例３）
本実施形態の変形例３による送信装置、受信装置及び伝送システムについて図２２を用いて説明する。図２２は、本変形例による映像送信装置３ｚ、映像受信装置４ｚ及び映像伝送システム１０ｚの概略構成を示すブロック図である。なお、本実施形態、変形例１又は変形例２による送信装置、受信装置及び伝送システムと同一の作用・機能を奏する構成要素には同一の符号を付して説明は省略する。

【0204】

本変形例による映像送信装置３ｚは、本実施形態における静的欠陥補正部４２１と同様の機能を奏する静的欠陥補正部（処理部の一例）３４と、本実施形態における画像作成部４２２の一部の機能を奏するＲａｗ処理部３５とを有している点に特徴を有している。また、本変形例による映像受信装置４ｚは、エンベデッドデータ取得部及び静的欠陥補正部を有しておらず、かつ本実施形態における画像作成部４２２の一部の機能を奏するＲＧＢ処理部４２４を有している点に特徴を有している。

【0205】

映像送信装置３ｚに備えられた静的欠陥補正部３４は、撮像部３１に設けられた増幅部３１３、センサＣＰＵ３２１ｙに設けられた変換領域制御部３２１ｂ及び座標変換部３２１ｃ、並びにＲａｗ処理部３５に接続されている。Ｒａｗ処理部３５は、制御部３２ｙに設けられた送信部３２２に接続されている。

【0206】

静的欠陥補正部３４は、変換領域制御部３２１ｂから入力される注目領域ＲＯＩの位置情報と、座標変換部３２１ｃから入力される注目領域ＲＯＩにおける欠陥画素の座標（補正座標）と、増幅部３１３から入力される画像データとを用いて欠陥画素に対応する欠陥画像の補正処理を実行する。静的欠陥補正部３４は、座標変換部３２１ｃ（制御部の一例）で判断された注目領域ＲＯＩにおける欠陥が生じた画素の位置に対応する座標の上下左右に隣接する座標の画素に対応する画像の画像データに基づいて欠陥が生じた画像の画像データの補正を処理するように構成されている。つまり、静的欠陥補正部３４は、本実施形態における静的欠陥補正部４２１と同様の方法によって欠陥画像を補正するため、説明は省略する。送信部３２２は、静的欠陥補正部３４で補正された画像の画像データをＲＯＩ情報に含めて送出する。

【0207】

Ｒａｗ処理部３５は、欠陥が補正された画像データを含む注目領域ＲＯＩを構成する画像データが静的欠陥補正部３４から入力されると、Ｒａｗ処理を実行してＲａｗ画像で構成される注目領域ＲＯＩを生成する。Ｒａｗ処理部３５は、生成したＲａｗ画像の画像データを送信部３２２に出力する。

【0208】

送信部３２２は、センサＣＰＵ３２１ｙから入力されて注目領域ＲＯＩの領域番号に対応付けられた注目領域ＲＯＩの位置情報を含むエンベデッドデータと、Ｒａｗ処理部３５から入力されて当該領域番号に対応付けられたＲａｗ画像の画像データを含むペイロードデータとを有する伝送データを生成して映像受信装置４ｙに送出するように構成されている。

【0209】

映像受信装置４ｚに設けられた受信部４１２は、送信部３２２から入力される伝送データからエンベデッドデータ及びペイロードデータを抽出してＩｓｐＣＰＵ４１１ｚに出力する。ＩｓｐＣＰＵ４１１ｚは、入力されるエンベデッドデータから注目領域ＲＯＩの位置情報を抽出し、入力されるペイロードデータからＲａｗ画像の画像データを抽出する。ＩｓｐＣＰＵ４１１ｚは、抽出した注目領域ＲＯＩの領域番号及び位置情報、並びに抽出したＲａｗ画像の画像データを画像加工部４２ｚに設けられたＲＧＢ処理部４２４に出力する。

【0210】

ＲＧＢ処理部４２４は、ＩｓｐＣＰＵ４１１ｚから入力される情報や画像データを用いて、ＲＢＧ処理を実行し、ＲＧＢ信号の画像データで構成される注目領域ＲＯＩの画像を生成する。ＲＧＢ処理部４２４は、生成した画像データを画質調整部４２３に出力する。画質調整部４２３は、本実施形態における画質調整部４２３と同様の構成を有し、同様の機能を発揮するように構成されているため、説明は省略する。

【0211】

このように、映像送信装置３ｚ、映像受信装置４ｚ及び映像伝送システム１０ｚは、静的欠陥補正部３４及びＲａｗ処理部３５が映像送信装置３ｚに設けられていても、本実施形態による映像送信装置３、映像受信装置４及び映像伝送システム１０と同様に、注目領域ＲＯＩに存在する欠陥画像を補正することができる。

【0212】

以上説明したように、本実施形態及び変形例による送信装置、受信装置及び伝送システムは、撮像画像から切り出した一部の領域である注目領域における欠陥画像の補正処理を実現することができる。

【0213】

６．本開示の第２実施形態：
次に、本開示の第２実施形態による送信装置、受信装置及び伝送システムについて図２３を用いて説明する。上記第１実施形態による送信装置、受信装置及び伝送システムでは、撮像領域から切り出す対象の物体が矩形状である。これに対し、本実施形態による送信装置、受信装置及び伝送システムは、撮像領域から切り出す対象の物体が矩形状でない場合に欠陥画像の補正処理を実行する点に特徴を有している。

【0214】

図２３は、本実施形態において、出荷検査等で取得される欠陥画素の座標情報に基づいて注目領域における欠陥画素の位置を算出する方法を模式的に示す図である。図２３では、理解を容易にするため、撮像領域ＩＲの全体にマトリクス状に配列された画素のうち、注目領域ＲＯＩに設定された画素のみが図示されている。また、図２３では、理解を容易にするため、欠陥画素Ｄ１１には、格子状の網掛けが付され、撮像領域ＩＲから切り出す対象の物体である切出対象ＣＯには、ドット状の網掛けが付されている。

【0215】

図２３に示すように、撮像領域ＩＲから切り出す対象の物体である切出対象ＣＯは矩形状でない形状を有している。切出対象ＣＯを構成する画素の１つが欠陥画素Ｄ１１である。本実施形態では、切出対象ＣＯが矩形状でない場合、上記前提技術２で説明したように、注目領域ＲＯＩは、切出対象ＣＯを含む最小の矩形として設定される。上記第１実施形態において説明したように、注目領域の形状と切出対象の形状が一致する場合、撮像領域における欠陥座標は、注目領域における欠陥座標にフレーム単位で座標変換される。これに対し、注目領域の形状と切出対象の形状が一致しない場合、撮像領域における欠陥座標は、注目領域における欠陥座標に１行単位で座標変換される。

【0216】

図２３に示すように、撮像領域ＩＲの原点ＩＲｏ（０，０）を左上端部の画素とする。この場合、撮像領域ＩＲにおける欠陥画素Ｄ１１の座標（ｘ，ｙ）は（Ｄ１＿Ｘ１，Ｄ１＿Ｙ１）となる。欠陥画素Ｄ１１の座標（Ｄ１＿Ｘ１，Ｄ１＿Ｙ１）は、撮像領域ＩＲの原点ＩＲｏ（０，０）を基準とする座標である。また、欠陥画素Ｄ１１の座標（Ｄ１＿Ｘ１，Ｄ１＿Ｙ１）の情報は、撮像部を有する映像送信装置の例えば出荷検査時に取得される座標情報である。

【0217】

上述のとおり、注目領域が設定される場合、当該注目領域の位置情報（例えば左上端座標、Ｘ軸方向の長さ及びＹ軸方向の長さ）が導出される。このため、図２３に示すように、注目領域ＲＯＩ１の位置情報として、例えば左上端部Ｐｒの座標（Ｒ１＿Ｘ，Ｒ１Ｙ）と、Ｘ軸方向の長さＲ１＿Ｗ及びＹ軸方向の長さＲ１＿Ｈが導出される。注目領域ＲＯＩ１の左上端部Ｐｒの座標（Ｒ１＿Ｘ，Ｒ１Ｙ）は、撮像領域ＩＲ内での注目領域ＲＯＩ１の位置を表している。このため、左上端部Ｐｒの座標（Ｒ１＿Ｘ，Ｒ１Ｙ）は、撮像領域ＩＲの原点ＩＲｏ（０，０）を基準とする座標である。

【0218】

本実施形態では、撮像領域における欠陥画素及び注目領域のそれぞれの座標の設定に加えて、注目領域における切出対象の端部の画素（以下、「端部画素」と称する場合がある）の座標も設定される。本実施形態では、端部画素は、例えば注目領域の左端部を基準として設定される。図２３に示すように、端部画素Ｐｅの座標は、座標（Ｄ＿ＸＲ，０）と設定される。端部画素ＰｅのＸ座標は、注目領域ＲＯＩの左端部から端部画素までの画素数に相当する。このため、切出対象ＣＯの形状に応じて、端部画素Ｐｅの座標が同じになる行もあれば異なる行もある。

【0219】

注目領域ＲＯＩにおける欠陥画素Ｄ１１の座標（Ｄ１Ｘ＿Ｒ１，Ｄ１＿ＹＲ１）は、注目領域ＲＯＩ１の左上端部Ｐｒの座標（Ｒ１＿Ｘ，Ｒ１Ｙ）、欠陥画素Ｄ１１の座標（Ｄ１＿Ｘ１，Ｄ１＿Ｙ１）及び端部画素Ｐｅの座標（Ｄ＿ＸＲ，０）を用いて、以下の式（３）及び式（４）によって表すことができる。
Ｄ１＿ＸＲ１＝Ｄ１＿Ｘ－Ｒ１＿Ｘ－Ｄ＿ＸＲ ・・・（３）
Ｄ１＿ＹＲ１＝Ｄ１＿Ｙ－Ｒ１＿Ｙ－０ ・・・（４）

【0220】

式（３）及び式（４）により、欠陥画素Ｄ１１の位置を注目領域ＲＯＩ１の座標空間の座標で表すことができる。したがって、映像受信装置は、例えば出荷検査時などで取得される座標情報を記憶しておくことにより、設定された注目領域の位置情報（例えば左上端座標、Ｘ軸方向の長さ及びＹ軸方向の長さ）及び当該注目領域に含まれる各行の端部の画素の位置が映像送信装置から入力されるごとに、当該注目領域における欠陥画素の座標を算出できる。

【0221】

本実施形態による送信装置は、前提技術２のように、例えば対象の物体の位置情報（例えば端部画素Ｐｅの座標）を画素行ごとにペイロードデータに含めて映像受信装置に送出するように構成されていてもよい。また、切り出し対象の物体が矩形状でないため、補正対象の画像に対応する画素（補正画素）に対応する画像の上下左右に画像が存在しない場合がある。この場合、例えば境界処理によって画像データを補間することにより、欠陥画像の補正処理を実行することができる。例えば補正画素の上下の画像のうちの存在しない方の画像を存在する方の画像で補間し、補正画素の左右の画像のうちの存在しない方の画像を存在する方の画像で補間する。

【0222】

本実施形態による送信装置、受信装置及び伝送システムは、上記第１実施形態又は変形例１から３による送信装置、受信装置及び伝送システムのいずれかの構成を適用することができるので、説明は省略する。

【0223】

以上説明したように、本実施形態による送信装置、受信装置及び伝送システムは、切り出し対象の物体が矩形状でない場合であっても、撮像画像から切り出した一部の領域である注目領域における欠陥画像の補正処理を実現することができる。

【0224】

以上、前提技術、実施形態及びその変形例を挙げて本開示を説明したが、本開示は上記実施形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。

【0225】

また、例えば、本開示は以下のような構成を取ることができる。
（１）
ＲＯＩ（Region Of Interest）に含まれる画像の欠陥を補正するために用いられる情報である欠陥補正情報の保持を制御する制御部と、
前記ＲＯＩに含まれる画像の画像データをペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信部と
を備える送信装置。
（２）
前記欠陥補正情報は、前記ＲＯＩ情報に含められて前記送信部から送出される
上記（１）に記載の送信装置。
（３）
前記制御部は、撮像領域を構成する複数の画素のうちの欠陥が生じた画素の座標を前記欠陥補正情報として保持する
上記（１）又は（２）に記載の送信装置。
（４）
前記制御部は、前記欠陥が生じた画素の座標を初期化処理時又は製造時に保持する
上記（３）に記載の送信装置。
（５）
前記制御部は、前記ＲＯＩの基準座標及び大きさを前記欠陥補正情報として保持する
上記（３）又は（４）に記載の送信装置。
（６）
前記制御部は、前記ＲＯＩの左上端座標を前記基準座標として保持する
上記（５）に記載の送信装置。
（７）
前記制御部は、前記ＲＯＩの基準座標及び大きさ並びに前記欠陥が生じた画素の座標に基づいて、前記欠陥が生じた画素の座標に対応する前記ＲＯＩにおける位置を判断する
上記（５）又は（６）に記載の送信装置。
（８）
前記送信部は、前記制御部で判断された前記ＲＯＩにおける前記欠陥が生じた画素の位置の情報と、前記ＲＯＩに含まれる画像の画像データとを前記ＲＯＩ情報に含めて送出する
上記（７）に記載の送信装置。
（９）
前記制御部で判断された前記ＲＯＩにおける前記欠陥が生じた画素の位置に対応する座標の上下左右に隣接する座標の画素に対応する画像の画像データに基づいて欠陥が生じた画像の画像データの補正を処理する処理部を備え、
前記送信部は、前記処理部で補正された画像の画像データを前記ＲＯＩ情報に含めて送出する
上記（７）に記載の送信装置。
（１０）
前記送信部は、ＭＩＰＩ(Mobile Industry Processor Interface) Ｄ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ（Camera Serial Interface）－２規格で信号を送出する
上記（１）から（９）までのいずれか一項に記載の送信装置。
（１１）
ＲＯＩ（Region Of Interest）に含まれる画像の画像データをペイロードデータに含むとともに、ＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部と、
前記ＲＯＩに含まれる画像の画像データの欠陥を補正するために用いられる情報である欠陥補正情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部と、
前記制御部で抽出された前記欠陥補正情報に基づいて前記ＲＯＩの画像の欠陥の補正を処理する処理部と
を備える受信装置。
（１２）
前記制御部は、前記伝送信号に含まれた前記ＲＯＩ情報から前記欠陥補正情報を抽出する
上記（１１）に記載の受信装置。
（１３）
前記制御部は、撮像領域を構成する複数の画素のうちの欠陥が生じた画素の座標を前記欠陥補正情報として抽出する
上記（１１）に記載の受信装置。
（１４）
前記制御部は、前記欠陥が生じた画素の座標を前記撮像領域又は前記ＲＯＩのいずれか一方における座標として抽出する
上記（１３）に記載の受信装置。
（１５）
前記制御部は、前記ＲＯＩの基準座標及び大きさを前記欠陥補正情報として抽出する
上記（１１）から（１４）までのいずれか一項に記載の受信装置。
（１６）
前記制御部は、前記ＲＯＩの左上端座標を前記基準座標として抽出する
上記（１５）に記載の受信装置。
（１７）
前記制御部は、前記ＲＯＩの基準座標及び大きさ並びに前記欠陥が生じた画素の座標に基づいて、前記欠陥が生じた画素の座標に対応する前記ＲＯＩにおける位置を判断する
上記（１５）又は（１６）に記載の受信装置。
（１８）
前記処理部は、前記欠陥が生じた画素の座標の上下左右に隣接する座標の画素に対応する画像の画像データに基づいて欠陥が生じた画像の画像データを補正する
上記（１３）から（１７）までのいずれか一項に記載の受信装置。
（１９）
前記受信部は、ＭＩＰＩ(Mobile Industry Processor Interface) Ｄ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ（Camera Serial Interface）－２規格で信号を受信する
上記（１１）から（１８）までのいずれか一項に記載の受信装置。
（２０）
ＲＯＩ（Region Of Interest）に含まれる画像の欠陥を補正するために用いられる情報である欠陥補正情報の保持を制御する制御部、及び前記ＲＯＩに含まれる画像の画像データをペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信部と有する送信装置と、
ＲＯＩに含まれる画像の画像データをペイロードデータに含むとともに、ＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部、前記ＲＯＩに含まれる画像の画像データの欠陥を補正するために用いられる情報である欠陥補正情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部、及び前記制御部で抽出された前記欠陥補正情報に基づいて前記ＲＯＩの画像の欠陥の補正を処理する処理部を有する受信装置と
を備える伝送システム。

【0226】

当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、及び変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

【符号の説明】

【0227】

１，１０，１０ｘ，１０ｙ，１０ｚ 映像伝送システム
３，３ｙ，３ｚ，１００ 映像送信装置
４，４ｘ，４ｙ，４ｚ，３ｚ，２００ 映像受信装置
３１，１１０ 撮像部
３２，３２ｙ，４１，４１ｚ 制御部
３４，４２１ 静的欠陥補正部
３５ Ｒａｗ処理部
４２，４２ｚ 画像加工部
４３，３２１ｃ，４１１ａ 座標変換部
１００Ａ ＣＳＩトランスミッタ
１００Ｂ ＣＣＩスレーブ
１１１ 撮像画像
１１２，１１２ａ１，１１２ａ２，１１２ａ３，１１２ａ４，１１２ｂ１，１１２ｂ４，１２３ａ４，２２３Ａ ＲＯＩ画像
１１２ｂ 圧縮像データ
１１３，１１４ 位置情報
１１５ 優先度
１１６，１１６ａ１，１１６ａ２ 伝送画像
１１８ 画像
１２０，１３０ 画像処理部
１２０Ａ，１２０Ａ１，１２０Ａ２，１３０Ａ，１４７Ｂ 圧縮像データ
１２０Ｂ ＲＯＩ情報
１２０Ｃ フレーム情報
１２１ ＲＯＩ切り出し部
１２２ ＲＯＩ解析部
１２３ 検出部
１２４ 優先度設定部
１２５，１３１ エンコード部
１２６ 画像処理制御部
１４０ 送信部
１４１ ＬＩＮＫ制御部
１４２ ＥＣＣ生成部
１４３ ＰＨ生成部
１４４，１４５ ＲＯＩデータバッファ
１４４ ＥＢＤバッファ
１４６ 通常画像データバッファ
１４７ 合成部
１４７Ａ 伝送データ
２００Ａ ＣＳＩレシーバ
２００Ｂ ＣＣＩマスター
２１０ 受信部
２１１ ヘッダ分離部
２１２ ヘッダ解釈部
２１３ ペイロード分離部
２１４ ＥＢＤ解釈部
２１４Ａ ＥＢＤデータ
２１５ ＲＯＩデータ分離部
２１５Ａ，２１５Ｂ ペイロードデータ
２２０ 情報処理部
２２１ 情報抽出部
２２１Ａ 抽出情報
２２２ ＲＯＩデコード部
２２２Ａ 画像データ
２２３ ＲＯＩ画像生成部
２２４ 通常画像デコード部
２２４Ａ 通常画像
３１１ 光電変換部
３１２ 信号変換部
３１３ 増幅部
３２１，３２１ｙ センサＣＰＵ
３２１ａ 露光制御部
３２１ｂ，３２１ｂｙ 変換領域制御部
３２２ 送信部
４１１，４１１ｘ，４１１ｙ ＩｓｐＣＰＵ
４１２ 受信部
４１３，４１３ｙ エンベデッドデータ取得部
４２２ 画像作成部
４２３ 画質調整部
４２３ａ 座標判定部
４２４ ＲＧＢ処理部
ＡＤＣ アナログデジタル変換
ＡＧＣ 信号増幅
ＣＣＩ カメラ制御インタフェース
ＣＬ クロックレーン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】