特許 7584497 受信装置及び伝送システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-07

(45)【発行日】2024-11-15

(54)【発明の名称】受信装置及び伝送システム

(51)【国際特許分類】

   H04N 21/436 20110101AFI20241108BHJP

   H04N 21/434 20110101ALI20241108BHJP

   H04N 21/236 20110101ALI20241108BHJP

【ＦＩ】

H04N21/436

H04N21/434

H04N21/236

【請求項の数】 15

(21)【出願番号】P 2022509417

(86)(22)【出願日】2021-02-19

(86)【国際出願番号】 JP2021006374

(87)【国際公開番号】W WO2021192764

(87)【国際公開日】2021-09-30

【審査請求日】2024-01-18

(31)【優先権主張番号】P 2020054537

(32)【優先日】2020-03-25

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100103850

【弁理士】

【氏名又は名称】田中 秀▲てつ▼

(74)【代理人】

【識別番号】100114177

【弁理士】

【氏名又は名称】小林 龍

(74)【代理人】

【識別番号】100066980

【弁理士】

【氏名又は名称】森 哲也

(72)【発明者】

【氏名】佐藤 弘和

【審査官】大西 宏

(56)【参考文献】

【文献】特開２０１９－０４９７０５（ＪＰ，Ａ）

【文献】特開２０１９－０９１９６７（ＪＰ，Ａ）

【文献】特表２０１６－５０４８９０（ＪＰ，Ａ）

【文献】特表２０１６－５０６６６９（ＪＰ，Ａ）

【文献】特表２０１６－５２９７８９（ＪＰ，Ａ）

【文献】国際公開第２００６／００８７８７（ＷＯ，Ａ１）

【文献】国際公開第２０１８／２２５４４９（ＷＯ，Ａ１）

【文献】韓国公開特許第１０－２０１７－０１３１８０６（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ －２１／８５８

(57)【特許請求の範囲】

【請求項1】

所定の撮像画像から切り出された所定数のＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）の画像データをペイロードデータに含むとともに、所定数の前記ＲＯＩに対応するＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部と、
前記ＲＯＩの画像データを格納可能なフレームメモリと、
前記エンベデッドデータから抽出した前記ＲＯＩ情報に基づいて前記ＲＯＩの画像データを所定の表示装置に表示可能な状態に復元する復元処理を実行可能な処理部と、
を備え、
前記処理部は、
前記ＲＯＩ情報から生成したＲＯＩ復元情報に基づいて、前記ペイロードデータ単位で前記ＲＯＩの画像データを前記フレームメモリに書込み、
所定条件が成立している場合に、前記ペイロードデータ内の２以上の前記ＲＯＩの画像データの間にダミー画像データを挿入して前記２以上の前記ＲＯＩの画像データを連結したダミー挿入画像データを生成し、生成したダミー挿入画像データを１回の指示によって連続して前記フレームメモリに書込み、
前記所定条件は、前記２以上の前記ＲＯＩの画像データの間の空隙が狭く、当該空隙に挿入する前記ダミー画像データのメモリサイズが所定サイズ以内となることである
受信装置。

【請求項2】

前記処理部は、前記撮像画像における所定数の前記ＲＯＩそれぞれの位置情報及びサイズ情報を前記ＲＯＩ情報として抽出する
請求項１に記載の受信装置。

【請求項3】

前記処理部は、抽出した前記位置情報および前記サイズ情報を並び替えて、前記ＲＯＩの画像データの復元に用いる前記ＲＯＩ復元情報を生成する
請求項２に記載の受信装置。

【請求項4】

前記位置情報には、前記撮像画像における前記ＲＯＩの左上端部を示すＸ座標およびＹ座標が含まれ、
前記処理部は、前記ＲＯＩ復元情報として、前記位置情報および前記サイズ情報を前記Ｘ座標の値の昇順に並び替えたＸ座標順データと、前記位置情報および前記サイズ情報を前記Ｙ座標の値の昇順に並び替えたＹ座標順データとを生成する
請求項３に記載の受信装置。

【請求項5】

前記処理部は、前記ＲＯＩ復元情報に基づいて前記ペイロードデータ内の前記ＲＯＩの画像データを前記ＲＯＩごとに分割して、前記フレームメモリに書込む
請求項１に記載の受信装置。

【請求項6】

前記処理部は、前記ＲＯＩ復元情報に基づいて前記撮像画像内での前記ＲＯＩの相対位置に対応する前記フレームメモリ内の復元位置を特定し、前記復元位置に前記ＲＯＩの画像データを書込む
請求項１に記載の受信装置。

【請求項7】

前記処理部は、前記ＲＯＩ復元情報に基づいて前記表示装置の画面内において所定数の前記ＲＯＩの画像データが重ならずに表示可能なように前記ＲＯＩの画像データを前記フレームメモリに書込む
請求項１に記載の受信装置。

【請求項8】

前記処理部は、前記ＲＯＩ復元情報に基づいて、前記フレームメモリにおける前記ＲＯＩの画像データの書込み先を示すアドレスを生成する
請求項１に記載の受信装置。

【請求項9】

前記処理部は、前記ＲＯＩ復元情報に基づいて、前記フレームメモリにおける前記ダミー挿入画像データの書込み先を示すアドレスを生成する
請求項１に記載の受信装置。

【請求項10】

前記処理部は、前記ＲＯＩの画像データが前記表示装置に表示される場合に、前記フレームメモリに格納された前記表示装置の画面単位の画像データのうち、前記ＲＯＩの画像データに該当しない非ＲＯＩ画像データを固定値画像データに差替える
請求項１に記載の受信装置。

【請求項11】

前記処理部は、前記ＲＯＩ復元情報に基づいて前記非ＲＯＩ画像データを特定する
請求項１０に記載の受信装置。

【請求項12】

前記処理部は、
前記ＲＯＩ復元情報に基づいて前記画面単位の画像データの各画素が前記ＲＯＩの画像データに含まれるか、または前記非ＲＯＩ画像データに含まれるかを判定する
請求項１１に記載の受信装置。

【請求項13】

ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）の画像データをペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信装置と、
所定の撮像画像から切り出された所定数の前記ＲＯＩの画像データをペイロードデータに含むとともに、所定数の前記ＲＯＩに対応するＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部、前記ＲＯＩの画像データを格納可能なフレームメモリ、前記エンベデッドデータから抽出した前記ＲＯＩ情報に基づいて前記所定数の前記ＲＯＩの画像データを所定の表示装置に表示可能な状態に復元する復元処理を実行可能な処理部を有する受信装置と、
を備え、
前記受信装置は、前記処理部において、
前記ＲＯＩ情報から生成したＲＯＩ復元情報に基づいて、前記ペイロードデータ単位で前記ＲＯＩの画像データを前記フレームメモリに書込み、
所定条件が成立している場合に、前記ペイロードデータ内の２以上の前記ＲＯＩの画像データの間にダミー画像データを挿入して前記２以上の前記ＲＯＩの画像データを連結したダミー挿入画像データを生成し、生成したダミー挿入画像データを１回の指示によって連続して前記フレームメモリに書込み、
前記所定条件は、前記２以上の前記ＲＯＩの画像データの間の空隙が狭く、当該空隙に挿入する前記ダミー画像データのメモリサイズが所定サイズ以内となることである
伝送システム。

【請求項14】

前記受信装置は、
前記ＲＯＩ情報として抽出された前記撮像画像における所定数の前記ＲＯＩそれぞれの位置情報およびサイズ情報を前記処理部において並び替えて、前記ＲＯＩの画像データの復元に用いる前記ＲＯＩ復元情報を生成する
請求項１３に記載の伝送システム。

【請求項15】

前記受信装置は、前記ＲＯＩの画像データが前記表示装置に表示される場合に、前記フレームメモリに格納された前記表示装置の画面単位の画像データのうち、前記ＲＯＩの画像データに該当しない非ＲＯＩ画像データを前記処理部で固定値画像データに差替える
請求項１３に記載の伝送システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、受信装置及び伝送システムに関する。

【背景技術】

【0002】

近年、データ量の大きなデータを大量に送信する用途が増えてきている。伝送システムに大きな負荷がかかりやすく、最悪の場合には、伝送システムがダウンし、データ伝送が行えなくなるおそれがある。

【0003】

伝送システムのダウンを避けるために、例えば、撮影した画像を全て送信するのではなく、撮影対象の物体を特定し、特定した物体を切り出した一部の画像だけを送信することが行われていることが知られている（例えば特許文献１～４）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－２０１７５６号公報

【文献】特開２０１４－３９２１９号公報

【文献】特開２０１３－１６４８３４号公報

【文献】特開２０１２－２０９８３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

撮像画像から切り出されて伝送された一部の注目領域（ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ））を効率的に表示装置に表示するための処理について、何ら検討されていない。
本開示の目的は、撮像画像から切り出した一部の注目領域（ＲＯＩ）を効率的に表示装置に表示可能とすることができる受信装置及び伝送システムを提供することにある。

【課題を解決するための手段】

【0006】

本開示の一態様による受信装置は、所定の撮像画像から切り出された所定数のＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）の画像データをペイロードデータに含むとともに、所定数の前記ＲＯＩに対応するＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部と、前記ＲＯＩの画像データを格納可能なフレームメモリと、前記エンベデッドデータから抽出した前記ＲＯＩ情報に基づいて前記ＲＯＩの画像データを所定の表示装置に表示可能な状態に復元する復元処理を実行可能な処理部と、を備え、前記処理部は、前記ＲＯＩ情報から生成したＲＯＩ復元情報に基づいて、前記ペイロードデータ単位で前記ＲＯＩの画像データを前記フレームメモリに書込み、所定条件が成立している場合に、前記ペイロードデータ内の２以上の前記ＲＯＩの画像データの間にダミー画像データを挿入して前記２以上の前記ＲＯＩの画像データを連結したダミー挿入画像データを生成し、生成したダミー挿入画像データを１回の指示によって連続して前記フレームメモリに書込み、前記所定条件は、前記２以上の前記ＲＯＩの画像データの間の空隙が狭く、当該空隙に挿入する前記ダミー画像データのメモリサイズが所定サイズ以内となることである。

【0007】

本開示の一態様による伝送システムは、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）の画像データをペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信装置と、所定の撮像画像から切り出された所定数の前記ＲＯＩの画像データをペイロードデータに含むとともに、所定数の前記ＲＯＩに対応するＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部、前記ＲＯＩの画像データを格納可能なフレームメモリ、前記エンベデッドデータから抽出した前記ＲＯＩ情報に基づいて前記所定数の前記ＲＯＩの画像データを所定の表示装置に表示可能な状態に復元する復元処理を実行可能な処理部を有する受信装置と、を備え、前記受信装置は、前記処理部において、前記ＲＯＩ情報から生成したＲＯＩ復元情報に基づいて、前記ペイロードデータ単位で前記ＲＯＩの画像データを前記フレームメモリに書込み、所定条件が成立している場合に、前記ペイロードデータ内の２以上の前記ＲＯＩの画像データの間にダミー画像データを挿入して前記２以上の前記ＲＯＩの画像データを連結したダミー挿入画像データを生成し、生成したダミー挿入画像データを１回の指示によって連続して前記フレームメモリに書込み、前記所定条件は、前記２以上の前記ＲＯＩの画像データの間の空隙が狭く、当該空隙に挿入する前記ダミー画像データのメモリサイズが所定サイズ以内となることである。

【図面の簡単な説明】

【0008】

【図1】映像伝送システムの概略構成例を表す図である。

【図2】図１の映像送信装置の概略構成例を表す図である。

【図3】撮像画像に２つのＲＯＩが含まれているときの、伝送データの生成手順の一例を表す図である。

【図4】パケットヘッダの構成例を表す図である。

【図5】伝送データの構成例を表す図である。

【図6】伝送データの構成例を表す図である。

【図7】ロングパケットのペイロードデータの構成例を表す図である。

【図8】図１の映像受信装置の概略構成例を表す図である。

【図9】伝送データに２つの画像が含まれているときの、撮像画像に含まれる２つのＲＯＩ画像の生成手順の一例を表す図である。

【図10】撮像画像において特定された物体が配置された領域を模式的に示す図である。

【図11】特定された物体に対して設定されたＲＯＩ領域の一例を示す図である。

【図12】ＲＯＩ画像の位置情報がロングパケットのペイロードデータに含められている伝送データの構成例を示す図である。

【図13】本開示の実施形態における撮像画像の一例を模式的に示す図である。

【図14】図１３に示す注目領域の座標及び画像サイズを示す図である。

【図15】図１３に示す注目領域の画像データを含むペイロードデータの一例を示す図である。

【図16】本開示の実施形態におけるＲＯＩ復元情報を構成する第一座標データ、第二座標データについて説明する図である。

【図17】本開示の実施形態におけるＸ座標順データおよびＹ座標順データの一例を示す図である。

【図18】本開示の実施形態における映像伝送システムの概略構成を示すブロック図である。

【図19】本開示の実施形態による映像受信装置の概略構成例を表す図である。

【図20】本開示の本実施形態による映像受信装置における復元処理の流れの一例を示すフローチャートである。

【図21】本開示の実施形態による映像受信装置２００ａにおける画像データ差替え処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本開示を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本開示の一具体例であって、本開示は以下の態様に限定されるものではない。

【0010】

以下、本開示による技術を実施するための形態（以下、「実施形態」と称する）について、以下の順序により説明する。
１．本開示の前提技術１（撮像画像から切り出した一部（形状が矩形状）の注目領域（ＲＯＩ）を伝送する技術）
２．本開示の前提技術２（撮像画像から切り出した一部（形状が非矩形状）の注目領域（ＲＯＩ）を伝送する技術）
３．本開示の実施形態における復元処理の原理
４．本開示の実施形態による映像受信装置及び映像伝送システム
５．本開示の実施形態による映像受信における画像データの表示に係る処理
６．本開示の実施形態における復元処理の変形例

【0011】

１．本開示の前提技術１：
[構成]
近年、スマートフォンなどの携帯デバイスやカメラデバイスなどでは、扱う画像データの大容量化が進み、デバイス内又は異なるデバイス間でのデータ伝送に高速化、かつ低消費電力化が求められている。このような要求に応えるため、携帯デバイスやカメラデバイス向けの接続インタフェースとして、ＭＩＰＩアライアンスが策定したＣ－ＰＨＹ規格やＤ－ＰＨＹ規格といった高速インタフェース規格の標準化が進められている。Ｃ－ＰＨＹ規格やＤ－ＰＨＹ規格は、通信プロトコルの物理層（ｐｈｙｓｉｃａｌ ｌａｙｅｒ：ＰＨＹ）のインタフェース規格である。また、Ｃ－ＰＨＹ規格やＤ－ＰＨＹ規格の上位プロトコル・レイヤとして、携帯デバイスのディスプレイ向けのＤＳＩや、カメラデバイス向けのＣＳＩが存在する。

【0012】

本開示の前提技術に係る映像伝送システム１は、種々の規格で信号を送受信できるシステムであり、例えばＭＩＰＩＣＳＩ－２規格、ＭＩＰＩＣＳＩ－３規格、又は、ＭＩＰＩＤＳＩ規格で信号を送受信することができる。図１は、本開示の前提技術に係る映像伝送システム１の概要を表したものである。映像伝送システム１は、データ信号、クロック信号及び制御信号の伝送に適用されるものであり、映像送信装置１００及び映像受信装置２００を備えている。映像伝送システム１は、映像送信装置１００と映像受信装置２００とに跨がって、例えば画像データ等のデータ信号を伝送するデータレーンＤＬと、クロック信号を伝送するクロックレーンＣＬと、制御信号を伝送するカメラ制御インタフェースＣＣＩとを備えている。図１には、１つのデータレーンＤＬが設けられている例が示されているが、複数のデータレーンＤＬが設けられていてもよい。カメラ制御インタフェースＣＣＩは、Ｉ２Ｃ（Ｉｎｔｅｒ－Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）規格と互換性を有する双方向制御インタフェースである。

【0013】

映像送信装置１００は、ＭＩＰＩＣＳＩ－２規格、ＭＩＰＩＣＳＩ－３規格、又は、ＭＩＰＩＤＳＩ規格で信号を送出する装置である。ＣＳＩトランスミッタ１００Ａと、ＣＣＩスレーブ１００Ｂとを有している。映像受信装置２００は、ＣＳＩレシーバ２００Ａと、ＣＣＩマスター２００Ｂとを有している。クロックレーンＣＬにおいて、ＣＳＩトランスミッタ１００ＡとＣＳＩレシーバ２００Ａとの間は、クロック信号線で接続されている。データレーンＤＬにおいて、ＣＳＩトランスミッタ１００ＡとＣＳＩレシーバ２００Ａとの間は、クロック信号線で接続されている。カメラ制御インタフェースＣＣＩにおいて、ＣＣＩスレーブ１００ＢとＣＣＩマスター２００Ｂとの間は、制御信号線で接続されている。

【0014】

ＣＳＩトランスミッタ１００Ａは、例えば、クロック信号として差動のクロック信号を生成し、クロック信号線に出力する差動信号送信回路である。ＣＳＩトランスミッタ１００Ａは、差動に限られず、シングルエンドや３相の信号も送信できるように構成可能である。ＣＳＩトランスミッタ１００Ａは、さらに、データ信号として差動のデータ信号を生成し、データ信号線に出力する差動信号送信回路でもある。ＣＳＩレシーバ２００Ａは、クロック信号として差動のクロック信号を、クロック信号線を介して受信し、受信した差動のクロック信号に対して所定の処理を行う差動信号受信回路である。ＣＳＩレシーバ２００Ａは、さらに、データ信号として差動のデータ信号を、データ信号線を介して受信し、受信した差動のデータ信号に対して所定の処理を行う差動信号受信回路でもある。

【0015】

（映像送信装置１００）
図２は、映像送信装置１００の構成の一例を表したものである。映像送信装置１００は、ＣＳＩトランスミッタ１００Ａの一具体例に相当する。映像送信装置１００は、例えば、撮像部１１０、画像処理部１２０，１３０及び送信部１４０を備えている。映像送信装置１００は、撮像部１１０で得られた撮像画像１１１に対して所定の処理を行うことにより生成した伝送データ１４７Ａを、データレーンＤＬを介して映像受信装置２００に送信する。図３は、伝送データ１４７Ａの生成手順の一例したものである。

【0016】

撮像部１１０は、例えば、光学レンズなどを通して得られた光学的な画像信号を画像データに変換する。撮像部１１０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを含んで構成されている。撮像部１１０は、アナログ－デジタル変換回路を有しており、アナログの画像データをデジタルの画像データに変換する。変換した後のデータ形式は、各画素の色を輝度成分Ｙ及び色差成分Ｃｂ，Ｃｒで表現するＹＣｂＣｒ形式であってもよいし、ＲＧＢ形式などであってもよい。撮像部１１０は、撮像により得られた撮像画像１１１（デジタルの画像データ）を画像処理部１２０に出力する。

【0017】

画像処理部１２０は、撮像部１１０から入力された撮像画像１１１に対して所定の処理を行う回路である。前提技術１では、画像処理部１２０は、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、撮像部１１０から入力された撮像画像１１１に対して所定の処理を行う場合について説明する。しかしながら、前提技術１では、映像送信装置１００、すなわち送信側がＲＯＩの切り出しの座標指示する場合も適用できある。この場合、送信側は例えば、受信側から送出されるＲＯＩで取得すべき「人物」や「物体」等の情報を受信して切り出しの座標を判断および指示するように構成される。これにより、画像処理部１２０は、種々のデータ（１２０Ａ，１２０Ｂ，１２０Ｃ）を生成し、送信部１４０に出力する。画像処理部１３０は、撮像部１１０から入力された撮像画像１１１に対して所定の処理を行う回路である。画像処理部１３０は、通常画像の出力を指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、撮像部１１０から入力された撮像画像１１１に対して所定の処理を行う。これにより、画像処理部１３０は、画像データ１３０Ａを生成し、送信部１４０に出力する。

【0018】

画像処理部１３０は、例えば、エンコード部１３１を有している。エンコード部１３１は、撮像画像１１１をエンコードして圧縮像データ１３０Ａを生成する。画像処理部１３０は、例えば、圧縮像データ１３０Ａの形式として、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に準拠した圧縮形式等により撮像画像１１１を圧縮する。

【0019】

画像処理部１２０は、例えば、ＲＯＩ切り出し部１２１、ＲＯＩ解析部１２２、重なり検出部１２３、優先度設定部１２４、エンコード部１２５及び画像処理制御部１２６を有している。

【0020】

ＲＯＩ切り出し部１２１は、撮像部１１０から入力された撮像画像１１１に含まれる撮影対象の１又は複数の物体を特定し、特定した物体ごとに注目領域ＲＯＩを設定する。注目領域ＲＯＩは、例えば、特定した物体を含む方形状の領域である。ＲＯＩ切り出し部１２１は、撮像画像１１１から、各注目領域ＲＯＩの画像（例えば図３中のＲＯＩ画像１１２）を切り出す。ＲＯＩ切り出し部１２１は、さらに、設定した注目領域ＲＯＩごとに、識別子として領域番号を付与する。ＲＯＩ切り出し部１２１は、例えば、撮像画像１１１において、２つの注目領域ＲＯＩを設定した場合には、一方の注目領域ＲＯＩ（例えば図３中の注目領域ＲＯＩ１）に対して、領域番号１を付与し、他方の注目領域ＲＯＩ（例えば図３中の注目領域ＲＯＩ２）に対して、領域番号２を付与する。ＲＯＩ切り出し部１２１は、例えば、付与した識別子（領域番号）を記憶部に格納する。ＲＯＩ切り出し部１２１は、例えば、撮像画像１１１から切り出した各ＲＯＩ画像１１２を記憶部に格納する。ＲＯＩ切り出し部１２１は、さらに、例えば、各注目領域ＲＯＩに付与した識別子（領域番号）を、ＲＯＩ画像１１２と関連づけて、記憶部に格納する。

【0021】

ＲＯＩ解析部１２２は、注目領域ＲＯＩごとに、撮像画像１１１における注目領域ＲＯＩの位置情報１１３を導出する。位置情報１１３は、例えば、注目領域ＲＯＩの左上端座標（Ｘａ，Ｙａ）と、注目領域ＲＯＩのＸ軸方向の長さと、注目領域ＲＯＩのＹ軸方向の長さとによって構成されている。注目領域ＲＯＩのＸ軸方向の長さは、例えば、注目領域ＲＯＩのＸ軸方向の物理領域長さＸＬａである。注目領域ＲＯＩのＹ軸方向の長さは、例えば、注目領域ＲＯＩのＹ軸方向の物理領域長さＹＬａである。物理領域長さとは、注目領域ＲＯＩの物理的な長さ（データ長）を指している。位置情報１１３において、注目領域ＲＯＩの左上端とは異なる位置の座標が含まれていてもよい。ＲＯＩ解析部１２２は、例えば、導出した位置情報１１３を記憶部に格納する。ＲＯＩ解析部１２２は、例えば、注目領域ＲＯＩに対して付与された識別子（領域番号）と関連づけて、記憶部に格納する。

【0022】

ＲＯＩ解析部１２２は、注目領域ＲＯＩごとに、位置情報１１３として、さらに、例えば、注目領域ＲＯＩのＸ軸方向の出力領域長さＸＬｃや、注目領域ＲＯＩのＹ軸方向の出力領域長さＹＬｃを導出してもよい。出力領域長さとは、例えば、注目領域ＲＯＩに対して間引き処理や画素加算などによる解像度変更がなされた後の注目領域ＲＯＩの物理的な長さ（データ長）である。ＲＯＩ解析部１２２は、例えば、注目領域ＲＯＩごとに、位置情報１１３の他に、例えば、センシングインフォメーション、露光情報、ゲイン情報、ＡＤ（Analog-Digital）語長、画像フォーマットなどを導出し、記憶部に格納してもよい。

【0023】

センシングインフォメーションとは、注目領域ＲＯＩに含まれる物体についての演算内容や、ＲＯＩ画像１１２に対する後段信号処理のための補足情報などを指している。露光情報とは、注目領域ＲＯＩの露光時間を指している。ゲイン情報とは、注目領域ＲＯＩのゲイン情報を指している。ＡＤ語長とは、注目領域ＲＯＩ内でＡＤ変換された１画素あたりのデータの語長を指している。画像フォーマットとは、注目領域ＲＯＩの画像のフォーマットを指している。ＲＯＩ解析部１２２は、例えば、撮像画像１１１に含まれる注目領域ＲＯＩの数（ＲＯＩ数）を導出し、記憶部に格納してもよい。

【0024】

重なり検出部１２３は、撮像画像１１１において、撮影対象の複数の物体が特定されたときには、撮像画像１１１における複数の注目領域ＲＯＩの位置情報１１３に基づいて、２以上の注目領域ＲＯＩ同士が重なり合う重なり領域（ＲＯＯ（Ｒｅｇｉｏｎ Ｏｆ Ｏｖｅｒｌａｐ））を検出する。つまり、重なり検出部１２３は、重なり領域ＲＯＯごとに、撮像画像１１１における重なり領域ＲＯＯの位置情報１１４を導出する。重なり検出部１２３は、例えば、導出した位置情報１１４を記憶部に格納する。重なり検出部１２３は、例えば、導出した位置情報１１４を重なり領域ＲＯＯと対応付けて、記憶部に格納する。重なり領域ＲＯＯは、例えば、互いに重なり合う２以上の注目領域ＲＯＩにおいて最も小さな注目領域ＲＯＩと同じ大きさか、それよりも小さな方形状の領域である。位置情報１１４は、例えば、重なり領域ＲＯＯの左上端座標（Ｘｂ，Ｙｂ）と、重なり領域ＲＯＯのＸ軸方向の長さと、重なり領域ＲＯＯのＹ軸方向の長さとによって構成されている。重なり領域ＲＯＯのＸ軸方向の長さは、例えば、物理領域長さＸＬｂである。重なり領域ＲＯＯのＹ軸方向の長さは、例えば、物理領域長さＹＬｂである。位置情報１１４において、注目領域ＲＯＩの左上端とは異なる位置の座標が含まれていてもよい。

【0025】

優先度設定部１２４は、撮像画像１１１において、注目領域ＲＯＩごとに優先度１１５を付与する。優先度設定部１２４は、例えば、付与した優先度１１５を記憶部に格納する。優先度設定部１２４は、例えば、付与した優先度１１５を注目領域ＲＯＩと対応付けて、記憶部に格納する。優先度設定部１２４は、注目領域ＲＯＩごとに付与されている領域番号とは別に、優先度１１５を注目領域ＲＯＩごとに付与してもよいし、注目領域ＲＯＩごとに付与されている領域番号を、優先度１１５の代わりとしてもよい。優先度設定部１２４は、例えば、優先度１１５を注目領域ＲＯＩと関連付けて、記憶部に格納してもよいし、注目領域ＲＯＩごとに付与されている領域番号を注目領域ＲＯＩと関連付けて、記憶部に格納してもよい。

【0026】

優先度１１５は、各注目領域ＲＯＩの識別子であり、撮像画像１１１における複数の注目領域ＲＯＩのいずれに対して重なり領域ＲＯＯの割愛が行われたかを判別することの可能な判別情報である。優先度設定部１２４は、例えば、それぞれが重なり領域ＲＯＯを含む２つの注目領域ＲＯＩにおいて、一方の注目領域ＲＯＩに対して優先度１１５として１を付与し、他方の注目領域ＲＯＩに対して優先度１１５として２を付与する。この場合には、後述の伝送画像１１６の作成に際して、優先度１１５の数値が大きい方の注目領域ＲＯＩに対して、重なり領域ＲＯＯの割愛が行われる。なお、優先度設定部１２４は、注目領域ＲＯＩごとに付与されている領域番号と同じ番号を、注目領域ＲＯＩに対して優先度１１５として付与してもよい。優先度設定部１２４は、例えば、各注目領域ＲＯＩに付与した優先度１１５を、ＲＯＩ画像１１２と関連づけて、記憶部に格納する。

【0027】

エンコード部１２５は、各伝送画像１１６を、エンコードして圧縮像データ１２０Ａを生成する。エンコード部１２５は、例えば、圧縮像データ１２０Ａの形式として、ＪＰＥＧ規格に準拠した圧縮形式等により各伝送画像１１６を圧縮する。エンコード部１２５は、上記の圧縮処理を行う前に、各伝送画像１１６を生成する。エンコード部１２５は、撮像画像１１１から得られた複数のＲＯＩ画像１１２において重なり領域ＲＯＯの画像１１８が重複して含まれないように、撮像画像１１１から得られた複数のＲＯＩ画像１１２から画像１１８を割愛したものである複数の伝送画像１１６を生成する。

【0028】

エンコード部１２５は、例えば、注目領域ＲＯＩごとに付与されている優先度１１５に基づいて、複数のＲＯＩ画像１１２のいずれに対して画像１１８の割愛を行うかを決定する。なお、エンコード部１２５は、例えば、注目領域ＲＯＩごとに付与されている領域番号を優先度１１５として用いることにより、複数のＲＯＩ画像１１２のいずれに対して画像１１８の割愛を行うかを決定してもよい。エンコード部１２５は、上記のようにして特定されたＲＯＩ画像１１２において画像１１８を割愛したものを、伝送画像１１６（例えば図３の伝送画像１１６ａ２）とする。エンコード部１２５は、重なり領域ＲＯＯを含まないＲＯＩ画像１１２や、上記の決定により画像１１８が割愛されないこととなったＲＯＩ画像１１２については、ＲＯＩ画像１１２そのものを伝送画像１１６（例えば図３の伝送画像１１６ａ１）とする。

【0029】

画像処理制御部１２６は、ＲＯＩ情報１２０Ｂ及びフレーム情報１２０Ｃを生成し、送信部１４０に送信する。ＲＯＩ情報１２０Ｂは、例えば、各位置情報１１３を含んでいる。ＲＯＩ情報１２０Ｂは、さらに、例えば、各注目領域ＲＯＩのデータタイプ、撮像画像１１１に含まれる注目領域ＲＯＩの数、各注目領域ＲＯＩの領域番号（又は優先度１１５）、各注目領域ＲＯＩのデータ長、及び各注目領域ＲＯＩの画像フォーマットのうち少なくとも１つを含んでいる。フレーム情報１２０Ｃは、例えば、フレームごとに付与されるバーチャルチャネルの番号、各注目領域ＲＯＩのデータタイプ、ラインごとのペイロード（Ｐａｙｌｏａｄ）長などを含んでいる。データタイプには、例えば、ＹＵＶデータ、ＲＧＢデータ又はＲＡＷデータなどが含まれている。データタイプには、さらに、例えば、ＲＯＩ形式のデータ又は通常形式のデータなどが含まれている。ペイロード長は、例えば、ロングパケット（ＬｏｎｇＰａｃｋｅｔ）のペイロードに含まれるピクセル数であり、例えば、注目領域ＲＯＩごとのピクセル数である。ここで、ペイロードとは、映像送信装置１００及び映像受信装置２００の間で伝送される主要なデータ（アプリケーションデータ）を指している。ロングパケットとは、パケットヘッダＰＨとパケットフッタＰＦとの間に配置されるパケットを指している。

【0030】

送信部１４０は、画像処理部１２０，１３０から入力された種々のデータ（１２０Ａ，１２０Ｂ，１２０Ｃ，１３０Ａ）に基づいて伝送データ１４７Ａを生成し、送出する回路である。送信部１４０は、撮像画像１１１における各注目領域ＲＯＩについてのＲＯＩ情報１２０Ｂをエンベデッドデータ（ＥｍｂｅｄｄｅｄＤａｔａ）で送出する。送信部１４０は、さらに、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）をロングパケットのペイロードデータ（ＰａｙｌｏａｄＤａｔａ）で送出する。このとき、送信部１４０は、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）を互いに共通のバーチャルチャネルで送出する。また、送信部１４０は、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）を画像データフレームによって送出するとともに、各注目領域ＲＯＩについてのＲＯＩ情報１２０Ｂを画像データフレームのヘッダで送出する。送信部１４０は、また、通常画像の出力を指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、通常の画像データ（圧縮像データ１３０Ａ）をロングパケットのペイロードデータで送出する。

【0031】

送信部１４０は、例えば、ＬＩＮＫ制御部１４１、ＥＣＣ生成部１４２、ＰＨ生成部１４３、ＥＢＤバッファ１４４、ＲＯＩデータバッファ１４５、通常画像データバッファ１４６及び合成部１４７を有している。ＬＩＮＫ制御部１４１、ＥＣＣ生成部１４２、ＰＨ生成部１４３、ＥＢＤバッファ１４４及びＲＯＩデータバッファ１４５は、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、合成部１４７への出力を行う。通常画像データバッファ１４６は、通常画像の出力を指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、合成部１４７への出力を行う。

【0032】

なお、ＲＯＩデータバッファ１４５が、通常画像データバッファ１４６を兼ねていてもよい。この場合、送信部１４０は、ＲＯＩデータバッファ１４５及びＲＯＩデータバッファ１４５のそれぞれの出力端と、合成部１４７の入力端との間に、ＲＯＩデータバッファ１４５及びＲＯＩデータバッファ１４５のいずれかの出力を選択するセレクタを有していてもよい。

【0033】

ＬＩＮＫ制御部１４１は、例えば、フレーム情報１２０ＣをラインごとにＥＣＣ生成部１４２及びＰＨ生成部１４３に出力する。ＥＣＣ生成部１４２は、例えば、フレーム情報１２０Ｃにおける１ラインのデータ（例えば、バーチャルチャネルの番号、各注目領域ＲＯＩのデータタイプ、ラインごとのペイロード長など）に基づいて、そのラインの誤り訂正符号を生成する。ＥＣＣ生成部１４２は、例えば、生成した誤り訂正符号をＰＨ生成部１４３に出力する。ＰＨ生成部１４３は、例えば、フレーム情報１２０Ｃと、ＥＣＣ生成部１４２で生成された誤り訂正符号とを用いて、１ラインごとにパケットヘッダＰＨを生成する。このとき、パケットヘッダＰＨは、例えば、図４に示したように、ロングパケットのペイロードデータのパケットヘッダである。このパケットヘッダＰＨには、例えば、ＤＩ、ＷＣ及びＥＣＣが含まれている。ＷＣは、映像受信装置２００に対してパケットの終わりをワード数で示すための領域である。ＷＣには、例えば、ペイロード長が含まれており、例えば、注目領域ＲＯＩごとのピクセル数が含まれている。ＥＣＣは、ビットエラーを修正するための値を格納する領域である。ＥＣＣには、誤り訂正符号が含まれている。ＤＩは、データ識別子を格納する領域である。ＤＩには、ＶＣ（バーチャルチャネル）の番号及びＤａｔａＴｙｐｅ（各注目領域ＲＯＩのデータタイプ）が含まれている。ＶＣ（バーチャルチャネル）は、パケットのフロー制御のために導入された概念であり、同一のリンクを共用する複数の独立したデータストリームをサポートするためのメカニズムである。ＰＨ生成部１４３は、生成したパケットヘッダＰＨを合成部１４７に出力する。

【0034】

ＥＢＤバッファ１４４は、ＲＯＩ情報１２０Ｂを一次的に格納し、所定のタイミングでＲＯＩ情報１２０Ｂをエンベデッドデータとして合成部１４７に出力する。エンベデッドデータとは、画像データフレーム（後述の図５参照）のヘッダ又はフッタに埋め込むことの可能な追加情報を指している。エンベデッドデータには、例えば、ＲＯＩ情報１２０Ｂが含まれている。

【0035】

ＲＯＩデータバッファ１４５は、圧縮像データ１２０Ａを一次的に格納し、所定のタイミングで圧縮像データ１２０Ａをロングパケットのペイロードデータとして合成部１４７に出力する。ＲＯＩデータバッファ１４５は、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、圧縮像データ１２０Ａをロングパケットのペイロードデータとして合成部１４７に出力する。通常画像データバッファ１４６は、圧縮像データ１３０Ａを一次的に格納し、所定のタイミングで圧縮像データ１３０Ａをロングパケットのペイロードデータとして合成部１４７に出力する。通常画像データバッファ１４６は、通常画像の出力を指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、圧縮像データ１３０Ａをロングパケットのペイロードデータとして合成部１４７に出力する。

【0036】

合成部１４７は、通常画像の出力を指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、入力されたデータ（圧縮像データ１３０Ａ）に基づいて、伝送データ１４７Ａを生成する。合成部１４７は、生成した伝送データ１４７Ａを、データレーンＤＬを介して映像受信装置２００に出力する。一方、合成部１４７は、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、入力された各種データ（パケットヘッダＰＨ、ＲＯＩ情報１２０Ｂ、及び圧縮像データ１２０Ａ）に基づいて、伝送データ１４７Ａを生成する。合成部１４７は、生成した伝送データ１４７Ａを、データレーンＤＬを介して映像受信装置２００に出力する。つまり、合成部１４７は、ＤａｔａＴｙｐｅ（各注目領域ＲＯＩのデータタイプ）をロングパケットのペイロードデータのパケットヘッダＰＨに含めて送出する。また、合成部１４７は、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）を互いに共通のバーチャルチャネルで送出する。

【0037】

伝送データ１４７Ａは、例えば、図５に示したような画像データフレームによって構成されている。画像データフレームは、通常、ヘッダ領域、パケット領域、及びフッタ領域を有している。図５では、便宜的に、フッタ領域の記載が省略されている。伝送データ１４７Ａのフレームヘッダ領域Ｒ１には、エンベデッドデータが含まれている。このとき、エンベデッドデータには、ＲＯＩ情報１２０Ｂが含まれている。図５において、伝送データ１４７Ａのパケット領域Ｒ２には、１ラインごとに、ロングパケットのペイロードデータが含まれており、さらに、ロングパケットのペイロードデータを挟み込む位置にパケットヘッダＰＨ及びパケットフッタＰＦが含まれている。さらに、パケットヘッダＰＨとパケットフッタＰＦを挟み込む位置にローパワーモードＬＰが含まれている。

【0038】

このとき、パケットヘッダＰＨには、例えば、ＤＩ、ＷＣ及びＥＣＣが含まれている。ＷＣには、例えば、ペイロード長が含まれており、例えば、注目領域ＲＯＩごとのピクセル数が含まれている。ＥＣＣには、誤り訂正符号が含まれている。ＤＩには、ＶＣ（バーチャルチャネルの番号）及びＤａｔａＴｙｐｅ（各注目領域ＲＯＩのデータタイプ）が含まれている。本実施の形態では、各ラインのＶＣには、互いに共通のバーチャルチャネルの番号が付与されている。また、図５において、伝送データ１４７Ａのパケット領域Ｒ２には、圧縮像データ１４７Ｂが含まれている。圧縮像データ１４７Ｂは、１つの圧縮像データ１２０Ａ、又は複数の圧縮像データ１２０Ａによって構成されている。ここで、図５において、パケットヘッダＰＨ寄りのパケット群には、例えば、図３中の伝送画像１１６ａ１の圧縮像データ１２０Ａ（１２０Ａ１）が含まれており、パケットヘッダＰＨから離れたパケット群には、例えば、図３中の伝送画像１１６ａ２の圧縮像データ１２０Ａ（１２０Ａ２）が含まれている。これら２つの圧縮像データ１２０Ａ１，１２０Ａ２によって圧縮像データ１４７Ｂが構成されている。各ラインのロングパケットのペイロードデータには、圧縮像データ１４７Ｂにおける１ライン分のピクセルデータが含まれている。

【0039】

図６は、伝送データ１４７Ａの構成例を表したものである。伝送データ１４７Ａは、例えば、フレームヘッダ領域Ｒ１及びパケット領域Ｒ２を含んでいる。なお、図６には、フレームヘッダ領域Ｒ１の中身が詳細に例示されている。また、図６では、ローパワーモードＬＰが省略されている。

【0040】

フレームヘッダ領域Ｒ１には、例えば、伝送データ１４７Ａの識別子としてのフレーム番号Ｆ１が含まれている。フレームヘッダ領域Ｒ１は、パケット領域Ｒ２に含まれる圧縮像データ１４７Ｂについての情報を含んでいる。フレームヘッダ領域Ｒ１は、例えば、圧縮像データ１４７Ｂに含まれる圧縮像データ１２０Ａの数（ＲＯＩ数）と、圧縮像データ１４７Ｂに含まれる各圧縮像データ１２０Ａに対応するＲＯＩ画像１１２についての情報（ＲＯＩ情報１２０Ｂ）とを含んでいる。

【0041】

合成部１４７は、例えば、伝送データ１４７Ａのパケット領域Ｒ２において、圧縮像データ１４７Ｂを、圧縮像データ１２０Ａの画素行ごとに分けて配置する。したがって、伝送データ１４７Ａのパケット領域Ｒ２には、重なり領域ＲＯＯの画像１１８に対応する圧縮像データが重複して含まれていない。また、合成部１４７は、例えば、伝送データ１４７Ａのパケット領域Ｒ２において、撮像画像１１１のうち各伝送画像１１６と対応しない画素行を割愛している。したがって、伝送データ１４７Ａのパケット領域Ｒ２には、撮像画像１１１のうち各伝送画像１１６に対応しない画素行は含まれていない。なお、図６のパケット領域Ｒ２において、破線で囲んだ箇所が、重なり領域ＲＯＯの画像１１８の圧縮像データに相当する。

【0042】

パケットヘッダＰＨ寄りのパケット群（例えば図６中の１（ｎ））と、パケットヘッダＰＨから離れたパケット群（例えば図６中の２（１））との境界は、パケットヘッダＰＨ寄りのパケット群（例えば図６中の１（ｎ））の圧縮像データに対応するＲＯＩ画像１１２の物理領域長さＸＬａ１によって特定される。パケットヘッダＰＨ寄りのパケット群（例えば図６中の１（ｎ））に含まれる重なり領域ＲＯＯの画像１１８に対応する圧縮像データにおいて、パケットの開始位置は、パケットヘッダＰＨから離れたパケット群（例えば図６中の２（１））に対応するＲＯＩ画像１１２の物理領域長さＸＬａ２によって特定される。

【0043】

合成部１４７は、例えば、伝送データ１４７Ａのパケット領域Ｒ２において、１ラインごとに、ロングパケットのペイロードデータを生成する際に、ロングパケットのペイロードデータに、例えば、圧縮像データ１４７Ｂにおける１ライン分のピクセルデータの他に、例えば、図７に示したように、ＲＯＩ情報１２０Ｂを含めてもよい。つまり、合成部１４７は、ＲＯＩ情報１２０Ｂをロングパケットのペイロードデータに含めて送出してもよい。このとき、ＲＯＩ情報１２０Ｂは、例えば、図７（Ａ）～図７（Ｋ）に示したように、撮像画像１１１に含まれる注目領域ＲＯＩの数（ＲＯＩ数）、各注目領域ＲＯＩの領域番号（又は優先度１１５）、各注目領域ＲＯＩのデータ長、及び各注目領域ＲＯＩの画像フォーマットのうち少なくとも１つを含んでいる。ＲＯＩ情報１２０Ｂは、ロングパケットのペイロードデータにおいて、パケットヘッダＰＨ側の端部（つまり、ロングパケットのペイロードデータの先頭）に配置されることが好ましい。

【0044】

（映像受信装置２００）
次に、映像受信装置２００について説明する。図８は、映像受信装置２００の構成の一例を表したものである。図９は、映像受信装置２００におけるＲＯＩ画像２２３Ａの生成手順の一例を表したものである。映像受信装置２００は、映像送信装置１００と共通の規格（例えば、ＭＩＰＩＣＳＩ－２規格、ＭＩＰＩＣＳＩ－３規格、又は、ＭＩＰＩＤＳＩ規格）で信号を受信する装置である。映像受信装置２００は、例えば、受信部２１０及び情報処理部２２０を有している。受信部２１０は、映像送信装置１００から出力された伝送データ１４７Ａを、データレーンＤＬを介して受信し、受信した伝送データ１４７Ａに対して所定の処理を行うことにより、種々のデータ（２１４Ａ，２１５Ａ，２１５Ｂ）を生成し、情報処理部２２０に出力する回路である。情報処理部２２０は、受信部２１０から受信した種々のデータ（２１４Ａ，２１５Ａ）に基づいて、ＲＯＩ画像２２３Ａを生成したり、受信部２１０から受信したデータ（２１５Ｂ）に基づいて、通常画像２２４Ａを生成したりする回路である。

【0045】

受信部２１０は、例えば、ヘッダ分離部２１１、ヘッダ解釈部２１２、ペイロード分離部２１３、ＥＢＤ解釈部２１４及びＲＯＩデータ分離部２１５を有している。

【0046】

ヘッダ分離部２１１は、伝送データ１４７Ａを、データレーンＤＬを介して映像送信装置１００から受信する。つまり、ヘッダ分離部２１１は、撮像画像１１１における各注目領域ＲＯＩについてのＲＯＩ情報１２０Ｂをエンベデッドデータに含むとともに、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）をロングパケットのペイロードデータに含む伝送データ１４７Ａを受信する。ヘッダ分離部２１１は、受信した伝送データ１４７Ａをフレームヘッダ領域Ｒ１とパケット領域Ｒ２とに分離する。ヘッダ解釈部２１２は、フレームヘッダ領域Ｒ１に含まれるデータ（具体的にはエンベデッドデータ）に基づいて、パケット領域Ｒ２に含まれるロングパケットのペイロードデータの位置を特定する。ペイロード分離部２１３は、ヘッダ解釈部２１２によって特定されたロングパケットのペイロードデータの位置に基づいて、パケット領域Ｒ２に含まれるロングパケットのペイロードデータを、パケット領域Ｒ２から分離する。

【0047】

ＥＢＤ解釈部２１４は、エンベデッドデータをＥＢＤデータ２１４Ａとして、情報処理部２２０に出力する。ＥＢＤ解釈部２１４は、さらに、エンベデッドデータに含まれるデータタイプから、ロングパケットのペイロードデータに含まれる画像データがＲＯＩの画像データ１１６の圧縮像データ１２０Ａであるか、又は、通常画像データの圧縮像データ１３０Ａであるか判別する。ＥＢＤ解釈部２１４は、判別結果をＲＯＩデータ分離部２１５に出力する。

【0048】

ロングパケットのペイロードデータに含まれる画像データがＲＯＩの画像データ１１６の圧縮像データ１２０Ａである場合、ＲＯＩデータ分離部２１５は、ロングパケットのペイロードデータをペイロードデータ２１５Ａとして、情報処理部２２０（具体的にはＲＯＩデコード部２２２）に出力する。ペイロードデータに含まれる画像データが通常画像データの圧縮像データ１３０Ａである場合、ＲＯＩデータ分離部２１５は、ロングパケットのペイロードデータをペイロードデータ２１５Ｂとして、情報処理部２２０（具体的には通常画像デコード部２２４）に出力する。ロングパケットのペイロードデータにＲＯＩ情報１２０Ｂが含まれている場合には、ペイロードデータ２１５Ａは、ＲＯＩ情報１２０Ｂと、圧縮像データ１４７Ｂのうち１ライン分のピクセルデータとを含んでいる。

【0049】

情報処理部２２０は、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ情報１２０Ｂを抽出する。情報処理部２２０は、情報抽出部２２１で抽出したＲＯＩ情報１２０Ｂに基づいて、受信部２１０で受信した伝送データ１４７Ａに含まれるロングパケットのペイロードデータから、撮像画像１１１における各注目領域ＲＯＩの画像（ＲＯＩ画像１１２）を抽出する。情報処理部２２０は、例えば、情報抽出部２２１、ＲＯＩデコード部２２２、ＲＯＩ画像生成部２２３及び通常画像デコード部２２４を有している。

【0050】

通常画像デコード部２２４は、ペイロードデータ２１５Ｂをデコードし、通常画像２２４Ａを生成する。ＲＯＩデコード部２２２は、ペイロードデータ２１５Ａに含まれる圧縮像データ１４７Ｂをデコードし、画像データ２２２Ａを生成する。この画像データ２２２Ａは、１又は複数の伝送画像１１６によって構成されている。

【0051】

情報抽出部２２１は、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ情報１２０Ｂを抽出する。情報抽出部２２１は、例えば、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、例えば、撮像画像１１１に含まれる注目領域ＲＯＩの数、各注目領域ＲＯＩの領域番号（又は優先度１１５）、各注目領域ＲＯＩのデータ長、及び各注目領域ＲＯＩの画像フォーマットを抽出する。つまり、伝送データ１４７Ａは、当該伝送データ１４７Ａから得られる複数の伝送画像１１６のいずれに対して重なり領域ＲＯＯの画像１１８の割愛が行われたかを判別することの可能な判別情報として、各伝送画像１１６に対応する注目領域ＲＯＩの領域番号（又は優先度１１５）を含んでいる。

【0052】

ＲＯＩ画像生成部２２３は、情報抽出部２２１で得られたＲＯＩ情報１２０Ｂに基づいて、２以上の注目領域ＲＯＩ同士が重なり合う重なり領域ＲＯＯを検出する。

【0053】

情報抽出部２２１が、例えば、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ画像１１２ａ１に対応する注目領域ＲＯＩの座標（例えば左上端座標（Ｘａ１，Ｙａ１））、長さ（例えば物理領域長さＸＬａ１，ＹＬａ１）及び領域番号１（又は優先度１１５（＝１））を抽出する。情報抽出部２２１が、さらに、例えば、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ画像１１２ａ２に対応する注目領域ＲＯＩの座標（例えば左上端座標（Ｘａ２，Ｙａ２））、長さ（例えば物理領域長さＸＬａ２，ＹＬａ２）及び領域番号２（又は優先度１１５（＝２））を抽出する。

【0054】

このとき、ＲＯＩ画像生成部２２３は、抽出したこれらの情報（以下、「抽出情報２２１Ａ」と称する。）に基づいて、重なり領域ＲＯＯの位置情報１１４を導出する。ＲＯＩ画像生成部２２３は、上記の重なり領域ＲＯＯの位置情報１１４として、例えば、重なり領域ＲＯＯの座標（例えば左上端座標（Ｘｂ１，Ｙｂ１））及び長さ（例えば物理領域長さＸＬｂ１，ＹＬｂ１）を導出する。

【0055】

なお、ＲＯＩ画像生成部２２３は、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータからＲＯＩ情報１２０Ｂを取得する代わりに、ペイロードデータ２１５ＡからＲＯＩ情報１２０Ｂを取得してもよい。この場合、ＲＯＩ画像生成部２２３は、ペイロードデータ２１５Ａに含まれるＲＯＩ情報１２０Ｂに基づいて、２以上の注目領域ＲＯＩ同士が重なり合う重なり領域ＲＯＯを検出してもよい。また、ＲＯＩ画像生成部２２３は、ペイロードデータ２１５Ａに含まれるＲＯＩ情報１２０Ｂから、抽出情報２２１Ａを抽出してもよく、そのようにして抽出した抽出情報２２１Ａに基づいて、重なり領域ＲＯＯの位置情報１１４を導出してもよい。

【0056】

ＲＯＩ画像生成部２２３は、さらに、画像データ２２２Ａと、抽出情報２２１Ａと、重なり領域ＲＯＯの位置情報１１４とに基づいて、撮像画像１１１における各注目領域ＲＯＩの画像（ＲＯＩ画像１１２ａ１，１１２ａ２）を生成する。ＲＯＩ画像生成部２２３は、生成した画像をＲＯＩ画像２２３Ａとして出力する。

【0057】

[手順]
次に、図３、図９を参考にして、映像伝送システム１におけるデータ伝送の手順の一例について説明する。

【0058】

まず、撮像部１１０は、撮像により得られた撮像画像１１１（デジタルの画像データ）を画像処理部１２０に出力する。ＲＯＩ切り出し部１２１は、撮像部１１０から入力された撮像画像１１１に含まれる２つの注目領域ＲＯＩ１，ＲＯＩ２を特定する。ＲＯＩ切り出し部１２１は、撮像画像１１１から、各注目領域ＲＯＩ１，ＲＯＩ２の画像（ＲＯＩ画像１１２ａ１，１１２ａ２）を切り出す。ＲＯＩ切り出し部１２１は、注目領域ＲＯＩ１に対して識別子として領域番号１を付与し、注目領域ＲＯＩ２に対して識別子として領域番号２を付与する。

【0059】

ＲＯＩ解析部１２２は、注目領域ＲＯＩごとに、撮像画像１１１における注目領域ＲＯＩの位置情報１１３を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ１に基づいて、注目領域ＲＯＩ１の左上端座標（Ｘａ１，Ｙａ１）と、注目領域ＲＯＩ１のＸ軸方向の長さ（ＸＬａ１）と、注目領域ＲＯＩ１のＹ軸方向の長さ（ＹＬａ１）とを導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ２に基づいて、注目領域ＲＯＩ２の左上端座標（Ｘａ２，Ｙａ２）と、注目領域ＲＯＩ２のＸ軸方向の長さ（ＸＬａ２）と、注目領域ＲＯＩ２のＹ軸方向の長さ（ＹＬａ２）とを導出する。

【0060】

重なり検出部１２３は、撮像画像１１１における２つの注目領域ＲＯＩ１，ＲＯＩ２の位置情報１１３に基づいて、２つの注目領域ＲＯＩ１，ＲＯＩ２同士が重なり合う重なり領域ＲＯＯを検出する。つまり、重なり検出部１２３は、撮像画像１１１における重なり領域ＲＯＯの位置情報１１４を導出する。重なり検出部１２３は、撮像画像１１１における重なり領域ＲＯＯの位置情報１１４として、重なり領域ＲＯＯの左上端座標（Ｘｂ１，Ｙｂ１）と、重なり領域ＲＯＯのＸ軸方向の長さ（ＸＬｂ１）と、重なり領域ＲＯＯのＹ軸方向の長さ（ＹＬｂ１）とを導出する。

【0061】

優先度設定部１２４は、２つの注目領域ＲＯＩ１，ＲＯＩ２において、一方の注目領域ＲＯＩ１に対して優先度１１５として１を付与し、他方の注目領域ＲＯＩ２に対して優先度１１５として２を付与する。

【0062】

エンコード部１２５は、２つの注目領域ＲＯＩ１，ＲＯＩ２において重なり領域ＲＯＯの画像１１８が重複して含まれないように、撮像画像１１１から得られた２つのＲＯＩ画像１１２ａ１，１１２ａ２から画像１１８を割愛したものである２つの伝送画像１１６ａ１，１１６ａ２を生成する。

【0063】

エンコード部１２５は、２つの注目領域ＲＯＩ１，ＲＯＩ２の領域番号（又は優先度１１５）に基づいて、２つのＲＯＩ画像１１２ａ１，１１２ａ２のいずれに対して画像１１８の割愛を行うかを決定する。エンコード部１２５は、２つの注目領域ＲＯＩ１，ＲＯＩ２において、領域番号（又は優先度１１５）の大きい方である注目領域ＲＯＩ２に対応するＲＯＩ画像１１２ａ２に対して画像１１８の割愛を行い、これにより、伝送画像１１６ａ２を生成する。エンコード部１２５は、２つの注目領域ＲＯＩ１，ＲＯＩ２において、領域番号（又は優先度１１５）の小さな方である注目領域ＲＯＩ１に対応するＲＯＩ画像１１２ａ１については、ＲＯＩ画像１１２ａ１そのものを伝送画像１１６ａ１とする。

【0064】

画像処理制御部１２６は、ＲＯＩ情報１２０Ｂ及びフレーム情報１２０Ｃを生成し、送信部１４０に送信する。送信部１４０は、画像処理部１２０，１３０から入力された種々のデータ（１２０Ａ，１２０Ｂ，１２０Ｃ，１３０Ａ）に基づいて伝送データ１４７Ａを生成する。送信部１４０は、生成した伝送データ１４７Ａを、データレーンＤＬを介して映像受信装置２００に送出する。

【0065】

受信部２１０は、映像送信装置１００から出力された伝送データ１４７Ａを、データレーンＤＬを介して受信する。受信部２１０は、受信した伝送データ１４７Ａに対して所定の処理を行うことにより、ＥＢＤデータ２１４Ａ及びペイロードデータ２１５Ａを生成し、情報処理部２２０に出力する。

【0066】

情報抽出部２２１は、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ情報１２０Ｂを抽出する。情報抽出部２２１は、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ画像１１２ａ１に対応する注目領域ＲＯＩの座標（例えば左上端座標（Ｘａ１，Ｙａ１））、長さ（例えば物理領域長さＸＬａ１，ＹＬａ１）及び領域番号１（又は優先度１１５（＝１））を抽出する。情報抽出部２２１は、さらに、ＲＯＩ画像１１２ａ２に対応する注目領域ＲＯＩの座標（例えば左上端座標（Ｘａ２，Ｙａ２））、長さ（例えば物理領域長さＸＬａ２，ＹＬａ２）及び領域番号２（又は優先度１１５（＝２））を抽出する。ＲＯＩデコード部２２２は、ペイロードデータ２１５Ａに含まれる圧縮像データ１４７Ｂをデコードし、画像データ２２２Ａを生成する。

【0067】

ＲＯＩ画像生成部２２３は、抽出したこれらの情報（抽出情報２２１Ａ）に基づいて、重なり領域ＲＯＯの位置情報１１４を導出する。ＲＯＩ画像生成部２２３は、上記の重なり領域ＲＯＯの位置情報１１４として、例えば、重なり領域ＲＯＯの座標（例えば左上端座標（Ｘｂ１，Ｙｂ１））及び長さ（例えば物理領域長さＸＬｂ１，ＹＬｂ１）を導出する。ＲＯＩ画像生成部２２３は、さらに、画像データ２２２Ａと、抽出情報２２１Ａと、重なり領域ＲＯＯの位置情報１１４とに基づいて、撮像画像１１１における各注目領域ＲＯＩの画像（ＲＯＩ画像１１２ａ１，１１２ａ２）を生成する。

【0068】

[効果]
次に、本実施の形態に係る映像伝送システム１の効果について説明する。

【0069】

近年、データ量の大きなデータを大量に送信する用途が増えてきている。伝送システムに大きな負荷がかかりやすく、最悪の場合には、伝送システムがダウンし、データ伝送が行えなくなるおそれがある。

【0070】

従来では、伝送システムのダウンを避けるために、例えば、撮影した画像を全て送信するのではなく、撮影対象の物体を特定し、特定した物体を切り出した一部の画像だけを送信することが行われている。

【0071】

ところで、イメージセンサからアプリケーションプロセッサへの伝送に用いられる方式として、ＭＩＰＩＣＳＩ－２が用いられることがある。この方式を用いてＲＯＩを伝送しようとした場合、様々な制約により、ＲＯＩの伝送が容易ではないことがある。

【0072】

一方、本実施の形態では、撮像画像１１１における各注目領域ＲＯＩについてのＲＯＩ情報１２０Ｂがエンベデッドデータで送出されるとともに、各注目領域ＲＯＩの画像データがロングパケットのペイロードデータで送出される。これにより、映像送信装置１００から送出された伝送データ１４７Ａを受信した装置（映像受信装置２００）において、伝送データ１４７Ａから、各注目領域ＲＯＩの画像データ（ＲＯＩ画像１１２）を容易に抽出することができる。その結果、様々な制約の下でも、注目領域ＲＯＩの伝送を行うことができる。

【0073】

また、本実施の形態では、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）が互いに共通のバーチャルチャネルで送出される。これにより、同一パケットの中で複数のＲＯＩ画像１１２を送ることができるので、複数のＲＯＩ画像１１２を送る間に、ＬＰモードに入る必要がなく、高い伝送効率を得ることができる。

【0074】

また、本実施の形態では、各注目領域ＲＯＩのデータタイプがロングパケットのペイロードデータのパケットヘッダＰＨに含めて送出される。これにより、エンベデッドデータにアクセスしなくても、ロングパケットのペイロードデータのパケットヘッダＰＨにアクセスするだけで、各注目領域ＲＯＩのデータタイプが得られる。これにより、映像受信装置２００における処理速度を速くすることができるので、高い伝送効率を得ることができる。

【0075】

また、本実施の形態において、ＲＯＩ情報１２０Ｂがロングパケットのペイロードデータに含めて送出される場合には、エンベデッドデータにアクセスしなくても、ロングパケットのペイロードデータにアクセスするだけで、ＲＯＩ情報１２０Ｂが得られる。これにより、映像受信装置２００における処理速度を速くすることができるので、高い伝送効率を得ることができる。

【0076】

また、本実施の形態では、伝送データ１４７Ａに含まれるエンベデッドデータから、各注目領域ＲＯＩについてのＲＯＩ情報１２０Ｂが抽出されるとともに、抽出されたＲＯＩ情報１２０Ｂに基づいて、伝送データ１４７Ａに含まれるロングパケットのペイロードデータから、各注目領域ＲＯＩの画像（ＲＯＩ画像１１２）が抽出される。これにより、伝送データ１４７Ａから、各注目領域ＲＯＩの画像（ＲＯＩ画像１１２）を容易に抽出することができる。その結果、様々な制約の下でも、注目領域ＲＯＩの伝送を行うことができる。

【0077】

２．本開示の前提技術２：
撮像画像から切り出した一部（形状が非矩形状）の注目領域（ＲＯＩ）を伝送する技術について、図１から図９を参照しつつ図１０から図１２を用いて説明する。すなわち、方形状（矩形状）以外の形状を有する撮影対象の物体の画像を送受信する技術について、説明する。図１０は、撮像画像１１１において特定された物体が配置された領域を模式的に示す図である。なお、図１０では、理解を容易にするため、１５行×２３列の撮像素子で構成された撮像領域で撮像された撮像画像１１１が模式的に図示されている。図１１は、特定された物体に対して設定されたＲＯＩ領域の一例を示す図である。

【0078】

前提技術２では、前提技術１と同様に、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から映像送信装置１００に入力された場合に、撮像部１１０から入力された撮像画像１１１に対して所定の処理を行う場合について説明する。しかしながら、前提技術２では、映像送信装置１００、すなわち送信側がＲＯＩの切り出しの座標指示する場合も適用できある。この場合、送信側は例えば、受信側から送出されるＲＯＩで取得すべき「人物」や「物体」等の情報を受信して切り出しの座標を判断および指示するように構成される。

【0079】

ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力される。これにより、図１０に示すように、ＲＯＩ切り出し部１２１は、撮像画像１１１に含まれる撮影対象の４つの物体１～４を特定する。物体１は例えば、撮像画像１１１内の左上領域の一部を占める矩形状を有している。物体２は例えば、撮像画像１１１内で物体１の右側の一部の領域を占め、矩形の上側の両側角部及び下辺の一部が欠落した形状を有している。物体３は例えば、撮像画像１１１内で物体２の下方の一部の領域を占め、矩形の四隅が欠落した形状を有している。物体４は例えば、撮像画像１１１内で物体３の下方の一部の領域を占め、矩形の上側の両側角部が欠落した形状を有している。物体３及び物体４は一部が重なり合っている。

【0080】

図１１に示すように、ＲＯＩ切り出し部１２１（図２参照）は、特定した物体１～４をそれぞれ含む最小の矩形を注目領域ＲＯＩ１～ＲＯＩ４として設定する。ＲＯＩ切り出し部１２１は、物体１に対して注目領域ＲＯＩ１を設定し、ＲＯＩ画像１１２ａ１を切り出す。また、ＲＯＩ切り出し部１２１は、物体２に対して注目領域ＲＯＩ２を設定し、ＲＯＩ画像１１２ａ２を切り出す。また、ＲＯＩ切り出し部１２１は、物体３に対して注目領域ＲＯＩ３を設定し、ＲＯＩ画像１１２ａ３を切り出す。さらに、ＲＯＩ切り出し部１２１は、物体４に対して注目領域ＲＯＩ４を設定し、ＲＯＩ画像１１２ａ４を切り出す。

【0081】

ＲＯＩ切り出し部１２１は、注目領域ＲＯＩ１と、注目領域ＲＯＩ１に付与した領域番号「１」とを関連付けて記憶部に格納する。ＲＯＩ切り出し部１２１は、注目領域ＲＯＩ２と、注目領域ＲＯＩ２に付与した領域番号「２」とを関連付けて記憶部に格納する。ＲＯＩ切り出し部１２１は、注目領域ＲＯＩ３と、注目領域ＲＯＩ３に付与した領域番号「３」とを関連付けて記憶部に格納する。ＲＯＩ切り出し部１２１は、注目領域ＲＯＩ４と、注目領域ＲＯＩ４に付与した領域番号「４」とを関連付けて記憶部に格納する。

【0082】

ＲＯＩ解析部１２２（図２参照）は、注目領域ＲＯＩ１～ＲＯＩ４のそれぞれの位置情報を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ１の位置情報として例えば、Ｘ軸方向の物理領域長さＸＬａ１及びＹ軸方向の物理領域長さＹＬａ１を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ２の位置情報として例えば、Ｘ軸方向の物理領域長さＸＬａ２及びＹ軸方向の物理領域長さＹＬａ２を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ３の位置情報として例えば、Ｘ軸方向の物理領域長さＸＬａ３及びＹ軸方向の物理領域長さＹＬａ３を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ４の位置情報として例えば、Ｘ軸方向の物理領域長さＸＬａ４及びＹ軸方向の物理領域長さＹＬａ４を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩごとに、位置情報１１３として、さらに、例えば、注目領域ＲＯＩのＸ軸方向の出力領域長さＸＬｃや、注目領域ＲＯＩのＹ軸方向の出力領域長さＹＬｃを導出してもよい。

【0083】

ＲＯＩ解析部１２２は、注目領域ＲＯＩのそれぞれのＸ軸方向及びＹ軸方向の長さを導出することによって、後段への情報として注目領域ＲＯＩ１～ＲＯＩ４のそれぞれの大きさや総データ量を導出する。これにより、後段に相当する映像受信装置２００はメモリ領域を確保できる。

【0084】

ＲＯＩ解析部１２２は、撮影対象の物体及び注目領域の形状が一致していない場合には、注目領域ＲＯＩの位置情報ではなく、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報を導出するように構成されている。ＲＯＩ解析部１２２は、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報として、各行の左端座標（ｘｎ，ｙｎ）及びＸ軸方向の物理領域長さＸＬｎを導出する。また、ＲＯＩ画像１１２ａ２の２行目のようにＲＯＩ画像が分離している場合には、ＲＯＩ解析部１２２は、分離している部分のそれぞれについて位置情報を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ１～ＲＯＩ４の領域番号と、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報とを対応付けて記憶部に格納する。

【0085】

また、ＲＯＩ解析部１２２は、例えば、注目領域ＲＯＩ１～ＲＯＩ４ごとに、位置情報の他に、例えば、センシングインフォメーション、露光情報、ゲイン情報、ＡＤ語長、画像フォーマットなどを導出し、領域番号と対応付けて記憶部に格納してもよい。

【0086】

重なり検出部１２３（図２参照）は、撮影対象の物体が矩形状の場合には、注目領域同士が重なり合う領域ではなく、ＲＯＩ画像同士が重なり合う領域を重なり領域として導出する。図１１に示すように、重なり検出部１２３は、ＲＯＩ画像１１２ａ３及びＲＯＩ画像１２３ａ４が重なり合う領域として重なり領域ＲＯＯを導出する。重なり検出部１２３は、導出した重なり領域ＲＯＯを注目領域ＲＯＩ３，ＲＯＩ４の位置情報のそれぞれに対応付けて記憶部に格納する。

【0087】

優先度設定部１２４（図２参照）は、優先度「１」を注目領域ＲＯＩ１に付与し、優先度１を注目領域ＲＯＩ１に対応付けて記憶部に格納する。優先度設定部１２４は、優先度「１」よりも優先度が低い優先度「２」を注目領域ＲＯＩ２に付与し、優先度２を注目領域ＲＯＩ２に対応付けて記憶部に格納する。優先度設定部１２４は、優先度「２」よりも優先度が低い優先度「３」を注目領域ＲＯＩ３に付与し、優先度３を注目領域ＲＯＩ３に対応付けて記憶部に格納する。優先度設定部１２４は、優先度「３」よりも優先度が低い優先度「４」を注目領域ＲＯＩ４に付与し、優先度４を注目領域ＲＯＩ４に対応付けて記憶部に格納する。

【0088】

エンコード部１２５（図２参照）は、ＲＯＩ画像１１２ａ１～１１２ａ４のそれぞれについて伝送画像を生成する。注目領域ＲＯＩ４は注目領域ＲＯＩ３よりも優先度が低いので、エンコード部１２５は、ＲＯＩ画像１１２ａ４から重なり領域ＲＯＯを割愛して伝送画像を生成する。

【0089】

画像処理制御部１２６（図２参照）は、ＲＯＩ情報及びフレーム情報を生成し、送信部１４０（図２参照）に送信する。ＲＯＩ情報には例えば、ＲＯＩ画像１１２ａ１～１１２ａ４のそれぞれの位置情報が含まれる。ＲＯＩ情報にはその他に、上述の撮影対象の物体が矩形状の場合と同様の情報（例えば注目領域ＲＯＩ１～ＲＯＩ４のそれぞれデータタイプ、撮像画像１１１に含まれる注目領域ＲＯＩ１～ＲＯＩ４の数、注目領域ＲＯＩ１～ＲＯＩ４の領域番号及び優先度など）が含まれる。フレーム情報には例えば、注目領域ＲＯＩ１～ＲＯＩ４のデータタイプなど、上述の撮影対象の物体が矩形状の場合と同様の情報が含まれる。

【0090】

送信部１４０（図２参照）に設けられたＬＩＮＫ制御部１４１は、画像処理制御部１２６から入力されるフレーム情報及びＲＯＩ情報をラインごとにＥＣＣ生成部１４２及びＰＨ生成部１４３（いずれも図２参照）に出力する。ＥＣＣ生成部１４２は例えば、フレーム情報における１ラインのデータ（例えば、バーチャルチャネルの番号、注目領域ＲＯＩ１～ＲＯＩ４のそれぞれのデータタイプ、ラインごとのペイロード長など）に基づいて、そのラインの誤り訂正符号を生成する。ＥＣＣ生成部１４２は例えば、生成した誤り訂正符号をＰＨ生成部１４３に出力する。ＰＨ生成部１４３は例えば、フレーム情報と、ＥＣＣ生成部１４２で生成された誤り訂正符号とを用いて、１ラインごとにパケットヘッダＰＨ（図４参照）を生成する。

【0091】

ＥＢＤバッファ１４４（図２参照）は、ＲＯＩ情報を一次的に格納し、所定のタイミングでＲＯＩ情報をエンベデッドデータとして合成部１４７（図２参照）に出力する。

【0092】

ＲＯＩデータバッファ１４５（図２参照）は、エンコード部１２５から入力される圧縮像データを一次的に格納し、例えばＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、圧縮像データ１２０Ａをロングパケットのペイロードデータとして合成部１４７に出力する。

【0093】

合成部１４７は、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、入力された各種データ（パケットヘッダＰＨ、ＲＯＩ情報及びＲＯＩデータバッファ１４５を介してエンコード部１２５から入力された圧縮像データ）に基づいて、伝送データ１４７Ａを生成する。合成部１４７は、生成した伝送データ１４７Ａを、データレーンＤＬを介して映像受信装置２００に出力する。つまり、合成部１４７は、注目領域ＲＯＩ１～ＲＯＩ４のそれぞれのデータタイプをロングパケットのペイロードデータのパケットヘッダＰＨに含めて送出する。また、合成部１４７は、注目領域ＲＯＩ１～ＲＯＩ４のそれぞれの画像データ（圧縮像データ）を互いに共通のバーチャルチャネルで送出する。

【0094】

撮影対象の物体が矩形状でない場合、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報は、パケットヘッダＰＨ又はロングパケットのペイロードデータに含められる。ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報は、ＰＨ生成部１４３によってパケットヘッダＰＨに含められる。一方、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報は、合成部１４７によってロングパケットのペイロードデータに含められる。

【0095】

図１２は、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報がロングパケットのペイロードデータに含められている伝送データ１４７Ａの構成例を示す図である。図１２に示すように、伝送データ１４７Ａは例えば、フレームヘッダ領域Ｒ１及びパケット領域Ｒ２を含んでいる。なお、図１２には、フレームヘッダ領域Ｒ１の中身が詳細に例示されている。また、図１２では、ローパワーモードＬＰが省略されている。

【0096】

フレームヘッダ領域Ｒ１には例えば、伝送データ１４７Ａの識別子としてのフレーム番号Ｆ１が含まれている。フレームヘッダ領域Ｒ１は、パケット領域Ｒ２に含まれる圧縮像データについての情報を含んでいる。フレームヘッダ領域Ｒ１は例えば、圧縮像データの数（ＲＯＩ数）と、各圧縮像データに対応するＲＯＩ画像１１２ａ１～１１２ａ４のそれぞれについての情報（ＲＯＩ情報）とを含んでいる。ＲＯＩ情報は、領域番号、物理領域長さ、矩形出力領域大きさ、優先度、露光情報、ゲイン情報、ＡＤ語長及び画像フォーマットを含んでいる。物理領域長さは、ＲＯＩ画像の最大長さであり、矩形出力領域大きさは、注目領域ＲＯＩの大きさである。

【0097】

図１２中に示す「Ｉｎｆｏ」は、ロングパケットのペイロードに格納される領域情報を示している。ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報は、例えば「ｉｎｆｏ」に格納される。ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報は、ロングパケットのペイロードの先頭部分に格納される。ＲＯＩ画像を構成し連続する各画素行のＸ軸方向の物理領域長さが同じであり、かつ当該各画素行に異なる領域番号のＲＯＩ画像が含まれていない場合には、当該各画素行のうちの２行目以降の画素行の画像データを含むロングパケットのペイロードには、領域情報「ｉｎｆｏ」が格納されていなくてもよい。本例では、ＲＯＩ画像１１２ａ１は、全ての画素行のうちの連続する１行目から４行目の画素行においてＸ軸方向の物理領域長さが同じであり、当該１行目から４行目の画素行には、異なる領域番号のＲＯＩ画像が含まれていない。このため、ＲＯＩ画像１１２ａ１を構成し連続する１行目から４行目の画素行のうちの２行目以降に相当する２行目から４行目の画素行の画像データを含むそれぞれのロングパケットのペイロードには、領域情報「ｉｎｆｏ」が格納されていない。また、本例では、ＲＯＩ画像１１２ａ４は、全ての画素行のうちの連続する２行目及び３行目の画素行においてＸ軸方向の物理領域長さが同じであり、当該２行目及び３行目の画素行には、異なる領域番号のＲＯＩ画像が含まれていない。このため、ＲＯＩ画像１１２ａ４を構成し連続する２行目及び３行目の画素行のうちの２行目以降に相当する３行目の画素行の画像データを含むロングパケットのペイロードには、領域情報「ｉｎｆｏ」が格納されていない。なお、Ｘ軸方向の物理領域長さが同じであり、かつ当該各画素行に異なる領域番号のＲＯＩ画像が含まれていない場合でも、各行のペイロードに領域情報「ｉｎｆｏ」が格納されていてもよい。

【0098】

合成部１４７は例えば、伝送データ１４７Ａのパケット領域Ｒ２において、ＲＯＩ画像１１２ａ１～１１２ａ４のそれぞれを圧縮して生成された圧縮像データを画素行ごとに分けて配置する。図１２中に示す「１」は、ロングパケットのペイロードに格納されたＲＯＩ画像１１２ａ１の圧縮像データを示している。図１２中に示す「２」は、ロングパケットのペイロードに格納されたＲＯＩ画像１１２ａ２の圧縮像データを示している。図１２中に示す「３」はＲＯＩ画像１１２ａ３の圧縮像データを示している。図１２中に示す「４」は、ロングパケットのペイロードに格納されたＲＯＩ画像１１２ａ４の圧縮像データを示している。なお、図１２では、理解を容易にするため、各圧縮像データが区切られて示されているが、ロングパケットのペイロードに格納されるデータに区切りはない。伝送データ１４７Ａのパケット領域Ｒ２には、重なり領域ＲＯＯの画像に対応する圧縮像データ１１２ｂが重複して含まれていない。また、合成部１４７は、例えば、伝送データ１４７Ａのパケット領域Ｒ２において、撮像画像１１１のうち各伝送画像と対応しない画素行を割愛している。したがって、伝送データ１４７Ａのパケット領域Ｒ２には、撮像画像１１１のうち各伝送画像に対応しない画素行は含まれていない。

【0099】

次に、伝送データ１４７Ａを受信した場合の映像受信装置２００の動作について説明する。
受信部２１０に設けられたヘッダ分離部２１１（いずれも図８参照）は、伝送データ１４７Ａを、データレーンＤＬを介して映像送信装置１００から受信する。つまり、ヘッダ分離部２１１は、撮像画像１１１における注目領域ＲＯＩ１～ＲＯＩ４についてのＲＯＩ情報をエンベデッドデータに含むとともに、注目領域ＲＯＩ１～ＲＯＩ４の画像データ（圧縮像データ）をロングパケットのペイロードデータに含む伝送データ１４７Ａを受信する。ヘッダ分離部２１１は、受信した伝送データ１４７Ａをフレームヘッダ領域Ｒ１とパケット領域Ｒ２とに分離する。

【0100】

ヘッダ解釈部２１２（図８参照）は、フレームヘッダ領域Ｒ１に含まれるデータ（具体的にはエンベデッドデータ）に基づいて、パケット領域Ｒ２に含まれるロングパケットのペイロードデータの位置を特定する。

【0101】

ペイロード分離部２１３（図８参照）は、ヘッダ解釈部２１２によって特定されたロングパケットのペイロードデータの位置に基づいて、パケット領域Ｒ２に含まれるロングパケットのペイロードデータをパケット領域Ｒ２から分離する。

【0102】

ＥＢＤ解釈部２１４は、エンベデッドデータをＥＢＤデータとして、情報処理部２２０（図８参照）に出力する。ＥＢＤ解釈部２１４は、さらに、エンベデッドデータに含まれるデータタイプから、ロングパケットのペイロードデータに含まれる画像データがＲＯＩの画像データ１１６の圧縮像データであるか、又は、通常画像データの圧縮像データであるか判別する。ＥＢＤ解釈部２１４は、判別結果をＲＯＩデータ分離部２１５（図８参照）に出力する。

【0103】

ＲＯＩデータ分離部２１５は、ロングパケットのペイロードデータに含まれる画像データがＲＯＩの画像データが入力されると、ロングパケットのペイロードデータをペイロードデータとして、情報処理部２２０（具体的にはＲＯＩデコード部２２２（図８参照））に出力する。ＲＯＩ情報が含まれているロングパケットのペイロードデータには、ＲＯＩ情報と圧縮像データのうち１ライン分のピクセルデータとが含まれている。

【0104】

情報処理部２２０に設けられた情報抽出部２２１（図８参照）は、ＥＢＤ解釈部２１４から入力されるＥＢＤデータに含まれるエンベデッドデータから、撮像画像１１１に含まれる注目領域ＲＯＩ１～ＲＯＩ４の数（本例では４つ）、注目領域ＲＯＩ１～ＲＯＩ４の領域番号１～４及び優先度１から４、注目領域ＲＯＩ１～ＲＯＩ４のそれぞれのデータ長、並びに注目領域ＲＯＩ１～ＲＯＩ４のそれぞれの画像フォーマットを抽出する。さらに、情報抽出部２２１は、当該エンベデッドデータから、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報を抽出する。

【0105】

ＲＯＩデコード部２２２は、ペイロードデータに含まれている圧縮像データ１４７Ｂをデコードし、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報を抽出するとともに、画像データ（伝送画像によって構成）を生成する。ＲＯＩデコード部２２２は、例えば６行目の画素行に対応するペイロードデータが入力された場合、当該ペイロードデータから、ＲＯＩ画像１１２ａ１の１つの位置情報と、ＲＯＩ画像１１２ａ２の２つの位置情報とを抽出し、６行目の画素行に対応するＲＯＩ画像１１２ａ１，１１２ｂ１の画像データ（伝送画像）をそれぞれ生成する。

【0106】

ＲＯＩデコード部２２２は、例えば１０行目の画素行に対応するペイロードデータが入力された場合、当該ペイロードデータから、ＲＯＩ画像１１２ａ３の１つの位置情報と、ＲＯＩ画像１１２ａ４の１つの位置情報とを抽出し、ＲＯＩ画像１１２ａ３，１１２ｂ４の画像データ（伝送画像）をそれぞれ生成する。

【0107】

ＲＯＩ画像生成部２２３（図８参照）は、情報抽出部２２１で得られたＲＯＩ情報、ＲＯＩデコード部２２２で抽出されたＲＯＩ画像１１２ａ１～１１２ａ４の位置情報及びＲＯＩデコード部２２２で生成された伝送画像に基づいて、撮像画像１１１における注目領域ＲＯＩ１～ＲＯＩ４のＲＯＩ画像１１２ａ１～１１２ａ４を生成する。ＲＯＩ画像生成部２２３は、例えば６行目の画素行に対応するペイロードデータから抽出されたＲＯＩ画像１１２ａ１の１つの位置情報及びＲＯＩ画像１１２ａ２の２つの位置情報並びにそれらの伝送画像が入力された場合、Ｘ軸方向に延在する５画素分のＲＯＩ画像１１２ａ１と、当該ＲＯＩ画像１１２ａ１とは５画素分離れた位置でＸ軸方向に延在する４画素分のＲＯＩ画像１１２ａ２と、当該ＲＯＩ画像１１２ａ２から２画素分離れた位置でＸ軸方向に延在する２画素分のＲＯＩ画像１１２ａ２とを生成する（図１０参照）。

【0108】

また、ＲＯＩ画像生成部２２３は、情報抽出部２２１で得られたＲＯＩ情報に基づいて、注目領域ＲＯＩ３及び注目領域ＲＯＩ４同士が重なり合う重なり領域ＲＯＯを検出する。ＲＯＩ画像生成部２２３は、検出した重なり領域ＲＯＯと、１０行目の画素行に対応するペイロードデータから抽出されたＲＯＩ画像１１２ａ３，１１２ａ４のそれぞれ位置情報と、伝送画像とに基づいて、Ｘ軸方向に延在する４画素分のＲＯＩ画像１１２ａ３と、当該ＲＯＩ画像１１２ａ３に１画素分が重なった状態でＸ軸方向に延在する３画素分のＲＯＩ画像１１２ａ４とを生成する（図１０参照）。

【0109】

ＲＯＩ画像生成部２２３は、生成した画像をＲＯＩ画像として後段の装置（不図示）に出力する。

【0110】

このようにして、映像送信装置１００及び映像受信装置２００は、撮影対象の物体が矩形以外の形状を有していても、ＲＯＩ画像として送受信することができる。

【0111】

３．本開示の実施形態における復元処理の原理：
次に、本開示の実施形態における復元処理の原理について図１３から図１７を用いて説明する。本開示の実施形態（以下、本実施形態という）における復元処理は、映像送信装置から映像受信装置に入力された注目領域（ＲＯＩ）の画像データを、所定の表示装置に表示可能な状態に復元する処理である。映像受信装置において復元処理を実行し、注目領域の画像データを復元することにより、例えば、注目領域の画像データの表示に係る種々の処理（例えばフレームメモリへの書込みや、所定の表示装置への注目領域の画像データの出力など）を効率的に実施することができる。

【0112】

３－１．映像送信装置における注目領域の画像データの送出
まず、復元処理の前段階として、映像受信装置に注目領域の画像データが入力されるまでの処理について説明する。上述のように、撮像画像から切り出された注目領域）の画像データは、映像送信装置からペイロードデータで送出される。図１３は、映像送信装置の撮像部で得られた撮像画像の一例を模式的に示す図である。図１３では、撮像画像αをピクセル座標と対応付けて示している。本例では撮像画像αにおいて、複数（本例では３つ）の注目領域（ＲＯＩ０，ＲＯＩ１，ＲＯＩ２）が設定されている。以降、復元処理について、図１３に示す注目領域ＲＯＩ０～ＲＯＩ２を具体例として説明する。

【0113】

本例において、撮像画像αの座標系は、左上端部の画素を原点α＿оとし、撮像画像αのＸ軸方向（横方向）及びＹ軸方向（縦方向）で形成されるＸＹ直交座標系となっている。また、図１３に示すように、撮像画像αの右下端部（終点）α＿ｅの座標は（１７５９，９８９）となっている。つまり、本例の撮像画像αは、幅（Ｘ軸方向の長さ）が１７６０画素（Ｐｉｘｅｌ）、高さ（Ｙ軸方向の長さ）が９９０画素で構成される矩形状の画像である。本例では、撮像画像αについて、例えば映像受信装置からの制御信号での指示に基づいて設定された３つの注目領域（ＲＯＩ０，ＲＯＩ１，ＲＯＩ２）が切り出されたとする。注目領域ＲＯＩ０～２は、いずれも矩形状の領域である。また、注目領域ＲＯＩ０～２のそれぞれは、互いに重複することなく所定間隔を設けて配置されている。また撮像画像αにおいて、注目領域ＲＯＩが配置されていない領域を、注目外領域ＯＥとする。

【0114】

図１４は、撮像画像αに含まれる３つの注目領域（ＲＯＩ１，ＲＯＩ２，ＲＯＩ３）それぞれの撮像画像α内における座標及び画像サイズを示す図である。注目領域の座標において、撮像画像αの原点α＿оに最も近い座標が左上端座標（始点座標）であり、原点α＿оから最も離れた座標が右下端座標（終点座標）となる。また、注目領域のサイズには、注目領域の幅を示すＸ軸方向長さと、注目領域の高さを示すＹ軸方向長さとがある。矩形状の注目領域は、少なくとも始点座標、Ｘ軸方向長さおよびＹ軸方向長さを用いることで、撮像画像内における配置状態、つまり撮像画像内における位置、および画像サイズを求めることができる。

【0115】

図１４に示すように、本例において注目領域ＲＯＩ０は、撮像画像α内において、始点座標が始点Ｘ座標ｉ０＝５２０、始点Ｙ座標ｊ０＝３００であり、終点座標が終点Ｘ座標ｋ０＝９１９、終点Ｙ座標ｌ０＝８９９となる位置に配置されている。また、注目領域ＲＯＩ１は、始点座標が始点Ｘ座標ｉ１＝１０４０、始点Ｙ座標ｊ１＝１４０であり、終点座標が終点Ｘ座標ｋ１＝１４３９、終点Ｙ座標ｌ１＝７３９となる座標位置に配置されている。また、注目領域ＲＯＩ２は、始点座標が始点Ｘ座標ｉ２＝１００、始点Ｙ座標ｊ２＝１００であり、終点座標が終点Ｘ座標ｋ２＝４９９、終点Ｙ座標ｌ２＝６９９となる座標位置に配置されている。また、本例において、注目領域ＲＯＩ０～２は、いずれもＸ軸方向長さが４００ピクセル、Ｙ軸方向長さが６００ピクセルである。

【0116】

図１３および図１４に示すように、本例において注目領域ＲＯＩ０～２の始点座標におけるＸ座標は、注目領域ＲＯＩ２のＸ座標ｉ２（１００）が最も原点α＿оに近く、次いで注目領域ＲＯＩ０の始点Ｘ座標ｉ０（５２０），ＲＯＩ１の始点Ｘ座標ｉ１（１０４０）の順となる。したがって、撮像画像αにおいて注目領域ＲＯＩ０～２のＸ軸方向の相対位置は、注目領域ＲＯＩ２，ＲＯＩ０，ＲＯＩ１の順となる。また、本例において注目領域ＲＯＩ０～２の始点座標におけるＹ座標は、注目領域ＲＯＩ２が最も原点α＿оに近く、次いで注目領域ＲＯＩ１，ＲＯＩ０の順となる。したがって、図１３に示すように、撮像画像αにおいて注目領域ＲＯＩ０～２のＹ軸方向の相対位置は、注目領域ＲＯＩ２，ＲＯＩ１，ＲＯＩ０の順となる。

【0117】

映像送信装置では、例えば図１３に示すＲＯＩ０～２の切り出しを指示する制御信号が映像受信装置から入力された場合に、撮像部３１の撮像領域から画像を切り出す切り出し位置、すなわち注目領域ＲＯＩ０～２のそれぞれの始点座標及び画像サイズ（Ｘ軸方向及びＹ軸方向の長さ）を決定する。決定された始点座標及び画像サイズは、それぞれ位置情報、サイズ情報としてＲＯＩ情報に含まれる。つまり、ＲＯＩ情報には、撮像画像から切り出された所定数の注目領域（ＲＯＩ）に対応する位置情報およびサイズ情報が含まれる。ＲＯＩ情報は、伝送データのフレームヘッダ領域においてエンベデッドデータに設定され、映像送信装置から送出される。

【0118】

エンベデッドデータに設定されるＲＯＩ情報は、伝送規格の仕様などによって制限される場合がある。本実施形態では、映像受信装置において撮像画像における注目領域の位置、サイズを判定可能な最小限のデータとして、始点座標および画像サイズをそれぞれ位置情報、サイズ情報としてＲＯＩ情報を生成している。本実施形態において、注目領域の右下端を示す終点座標はＲＯＩ情報に含まれないが、図１４では理解を容易にするため、始点座標と合わせて終点座標を表示している。なお、本開示はＲＯＩ情報における位置情報として注目領域の終点座標を含むように構成されてもよい。本開示における位置情報は、注目領域が矩形状の場合、４つの角部のいずれかを示す座標であればよい。

【0119】

図１５は、注目領域ＲＯＩ０～２の各画像データを含んで構成されるペイロードデータの一例を示す図である。ペイロードデータは、伝送データのパケット領域に設定されて、映像送信装置から送出される。本実施形態では、ペイロードデータの各ラインには、注目領域の画像データが画素行単位、つまり撮像画像におけるＹ軸座標単位で格納される。

【0120】

本実施形態において、注目領域を格納するペイロードデータには、撮像画像内の注目領域の画像データのみが含まれ、注目外領域ＯＥの画像データは格納されない。したがって、撮像画像内において注目外領域ＯＥの画像データのみで構成される画素行は、ペイロードデータに含まれない。また、ペイロードデータ内において注目領域の画像データは、ペイロードヘッダＰＨ（上記前提技術１及び２における「パケットヘッダＰＨ」に対応）側に左詰めにされた状態でペイロードデータに格納される。図１５に示すように、撮像画像内の注目領域の画像データは、左上方向、つまり、撮像画像の原点（本例では、原点α＿о）方向に詰めた状態で、ペイロードデータに格納される。本例において、注目領域ＲＯＩ０～２の各画像データは、撮像画像α内のＹ軸座標８００行分の画素行に相当する。このため、本例において注目領域ＲＯＩ０～２の各画像データを格納するペイロードデータは、先頭から順にラインＰＬ１～８００の全８００ラインで構成され、撮像画像α内のＹ軸座標８００行分の画素行を格納するデータ群を構成している。

【0121】

本例において、撮像画像α内の３つの注目領域（ＲＯＩ）のうち、始点座標のＹ座標が最も小さい領域は、注目領域ＲＯＩ２である。このため、図１５に示すように、ペイロードデータの先頭行であるラインＰＬ１には、注目領域ＲＯＩ２の画素行のうち１行目の画像データ（本例では、画像データＲＯＩ２（Ｌ１））が左詰で格納される。また、本例において、撮像画像α内の３つの注目領域のうち、始点座標のＹ座標が最も大きい領域は、注目領域ＲＯＩ０である。このため、図１５に示すように、ペイロードデータの最終行であるラインＰＬ８００には、注目領域ＲＯＩ０の画素行のうち最終行の画像データ（本例では、画像データＲＯＩ０（Ｌ６００））が左詰めで格納される。

【0122】

このように、本例の撮像画像αにおける注目領域ＲＯＩ０～２の画像データは、始点座標のＹ座標（Ｙ座標ｊ０～２）の値が小さい領域の画像データから順に左詰めされて、ペイロードデータの各ラインに格納されることとなる。例えば図１５に示すペイロードデータのラインＰＬ１～４０には、注目領域ＲＯＩ２の始点座標のＹ座標ｊ２に相当する画素行１行目（Ｙ座標＝１００）から画素行１４０行目（Ｙ座標＝１３９）までの画像データＲＯＩ２（Ｌ１）～（Ｌ４０）が左詰で格納されている。

【0123】

また、上述のように、ペイロードデータの各ラインには撮像画像におけるＹ軸座標単位（画素行単位）で、注目領域の画像データが格納される。ペイロードデータに格納される画素行単位の注目領域の画像データを、ＲＯＩ画素行データという。ＲＯＩ画素行データは、圧縮された注目領域の画像データを含むパケット群で構成される。撮像画像内の同一のＹ座標に複数の注目領域が配置されている場合、ＲＯＩ画素行データには、複数の注目領域Ｉの画像データそれぞれを含む複数のパケット群が左詰で連続して格納される。

【0124】

また例えば図１３に示すように、撮像画像αでは注目領域ＲＯＩ１の始点座標のＹ座標ｉ１（１４０）と同一Ｙ座標上に、注目領域ＲＯＩ２も存在している。このため図１５に示すように、本例においてペイロードデータのラインＰＬ４１には、撮像画像αにおけるＹ座標１４０に相当する画素行の画像データとして、注目領域ＲＯＩ２の４１行目の画素行の画像データＲＯＩ２（Ｌ４１）および注目領域ＲＯＩ１の１行目の画像行の画像データＲＯＩ１（Ｌ１）がこの順に左詰で格納されている。同様にして、ペイロードデータのラインＰＬ４１以降、ラインＰＬ４２（不図示）からラインＰＬ２００にも、２つの注目領域ＲＯＩ２，ＲＯＩ１の画像データがこの順に左詰で格納されている。

【0125】

また例えば図１３に示すように、撮像画像αでは注目領域ＲＯＩ０の始点座標のＹ座標ｉ１（３００）と同一Ｙ座標上に、注目領域ＲＯＩ２，ＲＯＩ１も存在している。このため図１５に示すように、本例においてペイロードデータのラインＰＬ２０１には、撮像画像αにおけるＹ座標３００に相当する画素行の画像データとして、注目領域ＲＯＩ２の２０１行目の画素行の画像データＲＯＩ２（Ｌ２０１）、注目領域ＲＯＩ０の１行目の画素行の画像データＲＯＩ０（Ｌ１）および注目領域ＲＯＩ１の１６１行目の画像行の画像データＲＯＩ１（Ｌ１６１）がこの順に左詰で格納されている。同様にして、ペイロードデータのラインＰＬ２０１以降、ラインＰＬ２０２（不図示）からラインＰＬ６００にも、３つの注目領域ＲＯＩ２，ＲＯＩ０，ＲＯＩ１の画像データがこの順に左詰で格納されている。

【0126】

また、ペイロードデータのラインＰＬ６００には、注目領域ＲＯＩ２の終点座標のＹ座標ｌ２（撮像画像αにおけるＹ座標＝６９９）の画像データとして、注目領域ＲＯＩ２の最終行である６００行目の画素行の画像データＲＯＩ２（Ｌ６００）が含まれる。以降、ペイロードデータのラインＰＬ６０１からラインＰＬ６４０には、２つの注目領域ＲＯＩ０，ＲＯＩ１の画像データがこの順に左詰で格納される。また、ペイロードデータのラインＰＬ６４０には、注目領域ＲＯＩ１の終点座標のＹ座標ｌ１（撮像画像αにおけるＹ座標＝７３９）の画像データとして、注目領域ＲＯＩ１の最終行である６００行目の画素行の画像データＲＯＩ１（Ｌ６００）が含まれる。以降、ペイロードデータのラインＰＬ６４１からラインＰＬ８００には、１つの注目領域ＲＯＩ０の画像データがこの順に左詰で格納される。ペイロードデータのラインＰＬ８００には、注目領域ＲＯＩ０の終点座標のＹ座標ｌ０（撮像画像αにおけるＹ座標＝８９９）の画像データとして、注目領域ＲＯＩ０の最終行である６００行目の画素行の画像データＲＯＩ０（Ｌ６００）が含まれる。このようにして、本例の注目領域ＲＯＩ０～２の画像データを含む８００ライン分のペイロードデータが構成される。

【0127】

このようにして、所定の撮像画像（本例では、撮像画像α）から切り出された所定数（本例では３つ）の注目領域（ＲＯＩ）の画像データを格納したペイロードデータは、切りだされた所定数のＲＯＩに対応するＲＯＩ情報を含むエンベデッドデータとともに映像送信装置から映像受信装置に送出される。

【0128】

３－２．映像受信装置における復元処理
本実施形態において、映像受信装置では注目領域の画像データを含む伝送データを受信すると、受信した伝送データに含まれる注目領域の画像データの復元処理を行う。映像送信装置と映像受信装置との間では、画像データを含んだ伝送データが画像データフレーム単位で通信されている。例えば、画像データフレームのヘッダ領域およびパケット領域の各領域内のデータは、トランザクション単位で映像受信装置に伝送される。映像受信装置では画像データフレームの開始を示すパケット（ＳＯＦ：Ｓｔａｒｔ Ｏｆ Ｆｒａｍｅ）を受信することで伝送データに含まれる画像データに係る種々の処理が行われるが、復元処理もその一例である。

【0129】

本実施形態における復元処理においては、受信した伝送データから注目領域に対応するＲＯＩ情報を抽出し、抽出したＲＯＩ情報に基づいて復元処理に用いるＲＯＩ復元情報が生成される。注目領域の画像データは、映像送信装置において圧縮された状態からデコードされた上で、ＲＯＩ復元情報に基づいて表示可能状態に復元され、フレームメモリに書込まれる。

【0130】

復元処理の実行により、エンベデッドデータから抽出した所定数の注目領域に対応するＲＯＩ情報に基づいて、注目領域の画像データが所定の表示装置に表示可能な状態（表示可能状態）に復元される。これにより、撮像画像において任意の位置および画像サイズで切り出された注目領域の画像データを、効率的に表示装置に表示することができる。以下、理解を容易にするため、復元処理について、情報抽出プロセスと書込みプロセスとに分けて説明する。情報抽出プロセスは抽出したＲＯＩ情報から復元処理に用いるＲＯＩ復元情報を生成するプロセスであり、書込みプロセスはＲＯＩ復元情報に基づいて注目領域の画像データをフレームメモリに書込むプロセスである。

【0131】

〔情報抽出プロセス〕
情報抽出プロセスにおいては、まず伝送データ内のエンベデッドデータを解析し、撮像画像から切り出された所定数の注目領域（ＲＯＩ）に対応するＲＯＩ情報を、エンベデッドデータから抽出する。情報抽出プロセスにおいては、エンベデッドデータからＲＯＩ情報として、注目領域の位置情報およびサイズ情報が抽出される。

【0132】

本実施形態において位置情報は、撮像画像内における注目領域の位置を示す情報であって、例えば注目領域の左上端部を示す始点座標（Ｘ座標およびＹ座標）に相当する。また、本実施形態においてサイズ情報は、撮像画像内における注目領域のサイズ（画素数）を示す情報であって、例えば注目領域のＸ軸方向長さおよびＹ軸方向長さに相当する。したがって、本実施形態における情報抽出プロセスでは、ＲＯＩ情報における位置情報として注目領域の始点座標が抽出される。また、ＲＯＩ情報におけるサイズ情報として注目領域のＸ軸方向長さおよびＹ軸方向長さが抽出される。

【0133】

本例では、図１３に示すように撮像画像αにおいて３つの注目領域ＲＯＩ０～２が切り出されている。このため、本例では情報抽出プロセスにおいて、エンベデッドデータからＲＯＩ情報として、注目領域ＲＯＩ０～２それぞれの始点座標、Ｘ軸方向長さおよびＹ軸方向長さ（図１４参照）が抽出される。

【0134】

（ＲＯＩ復元情報）
情報抽出プロセスでは、ＲＯＩ情報（位置情報、サイズ情報）の抽出を行うと、抽出したＲＯＩ情報に基づいて、注目領域の画像データの復元に用いるＲＯＩ復元情報を生成する。ここで、図１６を用いてＲＯＩ復元情報について詳細に説明する。図１６は、ＲＯＩ復元情報を構成する第一座標データおよび第二座標データについて説明する図である。情報抽出プロセスでは、ＲＯＩ復元情報の生成にあたり、抽出したＲＯＩ情報（位置情報およびサイズ情報）に基づいて、注目領域ごとに図１６に示す第一座標データおよび第二座標データを生成する。例えば、本例では３つの注目領域ＲＯＩ０～２が復元処理の対象となっている。したがって、本例におけるＲＯＩ復元情報生成にあたっては、３つの注目領域ＲＯＩ０～２のそれぞれに対応した第一座標データおよび第二座標データが生成される。

【0135】

第一座標データは、注目領域を識別するためのＲＯＩ識別データと、撮像画像における注目領域の相対的な位置を示す相対座標データとで構成される。第一座標データは、ＲＯＩ識別データと相対座標データとを紐づけたデータである。ＲＯＩ識別情報は、復元処理の対象となっている伝送データにおける、複数の注目領域のそれぞれを識別可能とする情報であって、例えば任意の数値や文字列である。

【0136】

また図１６に示すように、相対座標データは、撮像画像における注目領域の左上端を示す始点座標および右下端を示す終点座標で構成される。具体的には、第一座標データに含まれる相対座標データは、始点座標のＸ座標（始点Ｘ座標）、始点座標のＹ座標（始点Ｙ座標）、終点座標のＸ座標（終点Ｘ座標）および終点座標のＹ座標（終点Ｙ座標）を示す４つの数値で構成される。第一座標データにおける相対座標データは、例えば始点座標（Ｘ、Ｙ）および終点座標（Ｘ、Ｙ）を示す各数値が図１６上段に示す順にカンマ区切りで配置された数値配列である。

【0137】

上述したように、本実施形態において映像送信装置から送出されるＲＯＩ情報には、位置情報として始点座標の情報が含まれるものの、終点座標の情報は含まれていない。このため、情報抽出プロセスにおいて、第一座標データの生成時には、位置情報に含まれる始点座標、およびサイズ情報に含まれるＸ軸方向長さ、Ｙ軸方向長さから終点座標の算出を行う。

【0138】

第二座標データは、第一座標データと同様に、ＲＯＩ識別データと相対座標データとで構成される。ただし、図１６に示すように第二座標データの相対座標データは、始点Ｙ座標および終点Ｙ座標で構成され、始点Ｘ座標および終点Ｘ座標が含まれない点で、第一座標データと異なる。第二座標データにおける相対座標データは、例えば始点Ｙ座標および終点Ｙ座標を示す各数値が図１６下段に示す順にカンマ区切りで配置された数値配列である。

【0139】

本実施形態における情報抽出プロセスでは、復元処理の対象となる注目領域（ＲＯＩ）に対応する第一座標データおよび第二座標データを生成すると、各注目領域の第一座標データを始点Ｘ座標の昇順に並び替えたＸ座標順データを生成する。また、第二座標データを始点Ｙ座標の昇順に並び替えたＹ座標順データを生成する。本実施形態において、Ｘ座標順データおよびＹ座標順データがＲＯＩ復元情報に相当する。

【0140】

このように、ＲＯＩ復元情報は、ＲＯＩ情報における位置情報およびサイズ情報を並び替えて生成される情報である。より具体的には、ＲＯＩ復元情報は、位置情報およびサイズ情報から生成されるデータ（第一座標データ、第二座標データ）を並び替えて生成される情報である。本実施形態における情報抽出プロセスでは、ＲＯＩ復元情報として、上述のようにＸ座標順データおよびＹ座標順データを生成する。生成されたＸ座標順データおよびＹ座標順データは、映像受信装置の所定の記憶領域（例えば、レジスタなど）に一時的に記憶されて、以降の復元処理のプロセス（例えば、書込みプロセス）に用いられる。

【0141】

ここで、図１７を用いて、Ｘ座標順データおよびＹ座標順データの具体例を説明する。図１７は、本例において復元処理の対象となる注目領域ＲＯＩ０～２に対応するＸ座標順データおよびＹ座標順データの一例を示す図である。

【0142】

本例における情報抽出プロセスでは、Ｘ座標順データおよびＹ座標順データを構成する第一座標データ、第二座標データの生成にあたり、注目領域ＲＯＩ０～２の終点座標を算出する。注目領域の終点Ｘ座標は、「始点Ｘ座標＋Ｘ軸方向長さ－１」で求められる。図１４に示すように、注目領域ＲＯＩ０の始点Ｘ座標ｉ０の値は「５２０」であり、Ｘ軸方向長さは「４００」である。このため、終点Ｘ座標ｋ０の値「９１９」＝「始点Ｘ座標ｉ０（５２０）＋Ｘ軸方向長さ（４００）－１」で算出される。同様にして、注目領域ＲＯＩ１の終点Ｘ座標ｋ１の値「１４３９」、注目領域ＲＯＩ２の終点Ｘ座標ｋ２の値「４９９」が算出される。

【0143】

また、注目領域の終点Ｙ座標は、「始点Ｙ座標＋Ｙ軸方向長さ－１」で求められる。図１４に示すように、注目領域ＲＯＩ０の始点Ｙ座標ｊ０の値は「３００」であり、Ｘ軸方向長さは「６００」である。このため、終点Ｙ座標ｌ０の値「８９９」＝「始点Ｙ座標ｉ０（３００）＋Ｙ軸方向長さ（６００）－１」で算出される。同様にして、注目領域ＲＯＩ１の終点Ｙ座標ｌ１の値「７３９」、注目領域ＲＯＩ２の終点Ｙ座標ｌ２の値「６９９」が算出される。このようにして、各注目領域の終点座標が算出される。

【0144】

本例における情報抽出プロセスでは、終点座標が算出されると、ＲＯＩ情報に含まれる始点座標情報と算出された終点座標を用いて、注目領域ＲＯＩ０～２の第一座標データ、第二座標データが生成される。

【0145】

本例において、注目領域ＲＯＩ０の第一座標データは、「Ｒ０（５２０，３００，９１９，８９９）」で表される。ここで、「Ｒ０」は、注目領域ＲＯＩ０を示すＲＯＩ識別情報である。同様に、注目領域ＲＯＩ１の第一座標データは、「Ｒ１（１０４０，１４０，１４３９，７３９）」で表され、注目領域ＲＯＩ２の第一座標データは、「Ｒ２（１００，１００，４９９，６９９）」で表される。注目領域ＲＯＩ０～２の始点Ｘ座標を昇順に並べると、注目領域ＲＯＩ２の始点Ｘ座標ｉ２を示す値「１００」、注目領域ＲＯＩ０の始点Ｘ座標ｉ０を示す値「５２０」、注目領域ＲＯＩ１の始点Ｘ座標ｉ１を示す値「１０４０」の順となる。したがって、注目領域ＲＯＩ０～２の第一座標データを始点Ｘ座標の昇順（注目領域ＲＯＩ２，ＲＯＩ０，ＲＯＩ１の順）に並び替えることにより、図１７左側に示す注目領域ＲＯＩ０～２に対応するＸ座標順データが生成される。

【0146】

また本例において、注目領域ＲＯＩ０の第二座標データは、「Ｒ０（３００，８９９）」で表される。同様に、注目領域ＲＯＩ１の第二座標データは、「Ｒ１（１４０，７３９）」で表され、注目領域ＲＯＩ２の第二座標データは、「Ｒ２（１００，６９９）」で表される。注目領域ＲＯＩ０～２の始点Ｙ座標を昇順に並べると、注目領域ＲＯＩ２の始点Ｙ座標ｌ２を示す値「１００」、注目領域ＲＯＩ１の始点Ｙ座標ｌ１を示す値「１４０」、注目領域ＲＯＩ１の始点Ｙ座標ｌ０を示す値「８９９」の順となる。したがって、注目領域ＲＯＩ０～２の第二座標データを始点Ｙ座標の昇順（注目領域ＲＯＩ２，ＲＯＩ１，ＲＯＩ０の順）に並び替えることにより、図１７右側に示す注目領域ＲＯＩ０～２に対応するＹ座標順データが生成される。本例において、生成された注目領域ＲＯＩ０～２に対応するＸ座標順データおよびＹ座標順データは、図１７に示す順序を維持した状態でレジスタ内に記憶される。

【0147】

なお図１７では、理解を容易にするため左端において、Ｘ座標順データおよびＹ座標順データにおける並び順を１～３の数値で示している。また図１７において、理解を容易にするため、Ｘ座標順データを注目領域ＲＯＩ０～２の第一座標データが行単位で始点Ｘ座標の昇順に格納されたテーブル形式で表示し、Ｙ座標順データを注目領域ＲＯＩ０～２の第二座標データが行単位で始点Ｙ座標の昇順に格納されたテーブル形式で表示したが、Ｘ座標順データおよびＹ座標順データの記憶様式はこれに限られない。本実施形態において、Ｘ座標順データおよびＹ座標順データは、所定数の注目領域の順序が維持されるように記憶されていれば良い。

【0148】

例えば、Ｘ座標順データは、各注目領域の第一座標データと、始点Ｘ座標の昇順で並べ替えた場合の順序を示す数値とを合わせて記憶してもよい。また、同様に、Ｙ座標順データでは、各注目領域の第二座標データと、始点Ｙ座標の昇順で並べ替えた場合の順序を示す数値とを合わせて記憶してもよい。また、Ｘ座標順データは各注目領域の第一座標データを所定の区切り文字（例えば、カンマ）で区切った配列として記憶してもよい。同様に、Ｙ座標順データは各注目領域の第二座標データを所定の区切り文字（例えば、カンマ）で区切った配列として記憶してもよい。

【0149】

本例の情報抽出プロセスにおいて、注目領域ＲＯＩ０～２に対応するＸ座標順データ、Ｙ座標順データを生成することにより、復元処理対象となる注目領域ＲＯＩ０～２の撮像画像α（図１３参照）における相対位置を判定することが可能となる。これにより、情報抽出プロセス以降の復元処理のプロセス（書込みプロセス）において、注目領域ＲＯＩ０～２の相対位置を利用した処理を行うことができる。

【0150】

このように、Ｘ座標順データは、撮像画像から切り出された所定数の注目領域（ＲＯＩ）の位置情報およびサイズ情報を、位置情報に相当する始点座標のＸ座標（始点Ｘ座標）の値の昇順に並び替えたデータである。より具体的には、Ｘ座標順データは、注目領域の位置情報およびサイズ情報から生成された相対座標情報を始点Ｘ座標の昇順に並び替えたデータである。また、Ｙ座標順データは、撮像画像から切り出された所定数の注目領域の位置情報およびサイズ情報を、位置情報に相当する始点座標のＹ座標の値の昇順に並び替えたデータである。より具体的には、Ｙ座標順データは、注目領域の位置情報およびサイズ情報から生成された相対座標情報におけるＹ座標を、始点Ｙ座標の昇順に並び替えたデータである。

【0151】

復元処理における情報抽出プロセスで、ＲＯＩ復元情報を生成することにより、撮像画像内における注目領域の相対位置が判定可能となる。これにより、復元処理の以降のプロセス（例えば、書込みプロセス）において、当該相対位置を用いて円滑な処理を行うことができる。詳しくは後述するが、記憶されたＸ座標順データおよびＹ座標順データは、映像受信装置において伝送データが受信されて新たな情報抽出プロセスが開始される度に更新される。

【0152】

〔書込みプロセス〕
次に、復元処理における書込みプロセスについて説明する。書込みプロセスは、情報抽出プロセスにおいて生成されたＲＯＩ復元情報に基づいて、注目領域の画像データを映像受信装置内のメモリ装置に書き込むプロセスである。本実施形態では、ＲＯＩの画像データを書込むメモリ装置として、例えばフレームメモリを想定している。フレームメモリは、表示装置（例えば、ディスプレイなど）に表示する画像データを画面単位で保持可能なメモリＩＣである。

【0153】

本実施形態では、上述のようにＳＯＦの受信により伝送データを通信するフレームが開始され、映像送信装置において伝送データが受信されると、まずエンベデッドデータが入力され、次いでペイロードデータの各ラインが先頭から順に入力される。上述の情報抽出プロセスはエンベデッドデータの入力に基づいて実行されるが、復元処理における書込みプロセスは、ペイロードデータの各ラインの入力に基づいて実行される。本実施形態における書込みプロセスでは、ＲＯＩ復元情報に基づいてペイロードデータ単位で注目領域の画像データがフレームメモリに書込まれる。書込みプロセスにおいて、フレームメモリには、ペイロードデータの各ラインのＲＯＩ画素行データが書き込まれることとなる。

【0154】

本実施形態では復元処理の書込みプロセスにおいて、ペイロードデータ内の注目領域の画像データ、つまりＲＯＩ画素行データは、ＲＯＩ復元情報に基づいて注目領域ごとに分割される。つまり、ＲＯＩ画素行データは、ＲＯＩ復元情報に基づいて注目領域ごとのパケット群、すなわち注目領域（ＲＯＩ）の画像データとして分割される。また、書込みプロセスでは、ＲＯＩ復元情報に基づいて、フレームメモリにおける注目領域（ＲＯＩ）の画像データの書込み先を示すアドレスが生成される。ＲＯＩ画素行データから分割された各注目領域の画像データは、フレームメモリ内において当該アドレスに書き込まれる。

【0155】

詳しくは後述するが、本実施形態では、注目領域の画像データの書込み先として、ＲＯＩ復元情報に基づいて撮像画像内での各注目領域の相対位置に対応するフレームメモリ内の復元位置が特定され、復元位置を示すアドレスが生成される。これにより、フレームメモリ内において撮像画像内における注目領域の相対位置が復元される。このため、注目領域の画像データは、ディスプレイの画面状において、撮像画像における相対位置に対応する表示位置に表示可能となる。

【0156】

（ＲＯＩ復元情報の解析）
本実施形態における書込みプロセスでは、ＲＯＩ復元情報（Ｘ座標順データ、Ｙ座標順データ）を解析し、ＲＯＩ復元情報に基づいてペイロードデータの各ラインにおけるＲＯＩ画素行データに対応する情報を抽出して、書込みに用いる情報（書込み情報）を生成する。ＲＯＩ復元情報から生成された書込み情報に基づいて、ＲＯＩ画素行データの分割、分割されたＲＯＩ画素行データのフレームメモリ内の書込み先を示すアドレスの生成が行われる。本実施形態では、書込み情報として、例えば書込みＹ座標、書込み開始Ｘ座標、書込みサイズを生成する。復元処理の書込みプロセスにおいては、ペイロードデータの各ラインの入力ごとに、Ｘ座標順データ、Ｙ座標順データを抽出し、書込み情報を生成する。書込み情報（書込みＹ座標、書込み開始Ｘ座標、書込みサイズ）ついて以下、具体的に説明する。

【0157】

（書込みＹ座標）
書込みＹ座標は、撮像画像内におけるＲＯＩ画素行データのＹ座標である。書込みＹ座標は、ＲＯＩ画素行データの書込み時において、フレームメモリ内のＹ軸方向の位置を判定するために用いられる。ペイロードデータの各ライン内に格納されたＲＯＩ画素行データは、撮像画像内における同一Ｙ座標の注目領域の画像データで構成されている。したがって、書込みＹ座標は、ペイロードデータのライン単位で共通の値となる。書込みＹ座標は、ＲＯＩ復元情報のうちＹ座標順データから生成される。例えば、ペイロードデータの各ラインが入力されると、Ｙ座標順データから第二座標データが格納順（始点Ｘ座標の昇順）に抽出される。抽出された第二座標データを用いて、入力されたペイロードデータの各ラインに相当する書込みＹ座標が生成される。

【0158】

本例では、ペイロードデータのラインＰＬ１（図１５参照）の入力時において、Ｙ座標順データ（図１７右側参照）の１番目の注目領域ＲＯＩ２に係る第二座標データが抽出され、注目領域ＲＯＩ２の始点Ｙ座標（１００）を示す書込みＹ座標が生成される。つまり、ペイロードデータの先頭ライン（１ライン目）の入力時には、Ｙ座標順データの１番目の第二座標データを抽出し、当該第二座標データ内の始点Ｙ座標、すなわちＹ座標順データ内で最も小さい値の始点Ｙ座標を、書込みＹ座標と判定すればよい。

【0159】

先頭ラインの入力以降、書込みＹ座標の値はペイロードデータの新たなラインが入力される度に、１ずつ加算されて更新される。また、書込みＹ座標の更新値が終点Ｙ座標の値を超過した場合には、Ｙ座標順データから次の第二座標データが抽出される。本例では、ペイロードデータの６０１行目のラインＰＬ６０１の入力時には、書込みＹ座標の更新値が「７００」となり、注目領域ＲＯＩ２の終点Ｙ座標の値「６９９」を超過する。このため、Ｙ座標順データ（図１７右側参照）から２番目の注目領域ＲＯＩ１に係る第二座標データが抽出される。

【0160】

新たな第二座標データが抽出されると、書込みＹ座標の更新値が新たに抽出された第二座標データの始点Ｙ座標から終点Ｙ座標の範囲内に含まれるか否かの判定を行う。書込みＹ座標の更新値が当該範囲内であれば、書込みＹ座標の更新値を、入力されたラインに対応する書込みＹ座標として用いる。本例では、書込みＹ座標の更新値「７００」が、注目領域ＲＯＩ１の始点Ｙ座標の値「１４０」から終点Ｙ座標の値「７３９」の範囲内であると判定される。このため、書込みＹ座標の更新値「７００」が、ペイロードデータのラインＰＬ６０１のＲＯＩ画素行データの書込みＹ座標として用いられる。

【0161】

一方、書込みＹ座標の更新値が当該範囲に含まれない場合、書込みＹ座標の更新値は入力されたライン内のＲＯＩ画素行データのＹ座標に相当しない。このため、新たに抽出された第二座標データに基づいて書込みＹ座標を生成する。例えば、書込みＹ座標の更新値が新たに抽出された第二座標データの始点Ｙ座標の値よりも小さい場合には、当該第二座標データの始点Ｙ座標の値で書込みＹ座標を生成すればよい。また、書込みＹ座標の更新値が新たに抽出された第二座標データの終点Ｙ座標の値よりも大きい場合は、Ｙ座標順データから次の第二座標データを抽出して書込みＹ座標を生成すればよい。これにより、各注目領域の撮像画像におけるＹ座標位置を、書込みＹ座標に反映することができる。

【0162】

（書込み開始Ｘ座標および書込みサイズ）
次に、書込み開始Ｘ座標、書込みサイズの生成について説明する。ＲＯＩ画素行単位で生成される書込みＹ座標に対し、書込み開始Ｘ座標および書込みサイズは、注目領域ごとに生成される。書込み開始Ｘ座標は、ＲＯＩ画素行データを構成する各パケット群、すなわち各注目領域の画像データの撮像画像内におけるＸ座標を示す。また、書込みサイズは、各注目領域の画像データの画像サイズ（ここでは、Ｘ軸方向長さ）を示す。ＲＯＩ画素行データは、フレームメモリへの書込み時において、書込み開始Ｘ座標および書込みサイズに基づいて注目領域ごとに分割される。このため、書込みサイズは「分割サイズ」ともいう。

【0163】

また、書込み開始Ｘ座標は、各注目領域の画像データの書込み時において、各注目領域に対応するフレームメモリ内のＸ軸方向の書込み開始位置（先頭アドレス）を算出するために用いられる。また、書込みサイズは、ＲＯＩ画素行データから分割された注目領域の画像データを格納するための、フレームメモリ内の連続したアドレスを算出するために用いられる。

【0164】

書込み開始Ｘ座標および書込みサイズは、ＲＯＩ復元情報のうちＸ座標順データから生成される。例えば、ペイロードデータの各ラインが入力されると、Ｘ座標順データから第一座標データが格納順（始点Ｘ座標の昇順）に抽出される。抽出された第一座標データに対しては、現在の書込みＹ座標の値が抽出された第一座標データの始点Ｙ座標から終点Ｙ座標の範囲内に含まれるか否かの判定を行う。これにより、各注目領域の画像データが各ラインのＲＯＩ画素行データ内に含まれているか否かが判定される。ここで、ＲＯＩ画素行データに含まれる画像データに対応付いた注目領域を、書込み対象ＲＯＩという。なお、本実施形態では、ペイロードデータの所定のラインが入力された場合、まず書込みＹ座標の値が生成（更新）され、次いで、書込み開始Ｘ座標および書込みサイズの生成が行われる。

【0165】

本例では、ペイロードデータの１行目のラインＰＬ１（図１５参照）の入力時において、まずＸ座標順データ（図１７右側参照）の１番目の注目領域ＲＯＩ２に係る第一座標データが抽出される。このとき、上述のように書込みＹ座標の値が「１００」であり、注目領域ＲＯＩ２の始点Ｙ座標の値「１００」から終点Ｙ座標の値「６９９」の範囲内に含まれる。したがって、ラインＰＬ１のＲＯＩ画素行データには、注目領域ＲＯＩ２の画像データが含まれており、注目領域ＲＯＩ２が書込み対象ＲＯＩであると判定される。一方で、書込みＹ座標の値「１００」は、Ｘ座標順データの２番目の注目領域ＲＯＩ１に係る第一座標データの始点Ｙ座標の値「１４０」から終点Ｙ座標の値「７３９」の範囲内には含まれない。同様に、書込みＹ座標の値「１００」は、Ｘ座標順データの３番目の注目領域ＲＯＩ０に係る第一座標データの始点Ｙ座標の値「３００」から終点Ｙ座標の値「８９９」の範囲内には含まれない。したがって、注目領域ＲＯＩ０，ＲＯＩ１は書込み対象ＲＯＩでないと判定される。

【0166】

本実施形態では、書込み対象ＲＯＩであると判定された注目領域（ＲＯＩ）ごとに、書込み開始Ｘ座標、書込みサイズが生成される。具体的には、書込み対象ＲＯＩの始点Ｘ座標が書込み開始Ｘ座標として生成される。本例において、注目領域ＲＯＩ２の書込み開始Ｘ座標は始点Ｘ座標の値「１００」として生成される。また書込みサイズは、書込み対象ＲＯＩの第一座標データにおける始点Ｘ座標の値と終点Ｘ座標の値との差分に、１を加算することで生成される。本例において、注目領域ＲＯＩ２の書込みサイズは「４００画素（＝終点Ｘ座標（４９９）－始点Ｘ座標（１００）＋１）」となる。

【0167】

注目領域ＲＯＩ０が書込み対象ＲＯＩであると判定された場合、注目領域ＲＯＩ０の書込み開始Ｘ座標は始点Ｘ座標の値「３００」として生成され、注目領域ＲＯＩ０の書込みサイズは「４００画素（＝終点Ｘ座標（９１９）－始点Ｘ座標（５２０）＋１）」となる。また、注目領域ＲＯＩ１が書込み対象ＲＯＩであると判定された場合、注目領域ＲＯＩ１の書込み開始Ｘ座標は始点Ｘ座標の値「１０４０」として生成され、注目領域ＲＯＩ１の書込みサイズは「４００画素（＝終点Ｘ座標（１４３９）－始点Ｘ座標（１０４０）＋１）」となる。

【0168】

本例では、ペイロードデータのラインＰＬ１からラインＰＬ４０の入力時においては、書込み対象ＲＯＩが注目領域ＲＯＩ２のみとなる。このため、注目領域ＲＯＩ２の書込み開始Ｘ座標および書込みサイズが生成される。また、ペイロードデータのラインＰＬ４１からラインＰＬ２００の入力時においては、書込み対象ＲＯＩが注目領域ＲＯＩ２，ＲＯＩ１となる。このため、注目領域ＲＯＩ２，ＲＯＩ１のそれぞれの書込み開始Ｘ座標および書込みサイズが生成される。さらに、ペイロードデータのラインＰＬ２０１からラインＰＬ６００の入力時においては、書込み対象ＲＯＩが注目領域ＲＯＩ２，ＲＯＩ０，ＲＯＩ１となる。このため、注目領域ＲＯＩ２，ＲＯＩ０，ＲＯＩ１のそれぞれの書込み開始Ｘ座標および書込みサイズが生成される。

【0169】

また、ペイロードデータのラインＰＬ６０１の入力以降は、注目領域ＲＯＩ２が書込み対象ＲＯＩに相当しなくなる。このため、注目領域ＲＯＩ０，ＲＯＩ１のそれぞれの書込み開始Ｘ座標および書込みサイズが生成される。また、ペイロードデータのラインＰＬ６４１の入力以降は、注目領域ＲＯＩ１が書込み対象ＲＯＩに相当しなくなる。このため、注目領域ＲＯＩ０の書込み開始Ｘ座標および書込みサイズのみが生成される。このように、本実施形態では、ＲＯＩ復元情報における位置情報（本例ではＸ座標順データ）に基づいて、フレームメモリに書込む注目領域（ＲＯＩ）の画像データの書込みサイズが算出される。

【0170】

（フレームメモリのアドレス生成）
本実施形態の復元処理における書込みプロセスでは、ＲＯＩ復元情報から書込み情報（書込みＹ座標、書込み開始Ｘ座標および書込みサイズ）が生成されると、書込み情報に基づいて、フレームメモリにＲＯＩ画素行データに含まれる注目領域（書込み対象ＲＯＩ）の画像データを書き込むためのアドレスが特定される。本実施形態では、上述のように、フレームメモリ内において撮像画像内での注目領域の相対位置を示す復元位置に対応するアドレスが生成される。また、書込み対象ＲＯＩの画像データは、Ｘ座標順データの格納順（始点Ｘ座標が小さい順）に、アドレスが生成される。

【0171】

例えば、ＲＯＩ画素行単位で共通となる書込みＹ座標に基づいて、各注目領域（ここでは書込み対象ＲＯＩ）の復元位置のうちフレームメモリ内のＹ軸方向の位置が特定される。また書込み対象ＲＯＩごとの書込み開始Ｘ座標に基づいて、各書込み対象ＲＯＩの復元位置のうちフレームメモリ内のＸ軸方向の先頭位置が特定される。これにより、フレームメモリ内における書込み対象ＲＯＩの画像データの書込み開始位置が特定される。

【0172】

本例において、ペイロードデータの１行目のラインＰＬ４１（図１５参照）の入力時に、ＲＯＩ画素行データについての書込みＹ座標「１４０」、注目領域ＲＯＩ２についての書込み開始Ｘ座標「１００」、注目領域ＲＯＩ１の書込み開始Ｘ座標「１４０」が生成されたとする。この場合、撮像画像α（図１３参照）内のピクセル座標「１００，１４０（Ｘ座標，Ｙ座標）」に相当する位置が、ＰＬ４１内のＲＯＩ画素行データに含まれる注目領域ＲＯＩ２の画像データのフレームメモリ内における書込み開始位置として判定される。また、撮像画像α内のピクセル座標「５２０，１４０（Ｘ座標，Ｙ座標）」に相当する位置が、当該ＲＯＩ画素行データに含まれる注目領域ＲＯＩ１の画像データのフレームメモリ内における書込み開始位置として判定される。

【0173】

このように、ＲＯＩ画素行データにおける書込み対象ＲＯＩごとに、書込み開始位置が判定されることで、当該書込み開始位置を示すフレームメモリ内の先頭アドレスが算出される。本実施形態において、フレームメモリにおける画像データの書込み領域は、例えば撮像画像と同等のピクセル座標を適用可能である。この場合、例えば書込み開始位置の座標が特定されることで、フレームメモリ内の当該座標を示すアドレスを算出することができる。なお、アドレスの具体的な算出方法（算出式）は、フレームメモリの仕様等に応じて適宜設計すればよい。

【0174】

さらに、各注目領域の先頭アドレスと注目領域ごとに生成された書込みサイズを用いて、書込みサイズが示す画素数分の連続したアドレスを算出する。例えば、先頭アドレスの値を、書込みサイズが示す画素数分だけ１ずつ加算（インクリメント）していく。これにより、書込みサイズが示す画素数分の連続したアドレスが算出される。この連続したアドレスに、書込み対象ＲＯＩの画像データの各画素を書き込むことで、一連の書込み対象ＲＯＩの画像データをフレームメモリに書き込むことができる。フレームメモリにおいて、書込み開始位置から書込みサイズ分の領域が書込み対象ＲＯＩの画素行単位での復元位置に相当する。

【0175】

本例において、ペイロードデータの４１行目のラインＰＬ４１（図１５参照）の入力時には、注目領域ＲＯＩ２の先頭アドレスを書込みサイズ「４００画素」分のアドレスを算出すための加算を繰り返す。これにより、フレームメモリにおいて注目領域ＲＯＩ２の先頭アドレスから４００画素分の連続したアドレスが生成される。また同様にして、注目領域ＲＯＩ１の先頭アドレスから４００画素分の連続したアドレスが生成される。これにより、注目領域ＲＯＩ２，ＲＯＩ１の各４００画素分の画像データが、フレームメモリ内に書込まれる。

【0176】

（画像データの分割）
本実施形態における書込みプロセスでは、ＲＯＩ復元情報に基づいてペイロードデータ内の注目領域（ＲＯＩ）の画像データ（ＲＯＩ画素行データ）を注目領域ごとに分割して転送し、フレームメモリに書込む。具体的には、ＲＯＩ復元情報から生成された書込み情報（書込みＹ座標、書込み開始Ｘ座標および書込みサイズ）に基づいて、ペイロードデータの各ラインにおけるＲＯＩ画素行データが注目領域（書込み対象ＲＯＩ）ごとに分割される。本実施形態の復元処理における書込みプロセスでは、書込み情報のうち書込みサイズに基づいて、ＲＯＩ画素行データが注目領域ごとに分割される。

【0177】

例えば、書込み対象ＲＯＩの画像データは、Ｘ座標順データの格納順（始点Ｘ座標が小さい順）で、ＲＯＩ画素行データから分割される。つまり、ＲＯＩ画素行データは、ペイロードヘッダ側から順に、書込み対象ＲＯＩごとの画像データに分割される。分割された書込み対象ＲＯＩ単位の画像データは、書込み対象ＲＯＩごとにＲＯＩ画素行データから分離され、書込み対象画像データが生成される。書込み対象画像データはフレームメモリに転送され、書込み情報に基づいて生成されたアドレスに書込まれる。このため、ＲＯＩ画素行データは、書込み対象ＲＯＩごとの分割数に応じた書込み回数で、フレームメモリに書き込まれる。

【0178】

本例において、ペイロードデータの４１行目のラインＰＬ４１（図１５参照）の入力時には、書込み対象ＲＯＩである注目領域ＲＯＩ２，ＲＯＩ１それぞれの書込みサイズに基づいて、ＲＯＩ画素行データが分割される。ラインＰＬ４１の画素行データは、ＲＯＩ画素行データの先頭、つまりラインＰＬ４１のペイロードヘッダＰＨ側を起点として、注目領域ＲＯＩ２の画像データ（ＲＯＩ２（Ｌ４１））と、ＲＯＩ１の画像データ（ＲＯＩ１（Ｌ１））とに２分割される。このため、ラインＰＬ４１のＲＯＩ画素行データのフレームメモリへの書込み回数は２回となる。具体的には、ペイロードデータの４１行目のラインＰＬ４１において、注目領域ＲＯＩ２の分割サイズ（書込みサイズ）は４００画素であり、注目領域ＲＯＩ１の分割サイズは４００画素である。このため、ＲＯＩ画素行データにおいて先頭から４００画素分の画像データが分割されて注目領域ＲＯＩ２の書込み対象画像データが生成される。また、ＲＯＩ画素行データにおける残余の４００画素分の画像データから注目領域ＲＯＩ１の書込み対象画像データが生成される。

【0179】

注目領域（書込み対象ＲＯＩ）ごとに生成された書込み対象画像データは、例えばＲＯＩ画素行データから分割された順（書込み開始Ｘ座標が小さい順）にフレームメモリに転送され、各注目領域（ＲＯＩ）に対応する復元位置を示すアドレスに書込まれる。これにより、フレームメモリ内における書込み対象ＲＯＩに対応する復元位置に、書込み対象ＲＯＩの書込み対象画像データが書込まれる。なお、書込み対象ＲＯＩが１つの場合（例えば、ペイロードデータの１行目のラインＰＬ１の入力時）、画素行データは分割せずにフレームメモリに転送可能であるが、バスの仕様と画素行データの画素数を鑑みて、適宜分割してもよい。

【0180】

以上、本実施形態の復元処理における書込みプロセスについて説明した。上述のように、ペイロードデータの各ラインが入力される度に、書込み対象ＲＯＩのアドレス生成およびＲＯＩ画素行データの分割を行い、ペイロードデータの全ラインのＲＯＩ画素行データがフレームメモリ内に書き込まれる。これにより、撮像画像から切り出された注目領域のそれぞれが、フレームメモリ内において復元位置に書き込まれる。したがって、映像受信装置において注目領域の画像データが、所定の表示装置に表示可能な状態に復元される。本例では、フレームメモリ内において、注目領域ＲＯＩ０～２がそれぞれ撮像画像α（図１３参照）での相対位置に対応する復元位置に書込まれることとなる。つまり、注目領域ＲＯＩ０～２が所定の表示装置の画面上において、撮像画像α（図１３参照）での相対位置に対応する表示位置に表示可能な状態に復元される。

【0181】

このように、本実施形態では、復元処理における情報抽出プロセスおよび書込みプロセスを経て、注目領域の画像データが表示可能状態に復元されてフレームメモリに書込まれることで、当該画像データをディスプレイなどの表示装置に効率的に表示することができる。

【0182】

４．本開示の映像伝送システム
４－１．映像伝送システムの概要
次に、本実施形態による映像伝送システム、映像受信装置について、図１８および図１９を用いて説明する。まず、本実施形態による映像伝送システムの概略構成について図１８を用いて説明する。図１８は、映像伝送システム（伝送システムの一例）２の概略構成を示すブロック図である。また、図１９は、本実施形態による映像受信装置２００ａの構成の一例を示すブロック図である。

【0183】

図１８に示すように、映像伝送システム２は、映像送信装置（送信装置の一例）１００および映像受信装置(受信装置の一例)２００ａを備えている。なお、上記前提技術１及び２に係る映像伝送システム１（図１参照）と同一の作用・機能を奏する構成要素には同一の符号を付して説明は省略する。

【0184】

映像伝送システム２において、映像送信装置１００は、エンベデッドデータおよび注目領域の画像データや通常画像のデータが格納されたペイロードデータを含む伝送データを生成する。映像送信装置１００において生成された伝送データは、データレーンＤＬを介して映像受信装置２００ａに送出される。映像受信装置２００ａは、伝送データを受信すると、伝送データに対して所定の処理を行う。本実施形態による映像受信装置２００ａは、注目領域の画像データを含む伝送データを受信すると、注目領域の画像データに対して復元処理を実行する。

【0185】

また本実施形態において、映像受信装置２００ａは表示装置３００と接続されている。表示装置３００は、例えば画像を表示可能な画面を有するディスプレイ装置である。映像受信装置２００ａは、伝送データに含まれる画像データ（通常画像のデータ、注目領域（ＲＯＩ）の画像データ）を表示装置３００に出力する。これにより、例えば映像送信装置１００において撮像画像から切り出されて伝送データで送出された注目領域の画像データが、映像受信装置２００ａにおいて復元処理がなされた上で、表示装置３００の画面上に表示されることとなる。

【0186】

次に、本実施形態による映像受信装置２００ａについて説明する。映像受信装置２００ａは、復元処理を実行可能に構成されている点で、前提技術１及び２に係る映像受信装置２００（図８参照）と異なる。なお、映像受信装置２００ａにおいて、前提技術１及び２に係る映像受信装置２００と同一の作用・機能を奏する構成要素には同一の符号を付して説明は適宜省略する。

【0187】

図１９に示すように、映像受信装置２００ａは、例えば、受信部２１０、情報処理部（処理部の一例）２３０およびフレームメモリ２５０を備えている。詳しくは後述するが、本実施形態において、情報処理部２３０は、第一情報処理部２３０ａと第二情報処理部２３０ｂとで構成される。情報処理部２３０（第一情報処理部２３０ａ、第二情報処理部２３０ｂ）とフレームメモリ２５０とは、バス２４０を介して画像データを転送可能に接続されている。また、第二情報処理部２３０ｂおよびフレームメモリ２５０は、ＤＭＡコントローラ２０の制御に基づいてバス２４０を介して画像データを転送可能に接続されている。

【0188】

映像受信装置２００ａにおける受信部２１０は、所定の撮像画像から切り出された所定数の注目領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）の画像データをペイロードデータに含むとともに、所定数の注目領域に対応するＲＯＩ情報をエンベデッドデータに含む伝送信号（本例では伝送データ１４７Ａ）を受信する。前提技術１及び２における映像送信装置１００と同様に、本実施形態による伝送システム２を構成する映像送信装置１００（図１８参照）は、撮像画像１１１における各注目領域（ＲＯＩ）の画像データをロングパケットのペイロードデータで送出するとともに、当該注目領域についてのＲＯＩ情報１２０Ｂをエンベデッドデータで送出する。これにより、映像送信装置１００から送出された伝送データ１４７Ａを受信した装置（映像受信装置２００）において、伝送データ１４７Ａから、各注目領域ＲＯＩの画像データ（ＲＯＩ画像１１２）を容易に抽出することができる。受信部２１０は、受信した伝送データ１４７Ａに対して所定の処理を行うことにより、種々のデータ（２１４Ａ，２１５Ａ，２１５Ｂ）を生成し、情報処理部２２０に出力する回路である。本実施形態において受信部２１０は、映像送信装置１００との間の画像データフレームの通信が開始されたことを示すパケット（ＳＯＦ）を受信すると、ＳＯＦの受信を示す所定の信号を第一情報処理部２３０ａに出力する。

【0189】

上記前提技術１及び２における映像受信装置２００と同様に、映像受信装置２００ａにおいても、受信部２１０は、例えば、ヘッダ分離部２１１、ヘッダ解釈部２１２、ペイロード分離部２１３、ＥＢＤ解釈部２１４及びＲＯＩデータ分離部２１５を有している。このうち、ヘッダ分離部２１１、ヘッダ解釈部２１２は、映像受信装置２００と同様の構成であるため説明は省略する。

【0190】

ＥＢＤ解釈部２１４は、ペイロード分離部２１３から入力されたエンベデッドデータ２１３Ａに含まれるデータタイプから、伝送データ１４７Ａのペイロードデータに含まれる画像データがＲＯＩの画像データ（前提技術１及び２における注目領域の画像データ１１６の圧縮像データ１２０Ａ）であるか、又は、通常画像のデータ（圧縮像データ１３０Ａ）であるかを判別する。またＥＢＤ解釈部２１４は、データタイプの判別結果をＲＯＩデータ分離部２１５に出力する。また、ＥＢＤ解釈部２１４は、ＲＯＩ情報を含む（注目領域の画像データがペイロードデータに含まれることを示す）エンベデッドデータをＥＢＤデータ２１４Ａとして、第一情報処理部２３０ａ（具体的には、第一情報抽出部２３１)に出力する。

【0191】

ＲＯＩデータ分離部２１５は、ＥＢＤ解釈部２１４によるデータタイプの判別結果に基づいて、伝送データ１４７Ａのペイロードデータに含まれる画像データが注目領域の画像データ（画像データ１１６の圧縮像データ１２０Ａ）であると判定すると、ペイロードデータの各ラインをペイロードデータ２１５Ａとして、１ラインごとに第一情報処理部２３０ａ（具体的にはＲＯＩデコード部２３２）に出力する。ペイロードデータ２１５Ａは、圧縮像データ１４７Ｂのうち１ライン分のピクセルデータ（ＲＯＩ画素行データ）を含んでいる。

【0192】

本実施形態では、例えば映像送信装置１００から送出された伝送データ１４７Ａに係る画像データフレームを構成するトランザクション単位でペイロードデータの各ラインが映像受信装置２００ａに伝送される。受信部２１０のヘッダ解釈部２１２においてロングパケットのペイロードデータの各ラインのヘッダが検出されると、ペイロード分離部２１３においてペイロードデータの各ラインがパケット領域Ｒ２から分離され、ＲＯＩデータ分離部２１５において各ラインのペイロードヘッダＰＨ、ＲＯＩ画素行データおよびペイロードフッタＰＦを含むペイロードデータ２１５Ａが生成される。

【0193】

例えば図１５に示すペイロードデータをパケット領域に含む画像データフレームが映像送信装置１００から伝送される場合、ＲＯＩデータ分離部２１５が生成するペイロードデータ２１５Ａには、ペイロードデータのラインＰＬ１～８００のうちの１ライン分のピクセルデータが含まれる。またこのとき、ＲＯＩデータ分離部２１５は、画像データフレームのパケット領域を構成するラインＰＬ１～８００のペイロードデータをラインＰＬ１から順に、ペイロードデータ２１５ＡとしてＲＯＩデコード部２３２に出力する。なお、ロングパケットのペイロードデータにＲＯＩ情報１２０Ｂが含まれている場合には、ペイロードデータ２１５Ａには、ＲＯＩ情報１２０Ｂが含まれてもよい。

【0194】

一方、ペイロードデータに含まれる画像データが通常画像データの圧縮像データ１３０Ａである場合、ＲＯＩデータ分離部２１５は、当該ペイロードデータをペイロードデータ２１５Ｂとして、第一情報処理部２３０ａ（具体的には通常画像デコード部２３６）に出力する。また、ＲＯＩデータ分離部２１５は、ＥＢＤ解釈部２１４から入力されたデータタイプの判別結果（画像データが通常画像データであることを示す判別結果）を、第一情報処理部２３０ａ（具体的には通常画像アドレス生成部２３５）に出力する。

【0195】

第一情報処理部２３０ａは、エンベデッドデータから抽出した所定数の注目領域（ＲＯＩ）に対応するＲＯＩ情報に基づいて注目領域の画像データ（ペイロードデータ２１５Ａ）を表示装置３００に表示可能な状態に復元する復元処理を行う回路である。また、第一情報処理部２３０ａは、通常画像のデータ（ペイロードデータ２１５Ｂ）に対する所定の処理（通常画像処理）を行う。

【0196】

第一情報処理部２３０ａは、復元処理の実行に係る構成として、第一情報抽出部２３１、ＲＯＩデコード部２３２、ＲＯＩ画像アドレス生成部２３３およびＲＯＩ画像生成部２３４を有している。まず、復元処理を行うこれらの構成について説明する。

【0197】

第一情報処理部２３０ａは、エンベデッドデータ（ＥＢＤデータ２１４Ａ）から、ＲＯＩ情報を抽出する。第一情報処理部２３０ａは、復元処理における上述の情報抽出プロセスおよび書込みプロセスを行い、注目領域（ＲＯＩ）の画像データを復元してフレームメモリ２５０に書き込む一連の処理を実行する。

【0198】

第一情報抽出部２３１は、復元処理における情報抽出プロセスを実行する。具体的には、第一情報抽出部２３１は、エンベデッドデータ（ＥＢＤデータ２１４Ａ）に含まれるＲＯＩ情報（ＲＯＩ情報１２０Ｂ）から、撮像画像における所定数の注目領域それぞれの位置情報及びサイズ情報をＲＯＩ情報として抽出する。本例では、第一情報抽出部２３１は、位置情報として撮像画像αにおける３つの注目領域ＲＯＩ０～２それぞれの始点座標を抽出し、サイズ情報として注目領域ＲＯＩ０～２それぞれのＸ軸方向長さおよびＹ軸方向長さを抽出する。

【0199】

第一情報抽出部２３１は、抽出したＲＯＩ情報に基づいて、注目領域の画像データの復元に用いるＲＯＩ復元情報（Ｘ座標順データ、Ｙ座標順データ）を生成する。具体的には、ＲＯＩ情報における位置情報には、注目領域（ＲＯＩ）の左上端部を示すＸ座標およびＹ座標が含まれている。第一情報抽出部２３１は、撮像画像から切り出された所定数の注目領域の位置情報およびサイズ情報を始点Ｘ座標の値の昇順に並び替えたＸ座標順データを生成する。本例において第一情報抽出部２３１は、注目領域ＲＯＩ０～２のそれぞれに対応した第一座標データ（図１６参照）を生成し、生成した第一座標データを始点Ｘ座標の値の昇順（注目領域ＲＯＩ２，ＲＯＩ０，ＲＯＩ１の順）に並び替えたＸ座標順データ（図１７左側参照）を生成する。

【0200】

また、第一情報抽出部２３１は、撮像画像から切り出された所定数の注目領域の位置情報およびサイズ情報を始点Ｙ座標の値の昇順に並び替えたＹ座標順データを生成する。本例において第一情報抽出部２３１は、注目領域ＲＯＩ０～２のそれぞれに対応した第二座標データ（図１６参照）を生成し、生成した第二座標データを始点Ｙ座標の値の昇順（注目領域ＲＯＩ２，ＲＯＩ１，ＲＯＩ０の順）に並び替えたＹ座標順データ（図１７右側参照）を生成する。第一情報抽出部２３１は、Ｘ座標順データとＹ座標順データとを生成すると、例えば生成したＸ座標順データおよびＹ座標順データをＲＯＩ復元情報としてレジスタに記憶する。

【0201】

第一情報抽出部２３１は、ＲＯＩ復元情報を生成する際に、最終ライン判定情報を生成してもよい。最終ライン判定情報は、例えばＹ座標順データに基づいて生成される。第一情報抽出部２３１は、例えばＹ座標順データ内の第二座標データにおける終点Ｙ座標を比較し、最も値が大きいＹ座標を最終ラインＹ座標としてレジスタに記憶してもよい。これにより、第一情報抽出部２３１は、最終ライン判定情報を用いることで、ペイロードデータ内の全ライン分の注目領域の画像データの書込みが終了したか否かを判定することができる。

【0202】

また、第一情報抽出部２３１は、情報抽出プロセスにおける復元情報の生成を行うと、次いで、ＲＯＩ復元情報を解析して書込みプロセスにおける書込み情報（書込みＹ座標、書込み開始Ｘ座標、書込みサイズ）の生成を行う。第一情報抽出部２３１は第一情報処理部２３０ａ（具体的にはＲＯＩデコード部２３２）にペイロードデータ２１５Ａが入力される度に、入力されたペイロードデータ２１５Ａについての書込み情報を生成する。つまり、第一情報抽出部２３１は、ペイロードデータ単位で書込み情報を生成する。ＲＯＩデコード部２３２は、ヘッダ解釈部２１２においてペイロードデータの各ラインのヘッダが検出されたことに基づいて、ＲＯＩデータ分離部２１５からペイロードデータ２１５Ａが入力されると、当該入力を示す所定の信号を第一情報抽出部２３１に出力する。これにより、第一情報抽出部２３１は、ペイロードデータの各ラインが入力されたことを検出可能となる。

【0203】

本例において、第一情報抽出部２３１は、図１５に示すペイロードデータのラインＰＬ１～８００の各ラインについてのペイロードデータ２１５ＡがＲＯＩデコード部２３２に入力される度に、各ラインに対応するペイロードデータ２１５Ａについての書込み情報の生成を行う。

【0204】

第一情報抽出部２３１は、書込み情報としてＲＯＩ復元情報のうちＹ座標順データからペイロードデータ２１５Ａに対応する書込みＹ座標を生成する。書込みＹ座標の生成方法は、上述のとおりである。例えば、第一情報抽出部２３１は、ペイロードデータのラインＰＬ１（図１５参照）に相当するペイロードデータ２１５Ａの入力を検出すると、Ｙ座標順データ（図１７右側参照）の１番目の注目領域ＲＯＩ２に係る第二座標データを抽出し、注目領域ＲＯＩ２の始点Ｙ座標の値「１００」を書込みＹ座標と判定する。以降、第一情報抽出部２３１は、ペイロードデータ２１５Ａの入力の度に書込みＹ座標の値を更新（インクリメント）する。第一情報抽出部２３１は、ペイロードデータの６０１行目のラインＰＬ６０１の入力時には、Ｙ座標順データから２番目の注目領域ＲＯＩ１に係る第二座標データを抽出し、書込みＹ座標の更新値「７００」を書込みＹ座標として用いる。

【0205】

また、第一情報抽出部２３１は、書込み情報としてＲＯＩ復元情報のうちＸ座標順データからペイロードデータ２１５Ａに含まれる各注目領域（書込み対象ＲＯＩ）の画像データに対応する書込み開始Ｘ座標、書込みサイズを生成する。書込み開始Ｘ座標および書込みサイズの生成方法は、上述のとおりである。

【0206】

例えば、ペイロードデータのラインＰＬ１に相当するペイロードデータ２１５Ａの入力を検出して、第一情報抽出部２３１が書込みＹ座標（Ｙ＝１００）を生成したとする。この場合、Ｘ座標順データの１番目の注目領域ＲＯＩ２の第一座標データにおける始点Ｙ座標の値「１００」から終点Ｙ座標の値「６９９」の範囲内に含まれる。このため、第一情報抽出部２３１は、注目領域ＲＯＩ２が書込み対象ＲＯＩであると判定し、注目領域ＲＯＩ２の始点Ｘ座標（Ｘ＝１００）を注目領域ＲＯＩ２の画像データの書込み開始Ｘ座標とする。また、第一情報抽出部２３１は、注目領域ＲＯＩ２の書込みサイズとして「４００画素（＝終点Ｘ座標（４９９）－始点Ｘ座標（１００）＋１）」を算出する。

【0207】

第一情報抽出部２３１は、Ｘ座標順データに基づいてペイロードデータ２１５Ａにおける書込み対象ＲＯＩを判定すると、書込み対象ＲＯＩごとに書込み情報（書込みＹ座標、書込み開始Ｘ座標および書込みサイズ）を生成し、生成した書込み情報をＲＯＩ画像アドレス生成部２３３、ＲＯＩ画像生成部２３４に出力する。

【0208】

ＲＯＩ画像アドレス生成部２３３、ＲＯＩ画像生成部２３４には、第一情報抽出部２３から、Ｘ座標順データにおける格納順（始点Ｘ座標が小さい順）に、書込み対象ＲＯＩごとの書込み情報が入力される。例えば、第一情報抽出部２３１は、ペイロードデータのラインＰＬ４１（図１５参照）に相当するペイロードデータ２１５Ａの入力を検出すると、書込み対象ＲＯＩについての書込み情報を注目領域ＲＯＩ２，ＲＯＩ１の順でＲＯＩ画像アドレス生成部２３３、ＲＯＩ画像生成部２３４に出力する。これにより、ＲＯＩ画像アドレス生成部２３３、ＲＯＩ画像生成部２３４は、復元処理の書込みプロセスに係る処理（アドレス生成、ＲＯＩ画像行データの分割）を、注目領域ＲＯＩ２，ＲＯＩ1の順、つまりＸ座標順データにおける格納順（始点Ｘ座標（書込み開始Ｘ座標）の昇順）で実行可能となる。

【0209】

ＲＯＩ画像アドレス生成部２３３は、復元処理の書込みプロセスにおけるアドレス生成処理を行う。ＲＯＩ画像アドレス生成部２３３は、ＲＯＩ復元情報に基づいて、フレームメモリ２５０における注目領域（ＲＯＩ）の画像データの書込み先を示すアドレスを生成する。ＲＯＩ画像アドレス生成部２３３は、ＲＯＩ復元情報から生成された書込み情報が第一情報抽出部２３１から入力されたことに基づいて、ペイロードデータ２１５Ａ内のＲＯＩ画素行データを構成する注目領域（書込み対象ＲＯＩ）の画像データをフレームメモリ２５０に書き込むためのアドレスを生成する。

【0210】

本実施形態において、ＲＯＩ画像アドレス生成部２３３が生成するアドレスは、フレームメモリ２５０内において撮像画像内での注目領域の相対位置を示す復元位置に対応するアドレスである。ＲＯＩ画像アドレス生成部２３３は、第一情報抽出部２３１から入力される書込み対象ＲＯＩの書込み情報に基づいて、当該書込み対象ＲＯＩの復元位置に対応するアドレスを算出する。ＲＯＩ画像アドレス生成部２３３は、上述のとおり、書込みＹ座標と書込み開始Ｘ座標に基づいて書込み対象ＲＯＩの書込み開始位置を示す座標を特定し、当該書込み開始位置から先頭アドレスを算出する。

【0211】

また、ＲＯＩ画像アドレス生成部２３３は、上述のとおり、先頭アドレスと書込みサイズに基づいて当該書込み対象ＲＯＩの画像データの画素数分の連続したアドレスを算出する。このように、ＲＯＩ画像アドレス生成部２３３は、書込み開始位置の座標と書込みサイズとを用いて、画素行単位での書込み対象ＲＯＩの画像データのフレームメモリ２５０内での復元位置を特定し、復元位置に相当するアドレスを生成する。なお、具体的なアドレス値の算出方法は、フレームメモリ２５０のアドレス領域の割り当てに応じて適宜設計される。

【0212】

上述のように、ＲＯＩ画像アドレス生成部２３３には、第一情報抽出部２３１から、始点Ｘ座標（書込み開始Ｘ座標）の昇順で、書込み対象ＲＯＩごとの書込み情報が入力される。このため、ＲＯＩ画像アドレス生成部２３３は、書込み開始Ｘ座標の昇順で書込み対象ＲＯＩごとのアドレスを生成する。

【0213】

ＲＯＩ画像アドレス生成部２３３は、生成したアドレスを含むアドレスコマンドを発行する。発行したアドレスコマンドは、バスを介してフレームメモリ２５０に転送される。また、ＲＯＩ画像アドレス生成部２３３は、アドレスコマンド発行時において、書込み対象ＲＯＩの書込みサイズ、つまりフレームメモリ２５０に書込まれる書込み対象ＲＯＩの画像データの画素数（転送数）を、ＲＯＩ画像生成部２３４に出力する。

【0214】

ＲＯＩ画像生成部２３４は、ＲＯＩ復元情報に基づいてペイロードデータ単位で注目領域の画像データをフレームメモリ２５０に書込む。より詳細には、ＲＯＩ画像生成部２３４は、復元処理の書込みプロセスにおけるＲＯＩ画素行データの分割、書込みを行う。ＲＯＩ画像生成部２３４は、ＲＯＩ復元情報に基づいてペイロードデータ２１５Ａ内のＲＯＩ画素行データを注目領域（書込み対象ＲＯＩ）ごとに分割してフレームメモリ２５０に書込む。ＲＯＩ画像生成部２３４は、ＲＯＩ復元情報から生成された書込み情報が第一情報抽出部２３１から入力されると、当該書込み情報に基づいて、ペイロードデータ内のＲＯＩ画素行データを分割する。ＲＯＩ画像生成部２３４は、ＲＯＩ画素行データから分割した書込み対象ＲＯＩの画像データである書込み対象画像データ２３４Ａを生成し、当該書込み対象画像データ２３４Ａをフレームメモリ２５０に書込む。

【0215】

ＲＯＩ画像生成部２３４には、ＲＯＩデコード部２３２からペイロードデータ２１５Ａ内のＲＯＩ画素行データをデコードしたＲＯＩデコード画像データ２３２Ａが入力される。ＲＯＩデコード部２３２は、ＲＯＩデータ分離部２１５から入力されたペイロードデータ２１５Ａ内のＲＯＩ画素行データ（圧縮像データ１４７Ｂ）をデコードしてＲＯＩデコード画像データ２３２Ａを生成する。なお、本実施形態においてＲＯＩデコード画像データ２３２Ａは、ペイロードヘッダＰＨおよびペイロードフッタＰＦ（図１５参照）が含まれる。

【0216】

ＲＯＩ画像生成部２３４は、第一情報抽出部２３１から入力される書込み対象ＲＯＩの書込み情報に基づいて、ＲＯＩデコード画像データ２３２Ａを書込み対象ＲＯＩ単位に分割する。ＲＯＩ画像生成部２３４は、書込み情報のうち書込みサイズに基づいてＲＯＩデコード画像データ２３２Ａを書込み対象ＲＯＩごとに分割する。上述のように、ＲＯＩ画像生成部２３４には、第一情報抽出部２３１から、始点Ｘ座標（書込み開始Ｘ座標）の昇順で、書込み対象ＲＯＩごとの書込み情報が入力される。このため、ＲＯＩ画像生成部２３４は、書込み開始Ｘ座標の昇順、つまりＲＯＩデコード画像データ２３２Ａのペイロードヘッダ側から順に、書込み対象ＲＯＩごとの画像データを分割する。例えばＲＯＩ画像生成部２３４は、ＲＯＩデコード画像データ２３２Ａから書込み対象ＲＯＩ単位の画像データを分離し、書込み対象ＲＯＩごとの書込み対象画像データを生成する。

【0217】

例えば、ペイロードデータの４１行目のラインＰＬ４１（図１５参照）の入力時には、ＲＯＩ画像生成部２３４は、書込み対象ＲＯＩである注目領域ＲＯＩ２，ＲＯＩ１それぞれの書込みサイズ（４００画素）に基づいて、ＲＯＩデコード画像データ２３２Ａを４００画素ずつに分割する。具体的には、ＲＯＩ画像生成部２３４は、ＲＯＩデコード画像データ２３２Ａの先頭（ペイロードヘッダＰＨ側）から４００画素分が注目領域ＲＯＩ２の画像データとして分割し、残余の４００画素分を注目領域ＲＯＩ１の画像データとして分割する。ＲＯＩ画像生成部２３４は、分割した注目領域ＲＯＩ２の画像データをＲＯＩデコード画像データ２３２Ａから分離して注目領域ＲＯＩ２の書込み対象画像データ２３４Ａを生成し、同様にして注目領域ＲＯＩ１の書込み対象画像データ２３４Ａを生成する。

【0218】

ＲＯＩ画像生成部２３４は、書込み対象画像データ２３４Ａを生成すると、書込み対象画像データ２３４Ａを含むデータコマンドを発行する。発行されたデータコマンドは、バス２４０を介してフレームメモリ２５０に転送される。これにより、書込み対象ＲＯＩの書込み対象画像データ２３４Ａがフレームメモリ２５０に書込まれる。ＲＯＩ画像生成部２３４は、書込み対象画像データ２３４Ａを圧縮し、圧縮した書込み対象画像データ２３４Ａでデータコマンドを生成してもよい。この場合、書込み対象画像データ２３４Ａは、圧縮された状態でフレームメモリ２５０に書込まれる。

【0219】

本実施形態において、上述のように、ＲＯＩ画像生成部２３４にはＲＯＩ画像アドレス生成部２３３でのアドレスコマンド発行時において、転送数が入力される。また、ＲＯＩ画像アドレス生成部２３３は、書込み対象ＲＯＩの書込み開始Ｘ座標の昇順でアドレスを生成する。このため、本実施形態において、フレームメモリ２５０には、同一の書込み対象ＲＯＩに関するアドレスコマンドおよびデータコマンドが、ほぼ同じタイミングで転送される。つまり、映像受信装置２００ａにおいて、アドレスコマンドおよびデータコマンドの発行は同期している。したがって、ＲＯＩ画像生成部２３４は、ＲＯＩ画像アドレス生成部２３３から転送数が入力されることを契機として、データコマンドを発行することで、一の書込み対象ＲＯＩの書込み先を示すアドレスに、当該一の書込み対象ＲＯＩの書込み対象画像データ２３４Ａを書込むことができる。つまり、フレームメモリ２５０には、アドレスコマンドが示す書込み対象ＲＯＩの各アドレスにおいて、データコマンドに含まれる当該書込み対象ＲＯＩの書込み対象画像データ２３４Ａの各画素が書き込まれる。

【0220】

また、ＲＯＩ画像生成部２３４は、書込み対象ＲＯＩの全ての画像データがＲＯＩデコード画像データ２３２Ａから分離されて書込み対象画像データ２３４Ａのペイロードデータ単位での書込み対象画像データ２３４Ａの生成が完了うすると、書込み終端信号を生成してを第一情報抽出部２３１に出力する。ＲＯＩ画像生成部２３４は、例えばＲＯＩデコード画像データ２３２Ａから書込み対象ＲＯＩの全ての画像データを分離し、画像データの終端を示すペイロードフッタＰＦ（図１５参照）を検出すると書込み終端信号を第一情報抽出部２３１に出力する。第一情報抽出部２３１は、書込み終端信号が入力されることで、ペイロードデータの各ライン（ペイロードデータ２１５Ａ）内における全ての注目領域の画像データの書込みが終了したことを認識することができる。

【0221】

このように、本実施形態による映像受信装置２００ａにおける第一情報処理部２３０ａは、生成したＲＯＩ復元情報に基づいて、フレームメモリ２５０に注目領域の画像データを書込む。また、第一情報処理部２３０ａは、（具体的には、ＲＯＩ画像アドレス生成部２３３）は、ＲＯＩ復元情報に基づいて撮像画像内での注目領域の相対位置に対応するフレームメモリ２５０内の復元位置を特定する。さらに、第一情報処理部２３０ａは、（具体的には、ＲＯＩ画像生成部２３４）は、フレームメモリ２５０内の復元位置に注目領域の画像データ（書込み対象画像データ２３４Ａ）を書込む。このように、映像受信装置２００ａは、復元処理の実行により、注目領域の画像データを所定の表示装置に表示可能な状態に復元することができる。

【0222】

本実施形態では、映像受信装置２００ａの第一情報処理部２３０ａが復元処理における情報抽出プロセスおよび書込みプロセスを実行し、注目領域の画像データを表示可能状態に復元してフレームメモリ２５０に書込むことにより、当該画像データを表示装置３００（図１８参照）に効率的に表示することができる。また、本実施形態において、第一情報処理部２３０ａは、復元処理における情報抽出プロセスおよび書込みプロセスを実行可能なハードウェア（例えば、復元処理回路）として構成される。これにより、映像受信装置２００ａは、注目領域の画像データの復元に係る処理を高速化し、伝送システム２における単位時間あたりの画像データフレームの処理数を向上させる、すなわち高フレームレートでの処理を実現することができる。また、本実施形態による映像受信装置２００ａ全体がハードウェア（例えば、映像受信回路）として構成されてもよい。このた場合、エンベデッドデータおよびペイロードデータを含む伝送データ１４７Ａを受信する受信部２１０もハードウェア（例えば、受信回路）として構成される。これにより、映像受信装置２００ａの処理全体を高速化し、伝送システム２における単位時間あたりの画像データフレームの処理数をより向上させる、すなわちより高フレームレートでの処理を実現することができる。

【0223】

ここで、書込み対象ＲＯＩの画像データが書き込まれるフレームメモリ２５０について説明する。フレームメモリ２５０は、例えば一のアドレスが示す領域において１画素の画像データ（１バイト）を格納可能である。なお、例えばフルカラーの画像データの場合、１画素のデータはＲＧＢの要素ごとに１バイト、計３バイトのメモリサイズとなる。このため、フレームメモリ２５０は、ＲＧＢの要素ごとに設けられ、フルカラーの画像データの１画素（３バイト）を１バイトずつ書込むように構成されてもよい。このとき、例えばＲＧＢごとのフレームメモリ２５０はそれぞれ共通のアドレスを有し、一の共通アドレスを指定することで、各フレームメモリの同等の位置に１画素分の画像データを書込み可能であってもよい。

【0224】

また、フレームメモリ２５０には、例えば画像データとは異なる領域において、一のフレームで映像送信装置１００から送出される伝送データ１４７Ａの内容を書き込み可能である。本実施形態では、フレームメモリ２５０には、伝送データ１４７Ａのフレームヘッダ領域に設定されたエンベデッドデータ（ＥＢＤデータ２１４Ａ）の内容も書込まれる。例えば、第一情報抽出部２３１は、ペイロードデータ２１５Ａ内の全ての注目領域（ＲＯＩ）の画像データの書込みを終了したこと（書込み終端信号の入力）に伴い、ＥＢＤデータ２１４ＡをＲＯＩ画像生成部２３４に出力する。ＲＯＩ画像生成部２３４は、入力されたＥＢＤデータ２１４Ａをフレームメモリ２５０に転送する。ＥＢＤデータ２１４Ａはフレームメモリにおいて画像付加情報として記憶される。これにより、一の画像データフレームにおいて伝送された注目領域の画像データとエンベデッドデータとが、フレームメモリ２５０に格納される。

【0225】

本実施形態による映像受信装置２００ａでは、注目領域の画像データを表示装置３００に出力する際に、当該画像データとともにフレームメモリ２５０に格納されたエンベデッドデータを用いた処理を行う。これにより、フレームメモリ２５０内に書込まれた注目領域の画像データを含む表示用データをより認識し易い状態で表示装置３００に表示させることができる。

【0226】

また、詳しくは後述するが、フレームメモリ２５０内に書き込まれた注目領域の画像データは、フレームメモリ単位で読み出されて映像受信装置２００ａから表示装置３００（図１８参照）に出力されて、表示装置３００が有する画面内に表示される。したがって、第一情報処理部２３０ａにおいて復元され、フレームメモリ２５０内に書き込まれた注目領域の画像データは、撮像画像内の相対位置を維持した状態で所定の表示装置の画面内に表示可能となる。これにより、注目領域の画像データを効率的に表示装置３００に表示することができる。なお、フレームメモリ２５０から読出された目領域ＲＯＩの画像データの表示に係る処理については、後述する。

【0227】

次に、本実施形態による映像受信装置２００ａにおける復元処理の流れについて図２０を用いて説明する。図２０は、本実施形態による映像受信装置２００ａにおける復元処理の流れの一例を示すフローチャートである。

【0228】

（ステップＳ１０１）
映像受信装置２００ａに備えられた受信部２１０は、映像送信装置１００から所定のパケットを受信すると、当該パケットがフレーム（本例では、画像データフレーム）の開始を示すパケット（ＳＯＦ）か否かを判定する。受信部２１０は、ＳＯＦを受信したと判定するとＳＯＦを受信したことを示す制御信号を第一情報処理部２３０ａに出力する。これに基づいて、第一情報処理部２３０ａはステップＳ１０３の処理を実行する。一方、受信部２１０は、受信したパケットがＳＯＦでないと判定すると、所定間隔でステップＳ１０１の処理を繰り返してＳＯＦの受信を待機する。

【0229】

（ステップＳ１０３）
第一情報処理部２３０ａは、前回の画像データフレームにおいて復元処理に用いられた情報（ＲＯＩ復元情報など）をリセットして、ステップＳ１０５に処理を移す。第一情報処理部２３０ａは、レジスタに記憶されているＲＯＩ復元情報（Ｘ座標順データ、Ｚ座標順データ）の消去またはレジスタへの既定値のセットを行うことで、前回の画像データフレームにおけるＲＯＩ復元情報などのリセットを行う。

【0230】

（ステップＳ１０５）
第一情報処理部２３０ａは、エンベデッドデータが入力されたか否かを判定する。具体的には、第一情報処理部２３０ａに備えられた第一情報抽出部２３１は、受信部２１０が備えるＥＢＤ解釈部２１４からＲＯＩ情報を含むエンベデッドデータ（ＥＢＤデータ２１４Ａ）が入力されたか否かを判定する。第一情報抽出部２３１は、ＥＢＤデータ２１４Ａが入力されたと判定すると、ステップＳ１０７に処理を移す。一方、第一情報抽出部２３１は、ＥＢＤデータ２１４Ａが入力されていないと判定すると、所定間隔でステップＳ１０５の処理を繰り返して、ＥＢＤデータ２１４Ａが入力されるまでステップＳ１０７以降の処理の実行を待機する。

【0231】

（ステップＳ１０７）
第一情報抽出部２３１は、エンベデッドデータ（ＥＢＤデータ２１４Ａ）からＲＯＩ情報（位置情報およびサイズ情報）を抽出し、ステップＳ１０９に処理を移す。例えば、第一情報抽出部２３１は、ＥＢＤデータ２１４Ａから、撮像画像αから切り出された注目領域ＲＯＩ０～２に対応する位置情報として始点座標を抽出し、サイズ情報としてＸ軸方向長さおよびＹ軸方向長さを抽出する。

【0232】

（ステップＳ１０９）
第一情報抽出部２３１は、抽出したＲＯＩ情報を並び替えて、ＲＯＩ復元情報（Ｘ座標順データ、Ｙ座標順データ）を生成し、ステップＳ１１１に処理を移す。具体的には、第一情報抽出部２３１は、抽出したＲＯＩ情報に基づいて生成した第一座標データおよび第二座標データ（図１６参照）を上述のように並び替えて、ＲＯＩ復元情報（Ｘ座標順データ、Ｙ座標順データ）を生成する。また、第一情報抽出部２３１はＲＯＩ復元情報と合わせて最終ライン判定情報を生成する。例えば、第一情報抽出部２３１は、注目領域ＲＯＩ０～２の第一座標データを始点Ｘ座標の昇順に並び替えてＸ座標順データ（図１７左側参照）を生成し、注目領域ＲＯＩ０～２の第二座標データを始点Ｙ座標の昇順に並び替えてＹ座標順データ（図１７右側参照）を生成する。また第一情報抽出部２３１は、Ｙ座標順データのうち最も値が大きい注目領域ＲＯＩ０の終点Ｙ座標（８９９）を最終ライン判定情報として生成する。

【0233】

（ステップＳ１１１）
第一情報抽出部２３１は、ペイロードデータのヘッダ入力があるか否かを判定する。本実施形態において第一情報抽出部２３１は、ＲＯＩデコード部２３２においてペイロードデータ２１５Ａが入力されたことを示す信号を検出すると、ペイロードデータのヘッダ入力があったと判定してステップＳ１１３に処理を移す。一方、第一情報抽出部２３１は、ペイロードデータ２１５Ａが入力されたことを示す信号を検出していない場合、当該信号の入力を検出するまで、つまりペイロードデータのヘッダ入力があるまで、所定間隔でステップＳ１１１の処理を繰り返す。

【0234】

（ステップＳ１１３）
第一情報抽出部２３１は、ＲＯＩ復元情報から注目領域（書込み対象ＲＯＩ）の画像データの書込みに用いる書込み情報（書込みＹ座標、書込み開始Ｘ座標および書込みサイズ）を生成してステップＳ１１５に処理を移す。第一情報抽出部２３１は、Ｙ座標順データから書込みＹ座標を生成し、生成した書込みＹ座標を用いてＸ座標順データから書込み開始Ｘ座標および書込みサイズを生成する。第一情報抽出部２３１は、書込み対象ＲＯＩごとに生成した書込み情報を、書込み開始Ｘ座標の昇順でＲＯＩ画像アドレス生成部２３３、ＲＯＩ画像生成部２３４に出力する。入力された書込み情報が入力に基づいて、ＲＯＩ画像アドレス生成部２３３はステップＳ１１５の処理を実行し、ＲＯＩ画像生成部２３４はステップＳ１１７、ステップＳ１１９の処理を実行する。

【0235】

（ステップＳ１１５）
ＲＯＩ画像アドレス生成部２３３は、入力された書込み情報に基づいて、書込み対象ＲＯＩの復元位置に対応するフレームメモリ２５０内のアドレスを算出する。算出されたアドレスは、アドレスコマンドとして発行されフレームメモリ２５０に転送される。また、ＲＯＩ画像アドレス生成部２３３は、アドレスコマンドの発光に伴い、書込み対象ＲＯＩの画素数を示す転送数をＲＯＩ画像生成部２３４に出力する。

【0236】

（ステップＳ１１７）
ＲＯＩ画像生成部２３４は、第一情報抽出部２３１から入力された書込み情報に基づいて書込み対象画像データ２３４Ａを生成してステップＳ１１９に処理を移す。ＲＯＩ画像生成部２３４は、入力される書込み情報に基づいて、ＲＯＩデコード部２３２から入力されたＲＯＩデコード画像データ２３２Ａを書込み対象ＲＯＩ単位に分割し、書込み対象画像データ２３４Ａを生成する。

【0237】

（ステップＳ１１９）
ＲＯＩ画像生成部２３４は、書込み対象画像データ２３４Ａを含むデータコマンドを発行し、バス２４０を介してフレームメモリ２５０に書込み対象画像データ２３４Ａを書込む。ＲＯＩ画像生成部２３４は、ＲＯＩ画像アドレス生成部２３３から転送数が入力されたタイミングでデータコマンドを発する。またＲＯＩ画像生成部２３４は、データコマンドを発行したことを示す所定の信号を第一情報抽出部２３１に出力する。第一情報抽出部２３１は、当該信号が入力されるとステップＳ１２１の処理を実行する。またＲＯＩ画像生成部２３４は、ＲＯＩデコード画像データ２３２ＡのペイロードフッタＰＦを検出した場合には、書込み終端信号を第一情報抽出部２３１に出力する。

【0238】

（ステップＳ１２１）
第一情報抽出部２３１は、入力された１ライン分のペイロードデータ（ペイロードデータ２１５Ａ）内の書込み対象ＲＯＩの画像データ（ＲＯＩデコード画像データ２３２Ａ内のＲＯＩ画素行データ）が、フレームメモリ２５０に全て書込まれたか否かを判定する。第一情報抽出部２３１は、ＲＯＩ画像生成部２３４からデータコマンドを発行したことを示す所定の信号が入力されると、当該判定を行う。第一情報抽出部２３１は、ＲＯＩ画像生成部２３４から書込み終端信号が入力されている場合に、１ライン分のペイロードデータにおける書込み対象ＲＯＩの画像データの書込みが終了したと判定して、ステップＳ１２３に処理を移す。一方、第一情報抽出部２３１は、書込み終端信号が入力されていない場合に、フレームメモリ２５０に書込まれていない書込み対象ＲＯＩの画像データが残存していると判定してステップＳ１１５に処理を戻す。

【0239】

このようにして、本実施形態における復元処理では、ステップＳ１１５からステップＳ１１９の処理が、ペイロードデータの各ライン内の書込み対象ＲＯＩの数だけ繰り返される。これにより、ペイロードデータの各ライン内の全ての書込み対象ＲＯＩの画像データを書込み開始Ｘ座標の昇順でフレームメモリ２５０内に書込むことができる。例えば、ペイロードデータのラインＰＬ６００（図１５参照）の書込み対象ＲＯＩである注目領域ＲＯＩ２，ＲＯＩ０，ＲＯＩ１の全ての画像データを、この順にフレームメモリ２５０内に書込むことができる。

【0240】

（ステップＳ１２３）
第一情報抽出部２３１は、ペイロードデータの最終ラインの処理か否かを判定する。第一情報抽出部２３１は、書込み終端信号が入力されたことに基づいて、現在の書込み情報における書込みＹ座標の値と最終ライン判定情報の値とを比較し、書込みＹ座標の値と最終ライン判定情報の値とが等しい場合に、ペイロードデータの最終ラインの処理であると判定する。一方、第一情報抽出部２３１は、書込みＹ座標の値と最終ライン判定情報の値とが等しくない場合に、ペイロードデータの最終ラインの処理でないと判定してステップＳ１１１に処理を戻す。これにより、伝送データ１４７Ａ内のパケット領域Ｒ２に格納された全ラインのペイロードデータの注目領域の画像データに対して復元処理を実行することができる。

【0241】

例えば、図１５に示すペイロードデータのラインＰＬ１～８００についての復元処理を実行する場合、第一情報抽出部２３１は、書込みＹ座標の値が最終ライン判定情報の値「８９９」と等しい場合に、ペイロードデータの最終ラインの処理であると判定する。これにより、映像受信装置２００ａにおいてラインＰＬ１～８００の全８００ラインについて注目領域の画像データの復元処理が実行され、注目領域ＲＯＩ０～２の画像データがフレームメモリ２５０に書込まれる。

【0242】

このように、本実施形態による映像受信装置２００ａ及び映像伝送システム２は、注目領域の画像データの復元処理を行うことができる。

【0243】

次に、第一情報処理部２３０ａにおける通常画像処理に係る構成について説明する。第一情報処理部２３０ａは、通常画像処理を行う構成として、通常画像アドレス生成部２３５、通常画像デコード部２３６および通常画像生成部２３７を有している。
通常画像デコード部２３６は、ＲＯＩデータ分離部２１５から入力されたペイロードデータ２１５Ｂをデコードし、通常画像２２４Ａを生成する。通常画像デコード部２３６は、ペイロードデータ２１５Ａに含まれる圧縮像データ１４７Ｂをデコードして通常画像生成部２３７に出力する。また、通常画像アドレス生成部２３５は、ペイロードデータに含まれる画像データが通常画像データであること（通常画像デコード部２３６に通常画像のデータを含むペイロードデータ２１５Ｂ出力されたこと）を示す判別結果がＲＯＩデータ分離部２１５から入力されたことに基づいて、通常画像のデータを画素行単位でフレームメモリ２５０に書込むための通常画像アドレスを生成する。

【0244】

本実施形態において、フレームメモリ２５０は撮像画像（例えば、撮像画像α）の全領域の画像データを格納可能に構成されている。このため、通常画像アドレス生成部２３５は、ＲＯＩデータ分離部２１５から上述の判別結果が入力される度に、撮像画像の画素行単位（Ｘ軸方向の左端から右端まで）のアドレスを生成すればよい。本例において、通常画像アドレス生成部２３５は、撮像画像αの先頭の画素行に相当する通常画像のデータのアドレスを生成する場合に、まず先頭アドレスとして撮像画像αの原点α＿оを示す座標「０，０（Ｘ，Ｙ）」に対応するフレームメモリ２５０のアドレスを算出する。さらに、通常画像アドレス生成部２３５は、先頭アドレスを算出すると、ＲＯＩ画像アドレス生成部２３３におけるアドレス生成と同様に、撮像画像αの画素行単位のＸ軸方向の書込みサイズ（１７６０画素）から、撮像画像αの先頭の画素行の各画素を格納するための連続したアドレスを生成する。以降、Ｙ座標を１ずつ加算しながら先頭の画素行のアドレスと同様にして、通常画像のデータのアドレスを生成し、アドレスコマンドを発行すればよい。

【0245】

なお、通常画像のデータは、バス２４０の仕様等に応じて、分割してフレームメモリ２５０に転送されてもよい。この場合、通常画像アドレス生成部２３５は、撮像画像の画素行単位の所定画素数ごとに分割してアドレスコマンドを生成、発行してもよい。この場合、通常画像アドレス生成部２３５は、アドレスの分割数に基づく通常画像のデータの転送時の画素数（転送数）を、通常画像生成部２３７に出力すればよい。

【0246】

通常画像生成部２３７は、通常画像デコード部２３６から入力されたデコード済みの通常画像のデータに基づいて、フレームメモリ２５０の当該データを書込むためのデータコマンドを生成、発行する。また、通常画像生成部２３７は、通常画像アドレス生成部２３５から入力された転送数に基づいて、通常画像のデータを分割し、分割した通常画像のデータを含むデータコマンドを生成、発行してもよい。また通常画像生成部２３７は、通常画像のデータを圧縮し、圧縮した通常画像のデータでデータコマンドを生成してもよい。この場合、フレームメモリ２５０には、圧縮された状態の通常画像のデータが書き込まれる。

【0247】

また、通常画像アドレス生成部２３５は、所定のコマンドを発行して、ＲＯＩデータ分離部２１５から入力された画像データのデータタイプの判別結果をフレームメモリ２５０に転送する。当該判別結果はフレームメモリにおいて画像付加情報として記憶される。これにより、一の画像データフレームにおいて伝送された通常画像のデータと通常画像のデータに対応するデータタイプを示す判別結果が、フレームメモリ２５０に格納される。

【0248】

５．映像受信装置における画像データの表示に係る処理
次に、フレームメモリ２５０に格納された画像データの表示に係る処理について説明する。図１９に戻って、本実施形態による映像受信装置２００ａは、フレームメモリ２５０に格納された画像データの表示に係る処理を行う構成として、第二情報処理部２３０ｂを備えている。第二情報処理部２３０ｂは、例えば注目領域の画像データの表示に係る処理として、画像データ差替え処理を実行する。

【0249】

５－１．画像データ差替え処理に係る構成
詳しくは後述するが、画像データ差替え処理は、注目領域の画像データが表示装置３００に表示される場合に、フレームメモリ２５０に格納された表示装置３００の画面単位の画像データのうち、注目領域の画像データに該当しない非ＲＯＩ画像データを、固定値画像データに差替える処理である。以下、第二情報処理部２３０ｂにおける画像データ差替え処理について説明する。

【0250】

本実施形態では、例えば映像送信装置１００（図１８参照）から画像データフレーム単位で伝送された画像データ（注目領域（ＲＯＩ）の画像データ、通常画像のデータ）がフレームメモリ２５０に書込まれると、当該画像データフレームに基づいて書込まれたＤＭＡコントローラ２６０によってフレームメモリ２５０内のデータ（付加情報および画像データ）が順次読み出される。読み出されたデータは第二情報処理部２３０ｂに出力される。

【0251】

本実施形態におけるＤＭＡコントローラ２６０は、フレームメモリ２５０および第二情報処理部２３０ｂ間におけるデータの転送を制御するものである。なお、本開示におけるＤＭＡコントローラ２６０はこれに限られず、フレームメモリ２５０および第一情報処理部２３０ａ間におけるデータの転送を制御するように構成されてもよい。

【0252】

ＤＭＡコントローラ２６０は、バス２４０を介してフレームメモリ２５０と第二情報処理部２３０ｂとの間で、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）によりデータを転送するためのコントローラである。ＤＭＡコントローラ２６０は、フレームメモリ２５０から読み出した付加情報を第二情報抽出部２７１に出力する。またＤＭＡコントローラ２６０は、フレームメモリ２５０から読み出した表示対象の画像データである表示対象画像データＲＤを画像データ差替え部２７２に出力する。ＤＭＡコントローラ２６０は、例えばフレームメモリ２５０内の画像データの各画素をアドレスごとに読み出すと、フレームメモリ２５０における画素行単位の表示対象画像データＲＤとして画像データ差替え部２７２に出力する。

【0253】

例えば、フレームメモリ２５０が１画素行あたり１７６０画素（Ｘ座標＝０～１７５９）の画像データを格納可能な場合、表示対象画像データＲＤは当該１７６０画素分の画像データで構成される。なお、ＤＭＡコントローラ２６０が画像データ差替え部２７２に出力する表示対象画像データＲＤは、画素行単位に限られず、例えば、画素単位（１画素ごと）であってもよい。また、ＤＭＡコントローラ２６０は画素行単位の画像データを複数の表示対象画像データＲＤに分割して画像データ差替え部２７２に出力してもよい。

【0254】

第二情報処理部２３０ｂにおける第二情報抽出部２７１は、ＤＭＡコントローラ２６０から入力された付加情報を解析する。具体的には、第二情報抽出部２７１は、入力された付加情報がエンベデッドデータ（ＥＢＤデータ２１４Ａ）であるか否かを判定し、エンベデッドデータである場合には、エンベデッドデータに含まれるＲＯＩ情報（ＲＯＩ情報１２０Ｂ）に基づいてＲＯＩ復元情報を生成する。

【0255】

第二情報抽出部２７１は、第一情報処理部２３０ａにおける第一情報抽出部２３１と同様に、エンベデッドデータ（ＥＢＤデータ２１４Ａ）に含まれるＲＯＩ情報（ＲＯＩ情報１２０Ｂ）から、注目領域の位置情報（始点座標）及びサイズ情報（Ｘ軸方向長さおよびＹ軸方向長さ）を抽出してＲＯＩ復元情報（Ｘ座標順データおよびＹ座標順データ）を生成する。第二情報抽出部２７１は生成したＲＯＩ復元情報を、所定のレジスタに記憶する。また、第二情報抽出部２７１は、ＲＯＩ復元情報を生成したことを示す信号を画像データ差替え部２７２に出力してもよい。本実施形態において第二情報抽出部２７１によるＲＯＩ復元情報の生成は、画像データ差替え処理における情報抽出プロセスに相当する。

【0256】

第二情報処理部２３０ｂにおける画像データ差替え部２７２は、注目領域の画像データが表示装置３００（図１８参照）に表示される場合に、フレームメモリ２５０に格納された表示装置３００の画面単位の画像データのうち、注目領域の画像データに該当しない非ＲＯＩ画像データを、固定値画像データに差替える。本実施形態において画像データ差替え部２７２における非ＲＯＩ画像データの差替えは、画像データ差替え処理における差替えプロセスに相当する。

【0257】

ここで、固定値画像データとは、例えば固定の態様を有する画像データである。本実施形態において固定値画像データは、例えば固定色（例えば、白色）の画像データである。このため、本実施形態における画像データ差替え処理が実行されると、非ＲＯＩ画像のデータが白色の画像データに差替えられる。通常、フレームメモリの各アドレス領域には、画像データフレームにおいて伝送された画像データが順次上書きされる。また、画像データフレーム単位での画像データの書込みに際して、通常フレームメモリの初期化は行われない。このため、フレームメモリにおいて新たに注目領域の画像データが上書きされた場合、上書き対象のアドレス以外のアドレスには、前回までの画像データフレームで伝送された画像データが残存することとなる。

【0258】

本実施形態による映像受信装置２００ａでは、注目領域の画像データが表示される場合に、画像データ差替え処理を実行することで、非ＲＯＩ画像のデータ、つまり上書き対象のアドレス以外のアドレスに残存している画像データを固定値画像データに差替える。これにより、映像受信装置２００ａは、表示装置３００において表示対象となる注目領域の画像データの視認性を向上させることができる。なお、フレームメモリ２５０において注目領域の画像データが復元位置（撮像画像における相対位置に対応する位置）に書込まれている場合、固定値画像データは、撮像画像における注目外領域ＯＥを示す画像として表示装置３００に表示されることとなる。

【0259】

画像データ差替え部２７２は、第二情報抽出部２７１からＲＯＩ復元情報を生成した旨の信号が入力されると、注目領域の画像データが表示対象であってＤＭＡコントローラ２６０から入力される表示対象画像データＲＤに注目領域の画像データが含まれると判定する。これにより、画像データ差替え部２７２は、第二情報抽出部２７１が生成したＲＯＩ復元情報に基づいて表示対象画像データＲＤに対して非ＲＯＩ画像データの差替え（差替えプロセス）を実行する。

【0260】

画像データ差替え部２７２は、画像データ差替え処理の差替えプロセスにおいて、第二情報抽出部２７１が生成したＲＯＩ復元情報に基づいて非ＲＯＩ画像データを特定する。画像データ差替え部２７２は、Ｘ座標順データおよびＹ座標順データに基づいてフレームメモリ２５０に格納された画面単位の画像データ内の非ＲＯＩ画像データを特定する。また、画像データ差替え部２７２は、ＲＯＩ復元情報に基づいてフレームメモリ２５０内の画面単位の画像データの各画素が注目領域の画像データに含まれるか、または前記非ＲＯＩ画像データに含まれるかを判定する。

【0261】

具体的には、画像データ差替え部２７２は、画面単位の画像データ（フレームメモリ２５０内の画像データ）の各画素の座標位置を取得し、当該座標位置が注目領域に含まれているか否かを判定する。例えば画像データ差替え部２７２は、フレームメモリ２５０から読み出された画素行単位の表示対象画像データＲＤが入力されると、表示対象画像データＲＤの各画素の座標位置を取得する。画像データ差替え部２７２は、例えば表示対象画像データＲＤ（例えばＸ座標＝０～１７５９））の先頭（Ｘ座標＝０）から順に各画素の座標位置を取得する。

【0262】

本実施形態において画像データ差替え部２７２は、カウンタを用いて読出された画像データ（表示対象画像データＲＤ）の座標位置を取得する。本実施形態において、第二情報処理部２３０ｂは、種々の計測処理に用いるカウンタ部を有している。本実施形態において第二情報処理部２３０ｂは、カウンタ部として、水平カウンタＸｃｔと垂直カウンタＹｃｔとを有している。水平カウンタＸｃｔは、フレームメモリ２５０から読み出された表示対象画像データＲＤの撮像画像内におけるＸ軸方向位置（水平位置）を計測するカウンタである。水平カウンタＸｃｔのカウンタ値は、撮像画像（例えば撮像画像α）内のＸ座標に相当する。また、垂直カウンタＹｃｔは、表示対象画像データＲＤの撮像画像内におけるＹ軸方向位置（垂直位置）を計測するカウンタである。垂直カウンタＹｃｔの値は撮像画像内のＹ座標に相当し、撮像画像内の画素行の位置を示す。例えば、水平カウンタＸｃｔおよび垂直カウンタＹｃｔの値が「０」の場合、撮像画像内の原点α＿о（０，０）を示す。

【0263】

画像データ差替え部２７２は、表示対象画像データＲＤが入力されると、水平カウンタＸｃｔの値を参照して表示対象画像データＲＤの各画素の座標を先頭から順に取得する。本実施形態において、映像受信装置２００ａは、所定のクロック信号に同期して装置内の各処理を行う。このため、水平カウンタＸｃｔのカウンタ値は、当該クロック信号に同期して１ずつ更新（加算）される。また、本実施形態において水平カウンタＸｃｔのカウンタ値が撮像画像のＸ座標の終端、つまり撮像画像の右端部を示す値に到達すると、垂直カウンタＹｃｔの値が更新（１加算）される。例えば撮像画像αの右端部のＸ座標は「１７５９」である。このため、水平カウンタＸｃｔのカウンタ値が「１７５９」になると水平カウンタＸｃｔのカウンタ値はリセットされて「０」となる。このとき、垂直カウンタＹｃｔの値が更新（１加算）される。

【0264】

画像データ差替え部２７２は、表示対象画像データＲＤの各画素の座標位置を取得すると、ＲＯＩ復元情報（Ｘ座標順データおよびＹ座標順データ）に基づいて取得した座標位置が注目領域に含まれているか否かを判定する。画像データ差替え部２７２は、表示対象画像データＲＤの各画素のうち注目領域に含まれている画素の画像データを表示装置３００に出力する。一方、画像データ差替え部２７２は表示対象画像データＲＤの各画素のうち注目領域に含まれていない画素のデータを非ＲＯＩ画像のデータと判定し、当該画素の画像データを固定値画像データに差替えて表示装置３００に出力する。

【0265】

例えば画像データ差替え部２７２は、非ＲＯＩ画像のデータを特定するために、表示対象画像データＲＤの各画素の撮像画像内でのＹ座標（画素Ｙ座標）およびＸ座標（画素Ｘ座標）のそれぞれが、注目領域に含まれているか否かを判定する。例えば画像データ差替え部２７２は、まずＲＯＩ復元情報のＹ座標順データを用いて画素Ｙ座標の判定を行う。

【0266】

ここで、画像データ差替え処理の差替えプロセスにおける画素Ｙ座標の判定の一例を説明する。画像データ差替え部２７２は、例えば画素Ｙ座標を示す垂直カウンタＹｃｔのカウンタ値とＹ座標順データとを用いて画素Ｙ座標の判定を行う。画像データ差替え部２７２は、Ｙ座標順データの先頭から順（始点Ｙ座標の昇順）に第二座標データを抽出し、抽出した第二座標データにおける始点Ｙ座標から終点Ｙ座標の範囲（ＲＯＩ垂直範囲）内に垂直カウンタＹｃｔのカウンタ値が含まれるか否か（第一判定条件）を判定する。

【0267】

また、画像データ差替え部２７２は、ＲＯＩ垂直範囲内に垂直カウンタＹｃｔのカウンタ値が含まれる（第一判定条件が成立している）と判定すると、当該第二座標データと紐付いた注目領域（ＲＯＩ）の第一座標データをＸ座標順データから抽出して、画素Ｘ座標の判定を行う。一方、画像データ差替え部２７２は、垂直カウンタＹｃｔのカウンタ値がＹ座標順データのいずれの第二座標データにおけるＲＯＩ垂直範囲内にも含まれていない（第一判定条件が成立していない）と判定すると、表示対象画像データＲＤにおける処理中の画素が注目領域の画像データに含まれておらず、非ＲＯＩ画像データに含まれていると判定する。

【0268】

次に、画像データ差替え処理の差替えプロセスにおける画素Ｘ座標の判定の一例を説明する。画像データ差替え部２７２は、画像データ差替え部２７２は上記第一判定条件が成立した際の第二座標データに紐つく第一座標データをＸ座標順データから抽出し、抽出した第一座標データにおける始点Ｘ座標から終点Ｘ座標の範囲（ＲＯＩ水平範囲）内に水平カウンタＸｃｔのカウンタ値が含まれるか否か（第二判定条件）を判定する。このように、画像データ差替え部２７２は、例えば画素Ｘ座標を示す水平カウンタＸｃｔのカウンタ値とＸ座標順データとを用いて画素Ｘ座標の判定を行う。

【0269】

画像データ差替え部２７２は、ＲＯＩ水平範囲内に水平カウンタＸｃｔのカウンタ値が含まれる（第二判定条件が成立している）と判定すると、表示対象画像データＲＤにおける処理中の画素が注目領域に含まれており、注目領域の画像データに含まれると判定する。つまり、画像データ差替え部２７２は、上述の第一判定条件および第二判定条件の両方が成立し、し表示対象画像データＲＤのうち処理対象（注目領域内か否かの判定対象）の画素の座標位置が注目領域に含まれていると判定された場合に、処理中の画素が注目領域の画像データに含まれると判定する。

【0270】

一方、画像データ差替え部２７２は、水平ＲＯＩ範囲内に水平カウンタＸｃｔのカウンタ値が含まれていない（第二判定条件が成立していない）と判定すると、表示対象画像データＲＤにおける処理中の画素が注目領域の画像データに含まれておらず、非ＲＯＩ画像データに含まれていると判定する。このように、画像データ差替え部２７２は上述の第一判定条件および第二判定条件のいずれかが不成立となり、処理中の画素の座標位置が注目領域に含まれていないと判定された場合に、非ＲＯＩ画像データに含まれると判定する。

【0271】

画像データ差替え部２７２は、画像データ差替え処理の差替えプロセスにおいて、表示対象画像データＲＤにおける処理中の画素の座標位置が注目領域に含まれていると判定すると、当該画素を表示対象の画像データとして表示装置３００に出力（送出）する。一方、画像データ差替え部２７２は、画像データ差替え処理の差替えプロセスにおいて、表示対象画像データＲＤにおける処理中の画素の座標位置が注目領域ではなく非ＲＯＩ画像データに含まれていると判定すると、当該画素のデータ（表示対象の画像データ）を固定値画像データに差替えて、表示装置３００に出力（送出）する。

【0272】

５－２．画像データ差替え処理方法
次に、本実施形態による映像受信装置２００ａにおける画像データ差替え処理の流れ（画像データ差替え処理方法）について図２２を用いて説明する。図２１は、本実施形態による映像受信装置２００ａにおける画像データ差替え処理の流れの一例を示すフローチャートである。

【0273】

（ステップＳ２０１）
映像受信装置２００ａに備えられた第二情報処理部２３０ｂにおいて第二情報抽出部２７１は、画像データフレームの開始か否かを判定する。本実施形態において、画像データ差替え処理における画像データフレームは、ＤＭＡコントローラ２６によってフレームメモリ２５０から読み出される一連のデータを示す。つまり、フレームメモリ２５０から順次読み出される付加情報および画像データを含む一連の読出しデータが画像データ差替え処理における画像データフレームに相当する。

【0274】

第二情報抽出部２７１は、ステップＳ２０１において、ＤＭＡコントローラ２６０がフレームメモリ２５０からデータの読出しを開始したか否かを判定する。第二情報抽出部２７１は、例えばＤＭＡコントローラ２６０から所定の信号またはコマンドが入力されることにより、フレームメモリ２５０からのデータの読出しが開始された（画像データフレームが開始された）と判定すると、ステップＳ２０３に処理を移す。一方、第二情報抽出部２７１は、フレームメモリ２５０からのデータの読出しが開始されていない（画像データフレームが開始されていない）と判定すると、当該読み出しが開始されるまでステップＳ２０１の処理を所定間隔で繰り返す。

【0275】

（ステップＳ２０３）
第二情報抽出部２７１は、画像データ差替え処理における前回の画像データフレームの読出し時において生成された種々の情報をリセットして、ステップＳ２０５に処理を移す。第二情報抽出部２７１は、レジスタに記憶されているＲＯＩ復元情報（Ｘ座標順データ、Ｚ座標順データ）の消去またはレジスタへの既定値のセットを行うことで、前回の画像データフレームにおけるＲＯＩ復元情報などのリセットを行う。

【0276】

（ステップＳ２０５）
第二情報抽出部２７１は、エンベデッドデータが入力されたか否かを判定する。具体的には、第二情報抽出部２７１は、ＤＭＡコントローラ２６０から付加情報としてＲＯＩ情報を含むエンベデッドデータ（ＥＢＤデータ２１４Ａ）が入力されたか否かを判定する。第一情報抽出部２３１は、フレームメモリ２５０から読出されたＥＢＤデータ２１４Ａが入力されたと判定すると、ステップＳ２０７に処理を移す。一方、第二情報抽出部２７１は、ＥＢＤデータ２１４Ａが入力されていないと判定すると、所定間隔でステップＳ２０５の処理を繰り返して、ＥＢＤデータ２１４Ａが入力されるまでステップＳ２０７以降の処理の実行を待機する。

【0277】

なお、第二情報処理部２３０ｂは、ＤＭＡコントローラ２６０から第二情報抽出部２７１に付加情報として通常画像のデータタイプを示す判別結果が入力された場合、通常画像のデータの表示に係る処理を実行すればよい。当該処理については後述する。

【0278】

（ステップＳ２０７）
第二情報抽出部２７１は、復元処理におけるステップＳ１０７（図２０参照）における第一情報抽出部２３１の処理と同様にして、エンベデッドデータ（ＥＢＤデータ２１４Ａ）からＲＯＩ情報（位置情報およびサイズ情報）を抽出し、ステップＳ２０９に処理を移す。

【0279】

（ステップＳ２０９）
第二情報抽出部２７１は、復元処理におけるステップＳ１０９（図２０参照）における第一情報抽出部２３１の処理と同様にして、抽出したＲＯＩ情報を並び替えて、ＲＯＩ復元情報（Ｘ座標順データ、Ｙ座標順データ）を生成し、ステップＳ２１１に処理を移す。またこのとき、第二情報抽出部２７１は、ＲＯＩ復元情報をレジスタに記憶し、ＲＯＩ復元情報を生成したことを示す信号を、画像データ差替え部２７２に出力する。なお、例えば画像データ差替え処理において第二情報抽出部２７１が生成したＲＯＩ復元情報が記憶されるレジスタは、復元処理において第一情報抽出部２３１が生成したＲＯＩ復元情報が記憶されるレジスタとは異なるものである。

【0280】

（ステップＳ２１１）
映像受信装置２００ａに備えられた第二情報処理部２３０ｂにおいて画像データ差替え部２７２は、ペイロードデータの入力があったかを判定する。画像データ差替え処理におけるペイロードデータは、ＤＭＡコントローラ２６０によってフレームメモリ２５０からアドレスごとに読み出された画素行単位の表示対象画像データＲＤを示す。第二情報抽出部２７１は、ＤＭＡコントローラ２６０から表示対象画像データＲＤが入力された場合、ペイロードデータが入力されたと判定してステップＳ２１３に処理を移す。一方、第二情報抽出部２７１は、ＤＭＡコントローラ２６０から表示対象画像データＲＤが入力されていない場合、ペイロードデータが入力されていないと判定して、表示対象画像データＲＤの入力があるまで所定間隔（例えばクロック信号と同期した周期）でステップＳ２１１の処理を繰り返す。

【0281】

以下、ステップＳ２１３、ステップＳ２１５の処理およびステップＳ２１７もしくはステップＳ２１９の処理は、ペイロードデータ（表示対象画像データＲＤ）内の全画素について実行する、すなわち各画素を網羅するように実行する処理である。このため、画像データ差替え部２７２は、表示対象画像データＲＤ内の全ての画素について画像データ差替え処理の差替えプロセスにおける処理が終了する（ステップＳ２２１のＹＥＳ）まで、ステップＳ２１３およびステップＳ２１５の処理を繰り返し、ステップＳ２１５の結果に応じてステップＳ２１７またはステップＳ２１９の処理を実行する。

【0282】

（ステップＳ２１３）
画像データ差替え部２７２は、表示対象の画像データ、すなわちフレームメモリ２５０から読出された表示対象画像データＲＤ内の表示対象の画素の座標を取得してステップＳ２１５に処理を移す。画像データ差替え部２７２は、垂直カウンタＹｃｔのカウンタ値を画素Ｙ座標として取得する。また画像データ差替え部２７２は、水平カウンタＸｃｔのカウンタ値を画素Ｘ座標として取得する。これにより、各画素の座標が取得される。画像データ差替え処理において、画像データ差替え部２７２は、例えばクロック信号と同期した周期でステップＳ２１３を実行する度に、表示対象画像データＲＤ内の各画素について先頭（Ｘ座標＝０）から順に座標を取得する。

【0283】

画像データ差替え部２７２は、ステップＳ２１３で取得した表示対象の画素の座標位置が注目領域（ＲＯＩ）に含まれるか否かを判定する。画像データ差替え部２７２は、上述のように、垂直カウンタＹｃｔの値（画素Ｙ座標）をＹ座標順データに基づいて判定し、かつ水平カウンタＸｃｔの値（画素Ｘ座標）をＸ座標順データに基づいて判定する。画像データ差替え部２７２は、画素Ｙ座標がＲＯＩ垂直範囲に含まれ（第一判定条件が成立）、且つ画素Ｘ座標がＲＯＩ水平範囲に含まれる（第二判定条件が成立）と判定すると表示対象の画素が注目領域（ＲＯＩ）に含まれると判定してステップＳ２１７に処理を移す。一方、画像データ差替え部２７２は、第一判定条件および第二判定条件のいずれか一方が不成立であると判定すると、表示対象の画素が注目領域に含まれずに非ＲＯＩ画像データに含まれると判定してステップＳ２１９に処理を移す。

【0284】

（ステップＳ２１７）
画像データ差替え部２７２は、表示対象の画素が注目領域に含まれると判定されたことに基づいて、当該画素を表示装置３００（図１８参照）に出力し、ステップＳ２２１に処理を移す。

【0285】

（ステップＳ２１９）
画像データ差替え部２７２は、非ＲＯＩ画像データに含まれると判定されたことに基づいて、表示対象の画素を固定値画像データに差し替える。具体的には、画像データ差替え部２７２は、表示対象の画素に代えて固定値画像データを表示装置３００に出力し、ステップＳ２２１に処理を移す。

【0286】

（ステップＳ２２１）
画像データ差替え部２７２はペイロードデータにおける処理中のラインにおける全ての画像データ、すなわち画素行単位の表示対象画像データＲＤ内の全ての画素を出力したか否かを判定する。画像データ差替え部２７２は、水平カウンタＸｃｔのカウンタ値（画素Ｘ座標）が撮像画像内の右端部に相当する終端Ｘ座標（Ｘ軸方向の終端座標）の値に到達している場合に、表示対象画像データＲＤ内の全ての画素を出力したと判定してステップＳ２２３に処理を移す。このとき、画像データ差替え部２７２は、水平カウンタＸｃｔのカウンタ値をリセット（カウンタ値に「０」をセット）する。例えば、撮像画像αの右端部のＸ座標が「１７５９」であって、フレームメモリ２５０が１画素行あたり１７６０画素（Ｘ座標＝０～１７５９）の画像データを格納可能であるとする。この場合、画像データ差替え部２７２は水平カウンタＸｃｔのカウンタ値が「１７５９」である場合に表示対象画像データＲＤ内の全ての画素を出力したと判定する。上述のように、水平カウンタＸｃｔがリセットされると、垂直カウンタＹｃｔのカウンタ値が更新（１加算）される。これにより、画素行単位の表示対象画像データＲＤにおいて共通となる画素Ｙ座標の値が更新される。

【0287】

一方、画像データ差替え部２７２は、水平カウンタＸｃｔのカウンタ値がフレームメモリ２５０内の終端Ｘ座標の値未満であると判定すると、ステップＳ２１３に処理を戻す。これにより、画素行単位の表示対象画像データＲＤ内の全画素に対して画像データ差替え処理における差替えプロセスが実行される。

【0288】

（ステップＳ２２３）
画像データ差替え部２７２は、ペイロードデータの最終ラインの処理、すなわちフレームメモリ内の全ての画像データについて処理（画像データ差替え処理の差替えプロセスにおける処理）を終了したか否かを判定する。画像データ差替え部２７２は、垂直カウンタＹｃｔの値（カウンタ値）を更新（１加算）する。画像データ差替え部２７２は、例えば垂直カウンタＹｃｔの値（画素Ｙ座標）が、撮像画像の下端部に対応するＹ座標の値に到達している場合に、フレームメモリ２５０内から読み出された全ての表示対象画像データＲＤについての処理を終了したと判定して画像データ差替え処理を終了する。このとき、画像データ差替え部２７２は、水平カウンタＸｃｔ、垂直カウンタＹｃｔの順に、各カウンタをリセット（カウンタ値に「０」をセット）する。これにより、水平カウンタＸｃｔ、垂直カウンタＹｃｔのいずれのカウンタ値も「０」となる。

【0289】

例えば、撮像画像αの下端部のＹ座標が「９８９」であって、フレームメモリ２５０が９８９行分の画素行の画像データを格納可能であるとする。この場合、画像データ差替え部２７２は、垂直カウンタＹｃｔの値が「９８９」である場合にフレームメモリ２５０内から読み出された全ての画像データについて処理を終了したと判定して、画像データ差替え処理を終了する。一方、画像データ差替え部２７２は、垂直カウンタＹｃｔのカウンタ値が、撮像画像αの下端部のＹ座標の値未満であると判定すると、ステップＳ２１１に処理を戻す。これにより、フレームメモリ２５０内の全画素行分の表示対象画像データＲＤ内の全画素、つまりフレームメモリ２５０内の全ての画像データに対して画像データ差替え処理における差替えプロセスが実行される。

【0290】

以上説明したように、本実施形態による映像受信装置２００ａ（図１９参照）は、所定の撮像画像から切り出された所定数の注目領域（ＲＯＩ）の画像データをペイロードデータに含むとともに、ＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部２１０と、エンベデッドデータから抽出した所定数の注目領域に対応するＲＯＩ情報に基づいて注目領域の画像データを表示装置３００（図１８参照）に表示可能な状態に復元する復元処理を実行可能な情報処理部２３０（具体的には、第一情報処理部２３０ａ）と、を備える。これにより、注目領域の画像データを効率的に表示装置３００に表示することができる。

【0291】

また、本実施形態による映像受信装置２００ａにおける情報処理部２３０（具体的には、第二情報処理部２３０ｂ）は、注目領域の画像データが表示装置３００に表示される場合に、フレームメモリ２５０に格納された表示装置３００の画面単位の画像データのうち、注目領域の画像データに該当しない非ＲＯＩ画像データを、固定値画像データに差替える。これにより、表示装置３００において表示対象となる注目領域の画像データの視認性を向上させることができる。

【0292】

また、本実施形態による映像受信装置２００ａにおいて、受信部２１０および情報処理部２３０（第一情報処理部２３０ａ、第二情報処理部２３０ｂ）はハードウェアとして構成される。これにより、映像受信装置２００ａは、第一情報処理部２３０ａにおける注目領域の画像データの復元に係る処理、および第二情報処理部２３０ｂにおける画像データの差替え処理を高速化し、単位時間あたりの画像データフレームの処理数を向上させることができる。

【0293】

５－３．通常画像のデータの表示に係る処理
次に、第二情報処理部２３０ｂにおける通常画像のデータの表示に係る処理（通常画像表示処理）についての概要を説明する。第二情報処理部２３０ｂは、ＤＭＡコントローラ２６０から第二情報抽出部２７１に付加情報として通常画像のデータタイプを示す判別結果が入力された場合に、通常画像表示処理を実行する。

【0294】

具体的には、第二情報抽出部２７１は、入力された付加情報が通常画像のデータに対応するデータタイプを示す判別結果である場合には、当該判別結果を画像データ差替え部２７２に出力する。画像データ差替え部２７２は、判別結果が入力されると、ＤＭＡコントローラ２６０から入力される表示対象画像データＲＤが通常画像のデータであると判定する。この場合、画像データ差替え部２７２は、画像データ差替え処理を実行せずに通常画像のデータを含む表示対象画像データＲＤを表示装置３００に出力する。例えば、画像データ差替え部２７２は通常画像のデータを含む表示対象画像データＲＤを画素単位（１画素ずつ）に分割して表示装置３００に出力してもよいし、画素行単位で出力してもよい。このように、画像データ差替え部２７２は、表示装置３００に画像データを出力する出力部としての機能を有する。

【0295】

６．復元処理の変形例
６－１．変形例１
本実施形態の復元処理における書込みプロセスを実行するＲＯＩ画像生成部２３４は、ＲＯＩ画素行データを注目領域（ＲＯＩ）ごとに分割してフレームメモリ２５０に書込むとしたが、本開示はこれに限られない。ペイロードデータ２１５Ａ内のＲＯＩ画素行データのフレームメモリへの書込みに関しては種々の方法が想定される。

【0296】

例えば第一情報処理部２３０ａにおけるＲＯＩ画像生成部２３４は、ＲＯＩ復元情報に基づいてペイロードデータ２１５Ａ内の注目領域の画像データ（ＲＯＩ画素行データ）を、バースト転送によってフレームメモリ２５０に転送して書込むようにしてもよい。例えば、ＲＯＩ画像生成部２３４は、書込みプロセスにおいて、所定条件が成立している場合に、ペイロードデータ内の２以上の注目領域の画像データの間にダミー画像データを挿入して、当該２以上の注目領域の画像データを連結したダミー挿入画像データ２３４Ｂを生成する。そして、例えばＲＯＩ画像生成部２３４は、生成したダミー挿入画像データ２３４Ｂを１回の指示（例えば１回のデータコマンドの発行）によって連続してフレームメモリに書込むようにしてもよい。

【0297】

つまり、ＲＯＩ画像生成部２３４は、生成したダミー挿入画像データ２３４Ｂをバースト転送によってフレームメモリ２５０に転送し、ダミー挿入画像データ２３４Ｂをフレームメモリ２５０に連続して書き込んでもよい。ここで、ダミー挿入画像データ２３４Ｂに含まれるダミー画像データとは、例えば２以上の注目領域間の空隙を埋める所定の画像データ（例えば、上記画像データ差替え処理における固定値画像データと同様の画像データなど）であればよい。

【0298】

本変形例において、第一情報抽出部２３１は、例えばペイロードデータ２１５Ａにおける一のＲＯＩ画素行データ内に２つの書込み対象ＲＯＩの画像データが含まれる場合、書込み対象ＲＯＩの画像データ間の距離、つまり空隙の長さに応じて、上述のバースト転送の実行可否を判定してもよい。例えば、第一情報抽出部２３１は、書込み対象の注目領域（書込み対象ＲＯＩ）の画像データ間の空隙が狭く、当該空隙に挿入するダミー画像データのメモリサイズ（バイト数）が所定サイズ以内となる場合（所定条件の一例）にバースト転送を実行可能であると判定してもよい。この場合、第一情報抽出部２３１は、ＲＯＩ復元情報に基づく書込み情報として書込み対象ＲＯＩの画像データそれぞれの書込みサイズに加えてダミー画像サイズを生成する。

【0299】

例えば、第一情報抽出部２３１は、ダミー画像データのメモリサイズが１２８バイト以内となる場合に、バースト転送を実行可能であると判定し、書込み情報としてダミー画像サイズを生成してもよい。なお、バースト転送の実行可否の判定に用いるダミー画像データのメモリサイズや、バースト転送可能な画像データのサイズは、例えば映像受信装置２００ａ内において画像データの転送に用いるバス２４０の仕様などに応じて適宜選択される。なお、ダミー画像データのメモリサイズが１２８バイトを超過し、バースト転送が不可能である場合には、第一情報抽出部２３１は上記実施形態のように書込み対象ＲＯＩごとに画像データの書込みを行うと判定すればよい。

【0300】

ＲＯＩ画像生成部２３４は、第一情報抽出部２３１からダミー画像サイズを含む書込み情報が入力されると、当該ダミー画像サイズを有するダミー画像データを生成し、例えば２つの書込み対象ＲＯＩの画像データの間に挿入してダミー挿入画像データ２３４Ｂを生成する。このとき、ＲＯＩ画像生成部２３４は各注目領域ＲＯＩの書込みサイズ（分割サイズ）に基づいて、ダミー画像データの挿入位置を判定すればよい。ＲＯＩ画像生成部２３４は、ダミー挿入画像データ２３４Ｂを生成すると、生成したダミー挿入画像データ２３４Ｂを含むデータコマンドを発行し、複数（例えば２つ）の書込み対象ＲＯＩの画像データをバースト転送によってフレームメモリ２５０に書込む。

【0301】

ＲＯＩ画像生成部２３４が、２以上の書込み対象ＲＯＩの画像データについてバースト転送を行う場合、一のデータコマンドによってフレームメモリ２５０に転送される画像データのサイズ（バースト転送サイズ）、すなわちダミー挿入画像データ２３４Ｂの画像サイズは、バースト転送の対象となる書込み対象ＲＯＩの画像データの書込みサイズの合計にダミー画像データのサイズ（ダミー画像サイズ）を加算したサイズとなる。

【0302】

また、第一情報抽出部２３１が複数（例えば２つ）の書込み対象ＲＯＩの画像データについてバースト転送を行うと判定した場合、ＲＯＩ画像アドレス生成部２３３はダミー画像サイズを含む書込み情報に基づいて、フレームメモリ２５０のアドレスをバースト転送単位で生成する。ＲＯＩ画像アドレス生成部２３３は、ダミー挿入画像データ２３４Ｂのバースト転送が行われる場合、ＲＯＩ復元情報に基づいて、フレームメモリ２５０におけるダミー挿入画像データ２３４Ｂの書込み先を示すアドレスを生成する。具体的には、ＲＯＩ画像アドレス生成部２３３は、第一情報抽出部２３１が生成したダミー画像サイズを含む書込み情報に基づいて、ダミー挿入画像データ２３４Ｂの書込み先を示すアドレスを生成する。

【0303】

この場合、ＲＯＩ画像アドレス生成部２３３は、書込み情報に含まれる書込み開始Ｘ座標と書込みＹ座標とに基づいてダミー挿入画像データ２３４Ｂの先頭アドレスを生成する。さらに、ＲＯＩ画像アドレス生成部２３３は、当該先頭アドレスに対してダミー挿入画像データ２３４Ｂの書込みサイズ（書込み対象ＲＯＩの画像データそれぞれの書込みサイズの合計にダミー画像サイズを加算したサイズ）に応じた加算をする。これにより、ダミー挿入画像データ単位での書き込み先となる連続したアドレスが生成される。

【0304】

また、ＲＯＩ画像アドレス生成部２３３は、バースト転送によって書込まれるダミー挿入画像データ２３４Ｂの画像サイズ（画素数）を、バースト転送数としてＲＯＩ画像生成部２３４に出力する。ＲＯＩ画像生成部２３４は、バースト転送数が入力されると当該バースト転送数に応じたサイズの書込みダミー挿入画像データ２３４Ｂを含むデータコマンドを発行する。こうして、ダミー挿入画像データ２３４Ｂがバースト転送によってフレームメモリ２５０に送信されて書き込まれる。

【0305】

また、ペイロードデータ２１５Ａに３以上の書込み対象ＲＯＩが含まれ、注目領域間の空隙が２以上となる場合、第一情報抽出部２３１は当該空隙のそれぞれについてダミー画像データのメモリサイズを判定すればよい。第一情報抽出部２３１が、ペイロードデータ２１５Ａ内の全ての書込み対象ＲＯＩの画像データを含めたダミー挿入画像データ２３４Ｂのフレームメモリ２５０への転送が可能と判定した場合（全ての空隙に係るダミー画像サイズが所定数以下である場合）、全ての書込み対象ＲＯＩの画像データを含むダミー挿入画像データ２３４Ｂが１回のデータコマンドの発行でフレームメモリ２５０に書込まれる。つまり、フレームメモリ２５０への書込み回数が１回となる。

【0306】

一方で、例えば書込み対象ＲＯＩの画像データ間の複数の空隙（例えば４つの書込み対象ＲＯＩの画像データ間の３つの空隙）に、ダミー画像サイズが所定数（例えば１２８バイト）を超える広い空隙が含まれているとする。この場合、第一情報抽出部２３１は、ペイロードデータ２１５Ａ内のＲＯＩ画素行データを当該広い空隙の前後に分けて、バースト転送を行うように判定してもよい。例えば４つの書込み対象ＲＯＩのうち先頭から２つの書込み対象ＲＯＩの画像データを含めたダミー挿入画像データ２３４Ｂ－１と残余（先頭から３つ目および４つ目）の書込み対象ＲＯＩの画像データを含めたダミー挿入画像データ２３４Ｂ－２とを生成してもよい。この場合、フレームメモリ２５０への書込み回数は、２回となる。

【0307】

また、第一情報抽出部２３１は、ペイロードデータ２１５Ａ内の複数の書込み対象ＲＯＩの画像データについて、２以上の所定数の書込み対象ＲＯＩをバースト転送し、残余の書込み対象ＲＯＩの画像データを通常のとおり注目領域単位で書込むと判定してもよい。

【0308】

このように、ＲＯＩ画素行データ単位でのバースト転送を行うことで、注目領域（ＲＯＩ）単位でフレームメモリへの画像データの書込みを行う場合と比べて書込み回数を削減し、書込み処理を高速化することができる。

【0309】

６－２．変形例２
本実施形態では、ＲＯＩ画像アドレス生成部２３３が生成するアドレスは、フレームメモリ２５０内において撮像画像内での注目領域の相対位置を示す復元位置に対応するアドレスであるとしたが、本開示はこれに限られない。例えば、ＲＯＩ画像アドレス生成部２３３は、表示装置３００の画面内において所定数の注目領域の画像データが重ならずに表示可能な任意の位置（所定位置の一例）を示すアドレスを生成するように構成されてもよい。つまり、ＲＯＩ画像生成部２３４は、表示装置３００の画面内において所定数の注目領域の画像データが重ならずに表示可能なように注目領域の画像データを書込むように構成されてもよい。

【0310】

例えば、ＲＯＩ画像アドレス生成部２３３は、所定数の注目領域の画像データを互いに重ならないように表示装置３００のＹ軸方向に順次表示可能な任意の位置（Ｙ軸任意位置）を示すアドレスを生成してもよい。また、ＲＯＩ画像生成部２３４は、表示装置３００の画面内においてＹ軸任意位置に注目領域の画像データを書込むように構成されてもよい。この場合、第一情報抽出部２３１は、ＲＯＩ復元情報のＸ座標順データ、Ｙ座標順データを用いて、当該Ｙ軸任意位置に応じたアドレス生成が可能な書込み情報を生成する。例えば、第一情報抽出部２３１は、Ｘ座標順データ、Ｙ軸座標順データ（図１７参照）を用いて、注目領域ＲＯＩ０～２（図１３参照）をそれぞれ表示装置３００におけるＹ軸任意位置に表示するためのアドレス生成に用いる書込み情報を生成する。

【0311】

例えば、第一情報抽出部２３１はＹ軸座標順データに基づいて、表示装置３００における注目領域ＲＯＩ０～２の表示順を決定する。例えば、第一情報抽出部２３１は、Ｙ軸座標順データの格納順、すなわち始点Ｙ座標の昇順を注目領域ＲＯＩ０～２の表示順として決定する。本例では、注目領域ＲＯＩ２，ＲＯＩ１，ＲＯＩ０の順が表示装置３００の画面内でのＹ軸方向の表示順となる。

【0312】

第一情報抽出部２３１は、表示順を決定すると、例えば各注目領域（ＲＯＩ）の画像データを表示装置３００に表示する際の先頭Ｙ座標である表示開始Ｙ座標を決定する。上述のように、フレームメモリ２５０には、表示装置３００の画面単位の画像データが書き込まれる。したがって、表示装置３００の画面上での表示位置（座標）は、フレームメモリ３５０での書込み位置に相当する。

【0313】

例えば、表示順が先頭となる注目領域ＲＯＩ２の画像データは、表示装置３００の先頭の画素行から表示される。このため、第一情報抽出部２３１は、注目領域ＲＯＩ２の画像データの書込み開始Ｙ座標を「０」とする。また、注目領域ＲＯＩ１の画像データは、注目領域ＲＯＩ２の画像データと重ならないようにして注目領域ＲＯＩ２の画像データ下方に表示される。したがって、第一情報抽出部２３１は、注目領域ＲＯＩ１の画像データの表示開始Ｙ座標を「６００（＝０＋６００（注目領域ＲＯＩ２のＹ軸方向の長さ）」とする。なお、Ｙ軸方向の長さは、Ｙ座標順データにおける「終点Ｙ座標－始点Ｙ座標」で算出される。同様にして、第一情報抽出部２３１は、注目領域ＲＯＩ１の画像データの下方に表示される注目領域ＲＯＩ０の画像データの表示開始Ｙ座標を「１２００（＝６００（注目領域ＲＯＩ１の画像データの表示開始Ｙ座標）＋６００（注目領域ＲＯＩ１のＹ軸方向の長さ）」とする。

【0314】

第一情報抽出部２３１は、各注目領域の画像データの表示開始Ｙ座標を決定すると、以降、各注目領域の画像データがペイロードデータとして入力される度に、各注目領域に対応する表示開始Ｙ座標の値を１ずつ加算して更新する。これにより、Ｙ軸任意位置に対応する表示開始Ｙ座標を生成することができる。

【0315】

また、表示装置３００の画面上においてＹ軸任意位置に注目領域の画像データを表示装置３００に表示する際の先頭Ｘ座標である表示開始Ｘ座標を決定する。本変形例において、各注目領域の画像データの書込み開始Ｘ座標は一定の値となる。例えば、Ｙ軸任意位置に各注目領域の画像データを表示する場合、表示装置３００の画面上において、各注目領域の画像データは左揃えの状態で表示されるとする。この場合、第一情報抽出部２３１は、表示開始Ｘ座標として各注目領域で共通の値「０」を生成する。つまり、Ｙ軸任意位置に注目領域の画像データを表示する場合、各注目領域の画像データは、表示装置３００の画面の左上端（原点位置）を始点とした左揃えの状態で、画面の上端から順にＹ軸方向に並んで表示される。また、第一情報抽出部２３１は、上記実施形態と同様にして書込みサイズを生成する。

【0316】

ＲＯＩ画像アドレス生成部２３３は、注目領域の画像データのＹ軸任意位置での表示に対応した書込み情報が第一情報抽出部２３１から入力されると、当該書込み情報に基づいてフレームメモリ２５０に注目領域の画像データを書込むためのアドレスを生成する。ＲＯＩ画像アドレス生成部２３３は、上記実施形態と同様に入力された書込み情報に基づいてアドレスを生成することで、Ｙ軸任意位置に対応したフレームメモリ２５０内のアドレスを生成することができる。また、ＲＯＩ画像生成部２３４は、上記実施形態と同様に、書込み対象画像データ２３４Ａを生成し、ＲＯＩ画像アドレス生成部２３３のアドレス発行と同期したタイミングでデータコマンドを発行する。これにより、ＲＯＩ画像生成部２３４は、表示装置３００の画面内において所定数の注目領域の画像データが重ならずにＹ軸方向に順次表示可能なＹ軸任意位置に注目領域（ＲＯＩ）の画像データを書込むことができる。

【0317】

なお、本変形例はこれに限られず、例えば、ＲＯＩ画像アドレス生成部２３３は、所定数の注目領域の画像データを互いに重ならないように表示装置３００のＸ軸方向に順次表示可能な任意の位置（Ｘ軸任意位置）を示すアドレスを生成してもよい。また、ＲＯＩ画像生成部２３４は、表示装置３００の画面内においてＸ軸任意位置に注目領域の画像データを書込むように構成されてもよい。この場合、第一情報抽出部２３１は、ＲＯＩ復元情報のＸ座標順データ、Ｙ座標順データを用いて、当該Ｘ軸任意位置に応じたアドレス生成が可能な書込み情報を生成する。このとき、第一情報抽出部２３１は、各注目領域の表示順をＸ座標順データの格納順、すなわち始点Ｘ座標の昇順（注目領域ＲＩ２，ＲＯＩ０、ＲＯＩ１の順）として決定する。

【0318】

Ｘ軸任意位置に注目領域の画像データを表示する場合、各注目領域の画像データは、表示装置３００の画面の左上端を始点として画面の左端から順にＸ軸方向に向かって順次表示される。

【0319】

第一情報抽出部２３１は、表示順を決定すると、表示開始Ｘ座標を決定する。例えば、表示順が先頭となる注目領域ＲＯＩ２は、表示装置３００の左上端位置から表示される。このため、第一情報抽出部２３１は、注目領域ＲＯＩ２の表示開始Ｘ座標を「０」とする。また、注目領域ＲＯＩ０は、注目領域ＲＯＩ２と重ならないようにして注目領域ＲＯＩ２の右方に表示される。したがって、第一情報抽出部２３１は、注目領域ＲＯＩ０の書込み開始Ｘ座標を「４００（＝０＋４００（注目領域ＲＯＩ２のＸ軸方向の長さ）」とする。なお、Ｘ軸方向の長さは、Ｘ座標順データにおける「終点Ｘ座標－始点Ｘ座標」で算出される。同様にして、第一情報抽出部２３１は、注目領域ＲＯＩ０の右方に表示される注目領域ＲＯＩ１の表示開始Ｘ座標を「８００（＝４００（注目領域ＲＯＩ０の画像データの表示開始Ｘ座標）＋４００（注目領域ＲＯＩ０のＸ軸方向の長さ）」とする。

【0320】

また、表示装置３００の画面上においてＸ軸任意位置に注目領域の画像データを表示する場合、各注目領域の画像データの表示開始Ｙ座標は一定の値となる。例えば、Ｘ軸任意位置で注目領域の画像データを表示する場合、表示装置３００の画面上において、各注目領域の画像データは上詰めで表示されるとする。この場合、第一情報抽出部２３１は、表示開始Ｙ座標として各注目領域で共通の値「０」を生成する。また、第一情報抽出部２３１は、各注目領域の画像データがペイロードデータとして入力される度に、各注目領域に対応する表示開始Ｙ座標の値を１ずつ加算して更新する。これにより、Ｘ軸任意位置に対応する表示開始Ｙ座標を生成することができる。また、第一情報抽出部２３１は、上記実施形態と同様にして書込みサイズを生成する。

【0321】

ＲＯＩ画像アドレス生成部２３３は、第一情報抽出部２３１から注目領域の画像データのＸ軸任意位置での表示に対応した書込み情報が入力されると、上記実施形態と同様に、入力された書込み情報に基づいてアドレスを生成する。これにより、Ｘ軸任意位置に対応したフレームメモリ２５０内のアドレスを生成することができる。また、ＲＯＩ画像生成部２３４は、表示装置３００の画面内において所定数の注目領域の画像データが重ならずにＸ軸方向に順次表示可能なＸ軸任意位置に注目領域の画像データを書込むことができる。

【0322】

このように、映像受信装置２００ａは、本変形例における復元処理の実行により、注目領域（ＲＯＩ）の画像データを表示装置３００の任意の位置（例えばＸ軸任意位置、Ｙ軸任意位置）に表示可能な状態に復元することができる。これにより、注目領域の画像データを表示装置３００（図１８参照）に効率的に表示することができる。また、所定数の注目領域の画像データが一方向（Ｘ軸方向またはＹ軸方向）に互いに重ならないように並んだ状態で表示されることで、例えば各注目領域の画像データの認識処理や比較処理を効率的に行うことができる。

【0323】

６－３．その他の変形例
また、上記実施形態では、映像受信装置２００ａの第一情報処理部２３０ａの第一情報抽出部２３１において、復元処理における情報抽出プロセス（抽出したＲＯＩ情報からのＲＯＩ復元情報の生成）を行うとしたが、本開示はこれに限られない。例えば、本開示による映像受信装置２００ａにおいて、受信部２１０のＥＢＤ解釈部２１４が情報抽出プロセスにおけるエンベデッドデータからＲＯＩ情報（位置情報およびサイズ情報）を抽出してもよい。この場合、ＥＢＤ解釈部２１４は、抽出したＲＯＩ情報を第一情報抽出部２３１に出力すればよい。また、第一情報抽出部２３１は、入力されたＲＯＩ情報に基づいてＲＯＩ復元情報を生成すればよい。

【0324】

また、上記実施形態では一例として撮像画像における注目領域を矩形状としたが、本開示はこれに限られない。注目領域ＲＯＩが矩形状でない場合であっても、映像受信装置２００ａにおいて上記実施形態における復元処理および画像データ差替え処理を実行することができる。

【0325】

以上、前提技術、実施形態及びその変形例を挙げて本開示を説明したが、本開示は上記実施形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。

【0326】

また、例えば、本開示は以下のような構成を取ることができる。
（１）
所定の撮像画像から切り出された所定数のＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）の画像データをペイロードデータに含むとともに、所定数の前記ＲＯＩに対応するＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部と、
前記エンベデッドデータから抽出した前記ＲＯＩ情報に基づいて前記ＲＯＩの画像データを所定の表示装置に表示可能な状態に復元する復元処理を実行可能な処理部と、
を備える受信装置。
（２）
前記処理部は、前記撮像画像における所定数の前記ＲＯＩそれぞれの位置情報及びサイズ情報を前記ＲＯＩ情報として抽出する
上記（１）に記載の受信装置。
（３）
前記処理部は、抽出した前記位置情報および前記サイズ情報を並び替えて、前記ＲＯＩの画像データの復元に用いるＲＯＩ復元情報を生成する
上記（２）に記載の受信装置。
（４）
前記位置情報には、前記撮像画像における前記ＲＯＩの左上端部を示すＸ座標およびＹ座標が含まれ、
前記処理部は、前記ＲＯＩ復元情報として、前記位置情報および前記サイズ情報を前記Ｘ座標の値の昇順に並び替えたＸ座標順データと、前記位置情報および前記サイズ情報を前記Ｙ座標の値の昇順に並び替えたＹ座標順データとを生成する
上記（３）に記載の受信装置。
（５）
前記ＲＯＩの画像データを格納可能なフレームメモリを備え、
前記処理部は、前記ＲＯＩ情報から生成したＲＯＩ復元情報に基づいて、前記フレームメモリに前記ＲＯＩの画像データを書込む
上記（１）から（４）までのいずれか１項に記載の受信装置。
（６）
前記処理部は、前記ＲＯＩ復元情報に基づいて前記ペイロードデータ単位で前記ＲＯＩの画像データを前記フレームメモリに書込む
上記（５）に記載の受信装置。
（７）
前記処理部は、前記ＲＯＩ復元情報に基づいて前記ペイロードデータ内の前記ＲＯＩの画像データを前記ＲＯＩごとに分割して、前記フレームメモリに書込む
上記（６）に記載の受信装置。
（８）
前記処理部は、所定条件が成立している場合に、前記ペイロードデータ内の２以上の前記ＲＯＩの画像データの間にダミー画像データを挿入して前記２以上の前記ＲＯＩの画像データを連結したダミー挿入画像データを生成し、生成したダミー挿入画像データを１回の指示によって連続して前記フレームメモリに書込む
上記（６）に記載の受信装置。
（９）
前記処理部は、前記ＲＯＩ復元情報に基づいて前記撮像画像内での前記ＲＯＩの相対位置に対応する前記フレームメモリ内の復元位置を特定し、前記復元位置に前記ＲＯＩの画像データを書込む
上記（５）から（８）までのいずれか１項に記載の受信装置。
（１０）
前記処理部は、前記ＲＯＩ復元情報に基づいて前記表示装置の画面内において所定数の前記ＲＯＩの画像データが重ならずに表示可能なように前記ＲＯＩの画像データを前記フレームメモリに書込む
上記（５）から（８）までのいずれか１項に記載の受信装置。
（１１）
前記処理部は、前記ＲＯＩ復元情報に基づいて、前記フレームメモリにおける前記ＲＯＩの画像データの書込み先を示すアドレスを生成する
上記（５）から（１０）までのいずれか１項に記載の受信装置。
（１２）
前記処理部は、前記ＲＯＩ復元情報に基づいて、前記フレームメモリにおける前記ダミー挿入画像データの書込み先を示すアドレスを生成する
上記（８）に記載の受信装置。
（１３）
前記処理部は、前記ＲＯＩの画像データが前記表示装置に表示される場合に、前記フレームメモリに格納された前記表示装置の画面単位の画像データのうち、前記ＲＯＩの画像データに該当しない非ＲＯＩ画像データを、固定値画像データに差替える
上記（５）から（１２）までのいずれか１項に記載の受信装置。
（１４）
前記処理部は、前記ＲＯＩ復元情報に基づいて前記非ＲＯＩ画像データを特定する
上記（１３）に記載の受信装置。
（１５）
前記処理部は、
前記ＲＯＩ復元情報に基づいて前記画面単位の画像データの各画素が前記ＲＯＩの画像データに含まれるか、または前記非ＲＯＩ画像データに含まれるかを判定する
上記（１４）に記載の受信装置。
（１６）
ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）の画像データをペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信装置と、
所定の撮像画像から切り出された所定数の前記ＲＯＩの画像データをペイロードデータに含むとともに、所定数の前記ＲＯＩに対応するＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部、前記エンベデッドデータから抽出した前記ＲＯＩ情報に基づいて前記所定数の前記ＲＯＩの画像データを所定の表示装置に表示可能な状態に復元する復元処理を実行可能な処理部を有する受信装置と、を備える
伝送システム。
（１７）
前記受信装置は、
前記ＲＯＩ情報として抽出された前記撮像画像における所定数の前記ＲＯＩそれぞれの位置情報およびサイズ情報を前記処理部において並び替えて、前記ＲＯＩの画像データの復元に用いるＲＯＩ復元情報を生成する
上記（１６）に記載の伝送システム。
（１８）
前記受信装置は、前記ＲＯＩの画像データを格納可能なフレームメモリを備え、前記ＲＯＩ復元情報に基づいて前記フレームメモリに前記ＲＯＩの画像データを前記処理部で書込む
上記（１７）に記載の伝送システム。
（１９）
前記受信装置は、前記ＲＯＩの画像データが前記表示装置に表示される場合に、前記フレームメモリに格納された前記表示装置の画面単位の画像データのうち前記ＲＯＩの画像データに該当しない非ＲＯＩ画像データを、前記処理部で固定値画像データに差替える
上記（１８）に記載の伝送システム。

【符号の説明】

【0327】

１，２ 映像伝送システム
３１，１１０ 撮像部
３２，４１ 制御部
４２ 画像加工部
１００ 映像送信装置
１００Ａ ＣＳＩトランスミッタ
１００Ｂ ＣＣＩスレーブ
１１１ 撮像画像
１１２，１１２ａ１，１１２ａ２，１１２ａ３，１１２ａ４，１１２ｂ１，１１２ｂ４，１２３ａ４，２２３Ａ ＲＯＩ画像
１１２ｂ 圧縮像データ
１１３，１１４ 位置情報
１１５ 優先度
１１６，１１６ａ１，１１６ａ２ 伝送画像
１１８ 画像
１２０，１３０ 画像処理部
１２０Ａ，１２０Ａ１，１２０Ａ２，１３０Ａ，１４７Ｂ 圧縮像データ
１２０Ｂ ＲＯＩ情報
１２０Ｃ フレーム情報
１２１ ＲＯＩ切り出し部
１２２ ＲＯＩ解析部
１２３ 検出部
１２４ 優先度設定部
１２５，１３１ エンコード部
１２６ 画像処理制御部
１４０ 送信部
１４１ ＬＩＮＫ制御部
１４２ ＥＣＣ生成部
１４３ ＰＨ生成部
１４４ ＥＢＤバッファ
１４５ ＲＯＩデータバッファ
１４６ 通常画像データバッファ
１４７ 合成部
１４７Ａ 伝送データ
２００，２００ａ 映像受信装置
２００Ａ ＣＳＩレシーバ
２００Ｂ ＣＣＩマスター
２１０ 受信部
２１１ ヘッダ分離部
２１２ ヘッダ解釈部
２１３ ペイロード分離部
２１４ ＥＢＤ解釈部
２１４Ａ ＥＢＤデータ
２１５ ＲＯＩデータ分離部
２１５Ａ，２１５Ｂ ペイロードデータ
２２０ 情報処理部
２２１ 情報抽出部
２２１Ａ 抽出情報
２２２、２３２ ＲＯＩデコード部
２２２Ａ 画像データ
２２３ ＲＯＩ画像生成部
２２４ 通常画像デコード部
２２４Ａ 通常画像
２３０ 情報処理部
２３０ａ 第一情報処理部
２３０ｂ 第二情報処理部
２３１ 第一情報抽出部
２３２Ａ ＲＯＩデコード画像データ
２３３ ＲＯＩ画像アドレス生成部
２３４ ＲＯＩ画像生成部
２３４Ａ 書込み対象画像データ
２３５ 通常画像アドレス生成部
２３６ 通常画像デコード部
２３７ 通常画像生成部
２４０ バス
２５０ フレームメモリ
２６０ ＤＭＡコントローラ
２７１ 第二情報抽出部
２７２ 画像データ差替え部
３００ 表示装置
Ｃｂ 色差成分
ＣＣＩ カメラ制御インタフェース
ＣＬ クロックレーン
ＲＤ 表示対象画像データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】