特開 2023-165353 画像送受信システム、画像送信装置、画像受信装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023165353

(43)【公開日】2023-11-15

(54)【発明の名称】画像送受信システム、画像送信装置、画像受信装置及びプログラム

(51)【国際特許分類】

   G06T 3/40 20060101AFI20231108BHJP

   G06T 7/90 20170101ALI20231108BHJP

   H04N 21/2343 20110101ALI20231108BHJP

   H04N 21/431 20110101ALI20231108BHJP

   H04N 7/01 20060101ALI20231108BHJP

【ＦＩ】

G06T3/40 755

G06T7/90 A

H04N21/2343

H04N21/431

H04N7/01 420

H04N7/01 170

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022076284

(22)【出願日】2022-05-02

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(74)【代理人】

【識別番号】100180655

【弁理士】

【氏名又は名称】鈴木 俊樹

(72)【発明者】

【氏名】狩野 祐一

【テーマコード（参考）】

5B057

5C063

5C164

5L096

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CD05

5B057CD06

5B057CD07

5B057CD08

5B057DA17

5B057DC16

5B057DC25

5B057DC40

5C063AB03

5C063AC01

5C063BA20

5C063CA40

5C164GA03

5C164PA33

5C164SB02P

5C164UB82P

5L096AA02

5L096AA06

5L096BA04

5L096CA04

5L096DA01

5L096EA33

5L096FA06

5L096FA62

5L096FA66

5L096FA69

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

【課題】データ伝送遅延を低減しつつ精度の高い高解像度画像を得ることが可能な画像送受信システム、画像送信装置、画像受信装置及びプログラムが提供される。
【解決手段】画像送受信システム（１）は、画像送信装置（１０）と、画像受信装置（２０）と、を備え、画像送信装置は、高解像度の原画像を取得する取得部（１１）と、原画像を第１領域と第２領域に区分し、第１領域をダウンスケールした低解像度の画像を表す第１画像データを生成し、原画像の第２領域のみの画像を表す第２画像データを生成する送信側生成部（１２）と、画像受信装置に、第１画像データ及び第２画像データを含む伝送データを送信する送信部（１３）と、を備え、画像受信装置は、伝送データを受信する受信部（２１）と、伝送データを用いて第１画像データをアップスケールしたアップスケール画像を生成する受信側生成部（２２）と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像送信装置と、画像受信装置と、を備え、
前記画像送信装置は、
高解像度の原画像を取得する取得部と、
前記原画像を第１領域と第２領域に区分し、前記第１領域をダウンスケールした低解像度の画像を表す第１画像データを生成し、前記原画像の前記第２領域のみの画像を表す第２画像データを生成する送信側生成部と、
前記画像受信装置に、前記第１画像データ及び前記第２画像データを含む伝送データを送信する送信部と、を備え、
前記画像受信装置は、
前記伝送データを受信する受信部と、
前記伝送データを用いて前記第１画像データをアップスケールしたアップスケール画像を生成する受信側生成部と、を備える、画像送受信システム。

【請求項2】

前記第２領域に対応する前記アップスケール画像の部分領域と、前記第２画像データに基づく前記第２領域の原画像と、を比較する評価を実行し、前記評価の結果を前記受信側生成部に出力する評価部を備える、請求項１に記載の画像送受信システム。

【請求項3】

前記送信側生成部は、エッジ部分が所定量以上含まれている部分を前記第２領域に区分し、区分された前記第１領域と前記第２領域の前記原画像における位置を示すマスク情報を生成し、
前記伝送データは前記マスク情報を含む、請求項１に記載の画像送受信システム。

【請求項4】

前記第１領域は、連続しない複数の領域の集合で構成される、請求項１から３のいずれか一項に記載の画像送受信システム。

【請求項5】

前記送信側生成部は、前記第１領域の色の情報を特徴量ベクトルとして抽出し、グレースケールの画像を表す前記第１画像データを生成し、
前記伝送データは前記特徴量ベクトルを含む、請求項１から３のいずれか一項に記載の画像送受信システム。

【請求項6】

前記受信側生成部は、前記第２画像データと同等の解像度の前記アップスケール画像を生成する、請求項１から３のいずれか一項に記載の画像送受信システム。

【請求項7】

前記第１領域は、エッジ部分が所定量未満含まれている部分である、請求項１に記載の画像送受信システム。

【請求項8】

高解像度の原画像を取得する取得部と、
前記原画像を第１領域と第２領域に区分し、前記第１領域をダウンスケールした低解像度の画像を表す第１画像データを生成し、前記原画像の前記第２領域のみの画像を表す第２画像データを生成する送信側生成部と、
画像受信装置に、前記第１画像データ及び前記第２画像データを含む伝送データを送信する送信部と、を備える、画像送信装置。

【請求項9】

高解像度の原画像のうちの第１領域をダウンスケールした低解像度の画像を表す第１画像データと、前記第１領域とは区分される前記原画像の第２領域のみの画像を表す第２画像データとを含む伝送データを受信する受信部と、
前記伝送データを用いて前記第１画像データをアップスケールしたアップスケール画像を生成する受信側生成部と、を備える、画像受信装置。

【請求項10】

画像送信装置として機能する第１コンピュータと、画像受信装置として機能する第２コンピュータと、を備える画像送受信システムで用いられるプログラムであって、
前記第１コンピュータを、
高解像度の原画像を取得する取得部と、
前記原画像を第１領域と第２領域に区分し、前記第１領域をダウンスケールした低解像度の画像を表す第１画像データを生成し、前記原画像の前記第２領域のみの画像を表す第２画像データを生成する送信側生成部と、
前記画像受信装置に、前記第１画像データ及び前記第２画像データを含む伝送データを送信する送信部と、して機能させ、
前記第２コンピュータを、
前記伝送データを受信する受信部と、
前記伝送データを用いて前記第１画像データをアップスケールしたアップスケール画像を生成する受信側生成部と、して機能させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像送受信システム、画像送信装置、画像受信装置及びプログラムに関する。

【背景技術】

【0002】

従来、複数の装置間で画像データの伝送が行われることがある。近年、撮像装置及び表示装置のスペックが向上し、画像の高解像度化が進んでおり、画像データの伝送量が増大している。高解像度の画像を表す画像データを伝送する場合に、データ伝送遅延が生じることが問題となる。

【0003】

例えば特許文献１は、データ伝送遅延を低減させるために、オリジナルの高解像度画像でなく、ダウンスケール画像（低解像度画像）と付加データ（画像特徴量）を伝送し、受信側でダウンスケール画像と付加データからアップスケール画像（高解像度画像）を生成する技術を開示する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０２０／１７９２０５号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１の技術では、ダウンスケール画像と付加データのみからアップスケール画像を生成するので、アップスケール画像の精度、すなわちオリジナルの画像との同一性が低い。

【0006】

かかる点に鑑みてなされた本開示の目的は、データ伝送遅延を低減しつつ精度の高い高解像度画像を得ることが可能な画像送受信システム、画像送信装置、画像受信装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0007】

一実施形態に係る画像送受信システムは、
画像送信装置と、画像受信装置と、を備え、
前記画像送信装置は、
高解像度の原画像を取得する取得部と、
前記原画像を第１領域と第２領域に区分し、前記第１領域をダウンスケールした低解像度の画像を表す第１画像データを生成し、前記原画像の前記第２領域のみの画像を表す第２画像データを生成する送信側生成部と、
前記画像受信装置に、前記第１画像データ及び前記第２画像データを含む伝送データを送信する送信部と、を備え、
前記画像受信装置は、
前記伝送データを受信する受信部と、
前記伝送データを用いて前記第１画像データをアップスケールしたアップスケール画像を生成する受信側生成部と、を備える。

【0008】

一実施形態に係る画像送信装置は、
高解像度の原画像を取得する取得部と、
前記原画像を第１領域と第２領域に区分し、前記第１領域をダウンスケールした低解像度の画像を表す第１画像データを生成し、前記原画像の前記第２領域のみの画像を表す第２画像データを生成する送信側生成部と、
画像受信装置に、前記第１画像データ及び前記第２画像データを含む伝送データを送信する送信部と、を備える。

【0009】

一実施形態に係る画像受信装置は、
高解像度の原画像のうちの第１領域をダウンスケールした低解像度の画像を表す第１画像データと、前記第１領域とは区分される前記原画像の第２領域のみの画像を表す第２画像データとを含む伝送データを受信する受信部と、
前記伝送データを用いて前記第１画像データをアップスケールしたアップスケール画像を生成する受信側生成部と、を備える。

【0010】

一実施形態に係るプログラムは、
画像送信装置として機能する第１コンピュータと、画像受信装置として機能する第２コンピュータと、を備える画像送受信システムで用いられるプログラムであって、
前記第１コンピュータを、
高解像度の原画像を取得する取得部と、
前記原画像を第１領域と第２領域に区分し、前記第１領域をダウンスケールした低解像度の画像を表す第１画像データを生成し、前記原画像の前記第２領域のみの画像を表す第２画像データを生成する送信側生成部と、
前記画像受信装置に、前記第１画像データ及び前記第２画像データを含む伝送データを送信する送信部と、して機能させ、
前記第２コンピュータを、
前記伝送データを受信する受信部と、
前記伝送データを用いて前記第１画像データをアップスケールしたアップスケール画像を生成する受信側生成部と、して機能させる。

【発明の効果】

【0011】

本開示の実施形態によれば、データ伝送遅延を低減しつつ精度の高い高解像度画像を得ることが可能な画像送受信システム、画像送信装置、画像受信装置及びプログラムを提供することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、本開示の一実施形態に係る画像送受信システムの概略構成を示すブロック図である。

【図2】図２は、画像送受信システムで実行される処理の例を説明するための図である。

【図3】図３は、画像送受信システムで実行される処理の例を示すフローチャートである。

【図4】図４は、画像送受信システムで実行される処理の別の例を説明するための図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して本開示の実施形態に係る画像送受信システム、画像送信装置、画像受信装置及びプログラムが説明される。各図中、同一又は相当する部分には、同一符号が付されている。以下の実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。

【0014】

（第１実施形態）
図１は、本開示の一実施形態に係る画像送受信システム１の概略構成を示すブロック図である。画像送受信システム１は、画像送信装置１０と、画像受信装置２０と、を備える。画像送信装置１０は、後述する伝送データをネットワーク経由で画像受信装置２０に伝送する。ネットワークは例えばインターネットであるが、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などであってよい。画像送信装置１０は、ネットワークに接続されたコンピュータ（第１コンピュータ）で実現されてよいが、後述の取得工程、送信側生成工程及び送信工程を実行可能であれば特定の装置に限定されない。また、画像受信装置２０は、ネットワークに接続された別のコンピュータ（第２コンピュータ）で実現されてよいが、後述の受信工程、受信側生成工程及び評価工程を実行可能であれば特定の装置に限定されない。ここで、本実施形態では、画像送信装置１０が第１コンピュータ、画像受信装置２０が第２コンピュータで実現されるとして説明する。

【0015】

画像送信装置１０は、取得部１１と、送信側生成部１２と、送信部１３と、を備える。画像受信装置２０は、受信部２１と、受信側生成部２２と、評価部２３と、を備える。画像送信装置１０の構成要素及び画像受信装置２０の構成要素の詳細については後述する。

【0016】

ここで、画像送受信システム１は、以下のようなソフトウェア構成を有してよい。第１コンピュータである画像送信装置１０によってアクセス可能な記憶装置に、画像送信装置１０を動作させるための１つ以上のプログラム（第１プログラム）が記憶される。また、第２コンピュータである画像受信装置２０によってアクセス可能な記憶装置に、画像受信装置２０を動作させるための１つ以上のプログラム（第２プログラム）が記憶される。第１プログラムが第１コンピュータのプロセッサによって読み込まれると、第１コンピュータを取得部１１、送信側生成部１２及び送信部１３として機能させる。また、第２プログラムが第２コンピュータのプロセッサによって読み込まれると、第２コンピュータを受信部２１、受信側生成部２２及び評価部２３として機能させる。ここで、記憶装置は、例えば１つ以上のメモリである。メモリは、例えば半導体メモリ、磁気メモリ又は光メモリ等であるが、これらに限られず任意のメモリとすることができる。記憶装置は、例えば画像送受信システム１に含まれるが、画像送受信システム１の外部に設けられて任意のインターフェースを介して画像送信装置１０及び画像受信装置２０からアクセスされる構成も可能である。

【0017】

本実施形態において、画像送受信システム１は、作業現場の建設機械（一例としてショベルカー）を遠隔操作する場合において、建設機械に設けられたカメラで撮影された画像を作業現場から離れた場所にいる操作者に表示させるように伝送する用途で用いられる。ただし、画像送受信システム１は、建設機械の遠隔操作での適用に限定されず、画像データを伝送する様々な場面で使用され得る。画像送受信システム１は、例えば遠隔手術、車両の遠隔操作及びセキュリティカメラシステムなどに適用することができる。ここで、本実施形態において、画像送信装置１０は作業現場に配置されている。画像送信装置１０は作業現場の建設機械にカメラとともに設けられてよい。また、本実施形態において、画像受信装置２０は作業現場から離れた場所に配置されている。画像送信装置１０と画像受信装置２０との通信が双方向であって、画像受信装置２０は操作者による遠隔操作の指令を、画像送信装置１０を介して、建設機械に伝送してよい。

【0018】

以下、画像送信装置１０の構成要素及び画像受信装置２０の構成要素の詳細が説明される。

【0019】

取得部１１は、高解像度の原画像を取得する。本実施形態において、原画像は作業現場の建設機械のカメラで撮影された画像である。ここで、高解像度の画像とは、画像送受信システム１が適用される用途において、不都合がない程度に詳細な情報が得られる解像度を有する画像を意味する。例えば本実施形態において、高解像度の画像は、操作者が周囲の物体を認識可能であって、建設機械の遠隔操作に支障がない程度の解像度を有すればよい。また、例えば画像送受信システム１が遠隔手術に適用される場合に、高解像度の画像は、建設機械の遠隔操作の場合より高い解像度を有する。また、低解像度の画像とは、高解像度の画像よりも低い解像度を有する画像である。

【0020】

送信側生成部１２は、原画像を第１領域と第２領域に区分する。そして、送信側生成部１２は、第１領域をダウンスケールした低解像度の画像を表す第１画像データを生成し、原画像の第２領域のみの画像を表す第２画像データを生成する。つまり、送信側生成部１２は、原画像の第１領域についてはダウンスケールし、原画像の第２領域については解像度を維持する。ダウンスケールは、公知の手法で実行されてよい。例えば予め定められた間引き率で間引くダウンサンプリングが実行されてよい。本実施形態において、画像送信装置１０と画像受信装置２０は、第１領域と第２領域とを予め定めている。例えば、送信側生成部１２は、建設機械の進行方向に対応する原画像の中心部分を第２領域と、残りを第１領域と定めて、伝送データの伝送前に、第１領域と第２領域とを区分可能にする情報を画像受信装置２０と共有してよい。一例として、第１領域は原画像の中心から上方向、下方向、左方向及び右方向のそれぞれにおいて外周までの距離の半分で区画される領域と定められてよい。ここで、第１領域は、１つの領域に限定されず、連続しない（離散的な）複数の領域の集合で構成されてよい。同様に、第２領域は、１つの領域に限定されず、連続しない複数の領域の集合で構成されてよい。

【0021】

送信部１３は、画像受信装置２０に、第１画像データ（第１領域をダウンスケールした低解像度の画像に対応）及び第２画像データ（原画像の第２領域のみの画像に対応）を含む伝送データを送信する。つまり、伝送データは、原画像の一部（第１領域）をダウンスケールした画像を表す画像データを含む。送信部１３は、伝送の開始から終了まで、所定のタイミングで伝送データを送信してよい。例えば、取得部１１が３０ｆｐｓのフレームレートで画像を取得する場合に、送信部１３は３０ｆｐｓ又は３０ｆｐｓ未満のフレームレートに相当するように伝送データを送信してよい。

【0022】

受信部２１は、送信部１３によって送信された伝送データを、ネットワークを介して受信する。送信部１３及び受信部２１は、それぞれネットワークに接続可能な通信モジュールで実現されてよい。

【0023】

受信側生成部２２は、伝送データを用いて第１画像データをアップスケールしたアップスケール画像を生成する。アップスケール画像は、伝送データに含まれる画像データを用いたアップスケールによって生成され、伝送時にダウンスケールされた第１領域についても高解像度化された画像である。アップスケールは、公知の手法で実行されてよい。例えば原画像の第２領域の解像度に合わせるように、補間計算式に従って画素を補間するような処理が実行されてよい。ここで、受信側生成部２２は、受信部２１が受信した伝送データから第２画像データを抽出してよいし、評価部２３によって抽出された第２画像データを取得してよい。受信側生成部２２は、得られた第２画像データに基づいて、第２画像データと同等の解像度のアップスケール画像を生成する。本実施形態において、受信側生成部２２は、超解像処理を行う機械学習モデルを用いてアップスケールを実行する。機械学習の手法として、例えば畳み込みニューラルネットワークが用いられてよいが、これに限定されない。

【0024】

評価部２３は、受信部２１が受信した伝送データから第２画像データを抽出する。また、評価部２３は、受信側生成部２２が生成したアップスケール画像のうち、抽出した第２画像データに対応する部分（すなわち第２領域に対応するアップスケール画像の部分領域）を抽出する。そして、評価部２３は、第２領域に対応するアップスケール画像の部分領域と、第２画像データに基づく第２領域の原画像と、を比較する評価を実行し、評価の結果を受信側生成部２２に出力する。評価の結果は、第２領域に対応する部分について、アップスケール画像と原画像との輝度などの差を示すものであってよい。また、評価の結果は、例えば一致又は不一致の度合いを数値化したものを含んでよい。ここで、評価部２３は、第２領域に対応するアップスケール画像の部分領域と第２画像データに基づく第２領域の原画像の全体を比較してよいが、一部だけを比較して評価を行ってよい。

【0025】

従来技術と異なり、本実施形態に係る画像送受信システム１は、伝送データに原画像の一部を含む。つまり、画像受信装置２０は、アップスケールによって再現すべき部分画像のデータ（正解のデータ）を取得することができる。そして、評価部２３が評価の結果を受信側生成部２２に出力することによって、受信側生成部２２はアップスケール画像の精度、すなわちオリジナルの画像との同一性を向上させるように、機械学習モデル又は補間計算式を調整することができる。例えば、受信側生成部２２は、評価の結果を用いて再学習した機械学習モデルを用いたり、評価の結果に基づいて補間計算式のパラメータを変更したりすることができる。このような調整によって、本実施形態に係る画像送受信システム１は、精度の高い高解像度画像を得ることができる。

【0026】

以下、本実施形態に係る画像送受信システム１が実行する処理の流れが説明される。図２及び図３は、画像送受信システム１で実行される処理の例を説明するための図及びフローチャートである。図３の各工程に沿って説明し、各工程の説明において関連する図２の画像等が引用される。

【0027】

例えば作業現場において建設機械の遠隔操作が開始される場合に、伝送データの伝送が開始される。まず、取得部１１は、建設機械のカメラで撮影された高解像度の原画像（図２の１１０）を取得する（ステップＳ１、取得工程）。

【0028】

送信側生成部１２は、原画像を第１領域と第２領域に区分する。そして、送信側生成部１２は、第１領域をダウンスケールした低解像度の画像（図２の１１１）を表す第１画像データを生成し、原画像の第２領域のみの画像（図２の１１２）を表す第２画像データを生成する（ステップＳ２、送信側生成工程）。図２の例において、第２領域は原画像の中心部分の領域である。また、原画像の第２領域を除く部分が第１領域となる。そのため、図２に示すように、第１画像データと第２画像データを合わせたものは、原画像の一部（第１領域）をダウンスケールした画像を表す高低解像度混在データとなる。

【0029】

送信部１３は、画像受信装置２０に、第１画像データ及び第２画像データを含む伝送データを送信する（ステップＳ３、送信工程）。

【0030】

受信部２１は、送信部１３によって送信された伝送データを、ネットワークを介して受信する（ステップＳ４、受信工程）。

【0031】

受信側生成部２２は、伝送データを用いてアップスケールしたアップスケール画像（図２の１２０）を生成する（ステップＳ５、受信側生成工程）。本実施形態において、受信側生成部２２は、アップスケールの処理として機械学習モデルを用いる超解像を実行する。

【0032】

評価部２３は、第２領域に対応するアップスケール画像の部分領域と、第２画像データに基づく第２領域の原画像と、を比較する評価を実行し、評価の結果を受信側生成部２２に出力する（ステップＳ６、評価工程）。つまり、評価部２３は、アップスケール画像を、原画像の高解像度部分と比較してフィードバックを行う。評価結果に基づいて、アップスケール画像の精度が向上するように、機械学習モデルが調整される。

【0033】

例えば作業現場において建設機械の遠隔操作による作業が終了した場合に、伝送データの伝送が終了する。伝送データの伝送が終了する場合に（ステップＳ７のＹＥＳ）、一連の処理が終了する。また、伝送データの伝送が終了しない場合に（ステップＳ７のＮＯ）、ステップＳ１の処理に戻る。

【0034】

以上のように、本実施形態に係る画像送受信システム１は、原画像の一部（第１領域）をダウンスケールした画像を表す画像データを伝送する。そのため、高解像度で原画像全体を伝送する場合に比べて、データ伝送遅延を低減することができる。また、本実施形態に係る画像送受信システム１は、原画像の高解像度部分も伝送する。そのため、再現すべき画像を示す原画像の高解像度部分に基づいて、アップスケール画像の精度を向上させることができる。よって、本実施形態に係る画像送受信システム１は、データ伝送遅延を低減しつつ精度の高い高解像度画像を得ることが可能である。

【0035】

（第２実施形態）
図４は、本開示の一実施形態（第２実施形態）に係る画像送受信システム１の処理を説明するための図である。本実施形態に係る画像送受信システム１の構成は、第１実施形態と同じ（図１参照）である。本実施形態に係る画像送受信システム１は、伝送データがさらにマスク情報などを含むことが第１実施形態と異なる。重複説明を回避するため、第１実施形態と異なる点が以下に説明される。

【0036】

送信側生成部１２は、取得部１１によって取得された原画像（図４の１１０）を解析して、超解像が困難な部分を特定する。超解像が困難な部分とは、アップスケール画像の精度が低下しやすい部分であって、例えば変化が大きい部分などである。送信側生成部１２は、例えば原画像について公知の手法でエッジ検出を行い、エッジ部分を多く含む領域を「超解像が困難な部分」と判定してよい。本実施形態において、送信側生成部１２は、エッジ部分が所定量以上含まれている部分を第２領域に区分する。所定量は特定の値に限定されず、例えば受信側生成部２２での超解像処理が施された過去の実績データなどに基づいて決定されてよい。また、送信側生成部１２は、エッジ部分が所定量未満含まれている部分を第１領域に区分する。このように、送信側生成部１２は、超解像が困難な部分を第２領域に区分し、その他の部分を第１領域に区分する。

【0037】

送信側生成部１２は、区分された第１領域と第２領域の原画像における位置を示すマスク情報を生成する。図４の例では、木と空間とが混在しており画像としての変化が大きい中心部分が第２領域に区分されている。本実施形態において、伝送データはマスク情報を含む。第１実施形態では、画像送信装置１０と画像受信装置２０が、第１領域と第２領域とを予め定めていた。本実施形態において、第１領域と第２領域とを区分可能にするマスク情報が伝送データとして画像受信装置２０に伝送されるため、伝送データの伝送前の情報共有は不要である。また、超解像が困難な部分（第２領域）は、例えば曲線的でいびつな形状で特定され得る。また、原画像の変化に従って超解像が困難な部分も変化し得る。このような場合にも、マスク情報を用いることによって、画像受信装置２０は正確に第２領域の位置を特定することができる。

【0038】

送信側生成部１２は、さらに、第１領域の色の情報を特徴量ベクトルとして抽出し、グレースケールの画像（図４の１１１）を表す第１画像データを生成してよい。この場合に、伝送データは特徴量ベクトルも含む。グレースケールの画像とすることによって、第１画像データのサイズを小さくすることができる。そのため、特徴量ベクトルが追加されるとしても、伝送データのサイズを全体として小さくすることができ、データ伝送遅延をさらに低減できる。

【0039】

受信側生成部２２は、マスク情報を含む伝送データを用いてアップスケールしたアップスケール画像を生成する。受信側生成部２２は、伝送データが特徴量ベクトルとグレースケールの画像を表す第１画像データを含む場合に、第１領域の部分に色情報を付加してから、アップスケール画像を生成する。

【0040】

ここで、本実施形態に係る画像送受信システム１が実行する処理のフローチャートは、第１実施形態と同じく図３で示されるが、上記のように伝送データの内容が異なる。具体的に述べると、送信側生成工程（ステップＳ２）において、送信側生成部１２はマスク情報を生成し、伝送データがマスク情報を含む。また、送信側生成工程（ステップＳ２）において、送信側生成部１２はさらに特徴量ベクトルを抽出して、伝送データがさらに特徴量ベクトルを含んでよい。また、受信側生成工程（ステップＳ５）において、受信側生成部２２は、伝送データに含まれるマスク情報なども用いてアップスケール画像を生成する。

【0041】

以上のように、本実施形態に係る画像送受信システム１は、第１実施形態と同じくデータ伝送遅延を低減しつつ精度の高い高解像度画像を得ることが可能である。また、本実施形態に係る画像送受信システム１は、マスク情報を用いることによって、伝送前に情報を共有しなくても画像受信装置２０が正確に第２領域の位置を特定でき、さらに第２領域の変化及び様々な形状に容易に対応できる。また、本実施形態に係る画像送受信システム１は、第１領域の色の情報を特徴量ベクトルとして抽出することによって、データ伝送遅延をさらに低減できる。

【0042】

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各工程などに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又は工程などを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

【符号の説明】

【0043】

１ 画像送受信システム
１０ 画像送信装置
１１ 取得部
１２ 送信側生成部
１３ 送信部
２０ 画像受信装置
２１ 受信部
２２ 受信側生成部
２３ 評価部

【図1】

【図2】

【図3】

【図4】