ホーム > 特許ランキング > 住友電気工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
特許7468518映像伝送システム、映像送信装置、映像受信装置、映像配信方法、映像送信方法、映像受信方法およびコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-08
(45)【発行日】2024-04-16
(54)【発明の名称】映像伝送システム、映像送信装置、映像受信装置、映像配信方法、映像送信方法、映像受信方法およびコンピュータプログラム
(51)【国際特許分類】
H04N 19/132 20140101AFI20240409BHJP
H04N 19/167 20140101ALI20240409BHJP
H04N 19/176 20140101ALI20240409BHJP
【ＦＩ】
H04N19/132
H04N19/167
H04N19/176
【請求項の数】
20
(21)【出願番号】P 2021522195
(86)(22)【出願日】2020-05-14
(86)【国際出願番号】 JP2020019202
(87)【国際公開番号】W WO2020241269
(87)【国際公開日】2020-12-03
【審査請求日】2022-12-21
(31)【優先権主張番号】P 2019100291
(32)【優先日】2019-05-29
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002130
【氏名又は名称】住友電気工業株式会社
(74)【代理人】
【識別番号】100123021
【弁理士】
【氏名又は名称】渥美 元幸
(74)【代理人】
【識別番号】100126538
【弁理士】
【氏名又は名称】嶺 直道
(72)【発明者】
【氏名】前田 直樹
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第２０１８／１２５５７９（ＷＯ，Ａ１）
【文献】特表２０１７－５０９１８９（ＪＰ，Ａ）
【文献】特開２０１３－２２９８０６（ＪＰ，Ａ）
【文献】特開２００６－３３２８８２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
映像データに対して圧縮処理を行い、前記圧縮処理済みの前記映像データを送信する映像送信装置と、前記映像送信装置から前記圧縮処理済みの前記映像データを受信し、受信した前記映像データの伸長処理を行う映像受信装置とを備え、
前記映像送信装置は、前記映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行し、前記注目領域に対して前記所定の圧縮処理を実行せず、
前記注目領域は、前記画面内でのユーザの視線位置に基づいて定められ、
前記注目領域は、前記視線位置の所定領域内での持続時間に基づいて、所定時間固定される、映像伝送システム。
【請求項2】
前記ユーザの数は複数であり、前記注目領域は、前記ユーザごとに定められる、請求項１に記載の映像伝送システム。
【請求項3】
映像データに対して圧縮処理を行い、前記圧縮処理済みの前記映像データを送信する映像送信装置と、
前記映像送信装置から前記圧縮処理済みの前記映像データを受信し、受信した前記映像データの伸長処理を行う映像受信装置とを備え、
前記映像送信装置は、前記映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行し、前記注目領域に対して前記所定の圧縮処理を実行せず、
前記映像送信装置は、前記圧縮処理済みの前記映像データの伝送の遅延に関連する送信状況を示す送信状況情報に応じて前記注目領域のサイズを変化させる、映像伝送システム。
【請求項4】
前記映像データは、移動体に搭載されるカメラにより生成され、前記注目領域は、前記移動体の進行方向に基づいて定められる、請求項１または請求項３に記載の映像伝送システム。
【請求項5】
前記注目領域は、前記映像データの画面間での輝度値の変化量に基づいて定められる、請求項１、請求項３、請求項４のいずれか１項に記載の映像伝送システム。
【請求項6】
前記映像受信装置は、前記注目領域を指定するための情報を前記映像送信装置に送信する、請求項１、請求項３および請求項４のいずれか１項に記載の映像伝送システム。
【請求項7】
前記所定の圧縮処理は、前記非注目領域内の各画素の色深度を削減する処理である、請求項１から請求項６のいずれか１項に記載の映像伝送システム。
【請求項8】
前記所定の圧縮処理は、前記非注目領域内の各ブロックに対するダウンコンバート処理である、請求項７に記載の映像伝送システム。
【請求項9】
前記非注目領域は、前記所定の圧縮処理における圧縮率の異なる複数の領域を含み、当該複数の領域の中で前記注目領域に隣接する領域の圧縮率が最も小さい、請求項１から請求項８のいずれか１項に記載の映像伝送システム。
【請求項10】
映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行する圧縮処理部と、前記所定の圧縮処理後の前記映像データを、映像受信装置に送信する送信部とを備え、
前記注目領域は、前記画面内でのユーザの視線位置に基づいて定められ、
前記注目領域は、前記視線位置の所定領域内での持続時間に基づいて、所定時間固定される、映像送信装置。
【請求項11】
映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行し、前記注目領域に対して前記所定の圧縮処理を実行しない圧縮処理部と、
前記所定の圧縮処理後の前記映像データを、映像受信装置に送信する送信部と、
前記圧縮処理済みの前記映像データの伝送の遅延に関連する送信状況を示す送信状況情報に応じて前記注目領域のサイズを変化させる領域決定部を備える、映像送信装置。
【請求項12】
映像送信装置から、映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理が実行された映像データを受信する受信部と、前記受信部が受信した前記映像データを伸長する伸長部とを備え、
前記注目領域は、前記画面内でのユーザの視線位置に基づいて定められ、
前記注目領域は、前記視線位置の所定領域内での持続時間に基づいて、所定時間固定される、映像受信装置。
【請求項13】
映像送信装置が、映像データに対して圧縮処理を行い、前記圧縮処理済みの前記映像データを送信するステップと、映像受信装置が、前記映像送信装置から前記圧縮処理済みの前記映像データを受信し、受信した前記映像データの伸長処理を行うステップとを含み、
前記映像データを送信するステップにおいて、前記映像送信装置は、前記映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行し、前記注目領域に対して前記所定の圧縮処理を実行せず、
前記注目領域は、前記画面内でのユーザの視線位置に基づいて定められ、
前記注目領域は、前記視線位置の所定領域内での持続時間に基づいて、所定時間固定される、映像配信方法。
【請求項14】
映像配信方法であって、
映像送信装置が、映像データに対して圧縮処理を行い、前記圧縮処理済みの前記映像データを送信するステップと、
映像受信装置が、前記映像送信装置から前記圧縮処理済みの前記映像データを受信し、受信した前記映像データの伸長処理を行うステップとを含み、
前記映像データを送信するステップにおいて、前記映像送信装置は、前記映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行し、前記注目領域に対して前記所定の圧縮処理を実行せず、
前記映像配信方法は、さらに、前記圧縮処理済みの前記映像データの伝送の遅延に関連する送信状況を示す送信状況情報に応じて前記注目領域のサイズを変化させるステップを含む、映像配信方法。
【請求項15】
映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行するステップと、前記所定の圧縮処理後の前記映像データを、映像受信装置に送信するステップとを含み、
前記注目領域は、前記画面内でのユーザの視線位置に基づいて定められ、
前記注目領域は、前記視線位置の所定領域内での持続時間に基づいて、所定時間固定される、映像送信方法。
【請求項16】
映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行し、前記注目領域に対して前記所定の圧縮処理を実行しないステップと、
前記所定の圧縮処理後の前記映像データを、映像受信装置に送信するステップと、
前記圧縮処理済みの前記映像データの伝送の遅延に関連する送信状況を示す送信状況情報に応じて前記注目領域のサイズを変化させるステップを含む、映像送信方法。
【請求項17】
映像送信装置から、映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理が実行された映像データを受信するステップと、受信した前記映像データを伸長するステップとを含み、
前記注目領域は、前記画面内でのユーザの視線位置に基づいて定められ、
前記注目領域は、前記視線位置の所定領域内での持続時間に基づいて、所定時間固定される、映像受信方法。
【請求項18】
コンピュータに、映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行するステップと、
前記所定の圧縮処理後の前記映像データを、映像受信装置に送信するステップとを実行させるための、コンピュータプログラムであって、
前記注目領域は、前記画面内でのユーザの視線位置に基づいて定められ、
前記注目領域は、前記視線位置の所定領域内での持続時間に基づいて、所定時間固定される、コンピュータプログラム。
【請求項19】
コンピュータに、
映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行し、前記注目領域に対して前記所定の圧縮処理を実行しないステップと、
前記所定の圧縮処理後の前記映像データを、映像受信装置に送信するステップと、
前記圧縮処理済みの前記映像データの伝送の遅延に関連する送信状況を示す送信状況情報に応じて前記注目領域のサイズを変化させるステップとを実行させるための、コンピュータプログラム。
【請求項20】
コンピュータに、映像送信装置から、映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理が実行された映像データを受信するステップと、
受信した前記映像データを伸長するステップとを実行させるための、コンピュータプログラムであって、
前記注目領域は、前記画面内でのユーザの視線位置に基づいて定められ、
前記注目領域は、前記視線位置の所定領域内での持続時間に基づいて、所定時間固定される、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、映像伝送システム、映像送信装置、映像受信装置、映像配信方法、映像送信方法、映像受信方法およびコンピュータプログラムに関する。
本出願は、２０１９年５月２９日出願の日本出願第２０１９-１００２９１号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。
本出願は、２０１９年５月２９日出願の日本出願第２０１９-１００２９１号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。
【背景技術】
【0002】
放送等では、８Ｋ ＵＨＤＴＶ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）（以下、「８Ｋ」と略記する。）のような超高解像度の高精細な映像データを伝送するための技術が開発されている（例えば、非特許文献１参照）。
【0003】
超高解像度映像は、その表現力ゆえ、監視用途、防犯用途、建物などの外観検査用途などのあらゆる分野で用いられることが今後急増するものと考えられる。その一方、その表現力のために、例えば、伝送レートが数十Ｇｂｐｓ（ｇｉｇａｂｉｔｓ ｐｅｒ ｓｅｃｏｎｄ）以上に達するため、映像データを伝送するために高速な通信路が必要となる。
【先行技術文献】
【特許文献】
【0004】
【文献】”ウィキペディア”、［ｏｎｌｉｎｅ］、［平成３１年４月８日検索］、インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｊａ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｈ．２６５〉
【文献】“視線検出技術 基本原理”、［ｏｎｌｉｎｅ］、２０１３年４月２３日、富士通研究所、［令和２年１月６日検索］、インターネット〈ＵＲＬ：ｈｔｔｐｓ：／／ｗｗｗ．ｆｕｊｉｔｓｕ．ｃｏｍ／ｊｐ／ｇｒｏｕｐ／ｌａｂｓ／ｒｅｓｏｕｒｃｅｓ／ｔｅｃｈ／ｔｅｃｈｇｕｉｄｅ／ｌｉｓｔ／ｅｙｅ－ｍｏｖｅｍｅｎｔｓ／ｐ０３．ｈｔｍｌ〉
【発明の概要】
【0005】
本開示の一実施態様に係る映像伝送システムは、映像データに対して圧縮処理を行い、前記圧縮処理済みの前記映像データを送信する映像送信装置と、前記映像送信装置から前記圧縮処理済みの前記映像データを受信し、受信した前記映像データの伸長処理を行う映像受信装置とを備え、前記映像送信装置は、前記映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行し、前記注目領域に対して前記所定の圧縮処理を実行しない。
【0006】
本開示の他の実施態様に係る映像送信装置は、映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行する圧縮処理部と、前記所定の圧縮処理後の前記映像データを、映像受信装置に送信する送信部とを備える。
【0007】
本開示の他の実施態様に係る映像受信装置は、映像送信装置から、映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理が実行された映像データを受信する受信部と、前記受信部が受信した前記映像データを伸長する伸長部とを備える。
【0008】
本開示の他の実施態様に係る映像配信方法は、映像送信装置が、映像データに対して圧縮処理を行い、前記圧縮処理済みの前記映像データを送信するステップと、映像受信装置が、前記映像送信装置から前記圧縮処理済みの前記映像データを受信し、受信した前記映像データの伸長処理を行うステップとを含み、前記映像データを送信するステップにおいて、前記映像送信装置は、前記映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行し、前記注目領域に対して前記所定の圧縮処理を実行しない。
【0009】
本開示の他の実施態様に係る映像送信方法は、映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行するステップと、前記所定の圧縮処理後の前記映像データを、映像受信装置に送信するステップとを含む。
【0010】
本開示の他の実施態様に係る映像受信方法は、映像送信装置から、映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理が実行された映像データを受信するステップと、前記受信部が受信した前記映像データを伸長するステップとを含む。
【0011】
本開示の他の実施態様に係るコンピュータプログラムは、コンピュータに、映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行するステップと、前記所定の圧縮処理後の前記映像データを、映像受信装置に送信するステップとを実行させる。
【0012】
本開示の他の実施態様に係るコンピュータプログラムは、コンピュータに、映像送信装置から、映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理が実行された映像データを受信するステップと、前記受信部が受信した前記映像データを伸長するステップとを実行させる。
【0013】
なお、上記コンピュータプログラムを、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本開示は、映像送信装置または映像受信装置の一部又は全部を実現する半導体集積回路として実現することもできる。
【図面の簡単な説明】
【0014】
【発明を実施するための形態】
【0015】
［本開示が解決しようとする課題］
例えば、重機（クレーン車、ブルドーザー等）、ドローン、ロボット等の移動体に設置された８Ｋの映像データを撮影可能なカメラ（以下、「８Ｋカメラ」と言う。）で撮影された映像データを映像送信装置から映像受信装置に送信し、遠隔地において映像データを監視するといった利用方法も考えられる。
例えば、重機（クレーン車、ブルドーザー等）、ドローン、ロボット等の移動体に設置された８Ｋの映像データを撮影可能なカメラ（以下、「８Ｋカメラ」と言う。）で撮影された映像データを映像送信装置から映像受信装置に送信し、遠隔地において映像データを監視するといった利用方法も考えられる。
【0016】
しかしながら、「第５世代移動通信システム」（以下、「５Ｇ」（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）と略記する。）の無線通信の伝送能力は、数Ｇｂｐｓ程度である。一方、８Ｋのデュアルグリーン方式の映像データを伝送するには、２４Ｇｂｐｓ程度の伝送能力を要する。このため、８Ｋの映像データをそのままの形式で５Ｇの無線通信を利用して送信することは困難である。なお、８Ｋの映像データを１０ギガビット・イーサネット（登録商標）のネットワークプロトコルを利用して送信する場合においても同様の問題が生じる。
【0017】
放送等で用いられるＨ．２６５（ＩＳＯ／ＩＥＣ ２３００８－２ ＨＥＶＣ）などの方式を用いて映像データを圧縮して伝送することも考えられるが、圧縮処理および伸長処理に数秒程度の時間を要するため、映像の遅延が生じる。
【0018】
一方、伝送された映像データは、例えば、不審者、人の流れ、または入場者等を監視する監視用途に用いられる。具体的には、映像データを画像認識処理することにより、不審者等の認識対象が抽出される。監視用途において重要な映像データ中の領域は、認識対象の周囲の領域であり、それ以外の領域は解像度を落としてよい場合もある。それ以外のアプリケーションにおいても、注目すべき領域以外の領域の解像度を落としてよい場合もある。
【0019】
本開示は、このような事情に鑑みてなされたものであり、注目領域においてオリジナル映像との同一性を保持した映像データの低遅延配信が可能な映像伝送システム、映像送信装置、映像受信装置、映像配信方法、映像送信方法、映像受信方法およびコンピュータプログラムを提供することを目的とする。
【0020】
［本開示の効果］
本開示によると、注目領域においてオリジナル映像との同一性を保持した映像データの低遅延配信ができる。
本開示によると、注目領域においてオリジナル映像との同一性を保持した映像データの低遅延配信ができる。
【0021】
［本開示の実施形態の概要］
最初に本開示の実施形態の概要を列記して説明する。
（１）本開示の一実施形態に係る映像伝送システムは、映像データに対して圧縮処理を行い、前記圧縮処理済みの前記映像データを送信する映像送信装置と、前記映像送信装置から前記圧縮処理済みの前記映像データを受信し、受信した前記映像データの伸長処理を行う映像受信装置とを備え、前記映像送信装置は、前記映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行し、前記注目領域に対して前記所定の圧縮処理を実行しない。
最初に本開示の実施形態の概要を列記して説明する。
（１）本開示の一実施形態に係る映像伝送システムは、映像データに対して圧縮処理を行い、前記圧縮処理済みの前記映像データを送信する映像送信装置と、前記映像送信装置から前記圧縮処理済みの前記映像データを受信し、受信した前記映像データの伸長処理を行う映像受信装置とを備え、前記映像送信装置は、前記映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行し、前記注目領域に対して前記所定の圧縮処理を実行しない。
【0022】
この構成によると、映像データの画面内の注目領域に対して所定の圧縮処理を実行せずに、非注目領域に対して所定の圧縮処理を実行した上で、圧縮済みの映像データを送信することができる。このため、注目領域についてはオリジナル映像との同一性が保持される。また、上記所定の圧縮処理は画面内での圧縮処理である。このため、画面間で圧縮処理を行うＨ．２６５などに生じる映像の遅延が生じにくい。よって、映像データの低遅延配信ができる。
【0023】
（２）好ましくは、前記注目領域は、前記画面内でのユーザの視線位置に基づいて定められる。
【0024】
この構成によると、例えば、画面内でのユーザの視線位置の近傍の領域が注目領域とされ、それ以外の領域が非注目領域とされる。このため、ユーザが見ている画面内の領域においてはオリジナル映像との同一性が保持され、ユーザが見ていない領域においては所定の圧縮処理が実行される。よって、画面を見るユーザに違和感を与えることなく、映像データの圧縮及び低遅延配信を行うことができる。
【0025】
（３）さらに好ましくは、前記注目領域は、前記視線位置の所定領域内での持続時間に基づいて、所定時間固定される。
【0026】
この構成によると、ユーザが画面内の所定位置又は所定位置の近傍を注視することにより、注目領域を所定時間固定することが可能となる。ここで、所定位置の近傍とは、例えば、所定位置から所定距離内の位置を示す。これにより、ユーザが、上記の注視を行った後に視線を一瞬そらした場合であっても、注目領域は固定されたままである。よって、その後に、ユーザが元の位置に視線を戻した場合には、即座に、オリジナル映像と同一性が保持された映像を見ることができる。
【0027】
（４）また、前記ユーザの数は複数であり、前記注目領域は、前記ユーザごとに定められてもよい。
【0028】
この構成によると、ユーザごとに、当該ユーザの視線位置に基づいて注目領域が定められる。このため、複数のユーザが同一の画面上の異なる位置を見ていたとしても、それぞれのユーザの視線位置の近傍の領域が注目領域とされ、各注目領域においてオリジナル映像との同一性を保持される。このため、上記複数のユーザに違和感を与えることがない。
【0029】
（５）また、前記映像送信装置は、前記圧縮処理済みの前記映像データの送信状況を示す送信状況情報に応じて前記注目領域のサイズを変化させてもよい。
【0030】
この構成によると、例えば、映像データの伝送レートが低下した場合には、注目領域のサイズを小さくすることにより映像データのサイズを小さくすることができる。これにより、映像データの低遅延配信ができる。
【0031】
（６）また、前記映像データは、移動体に搭載されるカメラにより生成され、前記注目領域は、前記移動体の進行方向に基づいて定められてもよい。
【0032】
この構成によると、移動体の進行方向に基づいて定められる注目領域についてオリジナル映像との同一性を保持した映像データの低遅延配信ができる。これにより、例えば、移動体を安定的に飛行させることができる。
【0033】
（７）また、前記映像データは、外観検査の対象物の像を含み、前記注目領域は、前記対象物の検査箇所を含む領域であってもよい。
【0034】
この構成によると、外観検査の対象物の検査箇所についてオリジナル映像との同一性を保持した映像データの低遅延配信ができる。このため、対象物の外観検査を低遅延で実行することができる。
【0035】
（８）また、前記注目領域は、前記映像データの画面間での輝度値の変化量に基づいて定められてもよい。
【0036】
この構成によると、例えば、画面間で輝度値の変化量が大きい部分を優先的に注目領域とすることができる。これにより、例えば、映像データを監視用途に用いる場合に、不審者を含む領域を注目領域とすることができ、効率的に画像認識処理を行うことができる。
【0037】
（９）また、前記映像受信装置は、前記注目領域を指定するための情報を前記映像送信装置に送信してもよい。
【0038】
この構成によると、指定された領域についてオリジナル映像との同一性を保持した映像データの低遅延配信ができる。例えば、映像データを予め監視対象領域が分かっている監視用途に用いる場合に、監視対象領域をユーザが注目領域として指定することで、効率的に監視処理を行うことができる。
【0039】
（１０）また、前記所定の圧縮処理は、前記非注目領域内の各画素の色深度を削減する処理でもよい。
【0040】
この構成によると、非注目領域内の各画素の色深度を低下させることができるため、映像データの低遅延配信ができる。また、非注目領域は、ユーザの視野の周辺部に相当するため、色深度が低下したとしてもユーザに気づかれにくい。
【0041】
（１１）また、前記画面は複数のブロックに分割されており、前記注目領域および前記非注目領域は、ブロック単位で指定されてもよい。
【0042】
この構成によると、ブロック単位で所定の圧縮処理を実行することができる。これにより、圧縮処理を高速に実行することができる。
【0043】
（１２）また、前記所定の圧縮処理は、前記非注目領域内の各ブロックに対するダウンコンバート処理であってもよい。
【0044】
この構成によると、非注目領域内の解像度を低下させることができるため、映像データの低遅延配信ができる。
【0045】
（１３）また、前記非注目領域は、前記所定の圧縮処理における圧縮率の異なる複数の領域を含み、当該複数の領域の中で前記注目領域に隣接する領域の圧縮率が最も小さくてもよい。
【0046】
この構成によると、非注目領域の内、ユーザの視野の中心部に近い領域ほど圧縮率を低くし、上記中心部から遠い領域ほど圧縮率を高くして圧縮処理を行うことができる。このため、注目領域と非注目領域との境界部分において映像の見え方が急激に変化することを防ぎつつ、映像データの低遅延配信を行うことができる。
【0047】
（１４）本開示の他の実施形態に係る映像送信装置は、映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行する圧縮処理部と、前記所定の圧縮処理後の前記映像データを、映像受信装置に送信する送信部とを備える。
【0048】
この構成によると、映像データの画面内の注目領域に対して所定の圧縮処理を実行せずに、非注目領域に対して所定の圧縮処理を実行した上で、圧縮済みの映像データを送信することができる。このため、注目領域についてはオリジナル映像との同一性が保持される。また、上記所定の圧縮処理は画面内での圧縮処理である。このため、画面間で圧縮処理を行うＨ．２６５などに生じる映像の遅延が生じにくい。よって、映像データの低遅延配信ができる。
【0049】
（１５）本開示の他の実施形態に係る映像受信装置は、映像送信装置から、映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理が実行された映像データを受信する受信部と、前記受信部が受信した前記映像データを伸長する伸長部とを備える。
【0050】
この構成によると、映像データの画面内の注目領域に対して所定の圧縮処理を実行せずに、非注目領域に対して所定の圧縮処理が実行された、圧縮済みの映像データを受信することができる。このため、注目領域についてはオリジナル映像との同一性が保持される。また、非注目領域に対しては画面内での所定の圧縮処理が実行される。このため、画面間で圧縮処理を行うＨ．２６５などに生じる映像の遅延が生じにくい。よって、映像データの低遅延配信ができる。
【0051】
（１６）本開示の他の実施形態に係る映像配信方法は、映像送信装置が、映像データに対して圧縮処理を行い、前記圧縮処理済みの前記映像データを送信するステップと、映像受信装置が、前記映像送信装置から前記圧縮処理済みの前記映像データを受信し、受信した前記映像データの伸長処理を行うステップとを含み、前記映像データを送信するステップにおいて、前記映像送信装置は、前記映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行し、前記注目領域に対して前記所定の圧縮処理を実行しない。
【0052】
この構成には、上述の映像伝送システムが備える特徴的な処理部に対応するステップを含む。このため、この構成によると、上述の映像伝送システムと同様の作用および効果を奏することができる。
【0053】
（１７）本開示の他の実施形態に係る映像送信方法は、映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行するステップと、前記所定の圧縮処理後の前記映像データを、映像受信装置に送信するステップとを含む。
【0054】
この構成には、上述の映像送信装置が備える特徴的な処理部に対応するステップを含む。このため、この構成によると、上述の映像送信装置と同様の作用および効果を奏することができる。
【0055】
（１８）本開示の他の実施形態に係る映像受信方法は、映像送信装置から、映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理が実行された映像データを受信するステップと、受信した前記映像データを伸長するステップとを含む。
【0056】
この構成には、上述の映像受信装置が備える特徴的な処理部に対応するステップを含む。このため、この構成によると、上述の映像受信装置と同様の作用および効果を奏することができる。
【0057】
（１９）本開示の他の実施形態に係るコンピュータプログラムは、コンピュータに、映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理を実行するステップと、前記所定の圧縮処理後の前記映像データを、映像受信装置に送信するステップとを実行させる。
【0058】
この構成によると、コンピュータを、上述の映像送信装置として機能させることができる。このため、上述の映像送信装置と同様の作用および効果を奏することができる。
【0059】
（２０）本開示の他の実施形態に係るコンピュータプログラムは、コンピュータに、映像送信装置から、映像データの画面内の所定の注目領域と、前記画面内の前記注目領域とは異なる所定の非注目領域とのうち、前記非注目領域に対して前記画面内での所定の圧縮処理が実行された映像データを受信するステップと、受信した前記映像データを伸長するステップとを実行させる。
【0060】
この構成によると、コンピュータを、上述の映像受信装置として機能させることができる。このため、上述の映像受信装置と同様の作用および効果を奏することができる。
【0061】
［本開示の実施形態の詳細］
以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下で説明する実施形態は、いずれも本開示の好ましい一具体例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する趣旨ではない。また、以下の実施形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。
以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下で説明する実施形態は、いずれも本開示の好ましい一具体例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する趣旨ではない。また、以下の実施形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。
【0062】
また、同一の構成要素には同一の符号を付す。それらの機能および名称も同様であるため、それらの説明は適宜省略する。
【0063】
［実施形態１］
＜映像伝送システムの全体構成＞
図１は、本開示の実施形態１に係る映像伝送システムの全体構成を示す図である。
図１を参照して、映像伝送システム１００は、カメラ１と、映像送信装置２と、映像受信装置４と、表示装置５とを備える。
＜映像伝送システムの全体構成＞
図１は、本開示の実施形態１に係る映像伝送システムの全体構成を示す図である。
図１を参照して、映像伝送システム１００は、カメラ１と、映像送信装置２と、映像受信装置４と、表示装置５とを備える。
【0064】
カメラ１は、所定の対象を撮像する。カメラ１は、例えば、施設等に設置される監視カメラなどである。なお、カメラ１は、重機やドローンなどの移動体に取り付けられてもよい。
【0065】
カメラ１は、撮影対象の高精細映像を撮影する。映像データには複数の画面が含まれる。例えば、６０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の映像データには、１秒当たり６０枚の画面が含まれる。
【0066】
より詳細には、カメラ１は、例えば、デュアルグリーン方式または４：２：２方式等に従って、８Ｋ ＵＨＤＴＶの解像度を有する撮影対象物の映像データを生成する。この映像データには、画面ごとの画像データが含まれる。
【0067】
デュアルグリーン方式に従って生成された６０ｆｐｓの映像データの伝送レートは、例えば２３．８９Ｇｂｐｓまたは１９．９１Ｇｂｐｓである。また、４：２：２方式に従って生成された映像データの伝送レートは、例えば４７．７８Ｇｂｐｓまたは３９．８１Ｇｂｐｓである。
【0068】
映像送信装置２は、カメラ１が撮影した映像データを、ネットワーク３を介して映像受信装置４に送信する。
【0069】
映像受信装置４は、映像送信装置２から映像データを受信し、受信した映像データを表示装置５に表示する。
【0070】
＜映像送信装置２の構成＞
図２は、本開示の実施形態１に係る映像送信装置２の構成を示すブロック図である。
図２は、本開示の実施形態１に係る映像送信装置２の構成を示すブロック図である。
【0071】
図２を参照して、映像送信装置２は、ブロック分割部２１と、バッファ部２２と、差分部２３と、領域決定部２４と、領域指定部２５と、ダウンコンバート部２６と、映像整列部２７と、映像圧縮部２８と、圧縮映像整列部２９と、送信部３０とを備える。
【0072】
映像送信装置２の一部または全部は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路等を含むハードウェアにより実現される。
【0073】
なお、映像送信装置２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備えるコンピュータにより実現することもできる。ＣＰＵ等の演算処理装置上でコンピュータプログラムを実行することにより、各処理部は機能的な構成要素として実現される。
【0074】
ブロック分割部２１は、通信インタフェースを含んで構成され、カメラ１が撮像した映像データを構成する画面（以下、「画像データ」ともいう）を受け、画像データを所定サイズの小ブロックに分割する処理部である。
【0075】
図３は、画像データの一例を示す図である。画像データ１０は、例えば、空中を飛行する飛行機１１の像を示している。
【0076】
図４は、図３に示した画像データ１０を小ブロックに分割した後の画像データ１０の一例を示す図である。図４に示すように、画像データ１０は、左右および上下に規則的に配列された小ブロック１２に分割される。なお、小ブロック１２の個数は図示したものに限定されるものではない。
【0077】
なお、ブロック分割部２１は、カメラ１から受信した映像データをバッファ部２２に一時的に記憶させる。
【0078】
ブロック分割部２１は、所定の順序に従って、小ブロック１２を差分部２３および領域指定部２５に出力する。
【0079】
図５は、ブロック分割部２１から差分部２３および領域指定部２５への小ブロック１２の出力順序を説明するための図である。図５に示すように、画像データ１０は、左右および上下に規則的に配列された大ブロック１４に分割される。各大ブロック１４は、２×２個の小ブロック１２から構成される。ブロック分割部２１は、画像データ１０において、処理対象の大ブロック１４を左上の大ブロック１４Ａから右下の大ブロック１４Ｚまでラスター順で走査する。また、ブロック分割部２１は、各大ブロック１４において、処理対象の小ブロック１２を左上から右下までラスター順で走査して、小ブロック１２を出力する。例えば、ブロック分割部２１は、大ブロック１４Ｚにおいて、小ブロック１２Ａ→小ブロック１２Ｂ→小ブロック１２Ｃ→小ブロック１２Ｄの順に走査し、各小ブロック１２を差分部２３および領域指定部２５に出力する。なお、大ブロック１４を構成する小ブロック１２の個数は上述したものには限定されない。例えば、大ブロック１４が３×３個の小ブロック１２から構成されていてもよい。
【0080】
差分部２３は、ブロック分割部２１から小ブロック１２を順番に受け、受けた順に小ブロック１２の差分処理を行う。具体的には、差分部２３は、ブロック分割部２１から受けた圧縮対象の画像データの小ブロック１２と、当該画像データの所定フレーム前（例えば、１フレーム前）の画像データの同一ブロック位置の小ブロック１２との差分処理を行う。
【0081】
図６は、差分処理を説明するための図である。図６は、映像データを構成する画像データ１０の時間的な並びを示しており、フレーム１からフレーム３までの時間的に連続する３枚の画像データ１０の並びを示している。フレーム１の画像データ１０が最も時間的に古く、フレーム３の画像データ１０が時間的に最も新しい。差分部２３は、ブロック分割部２１から圧縮対象のフレーム３の画像データ１０中の小ブロック１２を受けたとする。差分部２３は、バッファ部２２に記憶されている１フレーム前のフレーム２の画像データ１０から、ブロック分割部２１から受けたのと同じ位置の小ブロック１２を読み出す。差分部２３は、フレームの異なる同位置の２つの小ブロック１２間で画素ごとに輝度値の差分を計算する。
【0082】
例えば、小ブロック１２のサイズはｍ×ｎ画素であり、小ブロック１２の各画素の輝度値をＩ（ｔ，ｉ，ｊ）で表すものとする。ここで、ｔはフレーム番号であり、（ｉ，ｊ）は小ブロック１２内の座標を表し、１≦ｉ≦ｍ、１≦ｊ≦ｎである。
【0083】
フレーム番号ｔおよびｔ－１の小ブロック１２間の差分ｓｕｂは、以下の式１により表される。ここで、ｔは圧縮対象のフレームの番号である。また、Ｌは輝度階調数（輝度値が８ビットの場合は２５６）である。
【0084】
【数1】
【0085】
なお、差分処理は隣接するフレーム間で行うものには限定されない。例えば、フレーム１の画像データ１０と、フレーム１と２フレーム離れたフレーム３の画像データ１０との間で差分処理を行ってもよい。
【0086】
領域決定部２４は、差分部２３から小ブロック１２間の差分ｓｕｂを受け、差分ｓｕｂと所定の閾値Ｔｓｕｂとを比較することにより、着目している小ブロック１２を注目領域とするか非注目領域とするかを決定する。具体的には、以下の式２を満たす場合には小ブロック１２を注目領域と決定し、満たさない場合には非注目領域と決定する。つまり、領域決定部２４は、フレーム間で輝度値の変化の大きい小ブロック１２を注目領域と決定し、輝度値の変化の小さい小ブロック１２を非注目領域と決定する。
ｓｕｂ＞＝Ｔｓｕｂ …（式２）
ｓｕｂ＞＝Ｔｓｕｂ …（式２）
【0087】
領域決定部２４は、注目領域または非注目領域の決定結果をブロック情報とし、ブロック情報と、画像データ１０上での小ブロック１２の位置情報とを合わせて領域指定部２５および映像整列部２７に出力する。ブロック分割部２１から差分部２３に出力される小ブロック１２の出力順序は、上述したように事前に決定されている。このため、小ブロック１２の位置情報は、出力順序に基づいて決定される。小ブロック１２の位置は、画像データ１０上での小ブロック１２の位置が特定できる情報であれば限定されるものではなく、例えば、画像データ１０上での小ブロック１２の左上隅座標であってもよいし、小ブロック１２の出力順序であってもよい。
【0088】
領域指定部２５は、領域決定部２４から受け取った小ブロック１２のブロック情報に基づいて、ブロック分割部２１から受け取った小ブロック１２をダウンコンバート部２６または映像整列部２７に出力する。
【0089】
次に、領域指定部２５による小ブロック１２の出力処理について説明する。図７は、領域決定部２４により決定された１画面分（画像データ１０）のブロック情報を示す図である。
【0090】
Ｂとのみ記載された大ブロック１４（例えば、大ブロック１４Ｂ～１４Ｄ）は、大ブロック１４に含まれる全て（４つ）の小ブロック１２がいずれも非注目領域（以下、「ブロックＢ」ともいう）であることを示す。
【0091】
一方、４つの小ブロック１２に分割されている大ブロック１４（例えば、大ブロック１４Ｅ～１４Ｉ）は、注目領域（以下、「ブロックＡ」ともいう）のみからなる大ブロック１４またはブロックＡおよびＢが混在した大ブロック１４を示す。例えば、大ブロック１４Ｅは、ブロックＡおよびＢが混在した４つの小ブロック１２Ｐ～１２Ｓからなる。また、大ブロック１４Ｆは、ブロックＡのみの４つの小ブロック１２からなる。
【0092】
領域指定部２５は、大ブロック１４の中にブロックＡが１つでも含まれる場合には、その大ブロック１４に含まれる全ての小ブロック１２を映像整列部２７に出力する。例えば、図７に示す小ブロック１２ＳはブロックＡと決定される。このため、領域指定部２５は、小ブロック１２Ｓが属する大ブロック１４Ｅに含まれる全ての小ブロック１２Ｐ～１２Ｓを映像整列部２７に出力する。
【0093】
一方、領域指定部２５は、大ブロック１４の中の小ブロック１２が全てブロックＢの場合には、その大ブロック１４に含まれる全ての小ブロック１２をダウンコンバート部２６に出力する。例えば、図７に示す大ブロック１４Ｂ中の小ブロック１２は全てブロックＢである。このため、領域指定部２５は、大ブロック１４Ｂに含まれる全ての小ブロック１２をダウンコンバート部２６に出力する。
【0094】
ダウンコンバート部２６は、所定の前処理としての圧縮処理を実行する圧縮処理部として機能し、前処理圧縮処理として、領域指定部２５から受けた小ブロック１２のサイズを縮小するダウンコンバート処理を行う。
【0095】
図８は、ダウンコンバート処理の一例を示す図である。例えば、ダウンコンバート部２６は、領域指定部２５から処理対象の大ブロック１４に含まれる４つの小ブロック１２を受け取る。ダウンコンバート部２６は、大ブロック１４を縦横それぞれ１／２に縮小するダウンコンバート処理を実行し、縮小ブロック１６（以下、「ブロックＣ」ともいう）を生成する。ダウンコンバート部２６は、生成した縮小ブロック１６を映像整列部２７に出力する。
【0096】
映像整列部２７は、領域指定部２５またはダウンコンバート部２６から小ブロック１２または縮小ブロック１６を受け、領域指定部２５からの出力に対応した順に整列して出力する。また、映像整列部２７は、小ブロック１２または縮小ブロック１６の位置情報およびブロック情報を圧縮映像整列部２９に出力する。
【0097】
以下では、領域指定部２５、ダウンコンバート部２６および映像整列部２７が実行する処理について説明する。図９は、一例として、図７の画像データ１０における大ブロック１４Ｂ～１４Ｄに対する処理を説明するための図である。図１０は、一例として、図７の画像データ１０における大ブロック１４Ｅ～１４Ｇに対する処理を説明するための図である。
【0098】
【0099】
図９を参照して、領域指定部２５は、大ブロック１４Ｂに含まれる４つの小ブロック１２をラスター順にブロック分割部２１から順次受ける。また、領域指定部２５は、領域決定部２４から４つの小ブロック１２のブロック情報をラスター順に受ける。領域指定部２５は、ブロック情報から４つの小ブロック１２が全てブロックＢであることを判定する。このため、領域指定部２５は、４つのブロックＢをダウンコンバート部２６に出力する。ダウンコンバート部２６は、領域指定部２５から４つのブロックＢを受け、これらのブロックＢに対してダウンコンバート処理を実行することにより、縮小ブロック１６（ブロックＣ）を生成する。ダウンコンバート部２６は、生成したブロックＣを映像整列部２７に出力する。
【0100】
映像整列部２７は、ダウンコンバート部２６から受けた縮小ブロック１６を、受けた順に映像圧縮部２８に出力する。また、映像整列部２７は、縮小ブロック１６の位置情報およびブロック情報を圧縮映像整列部２９に出力する。縮小ブロック１６の位置情報は、縮小ブロック１６の生成の元となった大ブロック１４Ｂに含まれるいずれか（例えば、左上隅）の小ブロック１２の位置情報である。縮小ブロック１６のブロック情報は、縮小ブロック１６が小ブロック１２をダウンコンバート処理することにより生成されたことを示す情報（例えば、ブロックＣを示す情報）である。
【0101】
領域指定部２５、ダウンコンバート部２６および映像整列部２７は、大ブロック１４Ｃおよび大ブロック１４Ｄについても同様の処理を順次実行する。
【0102】
図１０を参照して、領域指定部２５は、大ブロック１４Ｅに含まれる４つの小ブロック１２Ｐ～１２Ｓをラスター順にブロック分割部２１から順次受ける。また、領域指定部２５は、領域決定部２４から４つの小ブロック１２Ｐ～１２Ｓのブロック情報をラスター順に受ける。領域指定部２５は、ブロック情報から４つの小ブロック１２の中にブロックＡである小ブロック１２Ｓが含まれることを判定する。このため、領域指定部２５は、４つの小ブロック１２Ｐ～１２Ｓをラスター順で映像整列部２７に出力する。
【0103】
映像整列部２７は、領域指定部２５から受けた小ブロック１２Ｐ～１２Ｓを、受けた順に映像圧縮部２８に出力する。また、映像整列部２７は、小ブロック１２Ｐ～１２Ｓの位置情報およびブロック情報を圧縮映像整列部２９に出力する。小ブロック１２Ｐ～１２Ｓの位置情報およびブロック情報は、領域決定部２４から受けたものと同じである。
【0104】
領域指定部２５は、大ブロック１４Ｆおよび１４Ｇについても同様の処理を順次実行する。
【0105】
映像圧縮部２８は、映像整列部２７から、小ブロック１２（ブロックＡ、Ｂ）または縮小ブロック１６（ブロックＣ）を受ける。映像圧縮部２８は、受けたブロックの順に、ブロックに対して、映像全体としての映像圧縮処理を実行し、圧縮済みブロックを圧縮映像整列部２９に出力する。映像圧縮処理は、可逆圧縮処理または非可逆圧縮処理である。可逆圧縮処理とは、圧縮後のブロックを圧縮前のブロックに戻すことが可能なように圧縮する処理であり、一般に圧縮率が低く、画像により圧縮率が大きく変動する。具体的には、雑音に近い画像の圧縮率は低い。一方、シャープな画像の圧縮率は高い。一方、非可逆圧縮処理は、圧縮後のブロックを圧縮前のブロックに戻すことが不可能なように圧縮する処理である。ただし、Ｖｉｓｕａｌｌｙ Ｌｏｓｓｌｅｓｓ ＣｏｍｐｒｅｓｓｉｏｎまたはＶｉｓｕａｌｌｙ Ｒｅｖｅｒｓｉｂｌｅ Ｃｏｍｐｒｅｓｓｉｏｎと呼ばれるアルゴリズムを用いた非可逆圧縮処理は、視覚的な可逆性を有する圧縮方法である。このため、本実施形態では、例えば、映像圧縮部２８は、Ｖｉｓｕａｌｌｙ Ｒｅｖｅｒｓｉｂｌｅ
Ｃｏｍｐｒｅｓｓｉｏｎに基づく非可逆圧縮処理を行う。
Ｃｏｍｐｒｅｓｓｉｏｎに基づく非可逆圧縮処理を行う。
【0106】
圧縮映像整列部２９は、映像圧縮部２８から圧縮済みブロックを受ける。圧縮映像整列部２９は、受けたブロックの順に、ブロックに映像整列部２７から取得した位置情報およびブロック情報を付加して送信部３０に出力する。
【0107】
送信部３０は、通信インタフェースを含んで構成され、位置情報およびブロック情報が付加された圧縮済みブロックを符号化して圧縮済み映像データとして映像受信装置４に送信する。
【0108】
＜映像受信装置４の構成＞
図１１は、本開示の実施形態１に係る映像受信装置４の構成を示すブロック図である。
図１１は、本開示の実施形態１に係る映像受信装置４の構成を示すブロック図である。
【0109】
図１１を参照して、映像受信装置４は、受信部４１と、情報抽出部４２と、映像伸長部４４と、映像整列部４５と、アップコンバート部４６と、映像合成部４７とを備える。
【0110】
映像受信装置４の一部または全部は、ＡＳＩＣまたはＦＰＧＡ等の集積回路等を含むハードウェアにより実現される。
【0111】
なお、映像受信装置４は、ＣＰＵ、ＲＡＭおよびＲＯＭ等を備えるコンピュータにより実現することもできる。ＣＰＵ等の演算処理装置上でコンピュータプログラムを実行することにより、各処理部は機能的な構成要素として実現される。
【0112】
受信部４１は、通信インタフェースを含んで構成される。受信部４１は、映像送信装置２から、１画面分の圧縮済み映像データを受信し、受信したデータを復号化する。復号化後のデータは、位置情報およびブロック情報が付加された圧縮済みブロックを含む。受信部４１は、圧縮済みブロックを情報抽出部４２および映像伸長部４４に順次出力する。
【0113】
情報抽出部４２は、受信部４１から圧縮済みブロックを受ける。情報抽出部４２は、当該ブロックから位置情報およびブロック情報を抽出し、映像整列部４５および映像合成部４７に出力する。
【0114】
映像伸長部４４は、受信部４１から圧縮済みブロックを順次受ける。映像伸長部４４は、受けた順に圧縮済みブロックに対して映像伸長処理を実行し、伸長後のブロックを映像整列部４５に出力する。映像伸長処理は、可逆伸長処理または非可逆伸長処理である。映像伸長部４４は、映像送信装置２の映像圧縮部２８の圧縮処理に対応した伸長処理を実行する。つまり、映像伸長部４４は、映像圧縮部２８が可逆圧縮処理を実行した場合には、その処理に対応した可逆伸長処理を実行し、映像圧縮部２８が非可逆圧縮処理を実行した場合には、その処理に対応した非可逆伸長処理を実行する。
【0115】
映像整列部４５は、映像伸長部４４から伸長済みブロックを順次受ける。また、映像整列部４５は、情報抽出部４２から伸長済みブロックの位置情報およびブロック情報を受ける。映像整列部４５は、位置情報に基づいて伸長済みブロックを整列する。つまり、映像整列部４５は、ラスター順に伸長済みブロックを整列する。映像整列部４５は、ブロック情報に基づいて、伸長済みブロックの種類を判断する。映像整列部４５は、伸長済みブロックがブロックＡまたはブロックＢの場合には、当該ブロックを映像合成部４７に出力する。映像整列部４５は、伸長済みブロックがブロックＣの場合には、当該ブロックをアップコンバート部４６に出力する。
【0116】
アップコンバート部４６は、映像整列部４５からブロックＣを受け、ブロックＣを縦横それぞれ２倍に拡大するアップコンバート処理を実行する。つまり、アップコンバート部４６は、ブロックＣを高解像度化する処理を行う。アップコンバート部４６は生成したアップコンバート済みブロックを映像合成部４７に出力する。
【0117】
映像合成部４７は、映像整列部４５またはアップコンバート部４６からブロックを受け、情報抽出部４２からブロックの位置情報を受ける。映像合成部４７は、各ブロックを位置情報が示す位置に配置することにより画像データを合成する。映像合成部４７は、映像データを表示装置５に順次出力することにより、映像データを表示装置５に出力する。
【0118】
次に、映像整列部４５、アップコンバート部４６および映像合成部４７が実行する処理について具体例を挙げて説明する。図１２は、圧縮済み映像データの一例を示す図である。図１２は、図７に示す画像データ１０を圧縮した１画面分のデータを示している。
【0119】
図７の画像データ１０の１行目の大ブロック１４は全てＢブロックから構成される。このため、図１２に示す圧縮済み映像データの１行目は全てＣブロックから構成される。画像データ１０の４行目および５行目についても同様である。
【0120】
画像データ１０の２行目の最初の３つの大ブロック１４は全てＢブロックから構成される。このため、圧縮済み映像データの２行目の最初の３つはＣブロックから構成される。画像データ１０の２行目の４つ目の大ブロック１４Ｈと５つ目の大ブロック１４Ｉとは１以上のＡブロックを含む。このため、圧縮済み映像データの２行目の４つ目から１１個目までは大ブロック１４Ｈおよび１４Ｉに含まれる小ブロック１２と同じである。画像データ１０の２行目の６つ目から８つ目の大ブロック１４は全てＢブロックから構成される。このため、圧縮済み映像データの２行目の最後の３つはＣブロックから構成される。
【0121】
圧縮済み映像データの３行目についても、画像データ１０の３行目と対応するように同様に構成される。
【0122】
映像整列部４５は、図１２に示す圧縮済み映像データを伸長した映像データを構成するブロックを、図１２に示す位置順に受ける。つまり、映像整列部４５は、左上のブロックＣから右下のブロックＣまでラスター順でブロックを受ける。
【0123】
映像整列部４５は、ブロックＣを受けた場合にはアップコンバート部４６に出力する。アップコンバート部４６は、ブロックＣをアップコンバートして映像合成部４７に出力する。映像整列部４５は、ブロックＡまたはＢを受けた場合には映像合成部４７に出力する。
【0124】
映像合成部４７は、映像整列部４５から受けたブロックＡまたはＢと、アップコンバート部４６から受けたアップコンバート後のブロックＣとを合成することにより、図７に示すブロックの並びの画像データ１０を生成する。
【0125】
＜映像伝送システム１００の処理フロー＞
図１３は、映像伝送システム１００による処理手順の一例を示すシーケンス図である。
図１３は、映像伝送システム１００による処理手順の一例を示すシーケンス図である。
【0126】
図１３を参照して、映像送信装置２は、カメラ１から映像データを取得する（Ｓ１）。
【0127】
映像送信装置２は、取得した映像データに対し、映像データを構成する画像データごとに圧縮処理を実行する（Ｓ２）。圧縮処理の詳細については後述する。
映像送信装置２は、圧縮済み映像データを符号化する（Ｓ３）。
映像送信装置２は、圧縮済み映像データを符号化する（Ｓ３）。
【0128】
映像送信装置２は、符号化された圧縮済み映像データを映像受信装置４に送信し、映像受信装置４は当該データを受信する（Ｓ４）。
映像受信装置４は、受信した圧縮済み映像データを復号化する（Ｓ５）。
映像受信装置４は、受信した圧縮済み映像データを復号化する（Ｓ５）。
【0129】
映像受信装置４は、圧縮済み映像データを画面ごとに伸長処理する（Ｓ６）。伸長処理の詳細については後述する。
映像受信装置４は、伸長された映像データを表示装置５に出力する（Ｓ７）。
映像受信装置４は、伸長された映像データを表示装置５に出力する（Ｓ７）。
【0130】
【0131】
ブロック分割部２１は、画像データを所定サイズの小ブロック１２に分割する（Ｓ１１）。これにより、図４に示すように画像データ１０が小ブロック１２に分割される。
【0132】
映像送信装置２は、図５に示すラスター順の大ブロック１４単位で、後述するループＢおよびステップＳ１７～Ｓ２１を繰り返し実行する（ループＡ）。
【0133】
映像送信装置２は、各大ブロック１４について、ラスター順の小ブロック１２単位で、後述するステップＳ１２～Ｓ１６を繰り返し実行する（ループＢ）。
【0134】
つまり、差分部２３は、式１に従ってフレーム間で小ブロック１２の差分ｓｕｂを算出する（Ｓ１２）。
【0135】
領域決定部２４は、式２に従って差分ｓｕｂと閾値Ｔｓｕｂとの比較を行う（Ｓ１３）。
【0136】
領域決定部２４は、式２を満たす場合（Ｓ１３でＹＥＳ）、小ブロック１２をブロックＡと決定し、小ブロック１２のブロック情報および位置情報を領域指定部２５および映像整列部２７に出力する（Ｓ１４）。領域決定部２４は、式２を満たさない場合には（Ｓ１３でＮＯ）、小ブロック１２をブロックＢと決定し、小ブロック１２のブロック情報および位置情報を領域指定部２５および映像整列部２７に出力する（Ｓ１５）。
【0137】
領域指定部２５は、種類が決定された小ブロック１２をバッファ部２２にバッファリングする（Ｓ１６）。
【0138】
ループＢの処理後、領域指定部２５は、領域決定部２４から受け取った小ブロック１２のブロック情報に基づいて、大ブロック１４中にブロックＡが含まれるか否かを判断する（Ｓ１７）。ブロックＡが含まれる場合には（Ｓ１７でＹＥＳ）、領域指定部２５は、バッファ部２２にバッファリングされた大ブロック１４に含まれる４つの小ブロック１２を映像整列部２７に出力する（Ｓ１８）。
【0139】
ブロックＡが含まれない場合には（Ｓ１７でＮＯ）、領域指定部２５は、バッファ部２２にバッファリングされた大ブロック１４に含まれる４つの小ブロック１２をダウンコンバート部２６に出力する。ダウンコンバート部２６は、４つの小ブロック１２をダウンコンバートして縮小ブロック１６を映像整列部２７に出力する（Ｓ１９）。
【0140】
映像整列部２７は、領域指定部２５またはダウンコンバート部２６から受けた小ブロック１２または縮小ブロック１６を映像圧縮部２８に出力し、映像圧縮部２８が当該ブロックに映像圧縮処理を実行する（Ｓ２０）。
【0141】
圧縮映像整列部２９は、圧縮済みブロックに対して位置情報およびブロック情報を付加して、送信部３０に出力する（Ｓ２１）。
【0142】
【0143】
映像受信装置４は、圧縮済み映像データを構成する圧縮済みブロック単位で以下のステップＳ４２～Ｓ４８を繰り返し実行する（ループＣ）。
【0144】
情報抽出部４２は、圧縮済みブロックから位置情報およびブロック情報を抽出し、映像整列部４５および映像合成部４７に出力する（Ｓ４２）。
【0145】
映像伸長部４４は、圧縮済みブロックに対して映像伸長処理を実行し、伸長後のブロックを映像整列部４５に出力する（Ｓ４４）。
【0146】
映像整列部４５は、伸長済みブロックがブロックＣか否かを判断する（Ｓ４５）。ブロックＣの場合には（Ｓ４５でＹＥＳ）、映像整列部４５は当該ブロックをアップコンバート部４６に出力し、アップコンバート部４６は、ブロックＣをアップコンバートし、アップコンバート済みブロックを映像合成部４７に出力する（Ｓ４６）。
【0147】
伸長済みブロックがブロックＡまたはブロックＢの場合には（Ｓ４５でＮＯ）、映像整列部４５は、当該ブロックを映像合成部４７に出力する（Ｓ４７）。
【0148】
映像合成部４７は、映像整列部４５またはアップコンバート部４６からブロックを受け、各ブロックを位置情報が示す位置に配置することにより画像データを合成する（Ｓ４８）。
【0149】
＜実施形態１の効果等＞
以上説明したように、本開示の実施形態１によると、映像データの画面内の注目領域に対してダウンコンバート処理を実行せずに、非注目領域に対してダウンコンバート処理を実行した上で、圧縮済みの映像データを送信することができる。このため、注目領域についてはオリジナル映像との同一性が保持される。また、非注目領域に対しては画面内でのダウンコンバート処理が実行される。このため、画面間で圧縮処理を行うＨ．２６５などに生じる映像の遅延が生じにくい。よって、映像データの低遅延配信ができる。
以上説明したように、本開示の実施形態１によると、映像データの画面内の注目領域に対してダウンコンバート処理を実行せずに、非注目領域に対してダウンコンバート処理を実行した上で、圧縮済みの映像データを送信することができる。このため、注目領域についてはオリジナル映像との同一性が保持される。また、非注目領域に対しては画面内でのダウンコンバート処理が実行される。このため、画面間で圧縮処理を行うＨ．２６５などに生じる映像の遅延が生じにくい。よって、映像データの低遅延配信ができる。
【0150】
また、注目領域および非注目領域は、ブロック単位で指定される。このため、ブロック単位でダウンコンバート処理を実行することができる。これにより、圧縮処理を高速に実行することができる。
【0151】
なお、実施形態１では、大ブロック１４中のすべての小ブロック１２がＢブロックの場合に、大ブロック１４をダウンコンバートすることとしたが、大ブロック１４中に１つでもＢブロックが含まれている場合には、大ブロック１４をダウンコンバートすることとしてもよい。
【0152】
［実施形態２］
実施形態１では、１つの大ブロック１４中にＡブロックおよびＢブロックが混在する場合には、大ブロック１４中の小ブロック１２をダウンコンバートしないこととした。これに対し、実施形態２では、このような大ブロック１４について、ダウンコンバートしないＡブロックと、大ブロック１４をダウンコンバートしたＣブロックとを含む圧縮済み映像データを生成する映像伝送システム１００について説明する。
実施形態１では、１つの大ブロック１４中にＡブロックおよびＢブロックが混在する場合には、大ブロック１４中の小ブロック１２をダウンコンバートしないこととした。これに対し、実施形態２では、このような大ブロック１４について、ダウンコンバートしないＡブロックと、大ブロック１４をダウンコンバートしたＣブロックとを含む圧縮済み映像データを生成する映像伝送システム１００について説明する。
【0153】
映像伝送システム１００の構成は実施形態１と同様である。
また、映像伝送システム１００による処理手順は実施形態１と同様である。ただし、圧縮処理（図１３のステップＳ２）が実施形態１とは異なる。
また、映像伝送システム１００による処理手順は実施形態１と同様である。ただし、圧縮処理（図１３のステップＳ２）が実施形態１とは異なる。
【0154】
【0155】
ステップＳ１４の処理の後、領域指定部２５は、ブロックＡを映像整列部２７に出力する（Ｓ３１）。
【0156】
また、ループＢの処理後、領域指定部２５は、領域決定部２４から受け取った小ブロック１２のブロック情報に基づいて、大ブロック１４中にブロックＢが含まれるか否かを判断する（Ｓ３２）。ブロックＢが含まれる場合には（Ｓ３２でＹＥＳ）、領域指定部２５は、バッファ部２２にバッファリングされた大ブロック１４に含まれる４つの小ブロック１２をダウンコンバート部２６に出力する。ダウンコンバート部２６は、４つの小ブロック１２をダウンコンバートして縮小ブロック１６を映像整列部２７に出力する（Ｓ３３）。
【0157】
以下では、領域指定部２５、ダウンコンバート部２６および映像整列部２７が実行する処理について説明する。図１７は、一例として、図７の画像データ１０における大ブロック１４Ｅ～１４Ｇに対する処理を説明するための図である。図１７の上段は、領域指定部２５から出力される小ブロック１２の順序を示し、図１７の下段は映像整列部２７に入力される小ブロック１２の順序を示す。
【0158】
図１７を参照して、領域指定部２５は、大ブロック１４Ｅに含まれる４つの小ブロック１２Ｐ～１２Ｓをラスター順にブロック分割部２１から順次受ける。また、領域指定部２５は、領域決定部２４から４つの小ブロック１２Ｐ～１２Ｓのブロック情報をラスター順に受ける。領域指定部２５は、ブロックＡの小ブロック１２Ｓが含まれることを判定し、小ブロック１２Ｓを映像整列部２７に出力する。また、領域指定部２５は、４つの小ブロック１２の中にブロックＢが含まれることを判定する。このため、領域指定部２５は、小ブロック１２Ｐ～１２Ｓをラスター順でダウンコンバート部２６に出力する。ダウンコンバート部２６は、小ブロック１２Ｐ～１２Ｓを受け、これらの小ブロックに対してダウンコンバート処理を実行することにより、縮小ブロック１６（ブロックＣ）を生成する。ダウンコンバート部２６は、生成したブロックＣを映像整列部２７に出力する。
【0159】
映像整列部２７は、領域指定部２５から受けた縮小ブロック１６を、受けた順に映像圧縮部２８に出力する。また、映像整列部２７は、縮小ブロック１６の位置情報およびブロック情報を圧縮映像整列部２９に出力する。縮小ブロック１６の位置情報およびブロック情報は、領域決定部２４から受けたものと同じである。
【0160】
領域指定部２５は、大ブロック１４Ｆおよび１４Ｇについても同様の処理を順次実行する。
【0161】
伸長処理（図１３のステップＳ６）の流れは、図１５に示したものと同様である。ただし、画像データ合成処理（図１５のステップＳ４８）が一部異なる。つまり、図１７に示したように、実施形態２では１つの大ブロック１４Ｅについて、ＡブロックおよびＣブロックが生成される場合がある。このため、ＡブロックとＣブロックをアップコンバートしたブロックとは領域が一部重なり合う。このため、映像合成部４７は、Ａブロックを配置した後に、アップコンバート済みブロックをＡブロックの位置に配置する際には、Ａブロックを残し、アップコンバート済みブロックをＡブロックの領域を除いて配置する。これにより、Ａブロックがアップコンバート済みブロックで上書きされるのを防止する。
【0162】
［実施形態３］
実施形態１または実施形態２では、小ブロック１２を注目領域とするか非注目領域とするかを判定するための差分ｓｕｂの閾値Ｔｓｕｂを固定としたが、閾値Ｔｓｕｂを可変とすることもできる。実施形態３では、圧縮済み映像データの伝送状況に応じて閾値Ｔｓｕｂを変化させる例について説明する。つまり、伝送状況が悪化した場合には閾値Ｔｓｕｂを大きくすることにより注目領域の個数を減らし、これにより、圧縮済み映像データのデータサイズを削減する。
実施形態１または実施形態２では、小ブロック１２を注目領域とするか非注目領域とするかを判定するための差分ｓｕｂの閾値Ｔｓｕｂを固定としたが、閾値Ｔｓｕｂを可変とすることもできる。実施形態３では、圧縮済み映像データの伝送状況に応じて閾値Ｔｓｕｂを変化させる例について説明する。つまり、伝送状況が悪化した場合には閾値Ｔｓｕｂを大きくすることにより注目領域の個数を減らし、これにより、圧縮済み映像データのデータサイズを削減する。
【0163】
映像伝送システム１００の構成は実施形態１と同様である。
また、映像伝送システム１００による処理手順は実施形態１と同様である。ただし、圧縮処理（図１３のステップＳ２）が実施形態１とは異なる。
また、映像伝送システム１００による処理手順は実施形態１と同様である。ただし、圧縮処理（図１３のステップＳ２）が実施形態１とは異なる。
【0164】
【0165】
ステップＳ１２の処理の後、領域決定部２４は、バッファ部２２に蓄積されている未処理のバッファデータ量が閾値Ｔｄａｔａ１よりも大きいか否かを判断する（Ｓ３３）。なお、ブロック分割部２１は、バッファ部２２にカメラ１から受信した映像データを順次記憶させるが、映像送信装置２から映像受信装置４への圧縮済み映像データの伝送に遅延が発生すると、バッファ部２２の未処理のバッファデータ量が増加することとなる。つまり、未処理のバッファデータ量が、映像データの送信状況を示す送信状況情報としての役割を果たす。
【0166】
未処理のバッファデータ量がＴｄａｔａ１よりも大きい場合には（Ｓ３３でＹＥＳ）、領域決定部２４は閾値Ｔｓｕｂをα（正の定数）だけ大きくする。これにより、注目領域を生成されにくくすることができる。
【0167】
未処理のバッファデータ量がＴｄａｔａ１以下の場合には（Ｓ３３でＮＯ）領域決定部２４は、未処理のバッファデータ量が閾値Ｔｄａｔａ２以下か否かを判断する（Ｓ３５）。ここで、Ｔｄａｔａ２はＴｄａｔａ１以下の値である。未処理のバッファデータ量が閾値Ｔｄａｔａ２以下の場合には（Ｓ３５でＹＥＳ）、ブロック分割部２１は閾値Ｔｓｕｂをβ（正の定数）だけ小さくする。これにより、注目領域を生成されやすくすることができる。
なお、αとβは同一であってもよいし、異なっていてもよい。
なお、αとβは同一であってもよいし、異なっていてもよい。
【0168】
未処理のバッファデータ量が閾値Ｔｄａｔａ２よりも大きい場合（Ｓ３５でＮＯ）、またはＳ３４もしくはＳ３６の処理の後、ステップＳ１３以降の処理が実行される。
【0169】
実施形態３によると、未処理のバッファデータ量が増加した場合に注目領域と判定される小ブロック１２の個数を減少させることができる。映像データの伝送レートが低下すると未処理のバッファデータ量が増加する。つまり、実施形態２によると、映像データの伝送レートが低下した場合に注目領域のサイズを小さくすることにより伝送される映像データのサイズを小さくすることができる。これにより、映像データの低遅延配信ができる。
【0170】
［実施形態４］
実施形態１から実施形態３では小ブロック１２間の差分ｓｕｂに基づいて注目領域を決定した。実施形態４では、ユーザが注目領域を指定する。
実施形態１から実施形態３では小ブロック１２間の差分ｓｕｂに基づいて注目領域を決定した。実施形態４では、ユーザが注目領域を指定する。
【0171】
映像伝送システム１００の構成は実施形態１と同様である。ただし、映像送信装置２および映像受信装置４の構成が実施形態１とは一部異なる。
【0172】
図１９は、本開示の実施形態４に係る映像送信装置２の構成を示すブロック図である。
【0173】
図１９を参照して、実施形態４に係る映像送信装置２は、ブロック分割部２１と、バッファ部２２と、領域指定部２５と、ダウンコンバート部２６と、映像整列部２７と、映像圧縮部２８と、圧縮映像整列部２９と、送信部３０と、受信部３１とを備える。処理部２１、２２及び２５～３０は、図２に示したものと同様である。
【0174】
受信部３１は、映像受信装置４から注目領域情報を受信する。注目領域情報は、映像データの画面中における注目領域の位置を示す情報である。注目領域情報は、例えば、注目領域の左上隅座標を含んでいてもよいし、小ブロック１２の位置に対応付けられた番号であってもよい。なお、注目領域情報は、注目領域の位置情報の代わりに非注目領域の位置情報を含んでいてもよい。また、注目領域情報は、注目領域の位置情報および非注目領域の位置情報の両方を含んでいてもよい。
【0175】
領域指定部２５は、受信部３１が受信した注目領域情報に基づいて、ブロック分割部２１が分割した小ブロック１２をダウンコンバート部２６または映像整列部２７に出力する。つまり、領域指定部２５は、注目領域の小ブロック１２を映像整列部２７に出力し、非注目領域の小ブロック１２をダウンコンバート部２６に出力する。
【0176】
図２０は、本開示の実施形態４に係る映像受信装置４の構成を示すブロック図である。
【0177】
図２０を参照して、実施形態４に係る映像受信装置４は、受信部４１と、情報抽出部４２と、映像伸長部４４と、映像整列部４５と、アップコンバート部４６と、映像合成部４７と、位置情報取得部４８と、注目領域決定部４９と、送信部５０とを備える。処理部４１～４７は、図１１に示したものと同様である。
【0178】
位置情報取得部４８は、ユーザがマウスやキーボード等の入力手段を操作して入力した注目領域の位置情報を取得し、取得した位置情報を注目領域決定部４９に出力する。なお、位置情報取得部４８は、映像受信装置４に接続された処理装置から注目領域の位置情報を取得してもよい。例えば、処理装置は、映像受信装置４から映像データを受信し、その映像データに基づいて、画像処理を行うことにより注目領域の位置情報を決定したり、人工知能を用いて注目領域の位置情報を決定したりする。処理装置は、決定した注目領域の位置情報を映像受信装置４に出力することにより、映像受信装置４の位置情報取得部４８が、当該位置情報を取得する。
【0179】
注目領域決定部４９は、位置情報取得部４８から位置情報を受け、注目領域を指定するための注目領域情報を生成する。例えば、注目領域決定部４９は、注目領域の小ブロック１２の左上隅座標または注目領域の小ブロック１２の位置に対応付けられた番号を含む注目領域情報を生成する。注目領域決定部４９は、生成した注目領域情報を送信部５０に出力する。
【0180】
送信部５０は、注目領域決定部４９から注目領域情報を受け、映像送信装置２に送信する。
次に、映像伝送システム１００の処理の流れについて説明する。
次に、映像伝送システム１００の処理の流れについて説明する。
【0181】
図２１は、映像伝送システム１００による処理手順の一例を示すシーケンス図である。
【0182】
図２１を参照して、映像受信装置４は、ユーザ入力に基づいて生成された注目領域情報を映像送信装置２に対して送信し、映像送信装置２は注目領域情報を受信する（Ｓ８）。
【0183】
ステップＳ８の処理の後、図１３に示したのと同様のステップＳ１～Ｓ７の処理が実行される。ただし、圧縮処理（ステップＳ２）の内容が一部異なる。
【0184】
図２２は、圧縮処理（図２１のステップＳ２）の詳細を示すフローチャートである。図２２に示すフローチャートは、図１４に示す圧縮処理の詳細を示すフローチャートから、小ブロック１２がブロックＡおよびブロックＢのいずれであるかを決定する処理（図１４のステップＳ１２～Ｓ１５）を除いたものである。
【0185】
つまり、映像送信装置２は、映像受信装置４から受信した注目領域情報に基づいて、小ブロック１２がブロックＡおよびブロックＢのいずれであるかを判断することができる。このため、図１４のステップＳ１２～Ｓ１５の処理を省略可能である。
【0186】
実施形態４によると、ユーザが指定した領域についてオリジナル映像との同一性を保持した映像データの低遅延配信ができる。例えば、映像データを予め監視対象領域が分かっている監視用途に用いる場合に、監視対象領域をユーザが注目領域として指定することで、効率的に監視処理を行うことができる。
【0187】
［実施形態５］
実施形態５では、ユーザの視線に基づいて注目領域を決定する例について説明する。
実施形態５では、ユーザの視線に基づいて注目領域を決定する例について説明する。
【0188】
図２４は、本開示の実施形態５に係る映像伝送システムの全体構成を示す図である。
図２４を参照して、映像伝送システム１００Ａは、カメラ１と、映像送信装置２と、映像受信装置４Ａと、表示装置５及びカメラ６とを備える。
図２４を参照して、映像伝送システム１００Ａは、カメラ１と、映像送信装置２と、映像受信装置４Ａと、表示装置５及びカメラ６とを備える。
【0189】
カメラ１及び表示装置５の構成は、実施形態１に示したものと同様である。
映像送信装置２の構成は、実施形態４に示したものと同様である。
映像送信装置２の構成は、実施形態４に示したものと同様である。
【0190】
映像受信装置４Ａは、実施形態４で説明した映像受信装置４と同様に、映像送信装置２から映像データを受信し、受信した映像データを表示装置５に表示する。ただし、構成が映像受信装置４とは一部異なる。映像受信装置４Ａの構成については後述する。
【0191】
図２５は、表示装置５及びカメラ６の一例を示す図である。
表示装置５は、液晶ディスプレイや有機ＥＬ（electroluminescence）ディスプレイ等の画面に映像を表示するための装置である。
表示装置５は、液晶ディスプレイや有機ＥＬ（electroluminescence）ディスプレイ等の画面に映像を表示するための装置である。
【0192】
表示装置５のベゼル部分にはカメラ６が内蔵されている。ただし、カメラ６は、表示装置５とは別に設けられていてもよい。例えば、カメラ６を表示装置５に取り付けて使用してもよい。なお、表示装置５の画面とカメラ６との位置関係は予め分かっているものとする。カメラ６は、表示装置５の画面を見るユーザ６１Ａの顔を撮影可能な位置に設けられる。特に、カメラ６は、ユーザ６１Ａの目を撮像可能な位置に設けられる。
【0193】
図２６は、本開示の実施形態５に係る映像受信装置４Ａの構成を示すブロック図である。
図２６を参照して、実施形態５に係る映像受信装置４Ａは、図２０に示した実施形態４に係る映像受信装置４の構成において、位置情報取得部４８及び注目領域決定部４９の代わりに、映像データ取得部５１及び注目領域決定部４９Ａを備える。
図２６を参照して、実施形態５に係る映像受信装置４Ａは、図２０に示した実施形態４に係る映像受信装置４の構成において、位置情報取得部４８及び注目領域決定部４９の代わりに、映像データ取得部５１及び注目領域決定部４９Ａを備える。
【0194】
映像データ取得部５１は、カメラ６からカメラ６が撮像した映像データを受信し、受信した映像データを注目領域決定部４９Ａに出力する。
【0195】
注目領域決定部４９Ａは、映像データ取得部５１から映像データを受け、当該映像データに基づいて、表示装置５の画面上におけるユーザの視線位置を決定する。例えば、図２５に示すように、ユーザ６１Ａは視線方向７１Ａに目を向け、表示装置５の画面に表示されたオートバイ８１を見ているものとする。視線方向７１Ａの検出には公知の技術を用いることができる。例えば、注目領域決定部４９Ａは、ユーザ６１Ａの映像データから、目の動かない部分（基準点）と動く部分（動点）とを検出する。ここで、基準点をユーザ６１Ａの目頭、動点をユーザ６１Ａの虹彩とする。注目領域決定部４９Ａは、基準点に対する動点の位置に基づいて、カメラ６の光軸の向きを基準とした場合のユーザ６１Ａの視線の向きを検出する（例えば、非特許文献２参照）。注目領域決定部４９Ａは、視線方向７１Ａと画面との交点を視線位置７２Ａとして決定する。視線位置７２Ａは、例えば、画面に表示される映像データの座標で示される。
【0196】
注目領域決定部４９Ａは、決定した視線位置７２Ａに基づいて、表示装置５に表示された映像データ内の注目領域を決定する。
【0197】
図２７は、注目領域の決定方法について説明するための図である。図２７は、表示装置５の画面に表示される画像データ１０を、複数の小ブロック１２に分割した一例を示している。ユーザ６１Ａは、例えば、小ブロック１２Ｅ内を見ているものとする。つまり、ユーザ６１Ａの視線位置７２Ａは小ブロック１２Ｅ内に存在するものとする。注目領域決定部４９Ａは、視線位置７２Ａの座標から、視線位置７２Ａが小ブロック１２Ｅに含まれることを判断する。注目領域決定部４９Ａは、小ブロック１２Ｅを含む複数の小ブロック１２により構成される領域を注目領域９１Ａと決定する。例えば、注目領域決定部４９Ａは、小ブロック１２Ｅと小ブロック１２Ｅに隣接する８近傍の小ブロック１２とから構成される領域を注目領域９１Ａと決定する。
【0198】
注目領域９１Ａのサイズは一例であり、上記したものに限定されない。なお、人間の視覚において物の形状や色などを正確に確認できるのは視線方向から１～２度程度の中心視と呼ばれる範囲である。このため、ユーザ６１Ａから表示装置５までのおおよその距離が分かっている場合には、画面上での中心視も定義可能である。このため、視線位置７２Ａを中心とする中心視を注目領域９１Ａと決定してもよい。
【0199】
注目領域決定部４９Ａは、注目領域決定部４９と同様に、注目領域を指定するための注目領域情報を生成し、生成した注目領域情報を送信部５０に出力する。
【0200】
次に、映像伝送システム１００Ａの処理の流れについて説明する。
図２８は、映像伝送システム１００Ａによる処理手順の一例を示すシーケンス図である。
図２８は、映像伝送システム１００Ａによる処理手順の一例を示すシーケンス図である。
【0201】
図２８を参照して、映像受信装置４Ａは、カメラ６から表示装置５の画面を見ているユーザ６１Ａの目の画像を含む映像データを取得する（Ｓ５１）。
【0202】
映像受信装置４Ａは、取得した映像データに基づいて、表示装置５に表示されている映像データにおけるユーザ６１Ａの注目領域を決定する。
【0203】
映像受信装置４は、決定された注目領域を示す注目領域情報を映像送信装置２に対して送信し、映像送信装置２は注目領域情報を受信する（Ｓ８）。
【0204】
ステップＳ８の処理の後、図１３に示したのと同様のステップＳ１～Ｓ７の処理が実行される。
【0205】
【0206】
図２９を参照して、映像受信装置４の注目領域決定部４９Ａは、ステップＳ５１で取得した映像データに基づいて、ユーザ６１Ａの画面上の視線位置７２Ａを決定する（Ｓ６１）。
【0207】
注目領域決定部４９Ａは、視線位置７２Ａを含む所定の領域を注目領域９１Ａと決定する（Ｓ６２）。
【0208】
次に、映像伝送システム１００Ａの使用態様の一例について説明する。以下では、カメラ１が移動体（例えば、ドローン）に取り付けられる例を説明する。
【0209】
図３０は、ドローンによる映像の撮影を模式的に示す図である。図３０を参照して、ドローン１１０には周囲の映像を撮影するためのカメラ１が搭載されている。ドローン１１０はユーザの遠隔操縦により飛行しながら、カメラ１により映像を撮影する。例えば、ドローン１１０は、撮像範囲１２０Ａの映像を撮影した後に、ユーザの操作により他の位置に移動して撮像範囲１２０Ｂの映像を撮影する。
【0210】
【0211】
図３１を参照して、コントローラ１１１には、映像受信装置４Ａが内蔵されているものとする。また、コントローラ１１１は、映像を表示するための画面１１２と、ドローン１１０を操縦するためのジョイスティック１１３と、コントローラ１１１を操作するユーザ６１Ｃを撮影するカメラ６とを備える。ユーザ６１Ｃがジョイスティック１１３を操作することにより、ドローン１１０の進行方向や速度などを変更することができる。
【0212】
画面１１２には、撮像範囲１２０Ａの映像が表示されているものとする。ユーザ６１Ｃは、視線方向７１Ｃに目を向け、画面１１２に表示された船８３を見ており、ユーザ６１Ｃの視線は視線位置７２Ｃにあるものとする。この場合、映像受信装置４Ａは、視線位置７２Ｃを含む所定の領域を注目領域９１Ｃと決定する。これにより、ユーザが見ている船８３は、オリジナル映像との同一性が保持される。他方、画面１１２上の注目領域９１Ｃ以外の領域は非注目領域とされ、非注目領域に対してダウンコンバート処理が実行される。
【0213】
図３２を参照して、ユーザ６１Ｃが、視線方向７１Ｃを変更して、画面１１２に表示された船８４を見ており、ユーザ６１Ｃの視線は視線位置７２Ｃにあるものとする。この場合、映像受信装置４Ａは、視線位置７２Ｃを含む所定の領域を注目領域９１Ｃと決定する。これにより、ユーザが見ている船８４は、オリジナル映像との同一性が保持される。他方、画面１１２上の注目領域９１Ｃ以外の領域は非注目領域とされ、ダウンコンバート処理が実行される。
【0214】
実施形態５によると、例えば、表示装置５の画面内でのユーザの視線位置の近傍の領域が注目領域とされ、それ以外の領域が非注目領域とされる。このため、ユーザが見ている画面内の領域においてはオリジナル映像との同一性が保持され、ユーザが見ていない領域においては所定の圧縮処理が実行される。よって、画面を見るユーザに違和感を与えることなく、映像データの圧縮及び低遅延配信を行うことができる。
【0215】
［実施形態６］
実施形態５では、ユーザの視線位置に応じて注目領域を決定する例について説明した。実施形態６では、視線位置の持続時間に基づいて注目領域を固定する例について説明する。ユーザが画面上の同じ位置を長時間注視している場合には、その位置への関心が高いためと考えられる。このため、注視位置からユーザが視線をそらしたとしても、再度その位置を見る可能性が高いと考えられる。このため、長時間同じ位置を注視している場合には、注目領域を固定する。
実施形態５では、ユーザの視線位置に応じて注目領域を決定する例について説明した。実施形態６では、視線位置の持続時間に基づいて注目領域を固定する例について説明する。ユーザが画面上の同じ位置を長時間注視している場合には、その位置への関心が高いためと考えられる。このため、注視位置からユーザが視線をそらしたとしても、再度その位置を見る可能性が高いと考えられる。このため、長時間同じ位置を注視している場合には、注目領域を固定する。
【0216】
実施形態６に係る映像伝送システムの構成は実施形態５と同様である。ただし、映像受信装置４の注目領域決定部４９Ａによる処理が実施形態５とは異なる。
【0217】
【0218】
図２７及び図３３を参照して、映像受信装置４の注目領域決定部４９Ａは、注目領域９１Ａが固定されているか否かを判断する（Ｓ７１）。注目領域９１Ａが固定中であれば（Ｓ７１においてＹＥＳ）、注目領域決定処理（図２８のステップＳ５２）を終了する。
【0219】
注目領域９１Ａが固定されていなければ（Ｓ７１においてＮＯ）、注目領域決定部４９Ａは、ステップＳ６１及びＳ６２の処理を実行する。これらの処理は、図２９に示したものと同様である。
【0220】
注目領域決定部４９Ａは、ステップＳ６１で検出された視線位置の情報を図示しない記憶装置に、視線位置の検出時刻の情報とともに記録する（Ｓ７２）。
【0221】
注目領域決定部４９Ａは、記憶装置に記録された視線位置及び検出時刻の情報に基づいて、視線位置が一定時間以上同じ小ブロックに留まっているかを判定する（Ｓ７３）。例えば、注目領域決定部４９Ａは、視線位置が小ブロック１２Ｅ内に存在する状態が一定時間以上続いているかを判定する。
【0222】
判定結果が真であれば（Ｓ７３でＹＥＳ）、注目領域決定部４９Ａは、注目領域９１Ａを、その後所定時間固定する（Ｓ７４）。
【0223】
判定結果が偽であれば（Ｓ７３でＮＯ）、注目領域決定部４９Ａは、注目領域決定処理（図２８のステップＳ５２）を終了する。
【0224】
実施形態６によると、ユーザが画面内の所定位置又は所定位置の近傍を注視することにより、注目領域を所定時間固定することが可能となる。ここで、所定位置の近傍とは、例えば、所定位置と同じ小ブロックに属する位置を示す。これにより、ユーザが、上記の注視を行った後に視線を一瞬そらした場合であっても、注目領域は固定されたままである。よって、その後に、ユーザが元の位置に視線を戻した場合には、即座に、オリジナル映像と同一性が保持された映像を見ることができる。ただし、所定位置の近傍の定義は上記したものに限定されない。
【0225】
［実施形態７］
実施形態５及び実施形態６では、ユーザ数が１の例を説明した。実施形態７では、ユーザ数が複数の例について説明する。
実施形態５及び実施形態６では、ユーザ数が１の例を説明した。実施形態７では、ユーザ数が複数の例について説明する。
【0226】
実施形態７に係る映像伝送システムの構成は実施形態５と同様である。ただし、映像受信装置４Ａの注目領域決定部４９Ａが決定する注目領域が複数である点が、実施形態５とは異なる。
【0227】
図３４は、表示装置５及びカメラ６の一例を示す図である。図３４に示す表示装置５及びカメラ６は、図２５に示したものと同様である。実施形態７では、実施形態５とは異なり、複数のユーザが表示装置５の画面を見ているものとする。例えば、ユーザ６１Ａ及びユーザ６１Ｂが表示装置５の画面を見ているものとする。例えば、ユーザ６１Ａは視線方向７１Ａに目を向け、画面に表示されたオートバイ８１を見ているものとする。また、ユーザ６１Ｂは視線方向７１Ｂに目を向け、画面に表示された自動車８２を見ているものとする。
【0228】
映像受信装置４Ａの注目領域決定部４９Ａは、映像データ取得部５１から映像データを受け、当該映像データに基づいて、表示装置５の画面上におけるユーザの視線位置を決定する。視線位置の決定方法は、実施形態５と同様である。図３４の例では、注目領域決定部４９Ａは、視線方向７１Ａと画面との交点をユーザ６１Ａの視線位置７２Ａとして決定する。また、注目領域決定部４９Ａは、視線方向７１Ｂと画面との交点をユーザ６１Ｂの視線位置７２Ｂとして決定する。視線位置７２Ａ及び視線位置７２Ｂは、例えば、画面に表示される映像データの座標で示される。
【0229】
注目領域決定部４９Ａは、決定した視線位置７２Ａ及び視線位置７２Ｂに基づいて、表示装置５に表示された映像データ内の注目領域を決定する。
【0230】
図３５は、注目領域の決定方法について説明するための図である。図３５は、表示装置５の画面に表示される画像データ１０を、複数の小ブロック１２に分割した一例を示している。ユーザ６１Ａは、例えば、小ブロック１２Ｅ内を見ているものとする。つまり、ユーザ６１Ａの視線位置７２Ａは小ブロック１２Ｅ内に存在するものとする。注目領域決定部４９Ａは、視線位置７２Ａの座標から、視線位置７２Ａが小ブロック１２Ｅに含まれることを判断する。注目領域決定部４９Ａは、小ブロック１２Ｅを含む複数の小ブロック１２により構成される領域を注目領域９１Ａと決定する。例えば、注目領域決定部４９Ａは、小ブロック１２Ｅと小ブロック１２Ｅに隣接する８近傍の小ブロック１２とから構成される領域を注目領域９１Ａと決定する。
【0231】
ユーザ６１Ｂは、例えば、小ブロック１２Ｆ内を見ているものとする。つまり、ユーザ６１Ｂの視線位置７２Ｂは小ブロック１２Ｆ内に存在するものとする。注目領域決定部４９Ａは、視線位置７２Ｂの座標から、視線位置７２Ｂが小ブロック１２Ｆに含まれることを判断する。注目領域決定部４９Ａは、小ブロック１２Ｆを含む複数の小ブロック１２により構成される領域を注目領域９１Ｂと決定する。例えば、注目領域決定部４９Ａは、小ブロック１２Ｆと小ブロック１２Ｆに隣接する８近傍の小ブロック１２とから構成される領域を注目領域９１Ｂと決定する。
【0232】
注目領域９１Ａのサイズ及び注目領域９１Ｂのサイズは一例であり、上記したものに限定されない。なお、人間の視覚において物の形状や色などを正確に確認できるのは視線方向から１～２度程度の中心視と呼ばれる範囲である。このため、ユーザ６１Ａ又はユーザ６１Ｂから表示装置５までのおおよその距離が分かっている場合には、画面上での中心視も定義可能である。このため、視線位置７２Ａ及び視線位置７２Ｂを中心とする中心視を注目領域９１Ａ及び注目領域９１Ｂとそれぞれ決定してもよい。
【0233】
これにより、映像受信装置４Ａにおいて、画面上の注目領域９１Ａ及び注目領域９１Ｂ以外の領域が非注目領域とされ、非注目領域に対してダウンコンバート処理が実行される。
【0234】
実施形態４によると、ユーザごとに、当該ユーザの視線位置に基づいて注目領域が定められる。このため、複数のユーザが同一の画面上の異なる位置を見ていたとしても、それぞれのユーザの視線位置の近傍の領域が注目領域とされ、各注目領域においてオリジナル映像との同一性を保持される。このため、上記複数のユーザに違和感を与えることがない。
【0235】
なお、実施形態４では、カメラ６が撮像した映像データから複数のユーザの視線位置を決定したが、カメラ６がユーザごとに設けられていてもよい。例えば、図３４に示した例では、ユーザ６１Ａを撮像するためのカメラ６と、ユーザ６１Ｂを撮像するためのカメラ６とがそれぞれ設けられていてもよい。注目領域決定部４９Ａは、それぞれのカメラ６が撮像した映像データから、注目領域を決定する。
【0236】
［実施形態８］
上述の実施形態では、映像データの画面内を注目領域と非注目領域とに分割した。実施形態８では、非注目領域をさらに２種類の非注目領域に分割する例について説明する。
上述の実施形態では、映像データの画面内を注目領域と非注目領域とに分割した。実施形態８では、非注目領域をさらに２種類の非注目領域に分割する例について説明する。
【0237】
実施形態７に係る映像伝送システムの構成は実施形態５と同様である。ただし、映像受信装置４Ａの注目領域決定部４９Ａが決定する非注目領域に２種類ある点が、実施形態５とは異なる。
【0238】
【0239】
注目領域決定部４９Ａは、実施形態５と同様に、ユーザ６１Ａの視線位置７２Ａに基づいて、注目領域９１Ａを決定する。次に、注目領域決定部４９Ａは、注目領域９１Ａに隣接する領域を非注目領域９２Ａと決定する。例えば、注目領域決定部４９Ａは、注目領域９１Ａの周囲に配置された１６個の小ブロック１２を非注目領域９２Ａと決定する。さらに、注目領域決定部４９Ａは、画像データ１０の注目領域９１Ａ及び非注目領域９２Ａ以外の領域を非注目領域９２Ｂと決定する。
【0240】
注目領域決定部４９Ａは、注目領域９１Ａ、非注目領域９２Ａ及び非注目領域９２Ｂをそれぞれ指定するための注目領域情報を生成し、生成した注目領域情報を送信部５０に出力する。送信部５０は、映像送信装置２に注目領域情報を送信する。
【0241】
映像送信装置２の受信部３１は、映像受信装置４Ａから注目領域情報を受信し、領域指定部２５に出力する。
【0242】
領域指定部２５は、受信部３１が受信した注目領域情報に基づいて、注目領域９１Ａの小ブロック１２を映像整列部２７に出力し、非注目領域９２Ａ及び非注目領域９２Ｂの小ブロック１２をダウンコンバート部２６に出力する。その際、領域指定部２５は、非注目領域の識別情報（非注目領域９２Ａ及び非注目領域９２Ｂを識別する情報）をダウンコンバート部２６に出力する。
【0243】
ダウンコンバート部２６は、非注目領域の識別情報に基づいて、小ブロック１２の圧縮率を変化させて、小ブロック１２のダウンコンバート処理を行う。つまり、ダウンコンバート部２６は、非注目領域９２Ａに対応する小ブロック１２の方が非注目領域９２Ｂに対応する小ブロック１２に比べて圧縮率が低くなるように圧縮率を決定し、決定した圧縮率に基づいて、小ブロック１２のダウンコンバート処理を行う。なお、非注目領域９２Ａ及び非注目領域９２Ｂと圧縮率との関係は事前に設定されていてもよい。
【0244】
実施形態８によると、非注目領域の内、ユーザの視野の中心部に近い非注目領域９２Ａほど圧縮率を低くし、上記中心部から遠い非注目領域９２Ｂほど圧縮率を高くして圧縮処理を行うことができる。このため、注目領域と非注目領域との境界部分において映像の見え方が急激に変化することを防ぎつつ、映像データの低遅延配信を行うことができる。
【0245】
なお、非注目領域の種類は２種類に限定されるものではなく、３種類以上あってもよい。この場合、注目領域９１Ａに近い非注目領域ほど圧縮率が低いのが望ましい。
【0246】
また、図２に示した映像送信装置２の領域決定部２４において、注目領域決定部４９Ａと同様に、複数種類の非注目領域を決定してもよい。
【0247】
また、図２０に示した映像受信装置４の注目領域決定部４９において、注目領域決定部４９Ａと同様に、複数種類の非注目領域を決定してもよい。
【0248】
［変形例１］
上述の実施形態では小ブロック１２間の差分を式１に従い算出することとしたが、差分の算出方法はこれに限定されるものではない。例えば、小ブロック１２間でのＰＳＮＲ（ピーク信号対雑音比）を、小ブロック１２間の差分としてもよい。この場合、ＰＳＮＲが大きいほど２つの小ブロック１２が類似し、ＰＳＮＲが小さいほど２つの小ブロック１２が非類似となる。このため、映像送信装置２は、ＰＳＮＲが所定の閾値よりも小さい場合に小ブロック１２をブロックＡ（注目領域）と決定し、ＰＳＮＲが所定の閾値よりも大きい場合に小ブロック１２をブロックＢ（非注目領域）と決定する。
上述の実施形態では小ブロック１２間の差分を式１に従い算出することとしたが、差分の算出方法はこれに限定されるものではない。例えば、小ブロック１２間でのＰＳＮＲ（ピーク信号対雑音比）を、小ブロック１２間の差分としてもよい。この場合、ＰＳＮＲが大きいほど２つの小ブロック１２が類似し、ＰＳＮＲが小さいほど２つの小ブロック１２が非類似となる。このため、映像送信装置２は、ＰＳＮＲが所定の閾値よりも小さい場合に小ブロック１２をブロックＡ（注目領域）と決定し、ＰＳＮＲが所定の閾値よりも大きい場合に小ブロック１２をブロックＢ（非注目領域）と決定する。
【0249】
［変形例２］
実施形態１～３では、小ブロック１２間の差分に基づいて注目領域を決定したが、注目領域の決定方法はこれに限定されるものではない。例えば、カメラ１をドローンに取り付けた場合には、映像送信装置２はドローンの進行方向に基づいて注目領域を決定してもよい。例えば、ドローンの進行方向の周辺が映された小ブロック１２を注目領域と決定してもよい。なお、ドローンの進行方向は、ドローンの制御装置から受信するようにしてもよい。また、画像中の被写体の動きからドローンの進行方向を求めてもよい。例えば、カメラ１をドローンの正面に取り付けた場合に画像中の被写体が左に移動している場合には、ドローンは右方向に進行していると判断することができる。なお、被写体の動きは、例えば、画像処理によりオプティカルフローを算出することにより求めることができる。
実施形態１～３では、小ブロック１２間の差分に基づいて注目領域を決定したが、注目領域の決定方法はこれに限定されるものではない。例えば、カメラ１をドローンに取り付けた場合には、映像送信装置２はドローンの進行方向に基づいて注目領域を決定してもよい。例えば、ドローンの進行方向の周辺が映された小ブロック１２を注目領域と決定してもよい。なお、ドローンの進行方向は、ドローンの制御装置から受信するようにしてもよい。また、画像中の被写体の動きからドローンの進行方向を求めてもよい。例えば、カメラ１をドローンの正面に取り付けた場合に画像中の被写体が左に移動している場合には、ドローンは右方向に進行していると判断することができる。なお、被写体の動きは、例えば、画像処理によりオプティカルフローを算出することにより求めることができる。
【0250】
変形例２によると、ドローンの進行方向に基づいて定められる注目領域についてオリジナル映像との同一性を保持した映像データの低遅延配信ができる。これにより、例えば、ドローンを安定的に飛行させることができる。なお、カメラ１の取り付け対象はドローンに限定されるものではなく、重機等の他の移動体であってもよい。
【0251】
［変形例３］
また、映像データが外観検査の対象物の像を含む場合には、対象物の検査箇所を含む領域を注目領域としてもよい。注目領域は、実施形態４に示した方法に従いユーザが指定するようにしてもよいし、映像受信装置４に接続された処理装置が指定するようにしてもよい。
また、映像データが外観検査の対象物の像を含む場合には、対象物の検査箇所を含む領域を注目領域としてもよい。注目領域は、実施形態４に示した方法に従いユーザが指定するようにしてもよいし、映像受信装置４に接続された処理装置が指定するようにしてもよい。
【0252】
変形例３によると、外観検査の対象物の検査箇所についてオリジナル映像との同一性を保持した映像データの低遅延配信ができる。このため、対象物の外観検査を低遅延で実行することができる。
【0253】
［変形例４］
上記実施形態および上記変形例では、小ブロック１２を注目領域および非注目領域のいずれかに分類することとしたが、小ブロック１２が分類される領域は、これら２種類の領域に限定されるものではない。
上記実施形態および上記変形例では、小ブロック１２を注目領域および非注目領域のいずれかに分類することとしたが、小ブロック１２が分類される領域は、これら２種類の領域に限定されるものではない。
【0254】
例えば、小ブロック１２を、注目領域と、周辺領域と、非伝送領域のいずれかに分類するものであってもよい。ここで、周辺領域は、注目領域の周辺に位置する領域（例えば、注目領域に隣接する領域）である。また、非伝送領域は、画面内の領域のうち注目領域および周辺領域以外の領域である。
【0255】
周辺領域は、注目領域の範囲外ではあるが、注目領域の周辺領域である。このため、周辺領域については、詳細な映像情報は必要無いものの、ユーザが対象を認識可能な程度の映像情報が必要である。このため、映像送信装置２は、上述の非注目領域としての周辺領域に対してダウンコンバート処理を実行するように制御する。これにより、非注目領域について、一定の視認性を確保しつつ、映像送信装置２から映像受信装置４へのデータ伝送量を減らすことができる。なお、映像送信装置２は、上述の実施形態と同様に、注目領域に対してはダウンコンバート処理を実行しない。
【0256】
また、映像送信装置２は、非伝送領域に属する小ブロック１２を映像受信装置４へ伝送しない。このため、映像送信装置２から映像受信装置４へのデータ伝送量を減らすことができる。また、非伝送領域に属する小ブロック１２が伝送されないことにより、映像送信装置２は、非伝送領域に対してダウンコンバート処理を実行する必要がない。このため、映像送信装置２の処理量を減らすことができる。
なお、小ブロック１２を４つ以上の領域に分類するものであってもよい。
なお、小ブロック１２を４つ以上の領域に分類するものであってもよい。
【0257】
［変形例５］
上述の実施形態１では、１つの大ブロック１４中に含まれる全ての小ブロック１２がＢブロックの場合に、その大ブロック１４に対してダウンコンバート処理を実行してＣブロックを生成した（図９）。また、１つの大ブロック１４中に１つでもＡブロックが含まれる場合には、その大ブロック１４に対してダウンコンバート処理を実行しないこととした（図１０）。
上述の実施形態１では、１つの大ブロック１４中に含まれる全ての小ブロック１２がＢブロックの場合に、その大ブロック１４に対してダウンコンバート処理を実行してＣブロックを生成した（図９）。また、１つの大ブロック１４中に１つでもＡブロックが含まれる場合には、その大ブロック１４に対してダウンコンバート処理を実行しないこととした（図１０）。
【0258】
これに対し、映像データを構成する各画像データに含まれる全ての大ブロック１４に対して、ダウンコンバート処理を実行し、その後に、ダウンコンバート処理を実行しない小ブロック１２を決定してもよい。
【0259】
つまり、図２を参照して、ブロック分割部２１は、画像データを、順次、大ブロック１４に分割し、領域指定部２５に出力する。
【0260】
領域指定部２５は、ブロック分割部２１から大ブロック１４を受け、ダウンコンバート部２６に出力する。
【0261】
ダウンコンバート部２６は、ブロック分割部２１から受けた大ブロック１４に対してダウンコンバート処理を実行し、Ｃブロックを生成する。
【0262】
映像整列部２７は、Ｃブロックを映像圧縮部２８に出力し、Ｃブロックの位置情報およびブロック情報を圧縮映像整列部２９に出力する。
【0263】
映像圧縮部２８は、映像整列部２７から受けたＣブロックに対して映像圧縮処理を実行し、圧縮映像整列部２９に出力する。
【0264】
圧縮映像整列部２９は、映像圧縮部２８から圧縮済みブロックを受ける。圧縮映像整列部２９は、受けたブロックの順に、ブロックに映像整列部２７から取得した位置情報およびブロック情報を付加して送信部３０に出力する。
【0265】
送信部３０は、通信インタフェースを含んで構成され、位置情報およびブロック情報が付加された圧縮済みブロックを符号化して圧縮済み映像データとして映像受信装置４に送信する。
【0266】
ここまでの処理により、画像データを構成する大ブロック１４に対してダウンコンバート処理が施された圧縮済み映像データが、映像受信装置４に送信される。
【0267】
その後、映像送信装置２は、同じ画像データに対して、実施形態１と同様の処理を実行する。ただし、大ブロック１４を構成する小ブロック１２が全てＢブロックの場合には、その大ブロック１４に対する処理は行わない。これにより、重複したＣブロックの生成を防ぐことができ、ＡブロックまたはＢブロックのみを映像受信装置４に送信することができる。
【0268】
図２３は、圧縮済み映像データの一例を示す図である。図２３は、図７に示す画像データ１０を圧縮した１画面分のデータを示している。つまり、画像データ１０に含まれる大ブロック１４が全てＣブロックに変換されるため、圧縮済み映像データの１行目から５行目までは全てＣブロックとされる。
【0269】
また、圧縮済み映像データの６行目は、画像データ１０の大ブロック１４Ｈおよび１４Ｉに含まれる小ブロック１２から構成される。
【0270】
さらに、圧縮済み映像データの７行目は、画像データ１０の大ブロック１４Ｅ～１４Ｇに含まれる小ブロック１２から構成される。
【0271】
［変形例６］
映像送信装置２のダウンコンバート部２６は、所定の圧縮処理として非注目領域内の各画素の色深度を削減する処理であってもよい。例えば、オリジナルの映像データの各画素の色深度が２４ｂｐｐ（ｂｉｔｓ ｐｅｒ ｐｉｘｅｌ）のフルカラーであるとする。つまり、各画素のＲＧＢ各色の輝度がそれぞれ８ビットで示されているものとする。ダウンコンバート部２６は、各色の輝度を８ビットの内の上記４ビットで示した１２ｂｐｐの画素データに変換する。
映像送信装置２のダウンコンバート部２６は、所定の圧縮処理として非注目領域内の各画素の色深度を削減する処理であってもよい。例えば、オリジナルの映像データの各画素の色深度が２４ｂｐｐ（ｂｉｔｓ ｐｅｒ ｐｉｘｅｌ）のフルカラーであるとする。つまり、各画素のＲＧＢ各色の輝度がそれぞれ８ビットで示されているものとする。ダウンコンバート部２６は、各色の輝度を８ビットの内の上記４ビットで示した１２ｂｐｐの画素データに変換する。
【0272】
映像受信装置４のアップコンバート部４６は、各色４ビットで示された画素データについて、各色４ビットを上位４ビットとし、下位４ビットを０でパディングした各色８ビットの２４ｂｐｐの画素データに変換する。
【0273】
変形例６によると、非注目領域内の各画素の色深度を低下させることができるため、映像データの低遅延配信ができる。また、非注目領域は、ユーザの視野の周辺部に相当するため、色深度が低下したとしてもユーザに気づかれにくい。
【0274】
［付記］
なお、上記実施形態および上記変形例の少なくとも一部を任意に組み合わせるとしてもよい。
なお、上記実施形態および上記変形例の少なくとも一部を任意に組み合わせるとしてもよい。
【0275】
今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0276】
１ カメラ
２ 映像送信装置
３ ネットワーク
４ 映像受信装置
４Ａ 映像受信装置
５ 表示装置
６ カメラ
１０ 画像データ
１１ 飛行機
１２ 小ブロック
１２Ａ 小ブロック
１２Ｂ 小ブロック
１２Ｃ 小ブロック
１２Ｄ 小ブロック
１２Ｐ 小ブロック
１２Ｑ 小ブロック
１２Ｒ 小ブロック
１２Ｓ 小ブロック
１４ 大ブロック
１４Ａ 大ブロック
１４Ｂ 大ブロック
１４Ｃ 大ブロック
１４Ｄ 大ブロック
１４Ｅ 大ブロック
１４Ｆ 大ブロック
１４Ｇ 大ブロック
１４Ｈ 大ブロック
１４Ｉ 大ブロック
１４Ｚ 大ブロック
１６ 縮小ブロック
２１ ブロック分割部
２２ バッファ部
２３ 差分部
２４ 領域決定部
２５ 領域指定部
２６ ダウンコンバート部（圧縮処理部）
２７ 映像整列部
２８ 映像圧縮部
２９ 圧縮映像整列部
３０ 送信部
３１ 受信部
４１ 受信部
４２ 情報抽出部
４４ 映像伸長部（伸長部）
４５ 映像整列部
４６ アップコンバート部
４７ 映像合成部
４８ 位置情報取得部
４９ 注目領域決定部
４９Ａ 注目領域決定部
５０ 送信部
５１ 映像データ取得部
６１Ａ ユーザ
６１Ｂ ユーザ
６１Ｃ ユーザ
７１Ａ 視線方向
７１Ｂ 視線方向
７１Ｃ 視線方向
７２Ａ 視線位置
７２Ｂ 視線位置
７２Ｃ 視線位置
８１ オートバイ
８２ 自動車
８３ 船
８４ 船
９１Ａ 注目領域
９１Ｂ 注目領域
９１Ｃ 注目領域
９２Ａ 非注目領域
９２Ｂ 非注目領域
１００ 映像伝送システム
１００Ａ 映像伝送システム
１１０ ドローン
１１１ コントローラ
１１２ 画面
１１３ ジョイスティック
１２０Ａ 撮像範囲
１２０Ｂ 撮像範囲
２ 映像送信装置
３ ネットワーク
４ 映像受信装置
４Ａ 映像受信装置
５ 表示装置
６ カメラ
１０ 画像データ
１１ 飛行機
１２ 小ブロック
１２Ａ 小ブロック
１２Ｂ 小ブロック
１２Ｃ 小ブロック
１２Ｄ 小ブロック
１２Ｐ 小ブロック
１２Ｑ 小ブロック
１２Ｒ 小ブロック
１２Ｓ 小ブロック
１４ 大ブロック
１４Ａ 大ブロック
１４Ｂ 大ブロック
１４Ｃ 大ブロック
１４Ｄ 大ブロック
１４Ｅ 大ブロック
１４Ｆ 大ブロック
１４Ｇ 大ブロック
１４Ｈ 大ブロック
１４Ｉ 大ブロック
１４Ｚ 大ブロック
１６ 縮小ブロック
２１ ブロック分割部
２２ バッファ部
２３ 差分部
２４ 領域決定部
２５ 領域指定部
２６ ダウンコンバート部（圧縮処理部）
２７ 映像整列部
２８ 映像圧縮部
２９ 圧縮映像整列部
３０ 送信部
３１ 受信部
４１ 受信部
４２ 情報抽出部
４４ 映像伸長部（伸長部）
４５ 映像整列部
４６ アップコンバート部
４７ 映像合成部
４８ 位置情報取得部
４９ 注目領域決定部
４９Ａ 注目領域決定部
５０ 送信部
５１ 映像データ取得部
６１Ａ ユーザ
６１Ｂ ユーザ
６１Ｃ ユーザ
７１Ａ 視線方向
７１Ｂ 視線方向
７１Ｃ 視線方向
７２Ａ 視線位置
７２Ｂ 視線位置
７２Ｃ 視線位置
８１ オートバイ
８２ 自動車
８３ 船
８４ 船
９１Ａ 注目領域
９１Ｂ 注目領域
９１Ｃ 注目領域
９２Ａ 非注目領域
９２Ｂ 非注目領域
１００ 映像伝送システム
１００Ａ 映像伝送システム
１１０ ドローン
１１１ コントローラ
１１２ 画面
１１３ ジョイスティック
１２０Ａ 撮像範囲
１２０Ｂ 撮像範囲
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】