特開 2023-28984 送信装置、受信装置、送信プログラム及び受信プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023028984

(43)【公開日】2023-03-03

(54)【発明の名称】送信装置、受信装置、送信プログラム及び受信プログラム

(51)【国際特許分類】

   H04N 21/234 20110101AFI20230224BHJP

   H04N 21/44 20110101ALI20230224BHJP

【ＦＩ】

H04N21/234

H04N21/44

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021135012

(22)【出願日】2021-08-20

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100171446

【弁理士】

【氏名又は名称】高田 尚幸

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(74)【代理人】

【識別番号】100171930

【弁理士】

【氏名又は名称】木下 郁一郎

(72)【発明者】

【氏名】白戸 諒

(72)【発明者】

【氏名】中戸川 剛

(72)【発明者】

【氏名】川本 潤一郎

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164GA03

5C164SB01P

5C164SB21S

5C164SC01S

5C164UB01P

5C164UB21S

5C164UC21S

(57)【要約】

【課題】映像分割処理による処理遅延を抑えながら、映像分割に起因する軽圧縮処理による画質劣化を低減する。
【解決手段】送信装置は、撮像装置により撮像された映像ストリームを取得する映像取得部と、取得した前記映像ストリームの映像フレームを、映像フレームの縦方向及び横方向にそれぞれ連続する複数の画素を含む画素群であって少なくとも２以上の離散した位置に存在する前記画素群を有する分割映像フレームに分割する分割部と、前記分割映像フレームを圧縮する圧縮部と、圧縮された前記分割映像フレームを送信する送信部とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

撮像装置により撮像された映像ストリームを取得する映像取得部と、
取得した前記映像ストリームの映像フレームを、映像フレームの縦方向及び横方向にそれぞれ連続する複数の画素を含む画素群であって少なくとも２以上の離散した位置に存在する前記画素群を有する分割映像フレームに分割する分割部と、
前記分割映像フレームを圧縮する圧縮部と、
圧縮された前記分割映像フレームを送信する送信部と
を備える送信装置。

【請求項2】

前記分割部は、前記映像フレームを４つの前記分割映像フレームに分割し、
前記送信部は、前記分割映像フレームを２Ｋ映像の映像ストリームとして送信する
請求項１に記載の送信装置。

【請求項3】

前記映像ストリームは、８Ｋ映像、４Ｋ映像、又は２Ｋ映像のいずれかであり、
前記分割部は、前記映像フレームが８Ｋ映像である場合には４Ｋ映像の前記分割映像フレームに分割した後に２Ｋ映像の前記分割映像フレームに分割し、前記映像フレームが４Ｋ映像である場合には２Ｋ映像の前記分割映像フレームに分割し、前記映像フレームが２Ｋ映像である場合には分割しない
請求項１又は請求項２に記載の送信装置。

【請求項4】

前記分割部は、前記映像フレームを縦方向に少なくとも２つの前記画素群に分割し、横方向に少なくとも４つの前記画素群に分割し、複数の前記画素群を組み合わせて前記分割映像フレームとする
請求項１から請求項３のいずれか一項に記載の送信装置。

【請求項5】

前記分割部により分割される前記画素群が有する横方向のライン数である分割ライン数を取得する分割ライン数取得部を更に備え、
前記分割部は、取得された前記分割ライン数ごとに前記映像フレームを横方向に分割する
請求項４に記載の送信装置。

【請求項6】

送信装置により送信された２Ｋ映像の映像ストリームを受信する受信部と、
取得した前記映像ストリームに対して伸張処理を行うことにより分割映像フレームを復元する伸張部と、
復元された複数の前記分割映像フレームにそれぞれ含まれる複数の画素群を、少なくとも２以上の離散した位置に統合することにより統合映像フレームに統合する統合部と、
統合された前記統合映像フレームを出力する出力部と
を備える受信装置。

【請求項7】

コンピュータに、
撮像装置により撮像された映像ストリームを取得する映像取得ステップと、
取得した前記映像ストリームの映像フレームを、映像フレームの縦方向及び横方向にそれぞれ連続する複数の画素を含む画素群であって少なくとも２以上の離散した位置に存在する前記画素群を有する分割映像フレームに分割する分割ステップと、
前記分割映像フレームを圧縮する圧縮ステップと、
圧縮された前記分割映像フレームを送信する送信ステップと
を実行させる送信プログラム。

【請求項8】

コンピュータに、
送信装置により送信された２Ｋ映像の映像ストリームを受信する受信ステップと、
取得した前記映像ストリームに対して伸張処理を行うことにより分割映像フレームを復元する伸張ステップと、
復元された複数の前記分割映像フレームにそれぞれ含まれる複数の画素群を、少なくとも２以上の離散した位置に統合することにより統合映像フレームに統合する統合ステップと、
統合された前記統合映像フレームを出力する出力ステップと
を実行させる受信プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、送信装置、受信装置、送信プログラム及び受信プログラムに関する。

【背景技術】

【0002】

映像信号をＩＰパケット化して汎用のイーサネットネットワーク上で伝送するための標準化が、ＳＭＰＴＥ（米国テレビ映画技術者協会）で議論されている。このように映像信号をＩＰパケット化して伝送することにより、既存のインフラを用いて映像信号を効率的に共有することのできる番組制作システム、ＩＰ制作システムを実現することが期待される。

【0003】

この標準規格及び技術を用いたライブ番組制作の手法は、ＩＰリモート制作と呼ばれている。従来、中継番組の番組制作は、中継現場に番組制作機材を輸送し機材設営を行い、中継現場で番組制作を行っていた。一方、ＩＰリモート制作では、番組制作に必要な映像や音声といった番組素材を中継現場から放送局に伝送し、放送局で番組制作を行う。ＩＰリモート制作によれば、番組制作機材は放送局に設置したまま、放送局から番組制作を行うことができる。

【0004】

ＩＰリモート制作においても従来の中継番組の質を保つため、高画質を保ったままの映像を中継現場から放送局に、リアルタイムで送信することが要求される。従来の中継番組の質を保つためには、具体的には１映像フレーム（１６．６ｍｓ）以下の遅延時間で映像を伝送することが要求される。伝送する映像はデータ量が大きいため、高画質を保ちつつ回線を効率的に利用するためには、映像を圧縮して伝送する必要がある。

【0005】

中継現場から伝送される映像は２Ｋ、４Ｋ又は８Ｋのいずれの映像フォーマットであり、番組によっては映像フォーマットが混在する場合もある。従来の映像圧縮伝送装置では、いずれかの映像フォーマットしか扱うことが出来ないため、フォーマット毎に専用の装置を用いることを要していた。また、番組に合わせて専用の装置を準備する必要があるため、機材運用に課題があった。

【0006】

そこで、４Ｋ又は８Ｋの映像を２Ｋ映像の映像に分割し、それぞれ２Ｋ×４ｃｈ、２Ｋ×１６ｃｈの映像として扱うことが考えられる。このように４Ｋ及び８Ｋの映像を複数の２Ｋ圧縮映像ストリームとして扱うことで、映像圧縮リソースを２Ｋ映像用の処理フォーマットに統一することができる。また、映像フォーマットが異なっていても、共通の一つの伝送装置で圧縮伝送することが可能となり、運用性が大きく向上する。

【0007】

４Ｋ及び８Ｋの映像の場合は、圧縮を行ってもデータ量が大きく、１０Ｇｂｐｓ（Giga bits per second）や１００Ｇｂｐｓの帯域幅を持つ広帯域なネットワークが必要となる。１００Ｇｂｐｓのネットワークより１０Ｇｂｐｓ、１Ｇｂｐｓなど狭帯域のネットワークの方が安価であるため、４Ｋ及び８Ｋ映像を複数の２Ｋ圧縮映像ストリームとして扱う方が、システムを安価に構成できる。また、狭帯域のネットワークの方が比較的どのような中継現場でもネットワークが提供されているため、利用しやすい。

【0008】

ここで、従来の分割方式として２ＳＩ（2-Sample Interleave Division）とＳＱＤ（Square Division）が知られている（例えば、非特許文献１を参照）。

【先行技術文献】

【非特許文献】

【0009】

【非特許文献1】石川孝明、映像情報メディア学会誌Ｖｏｌ．７４、Ｎｏ．１、ｐｐ．８７～９２（２０２０）、ＪＰＥＧ軽量映像圧縮技術

【発明の概要】

【発明が解決しようとする課題】

【0010】

２ＳＩを用いる場合、映像分割処理の遅延は小さいが、非分割の場合と比較して画質劣化が大きくなる。一方、ＳＱＤを用いる場合、非分割の場合と比較して画質劣化は小さいが、映像分割処理の遅延が大きい。したがって、処理遅延及び画質劣化のいずれも抑止可能な映像分割方式が求められている。

【0011】

そこで、本発明は、映像分割処理による処理遅延を抑えながら、映像分割に起因する軽圧縮処理による画質劣化を低減することが可能な送信装置、受信装置、送信プログラム及び受信プログラムを提供しようとするものである。

【課題を解決するための手段】

【0012】

［１］上記の課題を解決するため、本発明の一態様による送信装置は、撮像装置により撮像された映像ストリームを取得する映像取得部と、取得した前記映像ストリームの映像フレームを、映像フレームの縦方向及び横方向にそれぞれ連続する複数の画素を含む画素群であって少なくとも２以上の離散した位置に存在する前記画素群を有する分割映像フレームに分割する分割部と、前記分割映像フレームを圧縮する圧縮部と、圧縮された前記分割映像フレームを送信する送信部とを備えるものである。

【0013】

［２］また、本発明の一態様は、上記の送信装置において、前記分割部は、前記映像フレームを４つの前記分割映像フレームに分割し、前記送信部は、前記分割映像フレームを２Ｋ映像の映像ストリームとして送信するものである。

【0014】

［３］また、本発明の一態様は、上記の送信装置において、前記映像ストリームは、８Ｋ映像、４Ｋ映像、又は２Ｋ映像のいずれかであり、前記分割部は、前記映像フレームが８Ｋ映像である場合には４Ｋ映像の前記分割映像フレームに分割した後に２Ｋ映像の前記分割映像フレームに分割し、前記映像フレームが４Ｋ映像である場合には２Ｋ映像の前記分割映像フレームに分割し、前記映像フレームが２Ｋ映像である場合には分割しないものである。

【0015】

［４］また、本発明の一態様は、上記の送信装置において、前記分割部は、前記映像フレームを縦方向に少なくとも２つの前記画素群に分割し、横方向に少なくとも４つの前記画素群に分割し、複数の前記画素群を組み合わせて前記分割映像フレームとするものである。

【0016】

［５］また、本発明の一態様による送信装置は、前記分割部により分割される前記画素群が有する横方向のライン数である分割ライン数を取得する分割ライン数取得部を更に備え、前記分割部は、取得された前記分割ライン数ごとに前記映像フレームを横方向に分割するものである。

【0017】

［６］また、本発明の一態様による受信装置は、送信装置により送信された２Ｋ映像の映像ストリームを受信する受信部と、
取得した前記映像ストリームに対して伸張処理を行うことにより分割映像フレームを復元する伸張部と、復元された複数の前記分割映像フレームにそれぞれ含まれる複数の画素群を、少なくとも２以上の離散した位置に統合することにより統合映像フレームに統合する統合部と、統合された前記統合映像フレームを出力する出力部とを備えるものである。

【0018】

［７］また、本発明の一態様は、コンピュータに、撮像装置により撮像された映像ストリームを取得する映像取得ステップと、取得した前記映像ストリームの映像フレームを、映像フレームの縦方向及び横方向にそれぞれ連続する複数の画素を含む画素群であって少なくとも２以上の離散した位置に存在する前記画素群を有する分割映像フレームに分割する分割ステップと、前記分割映像フレームを圧縮する圧縮ステップと、圧縮された前記分割映像フレームを送信する送信ステップとを実行させる送信プログラムである。

【0019】

［８］また、本発明の一態様は、コンピュータに、送信装置により送信された２Ｋ映像の映像ストリームを受信する受信ステップと、取得した前記映像ストリームに対して伸張処理を行うことにより分割映像フレームを復元する伸張ステップと、復元された複数の前記分割映像フレームにそれぞれ含まれる複数の画素群を、少なくとも２以上の離散した位置に統合することにより統合映像フレームに統合する統合ステップと、統合された前記統合映像フレームを出力する出力ステップとを実行させる受信プログラムである。

【発明の効果】

【0020】

本発明によれば、映像分割処理による処理遅延を抑えながら、映像分割に起因する軽圧縮処理による画質劣化を低減することができる。

【図面の簡単な説明】

【0021】

【図1】本発明の第１の実施形態による番組制作システムの概略機能構成を示すブロック図である。

【図2】同実施形態による送信装置の機能構成の一例を示すブロック図である。

【図3】同実施形態による受信装置の機能構成の一例を示すブロック図である。

【図4】同実施形態による分割部が４Ｋ映像の映像フレームを２Ｋ映像の映像フレームに分割する場合の一例について説明するための図である。

【図5】同実施形態による分割部が８Ｋ映像の映像フレームを４Ｋ映像の映像フレームに分割する場合の一例について説明するための図である。

【図6】同実施形態における圧縮処理リソースを動作させるのに要するバッファについて説明するための図である。

【図7】同実施形態による送信装置の一連の動作を示すフローチャートである。

【図8】同実施形態による受信装置の一連の動作を示すフローチャートである。

【図9】同実施形態による圧縮比とＰＳＮＲの関係について示す図である。

【図10】同実施形態による遅延量を示す図である。

【図11】本発明の第２の実施形態による分割部が４Ｋ映像の映像フレームを２Ｋ映像の映像フレームに分割する場合の一例について説明するための図である。

【図12】同実施形態による送信装置の機能構成の一例を示すブロック図である。

【図13】同実施形態による分割ラインごとの遅延量を示す図である。

【図14】従来技術による画質劣化について説明するための図である。

【図15】従来技術による映像分割処理の遅延について説明するための図である。

【図16】従来技術による２ＳＩ及びＳＱＤを用いた場合の圧縮比とＰＳＮＲの関係について示す図である。

【図17】従来技術による２ＳＩ及びＳＱＤを用いた場合の遅延量を示す図である。

【発明を実施するための形態】

【0022】

［従来技術］
まず、従来技術である２ＳＩ（2-Sample Interleave Division）又はＳＱＤ（Square Division）を用いて映像分割した場合の問題点について、図１４から図１７を参照しながら説明する。

【0023】

図１４は、従来技術による画質劣化について説明するための図である。図１４（Ａ）を参照しながら、２ＳＩを用いて８Ｋ映像フレームを４つの４Ｋ映像フレームに映像分割する際の一例を説明し、図１４（Ｂ）を参照しながら、ＳＱＤを用いて８Ｋ映像フレームを４つの４Ｋ映像フレームに映像分割する際の一例について説明する。

【0024】

図１４（Ａ）及び図１４（Ｂ）は、いずれも縦４３２０［ｐｘ（ピクセル）］×横７６８０［ｐｘ］から構成される８Ｋ映像フレームを示す。各ピクセルには、１から４のうちいずれかの番号が付されている。各ピクセルに付された番号は、４つの４Ｋ映像フレームのうち、いずれの４Ｋ映像フレームに分割されるかを示す。

【0025】

まず、図１４（Ａ）を参照しながら、２ＳＩの一例について説明する。２ＳＩは、分割前の８Ｋ映像フレームにおけるピクセルを、２ピクセルずつ横方向（水平方向）にマッピングし、分割後の４Ｋ映像フレームを生成する。この際、１列分のピクセルを２ピクセルずつ交互に２つの映像フレームにマッピングする。なお、偶数列と奇数列は、それぞれ異なる映像フレームにマッピングされる。

【0026】

２ＳＩによれば、２ピクセル毎に異なる映像フレームに分割されてしまうため、分割後の４Ｋ映像フレームが有する空間周波数成分の高周波数成分の割合は、分割前の８Ｋ映像フレームが有する空間周波数特性における高周波数成分の割合と比較して、増加する。したがって、分割後の４Ｋ映像フレームを所定の方法により圧縮し、伸張した場合には、画質が劣化してしまうといった問題があった。

【0027】

なお、上述した一例においては、８Ｋ映像フレームを４つの４Ｋ映像フレームに映像分割する際の一例について説明したが、４Ｋ映像フレームを４つの２Ｋ映像フレームに映像分割する場合においても、同様の問題が発生する。

【0028】

次に、図１４（Ｂ）を参照しながら、ＳＱＤの一例について説明する。ＳＱＤは、分割前の映像フレームを、田の字に分割し分割映像フレームを生成する。８Ｋ映像フレームを１６個の２Ｋ映像フレームに分割する場合、まず、８Ｋ映像フレームを田の字に４つの４Ｋ映像フレームに分割し、更に分割後の各４Ｋ映像フレームを田の字に４つの２Ｋ映像フレームに分割する。

【0029】

ＳＱＤによれば、分割後であっても連続するピクセル情報は維持されるため、空間周波数成分を保持したまま圧縮、伸張することができる。すなわち、ＳＱＤは２ＳＩと比較して、画質劣化を抑止することができる。

【0030】

図１５は、従来技術による映像分割処理の遅延について説明するための図である。図１５（Ａ）を参照しながら、２ＳＩを用いて８Ｋ映像フレームを４つの４Ｋ映像フレームに映像分割し、分割後のそれぞれの４Ｋ映像フレームを更に４つの（すなわち、１６個の）２Ｋ映像フレームに分割する際の一例を説明し、図１５（Ｂ）を参照しながら、ＳＱＤを用いて８Ｋ映像フレームを４つの４Ｋ映像フレームに映像分割し、分割後のそれぞれの４Ｋ映像フレームを更に４つの（すなわち、１６個の）２Ｋ映像フレームに分割する際の一例について説明する。

【0031】

図１５（Ａ）及び図１５（Ｂ）は、いずれも縦４３２０［ｐｘ］×横７６８０［ｐｘ］から構成される８Ｋ映像フレームを示す。各ピクセルには、ｎ－ｍの番号（ｎ及びｍは１から４の自然数）が付されている。各ピクセルに付された番号のうち、ｎは８Ｋ映像フレームが分割される４つの４Ｋ映像フレームのうち、いずれの４Ｋ映像フレームに分割されるかを示す。また、ｍはｎで指定された４Ｋ映像フレームが分割される４つの２Ｋ映像フレームのうち、いずれの２Ｋ映像フレームに分割されるかを示す。すなわち、ピクセルに“２－３”と付されていれば、第２の４Ｋ映像フレームに分割され、更に第３の２Ｋ映像フレームに分割されることを示す。

【0032】

ここで、２Ｋフレームレート６０ｐの映像を圧縮処理するための、必要かつ適切な圧縮処理リソースの機能要件は１／６０[秒]に１９２０×１０８０[ｐｘ]の映像フレームを処理できることである。圧縮処理リソースが足りない場合、６０ｐのフレームレートを保てなくなる。逆に圧縮処理リソースが多い場合、６０ｐのフレームレートを保てる一方、高速に動作・待機が繰り返されることになり、待機時間が発生する。この待機時間を他のリソースに割り当てることは困難であり、結果として過剰なリソースが割り当てられることとなる。すなわち、圧縮リソースの性能とは、例えば２Ｋ６０ｐの圧縮処理リソースであれば２Ｋ映像を６０ｐのフレームレートを保ったまま適切なリソースが割り当てられたものである。

【0033】

具体的に、２Ｋ６０ｐ、４：２：２、１０[ｂｉｔ]の映像を処理する圧縮処理リソースの処理性能を、データ処理能力として表すと１９２０×１０８０×２０×６０≒２．５[Ｇｂｐｓ]となる。
８Ｋの場合、８Ｋを処理するのに必要な圧縮処理リソースの処理能力は４０[Ｇｂｐｓ]である。８Ｋを２Ｋ１６枚に分割して処理する場合、圧縮処理全体のリソースとしては４０[Ｇｂｐｓ]であることは変わらないため、２Ｋ用の圧縮処理リソース性能２．５[Ｇｂｐｓ]を１６個並列動作させて疑似的に合計４０[Ｇｂｐｓ]の性能を出す必要がある。
同様に、４Ｋの場合、２Ｋ用の圧縮処理リソース性能２．５[Ｇｂｐｓ]を４個並列動作させて疑似的に合計１０[Ｇｂｐｓ]の性能を出す必要がある。

【0034】

したがって、映像分割を行い映像圧縮処理するためにはバッファリングをする必要があり、バッファリングのために要する時間が映像分割処理における遅延時間となる。以降の説明において、バッファリングのために要する時間（すなわち、すべての圧縮処理リソースが動作し始めるまでの時間）を、単に遅延時間と記載する場合がある。

【0035】

まず、図１５（Ａ）を参照しながら、２ＳＩの一例について説明する。２ＳＩによれば、映像信号は映像フレームの１ライン上を左から右に向かって、また上から下方向に向かってライン毎に出力されるため、縦方向（垂直方向）に４［ｐｘ］、及び横方向に７［ｐｘ］処理を進めた時点で初めて１６個目の２Ｋ映像フレームについての処理が開始される。換言すれば、図中太線で示したピクセルの処理中は全てのリソースが動作していない状態である。

【0036】

次に、図１５（Ｂ）を参照しながら、ＳＱＤの一例について説明する。ＳＱＤによれば、映像信号は映像フレームの１ライン上を左から右に向かって、また上から下方向に向かってライン毎に出力されるため、縦方向に３２４１［ｐｘ］、及び横方向に５７６１［ｐｘ］処理を進めた時点で初めて１６個目の２Ｋ映像フレームについての処理が開始される。換言すれば、図中太線で示したピクセルの処理中は全てのリソースが動作していない。したがって、ＳＱＤによれば、２ＳＩと比較して処理遅延が大きいという問題があった。

【0037】

図１６は、従来技術による２ＳＩ及びＳＱＤを用いた場合の圧縮比とＰＳＮＲの関係について示す図である。同図は、２ＳＩ又はＳＱＤを用いた場合の画質劣化を、ＰＳＮＲ（Peak signal-to-noise ratio）を用いてシミュレーション評価した結果を示す図である。具体的には、２ＳＩ又はＳＱＤを用いて８Ｋ映像フレームを２Ｋ映像フレームに１６分割した後、軽圧縮技術のひとつであるＪＰＥＧ ＸＳを用いて圧縮および伸張し、伸張した分割映像を統合した映像フレームと元の８Ｋ映像フレームを、ＰＳＮＲを用いて評価した結果を示す。
図１６（Ｂ）及び図１６（Ｄ）には、測定結果を示した表を、図１６（Ａ）及び図１６（Ｃ）には、測定結果をプロットした表を示す。それぞれの図には、画質劣化の程度を評価するため、映像を分割せずにＪＰＥＧ ＸＳを用いて圧縮および伸張した場合の結果も示している。

【0038】

図１６（Ａ）及び図１６（Ｂ）の一例は、映像情報メディア学会が提供する超高精細・広色域標準動画像 Ｂシリーズから“No.1 水球（ゴール） ［Water polo（goal）］”のうち１映像フレームを評価映像として用いた場合の一例である（以下、評価映像１として記載する）。図１６（Ｃ）及び図１６（Ｄ）の一例は、同シリーズから“No.3 競馬（ダート） ［Horse race（dirt）］”のうち１映像フレームを評価映像として用いた場合の一例である（以下、評価映像２として記載する）。
評価映像１と評価映像２の空間周波数成分を比較すると、評価映像２の方がより空間周波数成分の高い成分が多い。

【0039】

２ＳＩの場合、評価映像１において、分割しなかった場合と比較して約１．５から１．７［ｄＢ（デシベル）］の画質劣化が生じている。また、評価映像２において、分割しなかった場合と比較して約４．０から４．２［ｄＢ］の画質劣化が生じている。すなわち、２ＳＩによれば、映像分割を行ったことによる映像圧縮伸張処理の画質劣化が大きい。
なお、評価映像２は、評価映像１より空間周波数成分の高い成分が多いため、より画質劣化が生じていると考えられる。

【0040】

一方、ＳＱＤは評価映像１及び評価映像２のいずれにおいても、分割しなかった場合と比較して最大で約０．２［ｄＢ］の画質劣化に抑えられている。すなわち、ＳＱＤによれば、映像分割を行ったことによる映像圧縮伸張処理の画質劣化が小さい。

【0041】

図１７は、従来技術による２ＳＩ及びＳＱＤを用いた場合の遅延量を示す図である。同図は、２ＳＩとＳＱＤの分割処理によって生じる処理遅延を示す。２ＳＩとＳＱＤそれぞれについて、４Ｋ映像を２Ｋ映像に分割した場合の処理遅延と、８Ｋ映像を２Ｋ映像に分割した場合の処理遅延とを示す。

【0042】

２ＳＩによれば、処理遅延は４Ｋ映像の場合１５．４［μｓ（マイクロ秒）］、８Ｋ映像の場合も１５．４［μｓ］であり十分に小さい。一方、ＳＱＤによれば、処理遅延は４Ｋ映像の場合８．３［ｍｓ（ミリ秒）］、８Ｋ映像の場合１２．５［ｍｓ］であり、２ＳＩと比較して大きい。
ＩＰリモート制作が要求する遅延量は、１６．６［ｍｓ］であるため、他に伝送に要するファイバ距離などの伝送遅延を踏まえると、ＳＱＤによる処理遅延は大き過ぎることが課題である。

【0043】

そこで、本発明においては、２ＳＩを用いた場合に生じる画質劣化を低減しつつ、かつＳＱＤを用いた場合に生じる処理遅延を抑止することを目的とする。

【0044】

［実施形態］
まず、実施形態の前提となる事項を説明する。

【0045】

本実施形態に係る番組制作システム１００は、撮影現場２において撮影及び録音された、番組制作に必要な映像や音声といった番組素材を、番組制作現場３に伝送する。番組制作システム１００は、映像伝送システム１と、音声伝送システム４とを含む。番組制作に必要な映像素材として、８Ｋ、４Ｋ又は２Ｋの映像素材が混在しているものとする。

【0046】

撮影現場２においては、８Ｋ、４Ｋ、又は２Ｋの映像素材をそれぞれ撮影するための専用のカメラが備えられる。映像伝送システム１は、８Ｋで撮影された映像素材を１６個の２Ｋの映像ストリームに分割し、４Ｋで撮影された映像素材を４個の２Ｋの映像ストリームに分割する。映像伝送システム１は、２Ｋで撮影された映像素材については分割を行わない。

【0047】

映像伝送システム１は、２Ｋの映像ストリームに統一された映像ストリームを圧縮し、番組制作現場３に伝送する。ここで、映像伝送システム１が圧縮する映像ストリームは２Ｋに統一されているため、２Ｋ用の圧縮リソースを用いて圧縮することができる。すなわち、映像伝送システム１は、８Ｋ用の圧縮リソースと４Ｋ用の圧縮リソースとを備えることを要しない。

【0048】

ここで、圧縮技術としては、画質劣化の少ない、低遅延で圧縮可能な、軽圧縮と呼ばれる圧縮手法が用いられる。この圧縮手法は、ＨＥＶＣ（High Efficiency Video Coding）といった高圧縮率のコーデックと異なり、圧縮率を１／４から１／１０程度に抑えることで、ラインレベルの低遅延を実現する。具体的には、ＬＬＶＣ（Low Latency Video Codec）、ＶＣ２、ＴＩＣＯ（Tiny Codec）、ＪＰＥＧ ＸＳ（ＸＳは、eXtra Speed eXtra Smallの略）といった手法が存在し、用いられている。

【0049】

これらの手法のうち、ＪＰＥＧ ＸＳのみについては、国際標準化が完了している。ＪＰＥＧ ＸＳを用いたＩＰ制作システムにおける圧縮信号のパケタイズについては、ＩＳＯ／ＩＥＣ ２１１２２において明らかにされている。本実施形態においては、ＪＰＥＧ ＸＳを用いて圧縮する場合の一例について説明する。

【0050】

映像伝送システム１は、２Ｋの映像ストリームをＪＰＥＧ ＸＳにより軽圧縮した後、ＩＰパケット化およびイーサネットフレーム化し、番組制作現場３に伝送する。番組制作現場３ではＩＰデパケットおよびイーサネットデフレーム化を行い、映像復号後、分割された画像を統合し映像を出力する。
番組制作現場３では、統合後の８Ｋ、４Ｋの映像素材、又は２Ｋの映像素材を用いて番組制作を行う。

【0051】

［第１の実施形態］
以下、本発明の第１の実施形態について、図面を参照しながら説明する。

【0052】

［映像伝送システムの機能構成］
図１は、本発明の第１の実施形態による番組制作システムの概略機能構成を示すブロック図である。同図を参照しながら番組制作システム１００の概略機能構成について説明する。番組制作システム１００は、複数の撮像装置（カメラ）１０と、複数の集音装置（マイク）１１と、映像伝送システム１と、音声伝送システム４と、番組編集システム３８とを含む。
映像伝送システム１は、撮影現場２において、送信装置２０と、ネットワークスイッチ２７とを備える。また、映像伝送システム１は、番組制作現場３において、ネットワークスイッチ３７と、受信装置３０とを備える。
音声伝送システム４は、撮影現場２において、ＩＰゲートウェイ２６と、ネットワークスイッチ２７とを備える。また、音声伝送システム４は、番組制作現場３において、ネットワークスイッチ３７と、ＩＰゲートウェイ３６とを備える。

【0053】

映像伝送システム１には、複数の撮像装置１０として、撮像装置１０－１と、撮像装置１０－２と、撮像装置１０－３とを接続する。撮像装置１０－１は２Ｋの映像ストリームを、撮像装置１０－２は４Ｋの映像ストリームを、撮像装置１０－３は８Ｋの映像ストリームを、それぞれ撮影する。
また、音声伝送システム４には、複数の集音装置１１として、集音装置１１－１と、集音装置１１－２と、集音装置１１－３とを接続する。集音装置１１－１、集音装置１１－２、及び集音装置１１－３は、それぞれ撮像装置１０－１、撮像装置１０－２、及び撮像装置１０－３に応じた音声情報を集音し、集音した音声情報を所定の方法により録音する。

【0054】

送信装置２０は、撮像装置１０により撮影された８Ｋ、４Ｋの映像ストリームを２Ｋの映像ストリームに分割し、２Ｋの映像ストリームはそのまま軽圧縮方式を用いて圧縮する。また、送信装置２０は、圧縮された映像ストリームをＩＰパケット化及びイーサネットフレーム化する。送信装置２０は、ネットワークスイッチ２７を介して、ＩＰパケット化及びイーサネットフレーム化した映像ストリームを番組制作現場３に送信する。送信装置２０の詳細な機能構成については後述する。

【0055】

ＩＰゲートウェイ２６は、集音装置１１により録音された音声データをＩＰパケット化及びイーサネットフレーム化する。ＩＰゲートウェイ２６は、ネットワークスイッチ２７を介して、ＩＰパケット化及びイーサネットフレーム化した音声データを番組制作現場３に送信する。

【0056】

ネットワークスイッチ２７及びネットワークスイッチ３７は、映像伝送システム１及び音声伝送システム４を構成する機器であり、ＩＰパケットを転送する。ネットワークスイッチ２７及びネットワークスイッチ３７は、複数の入力ポートと複数の出力ポートを備える。
具体的には、ネットワークスイッチ２７は、送信装置２０から送出されたＩＰパケットと、ＩＰゲートウェイ２６から送出されたＩＰパケットを受信し、番組制作現場３に設置されたネットワークスイッチ３７に転送する。ネットワークスイッチ２７は、ＩＰパケットのヘッダーを参照することにより、受信したパケットを宛先に対応する出力ポートに出力する。

【0057】

ネットワークスイッチ３７は、ネットワークスイッチ２７により送信されたＩＰパケットを受信する。ネットワークスイッチ３７は、受信したＩＰパケットを受信装置３０及びＩＰゲートウェイ３６に出力する。

【0058】

受信装置３０は、取得した情報をイーサネットデフレーム化及びＩＰデパケット化する。受信装置３０は、ＩＰデパケット化により得られる映像ストリームであって、送信装置２０により圧縮された映像ストリームを一旦２Ｋの映像ストリームに伸張し、送信装置２０によって８Ｋ又は４Ｋの映像ストリームを分割して生成された２Ｋの映像ストリームに対応する伸張した映像ストリームを８Ｋ又は４Ｋの映像ストリームに統合する。また、受信装置３０は、統合された映像ストリームを番組編集システム３８に出力する。受信装置３０の詳細な機能構成については後述する。

【0059】

ＩＰゲートウェイ３６は、取得した情報をイーサネットデフレーム化及びＩＰデパケット化する。ＩＰゲートウェイ３６は、ＩＰデパケット化により得られる音声データを番組編集システム３８に出力する。

【0060】

番組編集システム３８は、撮影現場２から伝送された映像ストリームと音声データとに基づき、番組を制作する。具体的には、番組編集システム３８は、表示装置４０と、映像切替装置３８１と、映像編集装置３８２と、音声合成装置３８３とを備える。

【0061】

表示装置４０は、受信装置３０から受信した８Ｋ、４Ｋ又は２Ｋの映像ストリームを表示する。映像切替装置３８１は、表示装置４０に表示された映像材料のうち、いずれの映像を番組に用いるかを切り替える。映像編集装置３８２は、受信装置３０から受信した映像材料を編集する。音声合成装置３８３は、ＩＰゲートウェイ３６から受信した音声データと、映像材料とを合成する。

【0062】

［送信装置の機能構成］
図２は、同実施形態による送信装置の機能構成の一例を示すブロック図である。同図を参照しながら、送信装置２０の機能構成の一例について説明する。送信装置２０は、映像取得部２１０と、分割部２２０と、圧縮部２３０と、送信バッファ（送信部）２４０とを備える。

【0063】

映像取得部２１０は、撮像装置１０により撮像された映像ストリームＶＳを取得する。映像取得部２１０は、８Ｋ、４Ｋ又は２Ｋの映像ストリームＶＳを取得する。

【0064】

分割部２２０は、映像取得部２１０により取得された映像ストリームＶＳの映像フレームＶＦを、分割映像フレームＤＶＦに分割する。分割部２２０は、具体的には、取得した映像ストリームＶＳの映像フレームＶＦが８Ｋである場合には、４Ｋの分割映像フレームＤＶＦに分割した後に２Ｋの分割映像フレームＤＶＦに分割する。また、取得した映像ストリームの映像フレームが４Ｋである場合には、２Ｋの分割映像フレームＤＶＦに分割する。すなわち、分割部２２０は、映像フレームＶＦを４つの分割映像フレームＤＶＦに分割する。
なお、分割部２２０は、取得した映像ストリームＶＳの映像フレームＶＦが２Ｋである場合には、分割しない。

【0065】

圧縮部２３０は、分割部２２０により２Ｋの映像フレームＶＦに分割された分割映像フレームＤＶＦを圧縮する。圧縮部２３０は、軽圧縮処理により、分割映像フレームＤＶＦを圧縮する。

【0066】

送信バッファ２４０は、圧縮部２３０により圧縮された分割映像フレームＤＶＦである圧縮映像ストリームＣＶＳを送信する。
圧縮映像ストリームＣＶＳは、分割部２２０により２Ｋの映像ストリームに分割されているため、送信バッファ２４０は、分割映像フレームＤＶＦを２Ｋ映像の映像ストリームとして送信する。

【0067】

［受信装置の機能構成］
図３は、同実施形態による受信装置の機能構成の一例を示すブロック図である。同図を参照しながら、受信装置３０の機能構成の一例について説明する。受信装置３０は、受信バッファ（受信部）３１０と、伸張部３２０と、統合部３３０と、出力部３４０とを備える。

【0068】

受信バッファ３１０は、送信装置２０により送信された２Ｋ映像の圧縮映像ストリームＣＶＳを受信する。

【0069】

伸張部３２０は、受信バッファ３１０が取得した圧縮映像ストリームＣＶＳに対して伸張処理を行うことにより、分割映像フレームＤＶＦを復元する。

【0070】

統合部３３０は、復元された複数の分割映像フレームＤＶＦを統合することにより統合映像フレームＩＶＦに統合する。統合部３３０は、具体的には４つの分割映像フレームＤＶＦを統合することにより４Ｋ映像フレームに統合し、１６個の分割映像フレームＤＶＦを統合することにより８Ｋ映像フレームに統合する。

【0071】

出力部３４０は、統合された統合映像フレームＩＶＦを表示装置４０に出力する。

【0072】

［ＭＣＤによる映像分割］
図４は、同実施形態による分割部が４Ｋ映像の映像フレームを２Ｋ映像の映像フレームに分割する場合の一例について説明するための図である。本実施形態における映像分割方式を、ＭＣＤ（Multi-Cross Division）と記載する。同図を参照しながら、ＭＣＤ方式による映像分割方法について説明する。
同図を参照しながら、４Ｋ映像フレームをＭＣＤにより２Ｋ映像フレームに分割する場合の一例について説明する。図４（Ａ）は、分割前の４Ｋ映像フレームを、図４（Ｂ）は、分割後の２Ｋ映像フレームを示す。

【0073】

ＭＣＤ方式は、映像フレームの左半分と右半分について、特定の分割ライン毎に上から順に分割することにより、分割映像フレームを生成する。同図には、５４０ラインごとに分割する場合の一例について説明する。
以降の説明において、横方向及び縦方向に連続する複数の画素を画素群と記載する。１の画素群は、映像フレームの縦方向及び横方向にそれぞれ連続する複数の画素を含む。同図において、それぞれの画素群には、１から８の番号が付されている。それぞれの画素群を画素群１から画素群８と記載する場合がある。

【0074】

映像フレームの左半分のフレームに着目すると１ラインから５４０ラインまで（画素群１）が第１分割映像フレームに、５４１ラインから１０８０ライン（画素群３）が第３分割映像フレームに、１０８１ラインから１６２０ライン（画素群５）が第1分割映像フレームに、１６２１ラインから２１６０ライン（画素群７）が第３分割映像フレームに、割り当てられる。

【0075】

同様に映像フレームの右半分のフレームに着目すると、１ラインから５４０ライン（画素群２）までが第２分割映像フレームに、５４１ラインから１０８０ライン（画素群４）が第４分割映像フレームに、１０８１ラインから１６２０ライン（画素群６）が第２分割映像フレームに、１６２１ラインから２１６０ライン（画素群８）が第４分割映像フレームに、割り当てられる。

【0076】

ここで、それぞれの画素群の横方向の画素数は、映像フレームが横方向に有する画素数の半分である。また、それぞれの画素群の縦方向の画素数は任意であるが、１３５ライン以上（例えば、１３５ライン、２７０ライン、又は５４０ライン）が好適である。

【0077】

分割映像フレームＤＶＦは、少なくとも２以上の離散した位置に存在する画素群を有する。例えば、図４（Ｂ）に図示するように、４Ｋの映像フレームＶＦを、分割映像フレームＤＶＦ１から分割映像フレームＤＶＦ４の４つの２Ｋの分割映像フレームＤＶＦに分割する場合について説明する。この場合、分割映像フレームＤＶＦ１は画素群１及び画素群５のように、分割映像フレームＤＶＦ３は画素群３及び画素群７のように、分割映像フレームＤＶＦ２は画素群２及び画素群６のように、分割映像フレームＤＶＦ４は画素群４及び画素群８のように、２つの離散した位置に存在する画素群を有する。

【0078】

すなわち、分割部２２０は、映像フレームＶＦを、映像フレームＶＦの縦方向及び横方向にそれぞれ連続する複数の画素を含む画素群であって、少なくとも２以上の離散した位置に存在する画素群を有する分割映像フレームＤＶＦに分割する。
また、統合部３３０は、複数の分割映像フレームＤＶＦにそれぞれ含まれる複数の画素群を、少なくとも２以上の離散した位置に統合することにより、統合映像フレームＩＶＦに統合する。

【0079】

より具体的には、分割部２２０は、映像フレームＶＦを縦方向に少なくとも２つの画素群に分割する。また、分割部２２０は、映像フレームＶＦを横方向に少なくとも４つの画素群に分割する。分割部２２０は、分割した複数の画素群を組み合わせて分割映像フレームＤＶＦとする。

【0080】

図５は、同実施形態による分割部が８Ｋ映像の映像フレームを４Ｋ映像の映像フレームに分割する場合の一例について説明するための図である。同図を参照しながら、８Ｋ映像フレームをＭＣＤにより４Ｋ映像フレームに分割する場合の一例について説明する。図５（Ａ）は、分割前の８Ｋ映像フレームを、図５（Ｂ）は、分割後の４Ｋ映像フレームを示す。

【0081】

８Ｋ映像の映像フレームを２Ｋ映像の映像フレームに分割する場合、分割部２２０は、まず４Ｋの場合と同様の処理により４分割を行う。次に分割部２２０は、分割された４Ｋの分割映像フレームを、４Ｋの場合と同様の処理により再度２Ｋの分割映像フレームに分割する。
図５を参照しながら行う説明においては、８Ｋ映像の映像フレームを４Ｋ映像の映像フレームに分割する場合の一例について説明する。

【0082】

映像フレームの左半分のフレームに着目すると１ラインから１０８０ライン（画素群１）までが第１分割映像フレームに、１０８１ラインから２１６０ライン（画素群３）が第３分割映像フレームに、２１６１ラインから３２４０ライン（画素群５）が第1分割映像フレームに、３２４１ラインから４３２０ライン（画素群７）が第３分割映像フレームに、割り当てられる。

【0083】

同様に映像フレームの右半分のフレームに着目すると、１ラインから１０８０ライン（画素群２）までが第２分割映像フレームに、１０８１ラインから２１６０ライン（画素群４）が第４分割映像フレームに、２１６１ラインから３２４０ライン（画素群６）が第２分割映像フレームに、３２４１ラインから４３２０ライン（画素群８）が第４分割映像フレームに、割り当てられる。

【0084】

ここで、それぞれの画素群の横方向の画素数は、映像フレームが横方向に有する画素数の半分である。また、それぞれの画素群の縦方向の画素数は任意であるが、２７０ライン以上（例えば、２７０ライン、５４０ライン、又は１０８０ライン）が好適である。

【0085】

図６は、同実施形態における圧縮処理リソースを動作させるのに要するバッファについて説明するための図である。同図を参照しながら、ＭＣＤを用いて８Ｋ映像フレームを４つの４Ｋ映像フレームに映像分割し、分割後のそれぞれの４Ｋ映像フレームを更に４つの（すなわち、１６個の）２Ｋ映像フレームに分割する際の一例について説明する。
同図は、縦４３２０［ｐｘ］×横７６８０［ｐｘ］から構成される８Ｋ映像フレームを示す。各ピクセルには、ｎ－ｍの番号（ｎ及びｍは１から４の自然数）が付されている。各ピクセルに付された番号のうち、ｎは４つの４Ｋ映像フレームのうち、いずれの４Ｋ映像フレームに分割されるかを示す。また、ｍは４つの２Ｋ映像フレームのうち、いずれの２Ｋ映像フレームに分割されるかを示す。すなわち、ピクセルに“２－３”と付されていれば、第２の４Ｋ映像フレームに分割され、更に第３の２Ｋ映像フレームに分割されることを示す。

【0086】

分割後のそれぞれの２Ｋ映像フレームには、映像圧縮リソースが１対１で対応する。すなわち、第１の２Ｋ映像フレームには第１の映像圧縮リソースが対応し、…、第ｍの２Ｋ映像フレームには第ｍの映像圧縮リソースが対応する。

【0087】

バッファ処理は、送信装置２０側、又は受信装置３０側のいずれで行われてもよい。すなわち、送信装置２０側でバッファ処理が行われた場合、受信装置３０側でバッファ処理をする必要はなく、逆に送信装置２０側でバッファ処理が行われない場合、受信装置３０側でバッファ処理をする必要がある。
例えば、送信装置２０が備える圧縮部２３０がバッファ処理を行ってもよい。

【0088】

ＭＣＤによれば、横方向に順に処理を進める場合、縦方向（垂直方向）に１６２１［ｐｘ］、及び横方向に５７６１［ｐｘ］処理を進めた時点で初めて１６個目の２Ｋ映像フレームについての処理が開始される。換言すれば、図中太線で示したピクセルの処理が完了した時点において、すべてのリソースが動作し始めることができる。

【0089】

［映像伝送システムの動作］
図７は、同実施形態による送信装置の一連の動作を示すフローチャートである。同図を参照しながら、送信装置２０の一連の動作について説明する。
（ステップＳ１１０）映像取得部２１０は、撮像装置１０により撮像された映像ストリームＶＳを取得する。
（ステップＳ１２０）分割部２２０は、取得した映像ストリームＶＳの映像フレームＶＦを、ＭＣＤにより分割する。この際、分割部２２０は、取得した映像ストリームＶＳが４Ｋ映像である場合は一度、８Ｋ映像である場合は繰り返し４分割することにより、２Ｋ映像となるよう分割する。
（ステップＳ１３０）圧縮部２３０は、２Ｋ映像に分割された分割映像フレームＤＶＦを圧縮する。
（ステップＳ１４０）送信バッファ２４０は、ネットワークスイッチ２７を介して、圧縮された圧縮映像ストリームＣＶＳを送信する。

【0090】

図８は、同実施形態による受信装置の一連の動作を示すフローチャートである。同図を参照しながら、受信装置３０の一連の動作について説明する。
（ステップＳ２１０）受信バッファ３１０は、送信装置２０により送信された２Ｋ映像の圧縮映像ストリームＣＶＳを取得する。
（ステップＳ２２０）伸張部３２０は、取得した２Ｋ映像の圧縮映像ストリームＣＶＳを伸張処理することにより、分割映像フレームＤＶＦを復元する。
（ステップＳ２３０）統合部３３０は、分割映像ストリームＤＶＦを統合することにより、４Ｋ又は８Ｋの統合映像フレームＩＶＦに統合する。
（ステップＳ２４０）出力部３４０は、統合映像フレームＩＶＦを出力する。

【0091】

［映像伝送システムの効果］
図９は、同実施形態による圧縮比とＰＳＮＲの関係について示す図である。同図は、ＭＣＤを用いて８Ｋ映像フレームを２Ｋ映像フレームに１６分割した後、ＪＰＥＧ ＸＳを用いて圧縮および伸張し、伸張した分割映像を統合して８Ｋ映像フレームに戻した場合の画質劣化を、ＰＳＮＲを用いて測定した結果を示す。
図９（Ｂ）及び図９（Ｄ）には、測定結果を示した表を、図９（Ａ）及び図９（Ｃ）には、測定結果をプロットした表を示す。それぞれの図には、画質劣化の程度を評価するため、映像を分割しなかった場合の結果と、２ＳＩ及びＳＱＤを用いた場合の結果についても併せて示している。

【0092】

図９（Ａ）及び図９（Ｂ）の一例は、図１６において示した評価映像１を用いた場合の一例である。図９（Ｃ）及び図９（Ｄ）の一例は、図１６において示した評価映像２を用いた場合の一例である。
両映像フレーム共に画質劣化は最大でも約０．２［ｄＢ］であり、２ＳＩと比較して大きく画質劣化が低減していることが分かる。また、ＳＱＤと同程度に抑えられていることが分かる。

【0093】

図１０は、同実施形態による遅延量を示す図である。同図は、ＭＣＤの分割処理によって生じる処理遅延を示す。同図には、４Ｋ映像を２Ｋ映像に分割した場合の処理遅延と、８Ｋ映像を２Ｋ映像に分割した場合の処理遅延とを示す。また、遅延量の程度を評価するため、２ＳＩ及びＳＱＤを用いた場合の結果についても併せて示している。

【0094】

ＭＣＤによれば、４Ｋの場合、４．２［ｍｓ］であり、８Ｋの場合、６．２［ｍｓ］である。２ＳＩの場合に比べると処理遅延が大きくなるが、ＳＱＤの場合に比べると、約半分程度に処理遅延を抑えられていることが分かる。
画質劣化と処理遅延とを総合考慮すると、ＭＣＤでは、ＳＱＤと同程度の画質劣化に抑えることができる一方、ＳＱＤの約半分程度に処理遅延を抑えることができている。したがって、ＭＣＤによれば、２ＳＩの欠点であった画質劣化を抑止することができ、更にＳＱＤの欠点であった処理遅延を改善することができる。

【0095】

［第１の実施形態のまとめ］
以上説明した実施形態によれば、送信装置２０は、映像取得部２１０を備えることにより撮像装置１０により撮像された映像ストリームＶＳを取得し、分割部２２０を備えることによりＭＣＤを用いて８Ｋ又は４Ｋの映像フレームＶＦを２Ｋ映像の映像フレームに分割し、圧縮部２３０を備えることにより分割映像フレームＤＶＦを圧縮し、送信バッファ２４０を備えることにより圧縮映像ストリームＣＶＳを出力する。
ＭＣＤによれば、分割部２２０により分割される分割映像フレームＤＶＦは、少なくとも２以上の離散した位置に存在する画素群を有する。ここで、画素群は、映像フレームＶＦの縦方向及び横方向にそれぞれ連続する複数の画素を含む。

【0096】

したがって、本実施形態によれば、分割後であっても連続するピクセル情報は維持されるため、空間周波数成分を保持したまま圧縮することができる。すなわち、画質劣化を抑止することができる。
また、本実施形態によれば、分割前の映像フレームを田の字に４つに分割するＳＱＤと比較して、より細かく分割するため、全てのリソースが動作し始めるタイミングが早い。よって、処理遅延を抑えることができる。

【0097】

また、以上説明した実施形態によれば、分割部２２０は映像フレームＶＦを４つの分割映像フレームＤＶＦに分割し、送信バッファ２４０は分割映像フレームＤＶＦを２Ｋの圧縮映像ストリームＣＶＳとして出力する。したがって、本実施形態によれば、２Ｋの映像ストリームＶＳに統一して撮影現場２及び番組制作現場３間の伝送を行うため、２Ｋ４Ｋ８Ｋ毎にフォーマット専用の映像圧縮伝送装置が不要となる。したがって、本実施形態に係る送信装置２０及び受信装置３０によれば、使用フォーマットが異なる様々な現場であっても、２Ｋ４Ｋ８Ｋ毎にフォーマット専用の映像圧縮伝送装置を要せず、柔軟に運用することができる。したがって、低コスト化及び装置の小型化をすることができる。

【0098】

また、以上説明した実施形態によれば、映像取得部２１０が取得する映像ストリームＶＳは、８Ｋ映像、４Ｋ映像、又は２Ｋ映像のいずれかである。また、分割部２２０は、８Ｋ映像を４Ｋ映像に４分割した後に、２Ｋ映像に更に４分割する。したがって、本実施形態によれば、８Ｋ映像を４Ｋ映像にする場合も、４Ｋ映像を２Ｋ映像に分割する場合も、同様のアルゴリズムを用いることができる。よって、本実施形態によれば、アルゴリズムを簡略化することができる。

【0099】

また、以上説明した実施形態によれば、分割部２２０は、映像フレームＶＦを縦方向に少なくとも２つの画素群に分割し、横方向に少なくとも４つの画素群に分割し、複数の画素群を組み合わせて分割映像フレームＤＶＦとする。したがって、本実施形態によれば、連続する画素の情報を維持することができるため、空間周波数成分の情報を失わずに分割することができる。すなわち、画質劣化を抑止することができる。

【0100】

［第２の実施形態］
次に、第２の実施形態について説明する。第２の実施形態においては、分割ライン数が可変である点において、第１の実施形態とは異なる。分割ライン数とは、ＭＣＤにより横方向に分割されるライン数のことであり、換言すれば、画素群が有する縦方向の画素数である。
例えば、上述した第１の実施形態においては、４Ｋ映像フレームの場合、分割ラインは５４０ラインに固定され、８Ｋ映像フレームの場合、分割ラインは１０８０ラインに固定されていた。第２の実施形態によれば、例えば、４Ｋ映像フレームの場合、分割ラインは１３５、２７０、５４０ラインであってもよいし、８映像フレームの場合、分割ラインは２７０、５４０、１０８０ラインであってもよい。

【0101】

図１１は、本発明の第２の実施形態による分割部が４Ｋ映像の映像フレームを２Ｋ映像の映像フレームに分割する場合の一例について説明するための図である。同図を参照しながら、第２の実施形態におけるＭＣＤ方式による映像分割方法について説明する。
同図を参照しながら、４Ｋ映像フレームを第２の実施形態におけるＭＣＤにより２Ｋ映像フレームに分割する場合の一例について説明する。図１１（Ａ）は、分割前の４Ｋ映像フレームを、図１１（Ｂ）は、分割後の２Ｋ映像フレームを示す。
なお、８Ｋ映像フレームを４Ｋ映像フレームに分割する場合については説明を省略するが、４Ｋ映像フレームを２Ｋ映像フレームに分割する場合と同様のアルゴリズムが用いられてもよい。

【0102】

第２の実施形態におけるＭＣＤ方式は、映像フレームの左半分と右半分に分割する点においては、第１の実施形態におけるＭＣＤ方式と同様である。第２の実施形態におけるＭＣＤ方式は、上から順に分割する際の分割ライン数が可変である点において、第１の実施形態とは異なる。同図には、２７０ラインごとに分割する場合の一例について示している。

【0103】

同図に示すように、分割前の４Ｋ映像フレームは１６個の画素群に分割され、分割後の２Ｋ映像フレームは、それぞれ４個の画素群を含んで構成される。具体的には、分割前の４Ｋ映像フレームのうち、左半分が奇数の画素群に分割され、右半分が偶数の画素群に分割されている。
分割映像フレームＤＶＦ１は、画素群１、画素群５、画素群９、画素群１３を有し、分割映像フレームＤＶＦ３は、画素群３、画素群７、画素群１１、画素群１５を有し、分割映像フレームＤＶＦ２は、画素群２、画素群６、画素群１０、画素群１４を有し、分割映像フレームＤＶＦ４は、画素群４、画素群８、画素群１２、画素群１６を有する。

【0104】

例えば、分割ライン数を５４０ラインから、２７０ライン、１３５ラインと、小さくしていくに従い、画素群の大きさは小さくなる。したがって、分割ライン数を小さくするほど、遅延時間が短くなる。一方、分割ライン数を小さくするほど、連続するピクセル情報が失われてしまうことにもなるため、画質劣化は大きくなる。

【0105】

このように、分割ライン数を可変させることにより処理遅延と画質劣化において相反する結果が生じる。第２の実施形態においては、分割ライン数を可変させることができる。分割ライン数の決定は、例えばユーザの設定により行われてもよい。

【0106】

図１２は、同実施形態による送信装置の機能構成の一例を示すブロック図である。同図を参照しながら、送信装置２０Ａの機能構成の一例について説明する。送信装置２０Ａは、分割ライン数取得部２５０を新たに備え、分割部２２０に代えて分割部２２０Ａを備える点において、送信装置２０とは異なる。

【0107】

分割ライン数取得部２５０は、分割ライン数ＤＬを取得する。分割ライン数ＤＬとは、分割部２２０により分割される画素群が有する横方向のライン数である。分割ライン数ＤＬは、不図示の記憶部に記憶されていてもよいし、ユーザの操作に基づいて取得されてもよい。また、分割ライン数ＤＬは、映像ストリームＶＳのサイズ等に応じて自動的に決定されてもよい。

【0108】

分割部２２０Ａは、映像取得部２１０から映像ストリームＶＳを取得し、分割ライン数取得部２５０から分割ライン数ＤＬを取得する。分割部２２０Ａは、取得した映像ストリームＶＳの映像フレームＶＦを、取得した分割ライン数ＤＬに応じてＭＣＤにより分割する。具体的には、分割部２２０Ａは、取得された分割ライン数ＤＬごとに映像フレームＶＦを横方向に分割する。

【0109】

図１３は、同実施形態による分割ラインごとの遅延量を示す図である。同図は、第２の実施形態によるＭＣＤの分割処理によって生じる処理遅延を示す。同図には、分割ライン数ＤＬを可変させた場合の処理遅延を示す。具体的には、４Ｋ映像について、分割ライン数ＤＬを１３５ライン、２７０ライン、５４０ラインとした場合の処理遅延を示す。また、８Ｋ映像について、分割ライン数ＤＬを２７０ライン、５４０ライン、１０８０ラインとした場合の処理遅延を示す。８Ｋ映像から４Ｋ映像に分割した後の、４Ｋ映像から２Ｋ映像に分割する処理においては、８Ｋ映像から４Ｋ映像に分割する際の分割ライン数ＤＬの半分の値を用いた。

【0110】

４Ｋの場合、分割ライン数ＤＬが１３５ラインのとき１．０[ｍｓ]、２７０ラインのとき２．１[ｍｓ]、５４０ラインのとき４．２[ｍｓ]であった。
８Ｋの場合、分割ライン数ＤＬが、８Ｋから４Ｋが２７０ラインで４Ｋから２Ｋが１３５ラインのとき１．６[ｍｓ]、８Ｋから４Ｋが５４０ラインで４Ｋから２Ｋが２７０ラインのとき３．１[ｍｓ]、８Ｋから４Ｋが１０８０ラインで４Ｋから２Ｋが５４０ラインのとき６．２[ｍｓ]であった。
処理遅延時間は分割ライン数ＤＬに依存するが、ＳＱＤと比較して遅延を抑えられていることが分かる。

【0111】

［第２の実施形態のまとめ］
以上説明した実施形態によれば、送信装置２０Ａは、分割ライン数取得部２５０を備えることにより分割ライン数ＤＬを取得し、分割部２２０Ａは、取得された分割ライン数ＤＬごとに映像フレームＶＦを横方向に分割する。したがって、本実施形態によれば、分割ライン数ＤＬを可変させることができる。
ここで、分割ライン数ＤＬを可変させることにより、処理遅延と画質劣化において相反する結果が生じる。したがって、本実施形態によれば、処理遅延を少なくすることを優先するか、画質劣化を小さくすることを優先するかを、任意に決定することができる。

【0112】

なお、上述した実施形態における映像伝送システム１が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

【0113】

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0114】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。また、本発明はこうした実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0115】

１ 映像伝送システム
２ 撮影現場
３ 番組制作現場
４ 音声伝送システム
１０ 撮像装置
１１ 集音装置
２０ 送信装置
２６ ＩＰゲートウェイ
２７ ネットワークスイッチ
３０ 受信装置
３６ ＩＰゲートウェイ
３７ ネットワークスイッチ
３８ 番組編集システム
３８１ 映像切替装置
３８２ 映像編集装置
３８３ 音声合成装置
４０ 表示装置
２１０ 映像取得部
２２０ 分割部
２３０ 圧縮部
２４０ 送信バッファ
２５０ 分割ライン数取得部
３１０ 受信バッファ
３２０ 伸張部
３３０ 統合部
３４０ 出力部
１００ 番組制作システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】