(58)【調査した分野】(Int.Cl.,DB名)
第1偏波の電波により伝送される第1の伝送信号と、第2偏波の電波により伝送される第2の伝送信号とを用いて、高解像度映像を伝送するための階層符号化装置において、
前記第1の伝送信号を基本階層の映像符号化データとし、前記第2の伝送信号を基本階層の映像に対して解像度が高い映像を符号化した拡張階層とし、映像を複数階層で符号化伝送する第1の階層符号化装置と、
前記第1の伝送信号を基本階層の映像符号化データとし、前記第2の伝送信号を基本階層の映像に対して同解像度で画質を向上させた映像を符号化した拡張階層とし、映像を複数階層で符号化伝送する第2の階層符号化装置とを備えており、
前記第1の階層符号化装置と前記第2の階層符号化装置を切り換え選択し、
前記切り換え選択は、画質を示す評価尺度により、復号した映像の画質が高い映像符号化データを生成する階層符号化装置を選択することを特徴とする階層符号化装置。
【背景技術】
【0002】
近年、水平7680×垂直4320(8K×4K、いわゆる8K)又は水平3840×垂直2160(4K×2K、いわゆる4K)の画素数を有する超高精細映像の放送分野での開発・応用が進んでいる。また、超高精細映像の衛星波やネットワークを利用したサービスも順次開始されている。一方、放送サービスで重要な役割を占める地上波における超高精細映像伝送の検討も開始されつつあるが、地上波の場合は、1チャンネル当たりの帯域が固定されているため、伝送容量を格段に増やすことが困難であるだけでなく、既に、現行のHDTV(High Definition Television)放送サービスで多くのチャンネルが使用されており、新たなサービスの開始が困難な状況である。
【0003】
図12は、現在、地上波で用いられている伝送方式の概念図である。片偏波(例えば、水平偏波)の電波を送信する1つのアンテナを有する送信装置と、同じ片偏波(例えば、水平偏波)の電波を受信する1つのアンテナを有する受信装置からシステムが構成されており、SISO(Single Input Single Output)方式と呼ばれる。送信側において、映像信号Xは変調器11で必要な圧縮符号化と変調が行われ、水平偏波送信用のアンテナ12から、水平偏波の電波として送信される。また、受信側では、水平偏波受信用のアンテナ22で水平偏波として送られた電波(圧縮信号)を受信し、復調器21にて復調及び復号が行われて、映像信号Xが再生される。
【0004】
現在のSISO方式は、変調方式を改善することにより、伝送容量をある程度まで増やすことが可能であり、4K×2Kの高精細画像を高画質で伝送することはできるが、8K×4Kの超高精細映像を高画質で伝送することはできない。
【0005】
このような状況の中、地上波での伝送方式として、複数のアンテナを活用するMIMO(Multi Input Multi Output)方式が注目されている。MIMO方式は、送信側から複数のアンテナを用いて信号を送信するとともに、受信側も複数のアンテナを用いて信号を受信する方式であり、伝送容量を大幅に増大させることができる。特に、電波の偏波面を利用し、同じ周波数の水平偏波の電波と垂直偏波の電波をそれぞれ別のアンテナで送受信する偏波MIMO方式は、伝送容量をSISO方式の2倍に拡張することが可能であり、8K×4Kの超高精細映像を高画質で伝送できる伝送方式として期待されている(非特許文献1)。
【0006】
図13は、偏波MIMO方式の概念図である。送信側において、映像信号Xは変調器11で必要な圧縮符号化と変調が行われ、水平偏波送信用のアンテナ12から、水平偏波の電波として送信される。また、映像信号X’は変調器13で必要な圧縮符号化と変調が行われ、垂直偏波送信用のアンテナ14から、垂直偏波の電波として送信される。受信装置20は、水平偏波と垂直偏波の両者を受信可能な設備を備えている。すなわち、水平偏波受信用のアンテナ22で水平偏波として送られた電波(圧縮信号)を受信し、復調器21にて復調及び復号が行われて映像信号Xが再生され、また、垂直偏波受信用のアンテナ24で垂直偏波として送られた電波(圧縮信号)を受信し、復調器23にて復調及び復号が行われて映像信号X’が再生される。この映像信号Xと映像信号X’は、両信号を合わせて一つの超高精細画像(例えば、8K×4Kの高画質の超高精細映像)を生成できる。
【0007】
一方、超高精細映像の伝送に不可欠な映像の圧縮符号化の方式に階層(あるいはスケーラブル)符号化方式がある(非特許文献2)。階層符号化は、1つの圧縮ストリームのうち一部分を取り出すと、低解像の映像や低画質の映像、或いは低フレームレートの映像が再生され、ストリーム全部を受信すると、高解像度や高画質の映像、或いは高フレームレートの映像が再生可能な方式である。この階層符号化方式は、それぞれの受信装置の信号処理能力の相違に柔軟に対応可能な符号化方式として、今後の活用が期待されている。
【発明を実施するための形態】
【0019】
以下、本発明の実施の形態について説明する。
【0020】
(実施の形態)
図1は、SISO方式から偏波MIMO方式に移行する間に、本発明で採用を想定する伝送方式の概念図である。
図1の伝送方式は、SISO方式と同様に水平偏波の電波を大電力で送信しつつ、さらに、垂直偏波の電波を別途弱電力で送出する方式である。この方式を、SISOx2方式と呼ぶこととする。
【0021】
送信側では、映像信号X(伝送容量x)は変調器11で必要な圧縮符号化と変調が行われ、水平偏波送信用のアンテナ12から、ある周波数の水平偏波(第1偏波)の電波として送信される。この水平偏波はSISO方式と同様である。さらに、送信側において、映像信号Y(伝送容量y)が変調器13で必要な圧縮符号化と変調が行われ、垂直偏波送信用のアンテナ14から、同じ周波数の垂直偏波(第2偏波)の弱電波として送信される。ここで伝送容量yは、例えば、伝送容量xの半分程度とする。
【0022】
受信側では、水平偏波のみを受信する受信装置においては、従来のSISO方式と同様に、水平偏波受信用のアンテナ22で水平偏波として送られた電波(圧縮信号)を受信し、復調器21にて復調及び復号が行われて、映像信号Xが再生される。なお、垂直偏波は同じ周波数の電波であるが弱電力であるため、既存の水平偏波の受信に大きな影響を与えない。
【0023】
また、水平・垂直両偏波が受信可能な新受信設備を有する受信装置20では、水平偏波受信用のアンテナ22で水平偏波として送られた電波(圧縮信号)を受信し、復調器21にて復調及び復号が行われて映像信号Xが再生され、また、垂直偏波受信用のアンテナ24で垂直偏波として送られた電波(圧縮信号)を受信し、復調器23にて復調及び復号が行われて映像信号Yが再生される。すなわち、受信装置20では垂直偏波により映像信号Y(伝送容量y)が追加的に受信可能となり、伝送容量が拡大する。映像信号Xと映像信号Yは、両信号を合わせて一つの超高精細画像を作成できる。
【0024】
このように、SISOx2方式では、水平偏波の電波のみを受信可能な受信装置と、水平・垂直両偏波が受信可能な受信装置20とが共存できる。その後、水平・垂直両偏波が受信可能な受信設備(受信装置20)が十分普及した後、水平・垂直両偏波を同電力で送出する
図13の偏波MIMO方式に移行することができる。
【0025】
なお、偏波MIMO方式に移行する際にも、水平・垂直両偏波が受信可能であるが、垂直偏波の電波信号の一部(映像信号Yに相当する信号)のみが受信可能なSISOx2方式に対応した受信装置が存在する場合は、このSISOx2方式に対応した受信装置と、偏波MIMO方式に完全に対応した受信装置とが共存できる移行段階の信号伝送システムを、さらに設計することができる。
【0026】
本発明では、これらのSISO、SISOx2、偏波MIMOの各伝送方式に対応した映像の圧縮符号化方式により、段階的に高画質化・高精細度化を可能とする。そして、この段階的な伝送方式の変更に対応させるため、映像の符号化方式として階層符号化を適用する。以下では説明上、具体的な伝送容量(ビットレート)や映像の解像度(サイズ)を例示するが、本発明においてはこれらに限るものではない。
【0027】
図2は、SISO方式を前提として高画質画像を伝送するための符号化方式を、概念的に説明する図である。SISO方式による伝送容量を30Mbps程度とすると、映像符号化方式にMPEG−H HEVC/H.265(Moving Picture Experts Group−High Efficiency Video Coding / H.265)のような最新の圧縮技術を適用すれば、4K×2K程度の映像を高画質に圧縮符号化し伝送可能である。このように、高画質を優先する伝送方法を、以下「Aパターン」ということとする。4K×2Kの映像信号を符号化器(encoder)31によって符号化し、これを伝送路(伝送容量30Mbps)により伝送し、復号器(decoder)41によって復号することにより、4K×2Kの高画質の映像復号信号が得られる。
【0028】
図3は、SISO方式を前提として高解像度画像を伝送するための符号化方式を、概念的に説明する図である。SISO方式による伝送容量を30Mbps程度とすると、圧縮技術により、6K×3K(5760×3240)程度の映像を中程度の画質で圧縮符号化し伝送可能である。このように、高解像度を優先する伝送方法を、以下「Bパターン」ということとする。6K×3Kの映像信号を符号化器31によって符号化し、これを伝送路(伝送容量30Mbps)により伝送し、復号器41によって復号することにより、6K×3Kの中程度の画質の映像復号信号が得られる。なお、ここで「中程度画質」・「高画質」とは画像上のノイズの多寡の程度を意味しており、画素の明暗のビット数を意味するものではない。また、ここで6K×3Kとは、伝送する映像信号の解像度(フォーマット・サイズ)であり、必ずしも、受信側の表示画面(モニター)の解像度を意味するものではない。受信側の表示装置においては、映像復号信号をもとに適宜の解像度に変換(例えば、8K×4Kに拡大)して、表示が可能である。
【0029】
図4は、SISOx2方式を前提として階層符号化により高画質画像を伝送するための符号化方式を、概念的に説明する図である。SISOx2方式では、垂直偏波の利用により伝送容量yとして、13Mbps程度が追加的に伝送可能になる。したがって、両偏波を受信可能な受信装置においては、30Mbps+13Mbps=43Mbpsとなるので、6K×3K程度の映像を高画質で圧縮符号化し伝送可能となる。
【0030】
図4では、元となる6K×3Kの映像信号を、4K×2Kの映像信号に縮小し、これを、符号化器31によって符号化し伝送容量30Mbpsの圧縮符号化信号とする。この圧縮符号化信号は、階層符号化の基本階層データとなる。この圧縮符号化信号は、例えば水平偏波の電波で送信され、復号器41により復号されて4K×2Kの高画質の映像復号信号となる(Aパターン)。
【0031】
また、送信側では、この30Mbpsの圧縮符号化信号を復号器41により4K×2Kの映像復号信号にし、この映像復号信号を6K×3Kの映像信号に拡大して、符号化器32の入力信号とする。符号化器32は、復号器41からの映像復号信号を予測参照画像(基本階層画像)として利用し、元となる6K×3Kの映像信号を階層符号化して、伝送容量13Mbpsの第1階層データを生成する。この第1階層データは、垂直偏波の電波で送信されて、復号器42で、基本階層データから復号した映像復号信号とともに階層復号され、6K×3Kの高画質の映像復号信号を生成することができる。
【0032】
図4において、符号化器31及び復号器41を含む符号化方式の部分50は、
図2と同じであり、SISO方式で受信可能である。したがって、
図4に示すSISOx2方式は、
図2のSISO方式の伝送路構成に新たに13Mbpsの伝送路が追加された方式ということができ、SISO方式と共存することができる。
【0033】
なお、
図4は階層符号化と復号の関係を説明する図であって、
図4において、復号器41,42は受信装置の復号部を意味するだけではなく、送信装置内の復号部であってもよい。同様に、
図5〜
図7においても、復号器(decoder)は、単に受信装置を意味するものではなく、送信装置内の復号部をも意味する。
【0034】
図5は、SISOx2方式を前提として階層符号化により高解像度画像を伝送するための符号化方式を、概念的に説明する図である。
図5では、元となる6K×3Kの映像信号を、符号化器31によって符号化し伝送容量30Mbpsの圧縮符号化信号とする。この圧縮符号化信号は、階層符号化の基本階層データとなる。この圧縮符号化信号は、例えば水平偏波の電波で送信され、復号器41により復号されて6K×3Kの中程度画質の映像復号信号となる(Bパターン)。
【0035】
また、送信側では、この30Mbpsの圧縮符号化信号を復号器41により6K×3Kの映像復号信号にし、この映像復号信号を符号化器32の入力信号とする。符号化器32は、復号器41からの映像復号信号を予測参照画像(基本階層画像)として利用し、元となる6K×3Kの映像信号を階層符号化して、伝送容量13Mbpsの第1階層データを生成する。この第1階層データは、垂直偏波の電波で送信されて、復号器42で、基本階層データから復号した映像復号信号とともに階層復号され、6K×3Kの高画質の映像復号信号を生成する。
【0036】
図5において、符号化器31及び復号器41を含む符号化方式の部分50は、
図3と同じであり、SISO方式で受信可能である。したがって、
図5に示すSISOx2方式は、
図3のSISO方式の伝送路構成に新たに13Mbpsの伝送路が追加された方式ということができ、SISO方式と共存することができる。
【0037】
なお、
図4及び
図5のSISOx2方式において使用する階層符号化機能は、基本階層である低ビットレートあるいは低解像度映像の符号化方式については制限がなく、たとえば階層符号化にHEVC/H.265方式を利用する場合、基本階層はAVC/H.264やMPEG−2など従来の方式でも構わない。
【0038】
図6は、偏波MIMO方式を前提として階層符号化により高画質画像を伝送するための符号化方式を、概念的に説明する図である。偏波MIMO方式では、垂直偏波を水平偏波と同程度の電力出力として、それぞれ30Mbps程度の伝送信号が伝送可能になる。したがって、両偏波を受信可能な受信装置においては、60Mbpsとなるので、8K×4Kの映像を高画質で圧縮符号化し伝送可能となる。なお、偏波MIMO方式では、水平偏波はSISO方式と同様に出力されるが、垂直偏波が、水平偏波と同じ周波数で且つ水平偏波と同程度の電力で送信されるため、水平偏波の受信に影響を与える。したがって、従来のSISO方式の受信設備で水平偏波のみを受信することは困難であり、SISO方式の受信設備が少なくともSISOx2方式に全て移行した後に導入することが望ましい。
【0039】
図6では、階層符号化機能を
図4のSISOx2方式の上に利用することで、SISOx2方式の受信設備と互換性を保ったまま、8K×4Kの映像信号を符号化可能とする。まず、元となる8K×4Kの映像信号を6K×3Kの映像信号に縮小し、更にこの信号を4K×2Kの映像信号に縮小し、これを符号化器31によって符号化し伝送容量30Mbpsの圧縮符号化信号とする。この圧縮符号化信号は、階層符号化の基本階層データとなり、水平偏波の電波で送信される。この30Mbpsの圧縮符号化信号を復号器41により4K×2Kの映像復号信号にし、この映像復号信号を6K×3Kの映像信号に拡大して、符号化器32の入力信号とする。符号化器32は、復号器41からの映像復号信号を予測参照画像(基本階層画像)として利用し、元となる6K×3Kの映像信号を階層符号化して、伝送容量13Mbpsの第1階層データを生成する。この第1階層データは、復号器42で、基本階層データから復号した映像復号信号とともに階層復号され、6K×3Kの高画質の映像復号信号を生成する(Aパターン)。6K×3Kの映像復号信号は、8K×4Kの映像信号に拡大して、符号化器33の入力信号とする。符号化器33は、復号器42からの映像復号信号を予測参照画像(第1階層画像)として利用し、元となる8K×4Kの映像信号を階層符号化して、伝送容量17Mbpsの第2階層データを生成する。この第2階層データは、第1階層データとともに垂直偏波の電波で送信されて、復号器43で、第1階層データから復号した映像復号信号とともに階層復号され、8K×4Kの高画質の映像復号信号を生成することができる。
【0040】
図6において、符号化器31,32及び復号器41,42を含む符号化方式の部分51は、
図4と同じであり、SISOx2方式のみに対応した受信装置で受信可能である。したがって、
図6に示す偏波MIMO方式は、
図4のSISOx2方式の伝送路構成に新たに17Mbpsの伝送路が追加された方式ということができ、SISOx2方式と共存することができる。
【0041】
図7は、偏波MIMO方式を前提として階層符号化により高解像度画像を伝送するための符号化方式を、概念的に説明する図である。
図7では、階層符号化機能を
図5のSISOx2方式の上に利用することで、SISOx2方式の受信設備と互換性を保ったまま、8K×4Kの映像信号を符号化可能とする。まず、元となる8K×4Kの映像信号を符号化器31によって符号化し伝送容量30Mbpsの圧縮符号化信号とする。この圧縮符号化信号は、階層符号化の基本階層データとなり、水平偏波の電波で送信される。この30Mbpsの圧縮符号化信号を復号器41により8K×4Kの低画質の映像復号信号にし、この映像復号信号を符号化器32の入力信号とする。符号化器32は、復号器41からの映像復号信号を予測参照画像(基本階層画像)として利用し、元となる8K×4Kの映像信号を階層符号化して、伝送容量13Mbpsの第1階層データを生成する。この第1階層データは、復号器42で、基本階層データから復号した映像復号信号とともに階層復号され、8K×4Kの中程度の画質の映像復号信号を生成する(Bパターン)。8K×4Kの中画質の映像復号信号は、符号化器33の入力信号とする。符号化器33は、復号器42からの映像復号信号を予測参照画像(第1階層画像)として利用し、元となる8K×4Kの映像信号を階層符号化して、伝送容量17Mbpsの第2階層データを生成する。この第2階層データは、第1階層データとともに垂直偏波の電波で送信されて、復号器43で、第1階層データから復号した映像復号信号とともに階層復号され、8K×4Kの高画質の映像復号信号を生成することができる。
【0042】
図7において、符号化器31,32及び復号器41,42を含む符号化方式の部分51は、構成として
図5と同じであり、SISOx2方式のみに対応した受信装置で受信可能である。したがって、
図7に示す偏波MIMO方式は、SISOx2方式と共存することができる。
【0043】
なお、
図7においては、SISOx2方式で8K×4K(中画質)の画像処理が可能であるとして説明したが、
図5のように、SISOx2方式が6K×3K(高画質)の処理を前提とする場合は、入力信号である8K×4Kの映像信号を、6K×3Kの映像信号に圧縮して、SISOx2方式の部分51(符号化器31,32)に入力し、ブロック51内での処理終了後に、復号器42で階層復号された6K×3K(高画質)の映像復号信号を8K×4Kの映像信号に拡大して、符号化器33の入力信号とすることもできる。この場合、偏波MIMO方式は、
図5のSISOx2方式の伝送路構成に新たに17Mbpsの伝送路が追加された方式ということができ、
図5のSISOx2方式と完全に共存することができる。
【0044】
以上のように、伝送方式の段階的な変更に対して階層符号化を適用することで、受信設備の普及の過程で既存伝送方式のサービスと互換性を保ち、すなわち既存の受信装置を利用可能なまま新しいサービスを提供可能になる。
【0045】
これまで、上記の枠組み内で新サービスとして可能性のある複数サービス(AパターンとBパターン)をそれぞれ別々に説明したが、一つの送信装置に両方のサービスの階層符号化装置を設けて、切り換え可能とすることができる。
【0046】
以上説明した2種類の方式(AパターンとBパターン)の選択(切り換え)に関しては、以下のように決定することができる。
【0047】
パターンの選択の方針としては、圧縮符号化により生じる劣化をできるだけ避け高画質を求める場合はAパターン、画像の解像度を高くする場合はBパターンとする。
【0048】
どちらの方式(パターン)を選択するかの基準を、画質を示す評価尺度を利用して行う。たとえば、原画像との比較になるMSE(Mean Squared Error)(あるいはPSNR(Peak Signal-to-Noise Ratio))やSSIM(Structural SIMilarity)を利用する。移行段階において、ある段階(既存設備)の受信装置を利用して得られた画像(低解像度又は低画質の画像)の尺度をE
M、次の段階の受信装置を利用して得られた高解像度且つ高画質の画像の尺度をE
Hとし、全体の尺度Dをこれらの線形和である次式(1)とする。
【0049】
D=E
M+αE
H ――――――(1)
【0050】
すなわち、Dが大きいほど画質が高くなるような尺度として定義する。ここでαは係数である。αを調整することにより低解像度と高解像度のバランスを取ることができる。普及の初期段階では、既存設備の受信装置による低解像度映像を重視するのでαを小さく(例えば、1より小さく)し、普及の後半段階では新受信設備による高解像度映像を重視するのでαを大きく(例えば、1以上)とする。
【0051】
なお、E
MおよびE
Hは、原画像との差分を基本として計算する。そのため、Aパターンの低解像度映像の場合には原画像と符号化画像の解像度が異なるので、復号した画像を拡大した画像と原画像の差分を計算する。
【0052】
Aパターンの画像のD値とBパターンの画像のD値を比較し、D値の高い方のサービスを提供する。
【0053】
なお、パターンの切換えはフレーム単位でも可能であるが、現実的ではないので、シーンごとや番組ごとなどにD値を計算し(複数フレームの平均でも可)選択することとする。したがって、送信側でD値により自動的にサービスを切り換えることもできる。
【0054】
図8は、
図6に示す符号化処理(Aパターン)を実現する階層符号化装置のブロック図である。この例は、偏波MIMO方式により、両偏波の伝送信号によりトータル60Mbpsで8K×4Kの映像信号を伝送する装置である。既存の方式であるSISOx2との互換を保つために階層符号化方式としている。さらに、SISOx2方式がそれ以前のSISO方式と互換となるために多段の階層符号化方式としている。
【0055】
階層符号化装置は、低解像度符号化部63と、低解像度復号部64と、拡大処理部65と、中解像度符号化部66と、中解像度復号部67と、拡大処理部68と、高解像度符号化部69とを備える。
【0056】
8K×4K映像信号は、縮小処理部61で水平・垂直がそれぞれ3/4に縮小され、6K×3K映像信号に変換される。縮小処理には通常フィルタが施されるが、ここではフィルタの種類は問わない。続いて、6K×3K映像信号は、縮小処理部62で水平・垂直がそれぞれ2/3に縮小され、4K×2K映像信号に変換される。縮小処理には通常フィルタが施されるが、ここではフィルタの種類は問わない。縮小処理部61,62は、階層符号化装置の一部を構成しても良いが、階層符号化装置とは別に処理を行っても良い。
【0057】
低解像度符号化部63は、4K×2K映像信号を適切なビットレートで圧縮符号化し、4K×2K圧縮信号を生成する。符号化手段としては、HEVC/H.265のような既存方式を用いることができ、また更に、他の方式でも構わない。ビットレートは例えば30Mbpsであり、4K×2K映像信号を高画質を維持したまま圧縮符号化することができる。
【0058】
圧縮符号化された信号は、音声信号などと多重化されて、SISO方式のサービスが存在する場合は単独で伝送される。あるいはSISOx2方式や偏波MIMO方式の場合は、階層符号化方式の基本階層データとして伝送される。
【0059】
低解像度復号部64は、圧縮信号を低解像度符号化部63の圧縮符号化方式に対応した復号方式によって復号し、4K×2K映像復号信号を生成する。拡大処理部65は、この4K×2K映像復号信号を水平・垂直をそれぞれ3/2に拡大し、6K×3K映像信号に変換する。拡大処理には通常フィルタや超解像処理が施されるが、ここではその処理の種類は問わない。
【0060】
中解像度階層符号化部66は、8K×4K映像信号から縮小された6K×3K映像信号を符号化し、6K×3K圧縮信号を生成する。ここでは階層符号化方式を用いるので、4K×2K映像復号信号から拡大された6K×3K映像信号を予測参照画像として用いて符号化する。符号化手段としては、HEVC/H.265のような既存方式を用いることができ、また更に、他の方式でも構わない。
【0061】
圧縮符号化された信号は、音声信号などと多重化されて、SISOx2方式のサービスが存在する場合は単独で伝送され、SISO方式の4K×2K映像信号と合わせて復号側で復号処理される。あるいは偏波MIMO方式の場合は、階層符号化方式の第1階層データとして伝送される。
【0062】
中解像度復号部67は、圧縮信号を中解像度階層符号化部66の圧縮符号化方式に対応した復号方式(拡大処理部65で得られた6K×3K映像信号を参照した階層復号)によって復号し、6K×3K映像復号信号を生成する。拡大処理部68は、この6K×3K映像復号信号を水平・垂直をそれぞれ4/3に拡大し、8K×4K映像信号に変換する。拡大処理には通常フィルタや超解像処理が施されるが、ここではその処理の種類は問わない。
【0063】
高解像度階層符号化部69は、8K×4K映像信号を符号化し、8K×4K圧縮信号を生成する。ここでは階層符号化方式を用いるので、6K×3K映像復号信号から拡大された8K×4K映像信号を予測参照画像として用いて符号化する。符号化手段としては、HEVC/H.265のような既存方式を用いることができ、また更に、他の方式でも構わない。
【0064】
圧縮符号化された信号は、音声信号などと多重化されて、偏波MIMO方式のサービスとして伝送される。ここでは、階層符号化方式の第2階層データとして伝送される。
【0065】
図9は、
図8の階層符号化装置に対応する復号装置(階層復号装置)のブロック図である。復号装置は、低解像度復号部71と、拡大処理部72と、中解像度復号部73と、拡大処理部74と、高解像度復号部75とを備える。
【0066】
低解像度復号部71は、符号化装置における低解像度符号化部63の圧縮符号化方式に対応した復号方式によって、4K×2K圧縮信号を復号し、4K×2K映像復号信号を生成する。拡大処理部72は、この4K×2K映像復号信号を水平・垂直をそれぞれ3/2に拡大し、6K×3K映像信号に変換する。拡大処理には通常フィルタや超解像処理が施されるが、ここではその処理の種類は問わない。
【0067】
中解像度復号部73は、拡大処理部72で得られた6K×3K映像信号を参照した階層復号によって、6K×3K圧縮信号を復号し、6K×3K映像復号信号を生成する。拡大処理部74は、この6K×3K映像復号信号を水平・垂直をそれぞれ4/3に拡大し、8K×4K映像信号に変換する。拡大処理には通常フィルタや超解像処理が施されるが、ここではその処理の種類は問わない。
【0068】
高解像度復号部75は、拡大処理部74で得られた8K×4K映像信号を参照した階層復号によって、8K×4K圧縮信号を復号し、8K×4K映像復号信号を生成する。このように、階層ごとに適切な解像度の映像復号信号を、高画質で復号することができる。
【0069】
図10は、
図7に示す符号化処理(Bパターン)を実現する階層符号化装置のブロック図である。
【0070】
この例は、偏波MIMO方式により、両偏波の伝送信号によりトータル60Mbpsで8K×4Kの映像信号を伝送する装置である。既存の方式であるSISOx2との互換を保つために階層符号化方式としている。さらに、SISOx2方式がそれ以前のSISO方式と互換となるために多段の階層符号化方式としており、各階層においてそれぞれの画質で8K×4Kの映像信号を圧縮符号化する。
【0071】
階層符号化装置は、低画質符号化部81と、低画質復号部82と、中画質符号化部83と、中画質復号部84と、高画質符号化部85とを備える。8K×4K映像信号は、そのまま、各符号化部に入力される。
【0072】
低画質符号化部81は、8K×4K映像信号を適切なビットレート(例えば30Mbps)で圧縮符号化し、8K×4K(低画質)圧縮信号を生成する。符号化手段としては、HEVC/H.265のような既存方式を用いることができ、また更に、他の方式でも構わない。
【0073】
圧縮符号化された信号は、音声信号などと多重化されて、SISO方式のサービスが存在する場合は単独で伝送される。あるいはSISOx2方式や偏波MIMO方式の場合は、階層符号化方式の基本階層データとして伝送される。
【0074】
低画質復号部82は、圧縮信号を低画質符号化部81の圧縮符号化方式に対応した復号方式によって復号し、8K×4K(低画質)映像復号信号を生成する。
【0075】
中画質階層符号化部83は、8K×4K映像信号を符号化し、8K×4K(中画質)圧縮信号を生成する。ここでは階層符号化方式を用いるので、低画質復号部82で得られた8K×4K(低画質)映像復号信号を予測参照画像として用いて符号化する。符号化手段としては、HEVC/H.265のような既存方式を用いることができ、また更に、他の方式でも構わない。
【0076】
圧縮符号化された信号は、音声信号などと多重化されて、SISOx2方式のサービスが存在する場合は単独で伝送され、SISO方式の8K×4K映像信号と合わせて復号側で復号処理される。あるいは偏波MIMO方式の場合は、階層符号化方式の第1階層データとして伝送される。
【0077】
中画質復号部84は、圧縮信号を中画質階層符号化部83の圧縮符号化方式に対応した復号方式(8K×4K(低画質)映像復号信号を参照した階層復号)によって復号し、8K×4K(中画質)映像復号信号を生成する。
【0078】
高画質階層符号化部85は、8K×4K映像信号を符号化し、8K×4K(高画質)圧縮信号を生成する。ここでは階層符号化方式を用いるので、中画質復号部84で得られた8K×4K(中画質)映像復号信号を予測参照画像として用いて符号化する。符号化手段としては、HEVC/H.265のような既存方式を用いることができ、また更に、他の方式でも構わない。
【0079】
圧縮符号化された信号は、音声信号などと多重化されて、偏波MIMO方式のサービスとして伝送される。ここでは、階層符号化方式の第2階層データとして伝送される。
【0080】
図11は、
図10の階層符号化装置に対応する復号装置(階層復号装置)のブロック図である。復号装置は、低画質復号部91と、中画質復号部92と、高画質復号部93とを備える。
【0081】
低画質復号部91は、符号化装置における低画質符号化部81の圧縮符号化方式に対応した復号方式によって、8K×4K(低画質)圧縮信号を復号し、8K×4K(低画質)映像復号信号を生成する。
【0082】
中画質復号部92は、低画質復号部91で得られた8K×4K(低画質)映像復号信号を参照した階層復号によって、8K×4K(中画質)圧縮信号を復号し、8K×4K(中画質)映像復号信号を生成する。
【0083】
高画質復号部93は、中画質復号部92で得られた8K×4K(中画質)映像復号信号を参照した階層復号によって、8K×4K(高画質)圧縮信号を復号し、8K×4K(高画質)映像復号信号を生成する。
【0084】
このように、階層ごとに適切な画質の映像復号信号を、高解像度で復号することができる。
【0085】
なお、
図8の階層符号化装置と
図10の階層符号化装置の両者を備えた階層符号化装置を構成し、例えば、前述の画質の尺度Dに基づいて、両装置を切り換え選択してもよい。
【0086】
また、
図8の階層符号化装置と
図10の階層符号化装置の少なくとも一方を備えた送信装置を構成し、水平偏波(第1偏波)の電波により基本階層の映像符号化データ(
図8の4K×2K圧縮信号、又は、
図10の8K×4K(低画質)圧縮信号)を送信し、垂直偏波(第2偏波)の電波により上位階層の映像符号化データ(
図8の6K×3K圧縮信号及び8K×4K圧縮信号、又は、
図10の8K×4K(中画質)圧縮信号及び8K×4K(高画質)圧縮信号)を送信することができる。
【0087】
この送信装置によれば、伝送方式の移行時において、ある段階の伝送方式に対応した受信装置と、次段階の伝送方式に対応した受信装置の両者が信号受信可能な信号伝送システムを構成することができる。
【0088】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。