特許 6854495 多入力多出力チャネルを用いた動画像伝送の方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6854495

(24)【登録日】2021年3月18日

(45)【発行日】2021年4月7日

(54)【発明の名称】多入力多出力チャネルを用いた動画像伝送の方法

(51)【国際特許分類】

   H04B 7/0456 20170101AFI20210329BHJP

   H04J 13/00 20110101ALI20210329BHJP

   H04L 27/26 20060101ALI20210329BHJP

【ＦＩ】

   H04B7/0456 120

   H04J13/00

   H04L27/26 113

【請求項の数】26

【全頁数】21

(21)【出願番号】特願2019-535433(P2019-535433)

(86)(22)【出願日】2017年9月11日

(65)【公表番号】特表2019-537393(P2019-537393A)

(43)【公表日】2019年12月19日

(86)【国際出願番号】CN2017101185

(87)【国際公開番号】WO2018046004

(87)【国際公開日】20180315

【審査請求日】2019年5月13日

(31)【優先権主張番号】62/393,124

(32)【優先日】2016年9月12日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】519088384

【氏名又は名称】チェン シードン

【氏名又は名称原語表記】ＣＨＥＮ， Ｓｈｉｄｏｎｇ

(74)【代理人】

【識別番号】110001841

【氏名又は名称】特許業務法人梶・須原特許事務所

(72)【発明者】

【氏名】チェン シードン

【審査官】 大野 友輝

(56)【参考文献】

【文献】 米国特許出願公開第２０１５／０３５０５９５（ＵＳ，Ａ１）

【文献】 特表２００９−５１３０６４（ＪＰ，Ａ）

【文献】 特表２００８−５３２４３７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｂ ７／０４５６

Ｈ０４Ｊ １３／００

Ｈ０４Ｌ ２７／２６

(57)【特許請求の範囲】

【請求項1】

動画像予測符号化および多次元変換により、ソース動画像を無相関化し、変換域動画像残差係数を生成する無相関化ステップと、
最もよいサブキャリア又はサブチャネル上で最も強い動画像残差係数が伝送されるようなサブキャリアまたはサブチャネル最適化並べ替えにより、前記変換域動画像残差係数を一又は複数の伝送ストリームに並列マッピングするマッピングステップと、
線形正規化および準連続変調により、前記一又は複数の伝送ストリームを複数の発信出力信号に並列変調する変調ステップと、
複数のアンテナまたはケーブルドライバにより、前記複数の発信出力信号を多入力多出力チャネル上に並列発信する発信ステップとを含むことを特徴とする多入力多出力チャネルを用いた動画像伝送方法。

【請求項2】

前記動画像予測符号化は、フレーム内予測符号化と、フレーム間予測符号化と、因果的予測符号化と、非因果的予測符号化と、眼間予測符号化と、画素残差が零とされた無動画像予測符号化とを含むことを特徴とする請求項１に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項3】

前記多次元変換は、２次元コサイン変換、３次元コサイン変換、２次元離散フーリエ変換、３次元離散フーリエ変換、２次元離散ウォルシュ変換、３次元ウォルシュ変換、２次元離散ウェーブレット変換または３次元離散ウェーブレット変換を含むことを特徴とする請求項１に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項4】

前記変調ステップにおける準連続変調は、準連続ＯＦＤＭＡ変調と、準連続ＣＤＭＡ変調とを含むことを特徴とする請求項１に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項5】

前記動画像予測符号化は、前記多次元変換の前に適用されるか、または動画像予測符号化は、前記多次元変換の後に適用されることを特徴とする請求項１に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項6】

前記動画像予測符号化が前記多次元変換の前に適用され、前記無相関化ステップが、時間空間領域において動画像予測符号化をソース動画像に適用し、時間空間領域においてソース動画像のすべての画素の画素残差を生成すること、次いで、多次元変換によって、時間空間領域におけるソース動画像のすべての画素の画素残差を変換域における動画像残差係数に変換することを含むことを特徴とする請求項５に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項7】

前記多次元変換が動画像予測符号化の前に適用され、前記無相関化ステップが、前記多次元変換をソース動画像に適用し、ソース動画像を変換域における動画像係数に変換すること、次いで、変換域において動画像予測符号化を適用し、動画像係数を動画像残差係数に変換することを含むことを特徴とする請求項５に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項8】

準連続ＯＦＤＭＡ変調を採用する際に、前記マッピングステップは、最も低いものから最も低いものへのマッピングと、最も低いものから最も大きいものへのマッピングとを含むことを特徴とする請求項４に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項9】

前記最も低いものから最も低いものへのマッピングは、領域における各ブロックの残差係数を走査によって各ブロックについての一次元ブロック係数配列に変換すること、前記ブロック係数配列の最も低いインデックスから開始し、一対のブロック係数配列の同じインデックスの箇所から、一対の動画像残差係数を得て、一つの複素数値を形成し、この複素数値を、未分配のＯＦＤＭサブキャリアにおいて時間周波数が最も低い伝送ストリームに分配し、さらに、該伝送ストリームにおけるその時間周波数が最も低い未分配のＯＦＤＭサブキャリアに分配し、該ＯＦＤＭサブキャリアの変調する信号値となすこと、前記領域におけるすべての一次元ブロック係数配列のマッピングが完了するまで、インデックスが高い方に一単位移動し、次の一対の変換域動画像残差係数を対象として分配を継続することを含むことを特徴とする請求項８に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項10】

前記最も低いものから最も低いものへのマッピングは、領域におけるすべてのブロックの変換域動画像残差係数を走査によって各ブロックについての一次元ブロック係数配列に変換すること、前記領域におけるすべてのブロック係数配列を統合して一つの一次元領域係数配列とし、領域係数配列の最も低いインデックスから開始し、領域係数配列から、一対の動画像残差係数を得て、一つの複素数値を形成し、この複素数値を、未分配のＯＦＤＭサブキャリアにおいて時間周波数が最も低い伝送ストリームに分配し、さらに、該伝送ストリームにおけるその時間周波数が最も低い未分配のＯＦＤＭサブキャリアに分配し、該ＯＦＤＭサブキャリアの変調する信号値となすこと、前記領域係数配列のマッピングが完了するまで、インデックスが高い方に二単位移動し、次の一対の変換域動画像残差係数を対象として分配を継続することを含むことを特徴とする請求項８に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項11】

前記最も低いものから最も大きいものへのマッピングステップは、領域におけるすべてのブロックの係数を走査によって各ブロックについての一次元ブロック係数配列に変換すること、前記領域におけるすべてのブロック係数配列を統合して一つの一次元領域係数配列とし、各サブキャリアの周波数領域チャネル行列を取得すること、各サブキャリアの周波数領域チャネル行列を特異値によって分解して、それぞれが一つの特異サブチャネルを表す特異値を得ること、その特異値によってすべての特異サブチャネルに対して並べ替えを行うこと、領域係数配列における変換域動画像残差係数を特異サブチャネルに分配すること、発信ビームフォーミングによって、特異サブチャネルが分配された変換域動画像残差係数により形成される複数の複素数値から、各伝送ストリームの各ＯＦＤＭサブキャリアの変調する信号値を生成することを含むことを特徴とする請求項８に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項12】

比較的低いインデックスの箇所の特異サブチャネルの特異値が、比較的高いインデックス値の箇所の特異サブチャネルの特異値以上であるように、特異サブチャネルの並べ替えを行うことを特徴とする請求項１１に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項13】

前記変換域動画像残差係数を特異サブチャネルに分配することは、最も低いインデックスから開始し、領域係数配列から一対の動画像残差係数を取り出して一対一の値のマッピングにより一つの複素数を形成すること、該複素数が、最も低いインデックスを有する未分配の特異サブチャネルに分配されること、次いで、すべての係数の分配が完了するまで、インデックスが高い方に二単位移動し、次の一対の動画像残差係数を対象とすることを含むことを特徴とする請求項１１に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項14】

前記発信ビームフォーミングの具体的なプロセスは、ｘｋｍがサブキャリアｋの箇所のｍ番目の特異サブチャネルに分配する複素数を表すとして（式中、ｋはＯＦＤＭシンボルサブキャリアの番号を表し、ｍは伝送ストリームの個数を表し、該サブキャリアｋの箇所の変調する信号値個数でもある）、サブキャリアｋに与えるｍ個の変調する信号値が生成する複素数値は、ｍ行の列ベクトルＹｋで表され、下式により与えられることを特徴とする請求項１１に記載の多入力多出力チャネルの動画像伝送方法。

【数3】

（式中、Ｖｋはサブキャリアの周波数領域チャネル行列Ｈｋに対してＳＶＤ分解を行って取得される。）

【請求項15】

マッピングステップで変換域動画像残差係数を各伝送ストリームにおける異なるスペクトル拡散コードにマッピングし準連続のスペクトル拡散する信号値（to-be-spread signal values）を生成した後、変調ステップにおける準連続ＣＤＭＡ変調が、各伝送ストリームのスペクトル拡散する信号値をそれぞれスペクトル拡散コードと乗算し、スペクトル拡散コードを変調すること、各伝送ストリームのすべての変調済のスペクトル拡散コードを重畳し、複数の発信出力信号を形成することを含むことを特徴とする請求項４に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項16】

マッピングステップで変換域動画像残差係数を各伝送ストリームにおける異なるサブキャリアにマッピングし準連続の変調する信号値（to-be-modulated signal values）を生成した後、変調ステップにおける準連続ＯＦＤＭＡ変調が、ＩＦＦＴで各伝送ストリームの各ＯＦＤＭシンボルを周波数領域から時間領域に変換すること、サイクリックプレフィックスもしくはサイクリックサフィックスまたは両者を用いて各ＯＦＤＭシンボルを巡回的に拡張し、複数の発信出力信号を形成することを含むことを特徴とする請求項４に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項17】

前記線形正規化とは、すべてのＯＦＤＭシンボルにおける動画像サブキャリア上またはすべてのＣＤＭＡスペクトル拡散文字における動画像スペクトル拡散シーケンス上の変調する信号値に一つのスケール因子を乗じて、特徴値が等しくなる、または近接するようにすることをいうことを特徴とする請求項１に記載の多入力多出力チャネルの動画像伝送方法。

【請求項18】

前記スケール因子とは、発信出力信号の各セグメントの平均出力を計算し、ある確定値と比較して確定されたスケール因子をいうことを特徴とする請求項１７に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項19】

前記スケール因子は、発信出力信号の各セグメントのピークを見つけ出し、ある確定値と比較して確定されたスケール因子であることを特徴とする請求項１７に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項20】

前記正規化は、異なるスケール因子を選択し、各発信出力信号の各セグメントをそれぞれ正規化することを特徴とする請求項１７に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項21】

前記正規化は、同じスケール因子を選択し、同じ時間のすべての発信出力信号のセグメントを共同で正規化し、異なるスケール因子を選択し、異なる時間の各発信出力信号のセグメントをそれぞれ正規化することを特徴とする請求項１７に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項22】

前記変調ステップにおける正規化は、準連続変調の前に適用し、準連続変調の前の変調する伝送ストリームのセグメントに適用されることを特徴とする請求項１に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項23】

前記変調ステップにおける正規化は、準連続変調の後に適用し、準連続変調の後の変調済の発信出力信号のセグメントに適用されることを特徴とする請求項１に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項24】

マッピングステップにおける動画像残差係数を複素数値に変換するマッピング方法は、一対の動画像残差係数ａおよびｂを取り、一つの複素数値ａ+ｊｂを形成する一対一の値のマッピング（ｊは−１の平方根である）、または、二対の動画像残差係数ａおよびｂ、ｃおよびｄを取り、一つの複素数値（ａ+ｂＭ）+ｊ（ｃ+ｄＭ）を形成する二対一の値のマッピング（ｊは−１の平方根であり、Ｍは設定された実定数である）を含むことを特徴とする請求項９，１０または１３に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項25】

振幅が特定の閾値よりも低い変換域動画像残差係数を零としてスペクトルを圧縮することをさらに含んでもよいことを特徴とする請求項１〜２３のいずれか１項に記載の多入力多出力チャネルを用いた動画像伝送方法。

【請求項26】

拡散スペクトルをさらに含んでもよいことを特徴とする請求項１から２３のいずれか１項に記載の多入力多出力チャネルを用いた動画像伝送方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像監視システム、テレビ放送システム、マシンビジョンシステム、仮想現実システム、拡張現実システム、およびその他の動画像に基づくシステムの動画像伝送に関する。

【背景技術】

【0002】

動画像伝送は、多くのシステムおよびアプリケーションの基礎をなす部分および機能である。典型的な高精細度監視システムでは、複数の高精細度カメラが、ケーブルを介してレコーダーに接続されている。各カメラは、接続ケーブルを介して少なくとも一つの高精細度映像をレコーダーに伝送する。レコーダーは、通常、カメラの現場の視野における現場の実況をモニタリングするため、カメラからのライブ映像を直ちに表示するとともに、ライブ映像の録画、録画の再生も行う。マシンビジョンアプリケーションでは、マシンビジョンに基づく自動運転車など、一つ、一対または複数のカメラが取り付けられ、各カメラが一つのリアルタイム動画像をマシンビジョンプロセッサに伝送し、リアルタイム動画像を融合して、現場で２次元、３次元またはサラウンドマシンビジョンを生成する。

【0003】

歴史的に、動画像伝送は、非圧縮のアナログ伝送から開始された。閉回路テレビ監視システムは、同軸ケーブルにおいてＣＶＢＳ（コンポジット映像）信号を伝送することを採用し、世界中で配備される有線アナログ動画像伝送システムとなった。アナログ伝送は、アナログ変調を採用してソース動画像を伝送する。このソース動画像は、時間的および垂直的に離散して標本化され、水平的に連続し、振幅的に連続した３次元信号である。テレビのラスタースキャン方式により、このソース動画像信号は、時間的に連続し、振幅的に連続した一次元アナログ伝送信号、例えばＣＶＢＳ信号に変換され、多種多様な伝送に用いられる。

【0004】

デジタル技術の巨大な進歩に伴い、多くのアプリケーションにおいて非圧縮のアナログ伝送からデジタル圧縮および非圧縮動画像の伝送にすでに取って代わっているか、取って代わっている最中である。典型的な高精細度ＩＰ（インターネットプロトコル）圧縮動画像監視システムでは、メガピクセル級の高精細度ＩＰカメラが、Ｈ.２６４のような高度動画圧縮技術を採用し、デジタル高精細度ソース動画像を一般には約１０Ｍｂ/ｓ以下のビットレートのデジタルデータに圧縮している。圧縮した高精細度映像のデータをＩＰパケットの中に入れ、イーサネットケーブルを介して多値変調でネットワークビデオレコーダーに伝送する。イーサネットケーブルを介してＩＰパケットで高精細度映像を伝送することには、公知の欠点が存在する。まず、伝送距離が１００メートルに制限される。２つ目に、高度圧縮によって画質が低下する。３つ目に、ＩＰパケットでの伝送は、フレームに長い遅延および可変遅延が生じ、動画像にタイムリーさや滑らかさが失われる。４つ目に、ＩＰ技術の複雑により、取り付け、運用および保守のコストが上昇する。

【0005】

多くのハイエンドのアプリケーションでは、高画質およびゼロ遅延またはニアゼロ遅延が要求されるため、非圧縮デジタル動画像伝送方式が採用されている。高精細度閉回路監視システムでは、高精細度シリアルデジタルインターフェース（ＨＤ-ＳＤＩ）カメラが同軸ケーブルを介してビットシリアル化２レベル変調でプロ級の高品質な非圧縮デジタル高精細度映像を伝送する。しかしながら、その極めて高いビットレートおよび非最適化変調に鑑み、ＨＤ-ＳＤＩの典型的な伝送距離も１００メートルの同軸ケーブル程度に制限される。

【0006】

一般に、デジタル動画像伝送は、まずデジタルソース動画像、すなわち時間的、水平的および垂直的に離散し、振幅的に離散した３次元信号を、圧縮されたまたは非圧縮のデジタルデータとして表現してから、多種のデジタル変調方式を採用して、時間的に離散し、振幅的に離散したデジタル伝送信号でデジタルデータを伝送する。１００ｂａｓｅ-ＴＸモードのファストイーサネットインターフェースを採用したＩＰカメラは、３つの離散レベルのパルス信号でデジタルデータを伝送する。その他の１０００ｂａｓｅ-ＴＸモードのギガビットイーサネットインターフェースを採用したＩＰカメラは、５つの離散レベルのパルス信号でデジタルデータを伝送する。これらの伝送デジタルデータの離散信号値、例えば離散レベル値を、コンスタレーションと呼ぶ。デジタル受信機は、ノイズおよび干渉を含む受信信号により、送信された離散信号値を判定する必要がある。通常、伝送距離が一定の長さを超えると、判定誤りおよびデジタル符号誤りが急増し、使用できなくなる。これはデジタルクリフエフェクトと呼ばれる。デジタル動画像の伝送は、内在本質的にデジタルクリフエフェクトのダメージを受ける。逆に、アナログ動画像の伝送は、アナログ変調を採用しており、時間的に連続し、振幅的に連続した信号を生成し、コンスタレーションの有無がなく、受信端が判定する必要がないため、デジタルクリフエフェクトがなく、滑らかに徐々に質を劣化させることができる。この特性によって、画質が少しずつ劣化する面で優れている。

【0007】

長距離、低コストで高精細度映像を伝送する方法を求めるため、業界内では、非圧縮のアナログ伝送を復活させ、高精細度伝送に用いている。参考文献［１］、［２］で最近開示された方法は、高精細度アナログコンポジットビデオ伝送（ＨＤ-ＣＶＩ）を採用している。ＣＶＢＳ信号と同様に、輝度画像は、ラスタースキャン方式で輝度信号に変換され、ベースバンドにおいて伝送され、二つの色画像は、ラスタースキャン方式で二つの色信号に変換され、さらに直交振幅変調（ＱＡＭ）を経て、高周波帯域において伝送される。ＣＶＢＳと異なるのは、高周波帯域の色信号スペクトルがベースバンドの輝度信号スペクトルの上に位置し、ベースバンドの輝度スペクトルと重ならないことである。ＨＤ-ＣＶＩは、３００〜５００メートルの同軸ケーブル上で高精細度アナログコンポジットビデオを伝送することができる。アナログ動画像伝送の特性により、ＨＤ-ＣＶＩは、画質を少しずつ劣化させてケーブルを通過することができる。

【0008】

しかしながら、非圧縮のアナログ動画像伝送方式には、デジタル処理技術を採用した場合のような長所がなく、その性能は大きく制限される。まず、ソース動画像は、強い空間と時間の相関性および冗長性を有し、これはすでに一般に認められている。ＨＤ-ＣＶＩ方法は、ラスタースキャン方式で直接二次元の空間画像信号を一次元の時間信号に変換することにより、相関性と冗長性を用いずに伝送する動画像の画質を向上させる。これに対し、従来の各種デジタル画像圧縮技術は、ＪＰＥＧ、ＪＰＥＧ２００、Ｈ.２６４フレーム内符号化などを含め、いずれも空間相関性および冗長性を利用しており、非圧縮画像の小さな部分のビットレートを用いるだけで、高品質の再構成画像を取得することができる。次に、現代の通信では、ＯＦＤＭ（直交周波数分割多重変調）など、効率性の高い変調技術がすでに開発されており、伝送信号に対するチャネルのダメージによりよく対抗することができるが、アナログ伝送方式では採用されていない。

【0009】

現在、超高精細度映像システム、没入型デジタル環境またはマシンビジョンシステムの採用に伴い、ハイエンドの動画像アプリケーションは、３０フレーム毎秒から６０フレーム毎秒に転じており、従来の２次元動画像から１８０°または３６０°の３次元またはサラウンド没入型動画像へと転じている。これらの新しい動画像の非圧縮データ率は、何倍にも増加している。ソース動画像の冗長性を利用していないため、従来の非圧縮動画像伝送方式は、難易度の高いこれらの新しい動画像を伝送することができないか、または伝送距離に制限され禁止される。

【0010】

さらに、ミッションクリティカル型マシンビジョンシステムは、極端な動作環境の下で、デジタルクリフエフェクトに起因する突然の動画像の喪失を容認できない。逆に、このシステムは、滑らかに少しずつ画質が劣化する際に提供される高信頼性を要求することができる。例えば、マシンビジョンを採用した自動運転車は、極端な動作環境において確実な動画像伝送が要求される。デジタル動画像伝送を採用した自動運転車は、その動画像伝送が極端な動作環境の下で内在的なデジタルクリフエフェクトにより崩壊した際に、そのマシンビジョンの突然かつ完全な喪失、すなわち失明により制限され、致命的な故障が発生する可能性がある。逆に、画質が少しずつ劣化する面で優れている動画像伝送方式は、滑らかに少しずつ劣化するマシンビジョンの提供を継続でき、これにより自動運転車が緊急条件の下での動作状態を保つことを継続することができ、例えば安全に交通の流れの中から自動的に出ることができる。

【0011】

そのため、ハイエンドのシステムおよびアプリケーションの動画像を伝送し、画質が少しずつ劣化する面で優れている特性を提供し、ソース動画像の相関性および冗長性ならびに高効率の変調技術を利用することができ、高品質、長距離で、画質が少しずつ劣化する面で優れている動画像の伝送を行うことができる新しい方法が必要である。

【発明の概要】

【0012】

本発明は、以下のステップを含む、多入力多出力（ＭＩＭＯ）チャネルにより変換域において準連続変調で動画像を伝送する方法および装置を提案する。動画像予測符号化および多次元変換により、ソース動画像を無相関化し、変換域動画像残差係数を生成する（無相関化ステップと呼ぶ）。最もよいサブキャリア又はサブチャネル上で最も強い動画像残差係数が伝送されるようなサブキャリアまたはサブチャネル最適化並べ替えによって、変換域動画像残差係数を一又は複数の伝送ストリームに並列マッピングする（マッピングステップと呼ぶ）。線形正規化および準連続変調によって、一又は複数の伝送ストリームを複数の発信出力信号に並列変調する（変調ステップと呼ぶ）。複数のアンテナまたはケーブルドライバによって、複数の発信出力信号を多入力多出力チャネルに並列発信する（発信ステップと呼ぶ）。

【0013】

本発明は、動画像予測符号化を含み、動画像の冗長性を利用した有効な方法とする。各々の動画像画素に対して、一又は複数の高度に相関した参照画素を確定し、次いで参照画素の加重組み合わせから一つの画素予測を生成し、ソース画素からこの画素予測を減じ、一つの画素残差を生成する。動画像予測方法には多くのものが存在する。フレーム内予測は、同一のフレームにおける参照画素から画素予測を生成し、フレーム間予測は、過去および未来のフレームにおける参照画素から画素予測を生成する。所定の従来のラスタースキャン（一フレーム一フレームでつなぎ、一行一行でつなぎ、左から右までの走査プロセスで、３次元空間時間領域の動画像信号を１次元時間領域の信号に変換する）の画素順序で、因果的動画像予測は、ラスタースキャンの順序が早い参照画素から画素予測を生成するが、非因果的動画像予測は、ラスタースキャンの順序が早い及び遅い参照画素から画素予測を生成する。３次元動画像は、少なくとも一つの左目動画像と一つの右目動画像を含み、これらには互いに強い相関がある。眼間予測は、一方の目の動画像から他方の目の動画像に対して予測を生成する。本発明の動画像予測符号化は、フレーム内予測、フレーム間予測、因果的予測、非因果的予測および眼間予測を含むが、これらに限定されない。画素予測をゼロとした場合、画素残差はソース画素と同じであり、動画像予測符号化がないことに等しい。そうではあっても、簡潔にするため、このような場合も、動画像予測符号化がある実施例に含める。

【0014】

本発明の多次元変換は、２次元コサイン変換（２Ｄ-ＤＣＴ）、３次元コサイン変換（３Ｄ-ＤＣＴ）、２次元離散フーリエ変換（２Ｄ-ＤＦＴ）、３次元離散フーリエ変換（３Ｄ-ＤＦＴ）、２次元離散ウォルシュ変換（２Ｄ-ＤＷＨＴ）、３次元ウォルシュ変換（３Ｄ-ＤＷＨＴ）、２次元離散ウェーブレット変換（２Ｄ-ＤＷＴ）および３次元離散ウェーブレット変換（３Ｄ-ＤＷＴ）を含むが、これらに限定されない。

【0015】

無相関化ステップにおいて、動画像予測符号化と多次元変換は、順序を入れ替えてもよい。本発明の一つの実施例において、動画像予測符号化が多次元変換の前に適用され、時間空間領域においてソース動画像に適用され、時間空間領域において動画像残差を生成する。次いで、多次元変換によって、時間空間領域における動画像残差を変換域における動画像残差係数に変換する。本発明のもう一つの実施例において、多次元変換が動画像予測符号化の前に適用される。それに対応して、多次元変換がソース動画像に適用され、ソース動画像を変換域における動画像係数に変換する。次いで、動画像予測符号化方法を適用し、変換域において動画像係数を動画像残差係数に変換する。

【0016】

本発明の準連続変調は、変調する信号として準連続デジタル信号を採用し、準連続直交周波数分割多元接続（ＯＦＤＭＡ）および準連続符号分割多元接続（ＣＤＭＡ）を含むが、これらに限定されない。

【0017】

本発明の一つの実施例において、多次元変換として２Ｄ-ＤＣＴを採用し、ＯＦＤＭＡ変調を採用する。動画像の送信端において、ソース動画像の各フレーム画像に対して２Ｄ-ＤＣＴ変換を採用し、得られた動画像残差係数をＯＦＤＭシンボルのサブキャリア上にマッピングする。通常、逆高速フーリエ変換（ＩＦＦＴ）によって、ＯＦＤＭシンボルを時間領域に変換し、サイクリックプレフィックス（ＣＰ）もしくはサイクリックサフィックス（ＣＳ）または両者で巡回拡張する。取得された時間領域ＯＦＤＭシンボルを、多出力発信機でＭＩＭＯチャネルに発信する。この種の方法は、ＤＣＴ-ＯＦＤＭＡ伝送方式と呼ばれる。

【0018】

理論的には、ＤＣＴ-ＯＦＤＭＡ伝送方式における動画像残差係数の値は、画像信号により連続的に変化させることができる。ＤＣＴ-ＯＦＤＭＡ伝送方式を、時間および空間的に離散標本化したが連続値の３次元ソース動画像（標本抽出動画像と呼ぶ）の伝送に用いる場合、ＤＣＴ-ＯＦＤＭＡ方式で連続値の動画像残差係数を生成する。そのため、これらの連続値の動画像残差係数がＯＦＤＭシンボルのサブ周波数にマッピングされるときに、通常のデジタルＯＦＤＭ変調とは逆に、ＤＣＴ-ＯＦＤＭＡ伝送方式におけるこの種のサブキャリアの変調する信号は、連続値とすることが可能であり、いかなる方式のコンスタレーションもない。この種のＯＦＤＭサブキャリアは、連続ＯＦＤＭサブキャリアと呼ばれる。ＤＣＴ-ＯＦＤＭＡ伝送の方式におけるこの種のＯＦＤＭ変調方式は、連続ＯＦＤＭ変調と呼ばれる。時間領域において、連続ＯＦＤＭ変調で、時間的に離散しているが連続値の発信出力信号を生成する。標本抽出動画像がナイキスト標本化定理の要求を満たす場合、標本化動画像を用いて原アナログ動画像を歪みなしに再構成することができる。そのため、いかなる圧縮も採用しない場合、非圧縮ＤＣＴ-ＯＦＤＭＡ方式で連続変調する際に、新しいアナログ動画像伝送方式に等しく、相応の新しいアナログ伝送方式の離散の実現とみなすことができる。

【0019】

実際には、ＤＣＴ-ＯＦＤＭＡ方式は、通常、デジタルソース動画像の伝送に用いられる。標本抽出動画像がデジタル動画像に変換される際に、連続値の画素は、通常、高精度量子化されており、デジタル画素値は連続画素値のデジタル近似であるため、数学的なデジタル画素値は離散値であるが、一定の工学的意味においては連続値に近似している。例えば、量子化ノイズがヒトの視覚閾値よりも低い場合、高精度のデジタル動画像は、視覚上、原アナログソース動画像と区別がつかない。さらに、例えば、原アナログ動画像の量子化ノイズが、受信機のバックグラウンドノイズに近接しているか、またはそれよりも低い場合、伝送後に、デジタル動画像は、アナログ動画像とほぼ同等の性能に達するか、または近接したものとなる。近似連続値デジタル信号は、連続値信号のデジタル近似であり、準連続値デジタル信号、または準連続デジタル信号と呼ばれる。また、準連続値は、一つまたは複数の準連続値に関する演算により生成されてもよい。そのため、デジタル画素が準連続値である場合、ＤＣＴ-ＯＦＤＭＡ方式で準連続値の動画像残差係数が生成され、さらにＯＦＤＭシンボルにおいて準連続の変調する信号スペクトルが生成される。この種のＯＦＤＭ変調は、準連続ＯＦＤＭ変調と呼ばれる。時間領域において、準連続ＯＦＤＭ変調で、時間的に離散しているが準連続値の伝送信号を生成する。いかなる圧縮も採用しない場合、非圧縮準連続変調のＤＣＴ-ＯＦＤＭＡ方式は、量子化ノイズを有する新しいアナログ動画像伝送方式に等しく、対応する新しいアナログ伝送方式の限られたビット精度の下でのデジタル近似の実現とみなすことができる。しかしながら、簡潔にするため、以下においては、連続変調と準連続変調を厳密に区別せずに、準連続変調を例として本発明の方法について説明する。

【0020】

準連続ＯＦＤＭ変調は、従来のデジタルＯＦＤＭ変調とは異なる。デジタルＯＦＤＭ変調において、サブキャリアの変調する信号は、コンスタレーションの離散値を有し、デジタルビットを搬送するために用いられる。準連続ＯＦＤＭサブキャリアとは逆に、デジタルＯＦＤＭサブキャリアの変調する信号は、正確な離散値であり、いかなる近似もない。これらの正確な離散値は、離散したデジタルコンスタレーション集合から選ばれたものである。実際のシステムでは、準連続変調は、連続変調によりよく近似するよう、往々にして高精度で巨大な離散値集合を採用するが、デジタル変調は、判定誤り率を低く、またはほぼゼロに保つよう、往々にして小さな離散値集合に限られる。例えば、動画像残差係数が、１２ビットの近似する、一対の動画像残差係数により、一つの複素数値のＯＦＤＭサブキャリアの変調する信号値となるようマッピングされるとき、ＯＦＤＭサブキャリアの変調に用いられる準連続複素数の変調する信号値は、約１６００万個の離散値を有する大集合から取られる。これに対し、直交位相シフトキーイング（ＱＰＳＫ）変調を採用するデジタルＯＦＤＭ変調のサブキャリアの変調する信号は、４個のみの離散値の小集合から取られる。

【0021】

同様に、本発明のもう一つの実施例では、動画像送信端において、各フレームの画像は、空間領域２Ｄ-ＤＣＴ変換を経る。ＣＤＭＡにより、得られた動画像残差係数を異なるスペクトル拡散コード（スペクトル拡散シーケンスともいう）上にマッピングし、それぞれスペクトル拡散シーケンスと乗算し、スペクトル拡散シーケンスを変調する。すべての変調済のシーケンスは、重畳され、時間領域においてＭＩＭＯチャネルに送信される。この種の方式は、ＤＣＴ-ＣＤＭＡ伝送方式と呼ばれる。同様に、動画像信号によって決まり、理論的にはＤＣＴ-ＣＤＭＡ伝送方式の動画像残差係数は、連続値とすることができる。ＤＣＴ-ＣＤＭＡ方法で標本抽出動画像を伝送する際に、この方法は、連続値動画像残差係数を生成する。スペクトル拡散シーケンスに分配された後、通常のＣＤＭＡデジタル変調とは逆に、スペクトル拡散シーケンスと乗算されるベースバンド信号（スペクトル拡散する信号、またはスペクトル拡散される信号という）および乗算後に得られるシーケンスをすでに変調した振幅は、いずれも連続して変化することができ、いかなる方式のコンスタレーションもない。この種のスペクトル拡散シーケンスは、連続ＣＤＭＡスペクトル拡散シーケンスと呼ばれる。この種のＣＤＭＡ変調方式は、連続ＣＤＭＡ変調と呼ばれる。実際には、ＤＣＴ-ＣＤＭＡ伝送方式でデジタルソース動画像を伝送する際に、準連続の動画像残差係数、および離散時間、準連続値発信出力信号が生成される。この種の準連続値ベースバンド信号またはスペクトル拡散する信号を採用したＣＤＭＡ変調は、準連続ＣＤＭＡ変調と呼ばれる。

【0022】

簡潔にするため、以下においては、準連続ＯＦＤＭ変調を例として本発明について説明する。準連続ＣＤＭＡ変調またはその他の変調方式を採用した変形例は、本発明の範囲内で派生して得ることができる。

【0023】

本発明のＭＩＭＯチャネルは、マルチアンテナ無線チャネルおよび複数対の有線チャネルを含むが、これらに限定されない。マルチアンテナ無線チャネルは、ｎ_ｔｘ発信機アンテナおよびｎ_ｒｘ受信機アンテナを有し、ｎ_ｔｘ×ｎ_ｒｘ ＭＩＭＯチャネルと表される。ｎ_ｔｘおよびｎ_ｒｘは正の整数である。ｎ_ｔｘおよびｎ_ｒｘが１であるとき、実際には、従来のシングルインプットシングルアウトプットチャネルであり、ＳＩＳＯチャネルと呼ばれる。ｎ_ｔｘが１でありｎ_ｒｘが１よりも大きいとき、実際には、シングルインプットマルチアウトプットチャネルであり、ＳＩＭＯチャネルと呼ばれる。しかしながら、以下の記述では、本発明におけるＳＩＳＯおよびＳＩＭＯは、いずれもＭＩＭＯチャネルに含まれることに注意すべきである。複数対ケーブルチャネルは、Ｃａｔ５ｅイーサネットケーブル、Ｃａｔ６イーサネットケーブルおよび重合同軸ケーブルを含むが、これらに限定されない。Ｃａｔ５ｅ/６イーサネットケーブルは、４対のシールド無しツイストペアケーブル（ＵＴＰ）を有する。すべての４対ＵＴＰケーブルが有効に駆動され受信する場合、このケーブルが有線４×４ＭＩＭＯチャネルとなる。

【0024】

送信端では、本発明のマッピングステップは、残差変換係数をｍ_ｔｘ個の異なる伝送ストリームにマッピングし、そのうちｍ_ｔｘは正の整数であり、かつｎ_ｔｘ以下である。ｍ_ｔｘがｎ_ｔｘ未満であるとき、例えば２つの伝送ストリームおよび４つの発信出力信号であり、変調ステップは、空間領域符号化または時空間符号化をさらに含み、２つの伝送ストリームを４つの発信出力信号に符号化し、４つの無線アンテナまたはラインドライバに送信する。

【0025】

本発明の正規化は、特定の準則により選択された定数を用いて、各々の発信出力信号の各セグメントをスケーリングする。ＤＣＴ-ＯＦＤＭＡ方式の実施例においては、発信出力信号の一つのセグメントに一つまたは複数のＯＦＤＭシンボルを含む。ＤＣＴ-ＣＤＭＡ方法の実施例においては、発信出力信号の一つのセグメントに、一つまたは複数のＣＤＭＡのスペクトル拡散された文字を含む。スケーリングは線形であり、スケール倍数をスケール因子と呼ぶ。各々の発信出力信号の異なるセグメントの間で、スケール因子は変化が可能であり、かつ常に変化している。同じ時間における異なる空間領域の発信出力信号のセグメントの間で、スケール因子は同じであっても、異なっていてもよい。本発明の一つの実施例において、異なる発信出力信号の各セグメントがそれぞれ正規化されている。例えば、変調ステップで４つの発信出力信号を生成し、４×４ＭＩＭＯチャネルを駆動するとき、各々のＯＦＤＭシンボルの時間において、４つのＯＦＤＭシンボル（セグメント）が並列して生成され、各シンボルは、それ自身のスケール因子によってそれぞれ正規化される。本発明のもう一つの実施例では、同じ時間におけるすべての発信出力信号の信号セグメントが共同で正規化される。例えば、変調ステップで４つの発信出力信号を生成し、４×４ＭＩＭＯチャネルを駆動するとき、各シンボルの時間で４つのＯＦＤＭシンボルが並列して生成されるが、この４つのＯＦＤＭシンボルは、同じスケール因子によって共同で正規化される。さらに、正規化は線形スケーリングであるため、本発明の一つの実施例では、正規化が変調前の変調する伝送信号セグメント、例えば、準連続ＯＦＤＭ変調に適用され、ＩＦＦＴの前の周波数領域に用いられる。本発明のもう一つの実施例では、変調後のすでに変調された発信セグメント、例えば、準連続ＯＦＤＭ変調に適用され、ＩＦＦＴの後の時間領域に用いられる。スケール因子は、動画像係数以外の補助データに含まれ、かつ準連続変調または通常のデジタル変調によって送信される。

【0026】

本発明のマッピングステップは、集合値マッピング方式を採用し、変換域残差変換係数を伝送ストリーム中の複素数値に変換し、一対一のマッピングおよび複数対一のマッピングを含むが、これらに限定されない。本発明のＤＣＴ-ＯＦＤＭＡを採用した実施例において、一対一のマッピングは、一対の準連続動画像残差係数ａおよびｂを取り出して複素数値ａ+ｊｂを生成し、一つのＯＦＤＭサブキャリアに分配する。ｊは−１の平方根である。各々の動画像残差係数は、一つの複素数ＯＦＤＭサブキャリアの変調する信号の実部または虚部にマッピングされる。本発明のＤＣＴ-ＯＦＤＭＡを採用したもう一つの実施例において、複数対一のマッピングは、複数対の準連続動画像残差係数、例えば２対、つまりａおよびｂ、ｃおよびｄの準連続動画像残差係数を取り出して複素数ＯＦＤＭサブキャリアの変調する信号（ａ+ｂＭ）+ｊ（ｃ+ｄＭ）を生成する。ｊは−１の平方根であり、Ｍは特定の準則の下で選択される一定の定数である。本発明の受信機において、ａおよびｂは、実部からの加群Ｍ操作により分離することができ、虚部からのｃおよびｄも同様である。

【0027】

本発明のマッピングステップは、複数種のマッピング順序を採用して変換域における変換ブロックの動画像残差係数を伝送ストリームの変調する信号セグメントにマッピングする。本発明のＤＣＴ-ＯＦＤＭＡを採用した実施例において、各々の変換ブロックにおける動画像残差係数は、ジグザグ走査され、一次元ブロック係数配列に並べられる。各々の変換ブロックは、それ自身のブロック係数配列の中に走査される。一つの実施例では、２*ｍ_ｔｘ個の変換ブロックごとにｍ_ｔｘ個の伝送ストリームにマッピングされる、つまり、一対の変換ブロックが１つの伝送ストリームにマッピングされる。ｍ_ｔｘは伝送ストリームの個数であり、かつ正の整数である。一対一の値のマッピングでは、最も低いインデックスから開始し、一対のブロック係数配列（それぞれがいずれも変換ブロックから走査して得られる）についての同じインデックスの箇所から、一対の動画像残差係数を得て、一つの複素数値を形成し、この複素数値を、未分配のＯＦＤＭサブキャリアにおいて時間周波数が最も低い伝送ストリームに分配する。これは最も低いものから最も低いものへのマッピングと呼ばれる。この実施例は、整数個の変換ブロックを一つのＯＦＤＭシンボルにマッピングすることが要求される。もう一つの実施例では、すべてのブロック係数配列が共にインターリーブされ（interleaved together）、一つの領域係数配列が形成され、それがｍ_ｔｘ個の伝送ストリームのセグメント、すなわち並列したｍ_ｔｘ個のＯＦＤＭシンボルにマッピングされる。一対一の値のマッピングでは、最も小さいインデックスの箇所の領域係数配列から一対の係数を取り出して一つの複素数を形成し、この複素数を、最も低い時間周波数を有する伝送ストリームの未分配のＯＦＤＭサブキャリアに分配する。次いで、すべての係数のマッピングが完了するまで、最も小さいインデックスが領域係数配列における次の一対の係数に移動する。これも最も低いものから最も低いものへのマッピングと呼ばれる。しかしながら、この実施例では、整数個の変換ブロックをＯＦＤＭシンボルにマッピングすることが要求されない。

【0028】

最も低いものから最も低いものへのマッピングは、ケーブルチャネルに普遍的に適用される。一般に、動画像信号は、強い相関性を有する。動画像予測符号化の後であっても、動画像残差信号は依然として相関性を有し、弱くなっているだけである。そのため、変換ブロックにおける動画像残差係数は「白い」ものではない。直流（ＤＣ）係数は、通常、交流（ＡＣ）よりも強いが、低周波ＡＣ係数は、通常、高周波よりも強い。ジグザグ走査は、通常、まずＤＣ係数を、次いで、低空間周波数ＡＣ係数および高空間周波数ＡＣ係数を走査する。そのため、１次元動画像残差係数配列は、統計上、おおよそ減少する振幅を有する。単一の有線チャネルによって動画像を伝送する際、例えば、同軸ケーブルは、漏話が弱いＭＩＭＯケーブルチャネルを有しており、例えば４×４Ｃａｔ５ｅ/６ケーブルであり、低周波の減衰が高周波よりも小さい。最も低いものから最も低いものへのマッピングは、有線チャネルを通過する最もよいサブキャリア上で最も強い動画像残差係数を搬送する傾向がある。これは通常、高性能を提供することができる。

【0029】

本発明のＤＣＴ-ＯＦＤＭＡを採用したもう一つの実施例において、各々の変換ブロックにおける動画像残差係数は、依然としてジグザグ走査され、一次元動画像残差係数配列に並べられ、かつ複数のブロック係数配列がインターリーブされて、一つの領域係数配列が形成される。しかしながら、送信端が、受信端から明示的または暗黙的な方式で各サブキャリアの箇所の的周波数領域ＭＩＭＯチャネル行列を取得し、各サブキャリアの周波数領域ＭＩＭＯチャネル行列に対して特異値分解（ＳＶＤ）を行い、その特異値を取得する。各々の特異値は、一つの独立したサブチャネルを表し、特異サブチャネルと呼ばれる。すべての特異サブチャネルは、これらの各々の特異値に一つの単調減少する１次元配列を形成させる、すなわち最も低いインデックス箇所の特異サブチャネルの特異値が最も大きくなるような方式で並べられる。一対一のマッピングでは、最も低いインデックスから開始し、領域係数配列の最も低いインデックスの箇所から一対の動画像残差係数を取り出して一つの複素数値を形成し、当該複素数値を、最も低いインデックスを有する未分配の特異サブチャネルに分配する。次いで、すべての係数のマッピングが完了するまで、領域係数配列における最も低いインデックスが次の一対の係数に移動する。これは最も低いものから最も大きいものへのマッピングと呼ばれる。

【0030】

無線ＭＩＭＯチャネルの動画像伝送において、チャネル減衰は、周波数に伴い任意に起伏することができ（一定の物理的な制限の下であっても）、ケーブルチャネルのように単調増加することはない可能性がある。最も低いものから最も大きいものへのマッピングは、最もよい特異サブチャネル上で最も強い動画像残差係数を伝送する傾向がある。これは通常、高性能を提供することができる。

【0031】

最も低いものから最も低いもの、および最も低いものから最も大きいものへのマッピングは、各種変化を有する。一つのＤＣＴ-ＯＦＤＭＡの実施例においては、複数のジグザグ走査順序を採用する。変換ブロックの振幅モードおよび一定の準則に基づき、特定のジグザグ走査順序を選択し、動画像残差係数ブロックを１次元配列に走査する。異なる動画像残差係数ブロックのために異なるジグザグ走査順序を選択してもよい。選択した走査順序の情報は、補助データとして伝送に含まれ、かつ通常はデジタル変調によって伝送される。

【0032】

本発明の方法は、さらに、振幅が特定の閾値よりも低い動画像残差係数を零とすることによりスペクトルを圧縮することを含んでもよい。これらの零とした動画像残差係数は、マッピングステップにおいてスキップされ、かつ伝送の中に含まれない。そのため、比較的少ない動画像残差係数を伝送するだけでよく、発信出力信号が比較的狭いスペクトルを有するようになる。零とした動画像残差係数のインデックスが一定でない場合、零とした係数のインデックス情報も補助データに含まれ、かつ通常は従来のデジタル変調によって伝送される。

【0033】

本発明の方法は、さらに拡散スペクトルを含んでもよい。これによって、動画像性能が向上する可能性がある。ＤＣＴ-ＯＦＤＭＡの実施例において、マッピングステップにより生成されたサブキャリアの変調する信号に対して周波数領域ＣＤＭＡ変調を行う。周波数領域拡散シーケンスが占めるサブキャリアの数は、マッピングにより生成されたサブキャリアの数よりも大きい。そのため、スペクトル拡散後のスペクトルが広くなる。次いで、ＣＤＭＡのすでに変調された文字を変調ステップに伝達し、発信する。

【0034】

先行する発明（ＵＳ２００７０９８０６３Ａ１），Apparatus and Method for Uncompressed,Wireless Transmission of Video[３]は、ＯＦＤＭ変調を用いてＤＣＴ変換域において動画像を伝送する方法を公開している。しかしながら、本発明のＤＣＴ-ＯＦＤＭＡ方式と、先行する発明ＵＳ２００７０９８０６３Ａ１との根本的な相違点は、本発明は、サブキャリアまたはサブチャネルの最適化並べ替えおよび発信ビームフォーミング等によって、ＭＩＭＯチャネルにおいて動画像を伝送する方法を提供するが、先行する発明は提供しないことである。また、他の相違点としては、さらに次のことが挙げられる。

【0035】

ａ）デジタル変調および準連続変調を同時に用いて同じ変換域係数を搬送するか否か。先行する発明は、デジタル変調および準連続変調を同時に用いて同じ動画像係数を伝送する。各々のブロックの動画像係数を二つのコンポーネントに分ける。第１のコンポーネントは、ＤＣおよび低空間周波数係数を含み、これによって通常、主な動画像の画質が決まる。第２のコンポーネントは、残りの高空間周波数係数を含み、動画像の詳細を確定する。第１のコンポーネントは、デジタル量子化され、デジタルビットに分解され、従来のデジタルＯＦＤＭ変調によって伝送される。第２のコンポーネントは、量子化が０であることに等価であり、デジタル変調において伝送されない。これは、デジタル動画像伝送を損なう。また、量子化誤差値を準連続のＯＦＤＭサブキャリアに分配し、デジタル伝送にパッチをあて、組み合わせ伝送が損なわれなくなるようにする。なお、第１のコンポーネントにおけるすべての動画像係数は、同時にデジタル変調および準連続変調において伝送される。先行する発明は、デジタル変調で動画像信号を送信するデジタル量子化動画像残差係数を採用しているため、他のデジタル伝送方式と同じく、デジタルクリフエフェクトを有し、必要とされている画質が少しずつ劣化する面で優れていることを提供せず、また、デジタル変調および準連続変調を用いて同じ動画像残差係数を搬送しており、より広い周波数帯域を占める。逆に、本発明の方法は、デジタル変調および準連続変調を同時に用いずに、同じ動画像残差係数を伝送する。未圧縮の損なわれていない動画像を伝送する実施例において、すべての動画像残差係数の値全体が、すべて準連続ＯＦＤＭサブキャリアにより伝送され、いかなるデジタル量子化も関与しないだけでなく、デジタルＯＦＤＭサブキャリアにより伝送されず、デジタル変調を採用しない。これによって、デジタルクリフエフェクトが完全になくなり、必要とされる、アナログ伝送に相当する、画質が少しずつ劣化する面で優れており、信頼性が高いことが提供される。

【0036】

ｂ）予測符号化を含むか否か。先行する発明は、動画像予測符号化を採用せずに動画像冗長性を利用しており、伝送は冗長な原ソース動画像を含み、大量のエネルギーが伝送動画像冗長性に費やされる。これは、依然として、従来の動画像予測符号化のない非圧縮動画像伝送方式の一つである。本発明の方法は、動画像予測符号化を含み、動画像信号の冗長性を大幅になくすか、または減少させており、動画像残差を伝送し、伝送エネルギー効率を大幅に向上させることにより、動画像性能を向上させている。本発明は、新型の予測符号化を有する非圧縮動画像伝送方式を提供する。

【0037】

ｃ）コンパンディング法か正規化か。先行する発明は、コンパンディング法（Ａ-ｌａｗおよびμ-ｌａｗアルゴリズムと同じ原理）を採用しており、各々の動画像係数の値は、別の値に非線形にマッピングされる。本発明の変調ステップの正規化は、同じスケール因子を用いてＯＦＤＭシンボル全体のすべての動画像サブキャリアに対して線形スケーリングを行い、スケーリングしたＯＦＤＭシンボルの一部のパラメータ（例えば、平均出力、ピーク出力など）が等しくなるか、または近接する傾向にあり、すなわち正規化させる。一般に、先行する発明のコンパンディング後のＯＦＤＭシンボルは、依然として正規化されていないものである。この二つの操作は、根本的に異なるものである。

【図面の簡単な説明】

【0038】

【図1】例示する高精細度７２０ｐ６０でＹＵＶ４:２:０カラー形式を採用したフレームタイミングを示す。

【図2】例示する高精細度画像を本発明のラインおよびコンポーネントにいかにして分割するかを示す実施例である。

【図3】本発明におけるコンポーネントをマクロブロックにいかにして分割するかを示す実施例である。

【図4】本発明のマクロブロックを変換ブロックにいかにして分割するかを示す実施例である。

【図5】提案する高精細度映像伝送方式を示す実施例である。

【発明を実施するための形態】

【0039】

次に図面と具体的な実施例に即して、本発明について詳細に説明する。

【0040】

実施例

【0041】

ここで、本発明の原理および実施例について、図面を参照して詳細に説明する。図面は、当業者が本発明を実施できるよう、実施の例を提供するものである。なお、図面および以下の実施例は、本発明の範囲を単一の実施例に制限することを意図するものではない。記述されたまたは示された部分の一部または全部を入れ替えることにより、その他の実施例を生成することができる。便宜上、図面中の同一の符号は、同一または相似する部分を表す。ただし、これらの実施例の一部は、公知のアセンブリを利用することができ、本明細書は、本発明の理解の便宜上、公知のアセンブリをいかにして用いるかについて記述するが、本発明との混同を避けるため、公知の部材の内部については詳細に記述しないか、または完全に省略する。また、明確に説明する場合を除き、本明細書に単数のアセンブリの実施例が示されている場合、単数に限定されるとみなすべきではなく、逆に、本発明は、複数の同じアセンブリを含む他の実施例を網羅し、逆も同様である。また、明確に述べている場合を除き、出願人は、明細書または請求の範囲におけるいかなる用語にも珍しいまたは特殊な意味を付与していない。また、本発明の明細書で図示するステップまたは部材は、現在および将来知られる同等の物をさらに含む。

【0042】

以下の説明において、図１に示すＹＵＶ４:２:０カラー形式の高精細度映像７２０ｐ６０を原ソース動画像とすると仮定し、例として本発明の原理および実施例について説明する。高精細度７２０ｐ６０は、毎秒６０フレームで走査を逐行する。フレームあたりの周期は１/６０秒であり、図１における最外層の矩形で表すとおりである。フレームあたり７５０本の走査線を有する。最初の３０本の走査線は、垂直ブランキングであり、その持続時間は垂直ブランキング期間１１１と呼ばれる。残りの７２０本の走査線は、有効映像行であり、その持続時間は垂直順方向期間１１２と呼ばれる。７４.２５ＭＨｚ周波数標本化時に、走査線１本あたり１６５０個のクロック標本化を有する。各走査線の最後の３７０個の標本化は、水平ブランキングであり、その持続時間は水平ブランキング期間１２２と呼ばれる。各有効映像行の最初の１２８０個の標本化は、有効な１２８０個の輝度画素を表し、その持続時間は水平順方向期間と呼ばれ、１２１と記す。すべての垂直順方向かつ水平順方向における輝度画素は、一つの高精細度映像フレームの１２８０×７２０画素の高精細度輝度画像Ｙを表す。色画像は、水平および垂直方向で二倍で標本抽出するため、二つの色画像ＵおよびＶは、それぞれ６４０×３６０画素である。

【0043】

本発明の２次元変換を採用する実施例では、動画像送信端において、ソース動画像の各画像は小さい２次元画素ブロック、例えば８×８画素ブロックに分割され。そのうち８×８画素は、幅８画素、高さ８画素の２次元ブロックを表す。動画像予測符号化は、ソース画素ブロックごとに一つの予測画素ブロックを生成し、次いで予測画素ブロックをソース画素ブロックから減じ、画素残差ブロックを生成し、かつ２Ｄ-ＤＣＴによって各画素残差ブロックを同じ大きさの動画像残差係数ブロックに変換する。

【0044】

本発明の３次元変換を採用する実施例では、動画像送信端において、ソース動画像のフレームシーケンスが動画像セグメントに分割され、各動画像セグメントは複数のフレームを含む。次いで各動画像セグメントは、小さな三次元画素ブロック、例えば８フレーム長の動画像セグメントの８×８×８画素ブロックに分割され、そのうち８×８×８は幅８画素、高さ８画素高、長さ８フレームの画素ブロックを表す。動画像予測符号化は、ソース画素ブロックごとに一つの予測画素ブロックを生成し、予測画素ブロックをソース画素ブロックから減じ、残留画素ブロックを生成し、かつ３Ｄ-ＤＣＴによって各画素残差ブロックを同じ大きさの動画像残差係数ブロックに変換する。

【0045】

図示した本発明の実施例では、図２から４に示すように、それぞれの１２８０×７２０画素のフレーム画像が変換画素ブロック、正規化領域および伝送領域に分割され、下記の本発明の伝送方式の処理ステップにおいて用いられる。まず、高精細度１２８０×７２０画像が４５個の水平ラインに分割され、図２に示すように、上から下にそれぞれ２０１、２０２…、２４５と記す。各水平ラインは、１６×１２８０画素である。第２に、各水平ラインを１６個のコンポーネントに分割し、左から右に、第１の水平ライン２０１におけるコンポーネントを２０１０１、２０１０２、…、２０１１６とし、最後の水平ライン２４５におけるコンポーネントを２４５０１、２４５０２、…、２４５１６とする。各コンポーネントは、８０×１６画素である。図示した伝送方式の実施例では、これらのコンポーネントは、正規化領域および伝送領域として同時に用いられる。第３に、各コンポーネントが５個のマクロブロックに分割される。これらを、図３に示すように、左から右に、３０１、３０２、……、３０５とする。各マクロブロックは、１６×１６画素である。最後に、各マクロブロックは、一つの１６×１６画素の輝度画像と、二つの８×８画素の色画像とを含む。１６×１６画素の輝度画像を４つの輝度ブロックに分割する。各輝度ブロックは８ｘ８画素であり、図４においてそれぞれ４０１、４０２、４０３および４０４と記す。二つの８×８画素の色画像は、それぞれ４０５および４０６と記す。図示した本発明の実施例では、これらの８×８画素ブロックを画素ブロックとして採用する。

【0046】

図５は、本発明の動画像伝送方式の一つの実施例を示す。ソース動画像が４つの伝送ストリームにより４ｘ４ＭＩＭＯチャネルにおいて伝送されると仮定する。その他は、ＤＣＴ-ＣＤＭＡを採用する方法に応じて類推することができる。また、２Ｄ-ＤＣＴ変換を採用すると仮定するため、上記ステップにより分割した後、提案する伝送方式は、ソース動画像の各フレーム画像において行う。その他の３Ｄ-ＤＣＴを含む方法は、類推して得ることができ、例えば、ソース動画像が８フレーム長の動画像セグメントに分割され、かつ図５に示す実施例における方法は、フレームごとではなく、動画像セグメントごとに適用される。図５に示す実施例における方法は、以下のステップを含む。

【0047】

ステップ１：無相関化は、５１０に示すとおり。このステップは、ソース動画像を無相関化し、動画像予測符号化および多次元変換により変換域動画像残差係数を生成し、以下の詳細なステップを含む。

【0048】

ステップ１ａ：動画像予測符号化は、５１１に示すとおり。本発明の図に示す実施例において、８ｘ８ソース画素ブロックごとに、動画像予測符号化５１１は、同一フレームの画像または過去/未来または眼間フレーム画像の画素から一つの８×８画素の予測ブロックを生成する。ソース画素ブロックから予測ブロックを減じ、画素残差ブロックを生成する。予測ブロックを生成する方法には複数種がある。これらの方法は、本発明の範囲を超えるため、詳しくは述べない。

【0049】

ステップ１ｂ：画素ブロックごとに２Ｄ-ＤＣＴ変換を行うことは、５１２に示すとおり。本発明の図に示す実施例において、このステップは、各８×８画素残差ブロックを変換域に変換し、同じ大きさの動画像残差係数ブロックを生成する。ＤＣＴ変換を行うブロックの順序は、変更してもよい。本発明の一つの特定の実施例では、処理遅延をできる限り減少させるために、第１のコンポーネント２０１０１におけるすべてのブロックがまず変換され、次いで次のコンポーネント２０１０２が変換され、最後のコンポーネント２４５１６まで行う。

【0050】

本発明の一つの実施例において、無相関化ステップ５１０のステップ１ａおよび１ｂは順序を入れ替えてもよく、すなわち動画像予測符号化５１１は２Ｄ-ＤＣＴ ５１２の後に適用されてもよいため、変換域において適用される。

【0051】

ステップ２：マッピングは、５２０に示すとおり。本発明で示す実施例において、このステップは、変換域動画像残差係数を４つの伝送ストリームに並列にマッピングし、以下の詳細なステップを含む。

【0052】

ステップ２ａ：各動画像残差係数ブロックジグザグを１次元ブロック係数配列に走査することは、５２１に示すとおり。本発明で示す実施例において、領域における各々の８×８動画像残差係数ブロックが、６４要素長の一次元ブロック係数配列にジグザグ走査される。

【0053】

ステップ２ｂ：領域におけるすべてのブロック係数配列を統合して一つの一次元領域係数配列とすることは、５２２に示すとおり。本発明の図に示す実施例において、この領域は計３０個のブロック係数配列を有する。すべてのブロック係数配列がインターリーブされ、一つの１９２０要素長の一次元領域係数配列が生成される。最初のブロック係数配列の最初の要素が、領域係数配列の最初の要素となる。最初のブロック係数配列の２番目の要素が、領域係数配列の３１番目の要素となる。インターリーブの順序は、下記の公式により与えられる。

【0054】

領域係数配列の要素番号＝（ブロック係数配列の要素番号−１）×３０+変換係数ブロックの番号

【0055】

式中、領域係数配列の要素番号は一つの整数であり、範囲は１から１９２０であり、ブロック係数配列の要素番号は一つの整数であり、範囲は１から６４であり、変換係数ブロックの番号は一つの整数であり、範囲は１から３０である。

【0056】

ステップ２ｃ：各サブキャリアの周波数領域チャネル行列を取得することは、５２３に示すとおり。示す実施例の４×４無線ＭＩＭＯチャネルにおいて、２５６個のサブキャリアを有するＯＦＤＭシンボルを採用すると仮定し、この２５６個のサブキャリアのうちの２４０個は、動画像残差係数を準連続変調で伝送するために用いられ、動画像サブキャリアと呼ばれる。送信端においてすべての動画像サブキャリアの２４０個の周波数領域チャネル行列を取得する。一つの実施例において、受信端は、２４０個の周波数領域チャネル行列を概算し、かつ送信端に明示的に送信して戻す。もう一つの実施例において、送信端は、バックワードトレーニング（受信機から発信機へ）によりチャネル行列を暗黙的に概算する（発信機から受信機へ）。これらの方法はすでに知られており[４]、ここでは詳しく述べない。

【0057】

ステップ２ｄ：その特異値によってすべての特異サブチャネルを並べ替えることは、５２４に示すとおり。示す実施例において、すべての２４０個の周波数領域チャネル行列が、いずれも４×４行列である。各４×４チャネル行列で特異値分解（ＳＶＤ）によってその４つの特異値を得る。Ｈｋでサブキャリアｋの箇所の周波数領域チャネル行列を表し、すなわちＳＶＤ分解において、４×４直交行列Ｕｋ、Ｖｋ、および対角行列Ｄｉａｇ{ｓｋ１，ｓｋ２，ｓｋ３，ｓｋ４}は、次のものを満たす。

【0058】

【数1】

【0059】

式中、ｓｋ１、…ｓｋ４は非負実数であり、サブキャリアｋの特異値と呼ばれ、は、行列Ｖｋの共軛転置を表す[４]。各特異値は、一つの特異サブチャネルを表す。示す実施例において、９６０個の特異値およびサブチャネルが存在する。すべての特異サブチャネルは、その特異値を単調減少させるように並べ替えられる。すなわち、比較的低いインデックスの箇所の特異サブチャネルの特異値が比較的高いインデックス値の箇所の特異サブチャネルの特異値以上である。このように並べ替えられた特異サブチャネルは、特異サブチャネル配列と呼ばれる。

【0060】

ステップ２ｅ：係数を特異サブチャネルに分配することは、５２５に示すとおり。示す実施例において、最も低いインデックスから開始し、領域係数配列から一対の動画像残差係数を取り出して一対一の値のマッピングによって一つの複素数を形成する。この複素数が、最も低いインデックスを有する未分配の特異サブチャネルに分配される。次いで、すべての係数の分配が完了するまで、マッピングが次の動画像残差係数に移動する。

【0061】

ステップ２ｆ：発信ビームフォーミングは、５２６に示すとおり。すべての特異サブチャネルの分配が完了した後、ｘｋｍがステップ２ｅのサブキャリアｋの箇所のｍ番目の特異サブチャネルに分配する複素数を表すとして、ここでｋ＝１、...、２４０、ｍ＝１,２,３,４である。サブキャリアｋに与える４つの変調する信号値に分配させる複素数値は、４行の列ベクトルＹｋで表され、下式により与えられる。

【0062】

【数2】

【0063】

式中、Ｖｋはサブキャリアの周波数領域チャネル行列Ｈｋに対してＳＶＤ分解を行って取得される[４]。

【0064】

発信ビームフォーミングの後、４つの伝送ストリームのすべての４つのＯＦＤＭシンボルの２４０個の動画像サブキャリアが、発信ビームフォーミングによって生成された変調する信号値ｙｋｍによって得られ、そのうちｋ＝１、...、２４０、ｍ＝１,２,３,４である。

【0065】

ステップ３：変調は、５３０に示すとおり。示す実施例において、このステップは、線形正規化および準連続ＯＦＤＭ変調によって並列して４つの伝送ストリームを４つの発信出力信号に変調し、以下の詳細なステップを含む。

【0066】

ステップ３ａ：正規化は、５３１に示すとおり。本発明で示す実施例において、正規化ステップは、４つのＯＦＤＭシンボルのすべての動画像サブキャリア上の変調する信号値に一つのスケール因子を乗じ、特徴値が等しくなる、または近接するようにする。本発明の一つの実施例において、４つのＯＦＤＭシンボルの平均出力を計算し、確定値（人為設定値）と比較してスケール因子を確定する。すべての動画像サブキャリアがスケーリングされた後、動画像サブキャリアの平均出力が確定値と等しくなるか、または近接する。本発明のもう一つの実施例において、すべてのＯＦＤＭシンボルのピークを見つけ出し、かつスケール因子を選択して、４つのＯＦＤＭシンボルのピークが確定値と等しくなるか、または近接するようにする。スケール因子は、補助データとして、準連続変調またはデジタル変調を採用して伝送する。

【0067】

ステップ３ｂ：準連続ＯＦＤＭ変調は、５３２に示すとおり。示す実施例において、２５６点ＩＦＦＴは、４つの伝送ストリームの４つのＯＦＤＭシンボルすべてを周波数領域から時間領域へと変換する。次いで、サイクリックプレフィックス（ＣＰ）もしくはサイクリックサフィックス（ＣＳ）または両者を用いて、４つのＯＦＤＭシンボルを巡回的に拡張する。

【0068】

本発明のもう一つの実施例では、変調ステップ５３０における正規化ステップ５３１およびＯＦＤＭ変調ステップ５３２の順序を入れ替えてもよく、すなわち正規化ステップ５３１はＯＦＤＭ変調ステップ５３２の後に適用されてもよいため、時間領域において適用される。

【0069】

ステップ４：発信は、５４０に示すとおり。示す実施例において、４つの巡回拡張されたＯＦＤＭシンボルは、同じＲＦチャネルにアップコンバートされ、４つのＲＦ発信出力信号を並列して生成し、次いで、この４つのＲＦ発信出力信号が４つの発信アンテナによって並列発信される。

【0070】

なお、すべての動画像残差係数が準連続変調を採用する場合、実施例において与えた伝送方式は可変の処理遅延が発生せず、固定の処理遅延のみが発生する。仮に入力がラスタースキャンの高精細度映像信号である場合、図示した本発明の実施例では、高精細度映像送信端の理論的に最も小さい遅延は１６走査期間である。仮に受信端の出力もラスタースキャンの高精細度映像信号である場合、その理論的な最も小さい遅延も１６走査期間である。理論的に最も小さい端から端までの総遅延は、３２走査期間である。

【0071】

本発明について、図面および実施例により説明した。ただし、本発明は、これらの実施例に限られるものではないと理解すべきである。本発明の方法の変形において、一部のステップの順序を変更してもよく、一部のステップは組み合わせてもよく、複数のステップに分けてもよく、修正してもよい。当業者は、請求の範囲で限定した本発明の原理および範囲を逸脱せずに、修正および変更を行うことができる。

【0072】

参考文献

【0073】

［１］Jun Yin et al.,Method and device for transmitting high-definition video signal,Pub.No.CN102724518A,CN1027245188,W02013170763A1,May 6,2012

【0074】

［２］Jun Yin et al., Method and device for high-definition digital video signal transmission, and camera and acquisition equipment, Pub. No. CN1027245 19A, CN 102724519 B, W02013170766A1. May 6, 2012

【0075】

［３］Zvi Reznic et al., Apparatus and method for uncompressed, wireless transmission of video,Pub. No. US2007/0098063 A1, May 3, 2007

【0076】

［４］Thomas Paul and Tokunbo Ogunfunmi, Understanding the IEEE 802.11n Amendment,IEEE Circuits and Systems magazine, 1 st quarter 2008

【図1】

【図2】

【図3】

【図4】

【図5】