特許 6101069 符号化装置およびそのプログラム、復号装置およびそのプログラム、ならびに、映像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6101069

(24)【登録日】2017年3月3日

(45)【発行日】2017年3月22日

(54)【発明の名称】符号化装置およびそのプログラム、復号装置およびそのプログラム、ならびに、映像処理システム

(51)【国際特許分類】

   H04N 19/85 20140101AFI20170313BHJP

   H04N 19/61 20140101ALI20170313BHJP

   H04N 19/46 20140101ALI20170313BHJP

   H04N 19/12 20140101ALI20170313BHJP

   H04N 19/139 20140101ALI20170313BHJP

   H04N 19/14 20140101ALI20170313BHJP

   H04N 19/177 20140101ALI20170313BHJP

【ＦＩ】

   H04N19/85

   H04N19/61 200

   H04N19/46

   H04N19/12

   H04N19/139

   H04N19/14

   H04N19/177

【請求項の数】7

【全頁数】32

(21)【出願番号】特願2012-275844(P2012-275844)

(22)【出願日】2012年12月18日

(65)【公開番号】特開2014-120998(P2014-120998A)

(43)【公開日】2014年6月30日

【審査請求日】2015年11月2日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(74)【代理人】

【識別番号】100064414

【弁理士】

【氏名又は名称】磯野 道造

(74)【代理人】

【識別番号】100111545

【弁理士】

【氏名又は名称】多田 悦夫

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】岩村 俊輔

(72)【発明者】

【氏名】境田 慎一

【審査官】 後藤 嘉宏

(56)【参考文献】

【文献】 特開平０６−２９６２７６（ＪＰ，Ａ）

【文献】 特開２００２−１９１０５２（ＪＰ，Ａ）

【文献】 特開２００３−０３２４９６（ＪＰ，Ａ）

【文献】 特開２００７−２３５２９９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００７／００６４８１６（ＵＳ，Ａ１）

【文献】 特表２００３−５０８９８１（ＪＰ，Ａ）

【文献】 岩村俊輔, 松尾康孝, 三須俊枝, 境田慎一，”色・時間相関を考慮したフレーム時間分割による映像符号化の検討”，２０１２年画像符号化シンポジウム（ＰＣＳＪ２０１２），２０１２年１０月２６日

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

入力映像の画素値ベクトルを第一変換し、さらに、圧縮符号化してビットストリームとして伝送する符号化装置と、伝送された前記ビットストリームから前記画素値ベクトルを復号し、さらに、前記画素値ベクトルを第二変換して、出力映像とする復号装置と、を備えた映像処理システムにおける前記符号化装置であって、
入力映像の複数フレームの画素値ベクトルを画素位置ごとにパラメータによって前記第一変換する第一変換手段と、
前記第一変換手段による前記第一変換後の前記複数フレームの画素値ベクトルをフレーム単位でそれぞれ符号化して前記ビットストリームを生成する複数の映像符号化手段と、
前記入力映像の前記複数フレーム間の相関を解析し、その解析結果に応じて前記複数の映像符号化手段のうちの一つ以上による符号化処理と、前記第一変換手段における前記第一変換と、前記復号装置における前記第二変換を制御するパラメータをそれぞれ求める映像解析手段と、を備えることを特徴とする符号化装置。

【請求項2】

前記映像解析手段が、少なくとも前記第一変換手段における前記第一変換を制御する互いに独立なパラメータを設定した複数の制御モードを有し、この複数の制御モードを前記入力映像の前記複数フレームに応じて切り替え、
前記複数の制御モードのうち一つ以上の制御モードについて、前記複数の映像符号化手段のうち少なくとも一方を制御する互いに独立なパラメータをさらに設定することを特徴とする請求項１に記載の符号化装置。

【請求項3】

前記複数の映像符号化手段でそれぞれ生成されたフレーム単位の前記ビットストリームを入力し、前記復号装置における復号処理をそれぞれ前記フレーム単位で試行して、前記ビットストリームから前記フレームをそれぞれ復号する複数の局部映像復号手段と、
前記複数の局部映像復号手段で復号された前記複数のフレームに対し、前記復号装置における前記第二変換を試行して、変換後の前記複数フレームを前記映像解析手段に出力する局部第二変換手段と、を備え、
前記映像解析手段は、
前記局部第二変換手段による変換後の前記複数フレームを解析して、この解析結果に応じて前記復号装置における前記第二変換を制御するためのパラメータを最適化し、最適化したパラメータによって、前記復号装置における前記第二変換を制御することを特徴とする請求項１または請求項２に記載の符号化装置。

【請求項4】

入力映像の画素値ベクトルを第一変換し、さらに、圧縮符号化してビットストリームとして伝送する符号化装置と、伝送されたビットストリームから前記画素値ベクトルを復号し、さらに、前記画素値ベクトルを第二変換して、出力映像とする復号装置と、を備えた映像処理システムにおける前記復号装置であって、
前記ビットストリームから前記複数のフレームをフレーム毎に復号する複数の映像復号手段と、
前記複数の映像復号手段で復号された前記複数フレームの画素位置毎に、前記符号化装置において変換された画素値ベクトルを前記第二変換する第二変換手段と、を備え、
前記第二変換手段は、前記符号化装置における変換で用いられたパラメータに対応するパラメータにしたがって前記第二変換することを特徴とする復号装置。

【請求項5】

入力映像の画素値ベクトルを第一変換し、さらに、圧縮符号化してビットストリームとして伝送する符号化装置と、伝送された前記ビットストリームから前記画素値ベクトルを復号し、さらに、前記画素値ベクトルを前記第二変換して、出力映像とする復号装置と、を備えた映像処理システムであって、
請求項１から請求項３のいずれか一項に記載の符号化装置と、請求項４に記載の復号装置と、を備えることを特徴とする映像処理システム。

【請求項6】

コンピュータを、請求項１から請求項３のいずれか一項に記載の符号化装置として機能させるための符号化プログラム。

【請求項7】

コンピュータを、請求項４に記載の復号装置として機能させるための復号プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像を符号化圧縮する装置に関し、とくに既存の映像処理システムに付加することで入力映像の色ベクトルの時間相関を利用して符号化効率を改善する技術に関する。

【背景技術】

【0002】

映像を符号化伝送する場合には、通常、映像処理システムは、入力映像のフレームレート以上の処理能力を有するものを用いる。
映像処理システムの能力が入力映像のフレームレートを処理するに足りない場合には、当該映像処理システムを複数台並列に動作させ、入力映像をより低いフレームレートの映像へと時間的に分割して（例えば、偶数フレームと奇数フレームに分割して）、それぞれを別々の符号化装置で符号化することが行われている。
複数の映像処理システムで生成されたストリームを多重化する技術として、ストリーム間の発生データ量に応じて、適応的に多重化を行う技術が開示されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平８−２５６３１２号公報（請求項１、段落００２８〜００３０および図２参照）

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特に映像の解像度やフレームレートが高い場合には、当該映像を処理できる単体の映像処理システムの回路規模が極端に大きくなり、製造コストや大きさにおいて、非現実的なものとなることや、回路規模、電源、排熱や配線の遅延などに起因して、技術的に実現不可能となることがあった。

【0005】

また、映像を時間分割して複数台の映像処理システムで符号化を行う場合、従来は入力フレームをフレーム毎に別々の映像処理システムに割り振ることが行われており、個々の映像処理システムに入力される分割後の映像のフレーム間の時間間隔が元の入力映像のフレーム間の時間間隔よりも広くなってしまっていた。その結果、フレーム間の時間相関が低下し、動き補償を行う映像処理システムにおいては、符号化効率が低下してしまうという問題があった。

【0006】

さらに、特許文献１に記載の技術では、多重化されるストリーム間の発生データ量に応じて適切な多重化制御を行うことはできるものの、映像を時間分割して得られた複数映像フレーム系列を多重化伝送することは想定されていないため、入力映像の色ベクトルの時間相関を活かしたデータ圧縮効果は期待できない。

【0007】

そこで、本発明は、入力映像の色ベクトルの時間相関を考慮して色変換を行うことで、符号化効率の改善を図ることが可能な技術を提供することを課題とする。

【課題を解決するための手段】

【0008】

本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載の発明は、入力映像の画素値ベクトルを第一変換し、さらに、圧縮符号化してビットストリームとして伝送する符号化装置と、伝送されたビットストリームから前記画素値ベクトルを復号し、さらに、前記画素値ベクトルを第二変換して、出力映像とする復号装置と、を備えた映像処理システムにおける前記符号化装置であって、第一変換手段と、複数の映像符号化手段と、映像解析手段と、を備えることを特徴とする。

【0009】

かかる構成によれば、映像処理システムは、第一変換手段によって、入力映像の複数フレームをまとめた画素値ベクトルを画素位置ごとにパラメータによって変換（第一変換）する。これにより、入力映像の複数フレームの画素値ベクトルの統計的性質を、色味や動きに応じて調整することができる。

【0010】

また、映像処理システムは、複数の映像符号化手段によって、第一変換手段による第一変換後の複数フレームをフレームごとにそれぞれ符号化してビットストリームを生成する。これにより、統計的性質が調整された複数フレームの画素値ベクトルを統計的性質に応じて符号化パラメータを制御しつつ圧縮符号化することができる。

【0011】

そして、映像処理システムは、映像解析手段によって、入力映像の複数フレーム間の相関を解析し、その解析結果に応じて、複数の映像符号化手段のうちの一つ以上による符号化処理と、第一変換手段における第一変換と、復号装置における第二変換とを制御するパラメータをそれぞれ求める。

【0012】

このように、複数フレーム間の相関を考慮したパラメータを設定することで、映像の色味や動きに応じて、複数の映像符号化手段に対し情報配分を行うことができる。これによって、複数の映像符号化手段で、映像を効率よく復号側に伝送することができる。また、映像処理システムは、映像解析手段によって、第一変換手段による第一変換に対応して復号側で行われる第二変換をパラメータ制御するため、復号側で第二変換を適切に行うことができ、よって、画質の劣化を抑制することができる。

【0013】

また、請求項２に記載の発明は、請求項１に記載の符号化装置において、映像解析手段が、少なくとも前記第一変換手段における前記第一変換を制御する互いに独立なパラメータを設定した複数の制御モードを有し、この複数の制御モードを前記入力映像の前記複数フレームに応じて切り替え、複数の制御モードのうち一つ以上の制御モードについて、前記複数の映像符号化手段のうち少なくとも一方を制御する互いに独立なパラメータをさらに設定することとした。

【0014】

かかる構成によれば、符号化装置は、映像解析手段が、入力映像の大まかな違い（動き量の多寡、色彩の多寡など）に応じて制御モードを切り替えて第一変換手段における第一変換を制御するパラメータを切り替えるとともに、各制御モードにおいては、その大まかな違いによって必要に応じて、複数の映像符号化手段のうち少なくとも一方を制御するパラメータをさらに設定可能とすることで、複数の制御モードの全てについてそれぞれ異なる挙動を実現することが可能となる。これにより、広範な種類の絵柄に対して、詳細なパラメータ調整が可能となる。

【0015】

また、請求項３に記載の発明は、請求項１または請求項２に記載の符号化装置において、複数の局部映像復号手段と、局部第二変換手段と、を備え、前記映像解析手段は、前記局部第二変換手段による局部第二変換後の前記複数フレームをまとめて解析して、この解析結果に応じて前記復号装置における前記第二変換を制御するためのパラメータを最適化し、最適化したパラメータによって、前記復号装置における前記第二変換を制御することとした。

【0016】

かかる構成によれば、符号化装置は、複数の局部映像復号手段によって、複数の映像符号化手段でそれぞれ生成されたフレーム単位のビットストリームを入力し、復号装置における復号処理をそれぞれフレーム単位で試行して、ビットストリームからフレームをそれぞれ復号する。
そして、符号化装置は、局部第二変換手段によって、複数の局部映像復号手段で復号された前記複数のフレームに対し、復号装置における第二変換を模擬的に試行し、変換後の複数フレームを映像解析手段に出力する。

【0017】

そして、符号化装置は、映像解析手段によって、局部第二変換手段による変換後の複数フレームをまとめて解析して復号装置における第二変換を制御するためのパラメータを最適化し、最適化したパラメータによって、復号装置における第二変換を制御する。
これにより、符号化装置は、復号側で行われる復号処理および第二変換と同様の処理を模擬的に試行することで、映像符号化手段による符号化で生じる画質劣化が復号側での復号処理および第二変換後の画像にどのように現れるかを予め確認し、これに応じて復号側での第二変換を制御するパラメータを適切に設定することができるので、符号化側において、復号側での出力映像の画質が、符号化側への入力映像に対して劣化が少なくなるように制御することができる。

【0018】

また、請求項４に記載の発明は、入力映像の画素値ベクトルを第一変換し、さらに、圧縮符号化してビットストリームとして伝送する符号化装置と、伝送されたビットストリームから前記画素値ベクトルを復号し、さらに、前記画素値ベクトルを第二変換して、出力映像とする復号装置と、を備えた映像処理システムにおける前記復号装置であって、複数の映像復号手段と、第二変換手段と、を備え、前記第二変換手段は、前記符号化装置における前記第一変換で用いられたパラメータに対応するパラメータにしたがって前記第二変換を行うことを特徴とする。

【0019】

かかる構成によれば、復号装置は、複数の映像復号手段によって、符号化装置から伝送されたビットストリームから複数のフレームをフレーム毎に復号する。
そして、復号装置は、第二変換手段によって、複数の映像復号手段で復号された複数フレームの画素位置毎に、符号化装置において変換された画素値ベクトルに対し、第二変換を行う。このとき、復号装置は、第二変換手段によって、符号化装置における変換で用いられたパラメータに対応するパラメータにしたがって第二変換を行う。
このように、復号装置は、第二変換手段での第二変換を、符号化装置における第一変換で用いられたパラメータに対応するパラメータにしたがって行うことで、復号側での出力映像の画質が、符号化装置への入力映像に対して劣化するのを抑制することができる。

【0020】

また、請求項５に記載の発明は、入力映像の画素値ベクトルを第一変換し、さらに、圧縮符号化してビットストリームとして伝送する符号化装置と、伝送されたビットストリームから前記画素値ベクトルを復号し、さらに、前記画素値ベクトルを第二変換して、出力映像とする復号装置と、を備えた映像処理システムであって、請求項１から請求項３のいずれか一項に記載の符号化装置と、請求項４に記載の復号装置と、を備えることを特徴とする映像処理システムとした。

【0021】

また、請求項６に記載の発明は、コンピュータを、請求項１から請求項３のいずれか一項に記載の符号化装置として機能させるための符号化プログラムである。

【0022】

さらに、請求項７に記載の発明は、コンピュータを、請求項４に記載の復号装置として機能させるための復号プログラムである。

【発明の効果】

【0023】

請求項１，５，６に記載の発明によれば、映像の色味や時間相関を考慮した情報配分を行うことができるので、符号化効率を向上することができる。
請求項２に記載の発明によれば、広範な種類の絵柄に対して、符号化効率を向上することができる。
請求項３に記載の発明によれば、符号化側において、復号側での出力映像の画質を、符号化側への入力映像に対して劣化が少なくなるように制御することができる。
請求項４，７に記載の発明によれば、画質の劣化を抑制した出力映像が得られる。

【図面の簡単な説明】

【0024】

【図1】本発明の実施形態に係る映像処理システムの構成を説明するためのブロック図である。

【図2】本発明の実施形態に係る映像処理システムの符号化装置の映像解析手段において、映像の色味を判定する方法について説明するための概念図である。

【図3】本発明の実施形態に係る映像処理システムの符号化装置の映像解析手段において、映像の色味と動きに応じて設定した制御モードの一例を説明するための説明図である。

【図4】本発明の実施形態に係る映像処理システムの符号化装置の映像解析手段において、量子化パラメータの制御例を示した図である。

【図5】本発明の実施形態に係る映像処理システムの符号化装置の映像解析手段において、各制御モードに好適な映像シーンの一例を示した図である。

【図6】本発明の実施形態に係る映像処理システムによる処理の流れを説明するためのフローチャートである。

【図7】本発明の実施形態の変形例に係る映像処理システムの構成を説明するためのブロック図である。

【図8】本発明の実施形態の変形例に係る映像処理システムによる処理の流れを説明するためのフローチャートである。

【図9】本発明の実施形態に係る映像処理システムにおいて、入力映像のフレーム数に適応させて構成を変更した例を説明するためのブロック図である。

【図10】本発明の実施形態に係る映像処理システムにおいて、入力映像のフレーム数に適応させて構成を変更した他の例を説明するためのブロック図である。

【発明を実施するための形態】

【0025】

以下、本発明の実施形態に係る映像処理システムについて図面を適宜参照して説明する。
図１に示すように、本発明の実施形態に係る映像処理システム１は、符号化装置２と復号装置３とを備える。符号化装置２は、映像遅延手段２１と、映像解析手段２２と、第一変換手段２３と、複数の映像符号化手段２４（図１では、２つの映像符号化手段２４−１および２４−２）とを備えている。復号装置３は、複数の映像復号手段３１（図１では、２つの映像復号手段３１−１および３１−２）と、第二変換手段３２と、切替手段３３とを備えている。

【0026】

まず、符号化装置２の各構成について説明する。
映像遅延手段２１は、外部から入力された映像解析手段２２への入力映像のフレームを一時記憶することによって、映像解析手段２２に対し過去のフレームを出力可能とするものである。
例えば、映像遅延手段２１は、入力映像の現時点におけるフレームの一つ前の時点のフレームを記憶し、記憶したフレームを適宜タイミングで映像解析手段２２に対し出力する。
映像遅延手段２１は、例えば、入力映像が奇数フレームのときに、当該フレームを一時記憶し、一方、入力映像が偶数フレームのときに、当該フレームを映像解析手段２２に出力する。なお、この動作タイミングの説明において、奇数を偶数に、偶数を奇数にそれぞれ読み替えても構わないものとする。
ここでは、外部からの入力映像は、３つの色成分を備えるものとする。この３つの色成分は、赤、緑、青（ＲＧＢ）の３原色などとしてもよいし、輝度成分Ｙと２つの色差成分Ｕ，Ｖなどとしてもよい。

【0027】

映像解析手段２２は、外部から入力映像の現時点におけるフレーム（現フレーム）を入力し、映像遅延手段２１から、現時点の一つ前の時点におけるフレーム（前フレーム）を入力し、現フレームと前フレームとをまとめて解析するものである。
映像解析手段２２は、フレーム単位で解析を実行してもよいし、フレームを分割した部分領域（例えばブロック）単位で解析を実行してもよい。
なお、ここでの「フレーム」には、イントラフレーム（Ｉフレーム）とインターフレーム（Ｐ，Ｂフレーム）のいずれをも含むものとする。
映像解析手段２２は、例えば、入力映像の動きの度合い、色味や色の時間変換などを解析する。

【0028】

映像解析手段２２は、入力映像の動きを判定する場合には、例えば、複数フレーム間の動きベクトルをブロック単位で求め、さらに、ブロック単位で求めた動きベクトルをブロック数で除算することで、動きベクトルの大きさの平均値を求める。そして、映像解析手段２２は、当該平均値を予め設定した閾値と比較し、平均値が閾値を超えた場合には、入力映像に動きがあると判定する。なお、映像解析手段２２は、複数フレーム間の動きベクトルを求めるのに代えて、複数フレーム間の画素値の差分値を求め、この差分値の平均値を閾値と比較することで、入力映像（現フレームと前フレーム）の動きの有無を判定してもよい。

【0029】

また、映像解析手段２２は、入力映像の色味を判定する場合には、例えば、あるフレーム（例えば、現フレーム）を構成する各画素の色ベクトルについて分散共分散行列を求め、その固有値（各色成分の重み）に基づいて多くの色を含むか否かを判定する。
ここで、映像解析手段２２が入力映像の色味を判定する方法について、図２を参照して説明する。ここでは、入力映像の色成分が３つであるため、３つの固有値（λ_１〜λ_３、ここで、λ_１＞λ_２＞λ_３とする）に対し、それぞれ閾値θ_１〜θ_３（ここで、θ_１＞θ_２＞θ_３とする）を予め定め、固有値と対応する閾値とを比較した結果に基づいて、色味を判定する。なお、図２に示した３つの軸は、入力映像の成分に応じて決定されるものであり、ＲＧＢの３成分であれば、それぞれＲ軸、Ｇ軸、Ｂ軸となり、ＹＵＶの３成分であれば、それぞれＹ軸、Ｕ軸、Ｖ軸となる。なお、図２に示す図形は、３つの色成分の分布の様子をイメージとして示したものである。図形が点状の場合、入力映像が単色で表され、線状の場合、入力映像が単色のグラデーションで表され、面状の場合、入力映像が２色の混色で表され、立体状（球体状）の場合、入力映像が３色の混色で表されることを示している。

【0030】

例えば、映像解析手段２２は、図２（ａ）に示すように、最大固有値λ_１が対応する閾値θ_１より小さければ、分布が点状となり、単色に近くかつ平坦な絵柄であると判定する。つまり、最も色変化が大きい色変化軸上で色成分がどれだけ大きく変化したか（色成分の分散）を閾値との比較で判定するものとする。その結果、最大固有値λ_１が閾値θ_１より小さければ、最大固有値λ_１に対応する色成分であっても変化がごくわずかであるとわかることから、単色で表現でき、かつ、輝度値の変化も小さい平坦な絵柄であると判定できる。

【0031】

また、映像解析手段２２は、図２（ｂ）に示すように、最大固有値λ_１が閾値θ_１より大きく、かつ、２番目に大きい固有値λ_２が対応する閾値θ_２より小さければ、分布が線状となり、単色のトーンのみに近い絵柄であると判定する。この場合、色味は単色であるが、最大固有値λ_１が閾値θ_１より大きいので、トーンが存在する（例えば、グラデーションのような一次元的な色空間上での分布が存在する）絵柄であると判定できる。

【0032】

さらに、映像解析手段２２は、図２（ｃ）に示すように、最大固有値λ_１が閾値θ_１より大きく、かつ、２番目に大きい固有値λ_２が対応する閾値θ_２より大きく、かつ、最も小さい固有値λ_３が対応する閾値θ_３より小さければ、分布が面状となり、２色の混色で表現できる絵柄であると判定できる。この場合、最大固有値λ_１に対応する色成分と２番目に大きい固有値λ_２に対応する色成分の２色の混色で表現できる絵柄であると判定する。

【0033】

また、さらに、映像解析手段２２は、図２（ｄ）に示すように、全ての固有値λ_１〜λ_３がそれぞれ対応する閾値θ_１〜θ_３以上である場合、分布が立体状となり、全ての色成分の混色であるカラフルな絵柄であると判定する。

【0034】

次に、映像解析手段２２により、色の時間変化を判定する場合について説明する。
映像解析手段２２は、例えば、複数のフレーム（例えば、現フレームと前フレーム）のそれぞれについて、平均色ベクトル（フレーム内の画素値ベクトルの平均）を求め、その平均色ベクトルの変化（例えば、平均色ベクトルの差分の絶対値）と予め設定した閾値とを比較し、平均色ベクトルの変化の大きさが閾値より大きい場合に、色の時間変化が大きいと判定できる。このように、図２を参照して前記したように、１色ごとに色成分の変化をみるのではなく、３つの色成分の平均の変化をみることで、３つの色成分の全てについての時間変化の様子を判断することができる。

【0035】

再び図１に戻って、映像解析手段２２は、入力映像の解析結果に応じて、少なくとも第一変換手段２３の第一変換処理をパラメータによって制御する。
例えば、映像解析手段２２は、入力映像の解析結果に応じて、予め定めた複数の制御モードの中から最適な制御モードを設定し、その制御モードにおいて予め設定したパラメータにより、第一変換手段２３の第一変換処理を制御する。なお、制御モードの内容については、後記する。
また、映像解析手段２２は、第一変換手段２３の第一変換処理を制御するパラメータに基づいて、復号装置３の第二変換手段３２の第二変換処理を制御するパラメータを設定する。

【0036】

さらに、映像解析手段２２は、制御モードの一つ以上において、複数の映像符号化手段２４を制御するパラメータを設定してもよい。例えば、映像解析手段２２は、各制御モードにおいて、第一変換手段２３の第一変換処理を制御するパラメータに加えて、複数の映像符号化手段２４の符号化処理を制御する符号化パラメータ（例えば、量子化パラメータおよびクロマサブサンプリングのフォーマット）をさらに設定することができる。

【0037】

本実施形態では、映像解析手段２２において、例えば、図３に示すように、第一変換手段２３の第一変換処理を制御するパラメータ（およびこの第一変換手段２３の第一変換処理を制御するパラメータに基づいて設定される復号装置３の第二変換手段３２の第二変換処理を制御するパラメータ）と、複数の映像符号化手段２４の符号化処理を制御する符号化パラメータとを定めた制御モードを複数設定している。このようにして設定された複数の制御モードは、後記する復号装置３の第二変換手段３２にも、図示しない送信手段等を介して通知される。

【0038】

前記したように、映像遅延手段２１は、入力映像が偶数フレームのときに当該フレームをそのまま映像解析手段２２に出力するとともに、一時記憶した奇数フレームを映像解析手段２２に出力するため、映像解析手段２２は、映像遅延手段２１への入力映像が奇数フレームのときは動作せず、偶数フレームのときのみ動作することになる。
したがって、映像解析手段２２によってパラメータ制御される、後記する第一変換手段２３、映像符号化手段２４、および、復号装置３の第二変換手段３２、さらに、映像符号化手段２４と対となる復号装置３の映像復号手段３１も、映像遅延手段２１への入力映像が奇数フレームのときは動作せず、偶数フレームのときのみ動作することになる。

【0039】

ここで、映像解析手段２２によるパラメータ制御の具体的な説明に先立ち、映像解析手段２２によって制御される第一変換手段２３について説明する。
第一変換手段２３は、入力映像の複数のフレーム（例えば、現フレームと前フレーム）の画素位置毎の画素値ベクトルを、異なる色空間の画素値ベクトルに変換（第一変換）するものである。
第一変換手段２３は、複数のフレームにわたる、ある画素位置（ｘ，ｙ）の画素値ベクトルを一つのベクトルｚとして扱う。
以下では、入力映像の第ｆフレームの画素位置における画素値ベクトル（色ベクトル）をＩ（ｆ，ｘ，ｙ）とおく。また、「複数のフレーム」のフレーム数が２であり、各フレームの画素値が３次元の画素値ベクトルである場合を例にとって説明する。

【0040】

例えば、第（２ｆ−１）フレームおよび第（２ｆ）フレームの画素値ベクトルをまとめたものをｚ（２ｆ，ｘ，ｙ）とおくと、ベクトルｚ（２ｆ，ｘ，ｙ）は、次の式（１）のように表される。

【0041】

【数1】

【0042】

さらに、例えば、画素値ベクトルがＹ，Ｕ，Ｖの３つの色成分からなる場合には、ベクトルｚ（２ｆ，ｘ，ｙ）は、次の式（２）のように表される。

【0043】

【数2】

【0044】

なお、Ｙ，Ｕ，Ｖの各成分は、前記したように、例えば、Ｙが輝度成分を、Ｕ，Ｖが式差成分を表してもよいし、Ｙ，Ｕ，Ｖがそれぞれ３原色（緑、青、赤）の各１色成分を表してもよい。
第一変換手段２３は、次の式（３）に示すように、ベクトルｚを異なる色空間に属するベクトルｗに変換する。この第一変換手段２３でのベクトル関数ｈによる変換は、映像解析手段２２で設定されたパラメータθによって制御される。

【0045】

【数3】

【0046】

なお、ベクトル関数ｈを、次の式（４）に示すように、行列Ｍとベクトルａによる線形変換によって表現してもよい。

【0047】

【数4】

【0048】

前記式（４）におけるベクトルａは、行列Ｍによるベクトルｚの変換結果が負の値とならないように、または、正の値に近づけるように調整するためのものである。
ここで、パラメータθは、行列Ｍおよびベクトルａを特定するための情報であり、例えば、行列Ｍおよびベクトルａの各成分そのものとすることができる。すなわち、例えば、行列Ｍが６行６列の行列であり、ベクトルａが６次元のベクトルである場合、パラメータθは、次の式（５）に示すように表される。

【0049】

【数5】

【0050】

つまり、パラメータθを前記式（５）に示すような４２次元のベクトルとして定義することができる。

【0051】

なお、ベクトルａは、ベクトルＭｚの結果の各成分の値域が映像符号化手段２４の想定する範囲に収まるように（またはこの想定する範囲を逸脱することが少なくなるように）設定することが好ましい。例えば、映像符号化手段２４によって、８ビット（値域０乃至２５５）の映像しか扱えない場合に、ベクトルＭｚの結果の各成分の値域が０乃至２５５を超えてしまう（例えば値域−５０乃至３００など）と、映像符号化手段２４において、アンダーフローやオーバーフローを生じ符号化劣化の要因となる。そのため、ベクトルａを調整することで、ベクトルＭｚの結果の各成分の値域が８ビットの範囲内に収まるように調整することとした。

【0052】

ここで、ベクトルｗの次元をＤ（ここでは、Ｄ＝６）としたとき、ベクトルＭｚは、次の式（６）で表される。

【0053】

【数6】

【0054】

このとき、ベクトルａは、例えば、次の式（７）のように設定することができる。

【0055】

【数7】

【0056】

このように最小値と最大値の中点（平均値）に予め定めた値ｒ_１〜ｒ_Ｄを加算することで、求める値域に近づけることができる。例えば、複数の映像符号化手段２４でそれぞれ８ビットの映像しか処理できない場合、０〜２５５の値域で出力を得ることが望ましい。そのため、例えば、値ｒ_１〜ｒ_Ｄを、１２８などと設定することで、ベクトルＭｚの結果の各成分の値域を複数の映像符号化手段２４での処理が可能な範囲とすることができる。

【0057】

以上説明したような、第一変換手段２３による第一変換後の画素値ベクトルｗは、複数の映像符号化手段２４（映像符号化手段２４−１および２４−２）にそれぞれ出力される。

【0058】

再び、映像解析手段２２の説明に戻り、映像解析手段２２により、第一変換手段２３のパラメータθ（つまり、例えば、前記式（４）の行列Ｍやベクトルａ）を制御する方法の一例について図３（とくに図３の「第一変換」の列）を参照し、各制御モードと各制御モードに応じたパラメータθの設定例（ここでは行列Ｍとして表記）と、それに応じた第一変換手段２３の挙動について説明する。

【0059】

図３に示すように、制御モード１（無変換）においては、行列Ｍは、左上および右下の３行３列の部分行列はそれぞれ単位行列に設定され、左下および右上の３行３列はそれぞれ零行列に設定される。つまり、行列Ｍは、６行６列の単位行列に設定される。制御モード１では、第一変換手段２３により、色変換やフレーム間の変換をせずに、現フレームおよび前フレームがそのまま映像符号化手段２４に出力される。

【0060】

次に、制御モード２（色変換）においては、行列Ｍは、左上および右下の３行３列の部分行列はそれぞれ色変換行列Ｃ_１およびＣ_２に設定され、左下および右上の３行３列の部分行列をそれぞれ零行列に設定される。つまり、第一変換手段２３により、前フレームに対しては、色変換行列Ｃ_１で色変換し、現フレームに対しては、色変換行列Ｃ_２で色変換する。なお、色変換行列Ｃ_１と色変換行列Ｃ_２とを同一としても構わない。

【0061】

制御モード２において、色変換行列Ｃ_１は、例えば、前フレームの主成分分析によって決定することができる。すなわち、前フレームを構成する各画素の画素値ベクトル（色ベクトル）のフレーム内全体における統計量（例えば、分散・共分散行列や相関行列）を求め、これに基づいて主成分分析して主成分ベクトルを求め、第１乃至第３主成分ベクトルをそれぞれ行ベクトルとしたものを色変換行列Ｃ_１の第１乃至第３行とすることで、色変換行列Ｃ_１を設定する。

【0062】

また、制御モード２において、色変換行列Ｃ_２は、例えば、現フレームの主成分分析によって決定することができる。すなわち、現フレームを構成する各画素の画素値ベクトル（色ベクトル）のフレーム内全体における統計量（例えば、分散・共分散行列や相関行列）を求め、これに基づいて主成分分析して主成分ベクトルを求め、第１乃至第３主成分ベクトルをそれぞれ行ベクトルとしたものを色変換行列Ｃ_２の第１乃至第３行とすることで、色変換行列Ｃ_２を設定する。

【0063】

色変換行列Ｃ_１と色変換行列Ｃ_２とを同一とする場合には、例えば、前記したような方法で求めた色変換行列Ｃ_１（または色変換行列Ｃ_２）を、色変換行列Ｃ_１（または色変換行列Ｃ_２）の両方に設定すればよい。

【0064】

または、色変換行列Ｃ_１と色変換行列Ｃ_２とを同一とする場合に、例えば、現フレームおよび前フレームをまとめて主成分分析して、一つの色変換行列を決定してもよい。
すなわち、現フレームおよび前フレームを構成する各画素の画素値ベクトル（色ベクトル）の２フレーム内全体における例えば、分散・共分散行列や相関行列）を求め、これに基づいて主成分分析を行って主成分ベクトルを求め、第１乃至第３主成分ベクトルをそれぞれ行ベクトルとしたものを色変換行列Ｃ_１＝色変換行列Ｃ_２の第１乃至第３行とすることで、色変換行列Ｃ_１と色変換行列Ｃ_２を設定する。

【0065】

制御モード３（時間差分）においては、行列Ｍは、左上および右下の３行３列の各部分行列は単位行列に設定され、左下の３行３列の部分行列は、単位行列の（−１）倍に設定され、右上の３行３列の部分行列は零行列に設定される。制御モード３では、第一変換手段２３により、現フレームおよび前フレームに対し色変換やフレーム間の変換がされず、現フレームから前フレームを減じた差分画像（各画像の同一画素位置の画素毎の画素値ベクトルの差分を取った結果画像）が生成される。これにより、前フレームと、現フレームから前フレームを減じた差分画像とが、映像符号化手段２４に出力される。

【0066】

制御モード４（色変換・時間差分）において、行列Ｍは、左上の３行３列の部分行列は、色変換行列Ｃ_１、右下の３行３列の部分行列は、色変換行列Ｃ_２、左下の３行３列の部分行列は色変換行列（−Ｃ_２）、右上の３行３列の部分行列は、零行列に設定される。色変換行列Ｃ_１およびＣ_２の設定方法は、制御モード２の場合と同様である。制御モード４では、第一変換手段２３により、前フレームを色変換行列Ｃ_１で色変換し、前フレームおよび現フレームを色変換行列Ｃ_２で色変換する。これにより、色変換行列Ｃ_１で色変換された前フレームと、色変換行列Ｃ_２で色変換された現フレームから色変換行列Ｃ_２で色変換された前フレームを減じた差分画像とが映像符号化手段２４に出力される。

【0067】

制御モード５（主成分分析）においては、行列Ｍの第ｋ行目（ここでは、ｋは１以上６以下の整数）を行ベクトルｖ_ｋ^Ｔとおく（ｖ_ｋを列ベクトルとし、上付きのＴは転置を示すものとする）。制御モード５では、第一変換手段２３により、現フレームおよび前フレームを行ベクトルｖ_ｋ^Ｔで変換する。この変換結果が、映像符号化手段２４に出力される。

【0068】

制御モード６（主成分分析・切り捨て）においては、行列Ｍの第ｋ行目（ここでは、ｋは１以上Ｋ以下の整数、Ｋは５以下の整数）を行ベクトルｖ_ｋ^Ｔとおき、第Ｋ行目乃至第６行目は、６次元の零ベクトル（行ベクトル）とおく。図３に示す例では、Ｋ＝４とした。制御モード６と制御モード６´との違いは、制御モード６の出力が６次元（ただし、下位２成分はいずれも０）である一方で、制御モード６´の出力が４次元である点である。制御モード６と制御モード６´の使い分けについては、詳しくは後記する。

【0069】

制御モード５および制御モード６におけるベクトルｖ_ｋは、例えば、前フレームおよび現フレームの同一画素位置の画素値ベクトルをまとめた６次元のベクトルｚ（２ｆ，ｘ，ｙ）を画面内の複数の画素位置（例えば、画面内全ての画素位置）について、統計量（例えば、ベクトルｚの分散・共分散行列または相関行列）を計算により求め、当該統計量に基づいて主成分分析を適用することで得られた第ｋ主成分ベクトルであるものとする。

【0070】

なお、制御モード６の代わりに、制御モード６´（主成分分析・切り捨て）を実装しても構わない。制御モード６´は、行列Ｍの第ｋ行目（ここでは、ｋは１以上Ｋ以下の整数、Ｋは５以下の整数）を行ベクトルｖ_ｋ^ＴとおいたＫ行６列の行列である。制御モード６´においては、好ましくはＫ＝４とする。

【0071】

次に、映像解析手段２２によってパラメータ制御される複数の映像符号化手段２４（ここでは、映像符号化手段２４−１および２４−２）について説明する。
複数の映像符号化手段２４は、後記する復号装置３の複数の映像復号手段３１と対をなしている。ここでは、映像符号化手段２４と、復号装置３の映像復号手段３１との対の個数が２個であるものとする。つまり、映像符号化手段２４−１は、復号装置３の映像復号手段３１−１と対をなし、映像符号化手段２４−２は、復号装置３の映像復号手段３１−２と対をなしている。

【0072】

映像符号化手段２４−１および２４−２は、第一変換手段２３による第一変換後の画素値ベクトルｗをそれぞれ入力し、入力された画素値ベクトルｗの異なる一部分を圧縮符号化し、ビットストリームを生成する。
このようにして、生成されたビットストリームは、図示しない通信手段等を介して、復号装置３の映像復号手段３１−１または３１−２に伝送される。

【0073】

ここで、映像符号化手段２４−１および２４−２は、同一の符号化方式であっても、異なる符号化方式であっても構わない。符号化方式は、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ｜Ｈ．２６４、Ｍｏｔｉｏｎ ＪＰＥＧなど既存の動画像符号化方式であってもよいし、ＪＰＥＧなどの静止画の符号化方式であっても構わない。
ただし、前記したような映像符号化手段２４−１および２４−２の符号化方式は、復号装置３の映像復号手段３１−１および３１−２のいずれか一方または両方が非可逆な復号方式であるときに、とくに好適である。

【0074】

また、映像解析手段２２は、前記したように、各制御モードにおいて、映像符号化手段２４−１および２４−２を制御する符号化パラメータをさらに設定する。
次に、映像解析手段２２による、図３の「映像符号化手段２４−１」および「映像符号化手段２４−２」列を参照して、各制御モードにおける符号化パラメータ（ここでは、量子化パラメータＱＰおよびクロマサブサンプリングのフォーマット）の設定例について説明する。

【0075】

図３に示すように、映像解析手段２２は、各制御モードにおいて、量子化パラメータＱＰとして、Ｑ「ＱＰ小」、「ＱＰ中」、「ＱＰ大」のいずれかを設定し、クロマサブサンプリングとして、４：４：４フォーマットまたは４：０：０フォーマットのいずれかを設定している。

【0076】

ここで、量子化パラメータＱＰである「ＱＰ小」、「ＱＰ中」、「ＱＰ大」の示す意味について、図４を参照してさらに説明する。
図４に示すように、量子化パラメータＱＰに付される小、中、大とは、量子化ステップの細かさを示しており、「ＱＰ小」が最も量子化ステップが細かく（画質が高い）、「ＱＰ大」が最も量子化ステップが粗い（画質が低い）ことを示している。
この量子化パラメータの設定方法は、図４に示すように、様々とすることができる。例えば、図４（１）に示すように、「ＱＰ大」、「ＱＰ中」、「ＱＰ小」の絶対的な値をそれぞれ定めておいてもよいし、図４（２）に示すように、「ＱＰ大」、「ＱＰ中」、「ＱＰ小」間の相対的な差分を設定してもよいし、図４（３）に示すように、「ＱＰ大」、「ＱＰ中」、「ＱＰ小」間の取り得る値の組み合わせの集合を定めてもよい。

【0077】

図４（２）のように相対的な差分を与えるやり方によると、バッファの状況等に応じてトータルのビットレートを制御するために、全体的な量子化パラメータＱＰの制御が必要となる場合に、「ＱＰ大」、「ＱＰ中」、「ＱＰ小」の関係性を保ったまま、それぞれの値を変更することができる点で優れている。例えば、映像符号化手段２４−１における量子化パラメータＱＰを「ＱＰ小」とし、映像符号化手段２４−２における量子化パラメータＱＰを「ＱＰ大」とした場合、映像符号化手段２４−１に入力される３成分は手厚く（細かく）伝送し、映像符号化手段２４−２に入力される３成分は映像符号化手段２４−１に入力される３成分に比べて手薄く（粗く）伝送する、といった関係性を保ったまま「ＱＰ小」または「ＱＰ大」そのものの値を変更できる。

【0078】

再び図３を参照し、各制御モードにおいて設定した、映像符号化手段２４−１および２４−２の量子化パラメータＱＰの具体的な内容について説明する。

【0079】

図３に示すように、制御モード１では、映像符号化手段２４−１および２４−２の両方で量子化パラメータＱＰを「ＱＰ中」としている。これは、制御モード１では、第一変換手段２３において、現フレームおよび前フレームに対し何ら変換を施さないため、現フレームと前フレームとの重要度に差が少ないといえる。そのため、制御モード１では、映像符号化手段２４−１と映像符号化手段２４−２の量子化パラメータＱＰを同等としたものである。

【0080】

制御モード２では、映像符号化手段２４−１および２４−２の両方で量子化パラメータＱＰを「ＱＰ中」としている。制御モード２では、第一変換手段２３において、現フレームを色変換行列Ｃ_２で色変換するとともに、前フレームを色変換行列Ｃ_１で色変換しているので、制御モード１における場合と同様に、現フレームと前フレームとの重要度に差が少ないといえるためである。

【0081】

制御モード３では、映像符号化手段２４−１の量子化パラメータＱＰを「ＱＰ小」とし、映像符号化手段２４−２の量子化パラメータＱＰを「ＱＰ大」としている。ここで、制御モード３では、第一変換手段２３において、現フレームから前フレームを減じた差分画像を生成している。例えば、この差分画像を映像符号化手段２４−１で処理し、前フレームを映像符号化手段２４−２で処理することで、より重要度が高い差分画像を手厚く符号化することができる。

【0082】

制御モード４では、映像符号化手段２４−１の量子化パラメータＱＰを「ＱＰ小」とし、映像符号化手段２４−２の量子化パラメータＱＰを「ＱＰ大」としている。ここで、制御モード４では、第一変換手段２３において、前フレームを色変換行列Ｃ_１で色変換するとともに、前フレームおよび現フレームを色変換行列Ｃ_２で色変換して現フレームから前フレームを減じた差分画像を生成している。例えば、この色変換後の前フレームを映像符号化手段２４−２で処理し、差分画像を映像符号化手段２４−１で処理することで、より重要度が高い差分画像を手厚く符号化することができる。

【0083】

制御モード５では、映像符号化手段２４−１の量子化パラメータＱＰを「ＱＰ小」とし、映像符号化手段２４−２の量子化パラメータＱＰを「ＱＰ大」としている。ここで、制御モード５では、第一変換手段２３において、現フレームおよび前フレームをまとめて主成分分析して第１〜第６主成分を得ている。例えば、この第１〜第３主成分を映像符号化手段２４−１で処理し、第４〜第６主成分を映像符号化手段２４−２で処理することで、より重要度が高い第１〜第３主成分を手厚く符号化することができる。

【0084】

制御モード６および６´では、映像符号化手段２４−１の量子化パラメータＱＰを「ＱＰ小」とし、映像符号化手段２４−２の量子化パラメータＱＰを「ＱＰ大」としている。ここで、制御モード６および６´では、第一変換手段２３において、現フレームおよび前フレームをまとめて主成分分析して第１〜第６主成分（制御モード６´では第４〜第Ｄ主成分）を得ている。この結果の第１〜３主成分を映像符号化手段２４−１で処理し、第４〜第６主成分（制御モード６´では第４〜第Ｄ主成分）を映像符号化手段２４−２で処理することで、より重要度が高い第１〜第３主成分を手厚く符号化することができる。

【0085】

次に、各制御モード１〜６（６´）において設定した、映像符号化手段２４−１および２４−２のクロマサブサンプリングのフォーマットの内容について説明する。
制御モード１〜６では、映像符号化手段２４−１および２４−２の両方で、クロマサブサンプリングのフォーマットを４：４：４と設定している。
一方、制御モード６´では、映像符号化手段２４−１のクロマサブサンプリングのフォーマットを４：４：４と設定し、映像符号化手段２４−２のクロマサブサンプリングのフォーマットを４：０：０と設定している。

【0086】

つまり、制御モード６と制御モード６´とでは、映像符号化手段２４−１と映像符号化手段２４−２に対するクロマサブサンプリングのフォーマットの設定の仕方が異なる。
ここで、制御モード６と制御モード６´は、前記したように、第一変換手段２３で用いる行列Ｍの内容が異なる。つまり、制御モード６では、行列Ｍの第ｋ行目（ｋは１以上Ｋ以下の整数、Ｋは５以下の整数）を行ベクトルｖ_ｋ^ｔとおき、第Ｋ行目乃至第６行目を６次元の零ベクトルとしている。一方で、制御モード６´では、行列Ｍの第ｋ行目（ｋは１以上Ｋ以下の整数、Ｋは５以下の整数）を行ベクトルｖ_ｋ^ｔとおいたＫ行６列の行列である。このように、制御モード６および６´は、いずれも下位主成分を切り捨てている点では共通するが、制御モード６では、第Ｋ〜第６主成分に対し０を割り当てている一方で、制御モード６´では、第Ｋ〜第６主成分を完全に無いものとしている点で相違する。ただし、結果としては、第一変換手段２３で制御モード６および６´にしたがって変換を行って得られた画像は、いずれもモノクロ画像とみなして扱うことができるものである。

【0087】

しかし、映像符号化手段２４−１および２４−２において、モノクロ画像、カラー画像の別に応じて、クロマサブサンプリングのフォーマットを切り替えることが困難な場合もある。そのため、制御モード６および６´を設け、制御モード６では、モノクロ画像であっても、映像符号化手段２４−１および２４−２においてカラー画像とみなして符号化処理させることとし、一方、制御モード６´では、モノクロ画像をモノクロ画像のまま映像符号化手段２４−１および２４−２において符号化処理させることとした。

【0088】

次に、映像解析手段２２において設定された各制御モード１〜６（６´）のそれぞれに適した映像例について、図３の「好適な映像」列を参照して説明する。
図３に示すように、制御モード１は、動きが大きくカラフルなシーンの映像の処理に好適である。これは、制御モード１は、色相関や時間相関を考慮せず、現フレームと前フレームに対し何ら変換を行わないためである。
制御モード２は、動きが大きく色の偏ったシーンの映像の処理に好適である。これは、制御モード２が現フレームと前フレームの色変換を行うためである。例えば、夕焼けのシーンなどに特に有効である。
制御モード３は、動きが小さくカラフルなシーンの映像の処理に好適である。これは、制御モード３が現フレームと前フレームとの時間差分をとるためである。
制御モード４は、動きが小さく色の偏ったシーンの映像の処理に好適である。これは、制御モード４が現フレームと前フレームの色変換を行い、さらに、現フレームと前フレームとの時間差分をとるためである。
制御モード５は、動きが小さくカラフルで色が時間変換するシーンの映像の処理に好適である。これは、制御モード５が、現フレームと前フレームとを主成分分析して得られた各主成分の重みに応じて色変換を行うためである。例えば、音楽ステージのような、照明は変化するが物体の動きは少ないシーンなどに特に有効である。
制御モード６および６´は、動きが小さく色の偏った色が時間変換するシーンの映像の処理に好適である。これは、制御モード６および６´が現フレームと前フレームとを主成分分析して得られた結果から、上位主成分のみについて色変換を行うためである。

【0089】

さらに、映像解析手段２２における各制御モードの設定例を、図５に示した。図５に示すように、映像解析手段２２は、入力映像の「色味」と「動き」という２つの要素により映像を判別し、さらに、「色味」の中で、時間変化の大小、および、色味の偏りの有無を判別し、「動き」の中で動きの大小（静動）を判別することによって、入力映像に適した制御モードを設定する。

【0090】

再び図１を参照する。映像解析手段２２は、前記したように、現フレームと前フレームの画像または画像列を解析することによって、制御モード１〜６（６´）の中から好適な制御モードを設定する。そして、選択された制御モードに応じたパラメータθは、第一変換手段２３に出力され（図１における○囲みのＡの信号線経由）、符号化パラメータは、映像符号化手段２４−１および２４−２にそれぞれ出力される（図１における○囲みのＢおよびＣの信号線経由）。

【0091】

また、映像解析手段２２によって選択された制御モードについての情報と、この制御モードにおいて設定された第一変換手段２３の第一変換処理を制御するパラメータθに対応する、第二変換手段３２の第二変換処理制御するためのパラメータφとは、例えば、次に説明する映像符号化手段２４−１および２４−２で生成されるビットストリームのサイド情報として、復号装置３に伝送することができる（図１では、映像解析手段２２から第二変換手段３２へ向かう矢印で表している）。なお、サイド情報は、いずれかの映像符号化手段２４−１で生成されるビットストリームに付加すればよい。また例えば、制御モードについての情報とパラメータφとを、映像解析手段２２から、図示しない送信手段等を介して、復号装置３の第二変換手段３２に直接伝送することとしてもよい。

【0092】

次に、映像符号化手段２４−１および２４−２で行われる具体的な処理の内容について説明する。
前記したように、映像符号化手段２４−１および２４−２は、第一変換手段２３による第一変換結果である画素値ベクトルｗ（２ｆ，ｘ，ｙ）のそれぞれ別の一部分を、映像解析手段２２から符号化パラメータにしたがって符号化するものである。
例えば、画素値ベクトルｗがＤ次元（Ｄは、４以上の整数）である場合に、次の式（８）に示すように、映像符号化手段２４−１は、画素値ベクトルｗ（２ｆ，ｘ，ｙ）の第１乃至第３成分からなる画素値ベクトルｗ_１（２ｆ，ｘ，ｙ）を、映像符号化手段２４−２は、画素値ベクトルｗ（２ｆ，ｘ，ｙ）の第４乃至第Ｄ成分からなるベクトルｗ_２（２ｆ，ｘ，ｙ）を、それぞれ符号化する。

【0093】

【数8】

【0094】

映像符号化手段２４−１，２４−２が、画素値ベクトルｗのそれぞれどの部分を符号化するかについての割り振りは、前記した式（８）に示すように、予め定めておいてもよいし、その都度、手動で設定してもよい。
映像符号化手段２４−１および２４−２は、符号化して生成したビットストリームを、図示しない通信手段等を介して、復号装置３の映像復号手段３１−１または３１−２にそれぞれ伝送する。
ここでは、映像符号化手段２４−１および２４−２で生成されたビットストリームには、サイド情報として、映像解析手段２２で選択された制御モードの情報と、第二変換手段３２による第二変換処理を制御するためのパラメータφとが含まれるものとする。

【0095】

次に、復号装置３の各構成について説明する。
映像復号手段３１−１および３１−２は、それぞれ対となる符号化装置２の映像符号化手段２４−１または２４−２から、図示しない受信手段等を介してビットストリームをそれぞれ受信し、このビットストリームを復号して、フレーム毎の映像信号を得る。ここでは、映像復号手段３１−１で現フレームの映像信号が復号され、映像復号手段３１−２において、前フレームの映像信号が復号される。なお、いずれかのビットストリームにサイド情報が付加されている場合、このサイド情報もさらに復号して、符号化装置２の第一変換手段２３による第一変換処理で用いられた制御モードの情報と、第二変換手段３２における第二変換処理を制御するためのパラメータφとを得る。このようにして得られたフレーム毎の映像信号と、制御モードの情報と、パラメータφとは、第二変換手段３２に出力される。

【0096】

ここでは、映像復号手段３１−１から出力される映像信号の第２ｆフレーム、画像座標（ｘ，ｙ）における画素値ベクトルをｗ_１´（２ｆ，ｘ，ｙ）とおく。また、映像復号手段３１−２から出力される映像信号の第２ｆ−１フレーム、画像座標（ｘ，ｙ）における画素値ベクトルをｗ_２´（２ｆ−１，ｘ，ｙ）とおく。

【0097】

第二変換手段３２は、映像復号手段３１−１および３１−２でそれぞれ復号されたフレーム毎の映像信号（ここでは、画素値ベクトルｗ_１´およびｗ_２´）を入力するとともに、選択された制御モードの情報および変換のためのパラメータφを入力し、制御モードの情報を必要に応じて参照して、フレーム毎の映像信号（ここでは、画素値ベクトルｗ_１´およびｗ_２´）を、変換のためのパラメータφによって変換（第二変換）するものである。

【0098】

第二変換手段３２は、映像復号手段３１−１から、第２ｆフレーム、画像座標（ｘ，ｙ）における画素値ベクトルｗ_１´（２ｆ，ｘ，ｙ）を入力するとともに、映像復号手段３１−２から、第２ｆ−１フレーム、画像座標（ｘ，ｙ）における画素値ベクトルをｗ_２´（２ｆ−１，ｘ，ｙ）を入力し、次の式（１０）に示すように、これらの画素値ベクトルｗ_１´（２ｆ，ｘ，ｙ）と画素値ベクトルｗ_２´（２ｆ−１，ｘ，ｙ）とを合成して画素値ベクトルｗ´（２ｆ，ｘ，ｙ）とする。そして、第二変換手段３２は、画素値ベクトルｗ´（２ｆ，ｘ，ｙ）に対し、次の式（９）に示すような変換γを施して、画素値ベクトルｚ´（２ｆ，ｘ，ｙ）を得る。このように、第二変換手段３２における第二変換処理は、符号化装置２の第一変換手段２３により、入力映像から第一変換された異なる色空間の画素値ベクトルを再変換して、元の色空間の画素値ベクトルを復元するものである。

【0099】

【数9】

【0100】

ここで、第二変換手段３２は、前記式（９）により画素値ベクトルｗ´（２ｆ，ｘ，ｙ）に変換を施すときのベクトルｚ´を、次の式（１１）に示すように、ベクトルｂと行列Ｌとによる線形変換によることができる。

【0101】

【数10】

【0102】

ここで、式（９）におけるパラメータφは、前記式（１１）に示した行列Ｌとベクトルｂとを特定するための情報であり、例えば、行列Ｌとベクトルｂの各成分そのものとすることができる。

【0103】

例えば、前記した符号化装置２の第一変換手段２３が前記式（４）に示す線形変換を行い、当該線形変換における行列Ｍが正則である場合（図３の例では制御モード１〜５に該当する場合）には、パラメータφを構成する行列Ｌとベクトルｂを、例えば、次の式（１２）に示すように設定することができる。

【0104】

【数11】

【0105】

この場合、第二変換手段３２による前記式（１０）を用いた変換は、符号化装置２の第一変換手段２３による前記式（４）を用いた変換の逆変換に相当する。

【0106】

一方、第二変換手段３２は、制御モードの情報を参照した結果、前記式（４）における行列Ｍが正則でない場合（図３の例では制御モード６に該当する場合）には、符号化装置２の第一変換手段２３による変換の逆変換を行うことができない。また、図３に示した制御モード６´の行列Ｍは正方行列ではないから、正則ではない。したがって、第二変換手段３２は、符号化装置２の第一変換手段２３による変換の逆変換を行うことができない。

【0107】

そこで、第二変換手段３２は、符号化装置２の映像解析手段２２により選択された制御モードの情報を参照し、符号化装置２の第一変換手段２３において制御モード６による変換が行われたことを確認した場合、パラメータφを構成する行列Ｌを制御モード５の行列Ｍ（これを行列Ｍ_５とおく）の逆行列Ｍ_５^−１としたり、逆行列Ｍ_５^−１の部分行列を含む行列としたりすることができる。行列Ｌが制御モード５の行列Ｍの逆行列Ｍ_５^−１の部分行列を含む例としては、次の式（１３）に示すような形が挙げられる。

【0108】

【数12】

【0109】

前記式（１３）では、行列Ｌを、制御モード５の行列Ｍの逆行列Ｍ_５^−１そのものではなく、第５，６成分については、０となるように設定している。これは、符号化装置２の映像符号化手段２４−１，２４−２により行われる符号化処理において、本来の入力映像には含まれないノイズ（符号化劣化）が生じる場合があるためである。そのため、符号化装置２の第一変換手段２３による第一変換処理で用いることを前提として設定した制御モード５の行列Ｍの逆行列Ｍ_５^−１そのものを、第二変換手段３２において、符号化劣化を含んだ画素値ベクトルｗ´（２ｆ，ｘ，ｙ）に乗算すると、符号化劣化をより強調させるおそれがあり、好ましくない。
そのため、ここでは、第二変換手段３２による第二変換処理で用いる行列Ｌを、制御モード５の行列Ｍの逆行列Ｍ_５^−１の部分行列とし、第５，６成分、つまり、ノイズのような重要でない成分については、値が０となるように設定することとした。

【0110】

また、第二変換手段３２は、映像解析手段２２から送られたモード情報を参照し、第一変換手段２３において制御モード６´による変換が実行されていることを確認した場合、行列Ｌを、制御モード５の行列Ｍの逆行列Ｍ_５^−１の部分行列とすることができる。行列Ｌを制御モード５の行列Ｍの逆行列Ｍ_５^−１の部分行列とする例としては、次の式（１４）に示すような形が挙げられる。

【0111】

【数13】

【0112】

第二変換手段３２による第二変換後のベクトルｚ´は、切替手段３３に出力される。

【0113】

切替手段３３は、第二変換手段３２から出力されたベクトルｚ´を構成する一部の成分からなる画像と、残りの成分からなる画像とを時間的に多重化（逆多重）し、出力映像Ｉ´として出力するものである。
切替手段３３は、例えば、次の式（１５）に示すように、ベクトルｚ´の列ベクトルの上半分で構成される画像を出力映像の第２ｆ−１フレームＩ´（２ｆ−１，ｘ，ｙ）として出力し、また、ベクトルｚ´の列ベクトルの残りの下半分で構成される画像に切り替えて出力映像の第２ｆフレームＩ´（２ｆ，ｘ，ｙ）として出力する。

【0114】

【数14】

【0115】

次に、本発明の実施形態に係る映像処理システム１の動作について、図６を参照して説明する。ここでは、映像処理システム１は、符号化装置２の映像解析手段２２によって、２フレーム単位で解析する場合を例にとって説明する。
図６に示すように、映像処理システム１は、符号化装置２の映像遅延手段２１によって、外部から映像を入力し、この入力映像を遅延させる（ステップＳ１）。つまり、映像処理システム１は、符号化装置２の映像遅延手段２１によって現時点の１つ前の時点におけるフレーム（ここでは、１フレーム目のフレーム）を入力し、これを一時記憶する。
映像処理システム１は、符号化装置２の映像遅延手段２１によって、次のフレーム、つまり現時点におけるフレーム（２フレーム目のフレーム）が入力された段階で、一時記憶した１フレーム目のフレームを、映像解析手段２２に出力する（ステップＳ２）。

【0116】

次に、映像処理システム１は、符号化装置２の映像解析手段２２によって、現時点のフレーム（ここでは、２フレーム目のフレーム。以下、現フレーム）を入力するとともに、映像遅延手段２１から現時点の１つ前の時点におけるフレーム（ここでは、１フレーム目のフレーム。以下、前フレーム）を入力し、現フレームと前フレームとを合わせて解析する（ステップＳ３）。映像処理システム１は、符号化装置２の映像解析手段２２によって、現フレームと前フレームの解析結果に基づいて予め定めた複数の制御モードの中から１つの制御モードを選択し、その制御モードにおいて予め定めたパラメータをパラメータ制御する各手段にそれぞれ出力する。具体的には、映像処理システム１は、符号化装置２の映像解析手段２２によって、第一変換手段２３にパラメータθを出力し、複数の映像符号化手段２４（映像符号化手段２４−１および２４−２）に符号化パラメータを出力する。さらに、映像処理システム１は、符号化装置２の映像解析手段２２によって、映像符号化手段２４−１または２４−２に、復号装置３の第二変換手段の第二変換処理を制御するパラメータφと、第一変換手段２３の第一変換処理を制御するために選択した制御モードについての情報とを出力する。

【0117】

さらに、映像処理システム１は、符号化装置２の第一変換手段２３によって、外部から現フレームを入力するとともに、映像遅延手段２１から前フレームを入力し、さらに、映像解析手段２２からパラメータθを入力し、現フレームと前フレームとを合わせた画素値ベクトルｚを、パラメータθによって画素値ベクトルｗに変換（第一変換）する（ステップＳ４）。映像処理システム１は、符号化装置２の第一変換手段２３によって、変換後の画素値ベクトルｗを複数の映像符号化手段２４にそれぞれ出力する。

【0118】

続いて、映像処理システム１は、符号化装置２の映像符号化手段２４−１によって、第一変換手段２３から第一変換後の画素値ベクトルｗ_１を入力するとともに、映像解析手段２２から符号化パラメータを入力し、この符号化パラメータに応じて画素値ベクトルｗ_１を圧縮符号化して、ビットストリームを生成する。また、映像処理システム１は、符号化装置２の映像符号化手段２４−２によって、第一変換手段２３から第一変換後の画素値ベクトルｗ_２を入力するとともに、映像解析手段２２から符号化パラメータを入力し、この符号化パラメータに応じて画素値ベクトルｗ_２を圧縮符号化して、ビットストリームを生成する。さらに、映像処理システム１は、符号化装置２の映像符号化手段２４−１または２４−２によって、映像解析手段２２で選択された制御モードについての情報と、パラメータφとをサイド情報としてビットストリームに付加する（ステップＳ５）。
映像処理システム１は、符号化装置２の映像符号化手段２４−１および２４−２によって、生成したビットストリームを、図示しない通信手段等を介して、対になる復号装置３の映像復号手段３１−１および３１−２にそれぞれ伝送する。

【0119】

続いて、映像処理システム１は、復号装置３の映像復号手段３１−１および３１−２によって、対になる符号化装置２の映像符号化手段２４−１または２４−２からビットストリームをそれぞれ入力して、このビットストリームをそれぞれ復号し、映像信号（画素値ベクトルｗ_１´またはｗ_２´）を得る。さらに、映像処理システム１は、復号装置３の映像復号手段３１−１または３１−２によって、ビットストリームに付加されたサイド情報を復号して、符号化装置２の映像解析手段２２で選択された制御モードについての情報と、パラメータφとを得る（ステップＳ６）。映像処理システム１は、復号装置３の映像復号手段３１−１および３１−２によって、復号後の映像信号（画素値ベクトルｗ_１´およびｗ_２´）と、パラメータφと制御モードについての情報とを第二変換手段３２に出力する。

【0120】

さらに、映像処理システム１は、復号装置３の第二変換手段３２によって、映像復号手段３１−１または３１−２からそれぞれ映像信号（画素値ベクトルｗ_１´またはｗ_２´）と、パラメータφと、符号化装置２の映像解析手段２２で選択された制御モードについての情報とを入力する。これとともに、映像処理システム１は、復号装置３の第二変換手段３２によって、画素値ベクトルｗ_１´と画素値ベクトルｗ_２´とを合成して画素値ベクトルｗ´とし、この画素値ベクトルｗ´を、制御モードについての情報を参照しつつパラメータφにしたがって変換（第二変換）し、画素値ベクトルｚ´とする（ステップＳ７）。映像処理システム１は、復号装置３の第二変換手段３２によって、第二変換後の画素値ベクトルｚ´を、切替手段３３に出力する。

【0121】

そして、映像処理システム１は、復号装置３の切替手段３３によって、第二変換手段３２から画素値ベクトルｚ´を入力し、画素値ベクトルｚ´を構成する一部の成分からなる画像と、残りの成分からなる画像とを時間的に多重化して、出力映像Ｉ´を出力する（ステップＳ８）。
そして、映像処理システム１は、動作時点を一つ進め（ステップＳ９）、ステップＳ１〜Ｓ８を繰り返す。
映像処理システム１は、以上のように動作する。

【0122】

以上説明した映像処理システム１によれば、映像解析手段２２が、入力映像の色味や動きに関する情報に基づいて、第一変換手段２３、複数の映像符号化手段２４および第二変換手段３２をパラメータ制御することとした。つまり、映像処理システム１によれば、映像解析手段２２で入力映像の色味や動きを解析し、その結果に設定されたパラメータに基づいて、第一変換手段２３が、画素値ベクトルの統計的性質を調整する変換を行い、映像符号化手段２４が、ビットストリームを生成する。また、映像処理システム１によれば、復号装置３の映像復号手段３１が、ビットストリームの復号を行い、第二変換手段３２が、復号後の画素値ベクトルの再変換を行う。このような映像処理システム１によれば、これら一連の動作により、映像の色味や動きに応じた情報配分を適切に行って、複数の映像符号化手段２４により映像を伝送することができるので、符号化効率を向上することができる。

【0123】

次に、前記実施形態の映像処理システム１の変形例に係る映像処理システム１Ａについて、図７を参照して説明する。
ここで、前記実施形態の映像処理システム１においては、復号装置３の第二変換手段３２を、符号化装置２の第一変換手段２３に直接連動させているが、これに限られるものではなく、また、符号化装置２の第一変換手段２３のみに連動させる必要はない。例えば、第二変換手段３２による第二変換は、第一変換手段２３、映像符号化手段２４−１および２４−２、映像復号手段３１−１および３１−２、および、第二変換手段３２の総体によって得られる映像フレームが、入力映像の対応する時刻のフレームを近似するよう、第二変換手段３２を制御するパラメータを設定してもよい。このとき、第二変換手段３２による第二変換は、画像の場所や時刻毎に異なる変換式を適用するような適応処理によっても構わない。
ここでは、その具体例として、前記実施形態の変形例に係る映像処理システム１Ａについて、以下に説明する。

【0124】

図７に示すように、映像処理システム１Ａは、符号化装置２Ａと復号装置３とを備え、符号化装置２Ａが、映像遅延手段２１と、映像解析手段２２Ａと、第一変換手段２３と、複数の映像符号化手段２４（図７では、映像符号化手段２４−１および２４−２）と、複数の局部映像復号手段２５（図７では、局部映像復号手段２５−１および２５−２）と、局部第二変換手段２６と、を備え、復号装置３が、複数の映像復号手段３１（図７では、映像復号手段３１−１および３１−２）と、第二変換手段３２と、切替手段３３と、を備えている。

【0125】

変形例に係る映像処理システム１Ａは、符号化装置２Ａが、前記実施形態に係る映像処理システム１の符号化装置２に対し、映像解析手段２２に代えて映像解析手段２２Ａを備え、複数の局部映像復号手段２５（図７では、局部映像復号手段２５−１および２５−２）と、局部第二変換手段２６とをさらに備える点で相違する。

【0126】

この映像処理システム１Ａは、復号装置３における複数の映像復号手段３１による復号処理と、第二変換手段３２による第二変換処理とを、符号化装置２Ａで模擬的に試行することで、符号化装置２Ａの映像符号化手段２４−１および２４−２で行った符号化により生じた画質の劣化が、復号装置３の複数の映像復号手段３１による復号処理および第二変換手段３２による第二変換処理後の出力映像にどのように現れるのかを予め確認することを可能とする。この映像処理システム１Ａは、この試行結果を反映して、復号装置３の第二変換手段３２を制御するパラメータφを最適化し、その最適化したパラメータφによって、第二変換手段３２の第二変換処理を制御可能とする点にとくに意義がある。

【0127】

以下では、変形例に係る映像処理システム１Ａにおいて、前記実施形態に係る映像処理システム１との相違点である映像解析手段２２Ａと、複数の局部映像復号手段２５（図７では、局部映像復号手段２５−１および２５−２）と、局部第二変換手段２６とについて主に説明する。なお、以下の説明において、前記実施形態に係る映像処理システム１と、変形例に係る映像処理システム１Ａとで共通する構成には同一の符号を付し、重複する説明を省略する。

【0128】

複数の局部映像復号手段２５−ｃ（ｃは、１以上Ｃ以下の整数。Ｃは２以上の整数。例えば、Ｃ＝２）は、前記実施形態で説明した復号装置３の複数の映像復号手段３１−ｃ（ｃは、１以上Ｃ以下の整数。Ｃは２以上の整数。例えば、Ｃ＝２）と同様に動作する。ここでは、局部映像復号手段２５−１または２５−２は、対応する映像符号化手段２４−１または２４−２から、前記した実施形態と同様にして生成されたビットストリームを入力し、このビットストリームとサイド情報とを復号して、画素値ベクトルｗ_１´およびｗ_２´と、第一変換手段２３での第一変換処理に用いられた制御モードについての情報と、第二変換手段３２の第二変換処理を制御するためのパラメータφとを得る。なお、複数の局部映像復号手段２５は、復号装置３の複数の映像復号手段３１と復号方法は異なっていてもよいが、入出力関係は同一であるものとする。

【0129】

局部第二変換手段２６は、局部映像復号手段２５−１および２５−２の復号結果を、復号装置３の第二変換手段３２と同様にパラメータφにより変換することで、復号装置３の第二変換手段３２による第二変換処理を試行するものである。局部第二変換手段２６は、前記実施形態で説明した復号装置３の第二変換手段３２と同様に動作する。つまり、局部第二変換手段２６は、局部映像復号手段２５−１から画素値ベクトルｗ_１´を入力し、局部映像復号手段２５−２から画素値ベクトルｗ_２´を入力する。また、局部第二変換手段２６は、局部映像復号手段２５−１または２５−２から、パラメータφと制御モードについての情報とを入力する。そして、局部第二変換手段２６は、画素値ベクトルｗ_１´と画素値ベクトルｗ_２´とを合成して画素値ベクトルｗ´とし、画素値ベクトルｗ´を、パラメータφによって変換する。なお、局部第二変換手段２６は、復号装置３の第二変換手段３２による第二変換と変換方法は異なっていてもよいが、入出力関係は同一であるものとする。

【0130】

映像解析手段２２Ａは、入力映像（例えば、現フレーム）と映像遅延手段２１からの遅延された入力映像（例えば、前フレーム）と、局部第二変換手段２６からの出力（図７に示す例では、２系統の映像フレームからなる）とを比較し、その比較結果に基づいて、第一変換手段２３と、映像符号化手段２４−１および２４−２と、局部第二変換手段２６とをパラメータ制御するものである。

【0131】

また、映像解析手段２２Ａは、外部からの入力映像（現フレーム）と映像遅延手段２１からの遅延された入力映像（前フレーム）と、局部第二変換手段２６からの出力（２系統の映像フレームからなる）との間の誤差が小さくなるように、第一変換手段２３のパラメータθ（図７の○囲みのＡの信号線経由）、映像符号化手段２４−１および２４−２の符号化パラメータ（図７の○囲みのＢおよびＣの信号線経由）、および、局部第二変換手段２６のパラメータ（図７の○囲みのＤの信号線経由）を調整して、パラメータφを最適化するものである。このようにして、局部第二変換手段２６を制御するパラメータを調整した結果から決定された最適なパラメータφは、復号装置３の第二変換手段３２に通知される（図７の○囲みのＥの信号線経由）。
例えば、パラメータφが最適化された時点で、映像符号化手段２４−１または２４−２で生成されるビットストリームのサイド情報として、図示しない通信手段等を介して、対応する復号装置３の映像復号手段３１−１または３１−２に伝送することで、復号装置３の第二変換手段３２に通知してもよい。また例えば、パラメータφが最適化された時点で、図示しない通信手段等を介して、映像解析手段２２Ａから、復号装置３の第二変換手段３２に直接伝送してもよい。

【0132】

映像解析手段２２Ａが、第一変換手段２３、映像符号化手段２４−１および２４−２を制御する方法は、前記の「外部からの入力映像と映像遅延手段２１からの遅延された入力映像と、局部第二変換手段２６からの出力（２系統の映像フレームからなる）との間の誤差が小さくなるよう」にする最適化によらずに、前記した実施形態において説明した映像解析手段２２と同様の方法によって、単に、第一変換手段２３、映像符号化手段２４−１および２４−２を制御するパラメータをそれぞれ決定するものであってもよい。

【0133】

次に、映像解析手段２２Ａが、復号装置３の第二変換手段３２を制御するパラメータφを最適化する方法について、以下に説明する。
なお、復号装置３の第二変換手段３２は、前記したように、符号化装置２Ａの局部第二変換手段２６を制御するパラメータを調整した結果から決定した最適なパラメータφを用いて変換処理を実行するものとする。

【0134】

局部第二変換手段２６（局部第二変換手段２６−１および２６−２）は、局部映像復号手段２５−１および２５−２による復号結果を、復号装置３の第二変換手段３２と同様に、パラメータφにより変換する。
ここでの復号結果とは、前記実施形態において説明したのと同様に、映像解析手段２２Ａによって、入力映像が解析され、第一変換手段２３によって、パラメータθによって入力映像が変換され、映像符号化手段２４−１および２４−２によって生成されたビットストリームを、それぞれ対応する局部映像復号手段２５−１または２５−２によって復号したものである。

【0135】

局部第二変換手段２６−１および２６−２は、次の式（１６）に示すように、局部映像復号手段２５−１および２５−２で復号された映像（画素値ベクトルｗ_１´およびｗ_２´）にパラメータφによる変換γを施し、その結果Ｉ_φ（２ｆ）およびＩ_φ（２ｆ−１）を得る。このようにして得られたＩ_φ（２ｆ）およびＩ_φ（２ｆ−１）は、映像解析手段２２Ａに出力される。

【0136】

【数15】

【0137】

映像解析手段２２Ａは、局部第二変換手段２６からの出力画像Ｉ_φ（２ｆ）およびＩ_φ（２ｆ−１）を入力画像の現フレームＩ（２ｆ）および前フレームＩ（２ｆ−１）と比較し、その結果に応じて、パラメータφを調整する。例えば、映像解析手段２２Ａは、次の式（１７）や式（１８）に定義する評価関数Ｅ（φ）を最小化するようパラメータφを調整する。

【0138】

【数16】

【0139】

【数17】

【0140】

例えば、映像解析手段２２Ａは、複数の異なるパラメータφに対する前記式（１７）や、前記式（１８）の評価を試行しながら、評価関数Ｅ（φ）が最小となるパラメータφを探索する。
また、例えば、映像解析手段２２Ａは、非線形最小二乗法によって、前記式（１７）を最適化するパラメータφを探索してもよい。

【0141】

このような最適化処理、つまり、第一変換手段２３による第一変換処理と、映像符号化手段２４−１および２４−２による符号化処理と、局部映像復号手段２５−１および２５−２による模擬的な復号処理と、局部第二変換手段２６−１および２６−２による模擬的な第二変換処理と、映像解析手段２２Ａによる解析処理とは、パラメータφが最適化されるまで繰り返し行われる。

【0142】

復号装置３の第二変換手段３２は、符号化装置２Ａの映像解析手段２２Ａからの「評価関数Ｅ（φ）を最小化するパラメータφ」の通知を受けたタイミングで、映像復号手段３１−１および３１−２で復号された画素値ベクトルｗ_１´およびｗ_２´を、この「評価関数Ｅ（φ）を最小化するパラメータφ」により変換する。なお、このとき、符号化装置２Ａの映像解析手段２２Ａからの「評価関数Ｅ（φ）を最小化するパラメータφ」の通知を受けるタイミングと、映像復号手段３１−１および３１−２から復号された画素値ベクトルｗ_１´およびｗ_２´とを入力するタイミングがずれる場合があるため、タイムスタンプ等を用いた一般的な手法により、適宜、タイミング合わせを行うものとする。

【0143】

次に、変形例に係る映像処理システム１Ａの動作について、図８を参照して説明する。
図８に示すように、映像処理システム１Ａは、符号化装置２Ａの映像遅延手段２１によって、外部から映像のフレームを入力し、この入力映像のフレーム（前フレーム）を一時記憶して遅延させる（ステップＳ１１）。
映像処理システム１Ａは、符号化装置２Ａの映像遅延手段２１によって、現時点におけるフレーム（現フレーム）が入力された段階で、一時記憶した前フレームを、映像解析手段２２Ａに出力する（ステップＳ１２）。

【0144】

次に、映像処理システム１Ａは、符号化装置２Ａの映像解析手段２２Ａによって、２フレーム分の映像を解析する（ステップＳ１３）。
映像処理システム１Ａは、符号化装置２Ａの映像解析手段２２Ａによって、外部から現フレームを入力するとともに、映像遅延手段２１から前フレームを入力し、現フレームと前フレームとを合わせて解析する。映像処理システム１Ａは、符号化装置２Ａの映像解析手段２２によって、現フレームと前フレームとの解析結果に基づいて予め定めた複数の制御モードの中から１つの制御モードを選択し、その制御モードにおいて予め定めたパラメータをパラメータ制御する各手段にそれぞれ出力する。具体的には、映像処理システム１Ａは、符号化装置２Ａの映像解析手段２２Ａによって、第一変換手段２３にパラメータθを出力し、複数の映像符号化手段２４（映像符号化手段２４−１および２４−２）に符号化パラメータを出力する。

【0145】

さらに、映像処理システム１Ａは、符号化装置２Ａの第一変換手段２３によって、外部から現フレームを入力し、映像遅延手段２１から前フレームを入力するとともに、映像解析手段２２Ａからパラメータθを入力し、現フレームと前フレームとをまとめた画素値ベクトルｚをパラメータθによって変換して画素値ベクトルｗとする（ステップＳ１４）。映像処理システム１Ａは、第一変換手段２３によって、この画素値ベクトルｗの一部分である画素値ベクトルｗ_１を映像符号化手段２４−１に出力し、および、この画素値ベクトルｗの他の一部分である画素値ベクトルｗ_２を映像符号化手段２４−２に出力する。

【0146】

そして、映像処理システム１Ａは、符号化装置２Ａの映像符号化手段２４−１によって第一変換手段２３から第一変換後の画素値ベクトルｗ_１を入力するとともに、映像解析手段２２Ａから符号化パラメータを入力して、符号化パラメータに応じて画素値ベクトルｗ_１を圧縮符号化してビットストリームを生成する。また、映像処理システム１Ａは、符号化装置２Ａの映像符号化手段２４−２によって第一変換手段２３から第一変換後の画素値ベクトルｗ_２を入力するとともに、映像解析手段２２Ａから符号化パラメータを入力して、符号化パラメータに応じて画素値ベクトルｗ_２を圧縮符号化してビットストリームを生成する（ステップＳ１５）。このとき、映像処理システム１Ａは、符号化装置２Ａの映像符号化手段２４−１または２４−２のいずれか一方は、パラメータφと制御モードについての情報とをサイド情報として付加したビットストリームを生成する。映像処理システム１Ａは、符号化装置２Ａの映像符号化手段２４−１および２４−２において生成したビットストリームを、符号化装置２Ａの局部映像復号手段２５−１および２５−２に出力する。

【0147】

続いて、映像処理システム１Ａは、符号化装置２Ａの局部映像復号手段２５−１および２５−２によって、図示しない受信手段等を介して、符号化装置２Ａの映像符号化手段２４−１および２４−２からビットストリームをそれぞれ入力し、このビットストリームをそれぞれ復号して、画素値ベクトルｗ_１´またはｗ_２´を得る（ステップＳ１６）。映像処理システム１Ａは、符号化装置２Ａの局部映像復号手段２５−１および２５−２によって、復号した画素値ベクトルｗ_１´またはｗ_２´を局部第二変換手段２６にそれぞれ出力する。なお、ビットストリームにサイド情報が付加されている場合、併せて復号し、パラメータφと制御モードについての情報を得る。

【0148】

さらに、映像処理システム１Ａは、符号化装置２Ａの局部第二変換手段２６によって、局部映像復号手段２５−１および２５−２から画素値ベクトルｗ_１´またはｗ_２´を入力するとともに、映像解析手段２２Ａからパラメータφおよび制御モードについての情報を入力し、この画素値ベクトルｗ_１´またはｗ_２´に対し、パラメータφによる変換を施して、出力画像Ｉ_φ（２ｆ）およびＩ_φ（２ｆ−１）を得る（ステップＳ１７）。映像処理システム１Ａは、符号化装置２Ａの局部第二変換手段２６によって、出力画像Ｉ_φ（２ｆ）およびＩ_φ（２ｆ−１）を映像解析手段２２Ａに出力する。

【0149】

そして、映像処理システム１Ａは、符号化装置２Ａの映像解析手段２２Ａによって、局部第二変換手段２６から、出力画像Ｉ_φ（２ｆ）およびＩ_φ（２ｆ−１）を入力し、この出力画像Ｉ_φ（２ｆ）およびＩ_φ（２ｆ−１）を前記式（１７）や（１８）により評価することで、「評価関数Ｅ（φ）を最小化するパラメータφ」を探索する。（ステップＳ１８）。

【0150】

映像処理システム１Ａは、符号化装置２Ａの映像解析手段２２Ａによって、パラメータφが最適化されたか否かを判定する（ステップＳ１９）。そして、映像処理システム１Ａは、符号化装置２Ａの映像解析手段２２Ａによって、パラメータφが最適化されたと判定した場合（ステップＳ１９でＹｅｓ）、探索結果にかかる「評価関数Ｅ（φ）を最小化するパラメータφ」を、最適化されたパラメータφとして映像符号化手段２４−１または２４−２に出力する。
一方、映像処理システム１Ａは、符号化装置２Ａの映像解析手段２２Ａによって、パラメータφが最適化されていないと判定した場合（ステップＳ１９でＮｏ）、ステップＳ１３に戻る。

【0151】

映像処理システム１Ａは、符号化装置２Ａの映像符号化手段２４−１または２４−２によって、映像解析手段２２Ａから最適化されたパラメータφを入力し、当該最適化されたパラメータφを入力した映像符号化手段２４−１または２４−２において、ステップＳ１５において予め生成したビットストリームに、最適化されたパラメータφと、第一変換手段２３による第一変換処理で用いられた制御モードについての情報とをサイド情報としてさらに付加する。そして、映像処理システム１Ａは、符号化装置２Ａの映像符号化手段２４−１および２４−２によって、それぞれ生成したビットストリームを、図示しない通信手段等を介して、復号装置３のそれぞれ対応する映像復号手段３１−１または３１−２に伝送する（ステップＳ２０）。

【0152】

次に、映像処理システム１Ａは、復号装置３の映像復号手段３１−１および３１−２によって、図示しない受信手段等を介して、符号化装置２Ａのそれぞれ対応する映像符号化手段２４−１または２４−２からビットストリームを受信する（ステップＳ２１）。
そして、映像処理システム１Ａは、復号装置３の映像復号手段３１−１および３１−２によって、受信したビットストリームをそれぞれ復号して、映像信号（画素値ベクトルｗ_１´およびｗ_２´）と、最適化されたパラメータφと、制御モードについての情報とを得る（ステップＳ２２）。映像処理システム１Ａは、復号装置３の映像復号手段３１−１および３１−２によって、復号した映像信号（画素値ベクトルｗ_１´およびｗ_２´）と、最適化されたパラメータφと、制御モードについての情報とを第二変換手段３２に出力する。

【0153】

そして、映像処理システム１Ａは、復号装置３の第二変換手段３２によって、映像復号手段３１−１および３２−２から画素値ベクトルｗ_１´およびｗ_２´と制御モードの情報と、最適化されたパラメータφとを入力する。映像処理システム１Ａは、復号装置３の第二変換手段３２によって、入力した画素値ベクトルｗ_１´と画素値ベクトルｗ_２´とを合成して画素値ベクトルｗ´とし、この画素値ベクトルｗ´を、最適化されたパラメータφによって再変換（第二変換）し、画素値ベクトルｚ´とする（ステップＳ２３）。映像処理システム１Ａは、復号装置３の第二変換手段３２によって、画素値ベクトルｚ´を切替手段３３に出力する。

【0154】

そして、映像処理システム１Ａは、復号装置３の切替手段３３によって、第二変換手段３２から画素値ベクトルｚ´を入力し、この画素値ベクトルｚ´を構成する一部の成分からなる画像と、残りの成分からなる画像とを時間的に多重化して、出力映像Ｉ´を出力する（ステップＳ２４）。
そして、映像処理システム１Ａは、動作時点を一つ進め（ステップＳ２５）、ステップＳ１１〜Ｓ２４を繰り返す。映像処理システム１Ａは、以上のように動作する。

【0155】

以上説明した映像処理システム１Ａによれば、符号化装置２Ａにおいて、復号装置３の映像復号手段３１−１および３２−２で行われる復号処理、および、第二変換手段３２で行われる第二変換処理を模擬的に試行することで、符号化装置２Ａの映像符号化手段２４−１および２４−２で行った符号化により生じた画質の劣化が、復号装置３の第二変換手段３２による第二変換結果にどのように現れるかを予め確認することができる。そして、映像処理システム１Ａによれば、符号化装置２Ａにおける確認結果に応じて、復号装置３の第二変換手段３２の第二変換処理を制御するパラメータφを、符号化による劣化の影響を抑制するように最適化することで、画質劣化の少ない出力画像を得ることが可能となる。

【0156】

以上説明した本発明の実施形態および変形例では、映像処理システム１，１Ａにおいて、符号化装置２の映像解析手段２２，２２Ａが、入力映像を２フレーム単位で解析する場合を例にとって説明したが、本発明はこれに限られない。例えば、本発明の映像処理システムにおいて、符号化装置の入力映像をＮフレーム（Ｎは２以上の自然数）とし、映像解析手段が、このＮフレームをまとめて解析しても構わない。

【0157】

本発明の映像処理システムにおいて、符号化装置の入力映像をＮフレームとする場合、映像遅延手段はＮ−１段とし、第一変換手段は１個、映像符号化手段はＭ個（Ｍは２以上Ｎ以下の自然数）、復号装置の映像復号手段は映像符号化手段と同数のＭ個、第二変換手段は１個とする。符号化装置において、第ｎ番目の映像符号化手段がＣ_ｍ色成分（４：４：４，４：２：２，４：２：０においては、Ｃ_ｍ＝３色、４：０：０においては、Ｃ_ｍ＝１色）からなる映像を符号化する場合には、第一変換手段は、３Ｎ次元のベクトル入力を、Σ［ｍ＝１→Ｍ］Ｃ_ｍ次元のベクトルへ変換して出力する。一方、復号装置において、第二変換手段は、Σ［ｍ＝１→Ｍ］Ｃ_ｍ次元のベクトル入力を、３Ｎ次元のベクトルへ変換して出力する。このような映像処理システムにおいては、符号化装置の映像解析手段、第一変換手段、各映像符号化手段、復号装置の各映像復号手段および第二変換手段は、Ｎフレームに１度だけ動作する。

【0158】

例えば、図９に、Ｎ＝３、Ｍ＝２，Ｃ_１＝Ｃ_２＝３の場合に適用される映像処理システムの構成を示した。図９に示す映像処理システム１Ｂは、符号化装置２Ｂと復号装置３とを備えて構成される。符号化装置２Ｂは、２個（Ｎ−１個）の映像遅延手段２１−１，２１−２と、映像解析手段２２と、１個の第一変換手段２３と、Ｍ個（２個）の映像符号化手段２４−１，２４−２を備え、復号装置３は、Ｍ個（２個）の映像復号手段３１−１，３１−２と、１個の第二変換手段３２と、出力手段３３とを備える。つまり、映像処理システム１Ｂは、図１を参照して説明した映像処理システム１に対し、符号化装置の映像遅延手段の数が異なる。

【0159】

このような映像処理システム１Ｂは、符号化装置２Ｂが、入力映像の１フレーム目を、映像遅延手段２１−１および映像解析手段２２によって入力し、映像遅延手段２１−１によって一時記憶する。続いて、映像処理システム１Ｂは、符号化装置２Ｂが、入力映像の１フレーム目を、映像遅延手段２１−１および映像解析手段２２によって入力し、映像遅延手段２１−１が１フレーム目を映像遅延手段２１−２および映像解析手段２２に出力するとともに、２フレーム目を一時記憶する。これによって、映像遅延手段２１−１は、２フレーム目を一時記憶し、映像遅延手段２１−２は１フレーム目を一時記憶する。

【0160】

そして、符号化装置２Ｂが、入力映像の３フレーム目（Ｎフレーム目）を、映像遅延手段２１−１および映像解析手段２２によって入力し、映像遅延手段２１−１が２フレーム目を映像遅延手段２１−２および映像解析手段２２に出力するとともに、３フレーム目を一時記憶する。また、映像遅延手段２１−２が１フレーム目を映像解析手段２２に出力するとともに、２フレーム目を一時記憶する。

【0161】

前記したように、映像処理システムにおいて、符号化装置の映像解析手段、第一変換手段、各映像符号化手段、復号装置の各映像復号手段および第二変換手段は、Ｎフレームに１度だけ動作する。そのため、映像処理システム１Ｂは、符号化装置２Ｂの映像解析手段２２が、３フレーム目（Ｎフレーム目）を入力すると、１〜３フレームを合わせて解析する。映像処理システム１Ｂにおいて、その他の構成および動作は、図１を参照して説明した映像処理システム１と同様である。また、映像処理システム１Ｂは、入力映像の４フレーム目以降も、同様に動作する。

【0162】

また例えば、図１０に、Ｎ＝３、Ｍ＝３，Ｃ_１＝Ｃ_２＝３の場合に適用される映像処理システムの構成を示した。図１０に示す映像処理システム１Ｃは、符号化装置２Ｃと復号装置３Ｃとを備えて構成される。符号化装置２Ｂは、２個（Ｎ−１個）の映像遅延手段２１−１，２１−２と、映像解析手段２２と、１個の第一変換手段２３と、Ｍ個（３個）の映像符号化手段２４−１，２４−２，２４−３を備え、復号装置は、Ｍ個（３個）の映像符号化手段３１−１，３１−２，３１−３と、１個の第二変換手段３２と、出力手段３３とを備える。つまり、映像処理システム１Ｃは、図１を参照して説明した映像処理システム１に対し、符号化装置の映像遅延手段の数と映像符号化手段の数および復号装置の映像復号手段の数が異なる。

【0163】

なお、図１０に示したように、符号化装置２Ｃの映像解析手段２２によって、第一変換手段２３、映像符号化手段２４−１，２４−２，２４−３（映像復号手段３１−１，３１−２，３１−３）および第二変換手段３２がパラメータ制御される。映像処理システム１Ｃにおいて、その他の構成および動作は、図１を参照して説明した映像処理システム１と同様である。また、映像処理システム１Ｃは、入力映像の４フレーム目以降も、同様に動作する。
このように、本発明の映像処理システムは、入力するフレーム数に応じて構成を適宜変更することができるので、様々な映像に対応させることができ、利便性が高い。

【0164】

前記した映像処理システム１，１Ａ，１Ｂ，１Ｃは、それぞれ、コンピュータにおいて各手段における処理を実行可能に記述したプログラム（映像符号化プログラム）とすることも可能である。この場合、各映像符号化プログラムは、対応する装置と同様の効果を奏する。

【符号の説明】

【0165】

１，１Ａ，１Ｂ，１Ｃ 映像処理システム
２，２Ａ，２Ｂ，２Ｃ 符号化装置
３，３Ｃ 復号装置
２１ 映像遅延手段
２２，２２Ａ 映像解析手段
２３ 第一変換手段
２４ 映像符号化手段
２５ 局部映像復号手段
２６ 局部第二変換手段
３１ 映像復号手段
３２ 第二変換手段
３３ 切替手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】