特許 5689095 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5689095

(24)【登録日】2015年2月6日

(45)【発行日】2015年3月25日

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 5/208 20060101AFI20150305BHJP

   H04N 13/02 20060101ALI20150305BHJP

【ＦＩ】

   H04N5/208

   H04N13/02

【請求項の数】9

【全頁数】12

(21)【出願番号】特願2012-155086(P2012-155086)

(22)【出願日】2012年7月10日

(65)【公開番号】特開2014-17742(P2014-17742A)

(43)【公開日】2014年1月30日

【審査請求日】2014年5月12日

(73)【特許権者】

【識別番号】000191076

【氏名又は名称】新日鉄住金ソリューションズ株式会社

(74)【代理人】

【識別番号】100117857

【弁理士】

【氏名又は名称】南林 薫

(72)【発明者】

【氏名】呂 健明

(72)【発明者】

【氏名】貝塚 洋

(72)【発明者】

【氏名】大坪 光太郎

(72)【発明者】

【氏名】長野 利雄

(72)【発明者】

【氏名】岩橋 一輝

【審査官】 大室 秀明

(56)【参考文献】

【文献】 特開２００９−２９６０８０（ＪＰ，Ａ）

【文献】 特開２００９−０７０１２３（ＪＰ，Ａ）

【文献】 特開２０１２−０２９２２０（ＪＰ，Ａ）

【文献】 特開平０１−０１９８９２（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０３３６１９（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−１／４０

Ｇ０６Ｔ ３／００−５／５０

Ｇ０６Ｔ ９／００−９／４０

Ｈ０４Ｎ ５／１４−５／２５７

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ１３／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

連続した複数フレームの第１の画像データを入力する第１の入力手段と、
前記連続した複数フレームの第１の画像データ夫々に対して鮮鋭化処理を施す第１の画像処理手段と、
前記第１の画像処理手段により鮮鋭化処理が施された前記複数の第１の画像データを、所定のグループ単位で超解像処理する第１の合成手段と、
前記第１の合成手段による超解像処理により生成された複数の第２の画像データ夫々に対して鮮鋭化処理を施す第２の画像処理手段と、
前記第２の画像処理手段により鮮鋭化処理が施された前記複数の第２の画像データを、所定のグループ単位で超解像処理する第２の合成手段とを有することを特徴とする画像処理装置。

【請求項2】

前記第１の画像処理手段及び第２の画像処理手段のうちの少なくとも何れか一方は、
入力される画像データの画素を補間する画像補間処理手段と、
前記画像補間処理手段により画素が補間された画像データに対して歪み軽減処理を施す歪み軽減処理手段と、
前記歪み軽減処理手段により歪み軽減処理が施された画像データに対して鮮鋭化処理を施す画像鮮鋭化処理手段とを更に有することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記画像鮮鋭化処理手段は、
前記歪み軽減処理手段から入力される画像データからエッジ画像データを生成するＬ−Ｇフィルタと、
前記エッジ画像データの画素値と所定の閾値とを比較することにより、前記エッジ画像データをエッジ部と平坦部とに分類する分類手段と、
前記エッジ部に対して第１の重み付けを行う第１の重み付け手段と、
前記平坦部に対して第２の重み付けを行う第２の重み付け手段と、
前記エッジ画像データを所定の方法に従って変形する変形手段と、
前記変形手段により変形された前記エッジ画像データに対して第３の重み付けを行う第３の重み付け手段と、
前記第１の重み付け手段により第１の重み付けが行われた前記エッジ部と、前記第２の重み付け手段により第２の重み付けが行われた前記平坦部とを加算する第１の加算手段と、
前記第１の加算手段の出力と、前記変形手段により変形され、前記第３の重み付け手段により第３の重み付けが行われた前記エッジ画像データとを加算する第２の加算手段と、
前記第２の加算手段の出力と、前記歪み軽減処理手段から入力される画像データとを加算する第３の加算手段とを更に有することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記第１の画像データは、右眼用又は左眼用の画像データであることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。

【請求項5】

前記右眼用の画像データと前記左眼用の画像データとの差分をとった複数の第１の差分画像データを入力する第２の入力手段と、
前記複数の第１の差分画像データ夫々に対して鮮鋭化処理を施す第３の画像処理手段と、
前記第３の画像処理手段により鮮鋭化処理が施された前記複数の第１の差分画像データを、所定のグループ単位で合成する第３の合成手段と、
前記第３の合成手段による合成処理により生成された複数の第２の差分画像データ夫々に対して鮮鋭化処理を施す第４の画像処理手段と、
前記第１の合成手段による合成処理により生成された右眼用又は左眼用の前記複数の第２の画像データと、前記第４の画像処理手段により鮮鋭化処理が施された前記複数の第２の差分画像データとを合成する第４の合成手段とを更に有することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

第１の圧縮率で圧縮された右眼用又は左眼用の前記第１の画像データと第２の圧縮率で圧縮された前記第１の差分画像データとを含むフレーム画像データを、伝送路を介して受信する受信手段を更に有し、
前記第１の入力手段は、前記第１の圧縮率で圧縮された右眼用又は左眼用の前記第１の画像データを入力し、前記第２の入力手段は、前記第２の圧縮率で圧縮された前記第１の差分画像データを入力することを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記第１の圧縮率は、前記第２の圧縮率より高いことを特徴とする請求項６に記載の画像処理装置。

【請求項8】

画像処理装置によって実行される画像処理方法であって、
連続した複数フレームの第１の画像データを入力する入力ステップと、
前記連続した複数フレームの第１の画像データ夫々に対して鮮鋭化処理を施す第１の画像処理ステップと、
前記第１の画像処理ステップにより鮮鋭化処理が施された前記複数の第１の画像データを、所定のグループ単位で超解像処理する第１の合成ステップと、
前記第１の合成ステップによる超解像処理により生成された複数の第２の画像データ夫々に対して鮮鋭化処理を施す第２の画像処理ステップと、
前記第２の画像処理ステップにより鮮鋭化処理が施された前記複数の第２の画像データを、所定のグループ単位で超解像処理する第２の合成ステップとを有することを特徴とする画像処理方法。

【請求項9】

連続した複数フレームの第１の画像データを入力する入力ステップと、
前記連続した複数フレームの第１の画像データ夫々に対して鮮鋭化処理を施す第１の画像処理ステップと、
前記第１の画像処理ステップにより鮮鋭化処理が施された前記複数の第１の画像データを、所定のグループ単位で超解像処理する第１の合成ステップと、
前記第１の合成ステップによる超解像処理により生成された複数の第２の画像データ夫々に対して鮮鋭化処理を施す第２の画像処理ステップと、
前記第２の画像処理ステップにより鮮鋭化処理が施された前記複数の第２の画像データを、所定のグループ単位で超解像処理する第２の合成ステップとをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像データの超解像技術に関するものである。

【背景技術】

【0002】

従来、デジタル放送やＤＶＤ等のメディアコンテンツでは、カメラの性能や通信帯域幅の制限から画像データの解像度が制限されているが、このように解像度が制限されている画像データを高解像度化する、いわゆる超解像技術が知られている。

【0003】

特許文献１には、フレーム間の動き検出を行い、一方のフレームの各画素の位置を他方のフレームの画素の位置に移動させて両者を重ね合わせることにより、フレームの超解像処理を多段階で行う技術が開示されている。これにより、従来の方式と比較して演算量の軽減を図っている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９−２９６０８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示される技術では、位置合わせを行った二つのフレームを縦横に拡大し、そのまま両者を重ね合わせている。従って、縦横に拡大することにより生じるボケが超解像処理に悪影響を及ぼし、映像の高画質化を阻む要因となっていた。

【0006】

そこで、本発明の目的は、超解像技術において圧縮後の画像データの復元の際に生じるボケを解消し、映像の高画質化を図ることにある。

【課題を解決するための手段】

【0007】

本発明の画像処理装置は、連続した複数フレームの第１の画像データを入力する第１の入力手段と、前記連続した複数フレームの第１の画像データ夫々に対して鮮鋭化処理を施す第１の画像処理手段と、前記第１の画像処理手段により鮮鋭化処理が施された前記複数の第１の画像データを、所定のグループ単位で超解像処理する第１の合成手段と、前記第１の合成手段による超解像処理により生成された複数の第２の画像データ夫々に対して鮮鋭化処理を施す第２の画像処理手段と、前記第２の画像処理手段により鮮鋭化処理が施された前記複数の第２の画像データを、所定のグループ単位で超解像処理する第２の合成手段とを有することを特徴とする。

【発明の効果】

【0008】

本発明によれば、圧縮後の画像データの復元の際に生じるボケを解消し、映像の高画質化を図ることができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態に係る３次元放送システムの構成を示す図である。

【図2】符号器によるフレーム画像データの生成処理を説明するための図である。

【図3】画像超解像処理装置の処理を説明するための図である。

【図4】画像超解像処理装置の構成の一部を示す図である。

【図5】画像鮮鋭化処理部の詳細な構成を示す図である。

【図6】画像超解像処理装置の構成の一部を示す図である。

【図7】変形処理部の詳細な構成を示す図である。

【図8】変形処理部内において処理される画像データの水平方向に対する画素値の変化を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

【0011】

図１は、本発明の実施形態に係る３次元放送システムの構成を示す図である。図１において、１０１は、右眼用画像データを撮影する右眼カメラであり、１０２は、左眼用画像データを撮影する左眼カメラである。本実施形態では、立体に見えるように視差（両眼の間隔６〜７ｃｍ）による角度をつけた右眼カメラ１０１と左眼カメラ１０２とで右眼用画像データと左眼用画像データを撮影する。１０３は、減算器であり、右眼カメラ１０１によって撮影された右眼用画像データと左眼カメラ１０２によって撮影された左眼用画像データとの差分をとることにより、左右差分画像データを生成する。１０４は、符号器であり、左眼カメラ１０２によって撮影された左眼用画像データと、減算器１０３によって生成された左右差分画像データとを入力し、左眼用画像データと左右差分画像データとが既存の放送用フレームサイズ内に収まるように、ＭＰＥＧ−２方式等により符号化（圧縮）して伝送路１０５に出力する。ここでは、１秒当たり６０枚のフレーム画像データを生成することを想定している。このように、本実施形態では、左眼用画像データと左右差分画像データとを既存の放送用フレーム内に含めて一つのストリームで伝送することができるため、視聴者側は、既存のチューナ機器等を変更することがなく、放送事業者側も、既存の放送用／中継用設備を変更する必要がない。

【0012】

１０６は、復号器であり、符号化されたフレーム画像データを伝送路１０５から入力すると、当該フレーム画像データを復号して、左眼用画像データと左右差分画像データとを取得する。１０７は、画像超解像処理装置であり、左眼用画像データと左右差分画像データとを用いて超解像処理を施すことにより、高画質化された右眼用画像データ１０８と左眼用画像データ１０９とを得る。このようにして再生された右眼用画像データ１０８と左眼用画像データ１０９とは、不図示の画面上において交互に高速表示される。また、この交互表示に同期する赤外線信号が３次元専用眼鏡に送られ、３次元専用眼鏡の左右の液晶シャッタを交互に開閉することにより、右眼では右眼用画像データ、左眼では左眼用画像データを見ることができるようになる。視聴者は、右眼で見た右眼用画像データと左眼で見た左眼用画像データとを脳内で一つに合わせることにより、立体感を感じることが可能となる。

【0013】

図２は、符号器１０４によるフレーム画像データの生成処理を説明するための図である。図２において、２０１は、右眼カメラ１０１によって撮影された右眼用画像データである。２０２は、左眼カメラ１０２によって撮影された左眼用画像データである。２０３は、符号器１０４によって生成されるフレーム画像データであり、左眼用画像データ２０２を圧縮することにより得られる左眼用画像データ２０２´と、右眼用画像データ２０１と左眼用画像データ２０２との差分を圧縮することにより得られる左右差分画像データ２０４とを含む。

【0014】

符号器１０４は、左眼カメラ１０２によって撮影された左眼用画像データ２０２を７０％の圧縮率で圧縮して左眼用画像データ２０２´を生成するとともに、右眼用画像データ２０１と左眼用画像データ２０２との差分をとり、３０％の圧縮率で圧縮して左右差分画像データ２０４を生成する。本実施形態は、ハイビジョン画像の３次元放送を想定しているため、右眼カメラ１０１及び左眼カメラ１０２によって撮影される右眼用画像データ及び左眼用画像データのサイズはともに１９２０×１０８０画素である。従って、圧縮後の左眼用画像データ２０２´のサイズは、１９２０×１０８０×０．７画素となり、圧縮後の左右差分画像データ２０４は、１９２０×１０８０×０．３画素となる。なお、符号器１０４における圧縮率はこれに限らず、左眼用画像データ２０２に対する圧縮率は、左右差分画像データ２４に対する圧縮率より高ければ、任意の圧縮率でよい。また、左眼用画像データ２０２と左右差分画像データ２０４とを用いてフレーム画像データを生成するのではなく、右眼用画像データ２０１と左右差分画像データ２０４とを用いてフレーム画像データを生成してもよい。このとき、右眼用画像データ２０１に対する圧縮率を、左右差分画像データ２０４に対する圧縮率より高くすればよい。

【0015】

符号器１０４は、圧縮後の左眼用画像データ２０２´と圧縮後の左右差分画像データ２０４とを上下に配置したフレーム画像データ２０３を生成する。なお、圧縮後の左眼用画像データ２０２´と圧縮後の左右差分画像データ２０４との配置はフレーム画像データ２０４の上下に限らず、例えば左右でもよく、任意の位置に配置してよい。このようにして生成されたフレーム画像データ２０３は、伝送路１０５を介して復号器１０６に入力される。復号器１０６は、フレーム画像データ２０３を入力すると、圧縮後の左眼用画像データ２０２´と圧縮後の左右差分画像データ２０４とをフレーム画像データ２０３から取得する。画像超解像処理装置１０７は、圧縮後の左眼用画像データ２０２´と圧縮後の左右差分画像データ２０４とに対して拡大処理及び鮮鋭化処理等を段階的に施すことにより、右眼用画像データ及び左眼用画像データを高画質化して再生する。

【0016】

図３は、画像超解像処理装置１０７の処理を説明するための図である。復号器１０６は、伝送路１０５から例えば６０ｆ／ｓでフレーム画像データを入力し、各フレーム画像データから左眼用画像データと左右差分画像データとを夫々取得して、画像超解像処理装置１０７に対して出力する。図３においては、第１左眼用画像データ、第２左眼用画像データ、第３左眼用画像データ、第４左眼用画像データ、・・・、第Ｎ−１左眼用画像データ、第Ｎ左眼用画像データが、復号器１０６から画像超解像処理装置１０７に順次入力される様子と、第１左右差分画像データ、第２左右差分画像データ、第３左右差分画像データ、第４左右差分画像データ、・・・、第Ｎ−１左右差分画像データ、第Ｎ左右差分画像データが、復号器１０６から画像超解像処理装置１０７に順次入力される様子とを示している。

【0017】

図３に示すように、画像超解像処理装置１０７は、連続する３枚の左眼用画像データから、超解像技術を用いて当該左眼用画像データより高画質化された１枚の左眼用中間画像データ（１）を生成する。そして、画像超解像処理装置１０７は、連続する３枚の左眼用中間画像データ（１）から、超解像技術を用いて当該左眼用中間画像データ（１）より高画質化された１枚の左眼用中間画像データ（２）を生成する。そして、画像超解像処理装置１０７は、連続する３枚の左眼用中間画像データ（２）から、超解像技術を用いて当該左眼用中間画像データ（２）より高画質化された１枚の左眼用画像データを生成する。なお、ここでは超解像技術を行うために連続する３枚の画像データを用いているが、これは３枚に限るものではない。また、中間画像データを２段階で生成しているが、これも２段階に限るものでない。以降の説明でも同様である。また、超解像技術は通常の手法を用いれば良く、詳細な説明は省略する。

【0018】

また、画像超解像処理装置１０７は、連続する３枚の左右差分画像データから、超解像技術を用いて当該左右差分画像データより高画質化された１枚の左右差分中間画像データを生成する。そして、画像超解像処理装置１０７は、左右差分中間画像データと左眼用中間画像データとから、超解像技術を用いて１枚の右眼用中間画像データを生成する。そして、画像超解像処理装置１０７は、連続する３枚の右眼用中間画像データから、超解像技術を用いて当該右眼用中間画像データより高画質化された１枚の右眼用画像データを生成する。

【0019】

図４は、画像超解像処理装置１０７の構成の一部を示す図である。即ち、図４においては、画像超解像処理装置１０７のうち、第１〜第４左眼用画像データから最終的に第１左眼用画像データを生成するまでの処理に係る構成のみを示している

【0020】

図４に示すように、画像超解像処理装置１０７は、第１〜第４左眼用画像データ夫々に対応して画像処理部４０１を備える。また、各画像処理部４０１は、画像補間処理部４０１１、歪み軽減処理部４０１２及び画像鮮鋭化処理部４０１３を備える。

【0021】

画像補間処理部４０１１は、左眼用画像データに対して、バイキュービック法等による画像補間処理を行う。即ち、画像処理部４０１は、例えば７０％の圧縮率で圧縮された左眼用画像データを一定のサイズまで拡大し、画像補間処理部４０１１は、拡大後の左眼用画像データに対して画素の補間処理を行う。

【0022】

歪み軽減処理部４０１２は、画像補間処理部４０１１から出力された左眼用画像データに対してメジアンフィルタ等を適用することにより絶対偏差画像データを生成する。次に、歪み軽減処理部４０１２は、絶対偏差画像データに対してモルフォロジー処理等を施すことによりエッジ成分を抽出し、絶対偏差画像データからエッジ成分を減算することにより、雑音成分を抽出する。次に、歪み軽減処理部４０１２は、雑音成分に該当する画素に対して、当該画素の周りの画素の中央値を与えることにより、左眼用画像データに対して歪み軽減処理を施す。

【0023】

画像鮮鋭化処理部４０１３は、歪み軽減処理部４０１２から出力された左眼用画像データに対して鮮鋭化処理等を施すことにより、左眼用画像データのエッジを強調する。鮮鋭化処理が施された左眼用画像データは、合成部４０２に対して出力される。なお、画像鮮鋭化処理部４０１３の詳細な構成については後述する。

【0024】

合成部４０２は、連続する３枚の左眼用画像データを各左眼用画像データに対応する画像処理部４０１から入力し、合成する。ここでは、連続する３枚の左眼用画像データのうちの２番目の左眼用画像データと被写体の位置が合うように、前後の左眼用画像データ（１番目の左眼用画像データ、３番目の左眼用画像データ）の画素値をシフトさせる。そして、合成部４０２は、２番目の左眼用画像データ、画素値をシフトさせた１番目の左眼用画像データ、及び、画素値をシフトさせた３番目の左眼用画像データを、対応する画素間において画素値を平均化した左眼用中間画像データ（１）を生成する。このように、伝送路１０５を介して入力された圧縮後の左眼用画像データに対して、復元、雑音除去及び鮮鋭化を施すことにより、高画質化された左眼用中間画像データが得られる。

【0025】

図４における左眼用中間画像データ（１）の後段にも画像処理装置４０１（図示せず）及び合成部４０２（図示せず）が備えられ、同様の手法で、連続する３枚の左眼用中間画像データ（１）から左眼用中間画像データ（２）が生成される。さらに、図４における左眼用中間画像データ（２）の後段にも画像処理装置４０１（図示せず）及び合成部４０２（図示せず）が備えられ、同様の手法で、連続する３枚の左眼用中間画像データ（２）から左眼用画像データが生成される。画像超解像処理装置１０７は、圧縮後の左眼用画像データ→左眼用中間画像データ（１）→左眼用中間画像データ（２）→復元後の左眼用画像データとするまでに、各画像処理装置において段階的に元のサイズまで拡大していく（例えば、７０％→８０％→９０％→１００％）。

【0026】

図５は、図４の画像鮮鋭化処理部４０１３の一例について詳細な構成を示す図である。図５に示すように、画像鮮鋭化処理部４０１３には、歪み軽減処理部４０１２において歪み軽減処理が施された画像データが入力される。歪み軽減処理部４０１２から入力された画像データは、加算器４０１３９及びＬ−Ｇ（ラプラス−ガウス）フィルタ４０１３１に夫々出力される。Ｌ−Ｇフィルタ４０１３１は、入力された画像データからエッジ画像データを生成する。レベル分け部４０１３２は、Ｌ−Ｇフィルタ４０１３１から出力されたエッジ画像データの画素値を所定の閾値と比較することにより、エッジ画像データの各画素を複数にレベル分けし、レベルに応じてエッジ画像データを例えばエッジ部と平坦部の２レベルに分類する。変形処理部４０１３３は、Ｌ−Ｇフィルタ４０１３１より出力されたエッジ画像データを所定の方法で変形する。このレベル分けは少なくとも１つのエッジが取り出せれば良く、エッジの強さによって２レベルでも３レベルでも任意に設定して良い。以下では２レベルの分類としてエッジ部と平坦部を使った場合で説明する。

【0027】

重み付け部（λ１）４０１３４は、レベル分け部４０１３２から出力されるエッジ部に対して重み付け（λ１）を行う。重み付け部（λ２）４０１３５は、レベル分け部４０１３２から出力される平坦部に対して重み付け（λ２）を行う。重み付け部（λ３）４０１３６は、変形処理部４０１３３（詳細は後述）から出力されるエッジ画像データに対して重み付け（λ３）を行う。

【0028】

加算器４０１３７は、重み付け（λ１）が施されたエッジ部と重み付け（λ２）が施された平坦部とを加算して出力する。加算器４０１３８は、加算器４０１３７の出力と、変形処理部４０１３３によって変形され、重み付け（λ３）が施されたエッジ画像データとを加算して出力する。加算器４０１３９は、加算器４０１３８の出力と、歪み軽減処理部４０１２において歪み軽減処理が施された画像データとを加算して出力する。以上のように、画像鮮鋭化処理部４０１３は、複数レベルで分類されたエッジ画像データそれぞれに対して重み付け処理した後にそれらを元の画像データに加算処理するという構成を備えることにより、歪み軽減処理部４０１２から入力した画像データのエッジ部を強調し、画像データを鮮鋭化させることができる。

【0029】

図７は、図５の変形処理部４０１３３の詳細な構成を示す図である。図７に示すように、Ｌ−Ｇフィルタ４０１３１から出力されたエッジ画像データは、ハイパスフィルタ７０１、第２微分フィルタ７０４及び加算器７０６に入力される。図８（ａ）は、ハイパスフィルタ７０１、第２微分フィルタ７０４及び加算器７０６に対して入力されるエッジ画像データの水平方向に対する画素値の変化を示している。ハイパスフィルタ７０１は、エッジ画像データの高周波成分を抽出する。図８（ｂ）は、ハイパスフィルタ７０１において抽出された高周波成分の、エッジ画像データの水平方向に対する画素値の変化を示している。絶対値関数７０２は、ハイパスフィルタ７０１によって抽出された高周波成分に対して絶対値処理を施す。図８（ｃ）は、絶対値処理が施された高周波成分の、エッジ画像データの水平方向に対する画素値の変化を示している。第１微分フィルタ７０５は、絶対値処理が施された高周波成分のうち、画素値の濃度変化（差分）が大きい部分を抽出する。図８（ｄ）は、第１微分フィルタ７０５によって抽出された画素値の濃度変化（差分）が大きい部分の、エッジ画像データの水平方向に対する画素値の変化を示している。第２微分フィルタ７０４は、エッジ画像データのうち、画素値の濃度変化（差分）が大きい部分を抽出する。図８（ｅ）は、第２微分フィルタ７０４によって抽出された画素値の濃度変化（差分）が大きい部分の、エッジ画像データの水平方向に対する画素値の変化を示している。多重化処理部７０５は、第１微分フィルタ７０３の出力と第２微分フィルタ７０４の出力とを乗算して出力する。図８（ｆ）は、第１微分フィルタ７０３の出力と第２微分フィルタ７０４の出力との乗算結果の、エッジ画像データの水平方向に対する画素値の変化を示している。加算器７０６は、エッジ画像データと多重化処理部７０５の出力とを加算して出力する。図８（ｇ）は、エッジ画像データと多重化処理部７０５の出力との加算結果の、エッジ画像データの水平方向に対する画素値の変化を示している。図８（ｇ）に示したエッジ画像データと多重化処理部７０５との出力との加算結果が変形処理部４０１３３の出力となる。ここに説明した変形処理は一例に過ぎず、他の任意の方式を採用しても良い。

【0030】

図６は、画像超解像処理装置１０７の構成の一部を示す図である。即ち、図６においては、画像超解像処理装置１０７のうち、第１〜第４左右差分画像データと第１〜第３左眼用中間画像データ（１）とから、最終的に第１右眼用画像データを生成するまでの処理に係る構成のみを示している。

【0031】

図６に示すように、画像超解像処理装置１０７は、第１〜第４左右差分画像データ夫々に対応して画像処理部４０１を備える。各画像処理部４０１は、図４に示した画像処理部４０１と同様に、画像補間処理部４０１１、歪み軽減処理部４０１２及び画像鮮鋭化処理部４０１３を備える。

【0032】

また、図６に示す合成部４０２は、図４に示した合成部４０２と同様の機能を有する。即ち、図６に示す合成部４０２は、連続する３枚の左右差分画像データを、当該左右差分画像データ夫々に対応する画像処理部４０１から入力し、合成する。ここでは、連続する３枚の左右差分画像データのうちの２番目の左右差分画像データと被写体の位置が合うように、前後の左右差分画像データ（１番目の左右差分画像データ、３番目の左右差分画像データ）の画素値をシフトさせる。そして、合成部４０２は、２番目の左右差分画像データ、画素値をシフトさせた１番目の左右差分画像データ、及び、画素値をシフトさせた３番目の左右差分画像データを、対応する画素間において画素値を平均化した左右差分中間画像データを生成する。

【0033】

また、合成部４０３は、左右差分中間画像データと左眼用中間画像データ（１）とを合成して右眼用中間画像データを生成する。

【0034】

また、画像超解像処理装置１０７は、各右眼用中間画像データ夫々に対応して、図４と同様の画像処理部４０１を備える。合成部４０２は、連続する３枚の右眼用中間画像データを、当該右眼用中間画像データ夫々に対応する画像処理部４０１から入力し、合成する。ここでは、連続する３枚の右眼用中間画像データのうちの２番目の右眼用中間画像データと被写体の位置が合うように、前後の右眼用中間画像データ（１番目の右眼用中間画像データ、３番目の右眼用中間画像データ）の画素値をシフトさせる。そして、合成部４０２は、２番目の右眼用中間画像データ、画素値をシフトさせた１番目の右眼用中間画像データ、及び、画素値をシフトさせた３番目の右眼用中間画像データを、対応する画素間において画素値を平均化した右眼用画像データを生成する。

【0035】

以上説明した処理により、左眼用画像データ及び右眼用画像データが生成されると、３次元テレビにおいてこれらが交互に高速表示される。これにより、３次元専用眼鏡を装着した視聴者は、立体感のある映像を視聴することができる。

【0036】

本実施形態においては、伝送路１０５を介して入力された圧縮後の画像データ（左眼用画像データ、左右差分画像データ）を段階的に拡大（復元）していく際に、その都度、雑音除去及びエッジ強調を施しているため、圧縮された画像データを拡大（復元）する際に生じるボケを解消することができる。また、本実施形態においては、雑音除去及び鮮鋭化を多段階で行うことによって、最終的な右眼用画像データ及び左眼用画像データを生成しているため、映像の高画質化を図ることができる。

【0037】

さらに、本実施形態では、図２に示したように、左眼用画像データに対する圧縮率（例えば、７０％）を左右差分画像データに対する圧縮率（例えば、３０％）より高くして、伝送する左眼用画像データのデータ量を落とさないようにしている。即ち、本実施形態では、左眼用画像データ及び右眼用画像データを再生する際に、比較的データ量の多い圧縮後の左眼用画像データを使用することができる。これに対し、従来のサイドバイサイド方式では、５０％の圧縮率で圧縮された左眼用画像データと５０％の圧縮率で圧縮された右眼用画像データとが一つのフレーム内に並べて伝送され、受信側では、夫々を２倍に拡大して再生している。即ち、サイドバイサイド方式では、左眼用画像データと右眼用画像データとを再生する際に、５０％の圧縮率で圧縮された画像データが使用される。このように、本実施形態は、サイドバイサイド方式より、画像データ再生の際に使用される元の画像データのデータ量が多く、このような画像データに対して超解像処理を施すことによって再生する画像データの高画質化を図ることができる。

【0038】

なお、上述した実施形態では、３次元放送システムについて説明したが、本発明の適用範囲はこれに限らない。即ち、３次元に限らず監視カメラで撮影した動画像データに対する超解像処理にも適用できるし、複数枚の類似した静止画像データを用いた超解像処理にも適用することができる。この場合、図４に示した構成を用いて、上記動画像データの各フレーム画像データ及び上記複数枚の類似した静止画像データに対する処理が行われる。

【0039】

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

【符号の説明】

【0040】

１０１：右眼カメラ、１０２：左眼カメラ、１０３：減算器、１０４：符号器、１０５：伝送路、１０６：復号器、１０７：画像超解像処理装置、１０８：右眼用画像データ、１０９：左眼用画像データ、４０１：画像処理部、４０２、４０３：合成部、４０１１：画像補間処理部、４０１２：歪み軽減処理部、４０１３：画像鮮鋭化処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】